CN112130136B - 一种交通目标综合感知系统及方法 - Google Patents

一种交通目标综合感知系统及方法 Download PDF

Info

Publication number
CN112130136B
CN112130136B CN202010956494.6A CN202010956494A CN112130136B CN 112130136 B CN112130136 B CN 112130136B CN 202010956494 A CN202010956494 A CN 202010956494A CN 112130136 B CN112130136 B CN 112130136B
Authority
CN
China
Prior art keywords
target
camera
millimeter wave
motion state
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010956494.6A
Other languages
English (en)
Other versions
CN112130136A (zh
Inventor
丁明慧
营健
宋麟
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Heavy Duty Truck Group Jinan Power Co Ltd
Original Assignee
China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Heavy Duty Truck Group Jinan Power Co Ltd filed Critical China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority to CN202010956494.6A priority Critical patent/CN112130136B/zh
Publication of CN112130136A publication Critical patent/CN112130136A/zh
Application granted granted Critical
Publication of CN112130136B publication Critical patent/CN112130136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种交通目标综合感知系统及方法,通过输入信息模块获取本车信息、摄像头原始信号和毫米波雷达原始信号,摄像头原始信号通过空间对齐模块与毫米波雷达原始信号在空间位置上对齐。之后摄像头原始信号经过摄像头运动状态判断模块完成摄像头目标的运动状态二次判断。毫米波雷达原始信号经过毫米波雷达运动状态判断模块完成毫米波雷达目标的运动状态二次判断。目标关联匹配模块接收基于毫米波雷达和摄像头二次判断后的目标运动状态,目标纵向位置、横向位置、纵向速度完成毫米波雷达信号和摄像头信号的匹配,得到匹配对的有效信息。本发明提供模块化架构,将雷达目标和摄像头目标运行状态转换为相同运动状态进行匹配,提高效率。

Description

一种交通目标综合感知系统及方法
技术领域
本发明涉及交通目标感知领域,具体涉及一种交通目标综合感知系统及方法。
背景技术
智能辅助驾驶系统(ADAS:Advanced Driver Assistant System)可为驾驶员提供主动安全预警和安全辅助控制,减少驾驶员误操作,从而提高行车安全。智能辅助驾驶系统由感知系统、控制系统和执行系统组成,其中环境感知技术是智能辅助驾驶系统的核心技术,它是实现本车运动控制、路径规划与决策等关键技术的必备条件。交通目标(本发明中特指交通车辆和行人)的识别是环境感知的关键技术,交通目标感知主要是通过多种传感器获取交通目标的位置、速度、加速度、相对本车的运动状态、存在的可靠性,丢失的次数及可能原因、目标的类型和宽度等信息。目前常用于交通目标感知的传感器主要有毫米波雷达、摄像头和激光雷达,激光雷达由于成本较高很难在智能辅助驾驶系统的量产中应用,毫米波雷达和摄像头都具有较为明显的单传感器局限,但将毫米波雷达和摄像头二者的信息融合后具有较大优势。
目前在基于毫米波雷达和摄像头信息融合领域,至少存在以下几个问题:
(1)交通目标综合感知方法缺乏模块化架构,导致某一环节中算法的改变所需工作量较大;
(2)在交通目标的匹配过程中现有技术均需进行两传感器的时间同步,在时间同步过程中使得交通目标的匹配过程复杂、计算量大、效率低,尤其是在嵌入式开发过程中可能会导致内存和算力不足的情况。中国专利公布号为CN109471096A,公布日为2019年3月15日,发明名称为“多传感器目标匹配方法、装置及汽车”,申请人为奇瑞汽车股份有限公司,该专利按照毫米波雷达和摄像头传感器的采集时间序列分别建立毫米波雷达的探测目标库和摄像头传感器的探测目标库。基于卡尔曼滤波算法估计所属毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到所述毫米波雷达与摄像头传感器的时间同步数据,该过程复杂、计算量大;
(3)在交通目标感知过程中缺乏对目标运动状态的准确判断,由于毫米波雷达和摄像头对目标运动状态分类不同,且分类较为模糊、不够精细,运动状态准确度较低,在实际目标关联匹配中很难利用目标的运动状态来做判断,造成目标关联匹配大多依赖传感器的时间同步和位置、速度的准确度。中国专利公布号为CN108280442A,公布日为2018年7月13日,发明名称为“一种基于轨迹匹配的多源目标融合方法”,申请人为西安交通大学,该专利采用多种传感器采集目标信息,将各传感器采集到的目标信息进行时间配准和空间配准,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配。该过程没有考虑目标运动状态的信息,完全基于目标的时间配准、空间配准进行目标和轨迹的匹配。
发明内容
为解决上述问题,本发明提供一种交通目标综合感知系统及方法,提供模块化架构,将毫米波雷达目标和摄像头目标的运行状态转换到相同的运动状态分类,避免时间匹配,提高效率。
本发明的技术方案是:一种交通目标综合感知系统,包括,
本车信号获取模块:获取本车信号,包括本车车速和本车横摆角速度;
计算转弯半径模块:根据本车信号计算本车转弯半径,并将本车车速和本车转弯半径组成本车参数数组;
毫米波雷达原始信号获取模块:获取毫米波雷达目标数据,包括毫米波雷达目标运动状态参数、原始运动状态、目标类型、目标ID和目标存在概率标志位;
摄像头原始信号获取模块:获取摄像头目标数据,包括摄像头目标运动状态参数、原始运动状态、目标类型、目标ID和摄像头CIPV标志位;
空间对齐模块:将摄像头目标运动状态参数在毫米波雷达目标运动状态参数所在坐标系为基准进行空间对齐;
毫米波雷达运动状态判断模块:结合本车参数数组和毫米波雷达目标数据,对毫米波雷达目标的原始运动状态进行二次判断获得决策后运动状态;
摄像头运动状态判断模块:结合本车参数数组和摄像头目标数据,对摄像头目标的原始运动状态进行二次判断获得决策后运动状态;其中,摄像头目标决策后运动状态的划分类型与毫米波雷达目标决策后运动状态的划分类型相同;
摄像头CIPV目标ID筛选模块:根据摄像头目标ID和CIPV标志位筛选出摄像头CIPV的ID号;
目标关联匹配模块:结合本车参数数组、毫米波雷达目标数据和决策后运动状态、以及摄像头目标数据和决策后运动状态,对毫米波雷达目标和摄像头目标进行匹配,获得匹配对;
目标融合跟踪模块:对匹配后的目标进行融合,并输出融合后目标运动状态参数,并根据融合结果结合摄像头CIPV的ID号对CIPV进行综合筛选,获得决策后CIPV的ID号进行跟踪。
进一步地,还包括,
匹配对多个标志位输出模块:输出匹配对的目标特征标志位信息和决策后CIPV的ID号;
匹配对状态输出模块:输出匹配对的运动状态信息。
进一步地,还包括,
毫米波雷达无效目标剔除模块:结合本车参数数组,对毫米波雷达原始信号获取模块所获取数据进行无效目标剔除;
毫米波雷达运动状态判断模块和目标关联匹配模块所获得毫米波雷达相关数据为剔除无效目标后的数据。
进一步地,还包括,
摄像头无效目标剔除模块:结合本车参数数组,对摄像头原始信号获取模块所获取数据进行无效目标剔除;
摄像头运动状态判断模块、目标关联匹配模块所获得摄像头相关数据为剔除无效目标后的数据。
进一步地,目标融合跟踪模块包括,
已匹配目标测量值获取模块:获取匹配后目标运动状态参数,并将匹配后目标运动状态参数进行综合加权获得更新的已匹配目标测量值数组;
第一延迟模块:保存上一时刻融合后目标运动状态参数;
第二延迟模块:保存上一时刻融合后目标协方差矩阵;
已匹配目标对跟踪模块:根据匹配后目标运动状态参数、匹配后目标特征标志位、上一时刻融合后目标运动状态参数和上一时刻融合后目标协方差矩阵通过Kalamn滤波算法对已匹配目标进行跟踪;
匹配目标对中筛选CIPV模块:根据融合结果,结合本车参数数组筛选出匹配目标中的CIPV;
CIPV综合筛选模块:根据匹配目标对中筛选CIPV模块的筛选结果,结合摄像头CIPV的ID号、融合后目标数据筛选出最终CIPV。
进一步地,目标融合跟踪模块还包括,
融合结果输出模块:将融合后的目标运动状态参数进行输出。
进一步地,目标关联匹配模块同一时刻输出8个匹配对。
本发明的技术方案还包括一种交通目标感知方法,
摄像头目标运行状态参数以数组VS=[Dxv Dyv Sxv Syv]表示,其中Dxv为摄像头目标相对纵向距离,Dyv为摄像头目标相对横向距离,Sxv为摄像头目标相对纵向速度,Syv摄像头目标相对横向速度;每一时刻摄像头目标为N个,数组VS为N行四列,VS(i,n)表示VS数组中第i个目标的第n个参数,i=1、2……N,n=1、2、3、4;
本车参数数组为B=[Ve Rv]’,其中Ve为本车车速,Rv为本车转弯半径;该方法B(2,1)表示Rv,B(1,1)表示Ve;
VSt(i,1)表示第i个目标在二次判断前摄像头目标运行状态,VSt(i,1)=1表示车辆尾灯亮静止; VSt(i,1)= 2表示车辆尾灯不亮静止; VSt(i,1)=3表示同向移动目标静止中; VSt(i,1)=4表示同向移动目标未知状态; VSt(i,1)=5表示同向移动目标运动中; VSt(i,1)=6表示对向移动目标静止中; VSt(i,1)=7表示对向移动目标未知状态; VSt(i,1)=8表示对向移动目标运动中;
该方法包括摄像头目标运行状态二次判断过程,该过程包括以下步骤:
SS1,判断VS(i,1)<=0,若成立则第i个目标为无效目标St1=0,i=i+1后进行该步骤,否则进入进一步;
SS2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SS3,判断j≠0 && B(2,1)=0,若成立则进入1-Case1,否则进入下一步;
SS4,判断j≠0 && B(2,1)≠0,若成立则进入1-Case2,否则进入1-Case3;
Case1运行以下步骤:
S101,判断abs(VS(i,2)-VS2(j,2)) >= 1.5*abs (VS(i,1)-VS2(j,1) +t1*B(1,1)) && abs(VS(i,2)-VS2(j,2)) >=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回SS1;其中VS2表示上一时刻摄像头目标运行状态参数数组;t1表示摄像头采样时间间隔;
S102,判断VS(i,3) >= 1,若成立则第i个目标为同向远离目标St1=1,i=i+1,返回SS1;
S103,判断 VS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S104,判断 VS(i,3)<=1 && VS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S105,判断 abs(VS(i,3))<=0.5,若成立则第i个目标为相对静止目标St1=4,i=i+1,返回SS1;
S106,判断 abs(VS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S107,判断VSt(i,1)=1 || VSt(i,1)=2,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S108,判断VSt(i,1)=3|| VSt(i,1)=4||VSt(i,1)=5,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S109,判断VSt(i,1)=6|| VSt(i,1)=7||VSt(i,1)=8,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S110,若上述均不成立则第i个目标为无效目标St1=0,i=i+1,返回SS1;
Case2运行以下步骤:
S201,分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:
Z=B(1,1)*cos(YawRate*t1/2);H=B(1,1)*sin(YawRate*t1/2);其中YawRate表示本车横摆角速度;
S202,判断abs(VS(i,2)-VS2(j,2)-H*t1)>= 1.5*abs(VS(i,1) -VS2(j,1)-t1*Z)&& abs(VS(i,2)-VS2(j,2)-H*t1)>=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回步骤SS1;否则执行后续步骤,后续步骤与步骤S102-S110相同;
Case3的执行步骤与步骤S102-S110相同。
进一步地,
毫米波雷达目标运行状态参数以数组RS=[Dxr Dyr Sxr Syr]表示,其中Dxr为毫米波雷达目标相对纵向距离,Dyr为毫米波雷达目标相对横向距离,Sxr为毫米波雷达目标相对纵向速度,Syr毫米波雷达目标相对横向速度;每一时刻毫米波雷达目标为M个,数组RS为M行四列,VS(i,m)表示RS数组中第i个目标的第m个参数,i=1、2……N,m=1、2……16;
RSt(i,1)表示第i个目标在二次判断前毫米波雷达目标运行状态,RSt(i,1)=2表示目标暂时停止,RSt(i,1)=3表示目标运动,RSt(i,1)=4表示目标对向移动;
该方法包括毫米波雷达目标运行状态二次判断过程,该过程包括以下步骤:
SR1,判断RS(i,1)<=0,若成立则第i个目标为无效目标St2=0,i=i+1后进行该步骤,否则进入进一步;
SR2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SR3,判断j≠0 && B(2,1)=0,若成立则进入2-Case1,否则进入下一步;
SR4,判断j≠0 && B(2,1)≠0,若成立则进入2-Case2,否则进入2-Case3;
2-Case1运行以下步骤:
R101,判断abs(RS(i,2)-RS2(j,2)) >= 1.5*abs (RS(i,1)-RS2(j,1) +t2*B(1,1)) && abs(RS(i,2)-RS2(j,2)) >=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回SR1;其中RS2表示上一时刻毫米波雷达目标运行状态参数数组;t2表示毫米波雷达采样时间间隔;
R102,判断RS(i,3) >= 1,若成立则第i个目标为同向远离目标St2=1,i=i+1,返回SR1;
R103,判断 RS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R104,判断 RS(i,3)<=1 && RS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R105,判断 abs(RS(i,3))<=0.5,若成立则第i个目标为相对静止目标St2=4,i=i+1,返回SR1;
R106,判断 abs(RS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St2=5,i=i+1,返回SR1;
R107,判断RSt(i,1)=2 || RSt(i,1)=3,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R108,判断RSt(i,1)=4,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R109,若上述均不成立则第i个目标为无效目标St2=0,i=i+1,返回SR1;
2- Case2运行以下步骤:
R201,分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:
Z=B(1,1)*cos(YawRate*t2/2)、H=B(1,1)*sin(YawRate*t2/2) ;
R202,判断abs(RS(i,2)-RS2(j,2)-H*t2)>= 1.5*abs(RS(i,1)- RS2(j,1)-t2*Z)&& abs(RS(i,2)-RS2(j,2)-H*t2)>=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回步骤SR1;否则执行后续步骤,后续步骤与步骤R102-R109相同;
2-Case3的执行步骤与步骤R102-R109相同。
本发明提供的一种交通目标综合感知系统及方法,具有以下有益效果:
(1)各功能形成模块化架构,使得内部单一模块算法改变时改动的工作量较小,且算法更换较为方便。
(2)针对毫米波雷达和摄像头的目标运动状态进行同类型区分,具体可将目标运动状态分为无效、同向远离、同向靠近、相向靠近、相对静止、绝对静止和横穿7种运动状态,基于目标运动状态可对目标的运动行为进行预测,提高目标的匹配精度,降低目标匹配精度对时间同步的依赖,省略了毫米波雷达和摄像头目标信号的复杂时间对齐环节,使得基于多传感器信息融合的交通目标综合感知过程更为简单。
附图说明
图1是本发明具体实施例一结构示意框图;
图2是本发明具体实施例一目标融合跟踪模块结构示意框图;
图3是本发明具体实施例二摄像头目标运行状态二次判断过程方法流程示意图;
图4是本发明具体实施例二毫米波雷达目标运行状态二次判断过程方法流程示意图。
图中,1-输入信号模块,2-计算本车转弯半径模块,3-毫米波雷达无效目标剔除模块,4-目标关联匹配模块,5-匹配对多个标志位输出模块,6-空间对齐模块,7-摄像头无效目标剔除模块,8-目标融合跟踪模块、9-匹配对状态输出模块,10-摄像头CIPV目标ID的筛选模块,11-摄像头原始信号获取模块,12-毫米波雷达原始信号获取模块,13-本车信号获取模块,14-毫米波雷达运动状态判断模块,15-摄像头运动状态判断模块, 16-已匹配目标测量值获取模块,17-第一延迟模块,18-已匹配目标对跟踪模块、19-融合结果输出模块、20-匹配目标对中筛选CIPV模块、21-CIPV综合筛选模块、22-第二延迟模块。
本发明涉及符合的物理意义如下:
参数名称 参数符号 单位 数据类型
雷达目标状态参数数组 RS single
雷达目标相对纵向距离 Dxr m single
雷达目标相对横向距离 Dyr m single
雷达目标相对纵向速度 Sxr m/s single
雷达目标相对横向速度 Syr m/s single
雷达目标的ID IDr uint8
雷达目标运动状态 RSt uint8
雷达目标类型 Tr uint8
雷达目标存在概率的标志位 Rexist uint8
摄像头目标状态参数数组 VS single
摄像头目标相对纵向距离 Dxv m single
摄像头目标相对横向距离 Dyv m single
摄像头目标相对纵向速度 Sxv m/s single
摄像头目标相对 横向速度 Syv m/s single
摄像头目标的ID IDv uint8
摄像头目标运动状态 VSt uint8
摄像头目标类型 Tv uint8
摄像头CIPV的标志位 eyeCIPV uint8
摄像头CIPV的ID号 IDecipv uint8
摄像头CIPV在融合结果中的行数 Ncipv uint8
融合结果中CIPV的行数 Nc uint8
决策后CIPV的ID号 CIPV uint8
本车车速 Ve m/s single
本车横摆角速度 YawRate rad/s single
本车转弯半径 Rv m single
本车参数数组 B single
融合后目标状态数组 X single
融合后目标的协方差矩阵 P single
融合后目标相对纵向距离 Dx m single
融合后目标相对横向距离 Dy m single
融合后目标相对纵向速度 Sx m/s single
融合后目标相对横向速度 Sy m/s single
融合后目标相对纵向加速度 Ax m/s2 single
融合后目标相对横向加速度 Ay m/s2 single
匹配后目标特征标志位数组 Ft uint8
匹配后目标丢失的原因 D uint8
匹配后目标可信度 Rex uint8
匹配后目标对的状态参数数组 RH single
目标类型数组 T uint8
目标运动状态数组 S uint8
决策后摄像头目标运动状态 St1 uint8
决策后毫米波雷达目标运动状态 St2 uint8
决策后目标类型 Tz uint8
融合后目标的宽度 W1 m single
已匹配目标测量值数组 Z single
已匹配目标相对纵向距离测量值 Dxx m single
已匹配目标相对横向距离测量值 Dyy m single
已匹配目标相对纵向速度测量值 Sxx m/s single
已匹配目标相对横向速度测量值 Syy m/s single
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述,以下实施例是对本发明的解释,而本发明并不局限于以下实施方式。
实施例一
如图1所示,本实施例提供一种交通目标综合感知系统,采用模块化架构设计,其原理为:通过摄像头原始信号获取模块11接收摄像头原始信号、通过毫米波雷达原始信号获取模块12接收毫米波雷达原始信号和通过本车信号获取模块13接收本车信号,摄像头原始信号通过空间对齐模块6与毫米波雷达原始信号在空间位置上对齐。经过空间对齐后的摄像头原始信号经过摄像头运动状态判断模块15完成摄像头目标的运动状态二次判断。同理,毫米波雷达原始信号经过毫米波雷达运动状态判断模块14完成毫米波雷达目标的运动状态二次判断。目标关联匹配模块4接收毫米波雷达信号和摄像头信号,基于毫米波雷达和摄像头二次判断后的目标运动状态,目标纵向位置、横向位置、纵向速度完成毫米波雷达信号和摄像头信号的匹配,得到匹配对的有效信息。优选地,在接收到摄像头原始信号后首先通过摄像头无效目标剔除模块7完成摄像头无效目标的剔除,后续运动状态二次判断、匹配和融合均基于摄像头有效目标进行。同理,在接收到毫米波雷达原始信号后首先通过毫米波雷达无效目标剔除模块3完成毫米波雷达无效目标的剔除,后续运动状态二次判断、匹配和融合均基于毫米波雷达有效目标进行。
另外,摄像头CIPV目标ID的筛选模块10将摄像头CIPV的ID号IDecipv筛选并对外输出。目标融合跟踪模块8基于匹配对的有效信息完成有效目标的跟踪,得到全部匹配对的状态信息,基于摄像头的CIPV挑选出匹配对中最终CIPV,并对外输出。同时,匹配对多个标志位输出模块5和匹配对状态输出模块9基于目标关联匹配模块4的输出结果完成全部匹配对的多个标志位的输出和匹配对状态输出。
以下对各模块分别进行解释,以进一步理解本方案。
(1)输入信号模块1
该模块接收交通目标感知的输入信号,包括本车信号、摄像头原始信号和毫米波雷达信号,针对各类信号分别设置对应接收模块。
(1.1)本车信号获取模块13
获取本车信号,包括本车车速Ve和本车横摆角速度YawRate,二者的数据类型均为single。
(1.2)毫米波雷达原始信号获取模块12
该模块接收的信息包括毫米波雷达目标运动状态参数、雷达目标的ID号IDr、雷达目标运动状态RSt、雷达目标类型Tr、雷达目标存在概率的标志位Rexist。
其中,毫米波雷达目标运动状态参数包括雷达目标相对纵向距离Dxr、雷达目标相对横向距离Dyr、雷达目标相对纵向速度Sxr、雷达目标相对横向速度Syr。这些信息组成雷达目标运动状态参数数组RS,RS=[Dxr Dyr Sxr Syr]。
雷达将目标运动状态RSt分为:0-未分类;1-静止; 2-暂时停止; 3-运动; 4-对向移动;5-天桥; 6-井盖。
(1.3)摄像头原始信号获取模块11
该模块接收的信息包括摄像头目标运动状态参数、摄像头目标的ID号IDv、摄像头目标运动状态VSt、摄像头目标类型Tv、摄像头CIPV的标志位eyeCIPV。
其中,摄像头目标运动状态参数包括摄像头目标相对纵向距离Dxv、摄像头目标相对横向距离Dyv、摄像头目标相对纵向速度Sxv、摄像头目标相对横向速度Syv。这些信息组成摄像头目标状态参数数组VS,VS=[Dxv Dyv Sxv Syv]。
摄像头将目标运动状态VSt分为:0-未定义; 1-静止(车辆尾灯亮); 2-静止(车辆尾灯不亮); 3- 静止(同向移动目标);4- 未知(同向移动目标);5- 运动(同向移动目标);6- 静止(对向移动目标);7- 未知(对向移动目标);8- 运动(对向移动目标)。
(2)计算转弯半径模块2
根据本车信号(本车车速Ve和本车横摆角速度YawRate)计算本车转弯半径Rv,并将本车车速Ve和本车转弯半径Ve组成本车参数数组B,B=[Ve Rv]’,需要说明的是,B数组是[Ve Rv]的转置,为2行1列数组。
(3)空间对齐模块6
该模块将摄像头目标运动状态参数在毫米波雷达目标运动状态参数所在坐标系为基准进行空间对齐。
该模块的输入、输出信号均为摄像头目标状态参数数组VS。摄像头原始信号以毫米波雷达原始信号所在坐标系为基准通过空间对齐模块6与毫米波雷达原始信号在空间上对齐,确保同一目标体经过摄像头和毫米波雷达两个传感器测量后所得到的位置和速度等信息在数值上差值尽量小。由于摄像头和毫米波雷达的采样周期较小(一般小于20ms),因此二者由于时间上造成的位置和速度误差较小。
需要说明的是,本发明结合目标运动状态对目标进行匹配,提高目标的匹配精度,降低目标匹配精度对时间同步的依赖,因此本发明在没有时间对齐模块时,仍然可以较好的完成目标匹配和融合。
(4)毫米波雷达无效目标剔除模块3
该模块结合本车参数数组,对毫米波雷达目标数据(由毫米波雷达原始信号获取模块12所获取)进行无效目标剔除。
该模块的输入信号为本车参数数组B、毫米波雷达目标状态参数数组RS、毫米波雷达目标运动状态RSt、毫米波雷达目标的ID号IDr、毫米波雷达目标类型Tr和毫米波雷达目标存在概率的标志位Rexist。该模块的输出信号为毫米波雷达目标状态参数数组RS、毫米波雷达目标运动状态RSt、毫米波雷达目标的ID号IDr、毫米波雷达目标类型Tr和毫米波雷达目标存在概率的标志位Rexist。通过判断将目标绝对速度小于-1m/s的对向目标信号剔除、将目标存在概率Rexist小于2(概率为75%)或者目标运动状态RSt为0、5、6(0-未分类;1-静止; 2-暂时停止; 3-运动; 4-对向移动;5-天桥; 6-井盖)的无效毫米波雷达目标信号剔除,输出剔除目标后的相关信号,减小后期匹配和融合的计算量。
(5)摄像头无效目标剔除模块7
该模块结合本车参数数组,对摄像头目标数据(由摄像头原始信号获取模块11所获取)进行无效目标剔除。
该模块的输入信号为本车参数数组B、摄像头目标状态参数数组VS、摄像头目标运动状态VSt、摄像头目标的ID号IDv和摄像头目标类型Tv。该模块的输出信号为摄像头目标状态参数数组VS、摄像头目标运动状态VSt、摄像头目标的ID号IDv和摄像头目标类型Tv。通过判断将目标绝对速度小于-1m/s的对向目标信号和无效目标信号剔除,输出剔除目标后的相关信号,减小后期匹配和融合的计算量。
(6)摄像头CIPV目标ID筛选模块10
该模块根据摄像头目标ID和CIPV标志位筛选出摄像头CIPV的ID号。
该模块的输入信号为摄像头CIPV的标志位eyeCIPV和摄像头目标的ID号IDv,输出信号为摄像头CIPV的ID号IDecipv。
其中,CIPV(Closest In Path Vehicle),指本车行驶路径上距离本车最近的目标。
(7)毫米波雷达运动状态判断模块14
该模块结合本车参数数组和毫米波雷达目标数据,对毫米波雷达目标的运动状态进行二次判断获得决策后运动状态。
该模块的输入信号为本车参数数组B、毫米波雷达目标状态参数数组RS、毫米波雷达目标运动状态RSt、毫米波雷达目标的ID号IDr、毫米波雷达目标类型Tr和毫米波雷达目标存在概率的标志位Rexist。该模块的输出信号为决策后毫米波雷达目标运动状态St2。决策后毫米波雷达目标运动状态St2将目标的运动分为7个状态:0-无效目标;1-同向远离目标;2-同向靠近目标;3-相向靠近目标;4-相对静止目标;5-绝对静止目标;6-横穿目标。
(8)摄像头运动状态判断模块15
摄像头运动状态判断模块15结合本车参数数组和摄像头目标数据,对摄像头目标的运动状态进行二次判断获得决策后运动状态。
该模块的输入信号为本车参数数组B、摄像头目标状态参数数组VS、摄像头目标运动状态VSt、摄像头目标的ID号IDv和摄像头目标类型Tv。该模块的输出信号为决策后摄像头目标运动状态St1。决策后摄像头目标运动状态St1将目标的运动分为7个状态:0-无效目标;1-同向远离目标;2-同向靠近目标;3-相向靠近目标;4-相对静止目标;5-绝对静止目标;6-横穿目标。
如上述,已知摄像头将目标运动状态VSt分为0-未定义; 1-静止(尾灯亮); 2-静止(尾灯不亮); 3- 静止(同向移动);4- 未知(同向移动);5- 运动(同向移动);6- 静止(对向移动);7- 未知(对向移动);8- 运动(对向移动) ;已知毫米波雷达将目标运动状态RSt分为:0-未分类;1-静止; 2-暂时停止; 3-运动; 4-对向移动;5-天桥; 6-井盖;由于毫米波雷达和摄像头对目标运动状态分类不同,且分类较为模糊、不够精细,运动状态准确度较低,因此需要对交通目标的运动状态进行二次判断,基于该判断可提高目标的匹配精度,降低目标匹配精度对时间同步的依赖。基于前后两个(或多个)时刻的数据对摄像头和雷达的目标运动状态进行二次判断,二次判断后将目标运动状态统一划分为:0-无效目标;1-同向远离目标;2-同向靠近目标;3-相向靠近目标;4-相对静止目标;5-绝对静止目标;6-横穿目标。
(9)目标关联匹配模块4
目标关联匹配模块4结合本车参数数组、毫米波雷达目标数据和决策后运动状态、以及摄像头目标数据和决策后运动状态,对毫米波雷达目标和摄像头目标进行匹配,获得匹配对。
目标关联匹配模块4的输入信号为本车参数数组B、摄像头无效目标剔除模块7、毫米波雷达无效目标剔除模块3、摄像头运动状态判断模块15、毫米波雷达运动状态判断模块14的全部输出信号。目标关联匹配模块4的输出信号为匹配后目标特征标志位数组Ft=[D,Rex]、匹配后目标对的状态参数数组RH=[VS,RS]、匹配后目标类型数组T=[Tv,Tr]、匹配后目标运动状态数组S=[St1,St2]。
如上所述,在进行目标关联匹配之前,毫米波雷达目标和摄像头目标已在空间对齐,且经过运动状态的二次判断,经过二次判断的雷达目标和摄像头目标运动状态分类相同(0-无效目标;1-同向远离目标;2-同向靠近目标;3-相向靠近目标;4-相对静止目标;5-绝对静止目标;6-横穿目标)。本实施例的目标关联匹配模块4在对目标进行关联匹配时,首先通过雷达目标和摄像头目标的二次判断后运动状态进行对齐(而不用采用复杂的时间对齐,提高匹配效率),将运动状态相同的目标相对齐,之后将摄像头和毫米波雷达目标的纵向距离,横向距离、纵向速度和运动状态作为证据,采用DS证据理论即可判断两个传感器的目标是否匹配。
(10)目标融合跟踪模块8
该模块对匹配后的目标进行融合,并输出融合后目标运动状态参数,并根据融合结果结合摄像头CIPV的ID号对CIPV进行综合筛选,获得决策后CIPV的ID号进行跟踪。
本实施例中,目标关联匹配模块4同一时刻输出8个匹配对,即目标融合跟踪模块8同一时刻对8个匹配对进行融合。
摄像头同一时刻输出5个交通目标信息,目标ID从1到64区间变化。毫米波雷达同一时刻输出16个交通目标信息,目标ID从1到100区间变化。本实施例将同一时刻匹配对目标的最大输出个数设定为8个,即同一时刻最多有8个匹配对,目标融合跟踪模块8中融合跟踪的目标个数最多为8个.匹配对的目标来源有两部分,一是本时刻摄像头目标与毫米波雷达目标第一次匹配而得到的目标,二是本时刻摄像头目标与毫米波雷达目标历史时刻已经匹配成功的目标(包括本次摄像头没有检测到,但历史存在,本次继续维护的目标)。因此在交通目标较多的场景下,同一时刻的匹配对目标个数可能会大于摄像头同一时刻输出的交通目标5个,因此匹配对个数应设置的大于5,且个数越大越不容易造成目标丢失,目标识别的更为详尽。但匹配对个数越多意味着下一步采用标准Kalamn滤波算法进行匹配对目标稳定跟踪的个数就越多,由于标准Kalamn滤波算法的原理,需要记录前后两个时刻的目标状态值和协方差矩阵,而匹配对个数越多造成标准Kalamn滤波算法所需内存空间和算力就越大。综上所述,通过仿真和实验分析,同一时刻匹配对目标设置为8时,能同时兼顾降低运算内存空间的占用,减小程序所需算力,充分展现稳定跟踪的目标,基本不会造成目标丢失。
如图2所示,本实施例中,目标融合跟踪模块8具体包括以下功能模块。
(10.1)已匹配目标测量值获取模块16
已匹配目标测量值获取模块16获取匹配后目标运动状态参数,并将匹配后目标运动状态参数进行综合加权获得更新的已匹配目标测量值数组。具体地,已匹配目标测量值获取模块16输入信号为匹配后目标对的状态参数数组RH,输出信号为已匹配目标测量值数组Z。已匹配目标测量值数组Z包括已匹配目标相对纵向距离测量值Dxx、已匹配目标相对横向距离测量值Dyy、已匹配目标相对纵向速度测量值Sxx和已匹配目标相对横向速度测量值Syy。
(10.2)第一延迟模块17
第一延迟模块17保存上一时刻融合后目标运动状态参数,具体为融合后目标运动状态参数数组X。
(10.3)第二延迟模块22
第二延迟模块22保存上一时刻融合后目标协方差矩阵P,融合后目标协方差矩阵P的参数为本领域公知常识,在此不再赘述。
(10.4)已匹配目标对跟踪模块18
该模块根据匹配后目标运动状态参数、匹配后目标特征标志位、上一时刻融合后目标运动状态参数和上一时刻融合后目标协方差矩阵通过Kalamn滤波算法对已匹配目标进行跟踪。
已匹配目标对跟踪模块18的输入信号为已匹配目标测量值数组Z、匹配后目标特征标志位数组Ft、上一时刻融合后目标状态数组X和上一时刻融合后目标的协方差矩阵P。已匹配目标对跟踪模块18的输出信号为融合后目标状态数组X和融合后目标的协方差矩阵P。融合后目标状态数组X包括融合后目标相对纵向距离Dx、融合后目标相对横向距离Dy、融合后目标相对纵向速度Sx、融合后目标相对横向速度Sy、融合后目标相对纵向加速度Ax、融合后目标相对横向加速度Ay。
已匹配目标对跟踪模块18通过标准Kalamn滤波算法对已匹配目标对的状态进行更新。
(10.5)匹配目标对中筛选CIPV模块20
匹配目标对中筛选CIPV模块20根据融合结果,结合本车参数数组筛选出匹配目标中的CIPV。
匹配目标对中筛选CIPV模块20的输入信号为本车参数数组B和融合后目标状态数组X,输出信号为融合结果中CIPV的行数Nc。
其中本车参数数组B包括本车转弯半径Rv和本车车速Ve,融合后目标状态数组X包括融合后目标相对纵向距离Dx、融合后目标相对横向距离Dy、融合后目标相对纵向速度Sx、融合后目标相对横向速度Sy、融合后目标相对纵向加速度Ax、融合后目标相对横向加速度Ay,根据本车速度、运动状态和感知到的所有目标位置、速度、加速度即可筛选出本车行驶轨迹上的最危险目标。
(10.6)CIPV综合筛选模块21
CIPV综合筛选模块21根据匹配目标对中筛选CIPV模块20的筛选结果,结合摄像头CIPV的ID号、融合后目标数据筛选出最终CIPV。
需要说明的是,匹配目标对中筛选CIPV模块20输出的为其判断的融合目标中CIPV的行数Nc。
CIPV综合筛选模块21输入信号为匹配后目标对的状态参数数组RH、匹配后目标特征标志位数组Ft、摄像头CIPV的ID值IDecipv、融合后目标状态数组X和融合结果中CIPV的行数Nc。CIPV综合筛选模块21的输出信号为当前匹配对中CIPV所在的行数Ncipv。
具体地,CIPV综合筛选模块21通过匹配后目标对的状态参数数组RH、匹配后目标特征标志位数组Ft和融合后目标状态数组X,对当前匹配对中CIPV所在的行数Ncipv所代表的CIPV以及摄像头CIPV的ID值IDecipv所代表的CIPV进行综合判断,选出概率最高的CIPV目标。
(10.7)融合结果输出模块19
融合结果输出模块19将融合后的目标运动状态参数进行输出。具体地,融合结果输出模块19的输入信号为融合后目标状态数组X,输出信号为融合后目标相对纵向距离Dx、融合后目标相对横向距离Dy、融合后目标相对纵向速度Sx、融合后目标相对横向速度Sy、融合后目标相对纵向加速度Ax、融合后目标相对横向加速度Ay。融合结果输出模块35的功能即将融合后目标状态数组X中的具体参数拆分输出。
(11)匹配对多个标志位输出模块5
该模块输出匹配对的目标特征标志位信息和决策后CIPV的ID号。
具体地,该模块的输入信号为匹配后目标特征标志位数组Ft和摄像头CIPV在融合结果中的行数Ncipv,输出信号为决策后CIPV的ID号CIPV、匹配后目标丢失的原因D、匹配后目标可信度Rex。该模块将匹配后目标特征标志位数组Ft中的部分参数进行拆分输出,并获得决策后CIPV的ID号CIPV。
(12)匹配对状态输出模块9
该模块输出匹配对的运动状态信息。
具体地,该模块输入信号为匹配后目标类型数组T和匹配后目标运动状态数组S,输出信号为匹配后目标对摄像头的目标类型Tv、匹配后目标对雷达的目标类型Tr、综合决策后目标类型Tz、决策后摄像头目标运动状态St1、决策后毫米波雷达目标运动状态St2和融合后目标的宽度W。
实施例二
本实施例提供一种交通目标综合感知方法,在目标感知过程中,需要对毫米波雷达目标和摄像头目标进行运动状态的二次判断,以细化和统一状态分类,使用运动状态对毫米波雷达目标和摄像头目标进行对齐,而无需进行毫米波雷达目标和摄像头目标时间对齐,提高感知效率。
首先对方法所涉及的参数进行说明:
摄像头目标运行状态参数以数组VS=[Dxv Dyv Sxv Syv]表示,其中Dxv为摄像头目标相对纵向距离,Dyv为摄像头目标相对横向距离,Sxv为摄像头目标相对纵向速度,Syv摄像头目标相对横向速度;每一时刻摄像头目标为N个,数组VS为N行四列,VS(i,n)表示VS数组中第i个目标的第n个参数,i=1、2……N,n=1、2、3、4。
毫米波雷达目标运行状态参数以数组RS=[Dxr Dyr Sxr Syr]表示,其中Dxr为毫米波雷达目标相对纵向距离,Dyr为毫米波雷达目标相对横向距离,Sxr为毫米波雷达目标相对纵向速度,Syr毫米波雷达目标相对横向速度;每一时刻毫米波雷达目标为M个,数组RS为M行四列,VS(i,m)表示RS数组中第i个目标的第m个参数,i=1、2……N,m=1、2……16。
VSt(i,1)表示第i个目标在二次判断前摄像头目标运行状态,VSt(i,1)=1表示车辆尾灯亮静止; VSt(i,1)= 2表示车辆尾灯不亮静止; VSt(i,1)=3表示同向移动目标静止中; VSt(i,1)=4表示同向移动目标未知状态; VSt(i,1)=5表示同向移动目标运动中; VSt(i,1)=6表示对向移动目标静止中; VSt(i,1)=7表示对向移动目标未知状态; VSt(i,1)=8表示对向移动目标运动中。
RSt(i,1)表示第i个目标在二次判断前毫米波雷达目标运行状态,RSt(i,1)共有7个取值,分别为RSt(i,1)=0表示未分类; RSt(i,1)=1表示静止; RSt(i,1)=2表示暂时停止; RSt(i,1)=3表示运动; RSt(i,1)=4表示对向移动; RSt(i,1)=5表示天桥; RSt(i,1)=6表示井盖。
本车参数数组为B=[Ve Rv]’,其中Ve为本车车速,Rv为本车转弯半径;该方法B(2,1)表示Rv,B(1,1)表示Ve。
如图3所示,本实施例的方法包括摄像头目标运行状态二次判断过程,该过程包括以下步骤:
SS1,判断VS(i,1)<=0,若成立则第i个目标为无效目标St1=0,i=i+1后进行该步骤,否则进入进一步;
SS2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SS3,判断j≠0 && B(2,1)=0,若成立则进入1-Case1,否则进入下一步;
SS4,判断j≠0 && B(2,1)≠0,若成立则进入1-Case2,否则进入1-Case3。
其中,1-Case1运行以下步骤:
S101,判断abs(VS(i,2)-VS2(j,2)) >= 1.5*abs (VS(i,1)-VS2(j,1) +t1*B(1,1)) && abs(VS(i,2)-VS2(j,2)) >=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回SS1;其中VS2表示上一时刻摄像头目标运行状态参数数组;;t1表示摄像头采样时间间隔;
S102,判断VS(i,3) >= 1,若成立则第i个目标为同向远离目标St1=1,i=i+1,返回SS1;
S103,判断 VS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S104,判断 VS(i,3)<=1 && VS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S105,判断 abs(VS(i,3))<=0.5,若成立则第i个目标为相对静止目标St1=4,i=i+1,返回SS1;
S106,判断 abs(VS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S107,判断VSt(i,1)=1 || VSt(i,1)=2,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S108,判断VSt(i,1)=3|| VSt(i,1)=4||VSt(i,1)=5,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S109,判断VSt(i,1)=6|| VSt(i,1)=7||VSt(i,1)=8,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S110,若上述均不成立则第i个目标为无效目标St1=0,i=i+1,返回SS1。
1-Case2运行以下步骤:
S201,分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:
Z=B(1,1)*cos(YawRate*t1/2);H= B(1,1)*sin(YawRate*t1/2);其中YawRate表示本车横摆角速度;
S202,判断abs(VS(i,2)-VS2(j,2)-H*t1)>= 1.5*abs(VS(i,1) -VS2(j,1)-t1*Z)&& abs(VS(i,2)-VS2(j,2)-H*t1)>=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回步骤SS1;否则执行后续步骤,后续步骤与步骤S102-S110相同。
1-Case3的执行步骤与步骤S102-S110相同。
如图4所示,本实施例的方法还包括毫米波雷达目标运行状态二次判断过程,该过程包括以下步骤:
SR1,判断RS(i,1)<=0,若成立则第i个目标为无效目标St2=0,i=i+1后进行该步骤,否则进入进一步;
SR2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SR3,判断j≠0 && B(2,1)=0,若成立则进入2-Case1,否则进入下一步;
SR4,判断j≠0 && B(2,1)≠0,若成立则进入2-Case2,否则进入2-Case3。
2-Case1运行以下步骤:
R101,判断abs(RS(i,2)-RS2(j,2)) >= 1.5*abs (RS(i,1)-RS2(j,1) +t2*B(1,1)) && abs(RS(i,2)-RS2(j,2)) >=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回SR1;其中RS2表示上一时刻毫米波雷达目标运行状态参数数组;t2表示毫米波雷达采样时间间隔;
R102,判断RS(i,3) >= 1,若成立则第i个目标为同向远离目标St2=1,i=i+1,返回SR1;
R103,判断 RS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R104,判断 RS(i,3)<=1 && RS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R105,判断 abs(RS(i,3))<=0.5,若成立则第i个目标为相对静止目标St2=4,i=i+1,返回SR1;
R106,判断 abs(RS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St2=5,i=i+1,返回SR1;
R107,判断RSt(i,1)=2|| RSt(i,1)=3,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R108,判断RSt(i,1)=4,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R109,若上述均不成立则第i个目标为无效目标St2=0,i=i+1,返回SR1。
2- Case2运行以下步骤:
R201, 分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:
Z=B(1,1)*cos(YawRate*t2/2)、H=B(1,1)*sin(YawRate*t2/2) ;
R202,判断abs(RS(i,2)-RS2(j,2)-H*t2)>= 1.5*abs(RS(i,1)- RS2(j,1)-t2*Z)&& abs(RS(i,2)-RS2(j,2)-H*t2)>=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回步骤SR1;否则执行后续步骤,后续步骤与步骤R102-R109相同。
2-Case3的执行步骤与步骤R102-R109相同。
以上公开的仅为本发明的优选实施方式,但本发明并非局限于此,任何本领域的技术人员能思之的没有创造性的变化,以及在不脱离本发明原理前提下所作的若干改进和润饰,都应落在本发明的保护范围内。

Claims (7)

1.一种交通目标综合感知系统,其特征在于,包括,
本车信号获取模块:获取本车信号,包括本车车速和本车横摆角速度;
计算转弯半径模块:根据本车信号计算本车转弯半径,并将本车车速和本车转弯半径组成本车参数数组;
毫米波雷达原始信号获取模块:获取毫米波雷达目标数据,包括毫米波雷达目标运动状态参数、原始运动状态、目标类型、目标ID和目标存在概率标志位;
摄像头原始信号获取模块:获取摄像头目标数据,包括摄像头目标运动状态参数、原始运动状态、目标类型、目标ID和摄像头CIPV标志位;
空间对齐模块:将摄像头目标运动状态参数在毫米波雷达目标运动状态参数所在坐标系为基准进行空间对齐;
毫米波雷达运动状态判断模块:结合本车参数数组和毫米波雷达目标数据,对毫米波雷达目标的原始运动状态进行二次判断获得决策后运动状态;
对毫米波雷达目标的原始运动状态进行二次判断获得决策后运动状态的方法包括:
毫米波雷达目标运行状态参数以数组RS=[Dxr Dyr Sxr Syr]表示,其中Dx r为毫米波雷达目标相对纵向距离,Dyr为毫米波雷达目标相对横向距离,Sxr为毫米波雷达目标相对纵向速度,Syr毫米波雷达目标相对横向速度;
每一时刻毫米波雷达目标为M个,数组RS为M行四列,VS(i,m)表示RS数组中第i个目标的第m个参数,i=1、2……M,其中M=16,m=1、2、3、4;
RSt(i,1)表示第i个目标在二次判断前毫米波雷达目标运行状态,RSt(i,1)=2表示目标暂时停止,RSt(i,1)=3表示目标运动,RSt(i,1)=4表示目标对向移动;
该方法包括毫米波雷达目标运行状态二次判断过程,该过程包括以下步骤:SR1,判断RS(i,1)<=0,若成立则第i个目标为无效目标St2=0,i=i+1后进行该步骤,否则进入进一步;
SR2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SR3,判断j≠0&&B(2,1)=0,若成立则进入2-Case1,否则进入下一步;
SR4,判断j≠0&&B(2,1)≠0,若成立则进入2-Case2,否则进入2-Case3;
2-Case1运行以下步骤:R101,判断abs(RS(i,2)-RS2(j,2))>=1.5*abs(RS(i,1)-RS2(j,1)+t2*B(1,1))&&abs(RS(i,2)-RS2(j,2))>=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回SR1;
其中RS2表示上一时刻毫米波雷达目标运行状态参数数组;
t2表示毫米波雷达采样时间间隔;
R102,判断RS(i,3)>=1,若成立则第i个目标为同向远离目标St2=1,i=i+1,返回SR1;
R103,判断RS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R104,判断RS(i,3)<=1&&RS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R105,判断abs(RS(i,3))<=0.5,若成立则第i个目标为相对静止目标St2=4,i=i+1,返回SR1;
R106,判断abs(RS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St2=5,i=i+1,返回SR1;
R107,判断RSt(i,1)=2||RSt(i,1)=3,若成立则第i个目标为同向靠近目标St2=2,i=i+1,返回SR1;
R108,判断RSt(i,1)=4,若成立则第i个目标为相向靠近目标St2=3,i=i+1,返回SR1;
R109,若R101-R108均不成立则第i个目标为无效目标St2=0,i=i+1,返回SR1;
2-Case2运行以下步骤:R201,分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:Z=B(1,1)*cos(YawRate*t2/2)、H=B(1,1)*sin(YawR ate*t2/2);
R202,判断abs(RS(i,2)-RS2(j,2)-H*t2)>=1.5*abs(RS(i,1)-RS2(j,1)-t2*Z)&&abs(RS(i,2)-RS2(j,2)-H*t2)>=0.15,若成立则第i个目标为横穿目标St2=6,i=i+1,返回步骤SR1;
否则执行后续步骤,后续步骤与步骤R102-R109相同;
2-Case3的执行步骤与步骤R102-R109相同;
摄像头运动状态判断模块:结合本车参数数组和摄像头目标数据,对摄像头目标的原始运动状态进行二次判断获得决策后运动状态;
对摄像头目标的原始运动状态进行二次判断获得决策后运动状态的方法包括:
摄像头目标运行状态参数以数组VS=[Dxv Dyv Sxv Syv]表示,其中Dxv为摄像头目标相对纵向距离,Dyv为摄像头目标相对横向距离,Sxv为摄像头目标相对纵向速度,Syv摄像头目标相对横向速度;
每一时刻摄像头目标为N个,数组VS为N行四列,VS(i,n)表示VS数组中第i个目标的第n个参数,i=1、2……N,n=1、2、3、4;
本车参数数组为B=[Ve Rv]’,其中Ve为本车车速,Rv为本车转弯半径;
该方法B(2,1)表示Rv,B(1,1)表示Ve;
VSt(i,1)表示第i个目标在二次判断前摄像头目标运行状态,VSt(i,1)=1表示车辆尾灯亮静止;VSt(i,1)=2表示车辆尾灯不亮静止;VSt(i,1)=3表示同向移动目标静止中;VSt(i,1)=4表示同向移动目标未知状态;VSt(i,1)=5表示同向移动目标运动中;VSt(i,1)=6表示对向移动目标静止中;VSt(i,1)=7表示对向移动目标未知状态;VSt(i,1)=8表示对向移动目标运动中;
该方法包括摄像头目标运行状态二次判断过程,该过程包括以下步骤:SS1,判断VS(i,1)<=0,若成立则第i个目标为无效目标St1=0,i=i+1后进行该步骤,否则进入进一步;
SS2,查找本时刻第i行目标所对应上一时刻的第j行目标;
SS3,判断j≠0&&B(2,1)=0,若成立则进入1-Case1,否则进入下一步;
SS4,判断j≠0&&B(2,1)≠0,若成立则进入1-Case2,否则进入1-Case3;
1-Case1运行以下步骤:S101,判断abs(VS(i,2)-VS2(j,2))>=1.5*abs(VS(i,1)-VS2(j,1)+t1*B(1,1))&&abs(VS(i,2)-VS2(j,2))>=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回SS1;
其中VS2表示上一时刻摄像头目标运行状态参数数组;
t1表示摄像头采样时间间隔;
S102,判断VS(i,3)>=1,若成立则第i个目标为同向远离目标St1=1,i=i+1,返回SS1;
S103,判断VS(i,3)+B(1,1)<=-1,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S104,判断VS(i,3)<=1&&VS(i,3)+B(1,1)>=1,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S105,判断abs(VS(i,3))<=0.5,若成立则第i个目标为相对静止目标St1=4,i=i+1,返回SS1;
S106,判断abs(VS(i,3)+B(1,1))<=1,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S107,判断VSt(i,1)=1||VSt(i,1)=2,若成立则第i个目标为绝对静止目标St1=5,i=i+1,返回SS1;
S108,判断VSt(i,1)=3||VSt(i,1)=4||VSt(i,1)=5,若成立则第i个目标为同向靠近目标St1=2,i=i+1,返回SS1;
S109,判断VSt(i,1)=6||VSt(i,1)=7||VSt(i,1)=8,若成立则第i个目标为相向靠近目标St1=3,i=i+1,返回SS1;
S110,若S101-S109均不成立则第i个目标为无效目标St1=0,i=i+1,返回SS1;
1-Case2运行以下步骤:S201,分别计算本车转弯时纵向速度分量Z和本车转弯时横向速度分量H:Z=B(1,1)*cos(YawRate*t1/2);
H=B(1,1)*sin(YawRate*t1/2);
其中YawRate表示本车横摆角速度;
S202,判断abs(VS(i,2)-VS2(j,2)-H*t1)>=1.5*abs(VS(i,1)-VS2(j,1)-t1*Z)&&abs(VS(i,2)-VS2(j,2)-H*t1)>=0.15,若成立则第i个目标为横穿目标St1=6,i=i+1,返回步骤SS1;
否则执行后续步骤,后续步骤与步骤S102-S110相同;
1-Case3的执行步骤与步骤S102-S110相同;
其中,摄像头目标决策后运动状态的划分类型与毫米波雷达目标决策后运动状态的划分类型相同;
摄像头CIPV目标ID筛选模块:根据摄像头目标ID和CIPV标志位筛选出摄像头CIPV的ID号;
目标关联匹配模块:结合本车参数数组、毫米波雷达目标数据和决策后运动状态、以及摄像头目标数据和决策后运动状态,对毫米波雷达目标和摄像头目标进行匹配,获得匹配对;
目标融合跟踪模块:对匹配后的目标进行融合,并输出融合后目标运动状态参数,并根据融合结果结合摄像头CIPV的ID号对CIPV进行综合筛选,获得决策后CIPV的ID号进行跟踪。
2.根据权利要求1所述的交通目标综合感知系统,其特征在于,还包括,
匹配对多个标志位输出模块:输出匹配对的目标特征标志位信息和决策后CIPV的ID号;
匹配对状态输出模块:输出匹配对的运动状态信息。
3.根据权利要求2所述的交通目标综合感知系统,其特征在于,还包括,
毫米波雷达无效目标剔除模块:结合本车参数数组,对毫米波雷达原始信号获取模块所获取数据进行无效目标剔除;
毫米波雷达运动状态判断模块和目标关联匹配模块所获得毫米波雷达相关数据为剔除无效目标后的数据。
4.根据权利要求3所述的交通目标综合感知系统,其特征在于,还包括,
摄像头无效目标剔除模块:结合本车参数数组,对摄像头原始信号获取模块所获取数据进行无效目标剔除;
摄像头运动状态判断模块、目标关联匹配模块所获得摄像头相关数据为剔除无效目标后的数据。
5.根据权利要求1-4任一项所述的交通目标综合感知系统,其特征在于,目标融合跟踪模块包括,
已匹配目标测量值获取模块:获取匹配后目标运动状态参数,并将匹配后目标运动状态参数进行综合加权获得更新的已匹配目标测量值数组;
第一延迟模块:保存上一时刻融合后目标运动状态参数;
第二延迟模块:保存上一时刻融合后目标协方差矩阵;
已匹配目标对跟踪模块:根据匹配后目标运动状态参数、匹配后目标特征标志位、上一时刻融合后目标运动状态参数和上一时刻融合后目标协方差矩阵通过Kalamn滤波算法对已匹配目标进行跟踪;
匹配目标对中筛选CIPV模块:根据融合结果,结合本车参数数组筛选出匹配目标中的CIPV;
CIPV综合筛选模块:根据匹配目标对中筛选CIPV模块的筛选结果,结合摄像头CIPV的ID号、融合后目标数据筛选出最终CIPV。
6.根据权利要求5所述的交通目标综合感知系统,其特征在于,目标融合跟踪模块还包括,融合结果输出模块:将融合后的目标运动状态参数进行输出。
7.根据权利要求6所述的交通目标综合感知系统,其特征在于,目标关联匹配模块同一时刻输出8个匹配对。
CN202010956494.6A 2020-09-11 2020-09-11 一种交通目标综合感知系统及方法 Active CN112130136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010956494.6A CN112130136B (zh) 2020-09-11 2020-09-11 一种交通目标综合感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010956494.6A CN112130136B (zh) 2020-09-11 2020-09-11 一种交通目标综合感知系统及方法

Publications (2)

Publication Number Publication Date
CN112130136A CN112130136A (zh) 2020-12-25
CN112130136B true CN112130136B (zh) 2024-04-12

Family

ID=73845639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956494.6A Active CN112130136B (zh) 2020-09-11 2020-09-11 一种交通目标综合感知系统及方法

Country Status (1)

Country Link
CN (1) CN112130136B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112946628A (zh) * 2021-02-08 2021-06-11 江苏中路工程技术研究院有限公司 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN113325415B (zh) * 2021-04-20 2023-10-13 武汉光庭信息技术股份有限公司 车辆雷达数据和相机数据的融合方法及系统
CN114035187B (zh) * 2021-10-26 2024-08-23 北京国家新能源汽车技术创新中心有限公司 一种自动驾驶系统的感知融合方法

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000065928A (ja) * 1998-08-19 2000-03-03 Honda Motor Co Ltd 車両の走行安全装置
JP2004045229A (ja) * 2002-07-12 2004-02-12 Hitachi Ltd レーダ装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2004295620A (ja) * 2003-03-27 2004-10-21 Toyota Motor Corp 車両衝突可能性検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
EP3096305A1 (de) * 2015-05-21 2016-11-23 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren zur geschwindigkeitsermittlung von fahrzeugen mit selbständiger plausibilitätsprüfung
CN107133555A (zh) * 2017-01-20 2017-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别8字运动轨迹目标的方法
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN108036812A (zh) * 2017-11-13 2018-05-15 深圳市易成自动驾驶技术有限公司 传感器状态检测方法、装置及计算机可读存储介质
CN108280442A (zh) * 2018-02-10 2018-07-13 西安交通大学 一种基于轨迹匹配的多源目标融合方法
WO2018151754A1 (en) * 2017-02-17 2018-08-23 Telanon, Inc. Improved methods and apparatus for stationary object detection plus vehicle and driver interface
WO2018209997A1 (zh) * 2017-05-15 2018-11-22 蔚来汽车有限公司 用于目标跟踪的车载毫米波雷达滤波估计方法、装置及存储介质
CN109313258A (zh) * 2016-06-03 2019-02-05 奥托立夫开发公司 用于车辆环境检测系统的增强的物体检测和运动状态估计
CN109407051A (zh) * 2018-10-25 2019-03-01 郑州航空工业管理学院 凸优化融合图论的广义秩目标传感网时空数据定位方法
CN109471096A (zh) * 2018-10-31 2019-03-15 奇瑞汽车股份有限公司 多传感器目标匹配方法、装置及汽车
EP3467545A1 (en) * 2017-10-05 2019-04-10 Veoneer Sweden AB Object classification
CN109747643A (zh) * 2017-11-07 2019-05-14 郑州宇通客车股份有限公司 一种智能车辆感知系统的信息融合方法
CN110058239A (zh) * 2019-04-29 2019-07-26 上海保隆汽车科技股份有限公司 一种车载毫米波雷达装置及目标探测方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110691986A (zh) * 2017-06-02 2020-01-14 索尼公司 用于计算机视觉的设备、方法和计算机程序
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN111026099A (zh) * 2019-12-30 2020-04-17 中国重汽集团济南动力有限公司 一种智能网联汽车功能仿真测试系统及测试方法
WO2020151468A1 (zh) * 2019-01-22 2020-07-30 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN111610492A (zh) * 2020-06-03 2020-09-01 电子科技大学 一种多声传感器阵列智能感知方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US20110102237A1 (en) * 2008-12-12 2011-05-05 Lang Hong Fusion Algorithm for Vidar Traffic Surveillance System
CN104854428B (zh) * 2013-12-10 2018-12-14 深圳市大疆创新科技有限公司 传感器融合
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
JP6856452B2 (ja) * 2017-06-14 2021-04-07 トヨタ自動車株式会社 物標判定装置及び運転支援システム

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000065928A (ja) * 1998-08-19 2000-03-03 Honda Motor Co Ltd 車両の走行安全装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2004045229A (ja) * 2002-07-12 2004-02-12 Hitachi Ltd レーダ装置
JP2004295620A (ja) * 2003-03-27 2004-10-21 Toyota Motor Corp 車両衝突可能性検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
EP3096305A1 (de) * 2015-05-21 2016-11-23 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren zur geschwindigkeitsermittlung von fahrzeugen mit selbständiger plausibilitätsprüfung
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN109313258A (zh) * 2016-06-03 2019-02-05 奥托立夫开发公司 用于车辆环境检测系统的增强的物体检测和运动状态估计
CN107133555A (zh) * 2017-01-20 2017-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别8字运动轨迹目标的方法
WO2018151754A1 (en) * 2017-02-17 2018-08-23 Telanon, Inc. Improved methods and apparatus for stationary object detection plus vehicle and driver interface
WO2018209997A1 (zh) * 2017-05-15 2018-11-22 蔚来汽车有限公司 用于目标跟踪的车载毫米波雷达滤波估计方法、装置及存储介质
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN110691986A (zh) * 2017-06-02 2020-01-14 索尼公司 用于计算机视觉的设备、方法和计算机程序
EP3467545A1 (en) * 2017-10-05 2019-04-10 Veoneer Sweden AB Object classification
CN109747643A (zh) * 2017-11-07 2019-05-14 郑州宇通客车股份有限公司 一种智能车辆感知系统的信息融合方法
CN108036812A (zh) * 2017-11-13 2018-05-15 深圳市易成自动驾驶技术有限公司 传感器状态检测方法、装置及计算机可读存储介质
CN108280442A (zh) * 2018-02-10 2018-07-13 西安交通大学 一种基于轨迹匹配的多源目标融合方法
CN109407051A (zh) * 2018-10-25 2019-03-01 郑州航空工业管理学院 凸优化融合图论的广义秩目标传感网时空数据定位方法
CN109471096A (zh) * 2018-10-31 2019-03-15 奇瑞汽车股份有限公司 多传感器目标匹配方法、装置及汽车
WO2020151468A1 (zh) * 2019-01-22 2020-07-30 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN110058239A (zh) * 2019-04-29 2019-07-26 上海保隆汽车科技股份有限公司 一种车载毫米波雷达装置及目标探测方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN111026099A (zh) * 2019-12-30 2020-04-17 中国重汽集团济南动力有限公司 一种智能网联汽车功能仿真测试系统及测试方法
CN111610492A (zh) * 2020-06-03 2020-09-01 电子科技大学 一种多声传感器阵列智能感知方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Millimeter-Wave Radar and Machine Vision-Based Lane Recognition;Wei Li, Yue Guan, Liguo Chen, and Lining Sun;《International Journal of Pattern Recognition and Artificial Intelligence》;20180531;第32卷(第5期);1850015 *
信号交叉口右转机动车与行人冲突运动模型;鲍怡婷;周竹萍;徐永能;;《交通信息与安全》;20160628;第34卷(第03期);41-49 *
基于测距雷达和机器视觉数据融合的前方车辆检测系统;庞成;《中国优秀硕士学位论文全文数据库 信息科学辑》;20160815(第8期);I138-879 *
智能汽车近程交通车辆的综合认知;佘远昇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190115(第1期);C035-408 *
融合毫米波雷达与单目视觉的前车检测与跟踪;赵望宇, 李必军, 单云霄等;《武汉大学学报(信息科学版)》;20191205;第44卷(第12期);1832-1840 *
车辆前方行驶环境识别技术探讨;于涛, 徐家明;《汽车科技》;20091125(第6期);22-26 *
雷达摄像头数据融合在智能辅助驾驶的应用;王贺;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191115(第11期);C035-134 *

Also Published As

Publication number Publication date
CN112130136A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112130136B (zh) 一种交通目标综合感知系统及方法
Zyner et al. Long short term memory for driver intent prediction
CN110596694B (zh) 一种复杂环境雷达多目标跟踪和道路行驶环境预测方法
CN111670468B (zh) 移动体行为预测装置以及移动体行为预测方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
EP3722908B1 (en) Learning a scenario-based distribution of human driving behavior for realistic simulation model
CN112033429B (zh) 一种智能汽车的目标级多传感器融合方法
Chou et al. Predicting motion of vulnerable road users using high-definition maps and efficient convnets
CN106255899A (zh) 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
EP3722907A1 (en) Learning a scenario-based distribution of human driving behavior for realistic simulation model and deriving an error model of stationary and mobile sensors
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
EP4257443A1 (en) Method and system for automatic driving data collection and closed-loop management
CN117454318B (zh) 一种基于多源数据融合的桥梁群时空荷载分布识别方法
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
CN112835030A (zh) 一种障碍物目标的数据融合方法、装置及智能汽车
Friji et al. A dqn-based autonomous car-following framework using rgb-d frames
CN115909783A (zh) 一种基于交通流的车道级驾驶辅助方法及系统
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
Jugade et al. Sensor based prediction of human driving decisions using feed forward neural networks for intelligent vehicles
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
Choi et al. Radar-based lane estimation with deep neural network for lane-keeping system of autonomous highway driving
JP2020050047A (ja) 物体検出装置
Janssen et al. Vehicle surround sensing based on information fusion of monocular video and digital map
CN113917453A (zh) 一种基于雷达和视频的多传感器融合方法
Xing et al. A personalized deep learning approach for trajectory prediction of connected vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant