CN112033429A - 一种智能汽车的目标级多传感器融合方法 - Google Patents

一种智能汽车的目标级多传感器融合方法 Download PDF

Info

Publication number
CN112033429A
CN112033429A CN202010960587.6A CN202010960587A CN112033429A CN 112033429 A CN112033429 A CN 112033429A CN 202010960587 A CN202010960587 A CN 202010960587A CN 112033429 A CN112033429 A CN 112033429A
Authority
CN
China
Prior art keywords
target
targets
historical
sensor
motion state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010960587.6A
Other languages
English (en)
Other versions
CN112033429B (zh
Inventor
蔡坤阳
曲婷
赖锋
曲文奇
高炳钊
陈虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010960587.6A priority Critical patent/CN112033429B/zh
Publication of CN112033429A publication Critical patent/CN112033429A/zh
Application granted granted Critical
Publication of CN112033429B publication Critical patent/CN112033429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于传感器融合技术领域，具体涉及一种智能汽车的目标级多传感器融合方法；将智能汽车配备的多个传感器对目标的目标级检测信息进行时空配准，即目标的位置、速度、加速度信息，通过对多传感器检测到的所有目标进行全局跟踪，并对重复检测到的目标进行融合，使融合中心能够得到各个传感器检测范围内的所有目标的连续运动轨迹，再对全体目标进行航迹管理，筛除航迹管理后本周期所有目标中的备选新目标，即航迹生成判断还没完成的目标，将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。本发明可实现对车辆周围目标进行稳定、准确地检测和跟踪，并且可避免对重叠检测区域的目标重复检测等问题。

Description

一种智能汽车的目标级多传感器融合方法
技术领域
本发明属于传感器融合技术领域，具体涉及一种智能汽车的目标级多传感器融合方法。
背景技术
随着汽车智能化与自动化的快速发展，汽车自动驾驶技术领域已经越来越受到人们的关注。环境感知是汽车自动驾驶中重要而必不可缺的环节，为了满足汽车自动驾驶的需求，智能汽车环境感知系统需要对车辆周围交通环境中的车辆、行人、自行车等物体进行全面、准确的感知和探测。
为了满足自动驾驶的环境感知需求，车辆上往往配置有多个甚至多种环境传感器，比如毫米波雷达、相机传感器等。由于各个传感器都有各自的探测范围，在车辆上布置时，难免会有检测的重叠区域甚至会有盲区，导致对目标检测的丢失或重复检测。因此，如何使多个或多种传感器协同工作，为自动驾驶的规划控制层提供全面、准确的环境感知信息是当前环境感知系统所面临的难题。
发明内容
为了克服上述问题，本发明提供一种智能汽车的目标级多传感器融合方法，将智能汽车配备的多个传感器对目标的目标级检测信息作为输入，即目标的位置、速度、加速度信息，通过对多传感器检测到的所有目标进行全局跟踪，并对重复检测到的目标进行融合，实现对车辆周围目标进行稳定、准确地检测和跟踪，并且可避免对重叠检测区域的目标重复检测等问题。
一种智能汽车的目标级多传感器融合方法，包括如下步骤：
步骤一、时空配准：对各传感器检测数据进行预处理，具体包含如下内容：
1、坐标转换：
将各传感器对目标的测量值统一至车辆坐标系下，其中坐标转换公式如下：
Figure BDA0002680400370000021
其中，D为传感器的安装角度，即在水平面中传感器探测范围的中心方向与车辆行驶方向间的夹角，posx和posy为传感器在车辆坐标系中的安装位置；xveh,vxveh,axveh,yveh,vyveh,ayveh分别指车辆坐标系下目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；xsen,vxsen,axsen,ysen,vysen,aysen分别指传感器坐标系下传感器检测到的目标与传感器之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；
2、时间同步：
根据融合中心接收到传感器数据的时刻与融合中心当前工作时刻之间的差值，对车辆坐标系下目标和本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度在这段时间差内发生的变化进行补偿，得到车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度构成的目标运动状态；
步骤二、目标全局跟踪与融合：
对各个传感器检测到的所有目标进行全局跟踪，并对重复检测到的目标进行融合，使融合中心能够得到各个传感器检测范围内的所有目标的连续运动轨迹，即运动状态，具体包含如下步骤：
1、目标关联：
将各个传感器检测到的每个目标都记为测量目标，并将每个测量目标分别与全部历史目标进行关联匹配并判断；关联匹配成功的测量目标将会用于与之匹配的历史目标的运动状态更新，关联失败的测量目标均记为备选新目标；
2、状态估计与新目标生成：
对于与历史目标关联匹配成功的测量目标，根据其所关联的历史目标的运动状态估计值应用卡尔曼滤波原理对该历史目标在本周期的运动状态和协方差进行估计，而且对于同时与多个测量目标关联匹配成功的历史目标还需要进行目标融合；
3、航迹管理：
对全体目标进行航迹管理，航迹管理具体过程如下：
对本周期的关联失败所形成的备选新目标和历史目标中还未判断其航迹生成成功的目标进行航迹生成判断，其中判断航迹生成成功的原则是：该目标连续3个周期与与其对应的历史目标关联匹配成功；
对于航迹生成成功的目标，之后的每个周期都要对其进行航迹消亡判断，其中航迹消亡成功的判断准则是：该目标连续5个周期与与其对应的历史目标关联匹配失败；
在全体目标中删除航迹生成失败和航迹消亡成功的目标，得到航迹管理后本周期的所有目标及其运动状态；
4、目标运动状态预测：
将航迹管理后得到的目标作为下一周期的历史目标，根据常加速度(CA)运动学模型对这些目标在下一周期的运动状态和协方差进行预测，并将预测结果用于步骤二中作为下一周期的目标关联，运动状态和协方差的预测公式如下：
Figure BDA0002680400370000031
P(k+1|k)＝AP(k|k)AT+Q
其中，
Figure BDA0002680400370000032
P(k+1|k)分别为根据本周期的目标运动状态预测得到的历史目标的下一周期的运动状态和协方差。
步骤三、输出管理：
筛除航迹管理后本周期所有目标中的备选新目标，即航迹生成判断还没完成的目标；将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。
所述步骤一中的时间同步是将目标和本车在融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差所造成的运动状态变化使用CA模型进行补偿，补偿公式如下：
Figure BDA0002680400370000041
其中，xcom,vxcom,axcom,ycom,vycom,aycom分别指车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；Δt表示融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差。
所述步骤二的目标关联中关联匹配判断的具体过程如下：
采用马氏距离计算各个测量目标分别与前一时刻全体历史目标之间的距离，并以矩阵的形式记录，其中该距离矩阵的行数代表传感器的测量目标个数m，列数代表历史目标个数n，得到各个传感器测量目标与前一时刻全体历史目标的距离矩阵
Figure BDA0002680400370000042
如下：
Figure BDA0002680400370000043
其中，G是每个历史目标的距离门限值，当某个测量目标与某个历史目标之间的马氏距离小于或等于该距离门限值时才会被关联；cij表示距离矩阵中第i行第j列元素的取值，i＝1,2,…,m，j＝1,2,…,n；cmax是人为设定的一个常数值，代表该测量目标在历史目标的距离门限值G之外；
Figure BDA0002680400370000044
表示第i个测量目标与第j个历史目标之间的马氏距离值；
然后采用Kuhn-Munkres分配算法，以全局距离代价最小为目标，将所有满足距离门限值G的测量目标分配给历史目标，使得每个历史目标与与其对应的测量目标一一关联匹配；由于存在多个传感器，因此对每个传感器的每个测量目标都重复上述过程，若一个历史目标与多个测量目标都关联匹配成功，则该历史目标需要进行后续的融合过程，关联匹配失败的测量目标则作为备选新目标；
所述的第i个历史目标与某个传感器第j个测量目标之间马氏距离的求取方法如下：
Figure BDA0002680400370000045
其中，T表示转置运算，Zj为第j个测量目标的运动状态，即第j个测量目标的xcom,vxcom,axcom,ycom,vycom,aycom构成的目标运动状态；Zj-HXi(k|k-1)表示残差，残差的协方差为S(k)＝HP(k|k-1)HT+R，其中H为测量矩阵，R为传感器噪声矩阵，P(k|k-1)为历史目标预测值的协方差。
所述步骤二的状态估计与新目标生成中运动状态的估计和目标融合的具体过程如下：
卡尔曼滤波中使用的运动模型为CA运动模型，故历史目标的运动状态的状态空间方程可表示为如下形式，以常加速度运动，
X(k+1)＝AX(k)+Γw(k)
Z(k)＝HX(k)+v(k)
其中，X为历史目标在本周期的运动状态向量(包括纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay，即X＝[x,y,vx,vy,ax,ay]T)；Z为车辆坐标系下传感器对该历史目标运动状态向量的测量值，即Z＝[xcom,ycom,vxcom,vycom,axcom,aycom]T；传感器测量噪声为v(k)服从N(0,R)的正态分布，CA运动模型噪声w(k)服从N(0,Q)的正态分布，Q,R分别为模型噪声和传感器测量噪声的协方差矩阵，各个矩阵的具体值如下，
Figure BDA0002680400370000051
其中A为CA运动模型的状态转移矩阵，Γ为模型噪声增益矩阵，H为测量矩阵，Ts为融合中心的运行周期；
根据上述状态空间方程，使用卡尔曼滤波的方法对关联成功的历史目标在本周期的运动状态进行估计，运动状态估计的过程如下，
K＝P(k|k-1)HT(HP(k|k-1)HT+R)-1
Figure BDA0002680400370000061
P(k|k)＝(I-KH)P(k|k-1)
其中，K为卡尔曼增益矩阵，
Figure BDA0002680400370000062
P(k|k-1)分别为上一周期的历史目标的运动状态预测值和协方差预测值，
Figure BDA0002680400370000063
P(k|k)分别为本周期状态估计得到的历史目标运动状态估计值和协方差估计值；
若存在与多个测量目标都关联匹配成功的历史目标还需要对这个历史目标进行航迹融合，将与多个测量目标都关联匹配成功的历史目标的运动状态估计值融合为一个，航迹融合的公式如下，
Figure BDA0002680400370000064
Figure BDA0002680400370000065
其中，
Figure BDA0002680400370000066
为与多个传感器测量目标都关联匹配成功的历史目标分别与关联匹配成功的第1…n个传感器测量目标所得到的本周期的运动状态估计值，P1…Pn分别为
Figure BDA0002680400370000067
的协方差；；
Figure BDA0002680400370000068
P为融航迹融合之后的历史目标在本周期的运动状态估计值和协方差；对于关联失败的历史目标，则将其运动状态估计值作为本周期的运动状态；对于关联失败的测量目标，将其作为备选新目标，并将该测量目标对应的运动状态测量值作为该目标的初始运动状态。
本发明的有益效果为：
1.本发明能够融合智能汽车上配备的多个传感器测量信息，使各个传感器能够协同工作，为智能汽车的规划控制层提供统一、完整的车辆周围的目标信息。
2.本发明能够将多传感器的重复检测的目标(多传感器检测的重叠区域)进行融合，可以避免多传感器检测的单一真实目标生成多个测量目标的问题。
3.本发明能够通过航迹管理的方式，容忍历史目标的短暂丢失，并在目标丢失时对目标运动状态进行预测，可以避免由于传感器检测不稳定导致目标运动轨迹不连续的问题。
附图说明
图1为本发明系统的流程框图。
具体实施方式
本发明所述方法是由一种智能汽车的目标级多传感器融合系统来实现的，其中一种智能汽车的目标级多传感器融合系统包括坐标转换模块、时间同步模块、目标关联模块、状态估计与新目标生成模块、航迹管理模块、目标运动状态预测模块和输出管理模块；
其中坐标转换模块将各传感器对目标的测量值统一至车辆坐标系下；
时间同步模块将坐标转换模块输入的车辆坐标系下目标和本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度在融合中心接收到传感器数据的时刻与融合中心当前工作时刻之间的时间差内发生的变化进行补偿，输出车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度构成的目标运动状态；
目标关联模块将时间同步模块输入的各个传感器检测到的每个目标都记为测量目标，将每个测量目标分别与全部历史目标进行关联匹配并判断；关联匹配成功的测量目标将会用于与之匹配的历史目标的运动状态更新，关联失败的测量目标均记为备选新目标；
状态估计与新目标生成模块将时间同步模块输出的时空配准后的传感器对目标的检测数据、目标运动状态预测模块输出的前一工作周期中检测到的历史目标的运动状态的预测值、以及目标关联模块输出的历史目标的关联匹配判断结果作为输入，对于与历史目标关联匹配成功的传感器测量目标，根据其所关联的历史目标的运动状态估计值(即历史目标的纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay构成的历史目标运动状态)，应用卡尔曼滤波原理对该历史目标在本周期的运动状态和协方差进行估计，而且对于同时与多个传感器测量目标关联匹配成功的历史目标还需要进行目标融合；对于关联失败的历史目标，则将其运动状态估计值作为本周期的运动状态；对于关联失败的传感器测量目标，将其作为备选新目标，并将该测量目标对应的运动状态测量值作为该目标的初始运动状态；
航迹管理模块将状态估计与新目标生成模块输出的关联匹配成功并且更新运动状态后的历史目标，关联匹配失败的历史目标和备选新目标及其运动状态作为输入，对全体目标进行航迹管理；
对本周期输入的关联失败所形成的备选新目标和历史目标中还未判断其航迹生成成功的目标进行航迹生成判断，其中判断航迹生成成功的原则是：该目标连续3个周期与与其对应的历史目标关联匹配成功；
对于航迹生成成功的目标，之后的每个周期都要对其进行航迹消亡判断，其中航迹消亡成功的判断准则是：该目标连续5个周期与与其对应的历史目标关联匹配失败；
在全体目标中删除航迹生成失败和航迹消亡成功的目标，得到航迹管理后本周期的所有目标及其运动状态；
目标运动状态预测模块，以航迹管理模块输出的本周期所有目标及其运动状态作为输入，并将航迹管理后得到的目标作为下一周期的历史目标，根据CA运动学模型对这些目标在下一周期的运动状态和协方差进行预测，并将预测结果输出给目标关联模块作为下一周期的目标关联；
输出管理模块以航迹管理模块输出的本周期所有目标及其运动状态作为输入，筛除其中的备选新目标，即航迹生成判断还没完成的目标；将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。
如图1所示，一种智能汽车的目标级多传感器融合方法，包括如下步骤：
步骤一、时空配准：智能汽车的各传感器通过汽车CAN总线通讯将每个工作周期的数据传输给车载控制器即融合中心，但是由于各个传感器的工作周期不同，向融合中心输出数据的时间也就不同，并且数据传输存在延迟，各传感器数据的坐标系基准也各不相同，因此在对传感器检测到的目标进行跟踪与融合之前，需要在融合中心对各传感器数据进行预处理，即时空配准，具体包含如下内容：
(1)坐标转换：
传感器向融合中心输入的目标检测数据都是在传感器的坐标系下，需要通过旋转平移变换等方式将各传感器对目标的测量值统一至车辆坐标系下，方便后续对全局目标的统一跟踪等。其中传感器检测到目标的运动状态信息为：纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度，每个传感器都可以检测到某个目标的这些运动状态，所以要将坐标转换为目标与车辆之间的信息；
坐标转换公式如下：
Figure BDA0002680400370000081
其中，D为传感器的安装角度，即在水平面中传感器探测范围的中心方向与车辆行驶方向间的夹角，posx和posy为传感器在车辆坐标系中的安装位置；xveh,vxveh,axveh,yveh,vyveh,ayveh分别指车辆坐标系下目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；xsen,vxsen,axsen,ysen,vysen,aysen分别指传感器坐标系下传感器检测到的目标与传感器之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；
(2)时间同步：
由于各传感器的工作周期不一致，向融合中心输出数据的时间也就不同，另外数据传输也存在延迟，因此融合中心接收到传感器输入的目标检测数据都是停留在传感器向融合中心输出数据时完成检测的数据，也就是说融合中心接收数据的时刻距离传感器向融合中心输出数据的时刻之间是存在延迟的，因此融合中心在接收数据时，目标和本车在延迟时间内的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度会发生变化，因此需要根据融合中心接收到传感器数据的时刻与融合中心当前工作时刻之间的差值，对车辆坐标系下目标和本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度在这段时间差内发生的变化进行补偿，即将传感器的数据同步至融合中心相同的工作周期上，得到车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度构成的目标运动状态；
融合中心是按照一定的周期运行的，例如50ms运行一次，传感器在融合中心下次运行时输入至融合中心的数据是融合中心两次运行周期间隔之间收到的传感器数据；
同步时，假设目标按照CA运动学模型进行运动，将目标和本车在融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差所造成的运动状态变化使用CA模型进行补偿，补偿公式如下：
Figure BDA0002680400370000101
其中，xcom,vxcom,axcom,ycom,vycom,aycom分别指车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；Δt表示融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差；
步骤二、目标全局跟踪与融合：
将各个传感器经步骤一时空配准后得到的目标检测数据即车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度作为输入对各个传感器检测到的所有目标进行全局跟踪，并对重复检测到的目标进行融合，使融合中心能够得到各个传感器检测范围内的所有目标的连续运动轨迹，即运动状态，并输出给智能汽车自动驾驶系统中的规划控制模块；
每个传感器对于检测到的每个目标都会输出六组运动状态值，这六组运动状态值经过步骤一处理后分别为：车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度，其中各个传感器检测到的所有目标中存在重复的目标，融合是指通过一定的方法(如加权求和等)得到每个目标的唯一一组运动状态值；
多传感器的目标全局跟踪与融合具体包含如下步骤：
(1)目标关联：
将各个传感器经步骤一时空配准后的目标检测数据即车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度作为输入，并将各个传感器检测到的每个目标都记为测量目标，同时输入历史目标运动状态的预测值(其中历史目标是指融合中心前一工作周期中检测到的目标，历史目标运动状态的预测值包括：车辆坐标系下历史目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度，历史目标运动状态的预测值是由融合中心内目标运动状态预测模块输出的历史目标在当前工作周期的运动状态)；
将每个测量目标分别与全部历史目标进行关联匹配并判断；关联匹配成功的测量目标将会用于与之匹配的历史目标的运动状态更新，状态更新是为了得到历史目标在本周期的运动状态值(传感器测量值是有误差的)，这样才能得到一个目标在一段时间内的运动轨迹，因为每个周期我们都会得到该目标的运动状态值；关联失败的测量目标均记为备选新目标；
另外，因为各个传感器的检测范围有限(比如有的传感器只有120度的扇形检测区域)，因此多传感器融合的方法可以在目标在经过车辆并穿过多个传感器检测范围时，仍能得到该目标的连续轨迹。因为如果不进行关联和融合，两个雷达可能都检测到了这个目标，但是并不知道这两个雷达检测到的是同一个目标，这样运动轨迹就断开了。
关联匹配判断的具体过程如下：
采用马氏距离计算各个传感器检测到的各个测量目标分别与前一时刻全体历史目标之间的距离，作为关联匹配的判断标准，并以矩阵的形式记录，其中该距离矩阵的行数代表传感器的测量目标个数m，列数代表历史目标个数n，得到各个传感器测量目标与前一时刻全体历史目标的距离矩阵
Figure BDA0002680400370000111
如下：
Figure BDA0002680400370000112
其中，G是每个历史目标的距离门限值，当某个测量目标与某个历史目标之间的马氏距离小于或等于该距离门限值时才会被关联，门限是人为设定的；这里的被关联是满足门限的才会进行下一步的KM分配算法；cij表示距离矩阵中第i行第j列元素的取值，i＝1,2,…,m，j＝1,2,…,n，即i表示第i个测量目标，j表示第j个历史目标；cmax是人为设定的一个常数值，代表该测量目标在历史目标的距离门限值G之外；
Figure BDA0002680400370000113
表示第i个测量目标与第j个历史目标之间的马氏距离值；
然后采用Kuhn-Munkres分配算法，以全局距离代价最小为目标(其中全局距离代价是指每个历史目标与其匹配的测量目标的距离的总和，因为有多个测量目标和多个历史目标，全局距离代价是指匹配后的每个历史目标有多个与测量目标与其匹配，每一对都有一个距离值，全局距离代价就是这些距离值之和)，将所有满足距离门限值G的测量目标分配给历史目标，使得每个历史目标与与其对应的测量目标一一关联匹配；由于存在多个传感器，因此对每个传感器的每个测量目标都重复上述过程，若一个历史目标与多个测量目标都关联匹配成功，说明该多个测量目标为多个传感器共同检测到的同一个目标，则该历史目标需要进行后续的融合过程，即将该历史目标的运动轨迹统一；而关联匹配失败的测量目标则作为备选新目标；
首先要满足距离门限值G，然后Kuhn-Munkres算法会把所有满足距离门限值的测量目标分配给历史目标，需要分配的原因是因为一个历史目标可能对应多个满足门限值的测量目标，而实际我们需要选择一个最准确的作为最终关联的测量目标；
所述的第i个历史目标与某个传感器第j个测量目标之间马氏距离的求取方法如下：
Figure BDA0002680400370000121
其中，T表示转置运算，Zj为第j个测量目标的运动状态，即第j个测量目标的xcom,vxcom,axcom,ycom,vycom,aycom构成的目标运动状态；Zj-HXi(k|k-1)表示残差，残差的协方差为S(k)＝HP(k|k-1)HT+R，其中H为测量矩阵，为定值，R为传感器噪声矩阵，为定值，P(k|k-1)为目标运动状态预测模块出的历史目标预测值的协方差，它们的取值和求取方法会在状态估计与新目标生成模块和目标运动状态预测模块中说明。
(2)状态估计与新目标生成：
将时空配准后的传感器对目标的检测数据、目标运动状态预测模块输出的前一工作周期中检测到的历史目标的运动状态的预测值、以及目标关联模块输出的历史目标的关联匹配判断结果作为输入，目标关联模块会输出历史目标分别与哪些传感器测量目标关联上了
对于与历史目标关联匹配成功的传感器测量目标，根据其所关联的历史目标的运动状态估计值(即历史目标的纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay构成的历史目标运动状态)，应用卡尔曼滤波原理对该历史目标在本周期的运动状态和协方差进行估计，而且对于同时与多个传感器测量目标关联匹配成功的历史目标还需要进行目标融合；
运动状态的估计和目标融合的具体过程如下：
卡尔曼滤波中使用的运动模型为CA运动模型，故历史目标的运动状态的状态空间方程可表示为如下形式，以常加速度运动，
X(k+1)＝AX(k)+Γw(k)
Z(k)＝HX(k)+v(k)
其中，X为历史目标在本周期的运动状态向量(包括纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay，即X＝[x,y,vx,vy,ax,ay]T)；Z为车辆坐标系下传感器对该历史目标运动状态向量的测量值，即Z＝[xcom,ycom,vxcom,vycom,axcom,aycom]T；传感器测量噪声为v(k)服从N(0,R)的正态分布，CA运动模型噪声w(k)服从N(0,Q)的正态分布，Q,R分别为模型噪声和传感器测量噪声的协方差矩阵，应用时需要进行人工标定；各个矩阵的具体值如下，
Figure BDA0002680400370000131
其中A为CA运动模型的状态转移矩阵，Γ为模型噪声增益矩阵，H为测量矩阵，Ts为融合中心的运行周期；
根据上述状态空间方程，使用卡尔曼滤波的方法对关联成功的历史目标在本周期的运动状态进行估计，运动状态估计的过程如下，
K＝P(k|k-1)HT(HP(k|k-1)HT+R)-1
Figure BDA0002680400370000132
P(k|k)＝(I-KH)P(k|k-1)
其中，K为卡尔曼增益矩阵，
Figure BDA0002680400370000133
P(k|k-1)分别为由上一周期的目标运动状态预测模块给出的历史目标的运动状态预测值和协方差预测值，
Figure BDA0002680400370000141
P(k|k)分别为本周期状态估计得到的历史目标运动状态估计值和协方差估计值；
若存在与多个传感器测量目标都关联匹配成功的历史目标还需要对这个历史目标进行航迹融合，将与多个测量目标都关联匹配成功的历史目标的运动状态估计值融合为一个，即将该历史目标的运动轨迹统一，航迹融合的公式如下，
Figure BDA0002680400370000142
Figure BDA0002680400370000143
其中，
Figure BDA0002680400370000144
为与多个传感器测量目标都关联匹配成功的历史目标分别与关联匹配成功的第1…n个传感器测量目标所得到的本周期的运动状态估计值，P1…Pn分别为
Figure BDA0002680400370000145
的协方差；具体的，如果有多个传感器同时检测到一个历史目标的话，这个历史目标会根据每个传感器测量值同时得到多个运动状态估计值，这里需要将多个状态估计值融合为一个(运动状态估计值都是向量，由前文中的6个运动状态组成)；
Figure BDA0002680400370000146
P为融航迹融合之后的历史目标在本周期的运动状态估计值和协方差。
对于关联失败的历史目标，则将其运动状态估计值作为本周期的运动状态；对于关联失败的传感器测量目标，将其作为备选新目标，并将该测量目标对应的运动状态测量值作为该目标的初始运动状态；
(3)航迹管理：
将关联匹配成功并且更新运动状态后的历史目标，关联匹配失败的历史目标和备选新目标及其运动状态作为输入，对全体目标进行航迹管理，航迹管理具体过程如下：
a)对本周期输入的关联失败所形成的备选新目标和历史目标中还未判断其航迹生成成功的目标进行航迹生成判断，其中判断航迹生成成功的原则是：该目标连续3个周期与与其对应的历史目标关联匹配成功；
b)对于航迹生成成功的目标，之后的每个周期都要对其进行航迹消亡判断，其中航迹消亡成功的判断准则是：该目标连续5个周期与与其对应的历史目标关联匹配失败；
c)在全体目标中删除航迹生成失败和航迹消亡成功的目标，得到航迹管理后本周期的所有目标及其运动状态；
(4)目标运动状态预测：
以航迹管理模块输出的本周期所有目标及其运动状态作为输入，并将航迹管理后得到的目标作为下一周期的历史目标，根据CA运动学模型对这些目标在下一周期的运动状态和协方差进行预测，并将预测结果输出给目标关联模块用于步骤二中作为下一周期的目标关联，运动状态和协方差的预测公式如下，
Figure BDA0002680400370000151
P(k+1|k)＝AP(k|k)AT+Q
其中，
Figure BDA0002680400370000152
P(k+1|k)分别为根据本周期的目标运动状态预测得到的历史目标的下一周期的运动状态和协方差。
步骤三、输出管理：以航迹管理模块输出的本周期所有目标及其运动状态作为输入，筛除其中的备选新目标，即航迹生成判断还没完成的目标；将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。
本发明所述方法是由一种智能汽车的目标级多传感器融合系统来实现的，其中一种智能汽车的目标级多传感器融合系统包括坐标转换模块、时间同步模块、目标关联模块、状态估计与新目标生成模块、航迹管理模块、目标运动状态预测模块和输出管理模块；
其中坐标转换模块将各传感器对目标的测量值统一至车辆坐标系下；
时间同步模块将坐标转换模块输入的车辆坐标系下目标和本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度在融合中心接收到传感器数据的时刻与融合中心当前工作时刻之间的时间差内发生的变化进行补偿，输出车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度构成的目标运动状态；
目标关联模块将时间同步模块输入的各个传感器检测到的每个目标都记为测量目标，将每个测量目标分别与全部历史目标进行关联匹配并判断；关联匹配成功的测量目标将会用于与之匹配的历史目标的运动状态更新，关联失败的测量目标均记为备选新目标；
状态估计与新目标生成模块将时间同步模块输出的时空配准后的传感器对目标的检测数据、目标运动状态预测模块输出的前一工作周期中检测到的历史目标的运动状态的预测值、以及目标关联模块输出的历史目标的关联匹配判断结果作为输入，对于与历史目标关联匹配成功的传感器测量目标，根据其所关联的历史目标的运动状态估计值(即历史目标的纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay构成的历史目标运动状态)，应用卡尔曼滤波原理对该历史目标在本周期的运动状态和协方差进行估计，而且对于同时与多个传感器测量目标关联匹配成功的历史目标还需要进行目标融合；对于关联失败的历史目标，则将其运动状态估计值作为本周期的运动状态；对于关联失败的传感器测量目标，将其作为备选新目标，并将该测量目标对应的运动状态测量值作为该目标的初始运动状态；
航迹管理模块将状态估计与新目标生成模块输出的关联匹配成功并且更新运动状态后的历史目标，关联匹配失败的历史目标和备选新目标及其运动状态作为输入，对全体目标进行航迹管理；
对本周期输入的关联失败所形成的备选新目标和历史目标中还未判断其航迹生成成功的目标进行航迹生成判断，其中判断航迹生成成功的原则是：该目标连续3个周期与与其对应的历史目标关联匹配成功；
对于航迹生成成功的目标，之后的每个周期都要对其进行航迹消亡判断，其中航迹消亡成功的判断准则是：该目标连续5个周期与与其对应的历史目标关联匹配失败；
在全体目标中删除航迹生成失败和航迹消亡成功的目标，得到航迹管理后本周期的所有目标及其运动状态；
目标运动状态预测模块，以航迹管理模块输出的本周期所有目标及其运动状态作为输入，并将航迹管理后得到的目标作为下一周期的历史目标，根据CA运动学模型对这些目标在下一周期的运动状态和协方差进行预测，并将预测结果输出给目标关联模块作为下一周期的目标关联；
输出管理模块以航迹管理模块输出的本周期所有目标及其运动状态作为输入，筛除其中的备选新目标，即航迹生成判断还没完成的目标；将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。

Claims (4)

1.一种智能汽车的目标级多传感器融合方法，其特征在于包括如下步骤：
步骤一、时空配准：对各传感器检测数据进行预处理，具体包含如下内容：
1、坐标转换：
将各传感器对目标的测量值统一至车辆坐标系下，其中坐标转换公式如下：
Figure FDA0002680400360000011
其中，D为传感器的安装角度，即在水平面中传感器探测范围的中心方向与车辆行驶方向间的夹角，posx和posy为传感器在车辆坐标系中的安装位置；xveh,vxveh,axveh,yveh,vyveh,ayveh分别指车辆坐标系下目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；xsen,vxsen,axsen,ysen,vysen,aysen分别指传感器坐标系下传感器检测到的目标与传感器之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；
2、时间同步：
根据融合中心接收到传感器数据的时刻与融合中心当前工作时刻之间的差值，对车辆坐标系下目标和本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度在这段时间差内发生的变化进行补偿，得到车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度构成的目标运动状态；
步骤二、目标全局跟踪与融合：
对各个传感器检测到的所有目标进行全局跟踪，并对重复检测到的目标进行融合，使融合中心能够得到各个传感器检测范围内的所有目标的连续运动轨迹，即运动状态，具体包含如下步骤：
1、目标关联：
将各个传感器检测到的每个目标都记为测量目标，并将每个测量目标分别与全部历史目标进行关联匹配并判断；关联匹配成功的测量目标将会用于与之匹配的历史目标的运动状态更新，关联失败的测量目标均记为备选新目标；
2、状态估计与新目标生成：
对于与历史目标关联匹配成功的测量目标，根据其所关联的历史目标的运动状态估计值应用卡尔曼滤波原理对该历史目标在本周期的运动状态和协方差进行估计，而且对于同时与多个测量目标关联匹配成功的历史目标还需要进行目标融合；
3、航迹管理：
对全体目标进行航迹管理，航迹管理具体过程如下：
对本周期的关联失败所形成的备选新目标和历史目标中还未判断其航迹生成成功的目标进行航迹生成判断，其中判断航迹生成成功的原则是：该目标连续3个周期与与其对应的历史目标关联匹配成功；
对于航迹生成成功的目标，之后的每个周期都要对其进行航迹消亡判断，其中航迹消亡成功的判断准则是：该目标连续5个周期与与其对应的历史目标关联匹配失败；
在全体目标中删除航迹生成失败和航迹消亡成功的目标，得到航迹管理后本周期的所有目标及其运动状态；
4、目标运动状态预测：
将航迹管理后得到的目标作为下一周期的历史目标，根据CA运动学模型对这些目标在下一周期的运动状态和协方差进行预测，并将预测结果用于步骤二中作为下一周期的目标关联，运动状态和协方差的预测公式如下：
Figure FDA0002680400360000031
P(k+1|k)＝AP(k|k)AT+Q
其中，
Figure FDA0002680400360000032
P(k+1|k)分别为根据本周期的目标运动状态预测得到的历史目标的下一周期的运动状态和协方差。
步骤三、输出管理：
以航迹管理模块输出的本周期所有目标及其运动状态作为输入，筛除其中的备选新目标，即航迹生成判断还没完成的目标；将其余目标及其运动状态作为本周期融合中心最终输出的多传感器融合的障碍物检测结果。
2.根据权利要求1所述的一种智能汽车的目标级多传感器融合方法，其特征在于所述步骤一中的时间同步是将目标和本车在融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差所造成的运动状态变化使用CA模型进行补偿，补偿公式如下：
Figure FDA0002680400360000033
其中，xcom,vxcom,axcom,ycom,vycom,aycom分别指车辆坐标系下补偿之后目标与本车之间的纵向距离，相对纵向速度，相对纵向加速度，横向距离，相对横向速度和相对横向加速度；Δt表示融合中心接收传感器数据的时刻与融合中心当前工作时刻之间的时间差。
3.根据权利要求2所述的一种智能汽车的目标级多传感器融合方法，其特征在于所述步骤二的目标关联中关联匹配判断的具体过程如下：
采用马氏距离计算各个测量目标分别与前一时刻全体历史目标之间的距离，并以矩阵的形式记录，其中该距离矩阵的行数代表传感器的测量目标个数m，列数代表历史目标个数n，得到各个传感器测量目标与前一时刻全体历史目标的距离矩阵
Figure FDA0002680400360000041
如下：
Figure FDA0002680400360000042
其中，G是每个历史目标的距离门限值，当某个测量目标与某个历史目标之间的马氏距离小于或等于该距离门限值时才会被关联；cij表示距离矩阵中第i行第j列元素的取值，i＝1,2,...,m，j＝1,2,...,n；cmax是人为设定的一个常数值，代表该测量目标在历史目标的距离门限值G之外；
Figure FDA0002680400360000043
表示第i个测量目标与第j个历史目标之间的马氏距离值；
然后采用Kuhn-Munkres分配算法，以全局距离代价最小为目标，将所有满足距离门限值G的测量目标分配给历史目标，使得每个历史目标与与其对应的测量目标一一关联匹配；由于存在多个传感器，因此对每个传感器的每个测量目标都重复上述过程，若一个历史目标与多个测量目标都关联匹配成功，则该历史目标需要进行后续的融合过程，关联匹配失败的测量目标则作为备选新目标；
所述的第i个历史目标与某个传感器第j个测量目标之间马氏距离的求取方法如下：
Figure FDA0002680400360000044
其中，T表示转置运算，Zj为第j个测量目标的运动状态，即第j个测量目标的xcom,vxcom,axcom,ycom,vycom,aycom构成的目标运动状态；Zj-HXi(k|k-1)表示残差，残差的协方差为S(k)＝HP(k|k-1)HT+R，其中H为测量矩阵，R为传感器噪声矩阵，P(k|k-1)为历史目标预测值的协方差。
4.根据权利要求3所述的一种智能汽车的目标级多传感器融合方法，其特征在于所述步骤二的状态估计与新目标生成中运动状态的估计和目标融合的具体过程如下：
卡尔曼滤波中使用的运动模型为CA运动模型，故历史目标的运动状态的状态空间方程可表示为如下形式，以常加速度运动，
X(k+1)＝AX(k)+Γw(k)
Z(k)＝HX(k)+v(k)
其中，X为历史目标在本周期的运动状态向量(包括纵向距离x，横向距离y，相对纵向速度vx，相对横向速度vy，相对纵向加速度ax和相对横向加速度ay，即X＝[x,y,vx,vy,ax,ay]T)；Z为车辆坐标系下传感器对该历史目标运动状态向量的测量值，即Z＝[xcom,ycom,vxcom,vycom,axcom,aycom]T；传感器测量噪声为v(k)服从N(0,R)的正态分布，CA运动模型噪声w(k)服从N(0,Q)的正态分布，Q,R分别为模型噪声和传感器测量噪声的协方差矩阵，各个矩阵的具体值如下，
Figure FDA0002680400360000051
Figure FDA0002680400360000052
其中A为CA运动模型的状态转移矩阵，Γ为模型噪声增益矩阵，H为测量矩阵，Ts为融合中心的运行周期；
根据上述状态空间方程，使用卡尔曼滤波的方法对关联成功的历史目标在本周期的运动状态进行估计，运动状态估计的过程如下，
K＝P(k|k-1)HT(HP(k|k-1)HT+R)-1
Figure FDA0002680400360000061
P(k|k)＝(I-KH)P(k|k-1)
其中，K为卡尔曼增益矩阵，
Figure FDA0002680400360000062
P(k|k-1)分别为上一周期的历史目标的运动状态预测值和协方差预测值，
Figure FDA0002680400360000063
P(k|k)分别为本周期状态估计得到的历史目标运动状态估计值和协方差估计值；
若存在与多个测量目标都关联匹配成功的历史目标还需要对这个历史目标进行航迹融合，将与多个测量目标都关联匹配成功的历史目标的运动状态估计值融合为一个，航迹融合的公式如下，
Figure FDA0002680400360000064
Figure FDA0002680400360000065
其中，
Figure FDA0002680400360000066
为与多个传感器测量目标都关联匹配成功的历史目标分别与关联匹配成功的第1...n个传感器测量目标所得到的本周期的运动状态估计值，P1...Pn分别为
Figure FDA0002680400360000067
的协方差；；
Figure FDA0002680400360000068
P为融航迹融合之后的历史目标在本周期的运动状态估计值和协方差；对于关联失败的历史目标，则将其运动状态估计值作为本周期的运动状态；对于关联失败的测量目标，将其作为备选新目标，并将该测量目标对应的运动状态测量值作为该目标的初始运动状态。
CN202010960587.6A 2020-09-14 2020-09-14 一种智能汽车的目标级多传感器融合方法 Active CN112033429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960587.6A CN112033429B (zh) 2020-09-14 2020-09-14 一种智能汽车的目标级多传感器融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010960587.6A CN112033429B (zh) 2020-09-14 2020-09-14 一种智能汽车的目标级多传感器融合方法

Publications (2)

Publication Number Publication Date
CN112033429A true CN112033429A (zh) 2020-12-04
CN112033429B CN112033429B (zh) 2022-07-19

Family

ID=73589762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010960587.6A Active CN112033429B (zh) 2020-09-14 2020-09-14 一种智能汽车的目标级多传感器融合方法

Country Status (1)

Country Link
CN (1) CN112033429B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590808A (zh) * 2020-12-23 2021-04-02 东软睿驰汽车技术（沈阳）有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
CN112712549A (zh) * 2020-12-31 2021-04-27 上海商汤临港智能科技有限公司 数据处理方法、装置、电子设备以及存储介质
CN112733907A (zh) * 2020-12-31 2021-04-30 上海商汤临港智能科技有限公司 数据融合方法、装置、电子设备以及存储介质
CN112885097A (zh) * 2021-02-07 2021-06-01 启迪云控(上海)汽车科技有限公司 一种基于跨点位的路侧融合管理方法及系统
CN113095401A (zh) * 2021-04-12 2021-07-09 吉林大学 一种多传感器多目标关联跟踪方法
CN113514806A (zh) * 2021-04-02 2021-10-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置
CN113611112A (zh) * 2021-07-29 2021-11-05 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
WO2023066156A1 (zh) * 2021-10-18 2023-04-27 长沙中车智驭新能源科技有限公司 一种视觉雷达感知融合方法及终端设备

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699964A (zh) * 2016-02-29 2016-06-22 无锡南理工科技发展有限公司 一种基于汽车防撞雷达的道路多目标跟踪方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107483911A (zh) * 2017-08-25 2017-12-15 秦山 一种基于多目图像传感器的信号处理方法及系统
CN107472244A (zh) * 2017-07-31 2017-12-15 江苏理工学院 一种基于vlc的车辆智能防撞预警系统
KR20180007412A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 멀티센서 기반의 융합형 물체 감지 장치 및 방법
CN107798870A (zh) * 2017-10-25 2018-03-13 清华大学 一种多车辆目标跟踪的航迹管理方法及系统、车辆
CN108151806A (zh) * 2017-12-27 2018-06-12 成都西科微波通讯有限公司 基于目标距离的异类多传感器数据融合方法
CN108803622A (zh) * 2018-07-27 2018-11-13 吉利汽车研究院（宁波）有限公司 一种用于对目标探测数据进行处理的方法、装置
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109523129A (zh) * 2018-10-22 2019-03-26 吉林大学 一种无人车多传感器信息实时融合的方法
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN109696172A (zh) * 2019-01-17 2019-04-30 福瑞泰克智能系统有限公司 一种多传感器航迹融合方法、装置及车辆
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109927725A (zh) * 2019-01-28 2019-06-25 吉林大学 一种具有驾驶风格学习能力的自适应巡航系统及实现方法
CN110095635A (zh) * 2019-05-08 2019-08-06 吉林大学 一种全轮驱动车辆的纵向车速估计方法
WO2019168986A1 (en) * 2018-02-27 2019-09-06 TuSimple System and method for online real-time multi-object tracking
CN110488226A (zh) * 2019-08-23 2019-11-22 吉林大学 一种水下目标定位方法及装置
CN110542885A (zh) * 2019-08-13 2019-12-06 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法
CN110596694A (zh) * 2019-09-20 2019-12-20 吉林大学 一种复杂环境雷达多目标跟踪和道路行驶环境预测方法
CN110879598A (zh) * 2019-12-11 2020-03-13 北京踏歌智行科技有限公司 车辆用多传感器的信息融合方法和装置
CN111292352A (zh) * 2020-01-20 2020-06-16 杭州电子科技大学 多目标跟踪方法、装置、设备及存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699964A (zh) * 2016-02-29 2016-06-22 无锡南理工科技发展有限公司 一种基于汽车防撞雷达的道路多目标跟踪方法
KR20180007412A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 멀티센서 기반의 융합형 물체 감지 장치 및 방법
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107472244A (zh) * 2017-07-31 2017-12-15 江苏理工学院 一种基于vlc的车辆智能防撞预警系统
CN107483911A (zh) * 2017-08-25 2017-12-15 秦山 一种基于多目图像传感器的信号处理方法及系统
CN107798870A (zh) * 2017-10-25 2018-03-13 清华大学 一种多车辆目标跟踪的航迹管理方法及系统、车辆
CN108151806A (zh) * 2017-12-27 2018-06-12 成都西科微波通讯有限公司 基于目标距离的异类多传感器数据融合方法
WO2019168986A1 (en) * 2018-02-27 2019-09-06 TuSimple System and method for online real-time multi-object tracking
CN108803622A (zh) * 2018-07-27 2018-11-13 吉利汽车研究院（宁波）有限公司 一种用于对目标探测数据进行处理的方法、装置
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109523129A (zh) * 2018-10-22 2019-03-26 吉林大学 一种无人车多传感器信息实时融合的方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109696172A (zh) * 2019-01-17 2019-04-30 福瑞泰克智能系统有限公司 一种多传感器航迹融合方法、装置及车辆
CN109927725A (zh) * 2019-01-28 2019-06-25 吉林大学 一种具有驾驶风格学习能力的自适应巡航系统及实现方法
CN110095635A (zh) * 2019-05-08 2019-08-06 吉林大学 一种全轮驱动车辆的纵向车速估计方法
CN110542885A (zh) * 2019-08-13 2019-12-06 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法
CN110488226A (zh) * 2019-08-23 2019-11-22 吉林大学 一种水下目标定位方法及装置
CN110596694A (zh) * 2019-09-20 2019-12-20 吉林大学 一种复杂环境雷达多目标跟踪和道路行驶环境预测方法
CN110879598A (zh) * 2019-12-11 2020-03-13 北京踏歌智行科技有限公司 车辆用多传感器的信息融合方法和装置
CN111292352A (zh) * 2020-01-20 2020-06-16 杭州电子科技大学 多目标跟踪方法、装置、设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YINAN WANG等: "Trajectory Planning and Tracking Control of Vehicle ObstacleAvoidance based on Optimizatio Control", 《2019 CHINESE CONTROL CONFERENCE (CCC)》 *
常启瑜: "多传感器融合的车辆检测与跟踪系统研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
白悦章: "基于多传感器融合的目标追踪与定位估计技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
赵万里: "基于雷达的智能车多目标检测与跟踪技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
陈虹等: "面向动态避障的智能汽车滚动时域路径规划", 《中国公路学报》 *
韩红等: "多传感器融合多目标跟踪中的序贯航迹关联算法", 《信号处理》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
CN112590808A (zh) * 2020-12-23 2021-04-02 东软睿驰汽车技术（沈阳）有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112590808B (zh) * 2020-12-23 2022-05-17 东软睿驰汽车技术（沈阳）有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112712549A (zh) * 2020-12-31 2021-04-27 上海商汤临港智能科技有限公司 数据处理方法、装置、电子设备以及存储介质
CN112733907A (zh) * 2020-12-31 2021-04-30 上海商汤临港智能科技有限公司 数据融合方法、装置、电子设备以及存储介质
CN112885097A (zh) * 2021-02-07 2021-06-01 启迪云控(上海)汽车科技有限公司 一种基于跨点位的路侧融合管理方法及系统
CN113514806A (zh) * 2021-04-02 2021-10-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备
CN113514806B (zh) * 2021-04-02 2023-12-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备
CN113095401A (zh) * 2021-04-12 2021-07-09 吉林大学 一种多传感器多目标关联跟踪方法
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置
CN113611112A (zh) * 2021-07-29 2021-11-05 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
WO2023066156A1 (zh) * 2021-10-18 2023-04-27 长沙中车智驭新能源科技有限公司 一种视觉雷达感知融合方法及终端设备

Also Published As

Publication number Publication date
CN112033429B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112033429B (zh) 一种智能汽车的目标级多传感器融合方法
CN109212521B (zh) 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN110596694B (zh) 一种复杂环境雷达多目标跟踪和道路行驶环境预测方法
EP3722908B1 (en) Learning a scenario-based distribution of human driving behavior for realistic simulation model
EP3477616A1 (en) Method for controlling a vehicle using a machine learning system
US11946746B2 (en) Method for satellite-based detection of a vehicle location by means of a motion and location sensor
US11893496B2 (en) Method for recognizing objects in an environment of a vehicle
CN114170274B (zh) 目标跟踪方法和装置、电子设备和存储介质
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
CN111257853B (zh) 一种基于imu预积分的自动驾驶系统激光雷达在线标定方法
CN114114368A (zh) 车辆定位方法、系统、设备及存储介质
EP3722907B1 (en) Learning a scenario-based distribution of human driving behavior for realistic simulation model and deriving an error model of stationary and mobile sensors
Farag Multiple road-objects detection and tracking for autonomous driving
CN101431665B (zh) 物件侦测与追踪的方法与系统
CN112130136B (zh) 一种交通目标综合感知系统及方法
CN117452946A (zh) 一种基于数字孪生的智能汽车远程驾驶方法及系统
Kurapati et al. Multiple object tracking using radar and vision sensor fusion for autonomous vehicle
EP4160269A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
CN114049767B (zh) 一种边缘计算方法、装置及可读存储介质
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
Rezaei et al. A Deep Learning-Based Approach for Vehicle Motion Prediction in Autonomous Driving
Wei et al. Multi-sensor environmental perception and adaptive cruise control of intelligent vehicles using kalman filter
Worrall et al. A probabilistic method for detecting impending vehicle interactions
Amditis et al. Integrated vehicle's lateral safety: the LATERAL SAFE experience
Simon et al. Extracting sensor models from a scene based simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant