CN115061139A - 一种面向智能驾驶车辆的多传感器融合方法及系统 - Google Patents

一种面向智能驾驶车辆的多传感器融合方法及系统 Download PDF

Info

Publication number
CN115061139A
CN115061139A CN202210768001.5A CN202210768001A CN115061139A CN 115061139 A CN115061139 A CN 115061139A CN 202210768001 A CN202210768001 A CN 202210768001A CN 115061139 A CN115061139 A CN 115061139A
Authority
CN
China
Prior art keywords
target
information
state
module
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210768001.5A
Other languages
English (en)
Inventor
石钧仁
高俊
朴昌浩
许林
何维晟
邵慧爽
孙荣利
李珂欣
苏永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210768001.5A priority Critical patent/CN115061139A/zh
Publication of CN115061139A publication Critical patent/CN115061139A/zh
Priority to PCT/CN2023/096478 priority patent/WO2024001629A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于智能驾驶车辆技术领域，具体涉及一种面向智能驾驶车辆的多传感器融合方法及系统；该方法包括：根据GM‑PHD算法和探测物体的矩形目标模型构建扩展目标跟踪器；采用扩展目标跟踪器对毫米波雷达的探测信息进行处理，得到探测物体的毫米波雷达航迹信息；采用构建的边界框探测器和配置有IMM‑UKF的JPDA跟踪器对激光雷达的探测信息进行处理，得到探测物体的激光雷达航迹信息；采用时空间转换将毫米波雷达航迹信息和激光雷达航迹信息进行处理，得到中心融合节点；采用IMF算法对中心融合节点进行处理，得到全局航迹信息；本发明解决了数据关联方法引入的组合爆炸以及由不同传感器局部航迹信息错序导致的时序问题。

Description

一种面向智能驾驶车辆的多传感器融合方法及系统
技术领域
本发明属于智能驾驶车辆技术领域，具体涉及一种面向智能驾驶车辆的多传感器融合方法及系统。
背景技术
近年来随着汽车智能化的不断演进，智能驾驶车辆技术受到越来越多的关注。感知认知是智能驾驶车辆的关键所在，它为驾驶过程的决策过程提供判断依据，其性能的优劣直接关系到整车的控制效果。
常见的传感器有基于毫米波雷达的和基于激光雷达的；基于毫米波雷达的传感器，由于毫米波雷达航向角偏差较大，横向位置偏差大且无法获得目标体积信息。基于激光雷达的传感器在雨、雪天气下感知精度受到极大的干扰，同时激光雷达无法直接获得目标的速度信息，因此对目标速度变化不够敏感。
由于配置有单传感器的智能驾驶车辆已经无法满足复杂的驾驶环境，为提高整车的感知认知能力，多传感器配置已成为智能驾驶车辆标配。但是随着检测目标的数目变化以及不同传感器量测信息的差异，给多传感器融合又带来了新的挑战。一方面，随着传感器技术的提升，扩展目标可以占据传感器多个分辨率单元，会给数据关联方法引入组合爆炸问题；另一方面，由于毫米波雷达和激光雷达测量得到的数据在传递过程中可能存在处理时间延迟和通信延迟，进而引发由局部航迹信息错序导致的时序问题。
发明内容
针对现有技术存在的不足，本发明提出了一种面向智能驾驶车辆的多传感器融合方法及系统，该方法包括：
S1：根据GM-PHD算法和探测物体的矩形目标模型构建扩展目标跟踪器；采用扩展目标跟踪器对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
S2：构建边界框探测器和配置有IMM-UKF的JPDA跟踪器；采用边界框探测器和配置有IMM-UKF的JPDA跟踪器对激光雷达的3维探测信息进行处理，得到探测物体的激光雷达航迹信息；
S3：采用时空间转换将毫米波雷达航迹信息和激光雷达航迹信息进行处理，得到中心融合节点；采用IMF算法对中心融合节点进行处理，得到全局航迹信息；根据全局航迹信息实现对探测物体的跟踪。
优选的，构建扩展目标跟踪器的过程包括：
根据探测物体的矩形目标模型得到探测物体的矩形扩展目标状态；
根据探测物体的矩形扩展目标状态，采用GM-PHD算法计算k时刻多目标预测PHD和k时刻多目标后验PHD，得到扩展目标跟踪器。
进一步的，矩形扩展目标状态表示为：
ξ＝(γ,x,X)
其中，ξ表示探测物体扩展目标的状态向量，γ表示探测物体扩展目标的量测率状态，x表示探测物体扩展目标的运动状态，X表示探测物体扩展目标的扩展状态。
优选的，构建边界框探测器的过程包括：采用基于RANSAC平面拟合算法对激光雷达数据进行预处理，得到目标点云；采用欧几里得算法对目标点云进行聚类；根据聚类的目标点云构建边界框探测器的状态向量，进而得到边界框探测器。
进一步的，边界框探测器的状态向量为：
Figure BDA0003726338970000021
其中，x′表示状态向量，x表示探测目标的横坐标，y表示探测目标的纵坐标，v表示探测目标的速度，θ表示探测目标的方向角，ω表示探测目标的角速度，z表示探测目标的垂向坐标，
Figure BDA0003726338970000031
表示探测目标的垂向速度，L表示探测目标的长度，W表示探测目标的宽度，H表示探测目标的高度。
优选的，构建配置有IMM-UKF的JPDA跟踪器的过程包括：
配置有IMM-UKF的JPDA跟踪器由输入交互模块、UKF滤波模块、概率更新模块、JPDA数据关联模块以及输出融合模块构成；
输入交互模块根据UKF滤波模块中的UKF滤波器在k时刻的第一状态估计和第一协方差矩阵计算第二状态估计和第二协方差矩阵并输出；
UKF滤波模块中的UKF滤波器根据输入交互模块的输出和k时刻的有效观测向量，输出k+1时刻的第三状态估计和第三协方差矩阵；
概率更新模块根据UKF滤波模块的残差信息，计算k+1时刻运动模型的条件概率；
JPDA数据关联模块根据第三状态估计、第三协方差矩阵和目标在运动模型下的第一测量信息，计算目标k+1时刻在运动模型下的第二测量信息；
输出融合模块根据k+1时刻运动模型的条件概率、第二测量信息、第三状态估计和第三协方差矩阵计算融合后的状态估计和协方差矩阵。
优选的，采用IMF算法对中心融合节点进行处理的公式包括：
更新协方差：
Figure BDA0003726338970000032
更新状态估计：
Figure BDA0003726338970000033
其中，P(k|k)表示传感器从0到k时刻的全局协方差，P(k|k-1)表示传感器从0到k-1时刻的全局协方差，Pi(k|k)表示第i个传感器从0到k时刻的局部协方差，Pi(k|k-1)表示第i个传感器从0到k-1时刻的局部协方差，Nk表示传感器数量，
Figure BDA0003726338970000034
表示传感器从0到k时刻的全局状态估计，
Figure BDA0003726338970000035
表示传感器从0到k-1时刻的全局状态估计，
Figure BDA0003726338970000041
表示第i个传感器从0到k时刻的局部状态估计，
Figure BDA0003726338970000042
表示第i个传感器从0到k-1时刻的局部状态估计。
一种面向智能驾驶车辆的多传感器融合系统，该系统用于执行面向智能驾驶车辆的多传感器融合方法，包括：扩展目标跟踪模块、边界探测器模块、点目标跟踪模块和航迹融合模块；
所述扩展目标跟踪模块用于根据GM-PHD算法和探测物体的矩形目标模型对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
所述边界框探测器模块用于根据基于RANSAC平面拟合算法和欧几里得算法对激光雷达的3维探测信息进行处理，得到探测物体的3维信息；
所述点目标跟踪模块用于，采用配置有IMM-UKF的JPDA跟踪器对探测物体的3维信息进行处理，得到探测物体的激光雷达航迹信息；
所述航迹融合模块用于融合探测物体的毫米波雷达航迹信息和探测物体的激光雷达航迹信息，得到全局航迹信息。
本发明的有益效果为：本发明针对毫米波雷达2维探测信息，采用GM-PHD算法构建扩展目标跟踪器，以实现对探测物体航迹的跟踪；针对激光雷达3维点云信息，基于RANSAC算法对激光雷达数据进行预处理以移除多余点云，基于欧几里得距离聚类算法构建边界框探测器，进一步，构建配置有IMM-UKF的JPDA跟踪器，以实现对所探测物体航迹的跟踪，解决了数据关联方法引入的组合爆炸问题；基于激光雷达的状态空间构建航迹融合的状态空间，并完成毫米波雷达状态空间到航迹状态空间的转换，进一步，基于IMF算法实现对激光雷达和毫米波雷达的航迹融合，进而形成全局航迹，解决了由不同传感器局部航迹信息错序导致的时序问题；与现有技术相比，本发明可提升整体感知精度，降低带宽需求和计算成本，并且当某一传感器出错或者失效时可以使用另一传感器进行补偿，实用性高。
附图说明
图1为本发明中面向智能驾驶车辆的多传感器融合方法的流程图；
图2为本发明中矩形目标模型示意图；
图3为本发明中配置有IMM-UKF的JPDA跟踪器框架示意图；
图4为本发明中航迹融合更新过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种面向智能驾驶车辆的多传感器融合方法，如图1所示，所述方法包括以下内容：
S1：根据高斯混合概率假设密度(Gaussian mixture probability hypothesisdensity,GM-PHD)算法和探测物体的矩形目标模型构建扩展目标跟踪器；采用扩展目标跟踪器对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
毫米波雷达极易将单个检测目标检测为多个目标，为解决此问题，本发明根据GM-PHD算法和探测物体的矩形目标模型构建扩展目标跟踪器，以实现对探测物体即智能驾驶车辆的跟踪，构建扩展目标跟踪器的过程包括：
获取探测物体的矩形目标模型，如图2所示，根据探测物体的矩形目标模型得到探测物体的矩形扩展目标状态；矩形扩展目标状态表示为：
ξ＝(γ,x,X)
其中，ξ表示探测物体扩展目标的状态向量，γ表示探测物体扩展目标的量测率状态，它是一种服从伽马分布的标量；x表示探测物体扩展目标的运动状态，向量x可建模为x＝[x,y,v,θ,ω,L,W]T，[x,y]T表示探测目标的二维坐标位置信息，v，θ，ω分别表示探测目标的速度、方向角和角速度,L和W分别表示探测目标的长度和宽度；X表示探测物体扩展目标扩展状态，即单个量测信息扩展之后的状态，当扩展目标量测杂乱无序分布在一定空间，通常可以用一个矩形来近似描述该扩展目标的扩展状态。
根据探测物体的矩形扩展目标状态构建GM-PHD滤波器；GM-PHD滤波器通过带权值的高斯分量近似多目标概率假设密度，假设k-1时刻多目标后验PHD可用高斯混合形式表示为：
Figure BDA0003726338970000061
其中，Jk-1为k-1时刻高斯分量的数量，
Figure BDA0003726338970000062
为第i个高斯分量权值，N(·；m,P)表示高斯分布的概率密度函数，
Figure BDA0003726338970000063
为k-1时刻第i个高斯分布的概率密度函数，均值为
Figure BDA0003726338970000064
协方差为
Figure BDA0003726338970000065
k时刻多目标预测PHD和k时刻多目标后验PHD也可用高斯混合形式表示，它们分别为：
Figure BDA0003726338970000066
Figure BDA0003726338970000067
其中，x表示探测物体的矩形扩展目标状态的运动状态，Dk|k-1(x)表示k时刻多目标预测PHD，DS,k|k-1(x)表示k时刻存活高斯分量的PHD，γk(x)表示k时刻新生目标即指传感器获取到的新观测点PHD，
Figure BDA0003726338970000068
表示k时刻第i个高斯分量的权值；
Figure BDA0003726338970000069
表示均值为
Figure BDA00037263389700000610
协方差为
Figure BDA00037263389700000611
的高斯分量，Jk|k-1表示预测k时刻高斯分量的数量，Dk|k(x)表示k时刻后验多目标PHD；pD,k表示目标检测概率，指当雷达输入端确实有信号时，由于噪声原因，可能得出“有信号”或“无信号”两种判决结果，当有信号，并作出“有信号”的正确判决的概率；
Figure BDA00037263389700000612
表示第j个更新分量的权值，zk表示k时刻目标量测值，指雷达获取到的目标坐标等物理信息值；
Figure BDA0003726338970000071
表示均值为
Figure BDA0003726338970000072
协方差为
Figure BDA0003726338970000073
的高斯分量。
通过GM-PHD算法预测Dk|k-1(x)和更新Dk|k(x)完成GM-PHD滤波器的构建，进而得到适用于毫米波雷达的2-D局部跟踪器即扩展目标跟踪器。
采用扩展目标跟踪器对毫米波雷达的2维探测信息进行处理，即可得到探测物体的毫米波雷达航迹信息。
联合概率数据关联(JPDA)等传统跟踪器普遍假设传感器每次扫描单个目标最多输出一个量测信息，进而导致配置有传统跟踪器的高分辨率传感器在进行数据关联输出量测信息之前必须进行聚类处理，这不但增加了计算成本，而且严重影响测量精度。采用GM-PHD算法和矩形目标模型构建扩展目标跟踪器，可以同时处理聚类和数据关联，不但可以降低计算开销，而且能够提供测量精度。
S2：构建边界框探测器和配置有IMM-UKF的JPDA跟踪器；采用边界框探测器和配置有IMM-UKF的JPDA跟踪器对激光雷达的3维探测信息进行处理，得到探测物体的激光雷达航迹信息。
激光雷达测量得到每个目标的量测信息数量远远多于毫米波雷达，而且它还会得到地面量测信息，其输出的数据量相较毫米波雷达不是同一个数量级。若直接采用扩展目标跟踪器进行处理，会由于计算复杂度过高导致输出信号严重滞后。鉴于此，本发明构建边界框探测器对激光雷达的3维探测信息进行处理，构建边界框探测器的过程包括：
采用基于随机抽样一致性(Random Sample Consensus,RANSAC)平面拟合算法对激光雷达数据进行预处理，以移除地面等多余点云信息，进而得到目标点云，减小计算开销；具体的，首选在初始点云中随机挑选三个点，并计算三点形成的采样平面；其次，计算所有点云至该采样平面的距离，设置距离阈值，并根据阈值将诸多点云分为内点(正常数据)和外点(异常数据)；然后，统计内点和外点数量，重复上述过程至最大迭代次数，选取内点最多平面；最后，基于内点最多平面，以它的所有内点重新拟合平面，获取最终拟合平面方程，根据最终拟合平面方程移除地面点等多余点云，得到目标点云。
将多余点云移除后，属于各类主要目标的点云在空间中会以浮空分离的状态呈现，探测物体采用长方体边界框探测器。首先使用欧几里得算法进行该状态下目标点云的聚类，根据聚类结果得到边界框探测器的状态向量，边界框探测器的状态向量表示为：
Figure BDA0003726338970000081
其中，x′表示状态向量，相较于毫米波雷达的矩形模型状态向量，长方体边界框探测器的状态向量多了z、
Figure BDA0003726338970000082
和H三个变量，z表示探测目标的垂向坐标，
Figure BDA00037263389700000812
表示探测目标的垂向速度，H表示探测目标的高度。
如图3所示，构建配置有交互式多模型无迹卡尔曼滤波器(Interacting MultipleModel-Unscented Kalman Filter,IMM-UKF)的联合概率数据关联(Joint ProbabilisticData Association,JPDA)跟踪器即点目标跟踪器的过程包括：配置有IMM-UKF的JPDA跟踪器由输入交互模块、UKF滤波模块、概率更新模块、JPDA数据关联模块以及输出融合模块构成，用于实现对激光雷达所探测物体的航迹跟踪；
UKF滤波器在k时刻基于边界框探测器的状态向量x′得到第一状态估计
Figure BDA0003726338970000083
输入交互模块根据UKF滤波模块中的UKF滤波器在k时刻的第一状态估计
Figure BDA0003726338970000084
和第一协方差矩阵
Figure BDA0003726338970000085
计算多个目标交互后的第二状态估计
Figure BDA0003726338970000086
和第二协方差矩阵
Figure BDA0003726338970000087
并输出，其中j表示运动模型，它是根据目标的运动状态构建的速度模型，i＝1,2,…,r，r为UKF滤波器数量；
UKF滤波模块中的UKF滤波器根据输入交互模块的输出和k时刻的有效观测向量Zk，输出k+1时刻的第三状态估计
Figure BDA0003726338970000088
和第三协方差矩阵
Figure BDA0003726338970000089
概率更新模块根据UKF滤波模块的残差信息，计算k+1时刻运动模型j的条件概率
Figure BDA00037263389700000810
其中
Figure BDA00037263389700000811
为UKF滤波器的残差信息；
JPDA数据关联模块根据目标在运动模型下的第一测量信息
Figure BDA0003726338970000091
和关联概率(第三状态估计和第三协方差矩阵)，计算目标k+1时刻在运动模型j下的第二测量信息
Figure BDA0003726338970000092
其中，第一次测量信息为目标车速等测量信息；
输出融合模块根据k+1时刻运动模型j的条件概率
Figure BDA0003726338970000093
第二测量信息
Figure BDA0003726338970000094
第三状态估计
Figure BDA0003726338970000095
和第三协方差矩阵
Figure BDA0003726338970000096
计算融合后的状态估计和协方差矩阵，即使估计误差小的UKF滤波器输出成为融合跟踪输出，进而得到融合后的状态估计
Figure BDA0003726338970000097
和协方差矩阵P(k+1)。
经过上述步骤，可得到得到适用于激光雷达的3-D局部跟踪器即配置有IMM-UKF的JPDA跟踪器。
采用边界框探测器和配置有IMM-UKF的JPDA跟踪器对激光雷达的3维探测信息进行处理，可得到探测物体的激光雷达航迹信息。该方法可以在不增加硬件成本的条件下，减小计算开销，进而有效改善激光雷达航迹信息的输出滞后现象。
S3：采用时空间转换将毫米波雷达航迹信息和激光雷达航迹信息进行处理，得到中心融合节点；采用IMF算法对中心融合节点进行处理，得到全局航迹信息；根据全局航迹信息实现对探测物体的跟踪。
毫米波雷达和激光雷达的测量信息分别经2-D局部跟踪器和3-D局部跟踪器处理后，形成两个局部航迹，即探测物体的毫米波雷达航迹信息和探测物体的毫米波雷达航迹信息；采用时空间转换将局部航迹信息统一至相同的坐标系及时间节点，进而构建融合中心节点，以实现不同航迹信息的数据关联。由于毫米波雷达和激光雷达测量得到的数据在传递过程中可能存在延迟处理时间和通信延迟，进而引发局部航迹信息错序导致的时序问题。为了解决该问题，需要将两个传感器之间的协方差计算出来，然后减去重复值。鉴于此，融合中心节点采用基于信息矩阵融合(Information Matrix Fusion,IMF)算法实现对2-D局部航迹和3-D局部航迹的更新。
航迹更新过程如图4所示。在k-2时刻，全局航迹信息仅含有从0到ki-1时刻的2-D局部航迹信息。在k-1时刻，全局航迹信息在已有信息基础上又融合了从0到kj时刻的3-D局部航迹信息，换言之，全局航迹信息含有0到kj时刻的2-D和3-D局部航迹信息。然而，在k时刻，若全局航迹信息直接融合ki时刻的2-D局部航迹信息，会造成信息的重复融合。因为上述被融合信息除了真正需要的ki-1到ki时刻的2-D局部航迹信息外，还有重复的0到ki-1时刻的2-D局部航迹信息。
IMF算法可避免航迹信息的在更新过程中重复融合，通过对协方差和状态估计的更新实现对融合后的航迹数据的更新，避免旧数据进入新目标从而避免重复融合，其算法流程如下：
更新协方差：
Figure BDA0003726338970000101
更新状态估计：
Figure BDA0003726338970000102
其中，P(k|k)表示传感器从0到k时刻的全局协方差，对应全局航迹信息；P(k|k-1)表示传感器从0到k-1时刻的全局协方差；Pi(k|k)表示第i个传感器从0到k时刻的局部协方差，对应局部航迹信息；Pi(k|k-1)表示第i个传感器从0到k-1时刻的局部协方差，Nk表示传感器数量，
Figure BDA0003726338970000103
表示传感器从0到k时刻的全局状态估计，
Figure BDA0003726338970000104
表示传感器从0到k-1时刻的全局状态估计，
Figure BDA0003726338970000105
表示第i个传感器从0到k时刻的局部状态估计，
Figure BDA0003726338970000106
表示第i个传感器从0到k-1时刻的局部状态估计；其中，传感器指毫米波雷达或激光雷达。
采用IMF算法融合两局部航迹，得到全局航迹信息，用户可根据全局航迹信息实现对智能驾驶车辆的跟踪。
本发明还提供一种面向智能驾驶车辆的多传感器融合系统，该系统用于执行面向智能驾驶车辆的多传感器融合方法，包括：扩展目标跟踪模块、边界探测器模块、点目标跟踪模块和航迹融合模块；
所述扩展目标跟踪模块用于根据GM-PHD算法和探测物体的矩形目标模型对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
所述边界框探测器模块用于根据基于RANSAC平面拟合算法和欧几里得算法对激光雷达的3维探测信息进行处理，得到探测物体的3维信息；
所述点目标跟踪模块用于，采用配置有IMM-UKF的JPDA跟踪器对对探测物体的3维信息进行处理，得到探测物体的激光雷达航迹信息；
所述航迹融合模块用于融合探测物体的毫米波雷达航迹信息和探测物体的激光雷达航迹信息，得到全局航迹信息。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向智能驾驶车辆的多传感器融合方法，其特征在于，包括：
S1：根据GM-PHD算法和探测物体的矩形目标模型构建扩展目标跟踪器；采用扩展目标跟踪器对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
S2：构建边界框探测器和配置有IMM-UKF的JPDA跟踪器；采用边界框探测器和配置有IMM-UKF的JPDA跟踪器对激光雷达的3维探测信息进行处理，得到探测物体的激光雷达航迹信息；
S3：采用时空间转换将毫米波雷达航迹信息和激光雷达航迹信息进行处理，得到中心融合节点；采用IMF算法对中心融合节点进行处理，得到全局航迹信息；根据全局航迹信息实现对探测物体的跟踪。
2.根据权利要求1所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，构建扩展目标跟踪器的过程包括：
根据探测物体的矩形目标模型得到探测物体的矩形扩展目标状态；
根据探测物体的矩形扩展目标状态，采用GM-PHD算法计算k时刻多目标预测PHD和k时刻多目标后验PHD，得到扩展目标跟踪器。
3.根据权利要求2所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，矩形扩展目标状态表示为：
ξ＝(γ,x,X)
其中，ξ表示探测物体扩展目标的状态，γ表示探测物体扩展目标的量测率状态，x表示探测物体扩展目标的运动状态，X表示探测物体扩展目标的扩展状态。
4.根据权利要求1所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，构建边界框探测器的过程包括：采用基于RANSAC平面拟合算法对激光雷达数据进行预处理，得到目标点云；采用欧几里得算法对目标点云进行聚类；根据聚类的目标点云构建边界框探测器的状态向量，进而得到边界框探测器。
5.根据权利要求4所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，边界框探测器的状态向量为：
Figure FDA0003726338960000021
其中，x′表示状态向量，x表示探测目标的横坐标，y表示探测目标的纵坐标，v表示探测目标的速度，θ表示探测目标的方向角，ω表示探测目标的角速度，z表示探测目标的垂向坐标，
Figure FDA0003726338960000022
表示探测目标的垂向速度，L表示探测目标的长度，W表示探测目标的宽度，H表示探测目标的高度。
6.根据权利要求1所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，构建配置有IMM-UKF的JPDA跟踪器的过程包括：
配置有IMM-UKF的JPDA跟踪器由输入交互模块、UKF滤波模块、概率更新模块、JPDA数据关联模块以及输出融合模块构成；
输入交互模块根据UKF滤波模块中的UKF滤波器在k时刻的第一状态估计和第一协方差矩阵计算第二状态估计和第二协方差矩阵并输出；
UKF滤波模块中的UKF滤波器根据输入交互模块的输出和k时刻的有效观测向量，输出k+1时刻的第三状态估计和第三协方差矩阵；
概率更新模块根据UKF滤波模块的残差信息，计算k+1时刻运动模型的条件概率；
JPDA数据关联模块根据第三状态估计、第三协方差矩阵和目标在运动模型下的第一测量信息，计算目标k+1时刻在运动模型下的第二测量信息；
输出融合模块根据k+1时刻运动模型的条件概率、第二测量信息、第三状态估计和第三协方差矩阵计算融合后的状态估计和协方差矩阵。
7.根据权利要求1所述的一种面向智能驾驶车辆的多传感器融合方法，其特征在于，采用IMF算法对中心融合节点进行处理的公式包括：
更新协方差：
Figure FDA0003726338960000023
更新状态估计：
Figure FDA0003726338960000031
其中，P(k|k)表示传感器从0到k时刻的全局协方差，P(k|k-1)表示传感器从0到k-1时刻的全局协方差，Pi(k|k)表示第i个传感器从0到k时刻的局部协方差，Pi(k|k-1)表示第i个传感器从0到k-1时刻的局部协方差，Nk表示传感器数量，
Figure FDA0003726338960000032
表示传感器从0到k时刻的全局状态估计，
Figure FDA0003726338960000033
表示传感器从0到k-1时刻的全局状态估计，
Figure FDA0003726338960000034
表示第i个传感器从0到k时刻的局部状态估计，
Figure FDA0003726338960000035
表示第i个传感器从0到k-1时刻的局部状态估计。
8.一种面向智能驾驶车辆的多传感器融合系统，该系统用于执行权利要求1～7中任意一项面向智能驾驶车辆的多传感器融合方法，其特征在于，包括：扩展目标跟踪模块、边界探测器模块、点目标跟踪模块和航迹融合模块；
所述扩展目标跟踪模块用于根据GM-PHD算法和探测物体的矩形目标模型对毫米波雷达的2维探测信息进行处理，得到探测物体的毫米波雷达航迹信息；
所述边界框探测器模块用于根据基于RANSAC平面拟合算法和欧几里得算法对激光雷达的3维探测信息进行处理，得到探测物体的3维信息；
所述点目标跟踪模块用于，采用配置有IMM-UKF的JPDA跟踪器对探测物体的3维信息进行处理，得到探测物体的激光雷达航迹信息；
所述航迹融合模块用于融合探测物体的毫米波雷达航迹信息和探测物体的激光雷达航迹信息，得到全局航迹信息。
CN202210768001.5A 2022-07-01 2022-07-01 一种面向智能驾驶车辆的多传感器融合方法及系统 Pending CN115061139A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210768001.5A CN115061139A (zh) 2022-07-01 2022-07-01 一种面向智能驾驶车辆的多传感器融合方法及系统
PCT/CN2023/096478 WO2024001629A1 (zh) 2022-07-01 2023-05-26 一种面向智能驾驶车辆的多传感器融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210768001.5A CN115061139A (zh) 2022-07-01 2022-07-01 一种面向智能驾驶车辆的多传感器融合方法及系统

Publications (1)

Publication Number Publication Date
CN115061139A true CN115061139A (zh) 2022-09-16

Family

ID=83204431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210768001.5A Pending CN115061139A (zh) 2022-07-01 2022-07-01 一种面向智能驾驶车辆的多传感器融合方法及系统

Country Status (2)

Country Link
CN (1) CN115061139A (zh)
WO (1) WO2024001629A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117109588A (zh) * 2023-08-25 2023-11-24 中国船舶集团有限公司第七零七研究所九江分部 一种面向智能航行的多源探测多目标信息融合方法
CN117278941A (zh) * 2023-09-15 2023-12-22 广东省机场管理集团有限公司工程建设指挥部 基于5g网络和数据融合的车辆驾驶辅助定位方法及装置
WO2024001629A1 (zh) * 2022-07-01 2024-01-04 重庆邮电大学 一种面向智能驾驶车辆的多传感器融合方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118033409B (zh) * 2024-04-15 2024-06-14 三峡金沙江川云水电开发有限公司 一种gcb灭弧室开关电阻测试方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778358B (zh) * 2015-04-09 2017-11-10 西安工程大学 多传感器存在监测区域部分重叠的扩展目标跟踪方法
CN108490927A (zh) * 2018-01-24 2018-09-04 天津大学 一种应用于无人驾驶汽车的目标跟踪系统及跟踪方法
KR102311227B1 (ko) * 2019-07-23 2021-10-13 충북대학교 산학협력단 확장 칼만필터를 이용한 차량 위치 추적 방법 및 장치
CN110596693B (zh) * 2019-08-26 2021-10-22 杭州电子科技大学 一种迭代更新的多传感器gmphd自适应融合方法
CN112285700B (zh) * 2020-08-24 2023-12-15 江苏大学 基于激光雷达与毫米波雷达融合的机动目标跟踪方法
GB2607299A (en) * 2021-06-01 2022-12-07 Daimler Ag Track fusion for an autonomous vehicle
CN114325635A (zh) * 2021-12-30 2022-04-12 上海埃威航空电子有限公司 一种激光雷达和导航雷达目标融合方法
CN115061139A (zh) * 2022-07-01 2022-09-16 重庆邮电大学 一种面向智能驾驶车辆的多传感器融合方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001629A1 (zh) * 2022-07-01 2024-01-04 重庆邮电大学 一种面向智能驾驶车辆的多传感器融合方法及系统
CN117109588A (zh) * 2023-08-25 2023-11-24 中国船舶集团有限公司第七零七研究所九江分部 一种面向智能航行的多源探测多目标信息融合方法
CN117109588B (zh) * 2023-08-25 2024-04-30 中国船舶集团有限公司第七零七研究所九江分部 一种面向智能航行的多源探测多目标信息融合方法
CN117278941A (zh) * 2023-09-15 2023-12-22 广东省机场管理集团有限公司工程建设指挥部 基于5g网络和数据融合的车辆驾驶辅助定位方法及装置

Also Published As

Publication number Publication date
WO2024001629A1 (zh) 2024-01-04

Similar Documents

Publication Publication Date Title
CN115061139A (zh) 一种面向智能驾驶车辆的多传感器融合方法及系统
Bar-Shalom et al. Tracking with classification-aided multiframe data association
CN1940591B (zh) 使用传感器融合进行目标跟踪的系统和方法
US10527705B2 (en) System and method for multi-sensor multi-target 3D fusion using an unbiased measurement space
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
US20140372073A1 (en) Two-stage filtering based method for multiple target tracking
JP3179355B2 (ja) 多目標追尾方法及び多目標追尾装置
CN110187337B (zh) 一种基于ls和neu-ecef时空配准的高机动目标跟踪方法及系统
Agate et al. Road-constrained target tracking and identification using a particle filter
Kwon et al. A robust mobile target localization method for cooperative unmanned aerial vehicles using sensor fusion quality
Helgesen et al. Sensor combinations in heterogeneous multi-sensor fusion for maritime target tracking
CN111007880B (zh) 一种基于汽车雷达的扩展目标跟踪方法
Ebert et al. Deep radar sensor models for accurate and robust object tracking
CN116047495B (zh) 一种用于三坐标雷达的状态变换融合滤波跟踪方法
CN116222541A (zh) 利用因子图的智能多源组合导航方法及装置
Chen et al. IMM tracking of a 3D maneuvering target with passive TDOA system
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
CN114861725A (zh) 一种目标感知跟踪的后处理方法、装置、设备及介质
CN113511194A (zh) 一种纵向避撞预警方法及相关装置
CN114740467A (zh) 基于幅度点迹的集群目标跟踪及数量、轮廓动态估计方法
Lu et al. A new performance index for measuring the effect of single target tracking with Kalman particle filter
CN114088086B (zh) 一种抗测量野值干扰的多目标鲁棒定位方法
CN102426357B (zh) 一种具有图像确认的多目标跟踪方法
Schuster et al. Target tracking in marine environment using automotive radar and laser range sensor
EP0580140B1 (en) Covert ranging method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination