CN112363167A - 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 - Google Patents

一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 Download PDF

Info

Publication number
CN112363167A
CN112363167A CN202011204118.8A CN202011204118A CN112363167A CN 112363167 A CN112363167 A CN 112363167A CN 202011204118 A CN202011204118 A CN 202011204118A CN 112363167 A CN112363167 A CN 112363167A
Authority
CN
China
Prior art keywords
target
millimeter wave
wave radar
representing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011204118.8A
Other languages
English (en)
Inventor
张艺
石通
周冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011204118.8A priority Critical patent/CN112363167A/zh
Publication of CN112363167A publication Critical patent/CN112363167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，属于智能交通领域。针对单目相机目标检测获得的目标距离信息不够准确，从而易导致数据关联错误的问题，本发明提出了角度数据关联方法。将目标状态的一步预测信息从笛卡尔坐标系转换到极坐标系下，设计关联阈值，利用角度信息和扩展信息进行数据关联，并将关联成功的量测信息转换为笛卡尔坐标系表示，采用基于卡尔曼滤波的并行滤波框架进行融合滤波，实现多传感器信息融合的目标状态估计和目标跟踪。

Description

一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
技术领域
本发明属于智能交通领域，涉及一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法。
背景技术
智能车辆是指配备感知、推理和执行机构的车辆，依靠先进的传感器系统及强大的通信网络实现人、车、路的信息交换，并主动进行对行驶环境进行行驶环境安全分析和可行驶区域规划。其中，获取交通场景中的目标信息是环境感知部分的重要内容，同时也是智能车辆的基础和关键部分，其为路径规划、决策执行提供信息依据。目标检测和目标跟踪是环境感知中的关键技术，目标检测主要是利用多个车载传感器对车辆周围环境中的目标信息进行获取。而目标跟踪则是以目标检测为基础，对目标的运动状态进行连续估计，解决传感器检测性能不稳定问题，为智能车辆的决策、控制、执行等模块输入连续时刻的目标检测信息。目前常见的用于目标检测的传感器主要有相机、毫米波雷达及激光雷达等，但是每种传感器都存在着一定的缺点，如相机易受环境影响，毫米波雷达无法获取目标形状，激光雷达也容易受天气影响且造价较高等。因此，研究基于多传感器融合的智能车辆目标检测及目标跟踪方法具有重要理论价值及实际意义。
发明内容
有鉴于此，本发明的目的在于提供一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法。在基于相机的目标检测方面，通过标定参数计算出检测目标的宽度和高度。另外，本发明提出了角度数据关联方法，利用角度信息和扩展信息进行数据关联，并将关联成功的量测信息转换为笛卡尔坐标系表示，采用基于卡尔曼滤波的并行滤波框架进行融合滤波，从而实现多传感器信息融合的目标状态估计和目标跟踪。
为达到上述目的，本发明提供如下技术方案：
一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，该方法包括以下步骤：
S1：利用毫米波雷达和相机采集原始数据；
S2：对毫米波雷达和相机进行联合标定；
S3：滤除毫米波雷达采集数据中的干扰目标；
S4：建立扇形跟踪门；
S5：利用角度信息和扩展信息进行数据关联；
S6：采用基于卡尔曼滤波的并行滤波框架进行融合滤波。
可选的，所述S1中，毫米波雷达安装在车辆正前方牌照旁，相机为单目相机，安装在挡风玻璃上方。
可选的，所述S2具体包括：
S21：摄像机的标定：是从三维空间点P的世界坐标(Xw,Yw,Zw,1)T到其对应的在图像平面的投影点p的像素坐标(u,v,1)T之间的变换，变换公式如下：
Figure BDA0002756454370000021
其中，
Figure BDA0002756454370000022
表示旋转矩阵，
Figure BDA0002756454370000023
表示平移矩阵，s为比例因子且s不为0，f为相机的有效焦距，图像平面坐标系的原点是光轴在图像平面上的投影点，该点在像素坐标系中的坐标为(u0,v0)，dX、dY分别表示像素在图像平面坐标系的x轴、y轴方向上的物理尺寸，M称为投影矩阵，表示三维空间中的三维信息与图像平面的二维信息之间的投影变换，
Figure BDA0002756454370000024
为相机的内部参数矩阵，
Figure BDA0002756454370000025
为相机的外部参数矩阵，表示世界坐标系与相机坐标系之间的欧式变换；
S22：毫米波雷达的标定：毫米波雷达极坐标中，R1和R2分别表示雷达的长距离检测区域半径和短距离检测半径，P点为检测范围内一点，ρ表示目标的距离，θ表示目标角度；将雷达极坐标转换到统一的笛卡尔坐标系，其中，设雷达距地面0.6m；转换关系如下：
Figure BDA0002756454370000026
为将雷达目标和融合跟踪结果进行可视化显示，通过上述两个公式将雷达检测结果投影到相机图像上。
可选的，所述S3具体包括以下步骤：
S31：车道约束：车道约束是通过判断车道宽度与检测目标的横向距离来对干扰目标进行滤除；首先，建立车辆运动坐标系，车辆的正前方为Y轴，垂直于车辆正前方为X轴，垂直于地面为Z轴，x表示本车与检测目标之间的横向距离，车道宽度为L；
对于单车道场景，设置横向阈值范围为：
x≤0.5L (3)
对于多车道场景，设置横向阈值范围为：
x≤L (4)
S32：速度约束：由于实际道路情况复杂，仍有部分路边静止障碍物或道路边沿反射回来的目标信息没有滤除；首先，通过车辆OBD接口解析车辆CAN报文，获取到本车的实时车速；同一时刻内，雷达检测到的路边静止障碍物速度和本车车速相同，且方向相反；利用相对速度滤除对车道宽度约束无效的目标。
可选的，所述S4具体包括以下内容：
通过毫米波雷达获取目标的位置和速度状态信息，根据相机标定参数计算出雷达检测目标的宽度和高度，将跟踪目标视为扩展目标进行建模，且采用匀速模型来描述目标的运动状态，采用目标空间模型如下所示：
Figure BDA0002756454370000031
其中，
Figure BDA0002756454370000032
表示目标的状态向量，x和y分别指的是X轴和Y轴方向的坐标，
Figure BDA0002756454370000033
和
Figure BDA0002756454370000034
分别指的是目标X和Y轴方向的速度，w和h分别指的是目标的宽度和高度，Z＝[x y w h]T表示观测向量，Xk+1表示k+1时刻的目标状态向量，Φ表示状态转移矩阵，ωk表示过程噪声，Zk+1表示k+1时刻观测向量，H表示观测矩阵，vk表示观测噪声；
在数据关联时，若仅有一个量测数据落入跟踪门内，则直接利用该量测数据进行状态更新，若有多个量测数据落入跟踪门内，则借助数据关联方法来确定最终用于目标状态更新的量测；采用极坐标下的数据关联方法，扇形跟踪门的径向距离和角度计算公式如下所示：
Figure BDA0002756454370000035
其中，ρG表示跟踪门的径向距离，θG表示跟踪门角度，σρ表示径向距离均方误差，σθ表示角度均方误差，F表示跟踪质量指标，表示航迹的确认，维持和撤销过程，C表示与传感器扫描周期和目标速度有关的参数。
可选的，所述S5具体包括以下步骤：
S51：首先，对目标前一时刻的状态进行一步预测得到当前时刻的目标状态预测值，根据k时刻目标状态和协方差预测目标k+1时刻状态，计算公式如下：
Figure BDA0002756454370000041
其中，
Figure BDA0002756454370000042
表示目标k+1时刻状态，Pk+1|k表示进行一步预测协方差，Q表示过程噪声的协方差，Γ表示过程噪声分布矩阵；
S52：利用坐标转换关系
Figure BDA0002756454370000043
θ＝arctan(y/x)将毫米波雷达的k时刻量测
Figure BDA0002756454370000044
和单目相机的k时刻的量测
Figure BDA0002756454370000045
转换到极坐标下，得到极坐标下的雷达量测
Figure BDA0002756454370000046
和相机的量测
Figure BDA0002756454370000047
目标状态的一步预测值由
Figure BDA0002756454370000048
转换成
Figure BDA0002756454370000049
根据传感器的性能和智能车辆目标跟踪精度要求，设置最小角度阈值和目标宽高阈值为φ，利用下列计算公式判断量测值与预测值的角度差值是否在阈值范围内；
Figure BDA00027564543700000410
如果角度差值在阈值范围内且只有一个目标，则认为关联成功；如果有多个目标，则认定差值最小的为关联目标。
可选的，所述S6具体包括：
使用基于卡尔曼的并行滤波算法对来自毫米波雷达和单目相机的目标检测数据进行目标状态估计；目标状态估计及误差协方差的逆阵为：
Figure BDA00027564543700000411
其中，H为量测矩阵，R为量测噪声协方差。
本发明的有益效果在于：
(1)本发明在基于毫米波雷达的道路目标检测方面，提出了利用道路宽度及车辆速度约束进行雷达数据处理及目标特征量分析的目标检测方法，滤除了大部分干扰目标；
(2)本发明在基于图像的目标检测方面，根据标定参数，计算出检测目标的宽度和高度，增加了目标的扩展信息；
(3)本发明设计关联阈值，利用角度和扩展信息进行数据关联，增强了关联的准确性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述目标跟踪流程图；
图2为本发明所述毫米波雷达坐标系。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，为一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，包括以下步骤：
S1：利用毫米波雷达和相机采集原始数据；
S2：对毫米波雷达和相机进行联合标定；
S3：滤除毫米波雷达采集数据中的干扰目标；
S4：建立扇形跟踪门；
S5：利用角度信息和扩展信息进行数据关联；
S6：采用基于卡尔曼滤波的并行滤波框架进行融合滤波。
所述步骤S1中的毫米波雷达安装在车辆正前方牌照附近，相机为普通单目相机，安装在挡风玻璃上方。
所述步骤S2中毫米波雷达与相机的联合标定是为了将两个传感器的坐标系都统一到雷达的坐标系上，具体分为以下两个步骤：
S21：摄像机的标定：是从三维空间点P的世界坐标(Xw,Yw,Zw,1)T到其对应的在图像平面的投影点p的像素坐标(u,v,1)T之间的变换，变换公式如下：
Figure BDA0002756454370000061
其中，
Figure BDA0002756454370000062
表示旋转矩阵，
Figure BDA0002756454370000063
表示平移矩阵，s为比例因子且s不为0，f为相机的有效焦距，图像平面坐标系的原点是光轴在图像平面上的投影点，该点在像素坐标系中的坐标为(u0,v0)，dX、dY分别表示像素在图像平面坐标系的x轴、y轴方向上的物理尺寸，M称为投影矩阵，表示三维空间中的三维信息与图像平面的二维信息之间的投影变换，
Figure BDA0002756454370000064
为相机的内部参数矩阵，
Figure BDA0002756454370000065
为相机的外部参数矩阵，表示世界坐标系与相机坐标系之间的欧式变换。
S22：毫米波雷达的标定：附图2所示为毫米波雷达极坐标，R1和R2分别表示雷达的长距离检测区域半径和短距离检测半径，P点为检测范围内一点，ρ表示目标的距离，θ表示目标角度。现将雷达极坐标转换到统一的笛卡尔坐标系，其中，设雷达距地面0.6m。转换关系如下：
Figure BDA0002756454370000071
为了将雷达目标和融合跟踪结果进行可视化显示，通过上述两个公式可以将雷达检测结果投影到相机图像上。
所述步骤S3具体包括以下步骤：
S31：车道约束：车道约束是通过判断车道宽度与检测目标的横向距离来对干扰目标进行滤除。首先，建立车辆运动坐标系，车辆的正前方为Y轴，垂直于车辆正前方为X轴，垂直于地面为Z轴，x表示本车与检测目标之间的横向距离，车道宽度为L。
对于单车道场景，设置横向阈值范围为：
x≤0.5L (3)
对于多车道场景，设置横向阈值范围为：
x≤L (4)
S32：速度约束：由于实际道路情况复杂，仍有部分路边静止障碍物或道路边沿反射回来的目标信息没有滤除。首先，通过车辆OBD接口解析车辆CAN报文，可以获取到本车的实时车速；同一时刻内，雷达检测到的路边静止障碍物速度和本车车速相同，且方向相反。因此，利用相对速度这一特征可有效滤除对车道宽度约束无效的目标。
所述步骤S4具体包括以下内容：
通过毫米波雷达获取目标的位置、速度状态信息，根据相机标定参数计算出雷达检测目标的宽度和高度，本发明将跟踪目标视为扩展目标进行建模，且采用匀速模型来描述目标的运动状态，采用目标空间模型如下所示：
Figure BDA0002756454370000072
其中，
Figure BDA0002756454370000073
表示目标的状态向量，x和y分别指的是X轴和Y轴方向的坐标，
Figure BDA0002756454370000074
和
Figure BDA0002756454370000075
分别指的是目标X和Y轴方向的速度，w和h分别指的是目标的宽度和高度，Z＝[x y w h]T表示观测向量，Xk+1表示k+1时刻的目标状态向量，Φ表示状态转移矩阵，ωk表示过程噪声，Zk+1表示k+1时刻观测向量，H表示观测矩阵，vk表示观测噪声。
在数据关联时，若仅有一个量测数据落入跟踪门内，则直接利用该量测数据进行状态更新，若有多个量测数据落入跟踪门内，则借助数据关联方法来确定最终用于目标状态更新的量测。本发明中，采用极坐标下的数据关联方法，扇形跟踪门的径向距离和角度计算公式如下所示：
Figure BDA0002756454370000081
其中，ρG表示跟踪门的径向距离，θG表示跟踪门角度，σρ表示径向距离均方误差，σθ表示角度均方误差，F表示跟踪质量指标，表示航迹的确认，维持和撤销过程，C表示与传感器扫描周期和目标速度有关的参数。
所述步骤S5具体包括以下步骤：
S51：首先，对目标前一时刻的状态进行一步预测得到当前时刻的目标状态预测值，根据k时刻目标状态和协方差预测目标k+1时刻状态，计算公式如下：
Figure BDA0002756454370000082
其中，
Figure BDA0002756454370000083
表示目标k+1时刻状态，Pk+1|k表示进行一步预测协方差，Q表示过程噪声的协方差，Γ表示过程噪声分布矩阵。
S52：利用坐标转换关系
Figure BDA0002756454370000084
θ＝arctan(y/x)将毫米波雷达的k时刻量测
Figure BDA0002756454370000085
和单目相机的k时刻的量测
Figure BDA0002756454370000086
转换到极坐标下，得到极坐标下的雷达量测
Figure BDA0002756454370000087
和相机的量测
Figure BDA0002756454370000088
目标状态的一步预测值由
Figure BDA0002756454370000089
转换成
Figure BDA00027564543700000810
根据传感器的性能和智能车辆目标跟踪精度要求，设置最小角度阈值和目标宽高阈值为φ，利用下列计算公式判断量测值与预测值的角度差值是否在阈值范围内。
Figure BDA00027564543700000811
如果角度差值在阈值范围内且只有一个目标，则认为关联成功；如果有多个目标，则认定差值最小的为关联目标。
所述步骤S6具体包括以下内容：
为了尽可能的使用来自传感器的检测数据获取最优的融合结果，本发明使用基于卡尔曼的并行滤波算法对来自毫米波雷达和单目相机的目标检测数据进行目标状态估计。目标状态估计及误差协方差的逆阵为：
Figure BDA0002756454370000091
其中，H为量测矩阵，R为量测噪声协方差。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：该方法包括以下步骤：
S1：利用毫米波雷达和相机采集原始数据；
S2：对毫米波雷达和相机进行联合标定；
S3：滤除毫米波雷达采集数据中的干扰目标；
S4：建立扇形跟踪门；
S5：利用角度信息和扩展信息进行数据关联；
S6：采用基于卡尔曼滤波的并行滤波框架进行融合滤波。
2.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S1中，毫米波雷达安装在车辆正前方牌照旁，相机为单目相机，安装在挡风玻璃上方。
3.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S2具体包括：
S21：摄像机的标定：是从三维空间点P的世界坐标(Xw,Yw,Zw,1)T到其对应的在图像平面的投影点p的像素坐标(u,v,1)T之间的变换，变换公式如下：
Figure FDA0002756454360000011
其中，
Figure FDA0002756454360000012
表示旋转矩阵，
Figure FDA0002756454360000013
表示平移矩阵，s为比例因子且s不为0，f为相机的有效焦距，图像平面坐标系的原点是光轴在图像平面上的投影点，该点在像素坐标系中的坐标为(u0,v0)，dX、dY分别表示像素在图像平面坐标系的x轴、y轴方向上的物理尺寸，M称为投影矩阵，表示三维空间中的三维信息与图像平面的二维信息之间的投影变换，
Figure FDA0002756454360000021
为相机的内部参数矩阵，
Figure FDA0002756454360000022
为相机的外部参数矩阵，表示世界坐标系与相机坐标系之间的欧式变换；
S22：毫米波雷达的标定：毫米波雷达极坐标中，R1和R2分别表示雷达的长距离检测区域半径和短距离检测半径，P点为检测范围内一点，ρ表示目标的距离，θ表示目标角度；将雷达极坐标转换到统一的笛卡尔坐标系，其中，设雷达距地面0.6m；转换关系如下：
Figure FDA0002756454360000023
为将雷达目标和融合跟踪结果进行可视化显示，通过上述两个公式将雷达检测结果投影到相机图像上。
4.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S3具体包括以下步骤：
S31：车道约束：车道约束是通过判断车道宽度与检测目标的横向距离来对干扰目标进行滤除；首先，建立车辆运动坐标系，车辆的正前方为Y轴，垂直于车辆正前方为X轴，垂直于地面为Z轴，x表示本车与检测目标之间的横向距离，车道宽度为L；
对于单车道场景，设置横向阈值范围为：
x≤0.5L (3)
对于多车道场景，设置横向阈值范围为：
x≤L (4)
S32：速度约束：由于实际道路情况复杂，仍有部分路边静止障碍物或道路边沿反射回来的目标信息没有滤除；首先，通过车辆OBD接口解析车辆CAN报文，获取到本车的实时车速；同一时刻内，雷达检测到的路边静止障碍物速度和本车车速相同，且方向相反；利用相对速度滤除对车道宽度约束无效的目标。
5.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S4具体包括以下内容：
通过毫米波雷达获取目标的位置和速度状态信息，根据相机标定参数计算出雷达检测目标的宽度和高度，将跟踪目标视为扩展目标进行建模，且采用匀速模型来描述目标的运动状态，采用目标空间模型如下所示：
Figure FDA0002756454360000031
其中，
Figure FDA0002756454360000032
表示目标的状态向量，x和y分别指的是X轴和Y轴方向的坐标，
Figure FDA0002756454360000033
和
Figure FDA0002756454360000034
分别指的是目标X和Y轴方向的速度，w和h分别指的是目标的宽度和高度，Z＝[x y w h]T表示观测向量，Xk+1表示k+1时刻的目标状态向量，Φ表示状态转移矩阵，ωk表示过程噪声，Zk+1表示k+1时刻观测向量，H表示观测矩阵，vk表示观测噪声；
在数据关联时，若仅有一个量测数据落入跟踪门内，则直接利用该量测数据进行状态更新，若有多个量测数据落入跟踪门内，则借助数据关联方法来确定最终用于目标状态更新的量测；采用极坐标下的数据关联方法，扇形跟踪门的径向距离和角度计算公式如下所示：
Figure FDA0002756454360000035
其中，ρG表示跟踪门的径向距离，θG表示跟踪门角度，σρ表示径向距离均方误差，σθ表示角度均方误差，F表示跟踪质量指标，表示航迹的确认，维持和撤销过程，C表示与传感器扫描周期和目标速度有关的参数。
6.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S5具体包括以下步骤：
S51：首先，对目标前一时刻的状态进行一步预测得到当前时刻的目标状态预测值，根据k时刻目标状态和协方差预测目标k+1时刻状态，计算公式如下：
Figure FDA0002756454360000036
其中，
Figure FDA0002756454360000037
表示目标k+1时刻状态，Pk+1|k表示进行一步预测协方差，Q表示过程噪声的协方差，Γ表示过程噪声分布矩阵；
S52：利用坐标转换关系
Figure FDA0002756454360000038
θ＝arctan(y/x)将毫米波雷达的k时刻量测
Figure FDA0002756454360000039
和单目相机的k时刻的量测
Figure FDA00027564543600000310
转换到极坐标下，得到极坐标下的雷达量测
Figure FDA00027564543600000311
和相机的量测
Figure FDA00027564543600000312
目标状态的一步预测值由
Figure FDA00027564543600000313
转换成
Figure FDA00027564543600000314
根据传感器的性能和智能车辆目标跟踪精度要求，设置最小角度阈值和目标宽高阈值为φ，利用下列计算公式判断量测值与预测值的角度差值是否在阈值范围内；
Figure FDA0002756454360000041
如果角度差值在阈值范围内且只有一个目标，则认为关联成功；如果有多个目标，则认定差值最小的为关联目标。
7.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S6具体包括：
使用基于卡尔曼的并行滤波算法对来自毫米波雷达和单目相机的目标检测数据进行目标状态估计；目标状态估计及误差协方差的逆阵为：
Figure FDA0002756454360000042
其中，H为量测矩阵，R为量测噪声协方差。
CN202011204118.8A 2020-11-02 2020-11-02 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 Pending CN112363167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204118.8A CN112363167A (zh) 2020-11-02 2020-11-02 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204118.8A CN112363167A (zh) 2020-11-02 2020-11-02 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112363167A true CN112363167A (zh) 2021-02-12

Family

ID=74512656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204118.8A Pending CN112363167A (zh) 2020-11-02 2020-11-02 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112363167A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239948A (zh) * 2021-03-12 2021-08-10 复旦大学 一种面向毫米波雷达与视频图像的数据融合方法及系统
CN113296088A (zh) * 2021-05-11 2021-08-24 雄狮汽车科技(南京)有限公司 车辆的动态目标跟踪方法、装置、及车辆
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113591941A (zh) * 2021-07-12 2021-11-02 武汉科技大学 一种基于多传感器融合的智能限高警示系统及方法
CN113687341A (zh) * 2021-08-16 2021-11-23 山东沂蒙交通发展集团有限公司 一种基于多源传感器的全息路口感知方法
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN114399528A (zh) * 2021-11-29 2022-04-26 深圳先进技术研究院 基于二维图像的三维空间运动目标跟踪方法及相关装置
CN115047755A (zh) * 2022-05-09 2022-09-13 环形山(武汉)科技有限公司 一种基于车路协同的电磁阻尼器路况预测自适应控制系统
CN115131423A (zh) * 2021-03-17 2022-09-30 航天科工深圳（集团）有限公司 一种融合毫米波雷达和视觉的距离测量方法及装置
WO2023071992A1 (zh) * 2021-10-26 2023-05-04 北京万集科技股份有限公司 多传感器信号融合的方法、装置、电子设备及存储介质
WO2023246551A1 (zh) * 2022-06-23 2023-12-28 中兴通讯股份有限公司 车辆跟踪方法、装置、通信单元及存储介质
CN117523461A (zh) * 2024-01-08 2024-02-06 南京航空航天大学 一种基于机载单目相机的运动目标跟踪与定位方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179696A (en) * 1977-05-24 1979-12-18 Westinghouse Electric Corp. Kalman estimator tracking system
JP2004205371A (ja) * 2002-12-25 2004-07-22 Mitsubishi Electric Corp レーダ追尾装置及びレーダ追尾処理方法
CN104215960A (zh) * 2014-08-25 2014-12-17 西安电子科技大学 基于改进粒子滤波的目标跟踪方法
CN105809126A (zh) * 2016-03-04 2016-07-27 重庆邮电大学 Dsrc与车载传感器融合的智能车辆目标跟踪系统及方法
CN106249232A (zh) * 2016-08-24 2016-12-21 中国电子科技集团公司第二十八研究所 基于目标运动态势信息数据关联策略的目标跟踪方法
CN106707287A (zh) * 2016-12-23 2017-05-24 浙江大学 基于扩展卡尔曼滤波结合最近邻聚类算法的鱼群数量估计方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109709538A (zh) * 2018-12-24 2019-05-03 南京理工大学 基于电子地图的分布式雷达上位机软件系统及运行方法
CN110160516A (zh) * 2019-05-06 2019-08-23 航天东方红卫星有限公司 一种基于测角和测距信息的空间目标高精度在轨定位方法
CN110412531A (zh) * 2019-07-10 2019-11-05 杭州电子科技大学 杂波情况下基于幅值信息的接收站路径优化方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179696A (en) * 1977-05-24 1979-12-18 Westinghouse Electric Corp. Kalman estimator tracking system
JP2004205371A (ja) * 2002-12-25 2004-07-22 Mitsubishi Electric Corp レーダ追尾装置及びレーダ追尾処理方法
CN104215960A (zh) * 2014-08-25 2014-12-17 西安电子科技大学 基于改进粒子滤波的目标跟踪方法
CN105809126A (zh) * 2016-03-04 2016-07-27 重庆邮电大学 Dsrc与车载传感器融合的智能车辆目标跟踪系统及方法
CN106249232A (zh) * 2016-08-24 2016-12-21 中国电子科技集团公司第二十八研究所 基于目标运动态势信息数据关联策略的目标跟踪方法
CN106707287A (zh) * 2016-12-23 2017-05-24 浙江大学 基于扩展卡尔曼滤波结合最近邻聚类算法的鱼群数量估计方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109709538A (zh) * 2018-12-24 2019-05-03 南京理工大学 基于电子地图的分布式雷达上位机软件系统及运行方法
CN110160516A (zh) * 2019-05-06 2019-08-23 航天东方红卫星有限公司 一种基于测角和测距信息的空间目标高精度在轨定位方法
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN110412531A (zh) * 2019-07-10 2019-11-05 杭州电子科技大学 杂波情况下基于幅值信息的接收站路径优化方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡威: "基于毫米波雷达与单目相机融合的目标识别与跟踪", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, no. 6, pages 035 - 253 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239948B (zh) * 2021-03-12 2022-10-14 复旦大学 一种面向毫米波雷达与视频图像的数据融合方法及系统
CN113239948A (zh) * 2021-03-12 2021-08-10 复旦大学 一种面向毫米波雷达与视频图像的数据融合方法及系统
CN115131423A (zh) * 2021-03-17 2022-09-30 航天科工深圳（集团）有限公司 一种融合毫米波雷达和视觉的距离测量方法及装置
CN113296088A (zh) * 2021-05-11 2021-08-24 雄狮汽车科技(南京)有限公司 车辆的动态目标跟踪方法、装置、及车辆
CN113359097B (zh) * 2021-06-21 2022-09-02 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113591941A (zh) * 2021-07-12 2021-11-02 武汉科技大学 一种基于多传感器融合的智能限高警示系统及方法
CN113591941B (zh) * 2021-07-12 2024-06-04 武汉科技大学 一种基于多传感器融合的智能限高警示系统及方法
CN113687341A (zh) * 2021-08-16 2021-11-23 山东沂蒙交通发展集团有限公司 一种基于多源传感器的全息路口感知方法
WO2023071992A1 (zh) * 2021-10-26 2023-05-04 北京万集科技股份有限公司 多传感器信号融合的方法、装置、电子设备及存储介质
CN114399528A (zh) * 2021-11-29 2022-04-26 深圳先进技术研究院 基于二维图像的三维空间运动目标跟踪方法及相关装置
CN114399528B (zh) * 2021-11-29 2024-06-07 深圳先进技术研究院 基于二维图像的三维空间运动目标跟踪方法及相关装置
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN115047755A (zh) * 2022-05-09 2022-09-13 环形山(武汉)科技有限公司 一种基于车路协同的电磁阻尼器路况预测自适应控制系统
WO2023246551A1 (zh) * 2022-06-23 2023-12-28 中兴通讯股份有限公司 车辆跟踪方法、装置、通信单元及存储介质
CN117523461B (zh) * 2024-01-08 2024-03-08 南京航空航天大学 一种基于机载单目相机的运动目标跟踪与定位方法
CN117523461A (zh) * 2024-01-08 2024-02-06 南京航空航天大学 一种基于机载单目相机的运动目标跟踪与定位方法

Similar Documents

Publication Publication Date Title
CN112363167A (zh) 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
US11630197B2 (en) Determining a motion state of a target object
US10650253B2 (en) Method for estimating traffic lanes
CN106997688B (zh) 基于多传感器信息融合的停车场停车位检测方法
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN102398598B (zh) 使用前视和后视摄像机的车道融合系统
CN107632308B (zh) 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
CN117836653A (zh) 一种基于车载定位装置的路侧毫米波雷达校准方法
US11475678B2 (en) Lane marker detection and lane instance recognition
CN102700548A (zh) 具有前摄像机和后摄像机的稳健的车辆侧向控制
CN110794406B (zh) 多源传感器数据融合系统和方法
Wu et al. An algorithm for automatic vehicle speed detection using video camera
US20220270358A1 (en) Vehicular sensor system calibration
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
RU2764708C1 (ru) Способы и системы для обработки данных лидарных датчиков
CN103499337A (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
RU2767949C2 (ru) Способ (варианты) и система для калибровки нескольких лидарных датчиков
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN111325187B (zh) 一种车道位置的识别方法及装置
CN114442101A (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
US11677931B2 (en) Automated real-time calibration
CN116170749A (zh) 一种基于车路协同的融合感知定位系统
US20200118285A1 (en) Device and method for determining height information of an object in an environment of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination