CN115372958A - 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 - Google Patents
一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 Download PDFInfo
- Publication number
- CN115372958A CN115372958A CN202210991919.6A CN202210991919A CN115372958A CN 115372958 A CN115372958 A CN 115372958A CN 202210991919 A CN202210991919 A CN 202210991919A CN 115372958 A CN115372958 A CN 115372958A
- Authority
- CN
- China
- Prior art keywords
- target
- millimeter wave
- track
- wave radar
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：S1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；S2、处理所述雷达原始数据，得到有效目标的第一目标航迹；S3、处理所述视觉原始图像，得到有效目标的第二目标航迹；S4、将所述第一目标航迹与第二目标航迹进行匹配；优选的，所述S1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像；本发明单目相机目标，与毫米波目标的关联距离计算方法，即通过弱化单目相机深度信息，强化其2D坐标信息，与毫米波识别的3D信息计算相似度，在不增大计算复杂度的同时，增大匹配的正确率。
Description
技术领域
本发明属于汽车技术领域，具体涉及一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法。
背景技术
目前常用的传感器有激光雷达、毫米波雷达、摄像头和超声波雷达等。毫米波雷达和摄像头是ADAS系统最常见的传感器，具有成本低廉的优点且技术比较成熟，便于实现工业化和产业化应用。摄像头具有成本低，可以识别不同物体，在物体高度和宽度测量精度，行人、道路标志识别的准确度等方面优势较为突出。在车辆前方布置双目摄像头还可以实现定位功能。但是摄像头的检测效果容易受到恶劣环境影响，如雨雾天气和黑天。而毫米波雷达通过发射电磁波实现测距和测速功能，不受光照和天气因素影响，但是无法识别车道线和交通标志等。因此通过将摄像头和雷达结合起来从而实现对道路环境的感知，将摄像头和雷达的优势互补，实现更稳定可靠的ADAS功能，对于提高行车安全性具有重要意义。多传感器融合可以提高车辆检测和跟踪的精确性且鲁棒性强。按照数据抽象层次，信息融合系统可划分为三个级别：数据级融合、特征级融合和决策级融合。数据级融合直接对传感器观测数据进行融合处理，并对融合后的结果进行特征提取和判断决策，这种数据融合要求传感器是同类的。特征级融合可划分为目标状态信息融合和目标特征信息融合两大类。目标状态信息融合主要用于多传感器目标跟踪领域，对传感器数据完成数据配准后进行数据关联和状态估计。决策级融合是一种高层次融合，先由每个传感器基于自己的数据做出决策，然后在融合中心完成局部决策的融合处理，这种融合方法的数据损失最大，因此精度较低。
环境感知处于智能驾驶车辆与外界环境信息交互的关键位置，人类在驾驶过程中所接收的信息大多来自视觉，例如交通标志、行人、车道线等，这些道路视觉信息成为驾驶员控制车辆的主要依据。在智能驾驶车辆中，利用相机代替人类视觉系统，同时结合毫米波雷达提供前方目标的位置和速度，能够精确感知前方行车环境。近年来，计算机视觉技术逐渐成熟，基于视觉的目标检测、图像分类、实例分割等技术飞速发展。
因为单目视觉缺少井深信息，而基于帧间匹配进行3D重建得到的井深坐标存在严重偏移的缺点，导致在单目相机与毫米波进行目标航迹ID匹配的时候，经常因为单目相机深度信息误差大而导致错误匹配或匹配不到。另一方面，单目相机虽在深度上误差较大，但在目标检测时生成的坐标在相机归一化平面上的投影的二维坐标，是相对较准确的，可以轻视其深度信息，而主要使用其图像2d上的坐标进行计算关联距离与相似度，从而进行匹配，为此我们提出一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法。
发明内容
本发明的目的在于提供一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：
S1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；
S2、处理所述雷达原始数据，得到有效目标的第一目标航迹；
S3、处理所述视觉原始图像，得到有效目标的第二目标航迹；
S4、将所述第一目标航迹与第二目标航迹进行匹配。
优选的，所述S1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过VSLAM等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息。
优选的，所述S1中毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，vx,vy)。
优选的，所述S2中处理雷达原始数据进行目标跟踪时，具体方法如下：
S2.1、去除所述原始数据中的无效目标、静止目标以及冗余数据；
S2.2、通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹；
S2.3、对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。
优选的，所述数据关联的方式具体为公式：
式中:D为毫米波雷达测量的目标相对距离；V为毫米波雷达测量的目标相对速度；Φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据。
优选的，所述S3中处理视觉原始图像进行目标跟踪时时，具体方法如下：
S3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度；
S3.2、对有效目标进行跟踪，基于DeepSORT网络，获取有效目标的所述第二目标航迹。
优选的，所述S3.1实现步骤的具体内容为训练YOLO v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算YOLO v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度。
优选的，所述S3.2实现步骤的具体步骤为：
步骤一：将有效目标的边界框的信息和原始图像传输至DeepSORT网络，DeepSORT利用CNN网络对有效目标边界框内的检测块进行特征提取；
步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；
步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；
步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功。
优选的，所述S4的具体步骤为：
S4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将所述第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；
S4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合；
S4.3、对第一航迹与第二航迹中的每一对目标，计算所述第一航迹的中心投影坐标点与对应的所述第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；
S4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；
S4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。
优选的，所述S4具体步骤中：
欧氏距离表示为：
其中(uC,vC)是图像检测和跟踪的目标航迹中心点；(uR,vR)是雷达投影在图像上的航迹点；
目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
①将毫米波目标A的三维坐标投影到相机归一化平面，将摄像头目标B也投影到相机归一化平面；
②计算位姿相似度：计算目标A与目标B在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度Sd＝func1(d)；
③计算速度相似度：将目标A和目标B的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值MAX，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度Sv＝func2(v)；
④将位姿相似度和速度相似度合并得到综合相似度S＝func3(Sd,Sv)；其中，Sd＝func1(d)＝C1*d，C1为位姿相似度权重系数，Sv＝func2(v)＝C2*v，C2为速度相似度权重系数，MAX取一个极大的值，用作标志拒绝此匹配，S＝func3(Sd,Sv)＝(C12+C22)0.5；
图像像素坐标系和世界坐标系的转换关系为：
式中:RC为镜头旋转矩阵；TC为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；XwYw Zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；
雷达坐标系和世界坐标系的转换关系：
式中:XRYRZR为毫米波雷达坐标系；RR为毫米波雷达旋转矩阵；TR为毫米波雷达平移矩阵；
雷达坐标到图像像素坐标的转换关系
卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：
卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；
这里使用到了卡尔曼滤波的预测步，系统状态方程为：
xk＝Axk-1+Buk-1+wk-1则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：
由此实现时间同步，卡尔曼预测的部分。
与现有技术相比，本发明的有益效果是：
1.本发明单目相机目标，与毫米波目标的关联距离计算方法，即通过弱化单目相机深度信息，强化其2D坐标信息，与毫米波识别的3D信息计算相似度，在不增大计算复杂度的同时，增大匹配的正确率。
2.本发明获取视觉和雷达的原始数据，数据更丰富；方法鲁棒性强，对于单目相机缺少井深信息的情况，关联矩阵的计算具有良好的适配，使得相机和毫米波具有补偿作用；航迹融合方法容错率高，保证单个传感器失效时系统仍能正常工作。
附图说明
图1为本发明的原理示意框图；
图2为本发明的处理图像示意框图；
图3为本发明的神经网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图3，本发明提供一种技术方案：一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：
S1、通过毫米波雷达和摄像头分别获取原始数据和原始图像：
摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过VSLAM等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息；
毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，vx,vy)；雷达和摄像头对跟踪目标的探测精度存在差异，导致两个传感器探测到的感知目标和跟踪目标发生偏离；
S2、处理雷达原始数据，得到有效目标的第一目标航迹，具体方法如下：
S2.1、去除原始数据中的无效目标、静止目标以及冗余数据；
S2.2、通过数据关联的方式确定有效目标，并初始化有效目标的航迹，数据关联的方式具体为公式：
式中:D为毫米波雷达测量的目标相对距离；V为毫米波雷达测量的目标相对速度；Φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据；
S2.3、对已经形成的航迹进行跟踪，得到有效目标的第一目标航迹；
S3、处理视觉原始图像，得到有效目标的第二目标航迹，具体方法如下：
S3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度，具体地：训练YOLO v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算YOLO v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度等；
S3.2、对有效目标进行跟踪，基于DeepSORT网络，获取有效目标的第二目标航迹，具体地：
步骤一：将有效目标的边界框的信息和原始图像传输至DeepSORT网络，DeepSORT利用CNN网络对有效目标边界框内的检测块进行特征提取；
步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；运动特征的关联成功定义为：相邻两帧的有效目标的检测框的距离小于阈值，则关联成功；相邻两帧的有效目标的检测框的距离用公式可表示为：
式中：dj表示第j个检测框的位置；yi表示第i个跟踪器对目标的预测位置；Si表示检测位置与平均跟踪位置之间的协方差矩阵；
步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；外观信息关联的成功定义为：相邻两帧的有效目标的外观信息的相似性进行关联，如果距离小于指定的阈值，那么这个关联就是成功的；相邻两帧的有效目标的外观信息的相似性可采用如下公式表示：
式中：
为每一个跟踪目标成功关联的最近100个成功关联的特征向量的集合；rj为当前图像中第i个检测块的特征向量；
步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功；融合匹配采用公式表示如下：ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)；
S4、将第一目标航迹与第二目标航迹进行匹配，具体方法如下：
S4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；
S4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合(若不特殊说明，以下均指新的)；
S4.3、对第一航迹与第二航迹中的每一对目标，计算第一航迹的中心投影坐标点与对应的第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；
S4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；
S4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。
在S4上述流程中，有一些需要再次解释的名词或需要用到的公式，如下：
1)欧氏距离表示为：
其中(uC,vC)是图像检测和跟踪的目标航迹中心点；(uR,vR)是雷达投影在图像上的航迹点；
2)目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
①将毫米波目标A的三维坐标投影到相机归一化平面，将摄像头目标B也投影到相机归一化平面；
②计算位姿相似度：计算目标A与目标B在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度Sd＝func1(d)；
③计算速度相似度：将目标A和目标B的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值MAX，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度Sv＝func2(v)；
④将位姿相似度和速度相似度合并得到综合相似度S＝func3(Sd,Sv)；
其中，Sd＝func1(d)＝C1*d，C1为位姿相似度权重系数，Sv＝func2(v)＝C2*v，C2为速度相似度权重系数，MAX取一个极大的值，用作标志拒绝此匹配，S＝func3(Sd,Sv)＝(C12+C22)0.5；
3)图像像素坐标系和世界坐标系的转换关系为：
式中:RC为镜头旋转矩阵；TC为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；XwYw Zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；
4)雷达坐标系和世界坐标系的转换关系：
式中:XRYRZR为毫米波雷达坐标系；RR为毫米波雷达旋转矩阵；TR为毫米波雷达平移矩阵；
5)雷达坐标到图像像素坐标的转换关系
6)卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：
卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；
这里使用到了卡尔曼滤波的预测步，系统状态方程为：
xk＝Axk-1+Buk-1+wk-1
则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：
由此实现时间同步，卡尔曼预测的部分。
采用上述技术方案，根据车载毫米波雷达和摄像头获取原始数据；
根据雷达信息进行目标检测跟踪得到第一航迹；
根据图像信息进行目标检测跟踪得到第二航迹；
考虑单目相机缺少井深的特点，适配地计算关联矩阵；
采取匈牙利算法进行航迹匹配。
从上述描述可知，本发明具有以下有益效果：基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，具有以下优点：获取视觉和雷达的原始数据，数据更丰富；法鲁棒性强，对于单目相机缺少井深信息的情况，关联矩阵的计算具有良好的适配，使得相机和毫米波具有补偿作用；航迹融合方法容错率高，保证单个传感器失效时系统仍能正常工作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：
S1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；
S2、处理所述雷达原始数据，得到有效目标的第一目标航迹；
S3、处理所述视觉原始图像，得到有效目标的第二目标航迹；
S4、将所述第一目标航迹与第二目标航迹进行匹配。
2.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过VSLAM等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息。
3.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S1中毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，vx,vy)。
4.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S2中处理雷达原始数据进行目标跟踪时，具体方法如下：
S2.1、去除所述原始数据中的无效目标、静止目标以及冗余数据；
S2.2、通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹；
S2.3、对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。
5.根据权利要求4所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述数据关联的方式具体为公式：
式中:D为毫米波雷达测量的目标相对距离；V为毫米波雷达测量的目标相对速度；Φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据。
6.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S3中处理视觉原始图像进行目标跟踪时时，具体方法如下：
S3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度；
S3.2、对有效目标进行跟踪，基于DeepSORT网络，获取有效目标的所述第二目标航迹。
7.根据权利要求6所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S3.1实现步骤的具体内容为训练YOLO v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算YOLO v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度。
8.根据权利要求6所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S3.2实现步骤的具体步骤为：
步骤一：将有效目标的边界框的信息和原始图像传输至DeepSORT网络，DeepSORT利用CNN网络对有效目标边界框内的检测块进行特征提取；
步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；
步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；
步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功。
9.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S4的具体步骤为：
S4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将所述第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；
S4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合；
S4.3、对第一航迹与第二航迹中的每一对目标，计算所述第一航迹的中心投影坐标点与对应的所述第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；
S4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；
S4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。
10.根据权利要求9所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述S4具体步骤中：
欧氏距离表示为：
其中(uC,vC)是图像检测和跟踪的目标航迹中心点；(uR,vR)是雷达投影在图像上的航迹点；
目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
①将毫米波目标A的三维坐标投影到相机归一化平面，将摄像头目标B也投影到相机归一化平面；
②计算位姿相似度：计算目标A与目标B在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度Sd＝func1(d)；
③计算速度相似度：将目标A和目标B的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值MAX，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度Sv＝func2(v)；
④将位姿相似度和速度相似度合并得到综合相似度S＝func3(Sd,Sv)；
其中，Sd＝func1(d)＝C1*d，C1为位姿相似度权重系数，Sv＝func2(v)＝C2*v，C2为速度相似度权重系数，MAX取一个极大的值，用作标志拒绝此匹配，S＝func3(Sd,Sv)＝(C12+C22)0.5；
图像像素坐标系和世界坐标系的转换关系为：
式中:RC为镜头旋转矩阵；TC为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；Xw Yw Zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；
雷达坐标系和世界坐标系的转换关系：
式中:XRYRZR为毫米波雷达坐标系；RR为毫米波雷达旋转矩阵；TR为毫米波雷达平移矩阵；
雷达坐标到图像像素坐标的转换关系
卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：
卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；
这里使用到了卡尔曼滤波的预测步，系统状态方程为：
xk＝Axk-1+Buk-1+wk-1
则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：
由此实现时间同步，卡尔曼预测的部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210991919.6A CN115372958A (zh) | 2022-08-17 | 2022-08-17 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210991919.6A CN115372958A (zh) | 2022-08-17 | 2022-08-17 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115372958A true CN115372958A (zh) | 2022-11-22 |
Family
ID=84065654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210991919.6A Pending CN115372958A (zh) | 2022-08-17 | 2022-08-17 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115372958A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115542312A (zh) * | 2022-11-30 | 2022-12-30 | 苏州挚途科技有限公司 | 多传感器关联方法及装置 |
| CN115546519A (zh) * | 2022-12-05 | 2022-12-30 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115631483A (zh) * | 2022-12-08 | 2023-01-20 | 奥特贝睿(天津)科技有限公司 | 一种基于深度学习的毫米波雷达和相机融合方法 |
| CN115657012A (zh) * | 2022-12-23 | 2023-01-31 | 深圳佑驾创新科技有限公司 | 图像目标与雷达目标的匹配方法、装置、设备及存储介质 |
| CN115900771A (zh) * | 2023-03-08 | 2023-04-04 | 小米汽车科技有限公司 | 信息确定的方法、装置、车辆及存储介质 |
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| CN116338629A (zh) * | 2023-05-24 | 2023-06-27 | 中国船舶集团有限公司第七〇七研究所 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN116363623A (zh) * | 2023-01-28 | 2023-06-30 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
| CN116403170A (zh) * | 2023-06-02 | 2023-07-07 | 江西省水投江河信息技术有限公司 | 一种用于运砂船及采砂船的多目标跟踪方法及系统 |
| CN116758259A (zh) * | 2023-04-26 | 2023-09-15 | 中国公路工程咨询集团有限公司 | 一种公路资产信息识别方法及系统 |
| CN117075112A (zh) * | 2023-08-25 | 2023-11-17 | 中国人民解放军国防科技大学 | 一种方位角航迹匹配的无人艇雷达光电融合方法 |
| CN117250595A (zh) * | 2023-11-20 | 2023-12-19 | 长沙莫之比智能科技有限公司 | 一种车载毫米波雷达金属井盖目标误报抑制方法 |
| CN117611638A (zh) * | 2023-12-07 | 2024-02-27 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
| CN117788513A (zh) * | 2023-12-28 | 2024-03-29 | 上海朗尚传感技术有限公司 | 一种基于多传感器的道路车辆跟踪检测系统及方法 |
| CN117890903A (zh) * | 2024-03-15 | 2024-04-16 | 哈尔滨工业大学（威海） | 一种基于雷视匹配的无人艇航迹修正方法 |
| CN117970318A (zh) * | 2024-04-02 | 2024-05-03 | 所托(杭州)汽车智能设备有限公司 | 目标融合方法、电子设备及存储介质 |
| CN118409308A (zh) * | 2024-07-03 | 2024-07-30 | 陕西省水利电力勘测设计研究院 | 一种作业车辆定位方法 |
| CN118537760A (zh) * | 2024-07-26 | 2024-08-23 | 浙江华是科技股份有限公司 | 基于无人机的水上卡口检测方法及系统 |
| CN118644828A (zh) * | 2024-08-15 | 2024-09-13 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波雷达与视觉融合实现航迹关联的方法 |
| CN118644828B (zh) * | 2024-08-15 | 2024-10-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波雷达与视觉融合实现航迹关联的方法 |
-
2022
- 2022-08-17 CN CN202210991919.6A patent/CN115372958A/zh active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115542312A (zh) * | 2022-11-30 | 2022-12-30 | 苏州挚途科技有限公司 | 多传感器关联方法及装置 |
| CN115546519A (zh) * | 2022-12-05 | 2022-12-30 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115546519B (zh) * | 2022-12-05 | 2023-03-24 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115631483A (zh) * | 2022-12-08 | 2023-01-20 | 奥特贝睿(天津)科技有限公司 | 一种基于深度学习的毫米波雷达和相机融合方法 |
| CN115657012A (zh) * | 2022-12-23 | 2023-01-31 | 深圳佑驾创新科技有限公司 | 图像目标与雷达目标的匹配方法、装置、设备及存储介质 |
| CN116363623A (zh) * | 2023-01-28 | 2023-06-30 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
| CN116363623B (zh) * | 2023-01-28 | 2023-10-20 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
| CN115900771A (zh) * | 2023-03-08 | 2023-04-04 | 小米汽车科技有限公司 | 信息确定的方法、装置、车辆及存储介质 |
| CN115900771B (zh) * | 2023-03-08 | 2023-05-30 | 小米汽车科技有限公司 | 信息确定的方法、装置、车辆及存储介质 |
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| CN116758259A (zh) * | 2023-04-26 | 2023-09-15 | 中国公路工程咨询集团有限公司 | 一种公路资产信息识别方法及系统 |
| CN116338629A (zh) * | 2023-05-24 | 2023-06-27 | 中国船舶集团有限公司第七〇七研究所 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN116403170A (zh) * | 2023-06-02 | 2023-07-07 | 江西省水投江河信息技术有限公司 | 一种用于运砂船及采砂船的多目标跟踪方法及系统 |
| CN117075112A (zh) * | 2023-08-25 | 2023-11-17 | 中国人民解放军国防科技大学 | 一种方位角航迹匹配的无人艇雷达光电融合方法 |
| CN117250595A (zh) * | 2023-11-20 | 2023-12-19 | 长沙莫之比智能科技有限公司 | 一种车载毫米波雷达金属井盖目标误报抑制方法 |
| CN117250595B (zh) * | 2023-11-20 | 2024-01-12 | 长沙莫之比智能科技有限公司 | 一种车载毫米波雷达金属井盖目标误报抑制方法 |
| CN117611638B (zh) * | 2023-12-07 | 2024-05-17 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
| CN117611638A (zh) * | 2023-12-07 | 2024-02-27 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
| CN117788513A (zh) * | 2023-12-28 | 2024-03-29 | 上海朗尚传感技术有限公司 | 一种基于多传感器的道路车辆跟踪检测系统及方法 |
| CN117890903A (zh) * | 2024-03-15 | 2024-04-16 | 哈尔滨工业大学（威海） | 一种基于雷视匹配的无人艇航迹修正方法 |
| CN117890903B (zh) * | 2024-03-15 | 2024-06-07 | 哈尔滨工业大学（威海） | 一种基于雷视匹配的无人艇航迹修正方法 |
| CN117970318A (zh) * | 2024-04-02 | 2024-05-03 | 所托(杭州)汽车智能设备有限公司 | 目标融合方法、电子设备及存储介质 |
| CN117970318B (zh) * | 2024-04-02 | 2024-07-16 | 所托(杭州)汽车智能设备有限公司 | 目标融合方法、电子设备及存储介质 |
| CN118409308A (zh) * | 2024-07-03 | 2024-07-30 | 陕西省水利电力勘测设计研究院 | 一种作业车辆定位方法 |
| CN118537760A (zh) * | 2024-07-26 | 2024-08-23 | 浙江华是科技股份有限公司 | 基于无人机的水上卡口检测方法及系统 |
| CN118644828A (zh) * | 2024-08-15 | 2024-09-13 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波雷达与视觉融合实现航迹关联的方法 |
| CN118644828B (zh) * | 2024-08-15 | 2024-10-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波雷达与视觉融合实现航迹关联的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115372958A (zh) | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 | |
| Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
| Wang et al. | Robust road modeling and tracking using condensation | |
| JP4328692B2 (ja) | 物体検出装置 | |
| CN111611853B (zh) | 一种传感信息融合方法、装置及存储介质 | |
| CN111488795A (zh) | 应用于无人驾驶车辆的实时行人跟踪方法 | |
| CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
| CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN111881749B (zh) | 基于rgb-d多模态数据的双向人流量统计方法 | |
| CN113139470B (zh) | 一种基于Transformer的玻璃识别方法 | |
| WO2006016661A1 (ja) | 移動体周辺監視装置 | |
| CN112950696B (zh) | 导航地图的生成方法及生成装置、电子设备 | |
| WO2019092439A1 (en) | Detecting static parts of a scene | |
| CN112115889B (zh) | 基于视觉的智能车运动目标检测方法 | |
| CN112037268B (zh) | 一种动态场景下的基于概率传递模型的环境感知方法 | |
| CN116299500B (zh) | 一种融合目标检测和跟踪的激光slam定位方法及设备 | |
| CN114913206A (zh) | 一种基于多模态融合的多目标跟踪的方法和系统 | |
| CN117593650B (zh) | 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 | |
| CN117949942A (zh) | 基于雷达数据和视频数据融合的目标跟踪方法及系统 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| CN111160231A (zh) | 一种基于Mask R-CNN的自动驾驶环境道路提取方法 | |
| CN113569652A (zh) | 一种自动泊车环视摄像头低矮障碍物检测方法 | |
| CN117419719A (zh) | 一种融合imu的三维激光雷达定位与建图方法 | |
| Meuter et al. | 3D traffic sign tracking using a particle filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 201-116, Building 5, No. 8, Zhujiawan Street, Gusu District, Suzhou City, Jiangsu Province, 215000 Applicant after: Suzhou Guangmu Intelligent Technology Co.,Ltd. Address before: Room 201-116, Building 5, No. 8, Zhujiawan Street, Gusu District, Suzhou City, Jiangsu Province, 215000 Applicant before: Suzhou Guangmu Automobile Technology Co.,Ltd. |
|
| CB02 | Change of applicant information |