CN113850102B - 基于毫米波雷达辅助的车载视觉检测方法及系统 - Google Patents
基于毫米波雷达辅助的车载视觉检测方法及系统 Download PDFInfo
- Publication number
- CN113850102B CN113850102B CN202010596650.2A CN202010596650A CN113850102B CN 113850102 B CN113850102 B CN 113850102B CN 202010596650 A CN202010596650 A CN 202010596650A CN 113850102 B CN113850102 B CN 113850102B
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- camera
- millimeter wave
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 10
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 10
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及多传感器融合技术领域，具体的说是一种基于毫米波雷达辅助的车载视觉检测方法及系统，其特征在于，分别通过毫米波雷达模块和双目视觉模块获取目标雷达数据以及目标图像数据，对目标雷达数据和目标图像数据分别预处理后，搭建雷达与视觉信息融合模型，利用雷达与视觉信息融合模型对目标一致性进行判断，本发明与现有技术相比，能够有效减少事故发生的可能性，提高汽车的安全驾驶性能。
Description
技术领域：
本发明涉及多传感器融合技术领域，具体的说是一种基于毫米波雷达辅助的车载视觉检测方法及系统。
背景技术：
自从自动驾驶汽车研究问世以来，科学界一直积极致力于开发先进的驾驶员辅助系统(ADAS)。ADAS旨在提高安全性并减少人为错误导致道路事故的可能性，许多ADAS应用中的一项基本任务是检测和跟踪移动物体，它允许车辆了解其内在环境中的动态物体并预测其未来行为。由于在不同环境条件下ADAS应用的稳健性是一项复杂的挑战，没有一个这样的传感系统可以单独提供足够质量的ADAS应用所需要的全部信息。因此，实现多个传感器相结合的传感器系统对于智能车环境感知方面具有重要的意义。
毫米波雷达具有探测范围远、测距精度高、实时性强、可以直接测出目标的速度信息以及受环境的影响小、鲁棒性好的优点。视觉传感器具有成本较低、近距测距精度高且富含丰富的场景信息的优点，能满足车载系统的要求。与单一传感器相比，多传感器系统应用于目标检测可以更加全面、准确的感知周围环境信息，对智能车的自适应巡航系统、前方碰撞预警系统以及路径规划等方面有着关键性的作用。基于毫米波雷达辅助的车载视觉系统目标检测与跟踪方案，具有较高的实际应用价值。
在日益复杂道路条件下，对周围环境的可靠理解几乎是任何辅助或者自动驾驶应用中的基本任务，自从自动驾驶汽车研究问世以来，科学界一直积极致力于开发先进的驾驶员辅助系统(ADAS)。ADAS通常涉及自适应巡航控制、防碰撞预警系统、车道变换辅助、交通标志识别和停车辅助等——最终实现完全自动驾驶的车辆。几十年来，ADAS一直是研究的焦点，旨在提高安全性并减少人为错误导致道路事故的可能性。ADAS的应用通常依赖于使用互补传感系统：视觉、毫米波雷达、激光测距仪(LRF)或其组合。雷达传感器能够精确测量物体的相对速度和距离。LRF具有比雷达更高的横向分辨率，除了准确的物距外，它们还可以检测物体的占用面积并提供详细的场景表示信息。在鲁棒性方面，雷达传感器对雨、雾、雪等条件下稳健性更好，而LRF受其的影响较大。但是雷达与激光传感器都有一个相同的缺点，会产生大量的杂波。基于视觉的传感系统可以提供精确的横向测量和来自图像的其他丰富信息，从而为基于测距的传感器道路场景分析提供有效的补充。例如，立体视觉传感器可以提供具有高横向分辨率和较小确定范围的目标检测，同时通常为物体的分类和识别提供充足的信息，而雷达可以提供距离和相对速度的精确测量。鉴于雷达和视觉系统的互补性，这种组合通常用于研究ADAS应用。例如,分别处理图像和雷达数据，使用雷达传感器在单目相机的图像中找到感兴趣的区域以减小图像处理的计算量，而直接使用立体相机，通过运动立体重建物体边界。采用多个传感器需要利用其不同的模态，将传感系统融合到适当的水平。
目前相机传感器和毫米波雷达是在ADAS应用中最常见的两种传感器，毫米波雷达相对于激光雷达成本较低，使得雷达装备在智能车普及应用上成为可能。毫米波雷达具有探测范围远、测距精度高、实时性强、对目标运动状态信息测量准确和环境鲁棒性好的优点，可以满足车载应用的要求。基于77G车载毫米波雷达的系统应用方案工作性能稳定、抗环境干扰能力强，但是毫米波雷达在目标检测过程受到其工作特性的影响，会出现漏检和虚警的情况发生。视觉传感器富含丰富的场景信息，且相对于雷达传感器成本较低，可以完成毫米波雷达应分辨率过低而不能完成的目标识别的任务。但图像处理算法运算量较大，对硬件系统要求较高。且容易受到天气和环境因素的影响。为获得更加全面的道路场景信息，使用毫米波雷达与双目视觉传感器相结合的车载传感器系统。
近年来，毫米波雷达与视觉传感器的融合是国内外学者关注的重点研究内容。YanG等人根据车辆底部阴影的特征对车辆目标的存在性进行判断，然后通过提取垂直方向和水平方向的HOG特征，与Adaboosting算法相结合来训练级联分类器，目标检测效果显著。Haselhoff A通过一种改进的Adaboost算法融合雷达数据，用于在感兴趣图像区域进行目标识别,提升了目标识别的准确率。K.E.Kim等人研究雷达与相机融合的方案应用于前方车辆目标跟踪系统中，通过最优子模式分配来计算信息融合的准确性。Beomjun Kim等人研究多传感器融合方案，融合处理视觉传感器的图像信息与激光雷达传感器的点云信息，并结合GPS与车道线识别对自身车辆进行高精度定位，规划自车安全行驶。国外学者基于雷达和图像传感器研究目标识别与分类算法，融合雷达与单目相机的数据应用于车辆碰撞预警系统中，取得了良好的效果。W.Song等人研究车辆主动防撞系统中的实时障碍物目标的检测与分类，通过融合相机和雷达的优势，实时有效的处理障碍物目标的信息。
但是，大部分研究人员并未对ADAS应用系统中雷达会出现漏检的情况进行实际的解决。随着科技的不断发展、计算机处理性能的不断提高，毫米波雷达与视觉传感器在智能辅助驾驶上发挥着越来越重要的作用。然而，雷达由于受到自身特性的影响，分辨率不足以区分车辆与其他目标。此外，视觉传感器受到分辨率和处理性能的影响，对于远距离目标的检测能力有限且易受到环境的影响，需要借助于雷达传感器完成部分工作。因此，为提高车辆行驶过程中对周围环境的感知能力，基于毫米波雷达与视觉融合技术应用于车载传感器系统意义重大。
发明内容：
本发明提供了一种能够通过毫米波雷达探测车辆前方障碍物，获得目标与自车的相对距离、相对速度、相对角度等数据信息，并通过立体视觉传感器获取前方道路信息对，获得目标的类别和深度信息；通过车载计算机信号处理单元，对障碍物目标进行检测，并将危险等级高的目标信息直观地提供给驾驶员，以减少事故发生的可能性，提高汽车的安全驾驶性能的基于毫米波雷达辅助的车载视觉检测方法及系统。
本发明通过以下措施达到：
一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，分别通过毫米波雷达模块和双目视觉模块获取目标雷达数据以及目标图像数据，对目标雷达数据和目标图像数据分别预处理后，搭建雷达与视觉信息融合模型，利用雷达与视觉信息融合模型对目标一致性进行判断，其中，所述搭建雷达与视觉信息融合模型包括以下步骤：
步骤1：搭建雷达与视觉信息融合模型；具体包括：
步骤1-1：将相机和雷达的单独标定将相机光轴与雷达平面的法向量分别跟车辆中心轴所在平面平行，基于此假设毫米波雷达检测到目标点在地面的投影坐标系为Orw-xrwyrwzrw，xrw轴与车身横向方向平行，yrw轴与车辆行驶方向平行，zrw轴为竖直向上的方向。相机投影坐标系为Ocw-xcwycwzcw，xcw轴、ycw轴分别与车身横向方向和车辆行驶方向平行，zcw轴为竖直向上的方向，Oc-xcyczc表示相机坐标系，zc轴表示相机的光轴，xc轴和yc轴分别平行于xp和yp轴，Op-xpyp表示图像坐标系，根据摄像机成像原理，图像坐标系和相机坐标系的关系如下：
式中，fx、fy——相机的焦距，通过标定获得；
cx、cy——光轴偏移量；
(xp,yp)——图像坐标系中一点坐标；
(xc,yc,zc)——相机坐标系中一点坐标；
步骤1-2：相机坐标系和相机投影坐标系通过旋转和平移转换，二者之间的关系可通过坐标转换如式(1-7)所示：
式中，(xcw,ycw,zcw)——相机投影坐标系中一点坐标；
H——摄像头的安装高度(m)；
θ——摄像头的俯仰角；
步骤1-3：相机投影坐标系可以通过平移转换得到雷达投影坐标系，转换关系如式(1-8)所示：
式中，Lx、Ly——相机投影坐标系和雷达投影坐标系间x轴于y轴的平移关系。步骤1-4：目标位于水平地面，且目标位于相机投影坐标系中且zw＝0，根据式(1-6)、(1-7)和(1-8)可以将雷达投影坐标系中一点变换到图像坐标系中，转换关系如下：
步骤2：完成雷达与视觉信息融合模型中雷达数据、视觉数据的空间同步与时间同步；具体包括以下步骤：
步骤2-1：雷达数据、视觉数据的时间同步：
步骤2-1-1：创建雷达线程，雷达数据接收线程按25Hz时间触发运行，每次运行采集当前时刻雷达数据；
步骤2-1-2：创建摄像机线程，通常为阻塞状态，每次运行采集当前时刻雷达数据，然后触发摄像机线程，触发摄像机线程后阻塞等待下一次时间触发；
步骤2-2：雷达数据、视觉数据的空间同步：
步骤2-2-1：将雷达检测目标映射到图像平面；
步骤2-2-2：结合目标宽高度先验信息，根据摄像机成像原理，将毫米波雷达探测到目标的映射目标区域，具体是如式(1-10)所示：
式中，W、H——车辆真实的宽度和高(m)；
w、h——代表映射目标区域的宽度与高度(Pixel)
R——目标距离(m)；
f——摄像机的焦距(m)；
(x1,y1)——映射目标区域的中心点；
(x2,y2)——映射目标区域左上角坐标；
所述利用雷达与视觉信息融合模型对目标一致性进行判断，是指通过目标区域关联算法，以实现视觉与毫米波雷达检测的目标区域的一致性判断，具体方法如下：
式中，(xc1,yc1)——视觉传感器识别目标区域的左上角坐标；
(xr1,yr1)——毫米波雷达探测目标映射区域的左上角坐标；
k1、k2、k3——分别为式(1-11)的阈值；
Sc——视觉检测窗口的面积(cm2)；
R——重合区域面积(cm2)。
本发明所述对目标雷达数据的预处理是指通过毫米波雷达模块，获取前方目标的距离、角度和速度信息。
本发明所述对目标图像数据的预处理具体包括：
步骤A：获取目标的彩色图像数据：使用双目立体视觉系统左右相机同时从不同角度，对同一场景进行拍摄，采集目标区域的彩色图像数据；
步骤B：根据同一物体在左、右两幅图像上的对应关系，通过将左右两幅图像进行立体匹配求取视差图，进而计算距离信息获得深度图；
步骤C：根据三角形相似原理，计算空间一点的三维坐标，来恢复出目标的三维信息；
步骤D：基于卷积神经网络对障碍物目标识别。
本发明所述步骤A具体为：利用双目摄像机同时采集标定板图像，将拍摄的照片导入标定工具箱，进行角点检测；计算相机的内参外参，通过重投影误差来优化标定结果。
本发明所述步骤B包括以下步骤：
步骤B1：采用灰度差绝对值来计算匹配代价，设置一个阈值来排除噪声的干扰，在灰度差绝对值中计算公式为：
式中，T——代价阈值；
C(xl,yl)——点(xl,yl)的匹配代价。
步骤B2采用绝对误差和SAD来计算匹配代价，具体是首先以图像中的某点为中心，定义一个大小为(2n+1)×(2n+1)的窗口，然后在另一幅图像中通过相似性测量准则寻找相似的窗口，匹配点即为该窗口中心，用绝对误差和SAD算法表示为：
式中，C(x,y,d)——点(x,y)的在视差为d时的聚合匹配代价；
d——视差；
步骤B3：使用全局立体匹配算法从全局的角度出发来进行优化计算视差从而得到目标的深度信息，具体是建立了一个包含数据项和平滑项的全局能量函数，通过优化这个函数来求取视差值，定义全局立体匹配算法的能量函数如式(1-3)：
Esmooth(d)——平滑项表现对场景的约束；
C——匹配代价；
P——惩罚项代表p、q两个不同像素点视差的函数。
本发明所述步骤D包括以下步骤：
步骤D1：首先通过数据集来训练卷积层；
步骤D2：然后利用训练好的卷积层和全连接层一起构造区域生成网络；
步骤D3：最后对目标在图像上的位置和类别信息进行预测。
本发明步骤D采用Yolo目标检测算法，首先对图像区域进行了划分，在每个网格中如果有目标物体的中心在此网格内，则该目标属于网格，网格置信度为1。每个网格同时检测多个目标窗口，每个目标窗口包含目标的中心坐标(x,y)和宽高(w,h)以及置信度，置信度confidence如式所示：
式中，Pr(Object)——该网格中某类别目标存在的概率；
——预测框与真实框的交并比。
如式(1-4)中confidence是由该目标类别概率Pr(Object)与目标的置信度相乘得到，计算方法如式(1-5)所示：
class_confidence＝Pr(Classi|Object)·confidence (1-5)
经过一系列运算可以得到包含目标的多个边框，并且这些边框存在交集，这个时候我们只需要留下目标预测的一个边框，根据交并比的概念，我们对预测是同一物体的边界框且交并比大于设定阈值的矩形框进行非极大值抑制，保留class_confidence概率最大的边界框，抑制掉其它概率小的边界框。
本发明还提出了一种基于毫米波雷达辅助的车载视觉检测系统，其特征在于设有毫米波雷达模块、双目视觉模块、数据采集与预处理模块、信息融合处理模块、显示模块以及预警模块，其中所述毫米波雷达模块用于发送和接收雷达信号，并获取前方目标的距离、角度和速度信息；所述双目视觉模块用于采集车辆前方区域的彩色图像数据；所述数据采集与预处理模块用于处理毫米波雷达模块输出的数据，并将预处理后的信号经USB或CAN总线电路送至信息融合处理模块；所述信息融合处理模块用于执行上述基于毫米波雷达辅助的车载视觉检测方法。
本发明与现有技术相比，通过毫米波雷达探测车辆前方障碍物，获得目标与自车的相对距离、相对速度、相对角度等数据信息，并通过立体视觉传感器获取前方道路信息对，获得目标的类别和深度信息；通过车载计算机信号处理单元，对障碍物目标进行检测，并将危险等级高的目标信息直观地提供给驾驶员，以减少事故的发生，提高了车辆行驶过程中对周围环境的感知能力。
附图说明：
图1为本发明的结构框图。
图2为目标回波的距离-幅度仿真图。
图3为目标回波的速度-幅度仿真图。
图4为立体匹配的流程图。
图5为双目立体视觉系统。
图6为Yolo目标检测流程图。
图7为雷达和摄像机坐标系示意图。
图8为传感器线程时间同步模型。
图9为视觉与雷达检测目标区域关联算法示意图。
具体实施方式：
下面结合附图和实施例对本发明作进一步的说明。
本发明针对现有技术中雷达和视觉检测存在的不足，提出了一种融合毫米波雷达检测与视觉检测的目标检测方法及系统，本例具体执行以下步骤：
步骤1：毫米波雷达通过发射和接收信号，获取前方目标的距离、角度和速度信息。
1.1：对数据采集所用的77GHz毫米波雷达进行参数配置，在本专利中，根据车辆行驶的应用场景，设置合适的雷达波形参数；可以采用TI公司的IWR1642雷达，波形是线性调频连续波，最大探测距离100m，扫频带宽300MHz，采样率300MHz，每次采集100帧数据，每帧内有128个chirp信号，每个chirp信号有64个采样点，采集车辆行驶的周围环境信息；
步骤2：将雷达发射信号ST(t)和接收信号SR(t)输入到混频器，得到的混频信号SM(t)通过低通滤波器滤除高频部分，得到中频信号频率SIF(t)；
2.1 77GHz毫米波雷达发射信号ST(t)具体表示式为：
式中，AT——发射信号的幅值；
fc——载波的中心频率(Hz)；
T——锯齿波信号脉宽；
fT(τ)——在T时间内发射信号的频率(Hz)。
2.2雷达接收信号SR(t)具体表示式为：
式中，AR——接收信号幅值；
△t——时延(s)；
fR(t)——T时间内接收信号频率(Hz)。
2.3通过混频器得到混频信号SM(t)，其表示式为：
SM(t)＝ST(t)SR(t)，
2.4混频信号SM(t)通过低通滤波器，得到中频信号SIF(t)，其表示式为：
通过对中频信号进行采样，利用FFT获得信号频谱进而得到目标距离信息。
步骤3：双目立体视觉系统通过左右相机同时从不同角度，对同一场景进行拍摄，采集车辆前方区域的彩色图像数据。
3.1利用双目摄像机同时采集标定板图像；
3.2将拍摄的照片导入标定工具箱，进行角点检测；
3.3计算相机的内参外参，通过重投影误差来优化标定结果。
步骤4：根据同一物体在左、右两幅图像上的对应关系，通过立体匹配算法求取视差图，进而计算距离信息获得深度图。立体匹配算法的流程如图4所示。
4.1采用灰度差绝对值来计算匹配代价，设置一个阈值来排除噪声的干扰。在灰度差绝对值中计算公式为：
式中，T——代价阈值；
C(xl,yl)——点(xl,yl)的匹配代价。
4.2采用绝对误差和SAD来计算匹配代价，具体是首先以图像中的某点为中心，定义一个大小为(2n+1)×(2n+1)的窗口，然后在另一幅图像中通过相似性测量准则寻找相似的窗口，匹配点即为该窗口中心。用绝对误差和SAD算法表示为：
式中，C(x,y,d)——点(x,y)的在视差为d时的聚合匹配代价；
d——视差；
4.3使用全局立体匹配算法从全局的角度出发来进行优化计算视差从而得到目标的深度信息。具体是建立了一个包含数据项和平滑项的全局能量函数，通过优化这个函数来求取视差值。
定义全局立体匹配算法的能量函数如式(2-3)：
Esmooth(d)——平滑项表现对场景的约束；
C——匹配代价；
P——惩罚项代表p、q两个不同像素点视差的函数。
当p、q两像素点视差相等时，P为0。当两者差值不为0时，P为正数，且差值越大P的值也越大。
步骤5：如图5所示即为双目立体视觉的成像原理。根据三角形相似原理，计算空间一点的三维坐标，来恢复出目标的三维信息：
式中，B——基线长，两个相机光心之间的距离(mm)；
f——相机的焦距(mm)；
(Xc,Yc,Zc)——相机坐标系中一点的坐标；
(xl,yl)——左图像对应像素点坐标；
(xr,yr)——右图像对应像素点坐标。
空间中一点P在左、右两幅图像平面上成像的偏差大小称为视差d＝xl-xr。则空间中的P点在相机坐标系下表示为：
式中，(Xw,Yw,Zw)——空间一点的三维坐标；
b——双目相机基线的长度；
d——视差值。
步骤6：基于卷积神经网络对障碍物目标识别
目标识别的具体步骤：
步骤6.1：首先通过数据集来训练卷积层。
步骤6.2：然后利用训练好的卷积层和全连接层一起构造区域生成网络。
步骤6.3：最后对目标在图像上的位置和类别信息进行预测。
Yolo目标识别算法进行预测的过程如图6所示。
Yolo目标检测算法首先对图像区域进行了划分，在每个网格中如果有目标物体的中心在此网格内，则该目标属于网格，网格置信度为1。每个网格同时检测多个目标窗口，每个目标窗口包含目标的中心坐标(x,y)和宽高(w,h)以及置信度，置信度confidence如式(2-6)所示：
式中，Pr(Object)——该网格中某类别目标存在的概率；
——预测框与真实框的交并比。
如式(2-6)中confidence是由该目标类别概率Pr(Object)与目标的置信度相乘得到，计算方法如式(2-7)所示：
class_confidence＝Pr(Classi|Object)·confidence (2-7)
经过一系列运算可以得到包含目标的多个边框，并且这些边框存在交集，这个时候我们只需要留下目标预测的一个边框，根据交并比的概念，我们对预测是同一物体的边界框且交并比大于设定阈值的矩形框进行非极大值抑制，保留class_confidence概率最大的边界框，抑制掉其它概率小的边界框。
步骤7：搭建视觉与毫米波雷达信息融合模型，将雷达投影坐标系中一点变换到图像坐标系中。
具体步骤：
7.1首先将相机和雷达的单独标定将相机光轴与雷达平面的法向量分别跟车辆中心轴所在平面平行，基于此假设毫米波雷达检测到目标点在地面的投影坐标系为Orw-xrwyrwzrw，xrw轴与车身横向方向平行，yrw轴与车辆行驶方向平行，zrw轴为竖直向上的方向；相机投影坐标系为Ocw-xcwycwzcw，xcw轴、ycw轴分别与车身横向方向和车辆行驶方向平行，zcw轴为竖直向上的方向。如图7所示为它们的相对关系。Oc-xcyczc表示相机坐标系，zc轴表示相机的光轴，xc轴和yc轴分别平行于xp和yp轴。Op-xpyp表示图像坐标系。根据摄像机成像原理，图像坐标系和相机坐标系的关系如下：
式中，fx、fy——相机的焦距，通过标定获得；
cx、cy——光轴偏移量；
(xp,yp)——图像坐标系中一点坐标；
(xc,yc,zc)——相机坐标系中一点坐标；
7.2相机坐标系和相机投影坐标系可以通过旋转和平移转换，二者之间的关系可以通过坐标转换如式(2-9)所示：
式中，(xcw,ycw,zcw)——相机投影坐标系中一点坐标；
H——摄像头的安装高度；
θ——摄像头的俯仰角。
7.3相机投影坐标系可以通过平移转换得到雷达投影坐标系，转换关系如式(2-10)所示：
式中，Lx、Ly——相机投影坐标系和雷达投影坐标系间x轴于y轴的平移关系。
7.4目标位于水平地面，且目标位于相机投影坐标系中且zw＝0，根据式(2-8)、(2-9)和(2-10)可以将雷达投影坐标系中一点变换到图像坐标系中，转换关系如下：
步骤8：将传感器系统时间进行对准，以采样频率低的雷达数据为基准，采用多线程同步方式实现数据时间同步。
步骤8.1：创建雷达线程，雷达数据接收线程按25Hz时间触发运行，每次运行采集当前时刻雷达数据；
步骤8.2：创建摄像机线程，通常为阻塞状态，每次运行采集当前时刻雷达数据，然后触发摄像机线程，触发摄像机线程后阻塞等待下一次时间触发。
步骤8.3：创建数据处理线程，将当前雷达数据和当前图像数据组合到一起添加到缓冲区队列尾，从缓冲区队列头获取前两个线程的同一时刻数据。
步骤9：视觉与毫米波雷达检测的目标区域的一致性判断
步骤9.1将雷达检测目标映射到图像平面
步骤9.2结合车辆宽高度先验信息，根据摄像机成像原理，将毫米波雷达探测到目标的映射目标区域，具体是如式(2-12)所示：
式中，W、H——车辆真实的宽度和高(m)；
w、h——代表映射目标区域的宽度与高度(Pixel)
R——目标距离(m)；
f——摄像机的焦距(m)；
(x1,y1)——映射目标区域的中心点；
(x2,y2)——映射目标区域左上角坐标；
步骤9.3通过目标区域关联算法，以实现视觉与毫米波雷达检测的目标区域的一致性判断。具体方法如下：
式中，(xc1,yc1)——视觉传感器识别目标区域的左上角坐标；
(xr1,yr1)——毫米波雷达探测目标映射区域的左上角坐标；
k1、k2、k3——分别为式(2-13)的阈值；
Sc——视觉检测窗口的面积(cm2)；
R——重合区域面积(cm2)。
根据相机成像原理，当目标距离近时，△x、△y较大而ε较小。当目标距离远时，△x、△y较小而ε较大。根据大量统计分析，当阈值k1、k2、k3分别取70、60、0.8时，可以获得较好的融合结果。
本发明与现有技术相比，通过毫米波雷达探测车辆前方障碍物，获得目标与自车的相对距离、相对速度、相对角度等数据信息，并通过立体视觉传感器获取前方道路信息对，获得目标的类别和深度信息；通过车载计算机信号处理单元，对障碍物目标进行检测，并将危险等级高的目标信息直观地提供给驾驶员，以减少事故的发生，提高了车辆行驶过程中对周围环境的感知能力。
Claims (8)
1.一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，分别通过毫米波雷达模块和双目视觉模块获取目标雷达数据以及目标图像数据，对目标雷达数据和目标图像数据分别预处理后，搭建雷达与视觉信息融合模型，利用雷达与视觉信息融合模型对目标一致性进行判断，其中，所述搭建雷达与视觉信息融合模型包括以下步骤：
步骤1：搭建雷达与视觉信息融合模型；具体包括：
步骤1-1：将相机和雷达的单独标定将相机光轴与雷达平面的法向量分别跟车辆中心轴所在平面平行，基于此假设毫米波雷达检测到目标点在地面的投影坐标系为Orw-xrwyrwzrw，xrw轴与车身横向方向平行，yrw轴与车辆行驶方向平行，zrw轴为竖直向上的方向；相机投影坐标系为Ocw-xcwycwzcw，xcw轴、ycw轴分别与车身横向方向和车辆行驶方向平行，zcw轴为竖直向上的方向，Oc-xcyczc表示相机坐标系，zc轴表示相机的光轴，xc轴和yc轴分别平行于xp和yp轴，Op-xpyp表示图像坐标系，根据摄像机成像原理，图像坐标系和相机坐标系的关系如下：
式中，fx、fy——相机的焦距，通过标定获得；
cx、cy——光轴偏移量；
(xp,yp)——图像坐标系中一点坐标；
(xc,yc,zc)——相机坐标系中一点坐标；
步骤1-2：相机坐标系和相机投影坐标系通过旋转和平移转换，二者之间的关系可通过坐标转换如式(1-7)所示：
式中，(xcw,ycw,zcw)——相机投影坐标系中一点坐标；
H——摄像头的安装高度(m)；
θ——摄像头的俯仰角；
步骤1-3：相机投影坐标系可以通过平移转换得到雷达投影坐标系，转换关系如式(1-8)所示：
式中，Lx、Ly——相机投影坐标系和雷达投影坐标系间x轴于y轴的平移关系；
步骤1-4：目标位于水平地面，且目标位于相机投影坐标系中且zw＝0，根据式(1-6)、(1-7)和(1-8)可以将雷达投影坐标系中一点变换到图像坐标系中，转换关系如下：
步骤2：完成雷达与视觉信息融合模型中雷达数据、视觉数据的空间同步与时间同步；具体包括以下步骤：
步骤2-1：雷达数据、视觉数据的时间同步：
步骤2-1-1：创建雷达线程，雷达数据接收线程按25Hz时间触发运行，每次运行采集当前时刻雷达数据；
步骤2-1-2：创建摄像机线程，通常为阻塞状态，每次运行采集当前时刻雷达数据，然后触发摄像机线程，触发摄像机线程后阻塞等待下一次时间触发；
步骤2-2：雷达数据、视觉数据的空间同步：
步骤2-2-1：将雷达检测目标映射到图像平面；
步骤2-2-2：结合目标宽高度先验信息，根据摄像机成像原理，将毫米波雷达探测到目标的映射目标区域，具体是如式(1-10)所示：
式中，W、H——车辆真实的宽度和高(m)；
w、h——代表映射目标区域的宽度与高度(Pixel)
R——目标距离(m)；
f——摄像机的焦距(m)；
(x1,y1)——映射目标区域的中心点；
(x2,y2)——映射目标区域左上角坐标；
所述利用雷达与视觉信息融合模型对目标一致性进行判断，是指通过目标区域关联算法，以实现视觉与毫米波雷达检测的目标区域的一致性判断，具体方法如下：
式中，(xc1,yc1)——视觉传感器识别目标区域的左上角坐标；
(xr1,yr1)——毫米波雷达探测目标映射区域的左上角坐标；
k1、k2、k3——分别为式(2-13)的阈值；
Sc——视觉检测窗口的面积(cm2)；
R——重合区域面积(cm2)。
2.根据权利要求1所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，所述对目标雷达数据的预处理是指通过毫米波雷达模块，获取前方目标的距离、角度和速度信息。
3.根据权利要求1所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，所述对目标图像数据的预处理具体包括：
步骤A：获取目标的彩色图像数据：使用双目立体视觉系统左右相机同时从不同角度，对同一场景进行拍摄，采集目标区域的彩色图像数据；
步骤B：根据同一物体在左、右两幅图像上的对应关系，通过将左右两幅图像进行立体匹配求取视差图，进而计算距离信息获得深度图；
步骤C：根据三角形相似原理，计算空间一点的三维坐标，来恢复出目标的三维信息；
步骤D：基于卷积神经网络对障碍物目标识别。
4.根据权利要求3所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，所述步骤A具体为：利用双目摄像机同时采集标定板图像，将拍摄的照片导入标定工具箱，进行角点检测；计算相机的内参外参，通过重投影误差来优化标定结果。
5.根据权利要求3所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，所述步骤B包括以下步骤：
步骤B1：采用灰度差绝对值来计算匹配代价，设置一个阈值来排除噪声的干扰，在灰度差绝对值中计算公式为：
式中，T——代价阈值；
C(xl,yl)——点(xl,yl)的匹配代价；
步骤B2采用绝对误差和SAD来计算匹配代价，具体是首先以图像中的某点为中心，定义一个大小为(2n+1)×(2n+1)的窗口，然后在另一幅图像中通过相似性测量准则寻找相似的窗口，匹配点即为该窗口中心，用绝对误差和SAD算法表示为：
式中，C(x,y,d)——点(x,y)的在视差为d时的聚合匹配代价；
d——视差；
步骤B3：使用全局立体匹配算法从全局的角度出发来进行优化计算视差从而得到目标的深度信息，具体是建立了一个包含数据项和平滑项的全局能量函数，通过优化这个函数来求取视差值，定义全局立体匹配算法的能量函数如式(1-3)：
Esmooth(d)——平滑项表现对场景的约束；
C——匹配代价；
P——惩罚项代表p、q两个不同像素点视差的函数。
6.根据权利要求3所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，所述步骤D包括以下步骤：
步骤D1：首先通过数据集来训练卷积层；
步骤D2：然后利用训练好的卷积层和全连接层一起构造区域生成网络；
步骤D3：最后对目标在图像上的位置和类别信息进行预测。
7.根据权利要求3所述的一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，步骤D采用Yolo目标检测算法，首先对图像区域进行了划分，在每个网格中如果有目标物体的中心在此网格内，则该目标属于网格，网格置信度为1，每个网格同时检测多个目标窗口，每个目标窗口包含目标的中心坐标(x,y)和宽高(w,h)以及置信度，置信度confidence如式所示：
式中，Pr(Object)——该网格中某类别目标存在的概率；
——预测框与真实框的交并比；
如式(1-4)中confidence是由该目标类别概率Pr(Object)与目标的置信度相乘得到，计算方法如式(1-5)所示：
class_confidence＝Pr(Classi|Object)·confidence (1-5)
经过运算得到包含目标的多个边框，并且这些边框存在交集，此时只需留下目标预测的一个边框，根据交并比的概念，对预测是同一物体的边界框且交并比大于设定阈值的矩形框进行非极大值抑制，保留class_confidence概率最大的边界框，抑制掉其它概率小的边界框。
8.一种基于毫米波雷达辅助的车载视觉检测系统，其特征在于设有毫米波雷达模块、双目视觉模块、数据采集与预处理模块、信息融合处理模块、显示模块以及预警模块，其中所述毫米波雷达模块用于发送和接收雷达信号，并获取前方目标的距离、角度和速度信息；所述双目视觉模块用于采集车辆前方区域的彩色图像数据；所述数据采集与预处理模块用于处理毫米波雷达模块输出的数据，并将预处理后的信号经USB或CAN总线电路送至信息融合处理模块；所述信息融合处理模块用于执行如权利要求1-7中任意一项所述的基于毫米波雷达辅助的车载视觉检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010596650.2A CN113850102B (zh) | 2020-06-28 | 2020-06-28 | 基于毫米波雷达辅助的车载视觉检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010596650.2A CN113850102B (zh) | 2020-06-28 | 2020-06-28 | 基于毫米波雷达辅助的车载视觉检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850102A CN113850102A (zh) | 2021-12-28 |
| CN113850102B true CN113850102B (zh) | 2024-03-22 |
Family
ID=78972443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010596650.2A Active CN113850102B (zh) | 2020-06-28 | 2020-06-28 | 基于毫米波雷达辅助的车载视觉检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850102B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114838796B (zh) * | 2022-04-29 | 2023-06-09 | 合肥市正茂科技有限公司 | 视觉辅助车辆动态称重方法与称重系统 |
| CN115169452B (zh) * | 2022-06-30 | 2023-04-28 | 北京中盛国芯科技有限公司 | 基于时空同步队列特性雷视融合目标信息系统及方法 |
| CN115542312B (zh) * | 2022-11-30 | 2023-03-21 | 苏州挚途科技有限公司 | 多传感器关联方法及装置 |
| CN116504070B (zh) * | 2023-06-27 | 2023-09-05 | 苏州旭安交通科技有限公司 | 一种结合道路特征的交通事故预警方法及系统 |
| CN117672007B (zh) * | 2024-02-03 | 2024-04-26 | 福建省高速公路科技创新研究院有限公司 | 一种基于雷视融合的道路施工区域安全预警系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111098815A (zh) * | 2019-11-11 | 2020-05-05 | 武汉市众向科技有限公司 | 一种基于单目视觉融合毫米波的adas前车碰撞预警方法 |
-
2020
- 2020-06-28 CN CN202010596650.2A patent/CN113850102B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111098815A (zh) * | 2019-11-11 | 2020-05-05 | 武汉市众向科技有限公司 | 一种基于单目视觉融合毫米波的adas前车碰撞预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 无人机毫米波防撞雷达系统设计;于寿鹏;周志权;赵占锋;;无线互联科技;20180825(第16期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850102A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
| WO2018177026A1 (zh) | 确定道路边沿的装置和方法 | |
| CN108509972A (zh) | 一种基于毫米波和激光雷达的障碍物特征提取方法 | |
| CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| Pantilie et al. | Real-time obstacle detection in complex scenarios using dense stereo vision and optical flow | |
| Rawashdeh et al. | Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN110745140A (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| CN112149550A (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
| Pantilie et al. | Real-time obstacle detection using dense stereo vision and dense optical flow | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN112379674B (zh) | 一种自动驾驶设备及系统 | |
| CN111123262B (zh) | 自动驾驶3d建模方法、装置及系统 | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN114442101A (zh) | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 | |
| CN109541601A (zh) | 基于毫米波的障碍物识别系统及其检测方法 | |
| CN113627373A (zh) | 一种基于雷视融合探测的车辆识别方法 | |
| CN115690713A (zh) | 一种基于双目相机的雷视融合事件检测方法 | |
| CN103204104A (zh) | 一种车辆全视角驾驶监控系统及方法 | |
| Hussain et al. | Multiple objects tracking using radar for autonomous driving | |
| CN116699602A (zh) | 一种基于毫米波雷达和相机融合的目标检测系统及方法 | |
| CN114119955A (zh) | 一种潜在危险目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |