CN114818819A - 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 - Google Patents
一种基于毫米波雷达与视觉信号的道路障碍物检测方法 Download PDFInfo
- Publication number
- CN114818819A CN114818819A CN202210493558.2A CN202210493558A CN114818819A CN 114818819 A CN114818819 A CN 114818819A CN 202210493558 A CN202210493558 A CN 202210493558A CN 114818819 A CN114818819 A CN 114818819A
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave radar
- visual
- target
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 230000000007 visual effect Effects 0.000 title claims abstract description 84
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。本发明实现了多模态细粒度障碍物检测，相比传统单模态方法具有精确度与运行效率上的优势，具备高度实用价值。
Description
技术领域
本发明属于人工智能与机器学习技术领域，涉及卷积神经网络与知识库技术，具体为一种基于毫米波雷达与视觉信号的道路障碍物检测方法。
背景技术
随着人工智能科技发展，自动驾驶技术开始越来越多的进入人们的视野。自动驾驶集成了自动控制，智能环境感知，最优化等众多技术于一体，是人工智能高度发展的产物。其中，智能环境感知在自动驾驶技术中地位尤其重要，感知障碍物为车辆控制规划提供了重要依据。只有实时精准的障碍物感知与检测，才能使得自动行驶的汽车有效避开障碍物，避免产生碰撞等安全事故，保证了自动驾驶的安全性能。
现阶段的障碍物感知主要基于光学传感器、视觉传感器或毫米波雷达传感器。
光学传感器采用在车身安装光学测距仪器，对车身周边方向进行距离检测。其缺点在于尽可获取距离信息而没有具体类别信息。且测距装置为固定装置，仅可感知固定方向，可靠性较低。此外还具有仪器暴露在车外部易损坏等问题。
雷达检测是从目标的雷达信号回波特征中提取能反映目标属性信息的特征，由机器根据一定的判别准则对目标做出类别或型号判决。毫米波近程探测雷达由于体积小、质量轻、易于高度集成化，而且频带宽、分辨率高，抗干扰性能强并具有较好的全天候工作能力，具有广泛的应用场景。然而，自动驾驶应用的道路场景目标分布密集、数量庞大、种类繁杂、运动状态多样多变、杂波干扰复杂等因素严重降低了目标特征提取的鲁棒性；毫米波雷达目标特性数据不完备、可信度低，人工设计的识别特征复杂环境、适应性差等问题进一步限制了目标识别算法的工程推广能力和性能提升。杂波环境的复杂性、目标识别自身技术瓶颈等众多问题，使得毫米波雷达检测单独应用于自动驾驶场景存在较大难度。
另一种常用的方法是基于视觉方法车辆周边进行目标检测。基于视觉的目标检测方法的研究主要集中于检测算法的优化以及性能提升等方面，以求对目标更准确更高效的识别。然而，在实际应用场景下，视觉的目标检测方法难以获得目标的准确位置等信息，且容易受到光照，天气等影响视觉图像的干扰因素。
发明内容
本发明要解决的问题是：现有技术在环境感知障碍物检测上以单一信号源为主，无法避免由于传感器信号的局限性造成的识别精准度低，无法有效监测到目标等问题，无法满足实际复杂道路场景的监测需要。
本发明的技术方案为：一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。
进一步的，先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。
进一步的，本发明具体包括以下步骤：
1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；
2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；
3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；
4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edgebox似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；
5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；
6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；
7)对融合后的特征进行分类与回归预测，得到检测结果；
8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；
9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。
本发明还提供一种基于毫米波雷达与视觉信号的道路障碍物检测装置，装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序，所述计算机程序被执行时实现上述道路障碍物检测方法。
本发明精准高效的利用毫米波雷达传感器信息与视觉传感器信息检测道路障碍物目标，包含了异源信号同步匹配技术、毫米波雷达信号映射技术、似物性估计技术、图像特征提取技术、特征金字塔特征融合技术、图像特征目标检测技术以及尺度估计技术。
本发明的有益效果是：提供高效而精准的障碍物检测识别技术。相比现有技术具有如下优点。
(1)本发明包含了基于深度学习的计算机视觉目标检测功能，提取了传感器数据的语义信息，有效提升了目标检测的精确度与效率。
(2)本发明还结合了毫米波雷达传感器信号，提升了在异常环境下如雨雪天气等导致视觉图像效果不佳时系统的稳定性，且更全面的覆盖了视觉检测中容易被忽略的远距离目标。
(3)本发明的结构还可以拓展为其他类型的检测，如道路行车检测，人员流动检测等，具有极强的泛化能力与广阔的市场应用前景。
附图说明
图1为本发明的整体流程图。
图2为毫米波雷达杂波过滤流程图。
具体实施方式
本发明提出一种基于毫米波雷达与视觉信号的道路障碍物检测方法，结合了毫米波雷达与视觉视觉信号两种模态信号，用于识别道路障碍物。本发明方法的总体流程图如图1所示。本发明的技术方案具体包含如下步骤：
(1)输入毫米波雷达传感器报文信号流与视觉图像信号流，对于异源的两种输入流，依据其报文时间戳对两种输入进行同步匹配。
分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程所读取的视频帧以其时间戳为键保存在数据结构字典中，与此同时毫米波雷达报文读取线程读取最新的毫米波雷达报文，使用读取的毫米波雷达报文时间戳索引存储视觉图像的字典，若成功索引，则将这一组报文与视觉图像匹配进行后续处理，若未能成功索引，则将其时间戳与字典中最早，最晚的时间戳进行对比。若毫米波雷达报文时间戳早与最早的视觉数据，则令视觉图像读取线程休眠，直至毫米波雷达报文读取至与图像数据同一时刻；类似的，若毫米波雷达报文晚于最晚的视觉数据，则令毫米波雷达报文读取线程休眠，直至视觉图像数据读取至同一时刻。
图像读取线程中会保存最多2分钟的视觉信号，随着新数据的不断读入，会按照时间顺序清除最陈旧的数据。设置为2分钟的原因是由于多线程执行具有不确定性，建立缓冲窗口，避免了由于线程调度问题造成数据无法匹配。
(2)取一组毫米波雷达信号和视觉图像信号。其中毫米波雷达信号为某一时刻毫米波雷达检测结果，视觉图像信号为同一时刻的车载图像采集装置监测画面。将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点。
毫米波雷达信号与视觉图像信号映射本质上是现实坐标系与像素坐标系的转换，需要先将现实坐标系转换为图像坐标系，再将图像坐标系转换为像素坐标系。像素坐标系指以视觉图像信号的图像左上角为原点，u轴向右，v轴向下；图像坐标系指以图像中心为原点，x轴向右，y轴向下。像素坐标系和图像坐标系的转换关系为：
其中u0,v0为图像坐标系的原点在像素坐标系中的坐标，u,v为目标点在像素坐标系中的坐标，x,y为目标点在图像坐标系中的坐标。dx表示每个像素沿着x轴的实际物理尺寸；dy表示每个像素沿着y轴的实际物理尺寸。
上式用齐次坐标表示为：
图像坐标系和现实坐标系的对应具有以下转换关系：
其中，f为相机焦距，Xc,Yc,Zc为目标位置在现实坐标系的x,y,z轴坐标。
结合上式，像素坐标系和现实坐标系的转换关系如下：
其中,
是相机的内参矩阵，由相机自身决定，用MC表示，则上式可表示为：
由此可以得到现实坐标系与像素坐标系的坐标转化公式。毫米波雷达传感器提供的信号为目标的现实坐标，根据该式将毫米波雷达检测信号的转化为像素坐标映射与视觉图像图像上。
(3)对步骤2中得到的毫米波雷达检测结果映射点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计。
Edge box方法是基于图像中目标边缘所产生的轮廓信息，计算框内包含的以及与框边缘重叠的轮廓个数，如果目标框内包含的轮廓信息越多，则该框包含目标的可能性也越大，然后对所有的潜在目标框打分排序，实现目标区域的粗略估计。在现有的似物性估计方法中，Edge Boxes能够较好的检测出多种形状的物体，具有一定的尺度自适应性，并且具有较高的运算速度。
根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波。保留Edgebox似物性较高的毫米波雷达检测点，而似物性较低的检测点视为无关杂波，对该部分杂波进行过滤。
(4)对滤波后的毫米波雷达信号目标位置，进行局部特征提取。
局部特征提取通过目标大小进行逆推得到视觉信号中的像素尺寸，截取该部分局部图像信号进行特征提取。
对障碍物的像素尺度估计依据相机内外参、毫米波雷达测量的目标距离和方位、预期目标实际大小共同得出。首先，视觉图像图片的每个像素值由相机视觉传感器上对应位置的光照强度得出，设视觉传感器宽高分别为Ws,Hs，目标在图片的像素宽高为wp,hp，图片分辨率为Wp,Hp。则有
其中ws,hs为目标在视觉传感器上成像的宽高。之后，由毫米波雷达测量的目标距离和方位，可得目标到相机过镜头一点与光轴的垂线的垂直距离d，根据透视原理，由焦距f，可得
其中wt,ht为目标实际的宽高。根据采样统计，希望检测的目标长宽集中分布在2米以内。根据上式令wt＝2,ht＝2，由毫米波雷达检测的距离，可以求出目标在视觉信号上的像素尺度。以检测点为中心，ws,hs为长宽，截取局部图像，输入后续的目标检测神经网络。
特征提取采用了CSP-Darknet，该网络主要由CBL模块与CSP模块组成。CBL模块即为卷积神经网络结构中最常用的卷积层加批标准化层加激活函数层，这里激活函数使用了Leaky Relu。该网络输入为毫米波雷达信号目标位置所在区域的局部图像，经过多个卷积层计算，在网络的不同深度截取不同尺度的特征输出。
(5)对步骤输出的三种特征进行特征金字塔特征融合。
特征融合是指将卷积神经网络不同深度的特征输出进行融合，使得浅层特征融入更多深层的语义信息，深层特征融入更多的浅层位置信息。多尺度特征融合部分采用了特征金字塔的结构，将上一级提取的特征通过双线性插值上采样，以及卷积神经网络下采样，划分到3个不同尺度。对于较大尺度的特征，其特征中心划分较细，用于预测图像中较小的物体，而对于小尺度的特征，特征中心稀疏，且感受野足够大，用于预测图像中较大尺度的物体。特征金字塔结构之间的侧连接，也保证了深层语义信息与浅层位置信息的融合，提升了后续预测分支对于目标分类预测与位置回归的精准度。此外，在自顶向下特征金字塔的后面还添加了一个自底向上的特征金字塔。其中包含两个PAN结构。PAN结构采用了卷积层进行二次下采样。这样结合操作，特征金字塔自顶向下传达强语义特征，而PAN则自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。
(6)对特征进行分类与回归预测，得到检测结果。
对于特征融合后的多个尺度特征的每个像素位置经过卷积层降维，将特征进一步抽象化，分别传入分类预测分支与检测框位置回归分支。分类分支负责预测该像素位置可能的物体类别，在本发明中，根据预先训练好的分类网络计算各个类别的置信度，输出该位置置信度最高的类别。可识别的类别包含行人，自行车，汽车，卡池，路灯，狗，灯牌等大量可能出现在道路的物体类别。检测框位置回归预测检测框基于像素位置的长宽以及偏移，由预测结果，结合特征尺度与像素位置信息，可以计算出检测框的像素坐标。
(7)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制。
步骤7中得出的检测框坐标是基于每个毫米波雷达映射点的局部图像。因此在得到所有映射点的检测结果后，需将检测框坐标转化为视觉图像原图中的像素坐标。转化方式为局部像素坐标的x,y坐标分别加上局部图像左上角在原图中的x,y像素坐标。完成转化后得到了原图中的一系列检测框像素坐标，其中包含了大量重复检测。为了去除重复检测，需对结果进行非极大值抑制。具体方法为根据分类置信度降序排序，若某个检测框与排序在其之前的另一个检测框重合比例高于固定阈值，则将其从检测结果中去除。
(8)将预测类别，置信度，位置，尺度估计结果等信息进行标准格式化，依照置信度降序输出。
本发明上述方法通过计算机程序实现，提供一种基于毫米波雷达与视觉图像信号的道路障碍物检测装置，装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序实现上述检测方法，所计算机程序按功能模块划分包含了信号预处理模块，杂波过滤模块，模态映射模块与多模态检测模块。其中信号预处理模块用于将毫米波雷达信号预处理，从毫米波雷达报文转化为目标点位置的形式，并与视觉信号进行时间同步；模态映射模块将毫米波雷达目标点映射于视觉信号之上，实现两种模态的融合；杂波过滤模块用于似物性判断，过滤毫米波雷达信号中由环境噪声产生的杂波；多模态检测模块对映射到视觉传感器采集的图像信息上的毫米波雷达信息进行目标检测；尺度估计模块对于检测结果进行尺度估计，细化障碍物信息。
Claims (7)
1.一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。
2.根据权利要求1所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。
3.根据权利要求2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是具体包括以下步骤：
1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；
2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；
3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；
4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edge box似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；
5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；
6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；
7)对融合后的特征进行分类与回归预测，得到检测结果；
8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；
9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。
4.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是将毫米波雷达信号与视觉图像信号进行时间同步时，采用的多线程异源数据同步匹配，具体为：分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程所读取的视频帧以其时间戳为键保存在数据结构字典中，与此同时毫米波雷达报文读取线程读取最新的毫米波雷达报文，使用读取的毫米波雷达报文时间戳索引存储视觉图像的字典，若成功索引，则将这一组报文与视觉图像匹配进行后续处理，若未能成功索引，则将其时间戳与字典中最早，最晚的时间戳进行对比。若毫米波雷达报文时间戳早与最早的视觉数据，则令视觉图像读取线程休眠，直至毫米波雷达报文读取至与图像数据同一时刻；类似的，若毫米波雷达报文晚于最晚的视觉数据，则令毫米波雷达报文读取线程休眠，直至视觉图像数据读取至同一时刻。
5.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是毫米波雷达目标点映射到视觉图像信号上具体为：
其中Xc,Yc,Zc为毫米波雷达目标点在现实坐标系的x,y,z轴坐标，MC为视觉传感器内参矩阵，由视觉传感器自身性质决定，u,v为目标点在像素坐标系中的坐标。
6.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是采用自适应局部视觉信号提取进行目标检测，具体方法如下：
其中wt,ht为目标实际的宽高,ws,hs为目标在视觉传感器上成像的宽高,d为目标到视觉传感器过镜头一点与光轴的垂线的垂直距离，f为视觉传感器焦距，根据上式得出图像中的尺度与现实的目标长宽的对应关系，检测的目标长宽集中分布在n米以内，则令wt＝n,ht＝n，由毫米波雷达检测的距离，求出目标在视觉信号上的像素尺度,以检测的目标点为中心，ws,hs为长宽，截取局部图像，输入后续的目标检测神经网络进行目标检测。
7.一种基于毫米波雷达与视觉信号的道路障碍物检测装置，其特征是装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序，所述计算机程序被执行时实现权利要求1-6任一项所述的道路障碍物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210493558.2A CN114818819A (zh) | 2022-05-07 | 2022-05-07 | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210493558.2A CN114818819A (zh) | 2022-05-07 | 2022-05-07 | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114818819A true CN114818819A (zh) | 2022-07-29 |
Family
ID=82510809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210493558.2A Pending CN114818819A (zh) | 2022-05-07 | 2022-05-07 | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114818819A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| KR102617591B1 (ko) * | 2023-07-10 | 2023-12-27 | 메타빌드 주식회사 | 인공지능 기반 영상 센서와 레이더 센서를 이용한 스마트객체 정보 정합 시스템 및 방법 |
-
2022
- 2022-05-07 CN CN202210493558.2A patent/CN114818819A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| KR102617591B1 (ko) * | 2023-07-10 | 2023-12-27 | 메타빌드 주식회사 | 인공지능 기반 영상 센서와 레이더 센서를 이용한 스마트객체 정보 정합 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
| CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
| CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
| CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN102867417B (zh) | 一种出租车防伪系统及方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN114818819A (zh) | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 | |
| CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
| CN115943439A (zh) | 一种基于雷视融合的多目标车辆检测及重识别方法 | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| Fu et al. | A camera–radar fusion method based on edge computing | |
| Chiu et al. | Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking. | |
| CN112487919A (zh) | 一种基于相机与激光雷达的3d目标检测与跟踪方法 | |
| CN113568002A (zh) | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN114898296A (zh) | 基于毫米波雷达与视觉融合的公交车道占用检测方法 | |
| CN112699267B (zh) | 车辆车型的识别方法 | |
| CN102975659A (zh) | 基于远红外图像的汽车夜间行驶预警系统及方法 | |
| Bi et al. | A new method of target detection based on autonomous radar and camera data fusion | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
| CN116699602A (zh) | 一种基于毫米波雷达和相机融合的目标检测系统及方法 | |
| CN118397877A (zh) | 公路安全防护用智能预警与防撞系统及方法 | |
| Li et al. | Composition and application of current advanced driving assistance system: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |