CN115082924A - 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 - Google Patents
一种基于单目视觉和雷达伪图像融合的三维目标检测方法 Download PDFInfo
- Publication number
- CN115082924A CN115082924A CN202210446524.8A CN202210446524A CN115082924A CN 115082924 A CN115082924 A CN 115082924A CN 202210446524 A CN202210446524 A CN 202210446524A CN 115082924 A CN115082924 A CN 115082924A
- Authority
- CN
- China
- Prior art keywords
- radar
- image
- point cloud
- radar point
- millimeter wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单目视觉和雷达伪图像融合的三维目标检测方法，包括步骤：获取单目视觉和毫米波雷达点云数据对图像进行语义分割获取目标的二维边框与像素点分类得分；对初始毫米波雷达点云数据进行预处理操作；基于雷达点云和图像语义分割信息生成语义雷达伪图像；将视觉图像和语义雷达伪图像分别输入到卷积神经网络中进行特征融合；将融合特征图输入到检测网络中回归得到三维目标信息。本发明将光学图像与毫米波雷达点云信息进行有效融合，在雷达信息中加入图像分割所得的语义信息在与视觉进行融合，解决雷达点云缺少纹理信息的问题，实现两种模态信息的优势互补，具有提高三维目标检测系统准确率和鲁棒性的优点。
Description
技术领域
本发明涉及雷达目标检测技术，特别涉及一种基于多模态融合的三维目标检测技术。
背景技术
雷达利用多普勒效应来精确估计所有被探测物体的速度，而不需要任何时间信息。此外，与激光雷达相比，雷达点云在用作目标检测结果之前需要较少的处理。虽然雷达能提供精确的距离和速度信息，但由于雷达的分辨率比较低，雷达并不擅长对物体进行分类，这使得雷达和其他传感器(如相机)的融合在自动驾驶领域成为一个值得研究的课题。
目前主流的融合算法聚焦于决策级、数据级和特征级。决策级融合首先需要各传感器根据自身的信息计算出目标的位置、速度以及分类结果，然后将处理后的目标信息进行融合。而数据级融合是指直接将获取的毫米波雷达回波数据和摄像头拍摄的图片进行拼接或结合，并经过共享的处理流程得到目标识别的结果。相较而言，特征级融合将原始信息映射到特征空间中，在特征维度实现融合。雷达点云信息一方面在进行特征级融合的特征提取过程中存在信息损失的问题，不能充分发挥传感器融合的优势。另一方面由于雷达点云的稀疏性，雷达特征并不适合与图像特征直接进行拼接，两者之间并没有充分融合。
发明内容
本发明所要解决的技术问题是，提出一种通过生成一种语义雷达伪图像使得毫米波雷达点云信息能与光学图像有效地融合从而完成三维目标检测的方法。
本发明为解决上述技术问题所采用的技术方案是，一种基于单目视觉和雷达伪图像融合的三维目标检测方法，包括以下步骤：
从毫米波雷达处获取初始毫米波雷达点云数据；同时，从光学相机处获取单目视觉图像；
对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据；同时，对单目视觉图像进行语义分割获取图像语义分割结果；图像语义分割结果包括目标的二维边框、像素级分割的掩码和每个像素的分类得分；
基于雷达点云数据和图像语义分割结果生成语义雷达伪图像；
将单目视觉图像和语义雷达伪图像进行特征提取与融合得到融合特征图；
将融合特征图输入到检测网络中得到三维目标信息；
其中，对初始毫米波雷达点云数据的预处理主要包括数据解析、空间同步、目标关联和雷达伪图像生成；
数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷达的径向运动速度在x与y方向的速度分量[vx,vy]，然后将毫米波雷达点云数据中的每个点表示为[x,y,z,vx,vy]；
以世界坐标系作为参照坐标系，分别获得光学相机和毫米波雷达的外参系数；使用张正友标定法获取光学相机的内参系数；通过外参系数和内参系数的联合标定对毫米波雷达和光学相机进行配准实现毫米波雷达和光学相机的空间同步；
将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上，再利用语义分割得到的掩码对已经投影到图像平面的雷达点云进行过滤，将投影到图像平面的雷达点云与掩码进行按位与操作，再保留下的非0的点云信息与单目视觉图像通过图像语义分割确定的目标进行匹配，从而实现两种模态信息的目标关联；
最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达点云数据，此时雷达点云的每个点表示为[x,y,d,vx,vy,s]，其中，x,y为雷达点云在空间中的三维位置信息中的x与y方向的值，vx,vy表示目标相对毫米波雷达的径向运动速度在x与y方向的速度分量，即纵向速度vx、横向速度vy， d代表相机坐标系下目标的深度，s为该像素点的分类得分。
进一步的，本发明的方法使用GrabCut算法对Mask R-CNN网络输出的像素级分割掩码进行改善，有效解决了Mask R-CNN网络分割结果存在的背景溢出问题。即，图像语义分割得到的像素级分割的掩码再通过GrabCut算法来去除掩码中多余的背景信息，最后将[0,1]掩码转换为[0,255]掩码。
本发明的有益效果是，通过生成雷达点云伪图像使得目标对象的点云信息与图像信息精确关联，能有效提取雷达点云中的信息并在在雷达点云信息中增加了语义信息，解决了毫米波雷达点云稀疏且缺少纹理信息的问题。注意力特征融合子网络将图像特征与雷达特征进行充分、有效的融合，对小目标有更高的检测率，提高了检测网络的鲁棒性和检测精度。
附图说明
图1为本发明的算法流程图；
图2为实施例多模态融合网络模型结构图；
图3为实施例注意力特征融合子网络结构图。
具体实施方式
为了使本发明的目的、技术方案及效果更加清楚易懂，下面结合附图和实施例，对本发明的技术方案作进一步详细描述，以下的具体实施例用于解释本发明，不用于限制本发明范围。
如图1所示，实施例提供了一种基于多模态融合的三维目标检测方法，包括如下步骤：
从毫米波雷达处获取初始毫米波雷达点云数据；同时，从光学相机处获取单目视觉图像；
对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据；同时，对单目视觉图像图像进行语义分割获取图像语义分割结果；
基于雷达点云数据和图像语义分割结果生成语义雷达伪图像；
将单目视觉图像和语义雷达伪图像进行特征提取与融合得到融合特征图；
将融合特征图输入到检测网络中得到三维目标信息。
实施例使用的基于Ubuntu系统和ROS软件环境分别编写的光学相机和毫米波雷达作为信息采集设备。使用ROS提供的时间同步器订阅原始的视觉图像数据和毫米波雷达点云数据，时间同步器将两种数据做时间近似同步处理后采用注册回调的方式发布视觉图像信息话题和毫米波雷达点云信息并保存。
对视觉图像进行语义分割时采用Mask R-CNN网络。图像语义分割结果包括目标的二维边框、像素级分割的掩码和每个像素的分类得分。在对Mask R-CNN 网络进行训练时，使用的数据集的目标分为车辆、行人、摩托车和背景4个类别。将数据集中的图片输入到预训练的Mask R-CNN网络中执行前向传递，获得图像中对象的边界框坐标、每个特定对象的像素级分割掩码以及每个像素的分类得分。再对图像中每个检测到的对象，提取其置信度并根据阈值过滤掉置信度低的目标，其中置信度阈值为0.7，对每一个置信度高于阈值的对象进行保留，并根据图像的原始尺寸恢复该对象边界框的真实坐标，然后确定边界框的宽度和高度信息。最后利用GrabCut算法对利用Mask R-CNN网络得到的掩码进行进一步的修改，首先将Mask R-CNN网络输出的掩码中所有大于0的值替换为3；其次将掩码输入至GrabCut算法，GrabCut算法迭代次数为10，用于去除掩码中多余的背景信息，GrabCut算法迭代完成后掩码数值包括0、1、2和3，分别代表“确定背景”、“确定前景”、“可能背景”和“可能前景”；然后将所有“确定背景”和“可能背景”像素设置为0，并将所有“确定前景”和“可能前景”像素设置为1，最后将掩码值从0,1转换为0,255。
对初始毫米波雷达点云数据的预处理主要包括数据解析、空间同步、目标关联和雷达伪图像生成操作。具体为，对点云文件中保存为二进制格式的毫米波雷达点云信息进行数据解析，获取点云在空间中的三维坐标信息以及目标相对毫米波雷达的径向运动速度在x与y方向的速度分量，然后将毫米波雷达点云数据中的每个点表示为[x,y,z,vx,vy]，其中[x,y,z]表示点云在空间中的三维位置信息， [vx,vy]表示目标相对毫米波雷达的径向运动速度在x与y方向的速度分量。以右手螺旋定则建立世界坐标系，以世界坐标系作为参照坐标系，确定外参系数中的旋转矩阵和平移矩阵，分别获得光学相机和毫米波雷达的外参系数；使用张正友标定法获取相机的内参系数，通过外参系数和内参系数的联合标定对毫米波雷达和光学相机进行精确配准，实现毫米波雷达和光学相机的空间同步；然后通过多次坐标变换将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上。再利用语义分割得到的掩码信息对已经投影到图像平面的毫米波雷达点云进行过滤，将投影到图像平面的毫米波雷达点云与掩码进行按位与操作，即删除掩码值为0处对应的毫米波雷达点云信息，保留下的掩码值为255的点云信息与图像中的目标进行匹配，实现两种模态信息的目标关联。最后将毫米波雷达点所在位置的像素点分类得分附加到雷达点上以获得语义雷达点云数据，此时雷达点云的每个点表示为[x,y,d,vx,vy,scar,spes,smcy,sback]，其中，x,y为雷达点云在空间中的三维位置信息中的x与y方向的值，vx,vy表示目标相对毫米波雷达的径向运动速度在x与y方向的速度分量，d代表相机坐标系下目标的深度， [scar,spes,smcy,sback]分别表示该像素点可能为汽车、行人、摩托车和背景的分数。
其中，从毫米波雷达坐标系到世界坐标系的转换公式如下：
xr、yr和zr为毫米波雷达坐标系下点云的三维坐标，xw、yw和zw为世界坐标系下雷达点云的三维坐标，Rr和Tr分别为从毫米波雷达坐标系到世界坐标系的平移矩阵和旋转矩阵。将世界坐标系和相机坐标系重合，此时相机坐标系下雷达点云的三维坐标与世界坐标系下的坐标相同，此时将雷达点云从相机坐标系下投影到图像平面的计算公式如下：
此时xw、yw和zw为相机坐标系下点云三维坐标，f为相机成像的焦距，相机的像素尺寸为dx和dy，为图像每个像素点在x和y方向上的物理尺寸，u0和v0分别表示像素坐标系下的中心坐标位置，Zc为归一化因子，u和v为该点在像素坐标系下的像素坐标。
具体的，实施例对预处理后的毫米波雷达点云信息进行特征提取生成语义雷达伪图像的步骤为：
毫米波雷达设备的最远探测距离为30米，此时采用直通滤波，删除深度超过30米的毫米波雷达点云，另外去除距离过近的毫米波雷达点云，删除深度小于0.5米的点云，然后按照距离从小到大对剩余的点云进行排序；提取直通滤波后的点云信息构建与视觉图像尺寸相同的三通道雷达伪图像，即，将每个点云信息中的纵向速度vx、横向速度,vy和深度d分别转换三个通道的像素值。最后在三通道雷达伪图像的基础上添加对一个分类类型额外添加通道，因为实施例中的目标分类为4，因此额外增加4个通道，在直通滤波后的点云信息中以点云所在位置为中心绘制矩形框，其中矩形的宽为5，高为13，然后在每个矩形框范围内填充雷达点云的信息，矩形框范围内的像素值与矩形边界的值相同，矩形框范围外各通道像素值均填充为0，另外由于深度小的点云更加靠近传感器，因此当矩形框出现重叠时，提取深度更小的点云作为该位置的像素值，最后在点云矩形框范围内填充对应雷达点携带的像素点分类得分，类别包括汽车、行人、摩托车和背景。此时完成语义雷达伪图像的生成工作。
具体将每个点云信息中的纵向速度vx、横向速度,vy和深度d分别转换三个通道的像素值时使用的统一转化方程如下：
fc＝αc·xc+βc
其中c的取值为纵向速度vx、横向速度vy或深度d，fc代表相机坐标系下纵向速度vx、横向速度vy或深度d经转换后在雷达三通道图像中像素值fvx，fvy，fd，αc为归一化化因子，βc为修正值具体大小为127。则
如图2所示为基于单目视觉图像和雷达伪图像的三维检测网络模型结构，该特征提取与融合模型包括图像特征提取模块DLA-Stem、融合特征提取模块 Modified DLA-34、第一雷达特征提取模块Res-Stem、第二雷达特征提取模块 Modified ResNet-50、第一注意力特征融合子网络Fusion_1和第二注意力特征融合子网络Fusion_2。其中图像特征提取模块和融合特征提取模块Modified基于 DLA-34网络进行修改；DLA-Stem接收单目视觉图像输出图像特征IF_1至 Fusion_1，Res-Stem接收雷达伪图像输出雷达特征RF_1至Fusion_1和Modified ResNet-50；Fusion_1输出融合特征IFR_2至Modified DLA-34，Modified DLA-34 输出融合特征IFR_2至Fusion_2，Modified ResNet-50输出雷达特征RF_2至 Fusion_2；Fusion_2输出融合特征IFR_3至DLAUp+IDAUp结构的检测部分，由进行DLAUp和IDAUp的上采样后利用分支卷积网络得到目标的类别、位置、三维包围框和速度。
第一雷达特征提取模块和第二雷达特征提取模块基于ResNet-50网络进行修改；第一注意力特征融合子网络和第二注意力特征融合子网络结构相同，包括 1×1卷积注意力权重生成单元、3×3卷积注意力权重生成单元、权重合成单元、融合特征生成单元。
三维检测网络模型的工作步骤具体如下：
1)图像特征提取模块与第一雷达特征提取模块分别接收时间同步的视觉图像和雷达伪图像，其中视觉图像的大小为1×3×512×512，雷达伪图像的大小为 1×7×512×512；
2)将图像数据输入到图像特征提取模块得到图像特征IF_1，将语义雷达伪图像输入到第一雷达特征提取模块得到雷达特征RF_1，输出的图像特征IF_1和雷达特征RF_1的大小均为1×64×128×128。
3)将图像特征IF_1和雷达特征RF_1输入到第一注意力特征融合子网络，注意力特征融合子网络的结构如图3所示，包含两个注意力权重生成单元，其中第一个卷积层Conv 1×1的卷积核大小为1×1×64×1，步长为(1,1),填充为(0,0)；第二个卷积层Conv 3×3的卷积核大小为3×3×64×1，步长为(1,1)，填充为(1,1)，分别对雷达特征图进行权重提取后得到两个大小为1×1×128×128的注意力权重并将权重矩阵相加。然后将权重与图像特征图相乘再与原来的图像特征图相加得到融合特征IRF_1。
4)将融合特征图融合特征IRF_1输入到融合特征提取模块得到融合特征 IRF_2，将雷达特征RF_1输入到第二雷达特征提取模块得到雷达特征RF_2，输出的图像特征IRF_2和雷达特征RF_2的大小均为1×2048×16×16。
5)将融合特征IRF_2和雷达特征RF_2输入到第二注意力特征融合子网络得到融合特征IRF_3，融合过程与第一注意力特征融合子网络相似，得到的融合特征IRF_3大小为1×2048×16×16。
6)将融合特征图IRF_3输入到检测网络中回归得到三维目标信息。将特征图3上采样8倍后，具体使用Deconv反卷积模块对特征图进行三次反卷积操作，得到大小为1×2048×128×128的特征图，然后将特征图分别输入到不同的回归网络当中，此时得到回归网络输出的信息为向量形式，对回归网络输出的向量信息进行解码，最终得到目标的类别、位置、三维包围框和速度等信息。
在本发明特别适用于智能化社会的背景下的无人自主感知技术。比如，智慧交通和智能车领域。基于多模态融合目标检测技术是未来无人驾驶发展的必然趋势，单一类型的传感器由于自身的局限性，导致目标跟踪的精度有限。虽然基于单一类型传感器的感知技术已经部分应用于无人驾驶领域，但采用多传感器信息融合的方法才能完全满足实际环境下的自动驾驶要求。本发明方案中，视觉相机以像素强度的形式提供详细信息，在更大的程度上提供系统周围环境详细的纹理信息。雷达与光学相机的融合系统可以为自动驾驶场景中所有探测到的目标提供有价值的深度信息，同时降低了使用激光雷达点云进行三维目标检测极高的计算成本和价格成本。
下面结合实验进一步说明本发明的益处。
1.实验条件：
本发明运行的硬件平台为Intel Xeon Silver 4214R+NVIDIA RTX3090+16G DDR4RAM，软件环境为CentOS 7.4+CUDA 11.1+PyTorch 1.7+Python 3.7，使用 PyCharm开发工具进行算法开发工作。
2.实验内容：
实验中使用的数据集为自制数据集，使用1080P高清摄像头采集视觉图像数据，使用TI IWR6843毫米波雷达采集毫米波雷达点云数据，数据集评估指标为基于nuScenes数据集制定的mAP、mATE和mAVE三种评估指标。
为了证明本发明的有效性，选择与单纯基于视觉图像的CenterNet基线模型进行对比，CenterNet网络在文献“Objects as Points”中有详细介绍。
表1：本发明与CenterNet模型结果对比
由表1可知，本发明与基线网络CenterNet相比有更高的目标检测率，当雷达伪图像不包含语义信息时mAP值高于CenterNet网络0.052，提高9.2％，当雷达伪图像包含语义信息时mAP值提高了16.3％，说明语义信息的加入有助于目标类别的预测。本发明的平均偏移误差和平均速度误差与CenterNet相比均有大幅降低，当使用包含语义信息的雷达伪图像时，平均偏移误差降低了19.4％，平均速度误差降低了73.6％，由于加入了雷达点云的深度和速度信息，本发明相比视觉图像能够更加精准地预测目标运动的位置和速度。
综上所述，本申请实施例提供了一种基于单目视觉和雷达伪图像融合的三维目标检测方法。该三维目标检测方法使用经时间配准后的视觉图像与毫米波雷达点云数据作为输入，首先对视觉图像进行语义分割获取目标二维边框与各像素点的分类得分，对毫米波雷达点云数据进行滤波、坐标转换、数据解析和目标关联等预处理操作，然后基于预处理后的雷达点云信息生成语义雷达伪图像，将光学图像和语义雷达伪图像分别输入到特征提取与融合中进行特征融合，最后将融合特征图输入到回归网络中并解码得到三维目标。使用该检测方法的三维目标检测系统能够更加有效地融合光学图像与毫米波雷达点云信息，对小目标有更高的检测率，具有更高的检测精度和鲁棒性。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非对其进行限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于单目视觉和雷达伪图像融合的三维目标检测方法，其特征在于，包括以下步骤：
从毫米波雷达处获取初始毫米波雷达点云数据；同时，从光学相机处获取单目视觉图像；
对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据；同时，对单目视觉图像进行语义分割获取图像语义分割结果；图像语义分割结果包括目标的二维边框、像素级分割的掩码和每个像素的分类得分；
基于雷达点云数据和图像语义分割结果生成语义雷达伪图像；
将单目视觉图像和语义雷达伪图像进行特征提取与融合得到融合特征图；
将融合特征图输入到检测网络中得到三维目标信息；
其中，对初始毫米波雷达点云数据的预处理主要包括数据解析、空间同步、目标关联和雷达伪图像生成；
数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷达的径向运动速度在x与y方向的速度分量[vx,vy]，然后将毫米波雷达点云数据中的每个点表示为[x,y,z,vx,vy]；
以世界坐标系作为参照坐标系，分别获得光学相机和毫米波雷达的外参系数；使用张正友标定法获取光学相机的内参系数；通过外参系数和内参系数的联合标定对毫米波雷达和光学相机进行配准实现毫米波雷达和光学相机的空间同步；
将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上，再利用语义分割得到的掩码对已经投影到图像平面的雷达点云进行过滤，将投影到图像平面的雷达点云与掩码进行按位与操作，再保留下的非0的点云信息与单目视觉图像通过图像语义分割确定的目标进行匹配，从而完成关联；
最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达点云数据，此时雷达点云的每个点表示为[x,y,d,vx,vy,s]，其中，x,y为雷达点云在空间中的三维位置信息中的x与y方向的值，vx,vy表示目标相对毫米波雷达的径向运动速度在x与y方向的速度分量，即纵向速度vx、横向速度vy，d代表相机坐标系下目标的深度，s为该像素点的分类得分。
2.根据权利要求1所述方法，其特征在于，图像语义分割得到的像素级分割的掩码再通过GrabCut算法来去除掩码中多余的背景信息，最后将[0,1]掩码转换为[0,255]掩码。
3.根据权利要求1所述方法，其特征在于，基于雷达点云数据和图像语义分割结果生成语义雷达伪图像的具体步骤为：
先通过直通滤波删除深度超过最远探测距离以及小于预设过近阈值的雷达点云，再对按照距离从小到大对雷达点云进行排序，将每个雷达点云中的纵向速度vx、横向速度vy和深度d分别转换三个通道的像素值与视觉图像尺寸相同的三通道雷达伪图像；再在三通道雷达伪图像的基础上添加与分类类型数量一致的通道形成语义雷达伪图像，其中每个添加的通道包含了雷达点云对应像素点在该分类类型上的分类得分。
4.根据权利要求3所述方法，其特征在于，添加与分类类型数量一致的通道的具体方法为：
在直通滤波后的雷达点云中以其所在位置为中心绘制矩形框，在每个矩形框范围内填充该雷达点云的信息，矩形框范围内的像素值与矩形边界的值相同，矩形框范围外像素值均填充为0，当矩形框出现重叠时，提取深度更小的雷达点云作为该位置的像素值，最后在矩形框范围内填充对应雷达雷达点云携带的像素点分类得分。
5.根据权利要求3所述方法，其特征在于，将每个雷达点云中的纵向速度vx、横向速度vy和深度d分别转换三个通道的像素值的方法为：
fc＝αc·xc+βc
其中c的取值为纵向速度vx、横向速度vy或深度d，fc代表相机坐标系下纵向速度vx、横向速度vy或深度d经转换后在雷达三通道图像中像素值fvx，fvy，fd，αc为归一化化因子，βc为修正值。
6.根据权利要求5所述方法，其特征在于，βc为127，计算fvx，fvy，fd所对应的归一化化因子αc分别为：
7.根据权利要求3所述方法，其特征在于，最远探测距离为30米，过近阈值为0.5米。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210446524.8A CN115082924B (zh) | 2022-04-26 | 2022-04-26 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210446524.8A CN115082924B (zh) | 2022-04-26 | 2022-04-26 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082924A true CN115082924A (zh) | 2022-09-20 |
| CN115082924B CN115082924B (zh) | 2024-03-29 |
Family
ID=83247116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210446524.8A Active CN115082924B (zh) | 2022-04-26 | 2022-04-26 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082924B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546519A (zh) * | 2022-12-05 | 2022-12-30 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115858704A (zh) * | 2022-11-25 | 2023-03-28 | 长江三峡集团福建能源投资有限公司 | 陆地区掩码过滤方法、系统及装置 |
| CN116363615A (zh) * | 2023-03-27 | 2023-06-30 | 小米汽车科技有限公司 | 数据融合方法、装置、车辆和存储介质 |
| CN116466307A (zh) * | 2023-03-22 | 2023-07-21 | 之江实验室 | 一种基于深度图的毫米波雷达点云仿真的方法和装置 |
| CN116862922A (zh) * | 2023-06-20 | 2023-10-10 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN116908852A (zh) * | 2023-09-06 | 2023-10-20 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
| CN117079117A (zh) * | 2023-09-13 | 2023-11-17 | 中国电子科技集团公司第十五研究所 | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 |
| CN117523568A (zh) * | 2024-01-08 | 2024-02-06 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817488A (zh) * | 2017-09-28 | 2018-03-20 | 西安电子科技大学昆山创新研究院 | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 |
| CN109917347A (zh) * | 2019-04-10 | 2019-06-21 | 电子科技大学 | 一种基于时频域稀疏重构的雷达行人检测方法 |
| US20200140241A1 (en) * | 2018-11-07 | 2020-05-07 | Shanghai Tusen Weilai Artificial Intelligence Technology Co., Ltd. | System and method for controlling mobile hoisting apparatus, server and mobile hoisting apparatus |
| CN113052066A (zh) * | 2021-03-24 | 2021-06-29 | 中国科学技术大学 | 三维目标检测中基于多视图和图像分割的多模态融合方法 |
| CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
| CN113156421A (zh) * | 2021-04-07 | 2021-07-23 | 南京邮电大学 | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 |
| CN113506372A (zh) * | 2021-07-26 | 2021-10-15 | 西北工业大学 | 一种环境重建方法及装置 |
| CN113947665A (zh) * | 2021-09-14 | 2022-01-18 | 广西大学 | 一种基于多线激光雷达和单目视觉的球形绿篱修剪机的建图方法 |
| CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
-
2022
- 2022-04-26 CN CN202210446524.8A patent/CN115082924B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817488A (zh) * | 2017-09-28 | 2018-03-20 | 西安电子科技大学昆山创新研究院 | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 |
| US20200140241A1 (en) * | 2018-11-07 | 2020-05-07 | Shanghai Tusen Weilai Artificial Intelligence Technology Co., Ltd. | System and method for controlling mobile hoisting apparatus, server and mobile hoisting apparatus |
| CN109917347A (zh) * | 2019-04-10 | 2019-06-21 | 电子科技大学 | 一种基于时频域稀疏重构的雷达行人检测方法 |
| CN113052066A (zh) * | 2021-03-24 | 2021-06-29 | 中国科学技术大学 | 三维目标检测中基于多视图和图像分割的多模态融合方法 |
| CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
| CN113156421A (zh) * | 2021-04-07 | 2021-07-23 | 南京邮电大学 | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 |
| CN113506372A (zh) * | 2021-07-26 | 2021-10-15 | 西北工业大学 | 一种环境重建方法及装置 |
| CN113947665A (zh) * | 2021-09-14 | 2022-01-18 | 广西大学 | 一种基于多线激光雷达和单目视觉的球形绿篱修剪机的建图方法 |
| CN114114312A (zh) * | 2021-11-24 | 2022-03-01 | 重庆邮电大学 | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| TAO WANG等: "Integrating Millimeter Wave Radar with a Monocular Vision Sensor for On-Road Obstacle Detection Applications", 《PHYSICAL SENSORS》, 21 September 2011 (2011-09-21) * |
| ZHANGJING WANG等: "Research of Target Detection and Classification Techniques Using Millimeter-Wave Radar and Vision Sensors", 《REMOTE SENS》, 11 March 2021 (2021-03-11) * |
| 王宇岚;孙韶媛;刘致驿;卜德飞;: "基于多视角融合的夜间无人车三维目标检测", 应用光学, no. 02, 15 March 2020 (2020-03-15) * |
| 黄振: "基于多模态融合的三维目标检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2023 (2023-01-15), pages 138 - 2173 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858704B (zh) * | 2022-11-25 | 2023-10-03 | 长江三峡集团福建能源投资有限公司 | 陆地区掩码过滤方法、系统及装置 |
| CN115858704A (zh) * | 2022-11-25 | 2023-03-28 | 长江三峡集团福建能源投资有限公司 | 陆地区掩码过滤方法、系统及装置 |
| CN115546519B (zh) * | 2022-12-05 | 2023-03-24 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN115546519A (zh) * | 2022-12-05 | 2022-12-30 | 深圳佑驾创新科技有限公司 | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 |
| CN116466307B (zh) * | 2023-03-22 | 2023-11-17 | 之江实验室 | 一种基于深度图的毫米波雷达点云仿真的方法和装置 |
| CN116466307A (zh) * | 2023-03-22 | 2023-07-21 | 之江实验室 | 一种基于深度图的毫米波雷达点云仿真的方法和装置 |
| CN116363615A (zh) * | 2023-03-27 | 2023-06-30 | 小米汽车科技有限公司 | 数据融合方法、装置、车辆和存储介质 |
| CN116363615B (zh) * | 2023-03-27 | 2024-02-23 | 小米汽车科技有限公司 | 数据融合方法、装置、车辆和存储介质 |
| CN116862922A (zh) * | 2023-06-20 | 2023-10-10 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN116862922B (zh) * | 2023-06-20 | 2024-03-19 | 运来智能装备(无锡)有限公司 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
| CN116908852A (zh) * | 2023-09-06 | 2023-10-20 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
| CN116908852B (zh) * | 2023-09-06 | 2023-12-08 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
| CN117079117A (zh) * | 2023-09-13 | 2023-11-17 | 中国电子科技集团公司第十五研究所 | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 |
| CN117079117B (zh) * | 2023-09-13 | 2024-04-16 | 中国电子科技集团公司第十五研究所 | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 |
| CN117523568A (zh) * | 2024-01-08 | 2024-02-06 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
| CN117523568B (zh) * | 2024-01-08 | 2024-03-29 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082924B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082924B (zh) | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 | |
| CN114708585B (zh) | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN111563415B (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| CN111209825B (zh) | 一种用于动态目标3d检测的方法和装置 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN113111887A (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN113743391A (zh) | 应用于低速自主驾驶机器人的三维障碍物检测系统与方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN113781562A (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| CN114114312A (zh) | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 | |
| CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN116486368A (zh) | 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法 | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| Dimitrievski et al. | Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN114298151A (zh) | 一种基于点云数据与图像数据融合的3d目标检测方法 | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
| CN116343165A (zh) | 一种3d目标检测系统、方法、终端设备及存储介质 | |
| CN114898144A (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN112329678B (zh) | 一种基于信息融合的单目行人3d定位的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |