CN112835037A - 一种基于视觉和毫米波融合的全天候目标检测方法 - Google Patents

一种基于视觉和毫米波融合的全天候目标检测方法 Download PDF

Info

Publication number
CN112835037A
CN112835037A CN202011595732.1A CN202011595732A CN112835037A CN 112835037 A CN112835037 A CN 112835037A CN 202011595732 A CN202011595732 A CN 202011595732A CN 112835037 A CN112835037 A CN 112835037A
Authority
CN
China
Prior art keywords
feature
fusion
point cloud
unit
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011595732.1A
Other languages
English (en)
Other versions
CN112835037B (zh
Inventor
张新钰
刘华平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011595732.1A priority Critical patent/CN112835037B/zh
Publication of CN112835037A publication Critical patent/CN112835037A/zh
Application granted granted Critical
Priority to US17/543,777 priority patent/US11380089B1/en
Publication of CN112835037B publication Critical patent/CN112835037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明公开了一种基于视觉与毫米波融合的全天候目标检测方法，所述方法包括：使用车载相机和毫米波雷达两种传感器，同时采集连续的图像数据和点云数据；对图像数据和点云数据进行预处理；使用预先建立的融合模型对预处理后图像数据和点云数据进行融合，输出融合后的特征图；将融合后的特征图输入YOLOv5的检测网络进行检测，采用非极大值抑制输出目标检测结果。本发明的方法充分将毫米波雷达回波强度、距离信息和车载相机图像进行融合，通过分析毫米波雷达点云不同的特征，用不同的特征提取结构和方式与图像信息进行融合，使两种传感器数据优势互补，提升了车辆在复杂道路场景下的感知能力，提高了目标检测的准确性。

Description

一种基于视觉和毫米波融合的全天候目标检测方法
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于视觉与毫米波融合的全天候目标检测方法。
背景技术
近年来，无人驾驶技术领域发展十分迅速，汽车依赖于激光雷达、相机、毫米波雷达、轮速里程计等传感器的环境感知，实现如车道线检测、行人检测、碰撞检测等诸多自动驾驶基础功能。其中环境感知可以为汽车反馈道路信息，以便修正对驾驶行为的控制，从而提高驾驶的安全性和舒适性。
自动驾驶车辆的环境感知主流采用相机图像进行感知，但摄像头与人类似，在强光、大雾、夜间等复杂场景下，环境感知能力十分有限。而要实现自动驾驶，必须实现在复杂场景下稳定的环境感知，因此学者通常会增加不同的传感器进行融合感知，其中毫米波雷达的毫米波波段的电磁波不会受到雨、雾、灰尘等常见的环境因素影响，在这些场景下都能顺利工作，且相机、毫米波雷达价格低的优势使基于视觉、毫米波雷达融合的车辆感知系统极易大规模商用部署。
毫米波雷达反馈数据包含距离、速度、方向、反射强度等信息，能对场景进行简单感知，但需要结合所有信息进行融合感知并不容易，且毫米波原有的杂波和数据稀疏问题，都对目标检测能力有巨大影响。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种基于视觉与毫米波融合的全天候目标检测方法，该方法在数据预处理先基于连续帧对毫米波数据进行补全，再综合利用RCS(散射截面强度)、距离信息和速度信息以不同的方式与视觉信息进行融合并进行目标检测，提升在强光、大雾、夜间等复杂场景下的检测精度和鲁棒性。
为实现上述目的，本发明的实施例1提出了一种基于视觉与毫米波融合的全天候目标检测方法，所述方法包括：
使用车载相机和毫米波雷达两种传感器，同时采集连续的图像数据和点云数据；
对图像数据和点云数据进行预处理；
使用预先建立的融合模型对预处理后图像数据和点云数据进行融合，输出融合后的特征图；
将融合后的特征图输入YOLOv5的检测网络进行检测，采用非极大值抑制输出目标检测结果。
作为上述方法的一种改进，所述方法还包括：对两种传感器的坐标系进行坐标系标定。
作为上述方法的一种改进，所述对图像数据和点云数据进行预处理；具体包括：对毫米波雷达的点云数据进行补全；以及对车载相机的图像数据进行补全。
作为上述方法的一种改进，所述融合模型包括：特征提取模块和特征融合模块；
所述特征提取模块包括第一特征提取通道、第二特征提取通道以及三个特征拼接单元；第一特征提取通道采用三个依次连接的卷积单元，对雷达点云的散射截面强度信息进行特征提取；第二特征提取通道采用包括三个卷积单元的CSPDarkNet53，对图像数据的特征进行提取；
第一特征提取通道的第一个卷积单元对点云数据的散射截面强度信息进行处理得到第一RCS特征，将第一RCS特征输出至第一拼接单元；CSPDarkNet53的第一个卷积单元对图像数据进行处理得到第一视觉特征，将第一视觉特征输出至第一拼接单元；第一拼接单元将第一RCS特征和第一视觉特征进行拼接，生成融合特征图F1并输出至特征融合模块；
第一特征提取通道的第二个卷积单元对第一RCS特征进行处理得到第二RCS特征，将第二RCS特征输出至第二拼接单元；CSPDarkNet53的第二个卷积单元对第一视觉特征进行处理得到第二视觉特征，将第二视觉特征输出至第二拼接单元；第二拼接单元将第二RCS特征和第二视觉特征进行拼接，生成融合特征图F2并输出至特征融合模块；
第一特征提取通道的第三个卷积单元对第二RCS特征进行处理得到第三RCS特征，将第三RCS特征输出至第三拼接单元；CSPDarkNet53的第三个卷积单元对第二视觉特征进行处理得到第三视觉特征，将第三视觉特征输出至第三拼接单元；第三拼接单元将第三RCS特征和第三视觉特征进行拼接，生成融合特征图F3并输出至特征融合模块；
特征融合模块包括：第三特征提取通道、三个融合单元和PANet结构；第三特征提取通道采用三个依次连接的卷积单元；
第三特征提取通道的第一个卷积单元对点云数据的距离信息和速度信息进行处理得到第一点云特征，将第一点云特征输出至第一融合单元；第一融合单元将第一点云特征和融合特征图F1进行像素级叠加，生成融合特征图P1并输出至PANet结构；
第三特征提取通道的第二个卷积单元对第一点云特征进行处理得到第二点云特征，将第二点云特征输出至第二融合单元；第二融合单元将第二点云特征和融合特征图F2进行像素级叠加，生成融合特征图P2并输出至PANet结构；
第三特征提取通道的第三个卷积单元对第二点云特征进行处理得到第三点云特征，将第三点云特征输出至第三融合单元；第三融合单元将第三点云特征和融合特征图F3进行像素级叠加，生成融合特征图P3并输出至PANet结构；
融合特征图P1，融合特征图P2和融合特征图P3经过PANet结构，分别输出特征图A1，特征图A2和特征图A3。
作为上述方法的一种改进，所述方法还包括：融合模型的训练步骤，具体包括：
建立训练集；
对超参数进行设置，包括：初始学习率lr＝0.001，每次更新参数使用的批量值b＝32，迭代训练次数为epoch＝300，优化器采用SGD；
对损失函数进行设置，包括：在分类方面采用二值交叉熵损失函数，回归损失函数采用GIOU损失函数；对学习率的进行更新并使用余弦退火策略进行降低；
基于nuScenes数据集和自行采集的道路目标数据集，以及设置的参数对融合模型的参数进行训练。
本发明的实施例2提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明的实施例3提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求上述的方法。
与现有技术相比，本发明的优势在于：
1、本发明的方法充分利用了毫米波雷达数据中的距离、速度、反射强度等信息，使其与车载相机图像的融合效果更加明显；
2、本发明的方法能够利用序列对毫米波信息进行数据补全、增强，使后期的融合感知更加鲁棒和稳定；
3、本发明的方法充分将毫米波雷达回波强度、距离信息和车载相机图像进行融合，不仅仅是将毫米波雷达的所有信息作为额外特征不加区分的进行同种方式的融合，而是通过分析毫米波雷达点云不同的特征，用不同的特征提取结构和方式与图像信息进行融合，使两种传感器数据优势互补，提升了车辆在复杂道路场景下的感知能力，提高了目标检测的准确性。
附图说明
图1为本发明的实施例1的融合模型的示意图。
具体实施方法
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在复杂场景下，针对单纯使用车载相机或毫米波雷达目标检测准确率低的问题，一种新颖的思路是融合多类传感器的信息，提高对车辆周边道路环境的感知能力。一种主流的思路是在毫米波雷达点云和相机图像上分别进行目标检测，再对检测结果进行融合，这种方法没有充分利用两种传感器数据之间信息的互补作用。还有一种主流思路是将毫米波雷达点云映射到相机图像平面生成点云图像，用毫米波雷提供的速度、方向、反射强度等多种信息进行融合，这类方法不加区分的将所有毫米波点云信息与图像信息进行特征融合，没有考虑到不同信息的特有属性，也没有充分利用二者信息的互补性。本发明经过分析毫米波点云不同信息的特征，将不同的信息以不同的方式与图像信息融合，充分利用二者信息的互补性。
本发明的实施例1提供了一种基于视觉与毫米波融合的全天候目标检测方法，包括如下步骤：
步骤1)通过毫米波雷达获得距离、速度、反射强度等信息，通过车载相机获得视频图像。
将经过预处理补全的毫米波雷达散射点投影到对应的视觉平面，根据雷达散射点的三维信息绘制线条从地面开始向上延伸3米，并用数值表示反射强度和距离信息，稀疏的点云信息转化为较为密集的线簇，这种对毫米波雷达点云的预处理方法在一些学者的研究中已经应用，本发明也只是采用了这种相似预处理手段，重点在于融合方法的不同。
步骤2)通过设计好的融合模型对毫米波雷达信息和相机图像信息进行融合，本网络搭建、训练、测试的硬件和软件平台为Ubuntu16.04+NVIDIA RTX 2080Ti+Pytorch1.5+cuda10.0+cudnn8.0+python3.7。
融合模型的设计步骤包括：
1)如图1所示，利用了CSPDarkNet53网络作为图像信息的特征提取网络，每一步都是RGB图像进入网络不同特征提取的模块进行特征提取，同时雷达信息(RCS)采用一个卷积层提取特征形成和图像特征尺寸相同的特征张量，然后二者特征进行通道叠加生成融合特征，形成互补的语义信息；然后进入下一阶段的特征提取模块分别提取特征，经过三个阶段的不断地融合，最终的融合特征通过SPP结构生成特征金字塔。
2)特征融合中有三分支的输出来进行下一步的检测部分，三个分支输出的特征图再用速度距离信息与其进行融合，速度距离信息的特征相当于是一种注意力机制，来增强空间中重要的区域的特征的学习。对于距离较远或者速度较高的目标所反馈的点云，在特征上有着更高的权重，这样用来提高对于距离较远和速度较快的目标的检测精度。融合方式采用逐像素相加(Addition)，来增强空间中重要的区域的特征的学习。对于距离较远或者速度较高的目标所反馈的点云，在特征上有着更高的权重，这样用来增强对于距离较远和速度较快的目标的检测效果，检测部分采用了YOLOv5的检测算法，检测结果上采用NMS(非极大值抑制)输出检测结果效果图。
融合模型包括：特征提取模块和特征融合模块；
特征提取模块包括第一特征提取通道、第二特征提取通道以及三个特征拼接单元；第一特征提取通道采用三个依次连接的卷积单元，对雷达点云的散射截面强度信息进行特征提取；第二特征提取通道采用包括三个卷积单元的CSPDarkNet53，对图像数据的特征进行提取；
第一特征提取通道的第一个卷积单元对点云数据的散射截面强度信息进行处理得到第一RCS特征，将第一RCS特征输出至第一拼接单元；CSPDarkNet53的第一个卷积单元对图像数据进行处理得到第一视觉特征，将第一视觉特征输出至第一拼接单元；第一拼接单元将第一RCS特征和第一视觉特征进行拼接，生成融合特征图F1并输出至特征融合模块；
第一特征提取通道的第二个卷积单元对第一RCS特征进行处理得到第二RCS特征，将第二RCS特征输出至第二拼接单元；CSPDarkNet53的第二个卷积单元对第一视觉特征进行处理得到第二视觉特征，将第二视觉特征输出至第二拼接单元；第二拼接单元将第二RCS特征和第二视觉特征进行拼接，生成融合特征图F2并输出至特征融合模块；
第一特征提取通道的第三个卷积单元对第二RCS特征进行处理得到第三RCS特征，将第三RCS特征输出至第三拼接单元；CSPDarkNet53的第三个卷积单元对第二视觉特征进行处理得到第三视觉特征，将第三视觉特征输出至第三拼接单元；第三拼接单元将第三RCS特征和第三视觉特征进行拼接，生成融合特征图F3并输出至特征融合模块；
特征融合模块包括：第三特征提取通道、三个融合单元和PANet结构；第三特征提取通道采用三个依次连接的卷积单元；
第三特征提取通道的第一个卷积单元对点云数据的距离信息和速度信息进行处理得到第一点云特征，将第一点云特征输出至第一融合单元；第一融合单元将第一点云特征和融合特征图F1进行像素级叠加，生成融合特征图P1并输出至PANet结构；
第三特征提取通道的第二个卷积单元对第一点云特征进行处理得到第二点云特征，将第二点云特征输出至第二融合单元；第二融合单元将第二点云特征和融合特征图F2进行像素级叠加，生成融合特征图P2并输出至PANet结构；
第三特征提取通道的第三个卷积单元对第二点云特征进行处理得到第三点云特征，将第三点云特征输出至第三融合单元；第三融合单元将第三点云特征和融合特征图F3进行像素级叠加，生成融合特征图P3并输出至PANet结构；
融合特征图P1，融合特征图P2和融合特征图P3经过PANet结构，分别输出特征图A1，特征图A2和特征图A3。
3)融合模型在训练过程中的主要参数如下：
(1)超参数的设置：初始学习率lr＝0.001，每次更新参数使用的批量值b＝32，迭代训练次数为epoch＝300,优化器采用SGD。
(2)损失函数的设置：在分类方面采用二值交叉熵损失函数，回归损失函数采用GIoU损失函数。
(3)学习率的更新：并使用余弦退火策略进行降低。
本发明的实施例2还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例3
本发明实施例3还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例1中的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于视觉与毫米波融合的全天候目标检测方法，所述方法包括：
使用车载相机和毫米波雷达两种传感器，同时采集连续的图像数据和点云数据；
对图像数据和点云数据进行预处理；
使用预先建立的融合模型对预处理后图像数据和点云数据进行融合，输出融合后的特征图；
将融合后的特征图输入YOLOv5的检测网络进行检测，采用非极大值抑制输出目标检测结果。
2.根据权利要求1所述的基于视觉与毫米波融合的全天候目标检测方法，其特征在于，所述方法还包括：对两种传感器的坐标系进行坐标系标定。
3.根据权利要求1所述的基于视觉与毫米波融合的全天候目标检测方法，其特征在于，所述对图像数据和点云数据进行预处理；具体包括：对毫米波雷达的点云数据进行补全；以及对车载相机的图像数据进行补全。
4.根据权利要求1-3之一所述的基于视觉与毫米波融合的全天候目标检测方法，其特征在于，所述融合模型包括：特征提取模块和特征融合模块；
所述特征提取模块包括第一特征提取通道、第二特征提取通道以及三个特征拼接单元；第一特征提取通道采用三个依次连接的卷积单元，对雷达点云的散射截面强度信息进行特征提取；第二特征提取通道采用包括三个卷积单元的CSPDarkNet53，对图像数据的特征进行提取；
所述第一特征提取通道的第一个卷积单元对点云数据的散射截面强度信息进行处理得到第一RCS特征，将第一RCS特征输出至第一拼接单元；CSPDarkNet53的第一个卷积单元对图像数据进行处理得到第一视觉特征，将第一视觉特征输出至第一拼接单元；第一拼接单元将第一RCS特征和第一视觉特征进行拼接，生成融合特征图F1并输出至特征融合模块；
所述第一特征提取通道的第二个卷积单元对第一RCS特征进行处理得到第二RCS特征，将第二RCS特征输出至第二拼接单元；CSPDarkNet53的第二个卷积单元对第一视觉特征进行处理得到第二视觉特征，将第二视觉特征输出至第二拼接单元；第二拼接单元将第二RCS特征和第二视觉特征进行拼接，生成融合特征图F2并输出至特征融合模块；
所述第一特征提取通道的第三个卷积单元对第二RCS特征进行处理得到第三RCS特征，将第三RCS特征输出至第三拼接单元；CSPDarkNet53的第三个卷积单元对第二视觉特征进行处理得到第三视觉特征，将第三视觉特征输出至第三拼接单元；第三拼接单元将第三RCS特征和第三视觉特征进行拼接，生成融合特征图F3并输出至特征融合模块；
所述特征融合模块包括：第三特征提取通道、三个融合单元和PANet结构；第三特征提取通道采用三个依次连接的卷积单元；
所述第三特征提取通道的第一个卷积单元对点云数据的距离信息和速度信息进行处理得到第一点云特征，将第一点云特征输出至第一融合单元；第一融合单元将第一点云特征和融合特征图F1进行像素级叠加，生成融合特征图P1并输出至PANet结构；
所述第三特征提取通道的第二个卷积单元对第一点云特征进行处理得到第二点云特征，将第二点云特征输出至第二融合单元；第二融合单元将第二点云特征和融合特征图F2进行像素级叠加，生成融合特征图P2并输出至PANet结构；
所述第三特征提取通道的第三个卷积单元对第二点云特征进行处理得到第三点云特征，将第三点云特征输出至第三融合单元；第三融合单元将第三点云特征和融合特征图F3进行像素级叠加，生成融合特征图P3并输出至PANet结构；
融合特征图P1，融合特征图P2和融合特征图P3经过PANet结构，分别输出特征图A1，特征图A2和特征图A3。
5.根据权利要求4所述的基于视觉与毫米波融合的全天候目标检测方法，其特征在于，所述方法还包括：融合模型的训练步骤，具体包括：
建立训练集；
对超参数进行设置，包括：初始学习率lr＝0.001，每次更新参数使用的批量值b＝32，迭代训练次数为epoch＝300，优化器采用SGD；
对损失函数进行设置，包括：在分类方面采用二值交叉熵损失函数，回归损失函数采用GIOU损失函数；对学习率的进行更新并使用余弦退火策略进行降低；
基于nuScenes数据集和自行采集的道路目标数据集，以及设置的参数对融合模型的参数进行训练。
6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-5任一项所述的方法。
CN202011595732.1A 2020-12-29 2020-12-29 一种基于视觉和毫米波融合的全天候目标检测方法 Active CN112835037B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011595732.1A CN112835037B (zh) 2020-12-29 2020-12-29 一种基于视觉和毫米波融合的全天候目标检测方法
US17/543,777 US11380089B1 (en) 2020-12-29 2021-12-07 All-weather target detection method based on vision and millimeter wave fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011595732.1A CN112835037B (zh) 2020-12-29 2020-12-29 一种基于视觉和毫米波融合的全天候目标检测方法

Publications (2)

Publication Number Publication Date
CN112835037A true CN112835037A (zh) 2021-05-25
CN112835037B CN112835037B (zh) 2021-12-07

Family

ID=75925172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011595732.1A Active CN112835037B (zh) 2020-12-29 2020-12-29 一种基于视觉和毫米波融合的全天候目标检测方法

Country Status (2)

Country Link
US (1) US11380089B1 (zh)
CN (1) CN112835037B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113280829A (zh) * 2021-06-24 2021-08-20 广东盈峰智能环卫科技有限公司 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113486711A (zh) * 2021-05-26 2021-10-08 上海应用技术大学 交通标志识别模型训练方法及系统
CN113947141A (zh) * 2021-10-14 2022-01-18 清华大学 一种城市路口场景的路侧灯塔感知系统
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115810115A (zh) * 2023-02-08 2023-03-17 深圳佑驾创新科技有限公司 基于图像特征的图像和多帧毫米波雷达目标的融合方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205568B (zh) * 2022-07-13 2024-04-19 昆明理工大学 一种多尺度特征融合的道路交通多要素检测方法
CN115994887B (zh) * 2022-09-06 2024-01-09 江苏济远医疗科技有限公司 一种基于动态锚点的医学图像密集目标分析方法
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN115272439B (zh) * 2022-09-27 2023-01-31 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质
CN115909815B (zh) * 2023-01-06 2023-06-06 广州通达汽车电气股份有限公司 基于多元数据的融合检测方法、装置、设备及存储介质
CN116665152A (zh) * 2023-06-13 2023-08-29 北京市计量检测科学研究院 一种应用于交通目标探测的小目标雷视融合方法
CN116452667B (zh) * 2023-06-16 2023-08-22 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116561534B (zh) * 2023-07-10 2023-10-13 苏州映赛智能科技有限公司 一种基于自监督学习的提升路侧传感器精度的方法及系统
CN117495695B (zh) * 2023-11-10 2024-05-03 苏州清研浩远汽车科技有限公司 基于毫米波和红外图像融合的低光照环境检测系统
CN117310646B (zh) * 2023-11-27 2024-03-22 南昌大学 基于室内毫米波雷达的轻量化人体姿态识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
WO2019191380A1 (en) * 2018-03-29 2019-10-03 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN111178116A (zh) * 2018-11-12 2020-05-19 杭州海康威视数字技术股份有限公司 无人售货方法、监控摄像机及系统
CN111898651A (zh) * 2020-07-10 2020-11-06 江苏科技大学 一种基于Tiny YOLOV3算法的树木检测方法
CN111951306A (zh) * 2020-08-31 2020-11-17 华通科技有限公司 一种激光雷达与图像视频融合的目标检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523753A4 (en) * 2017-12-11 2019-10-23 Beijing Didi Infinity Technology and Development Co., Ltd. SYSTEMS AND METHODS FOR IDENTIFYING AND LOCATING OBJECTS AROUND A VEHICLE
JP6949238B2 (ja) * 2018-02-26 2021-10-13 フェデックス コーポレイト サービシズ，インコーポレイティド マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法
US11520331B2 (en) * 2018-12-28 2022-12-06 Intel Corporation Methods and apparatus to update autonomous vehicle perspectives
EP3926360A1 (en) * 2020-06-17 2021-12-22 Aptiv Technologies Limited Neural network based methods and systems for object detection using concatenated lidar, radar and camera data sets
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN113705478B (zh) * 2021-08-31 2024-02-27 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
WO2019191380A1 (en) * 2018-03-29 2019-10-03 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN111178116A (zh) * 2018-11-12 2020-05-19 杭州海康威视数字技术股份有限公司 无人售货方法、监控摄像机及系统
CN111898651A (zh) * 2020-07-10 2020-11-06 江苏科技大学 一种基于Tiny YOLOV3算法的树木检测方法
CN111951306A (zh) * 2020-08-31 2020-11-17 华通科技有限公司 一种激光雷达与图像视频融合的目标检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486711A (zh) * 2021-05-26 2021-10-08 上海应用技术大学 交通标志识别模型训练方法及系统
CN113280829A (zh) * 2021-06-24 2021-08-20 广东盈峰智能环卫科技有限公司 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113408454B (zh) * 2021-06-29 2024-02-06 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113947141A (zh) * 2021-10-14 2022-01-18 清华大学 一种城市路口场景的路侧灯塔感知系统
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114550163B (zh) * 2022-02-25 2023-02-03 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN114972654B (zh) * 2022-06-15 2023-02-03 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115810115A (zh) * 2023-02-08 2023-03-17 深圳佑驾创新科技有限公司 基于图像特征的图像和多帧毫米波雷达目标的融合方法

Also Published As

Publication number Publication date
US20220207868A1 (en) 2022-06-30
CN112835037B (zh) 2021-12-07
US11380089B1 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN112835037B (zh) 一种基于视觉和毫米波融合的全天候目标检测方法
US11398097B2 (en) Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN113065590B (zh) 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113158763B (zh) 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US8229162B2 (en) Graphic recognition device, graphic recognition method, and graphic recognition program
CN111860425A (zh) 一种深度多模态跨层交叉融合方法、终端设备及存储介质
DE102020115479A1 (de) Erweiterte bildgebung mit hohem dynamikumfang und tone -mapping
Broggi et al. Vehicle detection for autonomous parking using a Soft-Cascade AdaBoost classifier
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN114972654A (zh) 一种基于路侧点云补全的三维目标检测方法
DE112018004904T5 (de) Informationsverarbeitungseinrichtung, selbstpositionsschätzverfahren und programm
CN114782865B (zh) 一种基于多视角和重识别的路口车辆定位方法及系统
CN113920101A (zh) 目标检测方法、装置、设备及存储介质
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
US20220067397A1 (en) Apparatus and method for generating map
US20210370832A1 (en) Data processing methods, devices, and apparatuses, and movable platforms
CN113492829B (zh) 数据处理的方法和装置
CN110390252B (zh) 基于先验地图信息的障碍物检测方法、装置和存储介质
DE112020003845T5 (de) Vorrichtung, messungsvorrichtung, entfernungsmessungssystem und verfahren
CN113222968B (zh) 融合毫米波和图像的检测方法、系统、设备及存储介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN115527187A (zh) 一种障碍物的分类方法以及装置
DE112020004690T5 (de) Abstandsmesssensor, signalverarbeitungsverfahren und abstandsmessmodul
Huang et al. Deep-learning rain detection and Wiper control featuring Gaussian extraction
CN114966604B (zh) 一种分区点云的目标检测处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant