CN116580365A - 一种毫米波雷达与视觉融合的目标车辆检测方法及系统 - Google Patents

一种毫米波雷达与视觉融合的目标车辆检测方法及系统 Download PDF

Info

Publication number
CN116580365A
CN116580365A CN202310627055.4A CN202310627055A CN116580365A CN 116580365 A CN116580365 A CN 116580365A CN 202310627055 A CN202310627055 A CN 202310627055A CN 116580365 A CN116580365 A CN 116580365A
Authority
CN
China
Prior art keywords
image
feature map
scale feature
radar
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310627055.4A
Other languages
English (en)
Inventor
朱占宇
宗铭
杨智开
倪锦根
王槐生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202310627055.4A priority Critical patent/CN116580365A/zh
Publication of CN116580365A publication Critical patent/CN116580365A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种毫米波雷达与视觉融合的目标车辆检测方法及系统，其包括：采集目标车辆的雷达云信息，将雷达点云信息转换到图像域，得到雷达图像；采集目标车辆图像信息，得到视觉图像；融合雷达图像以及视觉图像，得到融合图像；对所述融合图像进行特征提取，得到第一尺度特征图、第二尺度特征图以及第三尺度特征图；对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合；对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。本发明能准确检测近距离目标车辆和远距离(小目标)目标车辆，实现了恶劣天气下对目标车辆的检测识别。

Description

一种毫米波雷达与视觉融合的目标车辆检测方法及系统
技术领域
本发明涉及智能交通路测感知技术领域，尤其是指一种毫米波雷达与视觉融合的目标车辆检测方法及系统。
背景技术
智能交通系统的路侧感知设备中，对目标进行检测常用的传感器有摄像头和毫米波雷达。单一传感器对道路目标进行检测可能会出现由信息缺失导致的漏检、错检等问题。根据具体的应用场景和需求综合分析，往往会采用多种感知设备进行融合，以达到更准确、更具鲁棒性的目标检测和跟踪效果。
目前，基于多传感器融合的目标检测算法可以有效的弥补单一传感器的不足，通过融合多个传感器的数据，解决原先信息单一的问题，提高检测精度与鲁棒性。毫米波雷达与视觉的融合在不同层次上主要分为数据级融合、特征级融合和决策级融合三方面。关于数据级融合，文献“Multilevel fusion scheme for target classification usingcamera and radar sensors”(Proceedings of the International Conference onImage Processing,Computer Vision,and Pattern Recognition(IPCV),2017)结合ROI(region of interest，感兴趣区域)图像和多普勒频谱信息对目标进行分类。关于特征级融合，文献“Bridging the view disparity between radar and camera features formultimodal fusion 3d object detection”(IEEE Transactions on IntelligentVehicles,2023)将毫米波雷达与相机融合进行3D目标检测，雷达点通过时间积累后送到时空编码器完成雷达特征提取，再与转换成鸟瞰视图的图像进行融合。关于决策级融合，文献“Camera radar fusion for increased reliability in ADAS applications”(Electronic Imaging,2018)利用雷达和视觉传感器的融合结果在三维空间和二维图像平面跟踪检测目标，采用一种类似于卡尔曼滤波的不确定驱动机制均衡不同的感知结果。
多传感器融合就是将各传感器数据进行关联、特征提取、最终决策的过程。然而，在毫米波雷达与视觉传感器的融合算法中，无法兼顾远距离(小目标)与恶劣天气下的目标检测，难以满足路侧感知设备对于道路交通目标进行实时且精确的感知任务。
发明内容
本发明所要解决的技术问题在于克服现有技术中存在的不足，提供一种毫米波雷达与视觉融合的目标车辆检测方法及系统，其能准确检测近距离目标车辆和远距离(小目标)目标车辆，实现了恶劣天气下对目标车辆的检测识别。
按照本发明提供的技术方案，所述毫米波雷达与视觉融合的目标车辆检测方法包括：
采集目标车辆的雷达云信息，将所述雷达点云信息转换到图像域，得到雷达图像；采集目标车辆图像信息，得到视觉图像；
融合所述雷达图像以及视觉图像，得到融合图像；
对所述融合图像进行特征提取，得到第一尺度特征图、第二尺度特征图以及第三尺度特征图；所述第一尺度特征图的尺度小于第二尺度特征图，所述第二尺度特征图的尺度小于第三尺度特征图；
对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合；
对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
在本发明的一个实施例中，将所述雷达点云信息转换到图像域通过标定矩阵和RGB图像转换方程完成；
所述标定矩阵为：
其中，RR,W和TR,W分别是毫米波坐标系转化为视觉坐标系的旋转矩阵和偏移量，RW,C和TW,C分别是视觉坐标系转化为相机坐标系的旋转矩阵和偏移量，M1是相机传感器的内参数矩阵，M2是相机外参数矩阵，M3是毫米波雷达转换矩阵，是雷达点云信息，(xp，yp)是图像域，(xp0,yp0)是相机的主点坐标；
所述RGB图像转换方程为：
其中，R，G，B分别表示雷达点云信息转换到像素平面的三个通道的像素值，d表示目标点到雷达的距离，v表示目标点到雷达的径向速度。
在本发明的一个实施例中，融合所述雷达图像以及视觉图像包括：
采用不同尺度的卷积层对所述雷达图像进行采样；
将采样得到的特征相加，得到空间注意力权重矩阵；
将所述空间注意力权重矩阵与所述视觉图像拼接，得到融合图像。
在本发明的一个实施例中，所述不同尺度的卷积层包括卷积核尺寸为1×1的卷积层、卷积核尺寸为3×3的卷积层以及卷积核尺寸为5×5的卷积层。
在本发明的一个实施例中，将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合后，对聚合得到的图像进行下采样，直至下采样次数达到预设值。
本发明还提供一种毫米波雷达与视觉融合的目标车辆检测系统，其包括：
雷达图像预处理模块，采集目标车辆的雷达点云信息，将所述雷达点云信息转换到图像域，得到雷达图像；
视觉图像预处理模块，采集目标车辆图像信息，得到视觉图像；
融合模块，融合所述雷达图像以及视觉图像，得到融合图像；
特征提取模块，对所述融合图像进行特征提取，得到尺度第一尺度特征图、第二尺度特征图以及第三尺度特征图；所述第一尺度特征图的尺度小于第二尺度特征图，所述第二尺度特征图的尺度小于第三尺度特征图；
路径聚合模块，对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合，然后对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
在本发明的一个实施例中，所述融合模块包括多个不同尺度的卷积层，所述所述不同尺度的卷积层包括卷积核尺寸为1×1的卷积层、卷积核尺寸为3×3的卷积层以及卷积核尺寸为5×5的卷积层。
在本发明的一个实施例中，所述路径聚合模块包括依次连接的第一上采样卷积层、第二上采样卷积层以及第三上采样卷积层，还包括依次连接的第一下采样卷积层、第二下采样卷积层以及第三下采样卷积层，所述第三下采样卷积层输出端连接有多个第四下采样卷积层。
为解决上述技术问题，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述毫米波雷达与视觉融合的目标车辆检测方法的步骤。
为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述毫米波雷达与视觉融合的目标车辆检测方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明融合模块采用的空间注意力拼接融合方法从不同层次尺度上充分利用雷达特征，生成的空间注意权重矩阵能更有效的控制或增强视觉图像信息，提高对远、近目标的检测准确度，实现恶劣天气下对目标车辆的检测识别。
2、本发明路径聚合模块结合多层次的特征信息，实现目标检测将前面获得的多尺度的特征图先以自顶向下的模式将深层特征传递下来，再以自底向上的路径增强，利用准确的浅层信息增强整个特征层次，提高对远、近目标的检测准确度，实现恶劣天气下对目标车辆的检测识别。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明目标车辆检测方法流程图；
图2为本发明目标车辆检测系统架构图；
图3为本发明雷达图像预处理模块和视觉图像预处理模块的网络结构图；
图4为本发明融合模块的网络结构图；
图5为本发明实施例特征提取模块和路径聚合模块的网络结构图；
图6为本发明雷达图像与视觉图像经融合模块融合后的特征层示意；
图7为本发明实施例的训练曲线与平均精度示意图；
图8为本发明实施例恶劣天气下的路口目标车辆检测结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图2所示，为了准确检测近距离目标车辆和远距离(小目标)目标车辆，实现恶劣天气下对目标车辆的检测识别，本发明包括：
雷达图像预处理模块，采集目标车辆的雷达点云信息，将所述雷达点云信息转换到图像域，得到雷达图像；
视觉图像预处理模块，采集目标车辆图像信息，得到视觉图像；
具体地，如图2和图3所示，图2中的雷达-阶段1以及视觉-阶段1均由图3中的阶段1构成，图2中的雷达基础块由图3中的雷达基础块构成，图2中的视觉-阶段2由图3中的阶段2构成。雷达图像预处理模块通过毫米波雷达检测获取雷达点云信息，所述雷达点云信息包括目标车辆径向距离、径向速度、方位角和俯仰角信息，再通过标定矩阵和RGB图像转换方程将雷达点云信息转换到图像域。视觉图像预处理模块通过多个视觉传感器采集目标车辆的图像信息，得到视觉图像，雷达图像预处理模块以及视觉图像预处理模块的工作原理均与现有相一致，此处不再赘述。
雷达-阶段1、雷达基础块、视觉-阶段1以及视觉-阶段2均包括用于提取特征的卷积层，以“Conv2 64,64,3×3,1,1”为例，“Conv2 64,64,3×3,1,1”是指经过一个输入通道为64，输出通道为64，卷积核大小为3×3，步长为1，填充为1的卷积层，Conv1、Conv3以及Conv4的情况均与Conv2相一致。
融合模块，融合所述雷达图像以及视觉图像，得到融合图像；
具体地，如图4所示，本发明融合模块包括三个不同尺度的卷积层，分别为1×1的卷积层、卷积核尺寸为3×3的卷积层以及卷积核尺寸为5×5的卷积层。融合模块通过三个不同尺度的卷积层提取雷达图像的特征，将雷达图像特征与视觉图像融合，融合模块能够从不同层次和尺度上全面充分的利用雷达特征，提高融合图像的准确度。
特征提取模块，对所述融合图像进行特征提取，得到第一尺度特征图、第二尺度特征图以及第三尺度特征图；
路径聚合模块，对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合，然后对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
具体地，如图5所示，特征提取模块包括阶段3、阶段4以及阶段5三个卷积层，用于提取融合图像的多尺度特征，路径聚合模块将获得的多尺度特征图先以自顶向下的模式将深层特征传递下来(上采样)，再以自底向上的路径增强(下采样)，利用准确的浅层信息增强整个特征层次，提高对远、近目标的检测准确度，实现恶劣天气下对目标车辆的检测识别。
进一步地，路径聚合模块包括依次连接的第一上采样卷积层、第二上采样卷积层以及第三上采样卷积层，还包括依次连接的第一下采样卷积层、第二下采样卷积层以及第三下采样卷积层，所述第三下采样卷积层输出端连接有多个第四下采样卷积层。
将第一下采样卷积层、第二下采样卷积层以及第三下采样卷积层下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合后，多个第四下采样卷积层对聚合得到的图像再进行下采样，直至下采样次数达到预设值，以达到进一步提高检测结果准确度的目的，本发明实施例中，采样次数预设值为2，第四下采样卷积层的数量为2，图5中n3-n7表示五次检测结果。
进一步地，将所述雷达云信息转换到图像域通过标定矩阵和RGB图像转换方程完成；
所述标定矩阵为：
其中，RR,W和TR,W分别是毫米波坐标系转化为视觉坐标系的旋转矩阵和偏移量，RW,C和TW,C分别是视觉坐标系转化为相机坐标系的旋转矩阵和偏移量，M1是相机传感器的内参数矩阵，M2是相机外参数矩阵，M3是毫米波雷达转换矩阵，是雷达点云信息，(xp，yp)是图像域，(xp0,yp0)是相机的主点坐标；
所述RGB图像转换方程为：
其中，R，G，B分别表示雷达点云信息转换到像素平面的三个通道的像素值，d表示目标点到雷达的距离，v表示目标点到雷达的径向速度。
进一步地，融合所述雷达图像以及视觉图像包括：
采用不同尺度的卷积层对所述雷达图像进行采样；
将采样得到的特征相加，得到空间注意力权重矩阵；
将所述空间注意力权重矩阵与所述视觉图像拼接，得到融合图像。
具体地，本发明融合模块采用的空间注意力拼接融合方法从不同层次尺度上充分利用雷达特征，生成的空间注意权重矩阵能更有效的控制或增强视觉图像信息，提高对远、近目标的检测准确度，实现恶劣天气下对目标车辆的检测识别。
综上所述，本发明首先通过毫米波雷达到像素坐标系的转换关系(标定矩阵)和毫米波雷达RGB图像化转换方程，将雷达点云信息转换到图像域；然后，将雷达图像和视觉图像成对输入到本发明检测网络RV-PAFCOS，本发明检测网络RV-PAFCOS包括融合模块特征提取模块和路径聚合模块，经过融合模块后将雷达图像和视觉图像进行融合；最后，通过特征提取模块和路径聚合模块，结合多层次的特征信息，实现目标检测。图7是本发明RV-PAFCOS网络与现有FCOS网络的训练对比图，其中AP曲线的数据是每完成2500次时单独测试得到。从图可以看出，在整个迭代过程中，RV-PAFCOS的训练损失比FCOS下降得更快且最终收敛也更低。此外，通过AP曲线可以看出，RV-PAFCOS的AP精度很快趋于稳定，并且在整个迭代的过程中始终高于FCOS。
图8是本发明目标车辆检测系统对交通路口车辆进行检测的结果，较好的实现了恶劣天气下对车辆目标的检测识别。
实施例二
如图1所示，一种毫米波雷达与视觉融合的目标车辆检测方法，包括：
采集目标车辆的雷达云信息，将所述雷达点云信息转换到图像域，得到雷达图像；采集目标车辆图像信息，得到视觉图像；
融合所述雷达图像以及视觉图像，得到融合图像；
对所述融合图像进行特征提取，得到第一尺度特征图、第二尺度特征图以及第三尺度特征图；
对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合；
对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
实施例三
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述毫米波雷达与视觉融合的目标车辆检测方法的步骤。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述毫米波雷达与视觉融合的目标车辆检测方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种毫米波雷达与视觉融合的目标车辆检测方法，其特征在于，包括：
采集目标车辆的雷达云信息，将所述雷达点云信息转换到图像域，得到雷达图像；采集目标车辆图像信息，得到视觉图像；
融合所述雷达图像以及视觉图像，得到融合图像；
对所述融合图像进行特征提取，得到第一尺度特征图、第二尺度特征图以及第三尺度特征图；所述第一尺度特征图的尺度小于第二尺度特征图，所述第二尺度特征图的尺度小于第三尺度特征图；
对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合；
对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
2.根据权利要求1所述的毫米波雷达与视觉融合的目标车辆检测方法，其特征在于：将所述雷达点云信息转换到图像域通过标定矩阵和RGB图像转换方程完成；
所述标定矩阵为：
其中，RR,W和TR,W分别是毫米波坐标系转化为视觉坐标系的旋转矩阵和偏移量，RW,C和TW,C分别是视觉坐标系转化为相机坐标系的旋转矩阵和偏移量，M1是相机传感器的内参数矩阵，M2是相机外参数矩阵，M3是毫米波雷达转换矩阵，是雷达点云信息，(xp，yp)是图像域，(xp0,yp0)是相机的主点坐标；
所述RGB图像转换方程为：
其中，R，G，B分别表示雷达点云信息转换到像素平面的三个通道的像素值，d表示目标点到雷达的距离，v表示目标点到雷达的径向速度。
3.根据权利要求1所述的毫米波雷达与视觉融合的目标车辆检测方法，其特征在于，融合所述雷达图像以及视觉图像包括：
采用不同尺度的卷积层对所述雷达图像进行采样；
将采样得到的特征相加，得到空间注意力权重矩阵；
将所述空间注意力权重矩阵与所述视觉图像拼接，得到融合图像。
4.根据权利要求3所述的毫米波雷达与视觉融合的目标车辆检测方法，其特征在于：所述不同尺度的卷积层包括卷积核尺寸为1×1的卷积层、卷积核尺寸为3×3的卷积层以及卷积核尺寸为5×5的卷积层。
5.根据权利要求1所述的毫米波雷达与视觉融合的目标车辆检测方法，其特征在于：将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合后，对聚合得到的图像进行下采样，直至下采样次数达到预设值。
6.一种毫米波雷达与视觉融合的目标车辆检测系统，采用如权利要求1-5中任一项所述的毫米波雷达与视觉融合的目标车辆检测方法检测目标车辆，其特征在于，包括：
雷达图像预处理模块，采集目标车辆的雷达点云信息，将所述雷达点云信息转换到图像域，得到雷达图像；
视觉图像预处理模块，采集目标车辆图像信息，得到视觉图像；
融合模块，融合所述雷达图像以及视觉图像，得到融合图像；
特征提取模块，对所述融合图像进行特征提取，得到尺度第一尺度特征图、第二尺度特征图以及第三尺度特征图；所述第一尺度特征图的尺度小于第二尺度特征图，所述第二尺度特征图的尺度小于第三尺度特征图；
路径聚合模块，对第一尺度特征图进行上采样，并将上采样得到的特征依次与第二尺度特征图及第三尺度特征图聚合，然后对第三尺度特征图进行下采样，并将下采样得到的特征依次与第二尺度特征图及第一尺度特征图聚合，得到目标车辆聚合图像。
7.根据权利要求6所述的毫米波雷达与视觉融合的目标车辆检测系统，其特征在于：所述融合模块包括多个不同尺度的卷积层，所述所述不同尺度的卷积层包括卷积核尺寸为1×1的卷积层、卷积核尺寸为3×3的卷积层以及卷积核尺寸为5×5的卷积层。
8.根据权利要求6所述的毫米波雷达与视觉融合的目标车辆检测系统，其特征在于：所述路径聚合模块包括依次连接的第一上采样卷积层、第二上采样卷积层以及第三上采样卷积层，还包括依次连接的第一下采样卷积层、第二下采样卷积层以及第三下采样卷积层，所述第三下采样卷积层输出端连接有多个第四下采样卷积层。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述毫米波雷达与视觉融合的目标车辆检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述毫米波雷达与视觉融合的目标车辆检测方法。
CN202310627055.4A 2023-05-30 2023-05-30 一种毫米波雷达与视觉融合的目标车辆检测方法及系统 Pending CN116580365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310627055.4A CN116580365A (zh) 2023-05-30 2023-05-30 一种毫米波雷达与视觉融合的目标车辆检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310627055.4A CN116580365A (zh) 2023-05-30 2023-05-30 一种毫米波雷达与视觉融合的目标车辆检测方法及系统

Publications (1)

Publication Number Publication Date
CN116580365A true CN116580365A (zh) 2023-08-11

Family

ID=87543051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310627055.4A Pending CN116580365A (zh) 2023-05-30 2023-05-30 一种毫米波雷达与视觉融合的目标车辆检测方法及系统

Country Status (1)

Country Link
CN (1) CN116580365A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550032A (zh) * 2022-01-28 2022-05-27 中国科学技术大学 一种端到端三维卷积目标检测网络的视频烟雾检测方法
US20220207868A1 (en) * 2020-12-29 2022-06-30 Tsinghua University All-weather target detection method based on vision and millimeter wave fusion
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207868A1 (en) * 2020-12-29 2022-06-30 Tsinghua University All-weather target detection method based on vision and millimeter wave fusion
CN114550032A (zh) * 2022-01-28 2022-05-27 中国科学技术大学 一种端到端三维卷积目标检测网络的视频烟雾检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MING ZONG等: "A Method for Target Detection Based on Mmw Radar and Vision Fusion", 《ARXIV:2403.16476》, 25 March 2024 (2024-03-25), pages 1 - 20 *
SHUO CHANG等: "Spatial Attention Fusion for Obstacle Detection Using MmWave Radar and Vision Sensor", 《SENSORS》, 11 February 2020 (2020-02-11), pages 1 - 21 *
陈正浩等: "改进SAF-FCOS 的雷视融合目标检测算法", 《计算机工程与应用》, 8 May 2023 (2023-05-08), pages 1 - 12 *

Similar Documents

Publication Publication Date Title
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
CN111222395B (zh) 目标检测方法、装置与电子设备
US11482014B2 (en) 3D auto-labeling with structural and physical constraints
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN112287860A (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
WO2022067647A1 (zh) 一种路面要素确定方法及装置
WO2022206517A1 (zh) 一种目标检测方法及装置
TWI673190B (zh) 基於光學雷達之汽車偵測方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN116704304A (zh) 一种混合注意力机制的多模态融合目标检测方法
Nagy et al. ChangeGAN: A deep network for change detection in coarsely registered point clouds
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN114419591A (zh) 一种基于c-v2x的多传感器信息融合车辆检测方法
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
CN116778449A (zh) 一种用于提高自动驾驶三维目标检测效率的检测方法
WO2023108931A1 (zh) 一种基于视频雷达融合感知的判断车型方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN116580365A (zh) 一种毫米波雷达与视觉融合的目标车辆检测方法及系统
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
Horani et al. A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination