CN112560972A - 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 - Google Patents

基于毫米波雷达先验定位和视觉特征融合的目标检测方法 Download PDF

Info

Publication number
CN112560972A
CN112560972A CN202011520256.7A CN202011520256A CN112560972A CN 112560972 A CN112560972 A CN 112560972A CN 202011520256 A CN202011520256 A CN 202011520256A CN 112560972 A CN112560972 A CN 112560972A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
point cloud
information
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011520256.7A
Other languages
English (en)
Other versions
CN112560972B (zh
Inventor
王云鹏
张新钰
于海洋
任毅龙
刘天赐
孙韧韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011520256.7A priority Critical patent/CN112560972B/zh
Publication of CN112560972A publication Critical patent/CN112560972A/zh
Application granted granted Critical
Publication of CN112560972B publication Critical patent/CN112560972B/zh
Priority to US17/548,615 priority patent/US11398097B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置的信息。本发明的方法充分利用毫米波雷达返回信息的特性对现有的检测框架进行优化，提高了全天候场景下路上目标检测的准确性。

Description

基于毫米波雷达先验定位和视觉特征融合的目标检测方法
技术领域
本发明涉及自动驾驶技术领域，具体涉及基于毫米波雷达先验定位和视觉特征融合的目标检测方法。
背景技术
道路场景下的目标检测是实现车辆自动驾驶感知的关键技术环节，以确保车辆行驶感知系统确定车周环境，避免与其他车辆、行人等目标发生碰撞，并且提前预知辅助决策系统的执行，实现车辆在车道上的安全自动驾驶。
自动驾驶感知系统识别周围的目标，可以通过提取相机获取的视觉图像的特征，用于识别当前场景下的目标，这与人类通过视觉系统的感知非常相似，可视环境良好环境下的目标，对于人来说比较容易，对于车辆也是如此。不过在强光、大雾、夜间等可视环境不好的场景下，人类视觉获取信息变得有限，车辆的感知系统也很难单纯依靠视觉信息来做出正确的识别判断。而要实现自动驾驶，必须实现在全天候场景下道路目标的准确检测。于是很多方法开始应用其他信息(如激光雷达，毫米波雷达，热成像仪等)来增强感知系统的识别能力。
毫米波雷达利用多普勒效应计算物体相对于车辆的径向速度，毫米波雷达点云不受可见光环境的影响，对不同材质的目标有一定区分度，且包含有空间信息。因此利用毫米波雷达反馈的距离和速度信息来辅助判断障碍物，提高自动驾驶车辆的避障能力，这已经应用广泛。但是毫米波雷达点云非常稀疏，其中的噪声会对障碍判断产生很大影响。
在复杂场景下，针对单纯使用车载相机或毫米波雷达检测道路目标准确率低的问题，一种新颖的思路是融合传感器的多类信息，提高对车辆周边道路环境的感知能力。而大多数这类方法往往不加区分的将毫米波雷达反馈的信息(雷达散射截面强度，径向速度，距离等)和车载相机的视觉信息直接进行特征融合，没有充分利用两种传感器数据之间信息的互补作用。经过观察和实验分析，雷达散射截面强度是有目标材料有一定的关联性的，所以是类别相关的一种属性，距离和速度是类别无关的属性，是空间相关的属性，所以将不同的信息以不同的方式有效的融合才能更加全面的利用多传感器的信息实现更加鲁棒的检测。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种充分利用毫米波雷达多种信息与视觉多方式融合的目标检测方法，该方法的主要特点是融合毫米波雷达点云和相机图像进行目标检测，将毫米波点云作为图像空间信息的补充和语义特征的增强，用图像弥补点云采样密度低的缺陷，用融合信息增强视觉信息在雨、雾天气、夜间等复杂道路场景下目标检测算法的鲁棒性。
为实现上述目的，本发明的实施例1提出了一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：
基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；
基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；
通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；
将最终的anchor样本的特征输入检测网络，生成场景下目标的种类和定位的信息。
作为上述方法的一种改进，所述基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；具体包括：
将投影后的毫米波雷达点云数据作为位置先验，即作为anchor生成点，一个anchor生成点生成M组基础anchor，每组基础anchor包括M个预先设定大小和宽高比的anchor样本；则一个anchor生成点生成M×N个anchor样本；
分别提取每个anchor样本的毫米波雷达点云数据的速度信息和距离信息，计算每个候选区域的速度距离权重W：
Figure BDA0002848695300000021
其中，α和β为权重系数，α取毫米波雷达测距的最大有效范围的最大值，β值根据道路上车辆的速度来确定，使得
Figure BDA0002848695300000022
最终权重W∈(0,1)；n是一个候选区域中含有的点云个数，Velocity为毫米波雷达点云数据中的速度信息，Distance为毫米波雷达点云数据中的距离信息；
使用速度距离权重综合对anchor样本进行缩放和派生操作，得到最终的anchor样本。
作为上述方法的一种改进，所述通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的anchor样本的特征，具体包括：
相机图像RGB信息用(R,G,B)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的图像信息(R',G',B')；毫米波雷达点云数据中的散射截面强度信息用RCS表示；将RCS作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的信息(R',G',B',RCS)；
使用RestNet50作为特征提取网络，将四通道的信息输入预先训练好的特征提取网络，输出原始图像的四通道的信息的特征；
将最终的anchor样本的区域与原始图像的四通道的信息的特征进行区域对应，获取最终的anchor样本的特征。
作为上述方法的一种改进，所述方法还包括：特征提取网络的训练步骤；具体包括：
将已经标注好的毫米波雷达点云数据和相机图像制作成Dataset数据集；
初始学习率lr设置为0.001，使用余弦退火策略进行学习率的更新；每次更新参数使用的批量值b＝64，迭代训练次数为epoch＝300；
损失函数采用交叉熵损失函数；采用梯度下降法调整参数，直至特征提取网络收敛。
作为上述方法的一种改进，所述检测网络采用的是Faster-RCNN网络的形式，包括：定位子网络和回归子网络，定位子网络用于对目标进行定位；回归子网络用于对目标进行分类。
本发明的实施例2提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明的实施例3提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的方法。
与现有技术相比，本发明的优势在于：
1、本发明的方法将毫米波雷达点云和车载相机图像进行充分融合，使两种数据优势互补，充分利用毫米波雷达返回信息的特性对现有的检测框架进行优化，提高了全天候场景下路上目标检测的准确性；
2、本发明的方法不仅利用当前帧的雷达信息对当前视觉场进行目标的预先定位，而且能够利用连续帧数据中雷达信息对下一帧目标进行关联性的先验定位，使算法性能更加鲁棒和稳定。
附图说明
图1为本发明实施例1提供的基于毫米波雷达先验定位和视觉特征融合的目标检测方法的流程图；
图2为本发明实施例1提供的anchor样本生成的示意图；
图3为本发明实施例1提供的基于毫米波雷达的先验定位目标检测网络的示意图。
具体实施方式：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明提出了基于毫米波雷达先验定位和视觉特征融合的目标检测方法，包括以下步骤：
步骤1)使用标定后的毫米波雷达和车载相机两种传感器，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换投影到相机平面；
步骤2)基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；具体包括：
步骤2-1)在毫米波雷达点云数据中，根据预先设定的anchor策略生成多个anchor样本；
如图2所示，传统的anchor生成策略是基于特征图每一个点映射回原始图像中，形成均布图像的anchor生成点，以这些点为参考，省生成预先设置好大小和比率的anchor，而本发明的anchor策略是基于毫米波雷达反馈的点云作为位置先验，即作为anchor生成点，将投影后的毫米波雷达点云数据作为位置先验，即作为anchor生成点，一个anchor生成点生成M组基础anchor，每组基础anchor包括M个预先设定大小和宽高比的anchor样本；则一个anchor生成点生成M×N个anchor样本。在图2中，M＝5，N＝9。
步骤2-2)分别提取每个anchor样本的毫米波雷达点云数据的速度信息和距离信息，计算每个候选区域的速度距离权重W：
Figure BDA0002848695300000051
其中，α和β均为权重系数，α取毫米波雷达测距的最大有效范围的最大值，β值根据道路上车辆的速度来确定，使得
Figure BDA0002848695300000052
最终权重W∈(0,1)；n是一个anchor样本中含有的点云个数，Velocity为毫米波雷达点云数据中的速度信息，Distance为毫米波雷达点云数据中的距离信息。
对于目标的速度和距离信息，距离当前车近并且速度快的目标可以认为是危险系数较高的目标，融合两种信息对候选区域进行评价可以有助于着重学习危险系数较高的目标，提高感知系统的安全性。
步骤2-3)使用速度距离权重综合对anchor样本进行缩放和派生操作，得到最终的anchor样本。
根据生成anchor样本相应位置的点云信息，计算速度距离权重系数，距离较大的目标在视觉图像中更偏向于小目标，速度较大的目标应有更多的anchor生成来保证速度较大目标的正确检出，从而对anchor样本进行缩放和派生操作。
步骤3)获取最终的anchor样本的特征；具体包括：
步骤3-1)提取毫米波雷达点云的散射截面强度信息，将毫米波雷达点云中的散射截面强度与相机图像的RGB信息进行融合；具体包括：
3-1-1)图像RGB信息用(R,G,B)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的图像信息为(R',G',B')；
3-1-2)点云中的反射强度用RCS表示；
3-1-3)将反射强度作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的信息(R',G',B',RCS)。
步骤3-2)使用RestNet50作为特征提取网络，将四通道的信息输入RestNet50，输出原始图像的四通道的信息的特征；
如图3所示的本发明检测网络结构图，本网络搭建、训练、测试的硬件和软件平台为Ubuntu16.04+TITAN RTX+Pytorch1.5+cuda10.0+cudn8.0+python3.6。
网络训练的主要步骤包括：
1)数据集的制作：将已经标注好的点云数据和图像文件制作成Dataset数据集。
2)超参数的设置：初始学习率lr＝0.001，每次更新参数使用的批量值b＝64，迭代训练次数为epoch＝300。
3)损失函数的设置：使用传统的交叉熵损失函数。
4)学习率的更新：并使用余弦退火策略进行降低。
步骤3-3)将最终的anchor样本的区域与原始图像的四通道的信息的特征进行区域对应，获取最终的anchor样本的特征；
步骤4)将最终的anchor样本的特征输入检测网络，生成场景下目标的种类和位置的信息。
所述检测网络采用的是Faster-RCNN网络的形式，包括：定位子网络和回归子网络，定位子网络用于对目标进行定位；回归子网络用于对目标进行分类。检测网络也需要预先进行学习和训练。
本发明的实施例2还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例3
本发明实施例3还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例1中的各个步骤。
本申请的创新点在于：
1、和传统两阶段目标检测网络类似，用特征网络提取语义特征，传统的RPN网络基于特征图的每一点生成预先设定的anchor并形成最终的anchor样本，而本发明为了加速这一过程，基于毫米波雷达点云用RPN网络生成最终的anchor样本特征。
2、和传统的RPN网络不同，本发明的anchor样本要根据速度距离权重来确定，对速度高和距离近的目标以及距离远的目标生成更多的anchor样本，提高高速目标和小目标的检测，挺高整体的检测精度。
3、将传统的ResNet50网络的三个特征与散射截面强度信息相融合，使用融合特征进行学习。
4、对于不同的雷达信息生成对应的雷达点云图像，点云的属性分别为散射截面强度(RCS)，径向速度(Velocity)，距离(Distance)三种信息，的对于不同类型的目标，毫米波雷达的散射截面强度是不一样的。本发明利用毫米波雷达速度和距离信息的融合对检测算法的感兴趣区域提取进行优化，基于毫米波点云的先验信息生成anchor样本，择利用雷达点云速度和距离的融合信息对anchor样本进行选择优化，提高初始提取区域的质量，从而提高网络的收敛速度和最终的检测精度。
5、使用基于Faster RCNN的两阶段检测网络的RPN网络对图像的特征进行提取，并融合雷达的散射截面强度(RCS)提高特征，在视觉可视度不好的情况下的语义特征的学习。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：
基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；
基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；
通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；
将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置信息。
2.根据权利要求1所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；具体包括：
将投影后的毫米波雷达点云数据作为位置先验，即作为anchor生成点，一个anchor生成点生成M组基础anchor，每组基础anchor包括M个预先设定大小和宽高比的anchor样本；则一个anchor生成点生成M×N个anchor样本；
分别提取每个anchor样本的毫米波雷达点云数据的速度信息和距离信息，计算每个候选区域的速度距离权重W：
Figure FDA0002848695290000011
其中，α和β均为权重系数，α取毫米波雷达测距的最大有效范围的最大值，β值根据道路上车辆的速度来确定，使得
Figure FDA0002848695290000012
最终权重W∈(0,1)；n是一个候选区域中含有的点云个数，Velocity为毫米波雷达点云数据中的速度信息，Distance为毫米波雷达点云数据中的距离信息；
使用速度距离权重综合对anchor样本进行缩放和派生操作，得到最终的anchor样本。
3.根据权利要求2所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的anchor样本的特征，具体包括：
相机图像RGB信息用(R,G,B)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的图像信息(R',G',B')；毫米波雷达点云数据中的散射截面强度信息用RCS表示；将RCS作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的信息(R',G',B',RCS)；
使用RestNet50作为特征提取网络，将四通道的信息输入预先训练好的特征提取网络，输出原始图像的四通道的信息的特征；
将最终的anchor样本的区域与原始图像的四通道的信息的特征进行区域对应，获取最终的anchor样本的特征。
4.根据权利要求3所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述方法还包括：特征提取网络的训练步骤；具体包括：
将已经标注好的毫米波雷达点云数据和相机图像制作成Dataset数据集；
初始学习率lr设置为0.001，使用余弦退火策略进行学习率的更新；每次更新参数使用的批量值b＝64，迭代训练次数为epoch＝300；
损失函数采用交叉熵损失函数；采用梯度下降法调整参数，直至特征提取网络收敛。
5.根据权利要求4所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述检测网络采用的是Faster-RCNN网络的形式，包括：定位子网络和回归子网络，定位子网络用于对目标进行定位；回归子网络用于对目标进行分类。
6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-5任一项所述的方法。
CN202011520256.7A 2020-12-21 2020-12-21 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 Active CN112560972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011520256.7A CN112560972B (zh) 2020-12-21 2020-12-21 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
US17/548,615 US11398097B2 (en) 2020-12-21 2021-12-13 Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520256.7A CN112560972B (zh) 2020-12-21 2020-12-21 基于毫米波雷达先验定位和视觉特征融合的目标检测方法

Publications (2)

Publication Number Publication Date
CN112560972A true CN112560972A (zh) 2021-03-26
CN112560972B CN112560972B (zh) 2021-10-08

Family

ID=75031120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520256.7A Active CN112560972B (zh) 2020-12-21 2020-12-21 基于毫米波雷达先验定位和视觉特征融合的目标检测方法

Country Status (2)

Country Link
US (1) US11398097B2 (zh)
CN (1) CN112560972B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222111A (zh) * 2021-04-01 2021-08-06 上海智能网联汽车技术中心有限公司 适应全天候环境的自动驾驶4d感知方法、系统及介质
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113608355A (zh) * 2021-08-06 2021-11-05 湖南龙特科技有限公司 一种基于毫米波雷达和红外热成像仪的交互式显示方式
CN113895482A (zh) * 2021-10-29 2022-01-07 北京埃福瑞科技有限公司 基于轨旁设备的列车测速方法及装置
CN113911174A (zh) * 2021-11-04 2022-01-11 北京埃福瑞科技有限公司 列车的测速方法及装置
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN114758337A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
CN115631483A (zh) * 2022-12-08 2023-01-20 奥特贝睿(天津)科技有限公司 一种基于深度学习的毫米波雷达和相机融合方法
CN115797665A (zh) * 2023-02-02 2023-03-14 深圳佑驾创新科技有限公司 基于图像特征的图像和单帧毫米波雷达目标的匹配方法
CN116363623A (zh) * 2023-01-28 2023-06-30 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117611592A (zh) * 2024-01-24 2024-02-27 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117789198A (zh) * 2024-02-28 2024-03-29 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法
CN117994625A (zh) * 2024-04-07 2024-05-07 苏州大学 基于毫米波雷达的特征融合能见度评估方法及系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239821B (zh) * 2022-07-15 2023-03-31 小米汽车科技有限公司 参数信息确定方法、装置、车辆、电子设备及存储介质
CN115373383A (zh) * 2022-07-15 2022-11-22 广东工业大学 一种垃圾回收无人艇的自主避障方法、装置及相关设备
CN115100377B (zh) * 2022-07-15 2024-06-11 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
CN115236666B (zh) * 2022-07-24 2024-05-07 中国人民解放军91977部队 一种用于雷达目标识别的数据处理方法及装置
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护系统
CN115482672B (zh) * 2022-08-11 2023-12-19 西安天和防务技术股份有限公司 车辆逆行检测的方法、装置、终端设备及存储介质
US20240054064A1 (en) * 2022-08-15 2024-02-15 Bank Of America Corporation System and method for generating a sandbox computing environment for analyzing resource impact
CN115113301B (zh) * 2022-08-23 2022-11-18 南京信息工程大学 一种基于多源数据融合的应急短临预报方法及系统
CN115412844B (zh) * 2022-08-25 2024-05-24 北京大学 一种基于多模态信息联觉的车联网波束实时对准方法
CN115496975B (zh) * 2022-08-29 2023-08-18 锋睿领创(珠海)科技有限公司 辅助加权数据融合方法、装置、设备及存储介质
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质
CN115685185B (zh) * 2022-12-30 2023-03-21 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN115810115B (zh) * 2023-02-08 2023-06-02 深圳佑驾创新科技有限公司 基于图像特征的图像和多帧毫米波雷达目标的融合方法
CN115994589B (zh) * 2023-03-23 2023-05-23 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN116359865B (zh) * 2023-06-02 2023-08-04 上海几何伙伴智能驾驶有限公司 毫米波雷达水平安装角估计方法
CN117158967B (zh) * 2023-07-25 2024-06-04 北京邮电大学 一种基于毫米波感知的人员压力无感连续监测方法及系统
CN116665212B (zh) * 2023-07-31 2023-10-13 福思(杭州)智能科技有限公司 数据标注方法、装置、处理设备、存储介质
CN117031434B (zh) * 2023-10-08 2024-02-20 中国科学技术大学 一种基于毫米波雷达的实时跌倒检测方法
CN117310646B (zh) * 2023-11-27 2024-03-22 南昌大学 基于室内毫米波雷达的轻量化人体姿态识别方法及系统
CN117970318A (zh) * 2024-04-02 2024-05-03 所托(杭州)汽车智能设备有限公司 目标融合方法、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491731A (zh) * 2017-07-17 2017-12-19 南京航空航天大学 一种面向精确打击的地面运动目标检测与识别方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107817483A (zh) * 2017-12-08 2018-03-20 上海禾赛光电科技有限公司 障碍物信息的获取方法及激光雷达系统
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
WO2019145911A2 (en) * 2018-01-26 2019-08-01 3M Innovative Properties Company Stepped radar cross-section target and marking tape
US10402978B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
CN110210574A (zh) * 2019-06-13 2019-09-06 中国科学院自动化研究所 合成孔径雷达图像解译方法、目标识别装置及设备
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111060904A (zh) * 2019-12-25 2020-04-24 中国汽车技术研究中心有限公司 一种基于毫米波与视觉融合感知的盲区监测方法
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111709881A (zh) * 2020-06-21 2020-09-25 北京理明智能科技有限公司 一种类人眼动态分辨率多模融合成像方法
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6281460B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
WO2019073525A1 (ja) * 2017-10-10 2019-04-18 日産自動車株式会社 運転制御方法及び運転制御装置
JP6923458B2 (ja) * 2018-01-22 2021-08-18 日立Astemo株式会社 電子制御装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491731A (zh) * 2017-07-17 2017-12-19 南京航空航天大学 一种面向精确打击的地面运动目标检测与识别方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107817483A (zh) * 2017-12-08 2018-03-20 上海禾赛光电科技有限公司 障碍物信息的获取方法及激光雷达系统
WO2019145911A2 (en) * 2018-01-26 2019-08-01 3M Innovative Properties Company Stepped radar cross-section target and marking tape
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
US10402978B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN110210574A (zh) * 2019-06-13 2019-09-06 中国科学院自动化研究所 合成孔径雷达图像解译方法、目标识别装置及设备
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111060904A (zh) * 2019-12-25 2020-04-24 中国汽车技术研究中心有限公司 一种基于毫米波与视觉融合感知的盲区监测方法
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111709881A (zh) * 2020-06-21 2020-09-25 北京理明智能科技有限公司 一种类人眼动态分辨率多模融合成像方法
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KOYEL BANERJEE等: "Online Camera LiDAR Fusion and Object Detection on Hybrid Data for Autonomous Driving", 《2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
ZHONGTONG LI等: "Vehicle Object Detection Based on RGB-Camera and Radar Sensor Fusion", 《2019 INTERNATIONAL JOINT CONFERENCE ON INFORMATION, MEDIA AND ENGINEERING (IJCIME)》 *
张新钰等: "面向自动驾驶目标检测的深度多模态融合技术", 《智能系统学报》 *
王亚丽: "基于毫米波雷达与机器视觉融合的前方车辆检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
程蕾: "基于毫米波雷达和机器视觉的夜间前方车辆检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
CN113222111A (zh) * 2021-04-01 2021-08-06 上海智能网联汽车技术中心有限公司 适应全天候环境的自动驾驶4d感知方法、系统及介质
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113408454B (zh) * 2021-06-29 2024-02-06 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113608355A (zh) * 2021-08-06 2021-11-05 湖南龙特科技有限公司 一种基于毫米波雷达和红外热成像仪的交互式显示方式
CN113895482A (zh) * 2021-10-29 2022-01-07 北京埃福瑞科技有限公司 基于轨旁设备的列车测速方法及装置
CN113895482B (zh) * 2021-10-29 2024-03-15 北京埃福瑞科技有限公司 基于轨旁设备的列车测速方法及装置
CN113911174A (zh) * 2021-11-04 2022-01-11 北京埃福瑞科技有限公司 列车的测速方法及装置
CN113911174B (zh) * 2021-11-04 2024-04-12 北京埃福瑞科技有限公司 列车的测速方法及装置
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114758337A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN114758337B (zh) * 2022-06-16 2022-10-28 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN115631483A (zh) * 2022-12-08 2023-01-20 奥特贝睿(天津)科技有限公司 一种基于深度学习的毫米波雷达和相机融合方法
CN116363623A (zh) * 2023-01-28 2023-06-30 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法
CN116363623B (zh) * 2023-01-28 2023-10-20 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法
CN115797665A (zh) * 2023-02-02 2023-03-14 深圳佑驾创新科技有限公司 基于图像特征的图像和单帧毫米波雷达目标的匹配方法
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117611592A (zh) * 2024-01-24 2024-02-27 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117611592B (zh) * 2024-01-24 2024-04-05 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117789198A (zh) * 2024-02-28 2024-03-29 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法
CN117789198B (zh) * 2024-02-28 2024-05-14 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法
CN117994625A (zh) * 2024-04-07 2024-05-07 苏州大学 基于毫米波雷达的特征融合能见度评估方法及系统

Also Published As

Publication number Publication date
CN112560972B (zh) 2021-10-08
US11398097B2 (en) 2022-07-26
US20220198806A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN112560972B (zh) 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
US11380089B1 (en) All-weather target detection method based on vision and millimeter wave fusion
CN113158763B (zh) 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US20230072637A1 (en) Vehicle Drivable Area Detection Method, System, and Autonomous Vehicle Using the System
US20210124013A1 (en) Signal processing apparatus, signal processing method, and program
CN109683170B (zh) 一种图像行驶区域标注方法、装置、车载设备及存储介质
US11120276B1 (en) Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
CN113065590B (zh) 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP5598694B2 (ja) 物標検出装置および物標検出方法
US11200432B2 (en) Method and apparatus for determining driving information
Li et al. A feature pyramid fusion detection algorithm based on radar and camera sensor
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN110647801A (zh) 设置感兴趣区域的方法、装置、存储介质及电子设备
Stroescu et al. Object detection on radar imagery for autonomous driving using deep neural networks
CN114037972A (zh) 目标检测方法、装置、设备及可读存储介质
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN113011380A (zh) 一种毫米波雷达视觉前置融合装置及目标识别方法
CN112529011A (zh) 目标检测方法及相关装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN115797665A (zh) 基于图像特征的图像和单帧毫米波雷达目标的匹配方法
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
CN116433712A (zh) 基于多传感器时序感知结果前融合的融合追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant