CN113011380A - 一种毫米波雷达视觉前置融合装置及目标识别方法 - Google Patents

一种毫米波雷达视觉前置融合装置及目标识别方法 Download PDF

Info

Publication number
CN113011380A
CN113011380A CN202110383016.5A CN202110383016A CN113011380A CN 113011380 A CN113011380 A CN 113011380A CN 202110383016 A CN202110383016 A CN 202110383016A CN 113011380 A CN113011380 A CN 113011380A
Authority
CN
China
Prior art keywords
target
radar
data
fusion
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110383016.5A
Other languages
English (en)
Inventor
毕欣
杨士超
熊璐
许志秋
张博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110383016.5A priority Critical patent/CN113011380A/zh
Publication of CN113011380A publication Critical patent/CN113011380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种毫米波雷达视觉前置融合装置及目标识别方法，属于汽车自动化控制技术领域，其中，毫米波雷达视觉前置融合装置，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；本发明，能够将视觉数据采集模块采集的图像数据和雷达数据采集模块采集的雷达数据进行中间特征层的融合处理，最终达到自车前方区域3D目标的精确检测，为自车的行驶过程中的安全避障提供了保障。

Description

一种毫米波雷达视觉前置融合装置及目标识别方法
技术领域
本发明属于汽车自动化控制技术领域，具体涉及一种毫米波雷达视觉前置融合装置及目标识别方法。
背景技术
激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。3D目标检测在自动驾驶领域应用广泛，而激光雷达(Lidar)和摄像头数据的融合常用来进行高精度的3D目标检测，但其仍有一些缺点。比如对远处目标检测不精确、对天气敏感(雨雪大雾天气等)，而且不能直接得到目标的速度。而低成本的雷达则相对具有天然优势：无惧恶劣天气，长远距离检测能力强，且天然还有目标速度信息。但雷达数据更加稀疏，不能直接将激光雷达的方法直接套用，数据在输入层和后处理部分的融合不能取得很好的效果。将摄像头采集的图像数据和雷达数据进行中间特征层的融合，以达到精确的3D目标检测。
发明内容
本发明的目的在于提供一种毫米波雷达视觉前置融合装置及目标识别方法，以解决上述背景技术中提出的问题。
根据发明的第一方面，本发明提出了一种毫米波雷达视觉前置融合装置，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；
所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；
所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；
所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；
所述算法模块，被连接到数据融合电路模块，用于对预处理后的多维数据通过融合学习算法进行识别感知。
进一步地，所述该毫米波雷达视觉前置融合装置还包括：
供电模块，用于对数据融合电路模块和算法模块进行工作供电；
显示模块，被连接到算法模块，用于将识别感知结果以画面的形式进行展示。
根据发明的第二方面，本发明提出了一种毫米波雷达视觉前置融合目标识别方法，包括以下步骤：
S1、首先使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息；
S2、将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联；
S3、将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。
进一步地，所述S1中使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息具体为采用的对象检测网络，检测图像平面上的对象中心点，并回归到三维定位、方向、维度等其他对象属性，包括：
将雷达探测与相应物体的中心点联系起来，并利用雷达和图像特征，通过重新估计其深度、速度、旋转和属性来改进初步检测；
中心点对象检测网络会为图像中的每个对象类别生成一个热图，热图中的峰值表示对象可能的中心点，并且这些位置的图像特征用于估计其他对象属性。
进一步地，所述S2中将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联包括：
在三维空间视锥法找到对应目标的示意图，并将雷达点扩展到三维柱。
进一步地，所述S3中将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归，包括：
生成的特征图作为额外的通道连接到图像特征，这些特征被用作二次回归头的输入，以重新计算对象的深度、旋转、速度和属性；
其中，速度回归头估计物体在车辆坐标系中的实际速度的x和y分量；
属性回归头估计不同对象类的不同属性，例如为Car类移动或停放，为行人类站立或坐；
二次回归头由三个卷积层和3个×3个核组成，然后是1×1个卷积层，以产生所需的输出，与主要回归头相比，额外的卷积层有助于从雷达特征映射中学习更高层次的特征；
将回归头结果解码为3D边界框，随后框解码器块使用从二次回归头中估计的深度、速度、旋转和属性，并从主回归头中获取其他对象属性。
与现有技术相比，本发明的有益效果是：
本发明，能够将视觉数据采集模块(摄像头)采集的图像数据和雷达数据采集模块采集的雷达数据进行中间特征层的融合处理，最终达到自车前方区域3D目标的精确检测，为自车的行驶过程中的安全避障提供了保障。
附图说明
图1为本发明的毫米波雷达视觉前置融合装置结构示意图。
图2为本发明的前置融合工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例的第一方面，提供一种毫米波雷达视觉前置融合装置，该前置融合装置10包括视觉数据采集模块101、雷达数据采集模块104、数据融合电路模块102和算法模块103；
所述视觉数据采集模块101，用于采集自车行驶区域前方物体的视觉数据；
所述雷达数据采集模块104，用于采集自车行驶区域前方物体的雷达数据；
所述数据融合电路模块102，用于将采集到的视觉数据和雷达数据进行融合处理；
所述算法模块103，被连接到数据融合电路模块102，用于对预处理后的多维数据通过融合学习算法进行识别感知。
其中，该毫米波雷达视觉前置融合装置10还包括：
供电模块105，用于对数据融合电路模块102和算法模块103进行工作供电；
显示模块106，被连接到算法模块，用于将识别感知结果以画面的形式进行展示。
本实施例的第二方面，如图2所示，提供一种毫米波雷达视觉前置融合目标识别方法，包括以下步骤：
S1、首先使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息；
S2、将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联；
S3、将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。
进一步地，所述S1中使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息具体为采用的对象检测网络，检测图像平面上的对象中心点，并回归到三维定位、方向、维度等其他对象属性，包括：
将雷达探测与相应物体的中心点联系起来，并利用雷达和图像特征，通过重新估计其深度、速度、旋转和属性来改进初步检测；
中心点对象检测网络会为图像中的每个对象类别生成一个热图，热图中的峰值表示对象可能的中心点，并且这些位置的图像特征用于估计其他对象属性。
其中，所述S2中将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联包括：
在三维空间视锥法找到对应目标的示意图，并将雷达点扩展到三维柱。
其中，所述S3中将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归，包括：
生成的特征图作为额外的通道连接到图像特征，这些特征被用作二次回归头的输入，以重新计算对象的深度、旋转、速度和属性；
具体的，速度回归头估计物体在车辆坐标系中的实际速度的x和y分量；
属性回归头估计不同对象类的不同属性，例如为Car类移动或停放，为行人类站立或坐；
二次回归头由三个卷积层和3个×3个核组成，然后是1×1个卷积层，以产生所需的输出，与主要回归头相比，额外的卷积层有助于从雷达特征映射中学习更高层次的特征；
将回归头结果解码为3D边界框，随后框解码器块使用从二次回归头中估计的深度、速度、旋转和属性，并从主回归头中获取其他对象属性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种毫米波雷达视觉前置融合装置，其特征在于，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；
所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；
所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；
所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；
所述算法模块，被连接到数据融合电路模块，用于对预处理后的多维数据通过融合学习算法进行识别感知。
2.根据权利要求1所述的一种毫米波雷达视觉前置融合装置，其特征在于，所述该毫米波雷达视觉前置融合装置还包括：
供电模块，用于对数据融合电路模块和算法模块进行工作供电；
显示模块，被连接到算法模块，用于将识别感知结果以画面的形式进行展示。
3.一种毫米波雷达视觉前置融合目标识别方法，其特征在于，包括以下步骤：
S1、首先使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息；
S2、将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联；
S3、将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。
4.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于,所述S1中使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息具体为采用的对象检测网络，检测图像平面上的对象中心点，并回归到三维定位、方向、维度等其他对象属性，包括：
将雷达探测与相应物体的中心点联系起来，并利用雷达和图像特征，通过重新估计其深度、速度、旋转和属性来改进初步检测；
中心点对象检测网络会为图像中的每个对象类别生成一个热图，热图中的峰值表示对象可能的中心点，并且这些位置的图像特征用于估计其他对象属性。
5.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于，所述S2中将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联包括：
在三维空间视锥法找到对应目标的示意图，并将雷达点扩展到三维柱。
6.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于，所述S3中将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归，包括：
生成的特征图作为额外的通道连接到图像特征，这些特征被用作二次回归头的输入，以重新计算对象的深度、旋转、速度和属性；
其中，速度回归头估计物体在车辆坐标系中的实际速度的x和y分量；
属性回归头估计不同对象类的不同属性，例如为Car类移动或停放，为行人类站立或坐；
二次回归头由三个卷积层和3个×3个核组成，然后是1×1个卷积层，以产生所需的输出，与主要回归头相比，额外的卷积层有助于从雷达特征映射中学习更高层次的特征；
将回归头结果解码为3D边界框，随后框解码器块使用从二次回归头中估计的深度、速度、旋转和属性，并从主回归头中获取其他对象属性。
CN202110383016.5A 2021-04-09 2021-04-09 一种毫米波雷达视觉前置融合装置及目标识别方法 Pending CN113011380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383016.5A CN113011380A (zh) 2021-04-09 2021-04-09 一种毫米波雷达视觉前置融合装置及目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110383016.5A CN113011380A (zh) 2021-04-09 2021-04-09 一种毫米波雷达视觉前置融合装置及目标识别方法

Publications (1)

Publication Number Publication Date
CN113011380A true CN113011380A (zh) 2021-06-22

Family

ID=76388144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110383016.5A Pending CN113011380A (zh) 2021-04-09 2021-04-09 一种毫米波雷达视觉前置融合装置及目标识别方法

Country Status (1)

Country Link
CN (1) CN113011380A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627351A (zh) * 2022-02-18 2022-06-14 电子科技大学 一种基于视觉和毫米波雷达的融合深度估计方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN111098786A (zh) * 2020-03-19 2020-05-05 南京泰晟科技实业有限公司 基于视觉和毫米波雷达融合的商用车安全驾驶辅助系统
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111832410A (zh) * 2020-06-09 2020-10-27 北京航空航天大学 一种基于视觉与激光雷达融合的前向列车检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111098786A (zh) * 2020-03-19 2020-05-05 南京泰晟科技实业有限公司 基于视觉和毫米波雷达融合的商用车安全驾驶辅助系统
CN111832410A (zh) * 2020-06-09 2020-10-27 北京航空航天大学 一种基于视觉与激光雷达融合的前向列车检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAMIN NABATI, HAIRONG QI: ""CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection"", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627351A (zh) * 2022-02-18 2022-06-14 电子科技大学 一种基于视觉和毫米波雷达的融合深度估计方法
CN114627351B (zh) * 2022-02-18 2023-05-16 电子科技大学 一种基于视觉和毫米波雷达的融合深度估计方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

Similar Documents

Publication Publication Date Title
CN112560972B (zh) 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
US11915470B2 (en) Target detection method based on fusion of vision, lidar, and millimeter wave radar
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
WO2020259284A1 (zh) 一种障碍物检测方法及装置
CN113011380A (zh) 一种毫米波雷达视觉前置融合装置及目标识别方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111123262B (zh) 自动驾驶3d建模方法、装置及系统
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN114092778A (zh) 基于表征学习的雷达摄像头数据融合系统及方法
Ennajar et al. Deep multi-modal object detection for autonomous driving
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN114419591A (zh) 一种基于c-v2x的多传感器信息融合车辆检测方法
CN114037969A (zh) 基于雷达点云和图像融合的自动驾驶车道信息检测方法
Chen et al. A detection method of nearest point of automobile distance in parking assist system
CN116363615B (zh) 数据融合方法、装置、车辆和存储介质
Anand et al. BEV Approach Based Efficient Object Detection using YoloV4 for LiDAR Point Cloud
CN114943945A (zh) 一种基于遮罩投影的远距离目标检测方法
Ma et al. P‐16.2: A Review of Obstacle Detection based on Multi‐sensor Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622

RJ01 Rejection of invention patent application after publication