CN114152942A - 一种毫米波雷达与视觉二阶融合多分类目标检测方法 - Google Patents

一种毫米波雷达与视觉二阶融合多分类目标检测方法 Download PDF

Info

Publication number
CN114152942A
CN114152942A CN202111488126.4A CN202111488126A CN114152942A CN 114152942 A CN114152942 A CN 114152942A CN 202111488126 A CN202111488126 A CN 202111488126A CN 114152942 A CN114152942 A CN 114152942A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
camera
detection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111488126.4A
Other languages
English (en)
Other versions
CN114152942B (zh
Inventor
魏超
王鹏
李路兴
钱歆昊
王励志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Beijing Institute of Technology BIT
Original Assignee
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing, Beijing Institute of Technology BIT filed Critical Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Priority to CN202111488126.4A priority Critical patent/CN114152942B/zh
Publication of CN114152942A publication Critical patent/CN114152942A/zh
Application granted granted Critical
Publication of CN114152942B publication Critical patent/CN114152942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括：基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；对毫米波雷达发出的can报文进行解析和滤波，获得毫米波雷达检测信息，将毫米波雷达检测信息以第一形式进行广播；预设目标类别，基于目标类别对相机获得的每帧图像进行检测，获取视觉检测框信息，将视觉检测框信息以第二形式进行广播；对第一广播和第二广播进行监听，同时收到广播时采集毫米波雷达检测信息和视觉检测框信息进行处理，输出最终目标检测结果。本方法从后融合角度有效解决了多类别检测目标匹配问题，使得毫米波雷达和相机的检测信息互补，尽可能减少漏检情况，提高了自动驾驶的安全性。

Description

一种毫米波雷达与视觉二阶融合多分类目标检测方法
技术领域
本发明属于自动驾驶领域，特别是涉及一种毫米波雷达与视觉二阶融合多分类目标检测方法。
背景技术
近年自动驾驶汽车一直是热门研究方向，目前车辆控制方向已经比较成熟，而智能汽车的环境感知方向仍存在较多难以解决的问题。其中之一是单一传感器总是存在一定的缺陷，无法同时满足对目标的识别、定位和状态估计要求，且容易出现漏检或误检的情况，因此多传感器融合成为环境感知方向的发展趋势。
毫米波雷达探测距离远，能得到目标的位置、速度、运动状态信息，能适应大部分汽车使用工况，但无法识别目标；使用相机采集的图片信息结合深度学习神经网络可以对目标进行比较准确的分类，但由于缺少深度信息，无法与现实三维物体建立准确的映射关系，因此考虑采用这两者传感器融合的方案，实现功能互补。
目前有两类实现方法，一类是前融合，把毫米波雷达信息与视觉信息结合再输入神经网络得到目标的检测结果，前融合方法开发难度较大，难以适应多变的环境，采用的神经网络通常较复杂，计算量大，相机和毫米波雷达两种传感器相互依赖，一种传感器故障会导致整个工作系统失效。另一类是后融合，该方法只能针对某一种特定的目标进行识别，无法满足实际场景的使用需求。无一例外，这些方法同属一阶融合方法，融合过程筛选标准单一，容易出现差错。一旦环境感知过程出现问题，则会导致决策系统、控制系统一系列错误，难以保证汽车的安全性。
发明内容
本发明的目的是提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，以解决现有技术中存在的自动驾驶领域中多传感器融合的问题。
为实现上述目的，本发明提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括：
基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；
对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播，所述第一广播为以第一形式进行广播；
预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，将所述视觉检测框信息进行第二广播，所述第二广播为以第二形式进行广播；
对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果。
可选的，基于所述标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵的过程中包括：
将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变；
其中所述毫米波雷达固定于汽车前保险杠中央偏上方位置，所述相机通过支架固定在车顶中央；
微调所述相机的角度，将所述相机对准待检测区域，使用ROS标定工具箱标定所述相机，获得所述相机的内参矩阵；
基于所述ROS标定工具箱标定所述毫米波雷达和所述相机，获得所述毫米波雷达与所述相机的外参矩阵。
可选的，对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播的过程中包括：
对所述毫米波雷达发出的原始can报文进行解析，并基于输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，获得毫米波雷达检测信息；
将所述毫米波雷达检测信息以所述第一形式进行广播，所述第一形式为自定义ROS topic/delphi_esr形式。
可选的，预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，对所述视觉检测框信息进行第二广播的过程中包括：
预设待检测目标物的目标类别，基于所述目标类别，采用YOLO网络对所述相机获取的每帧图像进行全局目标检测，并获取视觉检测框信息，所述视觉检测框信息包括目标物在图片上的位置、类别和置信度；
将所述视觉检测框信息以所述第二形式进行广播，所述第二形式为以YOLO定义的ROS topic/bounding_boxes形式；
若在图像中没有检测到所述目标类别，则不进行第二广播。
可选的，对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果的过程中包括：
使用多线程方式监听所述第一广播和所述第二广播；
同时收到所述第一广播和所述第二广播时，采集所述毫米波雷达检测信息和所述视觉检测框信息；
基于主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理，输出待测目标在图像上的位置、类别、速度。
可选的，基于所述主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理的过程中包括：
接收所述毫米波雷达检测信息，并将所有毫米波雷达检测点通过投影运算变换到像素坐标系；
进行一阶融合：基于所述视觉检测框信息获得视觉检测框，采用模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点；
进行二阶融合：对每个所述视觉检测框，通过maxIOUs方式从所述候选点中选取最佳毫米波雷达检测点。
可选的，进行一阶融合时，采用所述模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点的过程中包括：
在像素坐标系下，计算所有所述视觉检测框的中心点和所有所述毫米波雷达检测点的欧氏距离，对所述欧氏距离和视觉检测框的长宽之和进行归一化处理，获得代价矩阵的影响系数；
在相机坐标系下，通过小孔成像模型计算待测目标距相机光心的距离，作为第一距离，以毫米波雷达检测点距所述相机光心的距离作为第二距离，将所述第一距离和所述第二距离之差的绝对值作为匹配代价；
基于所述代价矩阵的影响系数和所述匹配代价构建代价矩阵，基于所述代价矩阵计算代价值；
设置代价阈值，取所有所述代价值小于所述代价阈值的毫米波雷达检测点，若所述毫米波雷达检测点的数量多于三个，则取所述代价值最小的三个毫米波雷达检测点作为候选点。
可选的，进行二阶融合时，对每个所述视觉检测框，通过maxIOUs方式从所述候选点中选取最佳毫米波雷达检测点的过程中包括：
以每个所述视觉检测框的若干个候选点为中心，选取五组值作为锚框基本大小；
结合所述视觉检测框的宽高比调整所述锚框的形状，生成N×5个所述锚框；
分别计算N×5个所述锚框与所述视觉检测框的交并比，取所述交并比最大的锚框对应的毫米波雷达检测点作为所述视觉检测框的最佳毫米波雷达检测点。
可选的，对所述第一广播和所述第二广播进行监听的过程中还包括：
仅收到所述第一广播，采集所述毫米波雷达检测信息；
基于副回调函数对所述毫米波雷达检测信息进行处理；
只保留毫米波雷达检测点在相机像素坐标系的投影点。
可选的，所述主回调函数和所述副回调函数之间使用flag实现互锁。
本发明的技术效果为：
本发明基于ROS系统开发，实现了毫米波雷达与相机的数据融合，并且预留了接口，可以应对更多数量的相同类型的传感器，在安装有ROS系统的计算机上移植便利。本发明通过后处理方式融合两种传感器的数据，可以沿用一般视觉检测的数据集，不需要额外定制数据集，通过训练前的配置文件设定可识别对象的类别。本发明使用二阶匹配策略，先对视觉检测结果和毫米波雷达检测点进行一轮预匹配，再根据视觉检测框的宽高比生成相应毫米波雷达检测点的检测框，最后计算视觉检测框和雷达检测框之间的交并比筛选出最佳匹配结果，本方法从后融合角度有效解决了多类别检测目标匹配问题，使得毫米波雷达和相机的检测信息互补，尽可能减少漏检情况，提高了自动驾驶的安全性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的一种毫米波雷达与视觉二阶融合多分类目标检测方法的流程图；
图2为本发明实施例中的预匹配过程的流程图；
图3为本发明实施例中的主回调函数与副回调函数互斥锁的示意图；
图4为本发明实施例中的ROS节点拓扑图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本实施例中提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括以下步骤：
步骤1，将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变，毫米波雷达固定于汽车前保险杠中央偏上方位置，并且保证毫米波雷达的安装精度要求，相机通过支架固定在车顶中央，保证相机视野开阔；
步骤2，微调相机的角度，将相机对准待检测区域，使用ROS标定工具箱标定相机，获得相机的内参矩阵，使用毫米波雷达与相机标定工具，获得两者的外参矩阵；
步骤3.1，解析毫米波雷达发出的can报文，根据输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，以自定义ROS topic/delphi_esr形式广播；
步骤3.2，设置预定义目标类别，视觉检测模块使用YOLO网络，对相机的每一帧图片进行全局目标检测，得到该时刻的一组目标检测结果，包括目标物在图片上的位置、类别和置信度，以YOLO定义的ROS topic/bounding_boxes形式广播，若该帧图片没有检测到预定义目标类别，则不发出topic；
步骤4，通过ROS时间同步模块，使用多线程方式监听/delphi_esr和/bounding_boxes，获取近似同一时刻的毫米波雷达信息与视觉检测框信息；若同时收到两者的检测信息，则执行主回调函数；若只有毫米波雷达检测信息，则执行副回调函数，主回调函数和副回调函数之间使用flag实现互锁；
步骤4.1，接收毫米波雷达滤波后的检测信息，将所有毫米波雷达检测点通过投影运算变换到相机像素坐标系；
步骤4.2，一阶融合，采用模糊匹配策略对每一个视觉检测框初步选定可能匹配的毫米波雷达检测点；
如图2所示，一般毫米波毫米波雷达检测点可以反映物体的深度信息，但无法反映对应的物体的形态特征，如果直接将该点与视觉检测框匹配容易出现大量误匹配的问题，本发明充分利用深度信息在像素坐标系与相机坐标系的两种不同表现形式，将这两种深度信息评估方式结合起来作为预匹配的依据，初步选定毫米波雷达与视觉检测框可能的对应关系，对每个视觉检测框选取至多3个候选毫米波毫米波雷达检测点。
步骤4.2.1，对所有视觉检测框∑camera_bboxi和所有像素坐标系下的毫米波毫米波雷达检测点∑radar_pointj，计算∑camera_bboxi的中心点和∑radar_pointj的欧式距离与camera_bboxi长宽之和归一化处理，定义为像素距离损失λij，作为代价矩阵的影响系数，
Figure BDA0003398136590000081
步骤4.2.2，camera_rangei为第i个视觉识别目标通过小孔成像模型估计其在相机坐标系下距相机光心的距离，取物体的像素宽度作为测距的依据，f表示相机的焦距，p为相机的像素尺寸，m为物体的真实宽度，经测试目标物是小型乘用车时，m＝1.8米，目标物是人时，m＝0.5米，目标物是大型汽车时，m＝2.5米，u为单目相机距离估计结果，单位：米。
Figure BDA0003398136590000091
radar_rangej为第j个毫米波雷达检测点的在相机坐标系下距相机光心的距离，取两者之差的绝对值定义为三维距离损失cost_rawij，作为匹配代价。
cost_rawij＝abs(camera_rangei-radar_rangej)；
步骤4.2.3，构建代价矩阵cost，costij＝λij×cost_rawij；
步骤4.2.4，设置阈值cost_key，对代价矩阵每一行costi，取所有满足costij<cost_key的毫米波雷达检测点，若多于3个，则只取3个最小的costij对应的radar_pointj作为候选点。
步骤4.3，二阶融合，通过maxIOUs方式对每个视觉检测框从初步匹配的毫米波雷达检测点中选取最佳的一个。以每一个视觉检测框的N个候选点为中心，选取[32,64,128,256,384]五组值作为锚框基本大小，再结合视觉检测框的宽高比调整锚框形状，生成N×5个锚框，分别计算这N×5个锚框与视觉检测框的交并比，取交并比最大的锚框对应的毫米波雷达检测点作为该视觉框的最终匹配结果，其中这五个值是经过实验获得的，与本实施例使用的相机配套效果较好，能够覆盖检测目标从近及远大概0-50米范围。具体取值需要通过实验获得，尽量接近2的幂指数；
将五组值作为锚框基本大小，再结合视觉检测框的宽高比调整锚框形状的方法：把这五个值作为锚框的初始边长，获得同中心的五个矩形框，之后再保持锚框面积不变，调整宽高比。
步骤5，对匹配成功的目标，输出其在图像上的位置、类别、速度，对匹配失败的目标，只保留毫米波雷达检测点在相机像素坐标系的投影点。
图3是主回调函数与副回调函数协调工作分配示意图，主回调函数和副回调函数之间使用flag实现互锁，首先设置flag默认值为false，若执行主回调函数，则flag赋值true，此时副回调函数被抑制，该轮计算完成后，flag值更新为false；若主回调函数不执行，flag为false，此时副回调函数正常执行，flag更新为false。
图4是本发明的节点拓扑图，本发明使用的硬件和软件平台为Ubuntu18.04+RTX2070+ROS Melodic+cuda10.2+cudnn10.2。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种毫米波雷达与视觉二阶融合多分类目标检测方法，其特征在于，包括以下步骤：
基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；
对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播，所述第一广播为以第一形式进行广播；
预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，将所述视觉检测框信息进行第二广播，所述第二广播为以第二形式进行广播；
对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果。
2.根据权利要求1所述的方法，其特征在于，基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵的过程中包括：
将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变；
其中所述毫米波雷达固定于汽车前保险杠中央偏上方位置，所述相机通过支架固定在车顶中央；
微调所述相机的角度，将所述相机对准待检测区域，使用ROS标定工具箱标定所述相机，获得所述相机的内参矩阵；
基于所述ROS标定工具箱标定所述毫米波雷达和所述相机，获得所述毫米波雷达与所述相机的外参矩阵。
3.根据权利要求1所述的方法，其特征在于，对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播的过程中包括：
对所述毫米波雷达发出的原始can报文进行解析，并基于输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，获得毫米波雷达检测信息；
将所述毫米波雷达检测信息以所述第一形式进行广播，所述第一形式为自定义ROStopic/delphi_esr形式。
4.根据权利要求1所述的方法，其特征在于，预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，对所述视觉检测框信息进行第二广播的过程中包括：
预设待检测目标物的目标类别，基于所述目标类别，采用YOLO网络对所述相机获取的每帧图像进行全局目标检测，并获取视觉检测框信息，所述视觉检测框信息包括目标物在图片上的位置、类别和置信度；
将所述视觉检测框信息以所述第二形式进行广播，所述第二形式为以YOLO定义的ROStopic/bounding_boxes形式；
若在图像中没有检测到所述目标类别，则不进行第二广播。
5.根据权利要求1所述的方法，其特征在于，对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果的过程中包括：
使用多线程方式监听所述第一广播和所述第二广播；
同时收到所述第一广播和所述第二广播时，采集所述毫米波雷达检测信息和所述视觉检测框信息；
基于主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理，输出待测目标在图像上的位置、类别、速度。
6.根据权利要求5所述的方法，其特征在于，基于所述主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理的过程中包括：
接收所述毫米波雷达检测信息，并将所有毫米波雷达检测点通过投影运算变换到像素坐标系；
进行一阶融合：基于所述视觉检测框信息获得视觉检测框，采用模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点；
进行二阶融合：对每个所述视觉检测框，通过maxIOUs方式从所述候选点中选取最佳毫米波雷达检测点。
7.根据权利要求6所述的方法，其特征在于，进行一阶融合时，采用所述模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点的过程中包括：
在像素坐标系下，计算所有所述视觉检测框的中心点和所有所述毫米波雷达检测点的欧氏距离，对所述欧氏距离和视觉检测框的长宽之和进行归一化处理，获得代价矩阵的影响系数；
在相机坐标系下，通过小孔成像模型计算待测目标距相机光心的距离，作为第一距离，以毫米波雷达检测点距所述相机光心的距离作为第二距离，将所述第一距离和所述第二距离之差的绝对值作为匹配代价；
基于所述代价矩阵的影响系数和所述匹配代价构建代价矩阵，基于所述代价矩阵计算代价值；
设置代价阈值，取所有所述代价值小于所述代价阈值的毫米波雷达检测点，若所述毫米波雷达检测点的数量多于三个，则取所述代价值最小的三个毫米波雷达检测点作为候选点。
8.根据权利要求6所述的方法，其特征在于，进行二阶融合时，对每个所述视觉检测框，通过maxIOUs方式从所述候选点中选取最佳毫米波雷达检测点的过程中包括：
以每个所述视觉检测框的若干个候选点为中心，选取五组值作为锚框基本大小；
结合所述视觉检测框的宽高比调整所述锚框的形状，生成N×5个所述锚框；
分别计算N×5个所述锚框与所述视觉检测框的交并比，取所述交并比最大的锚框对应的毫米波雷达检测点作为所述视觉检测框的最佳毫米波雷达检测点。
9.根据权利要求5所述的方法，其特征在于，对所述第一广播和所述第二广播进行监听的过程中还包括：
仅收到所述第一广播，采集所述毫米波雷达检测信息；
基于副回调函数对所述毫米波雷达检测信息进行处理；
只保留毫米波雷达检测点在相机像素坐标系的投影点。
10.根据权利要求5或9所述的方法，其特征在于，所述主回调函数和所述副回调函数之间使用flag实现互锁。
CN202111488126.4A 2021-12-08 2021-12-08 一种毫米波雷达与视觉二阶融合多分类目标检测方法 Active CN114152942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111488126.4A CN114152942B (zh) 2021-12-08 2021-12-08 一种毫米波雷达与视觉二阶融合多分类目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111488126.4A CN114152942B (zh) 2021-12-08 2021-12-08 一种毫米波雷达与视觉二阶融合多分类目标检测方法

Publications (2)

Publication Number Publication Date
CN114152942A true CN114152942A (zh) 2022-03-08
CN114152942B CN114152942B (zh) 2022-08-05

Family

ID=80453310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111488126.4A Active CN114152942B (zh) 2021-12-08 2021-12-08 一种毫米波雷达与视觉二阶融合多分类目标检测方法

Country Status (1)

Country Link
CN (1) CN114152942B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN110796194A (zh) * 2019-10-29 2020-02-14 中国人民解放军国防科技大学 一种用于多传感器信息的目标检测结果融合判定方法
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
US20200409372A1 (en) * 2018-03-20 2020-12-31 Huawei Technologies Co., Ltd. Data fusion method and related device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
US20200409372A1 (en) * 2018-03-20 2020-12-31 Huawei Technologies Co., Ltd. Data fusion method and related device
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN110796194A (zh) * 2019-10-29 2020-02-14 中国人民解放军国防科技大学 一种用于多传感器信息的目标检测结果融合判定方法
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MO CHUNMEI等: ""Obstacles detection based on millimetre-wave radar and image fusion techniques"", 《IET INTERNATIONAL CONFERENCE ON INTELLIGENT AND CONNECTED VEHICLES (ICV 2016)》 *
SIYANG HAN等: ""Frontal object perception for Intelligent Vehicles based on radar and camera fusion"", 《2016 35TH CHINESE CONTROL CONFERENCE (CCC)》 *
刘雷: ""基于毫米波雷达与视觉融合的前方车辆检测"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Also Published As

Publication number Publication date
CN114152942B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN108596081B (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN109949372B (zh) 一种激光雷达与视觉联合标定方法
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN107230218B (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
CN105335955B (zh) 对象检测方法和对象检测装置
EP3961256A1 (en) Dataset establishment method, vehicle, and storage medium
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
US20100194883A1 (en) Configuration module for a surveillance system, surveillance system, method for configuring the surveillance system, and computer program
CN112949782A (zh) 一种目标检测方法、装置、设备及存储介质
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
CN116148801B (zh) 一种基于毫米波雷达的目标检测方法及系统
CN112017243B (zh) 一种介质能见度识别方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN114152942B (zh) 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN114037972A (zh) 目标检测方法、装置、设备及可读存储介质
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN114758504A (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant