CN114814827A - 基于4d毫米波雷达与视觉融合的行人分类方法及系统 - Google Patents

基于4d毫米波雷达与视觉融合的行人分类方法及系统 Download PDF

Info

Publication number
CN114814827A
CN114814827A CN202210417615.9A CN202210417615A CN114814827A CN 114814827 A CN114814827 A CN 114814827A CN 202210417615 A CN202210417615 A CN 202210417615A CN 114814827 A CN114814827 A CN 114814827A
Authority
CN
China
Prior art keywords
point cloud
pedestrian
classifier
millimeter wave
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210417615.9A
Other languages
English (en)
Inventor
李保江
冯博询
杨德钲
王明明
顾炎飚
岳玉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Original Assignee
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Depth Perception Technology Research Institute Co ltd filed Critical Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority to CN202210417615.9A priority Critical patent/CN114814827A/zh
Publication of CN114814827A publication Critical patent/CN114814827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于4D毫米波雷达与视觉融合的行人分类方法及系统。其中，本发明将双目摄像头获取的图像信号进行处理后形成深度图像信息和伪激光雷达点云信息，并利用伪激光雷达点云信息来更新4D毫米波雷达获取的行人目标点云簇，以克服雷达获取的点云信号稀疏问题，增强了所获取的三维信息的可靠性。以及，本发明还采用第一分类器对更新后的行人目标点云簇进行分类，采用第二分类器对深度图像信息进行分类；对第一分类结果和第二分类结果进行置信度融合处理，以获得行人分类结果。则通过第一分类器和第二分类器的同步作用，以及利用置信度的融合处理有助于提高行人目标分类的准确性和实时性，以保障智能车高级辅助驾驶系统的安全性和可靠性。

Description

基于4D毫米波雷达与视觉融合的行人分类方法及系统
技术领域
本发明涉及智能车辅助驾驶技术领域，特别涉及一种基于4D毫米波雷达与视觉融合的行人分类方法及系统。
背景技术
现阶段，智能车辅助驾驶逐渐成为汽车行业的热点和发展趋势，越来越多的汽车企业已经在车内配备高级辅助驾驶系统(Advanced Driving Assistance System，ADAS)。其中，行人作为典型的弱势道路使用者(Vulnerable Road Users，VRU)，是该系统的重点关注对象。
将不同的行人目标进行精细粒度的分类有利于辅助驾驶系统针对不同的情况进行精准的决策，但传统的毫米波雷达无法测量高度信息而且分辨率低，故在混合交通环境下，传统的行人检测难以对行人等物体进行分类，已经不能满足行业需求。而现有的4D毫米波雷达增加了目标高度信息，并且可以输出高密度的三维立体点云，从而更容易实现目标分类。但仅使用4D毫米波雷达单传感器算法，无法获得对周围环境的更可靠描述，对分类效果存在一定影响。对此，现有技术中的三维目标检测模型还设置有鸟瞰视图体素化模块，但4D毫米波雷达点云相比激光雷达稀疏，利用体素化方法会产生大量冗余计算，影响行人目标分类的实时性。
对此，需要一种新的基于4D毫米波雷达的行人分类方法，以解决上述问题。
发明内容
本发明的目的在于提供一种基于4D毫米波雷达与视觉融合的行人分类方法及系统，以解决如何增强雷达检测的精准度、如何提高行人目标分类的准确性以及如何提升行人目标分类的实时性中的一个的问题。
为解决上述技术问题，本发明提供一种基于4D毫米波雷达与视觉融合的行人分类方法，包括：
采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号；
根据所述点云信号获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息；
将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；
采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果；
对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，在采用4D毫米波雷达和双目摄像头同时扫描目标区域的过程中包括：将所述4D毫米波雷达的坐标系、所述双目摄像头的坐标系、所述双目摄像头的成像坐标系以及世界坐标系转换至同一坐标系中。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，采用4D毫米波雷达扫描所述目标区域时，还获取反射率信息。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，所述根据所述点云信号获取行人目标点云簇，包括：
根据所述反射率信息去除所述点云信号中的路面点云信息，以获得目标点云信号；
对所述目标点云信号中相同帧内探测到的信号进行DBSCAN密度聚类处理，以获得所述行人目标点云簇。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，所述根据所述图像信号获取深度图像信息和伪激光雷达点云信息，包括：
根据所述图像信号构建视差图像信息；
根据所述视差图像信息构建所述深度图像信息；
采用深度差值法提取所述深度图像信息中的边缘图像信息，以将所述边缘图像信息生成所述伪激光雷达点云信息。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，所述将所述伪激光雷达点云信息映射至所述行人目标点云簇，包括：采用截锥点网将所述伪激光雷达点云信息映射至所述行人目标点云簇。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，在采用第一分类器对更新后的行人目标点云簇进行分类之前，所述方法还包括：根据所述更新后的行人目标点云簇，采用粒子滤波方法获取行人目标航迹，并对每一所述行人目标航迹设定对应的标签。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，在使用所述第一分类器和所述第二分类器之前，根据KITTI数据集训练所述第一分类器和所述第二分类器；其中，所述第一分类器为基于PointNet++算法的分类器；所述第二分类器为基于ShuffleNet v2算法的分类器。
可选的，在所述的基于4D毫米波雷达与视觉融合的行人分类方法中，采用证据合成理论对所述第一分类结果和所述第二分类结果进行置信度融合处理。
基于同一发明构思，本发明还提供一种基于4D毫米波雷达与视觉融合的行人分类系统，包括：信息采集单元、数据处理单元和数据分类单元；其中，
所述信息采集单元包括4D毫米波雷达和双目摄像头，以分别获取目标区域的点云信号和图像信号；
所述数据处理单元用于根据所述点云信号获取行人目标点云簇，根据所述图像信号获取深度图像信息和伪激光雷达点云信息；以及，将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；
所述数据分类单元包括第一分类器、第二分类器和融合处理器；所述第一分类器用于对更新后的行人目标点云簇进行分类，并获得第一分类结果；所述第二分类器用于对所述深度图像信息进行分类，并获得第二分类结果；所述融合处理器用于对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
综上所述，本发明提供一种基于4D毫米波雷达与视觉融合的行人分类方法及系统。其中，在所述方法中采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号；并且，根据所述点云信号获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息；将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇，则通过所述伪激光雷达点云信息的更新补充，以克服雷达获取的点云信号稀疏问题，避免了有效信号的缺失，增强了所获取的三维信息的可靠性。此外，本发明还采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果；对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。则通过所述第一分类器和所述第二分类器的同步作用，以及利用置信度的融合处理有助于提高行人目标分类的准确性和实时性，以保障智能车高级辅助驾驶系统的安全性和可靠性。
附图说明
图1是本发明实施例中基于4D毫米波雷达与视觉融合的行人分类方法的流程图；
图2是本发明实施例中各坐标系的关系示意图；
图3是本发明实施例中基于4D毫米波雷达与视觉融合的行人分类方法的流程图。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
为解决上述技术问题，本实施例提供一种基于4D毫米波雷达与视觉融合的行人分类方法，请参阅图1，所述方法包括：
步骤一S10：采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号；
步骤二S20：根据所述点云信号获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息；
步骤三S30：将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；
步骤四S40：采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果；
步骤五S50：对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
可见，本实施例提供的所述基于4D毫米波雷达与视觉融合的行人分类方法利用4D毫米波雷达和双目摄像头联合标定，将所述伪激光雷达点云信息的更新补充所述行人目标点云簇，以克服雷达获取的点云信号稀疏问题，避免了有效信号的缺失，增强了所获取的三维信息的可靠性。此外，通过所述第一分类器和所述第二分类器的同步作用，以及利用置信度的融合处理有助于提高行人目标分类的准确性和实时性，以保障智能车高级辅助驾驶系统的安全性和可靠性。
以下结合附图1-3，具体介绍本实施例提供的所述基于4D毫米波雷达与视觉融合的行人分类方法。
步骤一S10：采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号。
所述4D毫米波雷达用于探测目标的速度、距离、水平角度以及高度。双目摄像头用于获取目标区域的图像信息。其中，所述4D毫米波雷达在获取目标区域的信息后，经过一系列的数据处理后，输出所述目标区域的点云信号以及反射率信息。进一步的，在所述4D毫米波雷达和所述双目摄像头联合标定时，需要对所述双目摄像头内外参数标定，以及极线校正，从而根据所述图像信号构建视差图像信息。
请参阅图2，为实现所述4D毫米波雷达和所述双目摄像头的联合标定，以及后续的数据处理，在采用4D毫米波雷达和双目摄像头同时扫描目标区域的过程中需要将所述4D毫米波雷达的坐标系OR-XRYRZR、所述双目摄像头的坐标OC-XCYCZC、所述双目摄像头的成像坐标系O-UV以及世界坐标系Ow-XYZ转换至同一坐标系中，通常均转换至世界坐标系Ow-XYZ中。其中，世界坐标系Ow-XYZ描述所述双目摄像头的位置；4D毫米波雷达坐标系OR-XRYRZR，原点OR为雷达的扫描中心；所述双目摄像头坐标系OC-XCYCZC，坐标原点为摄像头的光学中心，ZC轴与摄像机光轴重合，且以摄像的方向为ZC轴正向，摄像机的焦距为f,P点坐标为(Xc,Yc,Zc)。成像坐标系O-UV，其中Xc′轴、Yc′轴分别与图像像素坐标系的U、V轴平行，成像坐标系O-UV的U、V分别表示每个像素在数字图像中的列数和行数。
其中，各坐标系转换关系如下：
双目摄像头坐标系OC-XCYCZC与4D毫米波雷达坐标系OR-XRYRZR的关系如下：
Figure BDA0003605479500000061
其中，R＝RxRyRz,T＝[tx ty tz]T,
Figure BDA0003605479500000062
Figure BDA0003605479500000063
R为旋转矩阵，表示两个坐标系之间的角位移关系；α、β、γ分别为4D毫米波雷达坐标系在摄像头坐标系中沿Xc、Yc、Zc轴方向的偏转角度；T为平移矩阵，代表两坐标系之间相对位置关系。
双目摄像头坐标系OC-XCYCZC与成像坐标系O-UV的关系：摄像头将物点P成像到像素平面上P′点，具体如下：
Figure BDA0003605479500000064
Figure BDA0003605479500000065
分别表示Xc′轴和Yc′轴方向上的等效焦距。
4D毫米波雷达坐标系OR-XRYRZR与成像坐标系O-UV的关系如下：
Figure BDA0003605479500000071
步骤二S20：根据所述点云信号获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息。
进一步的，根据所述反射率信息去除所述点云信号中的路面点云信息，以获得目标点云信号；对所述目标点云信号中相同帧内探测到的信号进行DBSCAN密度聚类处理，以获得所述行人目标点云簇。
其中，所述DBSCAN密度聚类主要是先根据预先确定聚类参数Eps和MinPts对某个未处理的点进行判断，若其Eps邻域内数据点数量大于MinPts，则标记为核心点，并标记上对应的点群编号，同时将其Eps邻域内所有点标记为同一点群编号；若其半径Eps内数据点数量小于MinPts，但是该点落在某核心点的Eps邻域内，则称之为边界点，一个边界点可能同时落入一个或多个核心点的Eps邻域；若其Eps邻域内数据点数量小于MinPts，则将该点标记为噪声点，处理下一个点。然后，对该点邻域内点处理，各自判断是否为核心点，并将其中属于核心点的数据点的Eps邻域内点加入对应的点群中并进行核心点判断，并以此方式不断扩张，直到该点群内所有点都处理完毕，从而得到一个包含核心点和边界点的最大化的点群。继而，再寻找下一个点群，重复上述过程，依次类推处理完毕所有数据点，则聚类完成，输出的每个数据点都标记上相应的点群编号或噪声点。
进一步的，根据获取的所述视差图像信息构建所述深度图像信息，并采用深度差值法提取所述深度图像信息中的边缘图像信息，以将所述边缘图像信息生成所述伪激光雷达点云信息。其中，所述深度差值法的边缘提取具体为：若相邻像素点之间的深度测量值存在较大差值，则认为此相邻像素点在三维空间不连续，给定阈值k，则
Figure BDA0003605479500000072
如果p′>阈值*depth_p(i,j)，则认定该点为边缘点。
步骤三S30：将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇。
进一步的，采用截锥点网将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇，从而能够克服雷达获取的点云信号稀疏问题，避免了有效信号的缺失，增强了所获取的三维信息的可靠性。
在更新所述行人目标点云簇之后，所述方法还包括：根据所述更新后的行人目标点云簇，采用粒子滤波方法获取行人目标航迹，并对每一所述行人目标航迹设定对应的标签。可以理解的是，所述粒子滤波算法包括：
步骤一，初始化：根据先验概率分布p(x0)，对原始样本，即更新后的行人目标点云簇进行采样，投放N个粒子，建立粒子集合
Figure BDA0003605479500000081
每个粒子权重设为
Figure BDA0003605479500000082
步骤二，粒子预测：根据状态转移方程，每个粒子预测得到一个新的粒子，在k时刻粒子集合为
Figure BDA0003605479500000083
步骤三，权值更新:根据当前时刻的测量值Zk，为每个粒子重新分配权重:
Figure BDA0003605479500000084
并对粒子的权重进行归一化:
Figure BDA0003605479500000085
步骤四，选择阶段：根据粒子权重对样本进行重新采样，复制权重高的粒子，淘汰权重低的粒子，使新的粒子集合满足之前的权重分布，即权重越大，粒子保留的越多。选择后，重新设置权重
Figure BDA0003605479500000086
步骤五，状态估计：根据当前样本粒子集合的状态和权重估计目标状态:
Figure BDA0003605479500000087
状态转移方程为：
x(k)＝Ax(k-1)+W,
其中，A选为单位矩阵，W为均值为0的高斯噪声。
进一步的，例如，在t-1时刻，预测出下一时刻即t时刻粒子群的位置，以粒子群从t-1时刻到t时刻重采样后，作为粒子群下一次运动方向的依据，预测出t+1时刻粒子群的位置，以此类推，获取行人目标航迹，并赋予每个行人目标航迹一个标签。
步骤四S40：采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果。
进一步的，在使用所述第一分类器和所述第二分类器之前，根据KITTI数据集训练所述第一分类器和所述第二分类器。所述KITTI数据集是自动驾驶领域最重要的测试集之一，是测试交通场景中车辆检测，车辆追踪，语义分割等算法的公开数据集。其中，所述第一分类器为基于PointNet++算法的分类器；所述第二分类器为基于ShuffleNet v2算法的分类器。在训练所述第一分类器和所述第二分类器的过程中，将错分类的作为难例再次投入训练，如此反复，以获得最优的所述第一分类器和所述第二分类器。
进一步的，利用训练后的所述第一分类器对更新后的行人目标点云簇进行分类，产生行人点云目标分类框，以作为第一分类结果；以及，利用训练后的所述第二分类器对所述深度图像信息进行分类，产生行人图像目标分类框，以作为第二分类结果。
步骤五S50：对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
本实施例中采用证据合成理论对所述第一分类结果和所述第二分类结果进行置信度融合处理。可以理解的是，根据所述证据合成理论，给定前提条件：正样本的概率为c1，负样本的概率为c2，正样本训练过程中雷达分类结果的精确度为a1，深度图像信息分类结果精确度为a2，负样本训练过程中雷达分类结果精确度为b1，深度图像信息分类结果精确度为b2，则基本概率分配函数为：c1a1，c1a2，c2b1，c2b2。概率分配组合为：K＝1/{1-[c1a1*c2b2+c1a2*c2b1]}，则所述4D毫米波雷达分类结果的置信权重为：(c1a1*c2b1)/k；所述双目摄像头分类结果的置信权重为：(c1a2*c2b2)/k，从而可通过综合4D毫米波雷达和双目摄像头的分类结果，提高分类的精准度。
因此，在4D毫米波雷达和双目摄像头的融合作用下，相比单传感器检测，所获取的分类效果更加准确，且适应性、鲁棒性和可靠性更强。
基于同一发明构思，本实施例还提供一种基于4D毫米波雷达与视觉融合的行人分类系统，包括：信息采集单元、数据处理单元和数据分类单元；其中，所述信息采集单元包括4D毫米波雷达和双目摄像头，以分别获取目标区域的点云信号和图像信号；所述数据处理单元用于根据所述点云信号获取行人目标点云簇，根据所述图像信号获取深度图像信息和伪激光雷达点云信息；以及，将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；所述数据分类单元包括第一分类器、第二分类器和融合处理器；所述第一分类器用于对更新后的行人目标点云簇进行分类，并获得第一分类结果；所述第二分类器用于对所述深度图像信息进行分类，并获得第二分类结果；所述融合处理器用于对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。进一步的，所述第一分类器为基于PointNet++算法的分类器；所述第二分类器为基于ShuffleNet v2算法的分类器。
综上所述，本实施例提供一种基于4D毫米波雷达与视觉融合的行人分类方法及系统。其中，在所述方法中采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号；并且，将所述点云信号经DBSCAN密度聚类处理，以获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息；将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇，则通过所述伪激光雷达点云信息的更新补充，以克服雷达获取的点云信号稀疏问题，避免了有效信号的缺失，增强了所获取的三维信息的可靠性。并且，所述方法还采用粒子滤波方法获取行人目标航迹，并对每一所述行人目标航迹设定对应的标签。则在DBSCAN密度聚类算法和粒子滤波算法的结合下，可以提高行人目标分类准确性，满足自动驾驶场景需求。
此外，本实施例还采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果；对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。则通过所述第一分类器和所述第二分类器的同步作用，以及利用置信度的融合处理有助于提高行人目标分类的准确性和实时性，以保障智能车高级辅助驾驶系统的安全性和可靠性。
此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，包括：
采用4D毫米波雷达和双目摄像头同时扫描目标区域，以分别获取所述目标区域的点云信号和图像信号；
根据所述点云信号获取行人目标点云簇，以及根据所述图像信号获取深度图像信息和伪激光雷达点云信息；
将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；
采用第一分类器对更新后的行人目标点云簇进行分类，并获得第一分类结果，以及采用第二分类器对所述深度图像信息进行分类，并获得第二分类结果；
对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
2.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，在采用4D毫米波雷达和双目摄像头同时扫描目标区域的过程中包括：将所述4D毫米波雷达的坐标系、所述双目摄像头的坐标系、所述双目摄像头的成像坐标系以及世界坐标系转换至同一坐标系中。
3.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，采用4D毫米波雷达扫描所述目标区域时，还获取反射率信息。
4.根据权利要求3所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，所述根据所述点云信号获取行人目标点云簇，包括：
根据所述反射率信息去除所述点云信号中的路面点云信息，以获得目标点云信号；
对所述目标点云信号中相同帧内探测到的信号进行DBSCAN密度聚类处理，以获得所述行人目标点云簇。
5.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，所述根据所述图像信号获取深度图像信息和伪激光雷达点云信息，包括：
根据所述图像信号构建视差图像信息；
根据所述视差图像信息构建所述深度图像信息；
采用深度差值法提取所述深度图像信息中的边缘图像信息，以将所述边缘图像信息生成所述伪激光雷达点云信息。
6.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，所述将所述伪激光雷达点云信息映射至所述行人目标点云簇，包括：采用截锥点网将所述伪激光雷达点云信息映射至所述行人目标点云簇。
7.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，在采用第一分类器对更新后的行人目标点云簇进行分类之前，所述方法还包括：根据所述更新后的行人目标点云簇，采用粒子滤波方法获取行人目标航迹，并对每一所述行人目标航迹设定对应的标签。
8.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，在使用所述第一分类器和所述第二分类器之前，根据KITTI数据集训练所述第一分类器和所述第二分类器；其中，所述第一分类器为基于PointNet++算法的分类器；所述第二分类器为基于ShuffleNet v2算法的分类器。
9.根据权利要求1所述的基于4D毫米波雷达与视觉融合的行人分类方法，其特征在于，采用证据合成理论对所述第一分类结果和所述第二分类结果进行置信度融合处理。
10.一种基于4D毫米波雷达与视觉融合的行人分类系统，其特征在于，包括：信息采集单元、数据处理单元和数据分类单元；其中，
所述信息采集单元包括4D毫米波雷达和双目摄像头，以分别获取目标区域的点云信号和图像信号；
所述数据处理单元用于根据所述点云信号获取行人目标点云簇，根据所述图像信号获取深度图像信息和伪激光雷达点云信息；以及，将所述伪激光雷达点云信息映射至所述行人目标点云簇，以更新所述行人目标点云簇；
所述数据分类单元包括第一分类器、第二分类器和融合处理器；所述第一分类器用于对更新后的行人目标点云簇进行分类，并获得第一分类结果；所述第二分类器用于对所述深度图像信息进行分类，并获得第二分类结果；所述融合处理器用于对所述第一分类结果和所述第二分类结果进行置信度融合处理，以获得行人分类结果。
CN202210417615.9A 2022-04-20 2022-04-20 基于4d毫米波雷达与视觉融合的行人分类方法及系统 Pending CN114814827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210417615.9A CN114814827A (zh) 2022-04-20 2022-04-20 基于4d毫米波雷达与视觉融合的行人分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417615.9A CN114814827A (zh) 2022-04-20 2022-04-20 基于4d毫米波雷达与视觉融合的行人分类方法及系统

Publications (1)

Publication Number Publication Date
CN114814827A true CN114814827A (zh) 2022-07-29

Family

ID=82505913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417615.9A Pending CN114814827A (zh) 2022-04-20 2022-04-20 基于4d毫米波雷达与视觉融合的行人分类方法及系统

Country Status (1)

Country Link
CN (1) CN114814827A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578608A (zh) * 2022-12-12 2023-01-06 南京慧尔视智能科技有限公司 一种基于毫米波雷达点云的抗干扰分类方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578608A (zh) * 2022-12-12 2023-01-06 南京慧尔视智能科技有限公司 一种基于毫米波雷达点云的抗干扰分类方法及装置
CN115578608B (zh) * 2022-12-12 2023-02-28 南京慧尔视智能科技有限公司 一种基于毫米波雷达点云的抗干扰分类方法及装置

Similar Documents

Publication Publication Date Title
CN111027401B (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN111222395A (zh) 目标检测方法、装置与电子设备
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN112731436B (zh) 基于点云上采样的多模态数据融合可行驶区域检测方法
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
CN107424166B (zh) 点云分割方法及装置
CN114155501A (zh) 一种无人车在烟雾遮挡环境下的目标检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN112699267B (zh) 车辆车型的识别方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN115327572A (zh) 一种车辆前方障碍物检测方法
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN114814827A (zh) 基于4d毫米波雷达与视觉融合的行人分类方法及系统
CN113219472B (zh) 一种测距系统和方法
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination