CN113158763A - 4d毫米波和激光点云多视角特征融合的三维目标检测方法 - Google Patents

4d毫米波和激光点云多视角特征融合的三维目标检测方法 Download PDF

Info

Publication number
CN113158763A
CN113158763A CN202110200544.2A CN202110200544A CN113158763A CN 113158763 A CN113158763 A CN 113158763A CN 202110200544 A CN202110200544 A CN 202110200544A CN 113158763 A CN113158763 A CN 113158763A
Authority
CN
China
Prior art keywords
point cloud
millimeter wave
cloud data
laser radar
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110200544.2A
Other languages
English (en)
Other versions
CN113158763B (zh
Inventor
张新钰
刘华平
刘玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110200544.2A priority Critical patent/CN113158763B/zh
Publication of CN113158763A publication Critical patent/CN113158763A/zh
Application granted granted Critical
Publication of CN113158763B publication Critical patent/CN113158763B/zh
Priority to US17/566,709 priority patent/US11397242B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：同时采集毫米波雷达点云数据和激光雷达点云数据；将毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果；所述毫米波与激光雷达融合网络，用于分别从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，将这个交互信息进行拼接，从而实现毫米波雷达点云数据和激光雷达点云数据的融合。本发明的方法能够结合毫米波和激光雷达的优点，同时尽量避免两种模态的缺点，得到更好的三维目标检测结果。

Description

4D毫米波和激光点云多视角特征融合的三维目标检测方法
技术领域
本发明涉及一种自动驾驶领域，特别涉及4D毫米波和激光点云多视角特征融合的三维目标检测方法。
背景技术
自动驾驶四大核心技术，分别是环境感知、精确定位、路径规划、线控执行。通过摄像头、超声波雷达、激光雷达、毫米波雷达、惯导系统和全球卫星导航系统等采集环境信息，构建高精度地图进行车辆定位，从而预测周围的静态和动态场景状况。对环境感知信息和车辆定位信息进行融合，为异常处理系统提供输入，进而生成路径规划。最后线控执行则会通过轨迹跟踪对决策系统下达转向控制、驱动控制和制动控制，由执行层中具体的驱动程序和执行部件去执行决策层下达的指令。
目前，实现自动驾驶的关键还是在于环境感知，如障碍物探测、车道线的检测、道路信息读取、地图构建与辅助定位和交通参与者(车辆、行人、动物等)检测与识别。其中，主要的传感器是摄像头、激光雷达和毫米波雷达，摄像头的优势是成本低、2D算法发展成熟。其劣势也很明显，对于光照变化明显的场景、雨雪雾天气适应性较差，测距测速功能性能差。激光雷达的优势是在测距及分辨率上都有较高水平、方向性好及抗干扰能力强。劣势是成本较高，且也会受到雨雪雾天气的影响。毫米波雷达的优势是环境适应性强，具有全天候、全天时工作特性，对于纵向目标距离与速度探测能力强，可实现远距离感知与探测，对于静态和动态目标均能高精度测量。
典型的3D目标检测方法是将点云作为输入，并为每个检测到的目标生成定向的3D边界框。这些方法可以归为两大类，区域建议方法和单阶段方法。区域建议方法会提出几个可能包含目标的区域建议，然后提取区域特征来确定每个建议的类别标签。单阶段方法利用单级网络直接预测类概率，回归目标的三维边界框，不需要区域建议生成和后处理，运行速度更快。两种方法都是通过提取点云的特征输入到网络来定位3D边界框，所以目标上点云的数量和精度就决定了这个目标能否被有效的检测到。比如16线的激光雷达在超过70米的范围里，照射到目标上的点云往往只有一束激光点云，无法描述物体的类别和尺寸。在雨雪雾天气中，由于雨滴和雪花等环境因素对激光雷达传感器的遮挡，点云质量会进一步变差。毫米波雷达在100米的范围内都会产生点云，不会随着距离而衰减，且受雨雪雾天气的影响较少。
大多数公开的数据集中都是3D毫米波数据，如nuScenes数据集，只有约100多个3D毫米波点，每个点包含水平位置信息和速度信息(x,y,v)。本发明所使用的Astyx数据集拥有约1000多个4D毫米波点云，每个点云具有三维位置信息和速度信息(x,y,z,v)。相比于其他数据集，Astyx更适合使用3D目标检测算法提取特征并与激光雷达进行有效的融合。
综上所述，为实现适应特殊天气和远距离高分辨率探测的感知系统，需要融合4D毫米波雷达和激光雷达的数据来对周围环境进行感知。激光雷达由于其点云的密度和精度较高可以在近距离上提供高精度的点云数据，而在更远的距离上就需要毫米波数据的补充。但是毫米波数据的垂直准确度低，且点云密度低，噪声较大，需要和激光雷达数据在特征值提取阶段就进行深度的融合。
发明内容
本发明的目的在于克服上述技术缺陷，提出一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，可以通过多视角和注意力机制学习到两个模态间的相关性和模态内的相关性，从而提取到更加有效的特征。
为实现上述目的，本发明的实施例1提出的一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：
同时采集毫米波雷达点云数据和激光雷达点云数据；
将毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果；
所述毫米波与激光雷达融合网络，用于分别从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，将这个交互信息进行拼接，从而实现毫米波雷达点云数据和激光雷达点云数据的融合。
作为上述方法的一种改进，所述毫米波与激光雷达融合网络包括：体素化模块、特征融合模块、毫米波和激光雷达特征交互模块、伪图像处理模块、2D卷积神经网络和检测头；
所述体素化模块，用于对毫米波雷达点云数据和激光雷达点云数据分别进行BEV视角的体素化，输出毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pillar特征；对毫米波雷达点云数据和激光雷达点云数据分别进行PV视角的体素化，输出毫米波雷达点云数据的Pyramid特征和激光雷达点云数据的Pyramid特征；
所述特征融合模块，用于将激光雷达点云数据的Pillar特征和毫米波雷达点云数据的Pyramid特征拼接，将毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pyramid特征拼接，将拼接后的两个特征输入毫米波和激光雷达特征交互模块；
所述毫米波和激光雷达特征交互模块，用于从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，得到携带毫米波雷达交互信息的激光雷达特征和携带激光雷达交互信息的毫米波雷达特征；将这个特征在通道维度进行拼接得到特征F，输入到伪图像处理模块；
所述伪图像处理模块，用于根据体素化模块中生成的每个体素的坐标，将毫米波和激光雷达特征交互模块输出的特征F按位置编码到x-y平面，形成一个128通道的伪图像；
所述2D卷积神经网络，用于从128通道的伪图像中提取多尺度的特征信息，输出至检测头；
所述检测头，用于对2D卷积神经网络输出的特征进行处理，输出目标检测结果。
作为上述方法的一种改进，所述体素化模块包括：毫米波雷达点云数据Pillar特征提取单元、激光雷达点云数据Pillar特征提取单元、毫米波雷达点云数据Pyramid特征提取单元和激光雷达点云数据Pyramid特征提取单元；
所述毫米波雷达点云数据Pillar特征提取单元，包括：第一全连接层、第一鸟瞰视图、第一FC层和第一最大池化层；毫米波雷达点云数据经过第一全连接层后维度扩展到64维，通过第一鸟瞰视图进行BEV视角体素化，在通过第一FC层和第一最大池化层后，输出毫米波雷达点云数据Pillar特征；
所述激光雷达点云数据Pillar特征提取单元，包括：第二全连接层、第二鸟瞰视图、第二FC层和第二最大池化层；激光雷达点云数据经过第二全连接层后维度扩展到64维，通过第二鸟瞰视图进行BEV视角体素化，在通过第二FC层和第二最大池化层后，输出激光雷达点云数据Pillar特征；
所述毫米波雷达点云数据Pyramid特征提取单元，包括：第三全连接层、第一透视视图、第三FC层和第三最大池化层，毫米波雷达点云数据经过第三全连接层后维度扩展到64维，通过第一透视视图进行PV视角体素化，在通过第三FC层和第三最大池化层后，输出毫米波雷达点云数据Pyramid特征；
所述激光雷达点云数据Pyramid特征提取单元，包括：第四全连接层、第二透视视图、第四FC层和第四最大池化层，激光雷达点云数据经过第四全连接层后维度扩展到64维，通过第二透视视图进行PV视角体素化，在通过第四FC层和第四最大池化层后，输出激光雷达点云数据Pyramid特征。
作为上述方法的一种改进，所述毫米波雷达点云数据Pillar特征提取单元的具体实现过程为：
将毫米波雷达点云数据在x-y平面上投影出一个H×W的网格，由此划分为H×W个体积为0.16×0.16×4的立柱；
原始毫米波雷达点云的每个点为4个维度(x,y,z,r)，(x,y,z)为三维坐标，r为反射率；每个立柱内有很多个点，每个点被扩展为10个维度：(x,y,z,xc,yc,zc,xp,yp,zp)，计算公式为：
Figure BDA0002948556260000041
式中，(xc,yc,zc)为立柱内一个点相对于柱体中心点的偏差，(xm,ym,zm)为柱体中心点坐标，(xp,yp,zp)为该点相对于网格中心点的偏差，(xg,yg,zg)为网格中心点坐标；
每帧毫米波雷达点云数据形成一个维度为(Dp,N,P)的张量，其中Dp为点的维度，Dp＝10，N为每个立柱的采样点数，N＝32，P＝H×W；每个柱体中点多于N的进行随机降采样，少于N的进行0值填充；
该张量为毫米波雷达点云数据的Pillar特征。
作为上述方法的一种改进，所述毫米波雷达点云数据Pyramid特征提取单元的具体实现过程为：
将毫米波雷达点云数据在x-y平面上投影出一个H×W的网格，将垂直角度θ为[-26°,6°]和水平角度
Figure BDA0002948556260000042
为[-90°,90°]椎体内的点云划分为H×W个椎体；
每个椎体内最多随机采样N个点，少于N个点的用0填充；
每帧毫米波雷达点云数据形成一个维度为(DL，N，P)的张量，DL＝4，P为椎体的数量H×W，N为每个椎体内点的个数，N＝32，该张量为毫米波雷达点云数据的Pyramid特征。
作为上述方法的一种改进，所述特征融合模块的具体实现过程为：
将激光雷达的Pillar特征和毫米波雷达的Pyramid特征拼接，形成一个14维度的特征向量FL：
FL＝Concat(FLpi,FRpy)
其中，FLpi为激光雷达的Pillar特征，FRpy为毫米波雷达的Pyramid特征；Concat表示特征拼接操作；
将毫米波雷达的Pillar特征和激光雷达的Pyramid特征拼接，形成一个14维度的特征向量FR：
FR＝Concat(FRpi,FLpy)
其中，FRpi为毫米波雷达的Pillar特征，FLpy为激光雷达的Pyramid特征；
将特征向量FL和FR分别输入到毫米波和激光雷达特征交互模块中。
作为上述方法的一种改进，所述毫米波和激光雷达特征交互模块的具体实现过程为：
特征向量FL经过一个FC层和Maxpool层之后扩展为64维度的特征
Figure BDA0002948556260000051
特征
Figure BDA0002948556260000052
进行卷积操作之后降维为16维度的特征
Figure BDA0002948556260000053
Figure BDA0002948556260000054
Figure BDA0002948556260000055
特征向量FR经过一个FC层和Maxpool层之后扩展为64维度的特征
Figure BDA0002948556260000056
特征
Figure BDA0002948556260000057
进行卷积操作之后降维为16维度的特征
Figure BDA0002948556260000058
Figure BDA0002948556260000059
Figure BDA00029485562600000510
其中，Conv表示卷积层，Maxpool表示最大池化层，Linear表示全连接层；
将16维度的特征
Figure BDA00029485562600000511
进行转置后与16维度的特征
Figure BDA00029485562600000512
相乘，经过Softmax归一化操作之后，生成大小为M×N的权重矩阵FLw：
Figure BDA00029485562600000513
式中，Softmax表示归一化操作；
将16维度的特征
Figure BDA0002948556260000061
进行转置后与16维度的特征
Figure BDA0002948556260000062
相乘，经过Softmax归一化操作之后，生成大小为N×M的权重矩阵FRw：
Figure BDA0002948556260000063
将权重矩阵FRw与
Figure BDA0002948556260000064
相乘之后得到一个新的64维度的特征向量，再与
Figure BDA0002948556260000065
相减，经过线性层、归一化层和ReLU激活函数后与再与
Figure BDA0002948556260000066
相加，得到携带激光雷达交互信息的毫米波雷达特征FRt：
Figure BDA0002948556260000067
其中，ReLU为激活函数，BN为归一化层，linear为线性层；
将权重矩阵FLw与特征
Figure BDA0002948556260000068
相乘后再与
Figure BDA0002948556260000069
相减，经过线性层、归一化层和ReLU激活函数后与再与
Figure BDA00029485562600000610
相加，得到携带毫米波雷达交互信息的激光雷达特征FLt：
Figure BDA00029485562600000611
将两个模态的特征FRt和FLt按维度拼接，完成两个模态的交互：
F＝Concat(FRt,FLt)
式中，F为拼接之后的特征，Concat表示拼接操作。
作为上述方法的一种改进，所述方法还包括：对毫米波与激光雷达融合网络进行训练的步骤；具体包括：
将使用的Astyx数据集规范化为标准KITTI数据集的格式，使用标定文件将激光雷达数据和3D边界框对齐到毫米波雷达坐标系，生成训练集；
利用训练集对毫米波与激光雷达融合网络进行训练，得到训练好的毫米波与激光雷达融合网络。
本发明的实施例2提出了一种终端设备，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明的实施例3提出了一种存储介质，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明的优势在于：
本发明的4D毫米波和激光点云多视角特征融合的三维目标检测方法，旨在结合毫米波和激光雷达的优点，同时尽量避免两种模态的缺点，得到更好的三维目标检测结果。
附图说明
为了更清楚的说明本发明，下面将对本发明中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本发明的一些实施例，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的4D毫米波和激光点云多视角特征融合的三维目标检测方法的流程图；
图2为本发明实施例1提供的毫米波与激光雷达融合网络结构的示意图；
图3为本发明实施例1提供的毫米波与激光雷达特征交互模块(interRAL)结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，本发明的实施例1提出了4D毫米波和激光点云多视角特征融合的三维目标检测方法，包括步骤如下：
步骤1)同时采集Radar点云和Lidar点云；
步骤2)读取Radar点云和Lidar点云并分别对两种点云进行BEV视角的体素化，将点云在x-y平面上投影出来一个H×W的网格它们划分为H×W个体积为0.16×0.16×4(m)的立柱(Pillar)；
每个Pillar内有很多点云，原始的点云数据Point有4个维度(x,y,z,r)，r代表反射率。将其扩展为10个维度(x,y,z,xc,yc,zc,xp,yp,zp)，按照公式(1)计算：
Figure BDA0002948556260000081
式中，(xc,yc,zc)为每个点云相对于柱体中心点的偏差，(xm,ym,zm)为柱体中心点坐标，(xp,yp,zp)为每个点云相对于网格中心点的偏差，(xg,yg,zg)为网格中心点坐标。每个柱子中点多于N的进行随机降采样，少于N的进行填充0。于是就形成了一个维度为(D,P,N)的张量，其中D为10，N为每个Pillar的采样点数32，P为Pillar总数目H×W。
步骤3)读取Radar点云和Lidar点云并分别对两种点云进行PV视角的体素化，将垂直角度θ为[-26°,6°]和水平角度
Figure BDA0002948556260000082
为[-90°,90°]椎体内的点云划分为H×W个小椎体(Pyramid)；
每个Pyramid内最多随机采样32个点，少于32个点的用0填充。每帧点云经过处理之后也形成一个维度为(D,P,N)的张量，对于每个Pyramid内的点不做类似Pillar的处理所以D为4，P为Pyramid的数量H×W，N为每个Pyramid内点的个数32；
步骤4)点云经过Pillar和Pyramid方式处理为低纬度特征后，将Lidar的Pillar特征和Radar的Pyramid特征拼接，将Radar的Pillar特征和Lidar的Pyramid特征拼接，分别形成两个14维度的特征向量：
Figure BDA0002948556260000083
式中，FLpi为Lidar的Pillar特征，FRpy为Radar的Pyramid特征，FRpi为Radar的Pillar特征，FLpy为Lidar的Pyramid特征，FL为FLpi和FRpy相加的特征，FR为FRpi和FLpi相加的特征，Concat表示特征拼接操作。
如图2所示，毫米波与激光雷达融合网络结构。
步骤5)将步骤4)得到两个14维度的特征分别输入到毫米波和激光雷达特征交互模块interRAL中；
如图3所示，interRAL借鉴了自注意力Self-Attention的机制，在两个模态之间互相引入转置之后的特征矩阵之后，通过对方模态来学习模态间的相关性，并且在这个过程中甄选更加有效的特征。毫米波和激光雷达特征交互模块interRAL包括连个网络实现的具体步骤为：
1)将Lidar点云的14维度的特征经过一个FC层和Maxpool层之后扩展为64维度的特征，将这个特征进行卷积操作之后降维为16维度的特征，将Radar点云的14维度的特征经过一个FC层和Maxpool层之后扩展为64维度的特征，将这个特征进行卷积操作之后降维为16维度的特征：
Figure BDA0002948556260000091
Figure BDA0002948556260000092
式中，
Figure BDA0002948556260000093
和
Figure BDA0002948556260000094
分别为FL和FR扩展为64维度的特征，
Figure BDA0002948556260000095
和
Figure BDA0002948556260000096
为FL和FR降维为16维度的特征，Conv表示卷积层，Maxpool表示最大池化层，Linear表示全连接层。
2)将每个模态的16维度的特征进行转置后与对方模态的16维度的特征相乘，经过Softmax归一化操作之后，分别生成生成大小为M×N和N×M的权重矩阵：
Figure BDA0002948556260000097
式中，FLw为
Figure BDA0002948556260000098
的转置与
Figure BDA0002948556260000099
相乘之后的权重矩阵，FRw为
Figure BDA00029485562600000910
的转置与
Figure BDA00029485562600000911
相乘之后的权重矩阵，Sfotmax表示归一化操作。
3)将FLw与FRw相乘之后得到一个新的64维度的特征向，将这个特征向量再与
Figure BDA00029485562600000912
相减，经过线性层、归一化层和激活函数后与再与
Figure BDA00029485562600000913
相加，最后将两个模态的特征按维度拼接，完成两个模态的交互：
Figure BDA00029485562600000914
F＝Concat(FRt,FLt) (7)
式中，FRt为携带Lidar交互信息的Radar特征，FLt为携带Radar交互信息的Lidar特征，F为拼接之后的特征，ReLU为激活函数，BN为归一化层，linear为线性层，Concat表示拼接操作。
步骤6)之前体素化的时候保留了每个体素的坐标，根据这些坐标将交互过的特征F按位置编码到x-y平面，形成一个128通道的伪图像；
步骤7)将128通道的伪图像输入2D卷积神经网络(2DCNN)进一步提取特征；2DCNN使用成熟的金字塔结构CNN来提取多尺度的特征信息；
步骤8)将2DCNN输出的特征输入检测头(Detection Head)，输出目标检测结果；检测头使用成熟的RPN Head。
将本发明使用的Astyx数据集规范化为标准KITTI数据集的格式，使用标定文件将激光雷达数据对齐到毫米波坐标系；对毫米波与激光雷达融合网络进行训练。
实施例2
本发明的实施例2还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例3
本发明实施例3提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现实施例1中方法的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：
同时采集毫米波雷达点云数据和激光雷达点云数据；
将毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果；
所述毫米波与激光雷达融合网络，用于分别从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，将这个交互信息进行拼接，从而实现毫米波雷达点云数据和激光雷达点云数据的融合。
2.根据权利要求1所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述毫米波与激光雷达融合网络包括：体素化模块、特征融合模块、毫米波和激光雷达特征交互模块、伪图像处理模块、2D卷积神经网络和检测头；
所述体素化模块，用于对毫米波雷达点云数据和激光雷达点云数据分别进行BEV视角的体素化，输出毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pillar特征；对毫米波雷达点云数据和激光雷达点云数据分别进行PV视角的体素化，输出毫米波雷达点云数据的Pyramid特征和激光雷达点云数据的Pyramid特征；
所述特征融合模块，用于将激光雷达点云数据的Pillar特征和毫米波雷达点云数据的Pyramid特征拼接，将毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pyramid特征拼接，将拼接后的两个特征输入毫米波和激光雷达特征交互模块；
所述毫米波和激光雷达特征交互模块，用于从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，得到携带毫米波雷达交互信息的激光雷达特征和携带激光雷达交互信息的毫米波雷达特征；将这个特征在通道维度进行拼接得到特征F，输入到伪图像处理模块；
所述伪图像处理模块，用于根据体素化模块中生成的每个体素的坐标，将毫米波和激光雷达特征交互模块输出的特征F按位置编码到x-y平面，形成一个128通道的伪图像；
所述2D卷积神经网络，用于从128通道的伪图像中提取多尺度的特征信息，输出至检测头；
所述检测头，用于对2D卷积神经网络输出的特征进行处理，输出目标检测结果。
3.根据权利要求2所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述体素化模块包括：毫米波雷达点云数据Pillar特征提取单元、激光雷达点云数据Pillar特征提取单元、毫米波雷达点云数据Pyramid特征提取单元和激光雷达点云数据Pyramid特征提取单元；
所述毫米波雷达点云数据Pillar特征提取单元，包括：第一全连接层、第一鸟瞰视图、第一全连接层和第一最大池化层；毫米波雷达点云数据经过第一全连接层后维度扩展到64维，通过第一鸟瞰视图进行BEV视角体素化，在通过第一全连接层和第一最大池化层后，输出毫米波雷达点云数据Pillar特征；
所述激光雷达点云数据Pillar特征提取单元，包括：第二全连接层、第二鸟瞰视图、第二全连接层和第二最大池化层；激光雷达点云数据经过第二全连接层后维度扩展到64维，通过第二鸟瞰视图进行BEV视角体素化，在通过第二全连接层和第二最大池化层后，输出激光雷达点云数据Pillar特征；
所述毫米波雷达点云数据Pyramid特征提取单元，包括：第三全连接层、第一透视视图、第三全连接层和第三最大池化层，毫米波雷达点云数据经过第三全连接层后维度扩展到64维，通过第一透视视图进行PV视角体素化，在通过第三全连接层和第三最大池化层后，输出毫米波雷达点云数据Pyramid特征；
所述激光雷达点云数据Pyramid特征提取单元，包括：第四全连接层、第二透视视图、第四全连接层和第四最大池化层，激光雷达点云数据经过第四全连接层后维度扩展到64维，通过第二透视视图进行PV视角体素化，在通过第四全连接层和第四最大池化层后，输出激光雷达点云数据Pyramid特征。
4.根据权利要求3所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述毫米波雷达点云数据Pillar特征提取单元的具体实现过程为：
将毫米波雷达点云数据在x-y平面上投影出一个H×W的网格，由此划分为H×W个体积为0.16×0.16×4的立柱；
原始毫米波雷达点云的每个点为4个维度(x,y,z,r)，(x,y,z)为三维坐标，r为反射率；每个立柱内有很多个点，每个点被扩展为10个维度：(x,y,z,xc,yc,zc,xp,yp,zp)，计算公式为：
Figure FDA0002948556250000031
式中，(xc,yc,zc)为立柱内一个点相对于柱体中心点的偏差，(xm,ym,zm)为柱体中心点坐标，(xp,yp,zp)为该点相对于网格中心点的偏差，(xg,yg,zg)为网格中心点坐标；
每帧毫米波雷达点云数据形成一个维度为(Dp,N,P)的张量，其中Dp为点的维度，Dp＝10，N为每个立柱的采样点数，N＝32，P＝H×W；每个柱体中点多于N的进行随机降采样，少于N的进行0值填充；
该张量为毫米波雷达点云数据的Pillar特征。
5.根据权利要求4所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述毫米波雷达点云数据Pyramid特征提取单元的具体实现过程为：
将毫米波雷达点云数据在x-y平面上投影出一个H×W的网格，将垂直角度θ为[-26°,6°]和水平角度
Figure FDA0002948556250000032
为[-90°,90°]椎体内的点云划分为H×W个椎体；
每个椎体内最多随机采样N个点，少于N个点的用0填充；
每帧毫米波雷达点云数据形成一个维度为(DL,N,P)的张量，DL＝4，P为椎体的数量H×W，N为每个椎体内点的个数，N＝32，该张量为毫米波雷达点云数据的Pyramid特征。
6.根据权利要求5所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述特征融合模块的具体实现过程为：
将激光雷达的Pillar特征和毫米波雷达的Pyramid特征拼接，形成一个14维度的特征向量FL：
FL＝Concat(FLpi,FRpy)
其中，FLpi为激光雷达的Pillar特征，FRpy为毫米波雷达的Pyramid特征；
Concat表示特征拼接操作；
将毫米波雷达的Pillar特征和激光雷达的Pyramid特征拼接，形成一个14维度的特征向量FR：
FR＝Concat(FRpi,FLpy)
其中，FRpi为毫米波雷达的Pillar特征，FLpy为激光雷达的Pyramid特征；
将特征向量FL和FR分别输入到毫米波和激光雷达特征交互模块中。
7.根据权利要求6所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述毫米波和激光雷达特征交互模块的具体实现过程为：
特征向量FL经过一个FC层和Maxpool层之后扩展为64维度的特征
Figure FDA0002948556250000041
特征
Figure FDA0002948556250000042
进行卷积操作之后降维为16维度的特征
Figure FDA0002948556250000043
Figure FDA0002948556250000044
Figure FDA0002948556250000045
特征向量FR经过一个FC层和Maxpool层之后扩展为64维度的特征
Figure FDA0002948556250000046
特征
Figure FDA0002948556250000047
进行卷积操作之后降维为16维度的特征
Figure FDA0002948556250000048
Figure FDA0002948556250000049
Figure FDA00029485562500000410
其中，Conv表示卷积层，Maxpool表示最大池化层，Linear表示全连接层；
将16维度的特征
Figure FDA00029485562500000411
进行转置后与16维度的特征
Figure FDA00029485562500000412
相乘，经过Softmax归一化操作之后，生成大小为M×N的权重矩阵FLw：
Figure FDA00029485562500000413
式中，Softmax表示归一化操作；
将16维度的特征
Figure FDA00029485562500000414
进行转置后与16维度的特征
Figure FDA00029485562500000415
相乘，经过Softmax归一化操作之后，生成大小为N×M的权重矩阵FRw：
Figure FDA00029485562500000416
将权重矩阵FRw与
Figure FDA0002948556250000051
相乘之后得到一个新的64维度的特征向量，再与
Figure FDA0002948556250000052
相减，经过线性层、归一化层和ReLU激活函数后与再与
Figure FDA0002948556250000053
相加，得到携带激光雷达交互信息的毫米波雷达特征FRt：
Figure FDA0002948556250000054
其中，ReLU为激活函数，BN为归一化层，linear为线性层；
将权重矩阵FLw与特征
Figure FDA0002948556250000055
相乘后再与
Figure FDA0002948556250000056
相减，经过线性层、归一化层和ReLU激活函数后与再与
Figure FDA0002948556250000057
相加，得到携带毫米波雷达交互信息的激光雷达特征FLt：
Figure FDA0002948556250000058
将两个模态的特征FRt和FLt按维度拼接，完成两个模态的交互：
F＝Concat(FRt,FLt)
式中，F为拼接之后的特征，Concat表示拼接操作。
8.根据权利要求1所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述方法还包括：对毫米波与激光雷达融合网络进行训练的步骤；具体包括：
将使用的Astyx数据集规范化为标准KITTI数据集的格式，使用标定文件将激光雷达数据和3D边界框对齐到毫米波雷达坐标系，生成训练集；
利用训练集对毫米波与激光雷达融合网络进行训练，得到训练好的毫米波与激光雷达融合网络。
9.一种终端设备，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。
10.一种存储介质，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。
CN202110200544.2A 2021-02-23 2021-02-23 4d毫米波和激光点云多视角特征融合的三维目标检测方法 Active CN113158763B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110200544.2A CN113158763B (zh) 2021-02-23 2021-02-23 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US17/566,709 US11397242B1 (en) 2021-02-23 2021-12-31 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200544.2A CN113158763B (zh) 2021-02-23 2021-02-23 4d毫米波和激光点云多视角特征融合的三维目标检测方法

Publications (2)

Publication Number Publication Date
CN113158763A true CN113158763A (zh) 2021-07-23
CN113158763B CN113158763B (zh) 2021-12-07

Family

ID=76883324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200544.2A Active CN113158763B (zh) 2021-02-23 2021-02-23 4d毫米波和激光点云多视角特征融合的三维目标检测方法

Country Status (2)

Country Link
US (1) US11397242B1 (zh)
CN (1) CN113158763B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置
CN113610044A (zh) * 2021-08-19 2021-11-05 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114332792A (zh) * 2021-12-09 2022-04-12 苏州驾驶宝智能科技有限公司 基于关键点多尺度融合的立体场景目标检测方法及系统
CN114398937A (zh) * 2021-12-01 2022-04-26 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114494248A (zh) * 2022-04-01 2022-05-13 之江实验室 基于点云和不同视角下的图像的三维目标检测系统及方法
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114763997A (zh) * 2022-04-14 2022-07-19 中国第一汽车股份有限公司 车辆采集到的雷达点云数据的处理方法、装置及电子设备
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115327529A (zh) * 2022-09-05 2022-11-11 中国科学技术大学 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
CN115393680A (zh) * 2022-08-08 2022-11-25 武汉理工大学 雾天场景下多模态信息时空融合的3d目标检测方法及系统
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
WO2024093093A1 (zh) * 2022-10-31 2024-05-10 河北网新科技集团股份有限公司 一种基于外环境多模态信息感知的决策方法及系统
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230174110A1 (en) * 2021-12-03 2023-06-08 Zoox, Inc. Vehicle perception system with temporal tracker
CN115310482A (zh) * 2022-07-31 2022-11-08 西南交通大学 一种桥梁钢筋的雷达智能识别方法
US20240054660A1 (en) * 2022-08-11 2024-02-15 Motional Ad Llc Point cloud alignment systems for generating high definition maps for vehicle navigation
CN115131619B (zh) * 2022-08-26 2022-11-22 北京江河惠远科技有限公司 基于点云和图像融合的特高压零件分拣方法和系统
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN115877373B (zh) * 2023-02-20 2023-04-28 上海几何伙伴智能驾驶有限公司 结合激光雷达信息实现点云雷达聚类参数设计的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111860695A (zh) * 2020-08-03 2020-10-30 上海高德威智能交通系统有限公司 一种数据融合、目标检测方法、装置及设备
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US10739438B2 (en) * 2018-06-20 2020-08-11 Matthew Paul Harrison Super-resolution radar for autonomous vehicles
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
US10929986B2 (en) * 2018-12-19 2021-02-23 Fca Us Llc Techniques for using a simple neural network model and standard camera for image detection in autonomous driving
US11062454B1 (en) * 2019-04-16 2021-07-13 Zoox, Inc. Multi-modal sensor data association architecture
US11164363B2 (en) * 2019-07-08 2021-11-02 Waymo Llc Processing point clouds using dynamic voxelization
US11442464B2 (en) * 2020-03-25 2022-09-13 Mitsubishi Electric Research Laboratories, Inc. Bird's eye view map based recognition and motion prediction for autonomous systems
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111860695A (zh) * 2020-08-03 2020-10-30 上海高德威智能交通系统有限公司 一种数据融合、目标检测方法、装置及设备
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUO CHANG等: "Spatial Attention Fusion for Obstacle Detection Using MmWave Radar and Vision Sensor", 《SENSORS》 *
张新钰等: "面向自动驾驶目标检测的深度多模态融合技术", 《智能系统学报》 *
李朝等: "基于注意力的毫米波-激光雷达融合目标检测", 《计算机应用》 *
毕芊芊: "面向城市复杂环境的车辆检测与跟踪算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置
CN113610044A (zh) * 2021-08-19 2021-11-05 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN113610044B (zh) * 2021-08-19 2022-02-15 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN114398937A (zh) * 2021-12-01 2022-04-26 北京航空航天大学 一种基于混合注意力机制的图像-激光雷达数据融合方法
CN114332792A (zh) * 2021-12-09 2022-04-12 苏州驾驶宝智能科技有限公司 基于关键点多尺度融合的立体场景目标检测方法及系统
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114550163B (zh) * 2022-02-25 2023-02-03 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114494248A (zh) * 2022-04-01 2022-05-13 之江实验室 基于点云和不同视角下的图像的三维目标检测系统及方法
CN114763997A (zh) * 2022-04-14 2022-07-19 中国第一汽车股份有限公司 车辆采集到的雷达点云数据的处理方法、装置及电子设备
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115393680A (zh) * 2022-08-08 2022-11-25 武汉理工大学 雾天场景下多模态信息时空融合的3d目标检测方法及系统
CN115327529A (zh) * 2022-09-05 2022-11-11 中国科学技术大学 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
WO2024093093A1 (zh) * 2022-10-31 2024-05-10 河北网新科技集团股份有限公司 一种基于外环境多模态信息感知的决策方法及系统
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质

Also Published As

Publication number Publication date
US11397242B1 (en) 2022-07-26
CN113158763B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113158763B (zh) 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US11398097B2 (en) Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
US11380089B1 (en) All-weather target detection method based on vision and millimeter wave fusion
CN107784151B (zh) 雷达和超声传感器的物理建模
US20230228880A1 (en) Method for creating occupancy grid map and processing apparatus
US11157014B2 (en) Multi-channel sensor simulation for autonomous control systems
CN109683170B (zh) 一种图像行驶区域标注方法、装置、车载设备及存储介质
Wu et al. Regional feature fusion for on-road detection of objects using camera and 3D-LiDAR in high-speed autonomous vehicles
CN114332792B (zh) 基于关键点多尺度融合的立体场景目标检测方法及系统
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
Prophet et al. Semantic segmentation on automotive radar maps
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
Shao et al. A grid projection method based on ultrasonic sensor for parking space detection
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN114972654A (zh) 一种基于路侧点云补全的三维目标检测方法
US10754030B2 (en) Methods and systems for radar simulation and object classification
CN115205391A (zh) 一种三维激光雷达和视觉融合的目标预测方法
Stroescu et al. Object detection on radar imagery for autonomous driving using deep neural networks
CN112581613A (zh) 一种栅格地图的生成方法、系统、电子设备及存储介质
CN114550163B (zh) 基于可变形注意力机制的成像毫米波三维目标检测方法
JP2023181990A (ja) ニューラルネットワークモデル訓練方法及び画像生成方法
CN112823353A (zh) 使用机器学习进行对象定位
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN113888463A (zh) 车轮转角的检测方法、装置、电子设备及存储介质
CN114419118A (zh) 三维点云配准方法、移动设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant