CN113284163A - 基于车载激光雷达点云的三维目标自适应检测方法及系统 - Google Patents

基于车载激光雷达点云的三维目标自适应检测方法及系统 Download PDF

Info

Publication number
CN113284163A
CN113284163A CN202110516998.0A CN202110516998A CN113284163A CN 113284163 A CN113284163 A CN 113284163A CN 202110516998 A CN202110516998 A CN 202110516998A CN 113284163 A CN113284163 A CN 113284163A
Authority
CN
China
Prior art keywords
point
target
sampling
dimensional
taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110516998.0A
Other languages
English (en)
Other versions
CN113284163B (zh
Inventor
郑南宁
闫欣蕊
黄宇豪
陈仕韬
南智雄
辛景民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110516998.0A priority Critical patent/CN113284163B/zh
Publication of CN113284163A publication Critical patent/CN113284163A/zh
Application granted granted Critical
Publication of CN113284163B publication Critical patent/CN113284163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开一种基于车载激光雷达点云的三维目标自适应检测方法及系统，将激光雷达点云栅格化后提取不同尺度的三维特征图和鸟瞰视角下的二维特征图；对激光雷达点云进行最远点采样得到稀疏采样点，分别将原始点云特征、不同尺度的三维特征图、鸟瞰视角下的二维特征图整合至稀疏采样点，丰富采样点特征表达；以采样点特征为输入，通过偏移预测和目标自适应的邻域划分方法生成与目标更加匹配的候选参考点及其对应特征；通过采样点特征和候选参考点特征分别得到目标候选框的分类和回归预测结果；最后进行目标候选框参数精细化；本发明能够在检测精度上超越所有现有基于稀疏候选框的方法和大多数基于稠密候选框的方法。

Description

基于车载激光雷达点云的三维目标自适应检测方法及系统
技术领域
本发明属于基于深度学习的三维空间环境感知技术领域，具体涉及一种基于车载激光雷达点云的三维目标自适应检测方法及系统。
背景技术
在自动驾驶领域，三维目标检测是车辆环境感知的一项基础任务，对车辆避障、目标跟踪、路径规划等下游决策具有重要意义。采集自车载激光雷达的点云数据嵌入了深度信息，相较于其他常用的车载环境感知传感器的数据，例如图像，更有利于三维空间环境的感知。
现有三维目标检测方法按照输入数据的模态大致可分为三类，基于点云的方法、基于图像的方法、基于多模态数据融合的方法。三类方法中以基于点云的方法研究最为广泛，首先点云数据具备独特优势，能够准确反映目标的三维空间位置、形状等物理特征；其次PointNet系列网络、3D稀疏卷积网络等工具促进了三维点云数据的高效处理；另外基于图像和基于多模态数据融合方法的检测精度目前还分别受制于深度估计和融合框架。
基于点云的方法按照其候选框的生成风格可以分为两类，基于稠密候选框的方法和基于稀疏候选框的方法。前者一般以鸟瞰视角下二维特征图的每个像素位置为中心参考，生成分布稠密的候选框，后者一般以原始点云的采样点位置为中心参考，生成分布稀疏的候选框。尽管基于稠密候选框的方法当前发展较快，但存在天然的劣势，一方面容易产生候选框冗余，另一方面没有利用点云数据的分布特性。相反地，基于稀疏候选框的方法在上述两点上都具备相对优势。但稀疏候选方法仍存在亟待解决的问题，首先，现有稀疏候选方法大都直接以特征提取器最终输出的高层语义特征为输入生成候选框，特征中缺少对局部语境多层次的理解；其次，由于中心参考点来自点云采样且分布在物体表面，所以其位置及特征都和对应目标存在不匹配的问题。
发明内容
为了解决现有技术中存在的问题，本发明提供一种基于车载激光雷达点云的三维目标自适应检测方法及系统，通过补充多层级多来源信息的采样点特征生成模块、包含目标自适应邻域划分方法的候选参考点特征生成模块、充分利用采样点特征和候选参考点特征的目标候选框生成模块，提升现有基于稀疏候选框方法的三维目标检测精度。
为了实现上述目的，本发明采用的技术方案是：一种基于车载激光雷达点云的三维目标自适应检测方法，具体过程如下：
将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，得到不同尺度的三维特征图和鸟瞰视角下的二维特征图；
对激光雷达点云进行最远点采样，得到固定数量的稀疏采样点；
以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后通过全连接层处理得到信息加强的采样点特征；
通过所述信息加强的采样点特征生成与目标更加匹配的候选参考点及其对应特征，具体如下：以采样点特征为输入通过全连接层输出采样点位置到对应目标中心的绝对位置偏移，以采样点补偿偏移后的位置作为生成候选框的中心参考点，即候选参考点；以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征；
以采样点特征为输入，经过全连接层得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果；以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框，对所有目标候选框进行非最大抑制处理得到感兴趣区域；
精细化目标候选框，以经前背景分类置信分数加权的采样点特征为输入，输出对感兴趣目标候选框的修正结果，最后经非最大抑制处理得到最终目标检测框。
保留预设范围内的激光雷达点云，将空间划分为XYZ方向上尺寸统一的栅格，并对各栅格内部点云编码；以每个栅格内所有点的均值作为栅格坐标，每个栅格内部最多保留固定数目的点，每帧点云最多保留固定数目的栅格。
将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，得到三维特征图和鸟瞰视角下的二维特征图具体为：将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，前4层三维稀疏卷积层每层输出得到4个不同尺度的三维特征图；最后1层的输出将高度方向特征所有通道相连，得到鸟瞰视角下的二维特征图；所述三维稀疏卷积特征提取器包括叠加的5个三维稀疏卷积层，其中第1层由2个流形稀疏卷积构成，中间3层由1个普通稀疏卷积和2个流形稀疏卷积构成，最后1层由1个普通稀疏卷积构成，每个卷积后都连接1个BatchNorm层和1个ReLu激活层。
以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后经过全连接层处理得到信息加强的采样点特征具体如下：
将4个不同尺度三维特征图中的所有非空体素栅格特征按照输出层级分别转化为4组点特征，再分别将4组转化后的点特征输入到以稀疏采样点为中心的4个SA结构中，栅格特征转化为点特征时将非空体素栅格的中心位置作为点坐标，体素栅格对应特征作为点特征；
对稀疏采样点补充原始点云特征及其二维鸟瞰视角特征，原始点云特征以原始点云为输入通过1个SA结构得到，采样点的二维鸟瞰视角特征以二维鸟瞰视角特征为输入通过二次线性插值得到；
最后将不同来源、不同层级的采样点对应特征级联后输入到全连接层处理，得到加强的采样点特征。
以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征具体如下：
将信息加强的采样点特征作为输入，通过全连接层输出每个采样点到对应目标中心的空间三维位置偏移预测，并将偏移后的位置作为候选参考点坐标；
偏移预测的同时在采样点和候选参考点之间建立了一一对应的关系，以每个候选参考点为中心，所有的采样点特征为输入，在每个候选参考点附近以统一半径划定球形邻域，选择落入所述球形邻域内的候选参考点所对应的采样点，对于任意候选参考点，以其选择的邻居采样点的对应特征作为输入，通过局部点特征聚合结构得到中心候选参考点的对应特征；其中，局部点特征聚合结构采用SA-SSG(单尺度SA结构)、SA-MSG(多尺度SA结构)或PosPool。
以采样点特征为输入，经过全连接层得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果；以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框，对所有目标候选框进行非最大抑制处理得到感兴趣区域具体为：以采样点特征为输入，通过全连接层得到每个采样点对应的前景和背景的分类预测，前景为当前需要检测目标的对应点，除所述检测目标对应点之外均为背景；以候选参考点特征为输入，通过全连接层得到以每个候选参考点为目标中心参考的目标候选框位置、尺寸和方向预测结果，采样点和候选参考点一一对应，候选参考点与预测的目标候选框一一对应，若采样点为前景，则与其对应的目标候选框就被作为正例，以所有目标候选框为输入，通过非最大抑制得到固定数量的感兴趣区。
精细化目标候选框，以经前背景分类置信分数加权的采样点特征为输入，输出对感兴趣目标候选框的修正结果，最后经非最大抑制得到最终目标检测框具体为：将每个感兴趣区域在长宽高三个维度上分别进行均分，每个感兴趣区域得到固定数量的体素栅格，将所述体素栅格中心作为栅格点，以各栅格点为中心，经前背景置信分数加权的采样点特征为输入，在栅格点附近以固定半径划分球形邻域，选择落入所述球形邻域的固定数量采样点的对应特征，通过局部点特征聚合SA结构得到每个栅格点对应的特征，将所有的栅格点对应的特征按照索引顺序级联，经过各感兴趣区域共享的全连接层得到每个感兴趣区域的特征，将每个感兴趣区域的特征分别输入到由全连接层组成的分类头网络和回归头网络，根据输出的分类和回归预测得到参数精细化后的目标候选框，以上结果再经非最大抑制处理得到最终的目标检测框。
一种基于车载激光雷达点云的三维目标自适应检测系统，包括点云栅格化模块、特征提取模块、采样点生成模块、候选参考点生成模块、目标候选框生成模块、目标候选框参数精细化模块；
点云栅格化模块用于将激光雷达点云规整化处理，以统一尺寸划分，并采用坐标均值编码；
特征提取模块基于三维稀疏卷积特征提取器中提取特征，得到不同尺度的三维特征图和鸟瞰视角下的二维特征图；
采样点生成模块用于对激光雷达点云进行最远点采样，得到固定数量的稀疏采样点，以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后通过全连接层处理得到信息加强的采样点特征；
候选参考点生成模块用于通过所述信息加强的采样点特征生成与目标更加匹配的候选参考点及其对应特征，具体如下：以采样点特征为输入通过全连接层输出采样点位置到对应目标中心的绝对位置偏移，以采样点补偿偏移后的位置作为生成候选框的中心参考点，即候选参考点；以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征；
目标候选框生成模块用于以采样点特征为输入，经过全连接层处理得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果，以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框的回归预测结果，所有目标候选框经非最大抑制处理得到感兴趣区域；
目标候选框参数精细化模块用于以经前背景置信分数加权的采样点特征作为输入，利用SA结构将其整合至感兴趣区域的栅格点，再通过全连接层得到参数精细化后的目标候选框，最后由非最大抑制得到最终的目标检测框。
本发明还提供一种计算机设备，包括一个或多个处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于车载激光雷达点云的三维目标自适应检测方法。
本发明还可以提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于车载激光雷达点云的三维目标自适应检测方法。
与现有技术相比，本发明至少具有以下有益效果：
本发明将不同层级、不同来源的特征融合到采样点特征，将采样点特征作为生成候选参考点特征的输入，使采样点特征和候选参考点特征都具备强大的表征能力，能够包含对局部环境的多层次的理解；本发明设计目标自适应的邻域划分方法用于候选参考点生成，从位置和特征两方面使候选参考点和对应目标更加匹配，位置距离目标中心更近，特征包含的信息更能反映对应目标信息；本发明将采样点特征和候选参考点特征分别用于不同任务，前者用于前背景点分类后者用于目标候选框参数回归时能够达到更好的检测效果。在检测精度上本发明提升了现有基于稀疏候选框方法的效果，且优于大多数已公开的基于稠密候选框的方法。
附图说明
图1为本发明基于车载激光雷达点云的三维目标自适应检测方法的端到端检测流程示意图。
图2为本发明基于车载激光雷达点云的三维目标自适应检测方法的目标自适应候选参考点特征生成模块鸟瞰视角示意图。
图3为本发明基于车载激光雷达点云的三维目标自适应检测方法的一阶段目标候选框生成的检测头网络结构示意图。
具体实施方式
下面结合附图对本发明进行详细阐述。
本发明将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，三维稀疏卷积特征提取器由叠加的5个三维稀疏卷积层组成，前4层每层输出得到4个不同尺度的三维特征图，最后1层的输出将高度方向特征维度相连，得到鸟瞰视角下的二维特征图。接着对激光雷达点云进行最远点采样，得到固定数量的稀疏采样点，再依照现有方法分别以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA(SetAbstraction)结构将不同层级、不同来源的特征整合至采样点，最后通过全连接层得到信息加强的采样点特征；
参考图1，一般稀疏候选框方法中将采样点特征直接作为候选参考点特征，而本发明通过采样点特征生成和目标更加匹配的候选参考点及其对应特征。首先，以采样点特征为输入通过全连接层输出采样点位置到对应目标中心的绝对位置偏移，以采样点补偿偏移后的位置作为生成候选框的中心参考点，即候选参考点。然后以候选参考点为中心，本发明提出一种目标自适应的邻域划分方法确定其邻居采样点，然后将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征，局部点特征聚合结构采用SA-SSG(单尺度SA结构)、SA-MSG(多尺度SA结构)或PosPool；
目标候选框生成阶段将上述两种点特征分别用于不同的预测任务：以采样点特征为输入，经过全连接层得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果，以候选参考点对应特征为输入，经过全连接层得到其对应候选框的回归预测结果，最后由非最大抑制(NMS,Non-Maximum Suppression)处理得到感兴趣区域(ROI,Region Of Interest)。
目标候选框的参数精细化阶段本发明直接采用现有方法：以经前背景置信分数加权的采样点特征作为输入，利用SA(Set Abstraction)结构将其整合至感兴趣区域的栅格点，由各栅格点特征得到对应感兴趣区域特征，再通过全连接层得到参数精细化后的目标候选框，最后由非最大抑制处理得到最终的目标检测框。
点云栅格化。保留预设范围内的激光雷达点云，将空间划分为XYZ方向上尺寸统一的栅格，以每个栅格内所有点的均值作为栅格坐标，每个栅格内部最多保留固定数目的点，每帧点云最多保留固定数目的栅格。本发明以KITTI数据集为示例，保留XYZ轴[0,70.4m][-40m,40m][-3m,1m]范围内的点，将空间划分为XYZ方向上尺寸统一为[0.05m,0.05m,0.1m]的栅格。
特征提取器。将栅格化的点云输入三维稀疏卷积提取特征，特征提取器共由5个叠加的三维稀疏卷积层组成，分别为1个纯流形稀疏卷积层、3个混合结构的稀疏卷积层、1个纯普通稀疏卷积层，第1层由2个流形稀疏卷积构成，中间3层皆由1个普通稀疏卷积和2个流形稀疏卷积构成，最后1层由1个普通稀疏卷积构成，每个卷积后都连接1个BatchNorm层和1个ReLu激活层。前4层每层输出得到4个不同尺度的三维特征图，即采样1倍、2倍、4倍、8倍的三维特征输出
Figure BDA0003062695970000081
最后1层的输出将高度方向特征维度相连，得到鸟瞰视角下的二维特征图
Figure BDA0003062695970000082
参考图2。
初始输入栅格点云经2个流形稀疏卷积进行特征升维，得到稀疏性和尺度不变的首层特征输出
Figure BDA0003062695970000083
经过另外三个相似的混合结构卷积层，分别得到XYZ三个方向上都降采样2倍、4倍、8倍的三维特征输出
Figure BDA0003062695970000084
每个卷积层由1个普通稀疏卷积和2个流形稀疏卷积构成，上述4个输出特征皆为稠密的栅格特征，其对应维度如式(1)所示，其中Dl(l∈{1,2,3,4})表示不同特征的通道数，L、W、H分别表示XYZ三个方向上点云栅格化的分辨率。
Figure BDA0003062695970000091
Figure BDA0003062695970000092
经过1个普通稀疏卷积层，将高度Z方向降采样2倍，再将输出的Z方向特征所有通道相连，得到XY平面尺度不变的二维鸟瞰视角特征图
Figure BDA0003062695970000093
采样点生成。在未栅格化的点云P＝{pi∈R3|1≤i≤No}上通过最远点采样得到固定数目的稀疏采样点
Figure BDA0003062695970000094
以稀疏采样点
Figure BDA0003062695970000095
为中心，以三维稀疏卷积特征提取器得到的输出特征
Figure BDA0003062695970000096
分别作为输入，通过4个SA(SetAbstraction)结构分别得到稀疏采样点
Figure BDA0003062695970000097
对应的4部分特征
Figure BDA0003062695970000098
将稠密的栅格特征
Figure BDA0003062695970000099
转化为点特征再输入到SA(Set Abstraction)结构中：具体实现时对于任意
Figure BDA00030626959700000910
选择所有非空的体素栅格，将体素栅格的中心位置作为点坐标，栅格对应特征作为点特征。另外和PV-RCNN一样，本发明对采样点补充原始点云特征
Figure BDA00030626959700000911
和二维鸟瞰视角特征
Figure BDA00030626959700000912
以原始点云P为输入通过1个SA(SetAbstraction)结构得到，
Figure BDA00030626959700000913
以二维鸟瞰视角特征
Figure BDA00030626959700000914
为输入通过二次线性插值得到。接着如式(2)所示，将不同来源、不同层级的采样点对应特征级联后输入到1个全连接层FC(·)处理，输出得到信息加强的采样点特征
Figure BDA00030626959700000915
Figure BDA00030626959700000916
所述信息加强的采样点特征融合了特征提取器中不同层级的特征输入，即相对于栅格化点云1倍、2倍、4倍以及8倍降采样的稀疏栅格特征，融合了不同来源的特征输入，即体素栅格特征、原始点特征和二维鸟瞰视角特征，加强了稀疏采样点特征的表达能力。
候选参考点生成。将采样点特征作为输入，通过3个全连接层输出每个采样点到对应目标中心的空间三维位置偏移Δ＝{δi∈R3|1≤i≤N}，并将偏移后的位置作为候选参考点坐标
Figure BDA00030626959700000917
值得注意的是，预测偏移的同时，本发明在采样点和候选参考点之间建立了一一对应的关系如式(3)和(4)所示。
Figure BDA0003062695970000101
Figure BDA0003062695970000102
为了生成对应特征，以每个候选参考点为中心，所有的采样点特征为输入，在每个候选参考点附近以统一半径r划定球形邻域，选择落入此球形邻域内的采样点集N(·)，对于第i个候选参考点，其选择的邻居采样点集
Figure BDA0003062695970000103
如式(5)所示。
Figure BDA0003062695970000104
以
Figure BDA0003062695970000105
中采样点的对应特征作为输入，通过局部点特征聚合结构得到中心候选参考点
Figure BDA0003062695970000106
的对应特征fi c，此处的局部点特征聚合结构采用SA-SSG(单尺度SA结构)、SA-MSG(多尺度SA结构)或PosPool。应注意，尽管本发明仍然采用统一半径进行邻居采样点的选择，但本发明利用了采样点和候选参考点之间一一对应的关系和候选参考点相对集中分布于对应目标中心附近这两个条件，通过统一半径内选择候选参考点来选择邻居采样点，则实际以每个候选参考点为中心划定的邻居采样点选定范围和其对应目标点云有相类似的分布，所以能够得到更加准确反映目标信息的候选参考点特征，即达到目标自适应。
目标候选框的生成。参考图3，以采样点特征为输入，通过3个全连接层得到每个点对应的分类预测，所述分类具体是指前景和背景分类，前景为当前需要检测目标的对应点，背景为除此之外的其他点。另外，以候选参考点特征为输入，通过3个全连接层得到以每个候选参考点为目标中心参考的目标候选框位置、尺寸和方向预测结果。应注意，所述采样点和候选参考点一一对应，候选参考点与预测的目标候选框一一对应，若采样点为前景，则与其对应的目标候选框就作为正例。以所有目标候选框为输入，通过非最大抑制得到固定数量的感兴趣区域，用于二阶段的参数精细化。本发明将采样点和候选参考点对应的特征分别用于不同任务，利用两种点特征中包含的具有不同侧重点的信息，优化一阶段用于目标候选框生成的检测头网络结构。
目标候选框参数精细化。这一部分的做法和PV-RCNN相同，将每个感兴趣区域ROI在长宽高三个维度上分别进行均分，对每个ROI得到固定数量的体素栅格。将所述体素栅格中心作为栅格点，以所述栅格点为中心，经前背景置信分数加权的采样点特征为输入，在栅格点附近以固定半径划分球形邻域，选择落入所述球形邻域的固定数量采样点的对应特征，通过局部点特征聚合SA(Set Abstraction)结构，得到每个栅格点对应的特征。将所有的栅格点对应的特征按照索引顺序级联，经过各ROI共享的2个全连接层得到每个ROI的特征，将每个ROI特征分别输入到统一由3个全连接层组成的分类头网络和回归头网络，得到最终的分类和回归预测，最后由非最大抑制处理得到最终的目标检测框。
本发明一种可能的实施例，一种计算机设备，包括一个或多个处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于车载激光雷达点云的三维目标自适应检测方法。
作为本发明另一种实施例，一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于车载激光雷达点云的三维目标自适应检测方法。
所述计算机设备可以采用车载计算机、笔记本电脑、平板电脑、桌面型计算机、手机或工作站。
处理器可以是中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。
对于本发明所述存储器，可以是车载计算机、笔记本电脑、平板电脑、桌面型计算机、手机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。
计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。

Claims (10)

1.一种基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，具体过程如下：
将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，得到不同尺度的三维特征图和鸟瞰视角下的二维特征图；
对激光雷达点云进行最远点采样，得到固定数量的稀疏采样点；
以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后通过全连接层处理得到信息加强的采样点特征；
通过所述信息加强的采样点特征生成与目标更加匹配的候选参考点及其对应特征，具体如下：以采样点特征为输入通过全连接层输出采样点位置到对应目标中心的绝对位置偏移，以采样点补偿偏移后的位置作为生成候选框的中心参考点，即候选参考点；以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征；
以采样点特征为输入，经过全连接层得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果；以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框，对所有目标候选框进行非最大抑制处理得到感兴趣区域；
精细化目标候选框，以经前背景分类置信分数加权的采样点特征为输入，输出对感兴趣目标候选框的修正结果，最后经非最大抑制得到最终目标检测框。
2.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，保留预设范围内的激光雷达点云，将空间划分为XYZ方向上尺寸统一的栅格，并对各栅格内部点云编码；以每个栅格内所有点的均值作为栅格坐标，每个栅格内部最多保留固定数目的点，每帧点云最多保留固定数目的栅格。
3.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，得到三维特征图和鸟瞰视角下的二维特征图具体为：将激光雷达点云栅格化后输入到三维稀疏卷积特征提取器中提取特征，前4层三维稀疏卷积层每层输出得到4个不同尺度的三维特征图；最后1层的输出将高度方向特征所有通道相连，得到鸟瞰视角下的二维特征图；所述三维稀疏卷积特征提取器包括叠加的5个三维稀疏卷积层，其中第1层由2个流形稀疏卷积构成，中间3层由1个普通稀疏卷积和2个流形稀疏卷积构成，最后1层由1个普通稀疏卷积构成，每个卷积后都连接1个BatchNorm层和1个ReLu激活层。
4.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后经过全连接层处理得到信息加强的采样点特征具体如下：
将4个不同尺度三维特征图中的所有非空体素栅格特征按照输出层级分别转化为4组点特征，再分别将4组转化后的点特征输入到以稀疏采样点为中心的4个SA结构中，栅格特征转化为点特征时将非空体素栅格的中心位置作为点坐标，体素栅格对应特征作为点特征；
对稀疏采样点补充原始点云特征及其二维鸟瞰视角特征，原始点云特征以原始点云为输入通过1个SA结构得到，采样点的二维鸟瞰视角特征以二维鸟瞰视角特征为输入通过二次线性插值得到；
最后将不同来源、不同层级的采样点对应特征级联后输入到全连接层处理，得到加强的采样点特征。
5.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征具体如下：
将信息加强的采样点特征作为输入，通过全连接层输出每个采样点到对应目标中心的空间三维位置偏移预测，并将偏移后的位置作为候选参考点坐标；
偏移预测的同时在采样点和候选参考点之间建立了一一对应的关系，以每个候选参考点为中心，所有的采样点特征为输入，在每个候选参考点附近以统一半径划定球形邻域，选择落入所述球形邻域内的候选参考点所对应的采样点，对于任意候选参考点，以其选择的邻居采样点的对应特征作为输入，通过局部点特征聚合结构得到中心候选参考点的对应特征；其中，局部点特征聚合结构采用单尺度SA结构、多尺度SA结构或PosPool。
6.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，以采样点特征为输入，经过全连接层得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果；以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框，对所有目标候选框进行非最大抑制处理得到感兴趣区域具体为：以采样点特征为输入，通过全连接层得到每个采样点对应的前景和背景的分类预测，前景为当前需要检测目标的对应点，除所述检测目标对应点之外均为背景；以候选参考点特征为输入，通过全连接层得到以每个候选参考点为目标中心参考的目标候选框位置、尺寸和方向预测结果，采样点和候选参考点一一对应，候选参考点与预测的目标候选框一一对应，若采样点为前景，则与其对应的目标候选框就被作为正例，以所有目标候选框为输入，通过非最大抑制得到固定数量的感兴趣区域。
7.根据权利要求1所述的基于车载激光雷达点云的三维目标自适应检测方法，其特征在于，精细化目标候选框，以经前背景分类置信分数加权的采样点特征为输入，输出对感兴趣目标候选框的修正结果，最后经非最大抑制得到最终目标检测框具体为：将每个感兴趣区域在长宽高三个维度上分别进行均分，每个感兴趣区域得到固定数量的体素栅格，将所述体素栅格中心作为栅格点，以各栅格点为中心，经前背景置信分数加权的采样点特征为输入，在栅格点附近以固定半径划分球形邻域，选择落入所述球形邻域的固定数量采样点的对应特征，通过局部点特征聚合SA结构得到每个栅格点对应的特征，将所有的栅格点对应的特征按照索引顺序级联，经过各感兴趣区域共享的全连接层得到每个感兴趣区域的特征，将每个感兴趣区域的特征分别输入到由全连接层组成的分类头网络和回归头网络，根据输出的分类和回归预测得到参数精细化后的目标候选框，以上结果再经非最大抑制处理得到最终的目标检测框。
8.基于车载激光雷达点云的三维目标自适应检测系统，其特征在于，包括点云栅格化模块、特征提取模块、采样点生成模块、候选参考点生成模块、目标候选框生成模块、目标候选框参数精细化模块；
点云栅格化模块用于将激光雷达点云规整化处理，以统一尺寸划分，并采用坐标均值编码；
特征提取模块基于三维稀疏卷积特征提取器中提取特征，得到不同尺度的三维特征图和鸟瞰视角下的二维特征图；
采样点生成模块用于对激光雷达点云进行最远点采样，得到固定数量的稀疏采样点，以原始点云、不同尺度的三维特征图、鸟瞰视角下的二维特征图为输入，利用SA结构将不同层级、不同来源的特征整合至稀疏采样点，最后通过全连接层处理得到信息加强的采样点特征；
候选参考点生成模块用于通过所述信息加强的采样点特征生成与目标更加匹配的候选参考点及其对应特征，具体如下：以采样点特征为输入通过全连接层输出采样点位置到对应目标中心的绝对位置偏移，以采样点补偿偏移后的位置作为生成候选框的中心参考点，即候选参考点；以候选参考点为中心，用目标自适应的邻域划分方法确定其邻居采样点，将邻居采样点及其对应特征输入到局部点特征聚合结构，输出候选参考点对应特征；
目标候选框生成模块用于以采样点特征为输入，经过全连接层处理得到采样点的前背景分类结果，作为其偏移后的候选参考点所对应候选框的分类结果，以候选参考点对应特征为输入，经过全连接层处理得到其对应候选框的回归预测结果，所有目标候选框经非最大抑制处理得到感兴趣区域；
目标候选框参数精细化模块用于以经前背景置信分数加权的采样点特征作为输入，利用SA结构将其整合至感兴趣区域的栅格点，再通过全连接层得到参数精细化后的目标候选框，最后由非最大抑制处理得到最终的目标检测框。
9.一种计算机设备，其特征在于，包括一个或多个处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现权利要求1～7中任一项所述基于车载激光雷达点云的三维目标自适应检测方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的基于车载激光雷达点云的三维目标自适应检测方法。
CN202110516998.0A 2021-05-12 2021-05-12 基于车载激光雷达点云的三维目标自适应检测方法及系统 Active CN113284163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516998.0A CN113284163B (zh) 2021-05-12 2021-05-12 基于车载激光雷达点云的三维目标自适应检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516998.0A CN113284163B (zh) 2021-05-12 2021-05-12 基于车载激光雷达点云的三维目标自适应检测方法及系统

Publications (2)

Publication Number Publication Date
CN113284163A true CN113284163A (zh) 2021-08-20
CN113284163B CN113284163B (zh) 2023-04-07

Family

ID=77278746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516998.0A Active CN113284163B (zh) 2021-05-12 2021-05-12 基于车载激光雷达点云的三维目标自适应检测方法及系统

Country Status (1)

Country Link
CN (1) CN113284163B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674425A (zh) * 2021-10-25 2021-11-19 深圳市信润富联数字科技有限公司 点云采样方法、装置、设备及计算机可读存储介质
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN115082902A (zh) * 2022-07-22 2022-09-20 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法
CN115829898A (zh) * 2023-02-24 2023-03-21 北京百度网讯科技有限公司 数据处理方法、装置、电子设备、介质以及自动驾驶车辆
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN110910450A (zh) * 2019-09-26 2020-03-24 西安交通大学 一种基于混合特征感知神经网络进行3d目标检测的方法
CN111340875A (zh) * 2020-02-17 2020-06-26 南京航空航天大学 一种基于三维激光雷达的空间移动目标检测方法
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
US20210019906A1 (en) * 2019-07-18 2021-01-21 Hitachi, Ltd. Method and apparatus for object detection integrating 2d image recognition and 3d scene reconstruction
CN112270332A (zh) * 2020-11-12 2021-01-26 武汉科技大学 一种基于子流稀疏卷积的三维目标检测方法及系统
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
US20210019906A1 (en) * 2019-07-18 2021-01-21 Hitachi, Ltd. Method and apparatus for object detection integrating 2d image recognition and 3d scene reconstruction
CN110910450A (zh) * 2019-09-26 2020-03-24 西安交通大学 一种基于混合特征感知神经网络进行3d目标检测的方法
CN111340875A (zh) * 2020-02-17 2020-06-26 南京航空航天大学 一种基于三维激光雷达的空间移动目标检测方法
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
CN112270332A (zh) * 2020-11-12 2021-01-26 武汉科技大学 一种基于子流稀疏卷积的三维目标检测方法及系统
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN S.等: "Complex-YOLO: An Euler-Region-Proposal for Real-time 3D Object Detection on Point Clouds", 《ARXIV》 *
沈琦等: "基于两级网络的三维目标检测算法", 《计算机科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN113674425A (zh) * 2021-10-25 2021-11-19 深圳市信润富联数字科技有限公司 点云采样方法、装置、设备及计算机可读存储介质
CN115082902A (zh) * 2022-07-22 2022-09-20 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法
CN115082902B (zh) * 2022-07-22 2022-11-11 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法
CN115829898A (zh) * 2023-02-24 2023-03-21 北京百度网讯科技有限公司 数据处理方法、装置、电子设备、介质以及自动驾驶车辆
CN115829898B (zh) * 2023-02-24 2023-06-02 北京百度网讯科技有限公司 数据处理方法、装置、电子设备、介质以及自动驾驶车辆
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆
CN116758518B (zh) * 2023-08-22 2023-12-01 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆

Also Published As

Publication number Publication date
CN113284163B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113284163B (zh) 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
Zamanakos et al. A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN111160214B (zh) 一种基于数据融合的3d目标检测方法
CN111199206A (zh) 三维目标检测方法、装置、计算机设备及存储介质
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
Wu et al. Regional feature fusion for on-road detection of objects using camera and 3D-LiDAR in high-speed autonomous vehicles
CN112287860A (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN112446227A (zh) 物体检测方法、装置及设备
US20220277581A1 (en) Hand pose estimation method, device and storage medium
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN115272416A (zh) 基于多源传感器融合的车辆和行人检测跟踪方法及系统
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN113420648A (zh) 一种具有旋转适应性的目标检测方法及系统
CN116152800A (zh) 基于跨视图特征融合的3d动态多目标检测方法、系统及存储介质
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant