CN115082902B - 一种基于激光雷达点云的车辆目标检测方法 - Google Patents

一种基于激光雷达点云的车辆目标检测方法 Download PDF

Info

Publication number
CN115082902B
CN115082902B CN202210865317.6A CN202210865317A CN115082902B CN 115082902 B CN115082902 B CN 115082902B CN 202210865317 A CN202210865317 A CN 202210865317A CN 115082902 B CN115082902 B CN 115082902B
Authority
CN
China
Prior art keywords
dimensional
vehicle
point cloud
frame
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210865317.6A
Other languages
English (en)
Other versions
CN115082902A (zh
Inventor
刘寒松
王国强
王永
刘瑞
翟贵乾
谭连胜
李贤超
焦安健
董玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210865317.6A priority Critical patent/CN115082902B/zh
Publication of CN115082902A publication Critical patent/CN115082902A/zh
Application granted granted Critical
Publication of CN115082902B publication Critical patent/CN115082902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明属于车辆检测技术领域，涉及一种基于激光雷达点云的车辆目标检测方法，先引入一种基于体素金字塔的动态特征聚合策略，根据候选感兴趣区域的大小和内部非空体素稀疏性不同，自适应地选择不同分辨率特征层聚合特征信息；再设计一个可形变的感兴趣区域池化模块，为每个网格学习一个偏移量来对齐语义信息，并聚合三维区域建议外部上下文信息的特征，以提高采样点特征的表征能力；最后设计一种建议框几何信息融合模块，利用网格点到区域建议框的中心点和角点的距离信息以丰富特征，从而获得更加准确的车辆检测结果。

Description

一种基于激光雷达点云的车辆目标检测方法
技术领域
本发明属于车辆检测技术领域，涉及一种基于激光雷达点云的车辆目标检测方法，能有效处理无人驾驶中基于激光雷达系统点云的远距离车辆检测。
背景技术
随着人工智能与计算机视觉技术的发展以及车辆自动驾驶对驾驶安全方面日益重视，用于自动驾驶的相关技术成为当前的研究热点，自动驾驶汽车合法上路需要满足三个基本特征：高精度，高确定性，高可靠性，从传感器的角度来看，激光雷达系统提供了高精度深度信息的同时，受昼夜，天气等光线影响较小，因此，基于激光雷达系统点云的车辆目标检测成为自动驾驶中的核心技术，为后续的自动驾驶控制相关工作提供可靠的数据支持，车辆目标检测技术作为所有技术的基础工作，其检测的准确程度直接影响了自动驾驶的安全性和稳定性，具有重要的研究意义和应用价值。
激光雷达点云对于远处车辆或行人目标较为稀疏导致不易检测成为主要瓶颈之一，由于激光雷达旋转发射激光，因此从在远处的目标受到激光反射的点云个数会远远小于近处目标，同时在传播的过程中可能会受到物体遮挡的影响，因此较远处的汽车返回的激光点云较为稀疏，这对神经网络的特征提取和识别都会造成不利影响，为自动驾驶中的车辆检测任务带来极大的挑战性。
在车辆检测的过程中，距离传感器近的目标通常点云数量较多，形状较为完整，而距离传感器远的目标点云较为稀疏，且形状不完整；在三维目标检测研究中，不同分辨率的特征层对于不同尺度的目标具有不同的相应已经被研究学者们所证明，近处点云较完整的车辆目标，可以通过低分辨率的特征层较为容易的检测，而远处点云稀疏的车辆目标检测，则需要不同分辨率特征的融合。
目前，在基于点云的车辆检测方法中，在三维区域建议内部通常规则的采样相同数量的网格点，并对他们进行特征聚合以获得三维区域建议特征，但对于稀疏车辆目标来说，采样点往往取在空体素中，这在一定程度上增加了计算负担，同时，对于稀疏目标，仅靠三维区域内部特征无法进行准确检测；由鸟瞰图特征生成的粗略的三维区域建议框也可以为刚性较强的车辆目标检测提供一定的几何信息，这些信息有利于最终检测框的预测，但这些几何特征往往在其他基于点云的车辆目标检测中被忽略，因此，亟需设计一种新型的车辆目标检测方法。
发明内容
本发明的目的在于解决基于激光雷达点云在远处车辆目标中较为稀疏从而导致检测性能下降的问题，设计提供一种基于激光雷达点云的车辆目标检测方法。
为实现上述目的，为实现上述目的，本发明采实现车辆目标检测的具体过程为：
（1）、为了从不规则的激光雷达点云中提取车辆特征，将点云坐标表示
Figure 573406DEST_PATH_IMAGE001
转 换为等间距的三维体素表示；
（2）、将三维体素输入到三维卷积神经网络中通过稀疏卷积操作提取不同尺度下 的三维特征层
Figure 319908DEST_PATH_IMAGE002
；
（3）、将步骤（2）生成的特征层
Figure 693120DEST_PATH_IMAGE003
压缩为二维鸟瞰图特征，并将二维鸟瞰图特 征输入二维卷积神经网络中生成三维区域建议框；
（4）、在步骤（3）生成的三维区域建议框基础上，引入一种基于体素金字塔的动态 特征聚合策略，根据三维区域建议框的大小和内部非空体素稀疏性比值的不同，自适应在
Figure 557171DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的感兴趣区域特征；
（5）、在步骤（4）基于体素金字塔的动态特征聚合策略中，设计一个可形变的感兴趣区域池化模块，在三维区域建议框中规则采样相同数量的网格点，为每个网格点学习一个偏移量来对齐语义信息，并聚合三维建议框内部和外部特征，获取丰富语义上下文信息，以提高采样点特征的表征能力；
（6）、根据步骤（3）生成的三维区域建议框，设计一种建议框几何信息融合模块，将三维框中规则网格点到框中心点和角点的距离信息与步骤（5）中提取的感兴趣区域特征相融合，最终得到车辆特征；
（7）、将步骤（6）中提取的融合车辆特征送入检测头，对车辆进行分类和定位的预测，并训练具有稀疏点云检测能力的车辆目标检测模型。
作为本发明的进一步技术方案，所述步骤（1）具体包括如下步骤：
（11）、为从不规则的激光雷达点云中提取车辆特征，在激光雷达传感器返回的原 始点云信息中取
Figure 965019DEST_PATH_IMAGE005
轴坐标
Figure 256323DEST_PATH_IMAGE001
作为车辆目标检测框架输入；
（12）、按照
Figure 257777DEST_PATH_IMAGE006
轴采样范围
Figure 784573DEST_PATH_IMAGE007
和
Figure 282813DEST_PATH_IMAGE008
轴采样范围
Figure 745018DEST_PATH_IMAGE009
以及规则体素 大小
Figure 92823DEST_PATH_IMAGE010
，将不规则的原始点云转换为等间距的三维体素表示。
作为本发明的进一步技术方案，所述步骤（2）具体包括如下步骤：
（21）、为提高特征提取的速度，对每个体素取体素内原始点云的坐标平均值作为三维体素初始特征，作为三维卷积神经网络的输入；
（22）、将三维体素初始特征输入到三维卷积神经网络中通过稀疏卷积操作提取不 同尺度下的三维特征层
Figure 892152DEST_PATH_IMAGE002
。
作为本发明的进一步技术方案，所述步骤（3）具体包括如下步骤：
（31）、将三维卷积神经网络生成的特征层
Figure 884378DEST_PATH_IMAGE003
，按照Z轴方向压缩为二维鸟瞰图 特征
Figure 907698DEST_PATH_IMAGE011
；
（32）、将二维鸟瞰图特征
Figure 883744DEST_PATH_IMAGE011
输入二维卷积神经网络中，通过多尺度特征融合生 成粗略的三维区域建议框。
作为本发明的进一步技术方案， 所述步骤（4）具体包括如下步骤：
（41）、为增强稀疏点云目标特征，同时提高特征聚合的效率，引入一种基于体素金 字塔的动态特征聚合策略，计算三维区域建议框内部非空体素的数量
Figure 253808DEST_PATH_IMAGE012
占三维区域建议 框内部所有体素数量
Figure 959596DEST_PATH_IMAGE013
的比值
Figure 763604DEST_PATH_IMAGE014
；
（42）、设置稀疏性权值
Figure 86001DEST_PATH_IMAGE015
，根据三维区域建议框内部非空体素稀疏性
Figure 633657DEST_PATH_IMAGE014
自适 应地在
Figure 866055DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的三维区域建议框特征
Figure 231177DEST_PATH_IMAGE016
。
作为本发明的进一步技术方案，所述步骤（5）具体包括如下步骤：
（51）、在步骤（4）基于体素金字塔的动态特征聚合策略中，设计一个可形变的感兴 趣区域池化模块，在每个三维区域建议框中规则采样
Figure 650657DEST_PATH_IMAGE017
个坐标为
Figure 628103DEST_PATH_IMAGE018
的网 格点
Figure 308483DEST_PATH_IMAGE019
对应的特征向量为
Figure 719873DEST_PATH_IMAGE020
；
（52）、根据检测车辆的点云稀疏程度，利用体素查询操作，在步骤（4）中自适应选 择的不同三维特征层中找到网格点
Figure 751283DEST_PATH_IMAGE021
邻域中的体素集
Figure 640741DEST_PATH_IMAGE022
；
（53）、为将采样点集中在三维区域建议框内外的非空体素上，通过网格点
Figure 706786DEST_PATH_IMAGE021
邻 域体素集
Figure 289077DEST_PATH_IMAGE022
的坐标和特征向量，训练学习生成偏移量
Figure 778090DEST_PATH_IMAGE023
对齐语义信息，并聚合形变后网格 点周围特征，获取丰富语义上下文信息，以提高采样点特征的表征能力。
作为本发明的进一步技术方案，所述步骤（6）具体包括如下步骤：
（61）、根据步骤（3）生成的三维区域建议框，设计了一种建议框几何信息融合模 块，计算三维框中规则网格点
Figure 595873DEST_PATH_IMAGE021
到框中心点距离
Figure 126211DEST_PATH_IMAGE024
和角点的距离
Figure 738458DEST_PATH_IMAGE025
， 通过多层感知器生成距离信息特征
Figure 619827DEST_PATH_IMAGE026
；
（62）、融合步骤（61）生成的距离特征
Figure 241301DEST_PATH_IMAGE026
与步骤（5）中聚合的形变网格点特征
Figure 157304DEST_PATH_IMAGE027
，最终得到融合车辆特征
Figure 176338DEST_PATH_IMAGE028
。
作为本发明的进一步技术方案，所述步骤（7）具体包括如下步骤：
步骤（71）、将步骤（6）中提取的融合车辆特征
Figure 545003DEST_PATH_IMAGE028
送入检测头，通过多层感知器将 融合车辆特征转换为特征向量；
步骤（72）、将特征向量分别输入两个平行分支对车辆进行置信度预测和边界框的回归。
本发明与现有技术相比，具有以下优点：
1、引入的基于体素金字塔的动态特征聚合策略，根据三维区域建议框的大小和内部非空体素稀疏性，自适应地选择不同分辨率特征层聚合特征信息，使稀疏的车辆目标可以从多层三维体素特征层中聚合网格点特征，并且提高了计算效率；
2、本发明设计的可形变的感兴趣区域池化模块，为每个网格点学习一个偏移量来对齐语义信息，并聚合三维区域建议外部上下文信息的特征，以提高采样点特征的表征能力，通过网格点偏移量从而减少了空体素的计算量，提高了检测效率；
3、设计的建议框几何信息融合模块利用网格点到区域建议框的中心点和角点的距离信息以丰富特征，从而获得更加准确的车辆检测结果。
附图说明
图1为本发明的流程图。
图2为本发明的网络框架图。
图3为本发明提出的金字塔特征聚合模块示意图。
图4 为本发明提出可形变的感兴趣区域池化模块示意图。
具体实施方式
下面通过实施例并结合附图对本发明作进一步说明。
实施例：
本实施例基于激光雷达点云对车辆目标进行检测方法的流程如图1所示，具体为：
（1）、为了从不规则的激光雷达点云中提取车辆特征，将点云坐标表示
Figure 704588DEST_PATH_IMAGE001
转换为等间距的三维体素表示；
（2）、将三维体素输入到三维卷积神经网络中通过稀疏卷积操作提取不同尺度下 的三维特征层
Figure 475098DEST_PATH_IMAGE002
；
（3）、将步骤（2）生成的特征层
Figure 163569DEST_PATH_IMAGE003
压缩为二维鸟瞰图特征，并将二维鸟瞰图特 征输入二维卷积神经网络中生成三维区域建议框；
（4）、在步骤（3）生成的三维区域建议框基础上，引入一种基于体素金字塔的动态 特征聚合策略，根据三维区域建议框的大小和内部非空体素稀疏性比值的不同，自适应在
Figure 144163DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的感兴趣区域特征；
（5）、在步骤（4）基于体素金字塔的动态特征聚合策略中，设计一个可形变的感兴趣区域池化模块，在三维区域建议框中规则采样相同数量的网格点，为每个网格点学习一个偏移量来对齐语义信息，并聚合三维建议框内部和外部特征，获取丰富语义上下文信息，以提高采样点特征的表征能力；
（6）、根据步骤（3）生成的三维区域建议框，设计一种建议框几何信息融合模块，将三维框中规则网格点到框中心点和角点的距离信息与步骤（5）中提取的感兴趣区域特征相融合，最终得到车辆特征；
（7）、将步骤（6）中提取的融合车辆特征送入检测头，对车辆进行分类和定位的预测，并训练具有稀疏点云检测能力的车辆目标检测模型。
具体的，对于步骤（1），为从不规则的激光雷达点云中提取车辆特征，首先在激光 雷达传感器返回的原始点云信息中取
Figure 982806DEST_PATH_IMAGE005
轴坐标
Figure 968342DEST_PATH_IMAGE001
作为车辆目标检测框架输入； 再按照
Figure 499817DEST_PATH_IMAGE006
轴采样范围
Figure 436549DEST_PATH_IMAGE007
和
Figure 813304DEST_PATH_IMAGE008
轴采样范围
Figure 417461DEST_PATH_IMAGE009
以及规则体素大小
Figure 854258DEST_PATH_IMAGE010
，将不规则的原始点云转换为等间距的三维体素表示。
对于步骤（2），为提高特征提取的速度，取每个体素取体素内原始点云的坐标平均 值作为三维体素初始特征，作为三维卷积神经网络的输入；然后将三维体素初始特征输入 到三维卷积神经网络中通过稀疏卷积操作提取不同尺度下的三维特征层
Figure 543866DEST_PATH_IMAGE002
。
对于步骤（3），首先，将三维卷积神经网络生成的特征层
Figure 724311DEST_PATH_IMAGE003
，按照Z轴方向压缩 为二维鸟瞰图特征
Figure 684439DEST_PATH_IMAGE011
，将二维鸟瞰图特征
Figure 292138DEST_PATH_IMAGE011
输入二维卷积神经网络中，分别生成维度为 [128,200,256]和[64,100,512]特征，通过反卷积操作将低分辨率特征图转换为高分辨率， 并进行特征融合，最终融合成维度为[128，200，512]的鸟瞰图特征；
其次，通过融合后鸟瞰图特征生成粗略的三维区域建议框，并进行训练，损失函数定义如下：
Figure 203462DEST_PATH_IMAGE029
其中，
Figure 781074DEST_PATH_IMAGE030
表示前景锚框的数量，
Figure 500768DEST_PATH_IMAGE031
和
Figure 404002DEST_PATH_IMAGE032
分别表示分类的预测和标签，
Figure 943568DEST_PATH_IMAGE033
表 示只有前景锚框计算回归损失，
Figure 91915DEST_PATH_IMAGE034
和
Figure 400536DEST_PATH_IMAGE035
分别代表回归分支的预测和标签，在分类损失函数
Figure 474672DEST_PATH_IMAGE036
中，
Figure 235954DEST_PATH_IMAGE037
为调制系数，用于实现控制正负样本权重和控制容易分类和难分类样本权 重，在回归损失
Figure 827473DEST_PATH_IMAGE038
中，超参数
Figure 115235DEST_PATH_IMAGE039
决定损失函数对异常值的敏感度，
Figure 235637DEST_PATH_IMAGE039
越大，对异常值敏感度 越弱。
对于步骤4，体素金字塔的动态特征聚合策略主要由以下两个步骤完成：
步骤（41）、为增强稀疏点云目标特征，同时提高特征聚合的效率，引入一种基于体 素金字塔的动态特征聚合策略，将步骤(3)生成的三位区域建议框映射会原始体素，计算三 维区域建议框内部非空体素的数量
Figure 874429DEST_PATH_IMAGE012
占三维区域建议框内部所有体素数量
Figure 738480DEST_PATH_IMAGE013
的比值
Figure 140071DEST_PATH_IMAGE014
，定义如下：
Figure 821588DEST_PATH_IMAGE040
；
步骤（42）、设设置稀疏性权值
Figure 557463DEST_PATH_IMAGE015
，根据三维区域建议框内部非空体素稀疏性
Figure 349839DEST_PATH_IMAGE014
自适应地在
Figure 221980DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的三维区域建议 框特征
Figure 700497DEST_PATH_IMAGE016
如果大于
Figure 658089DEST_PATH_IMAGE041
，说明三维区域建议框点云数量多，且形状较为完整，选择Conv4特征 层聚合特征以提高计算效率，如果
Figure 988576DEST_PATH_IMAGE042
小于
Figure 980802DEST_PATH_IMAGE041
且大于
Figure 738543DEST_PATH_IMAGE043
，则选择Conv3，Conv4中共同聚合特 征；如果
Figure 809529DEST_PATH_IMAGE042
小于
Figure 819074DEST_PATH_IMAGE043
，证明该目标车辆点云较为稀疏，形状不完整，选择Conv2，Conv3，Conv4 共同聚合特征，选择策略定义如下：
Figure 196965DEST_PATH_IMAGE044
其中
Figure 125607DEST_PATH_IMAGE045
分别代表在Conv2，Conv3，Conv4聚合的特征。
对于步骤（5），在步骤（4）基于体素金字塔的动态特征聚合策略中，设计了一个可形变的感兴趣区域池化模块，在三维区域建议框中规则采样相同数量的网格点，为每个网格点学习一个偏移量来对齐语义信息，并聚合三维建议框内部和外部特征，获取丰富语义上下文信息，以提高采样点特征的表征能力，具体实现过程如下：
（51）、在每个三维区域建议框中规则采样
Figure 323370DEST_PATH_IMAGE017
个坐标为
Figure 995660DEST_PATH_IMAGE018
的网格 点
Figure 962479DEST_PATH_IMAGE019
对应的特征向量为
Figure 62022DEST_PATH_IMAGE020
；
（52）、根据检测车辆的点云稀疏程度，利用体素查询操作，首先将查询点量化成一 个体素，然后通过所以转换得到相邻体素，在体素查询过程中，计算体素之间的曼哈顿距 离，并在一个阈值范围内采样N个体素，即在步骤（4）中自适应选择的不同三维特征层中找 到网格点
Figure 107601DEST_PATH_IMAGE021
邻域中的体素集
Figure 724527DEST_PATH_IMAGE046
，体素
Figure 404907DEST_PATH_IMAGE047
和体素
Figure 81876DEST_PATH_IMAGE048
之间的曼哈顿距离定义如下：
Figure 847707DEST_PATH_IMAGE049
；
（53）、为将采样点集中在三维区域建议框内外的非空体素上，通过网格点
Figure 471586DEST_PATH_IMAGE021
邻 域体素集
Figure 537631DEST_PATH_IMAGE050
的坐标和特征向量，训练学习生成偏移量
Figure 854343DEST_PATH_IMAGE023
，计算公式如下：
Figure DEST_PATH_IMAGE052A
其中，
Figure 264727DEST_PATH_IMAGE053
为邻域体素特征向量，W1,W2为可学习权值，学习形变后的新网格点位置为
Figure 223455DEST_PATH_IMAGE054
，对于每个新网格点，采用PointNet模块聚合相邻体素特征得到新特征，获取 丰富语义上下文信息，以提高采样点特征的表征能力。
对于步骤（6），基于步骤（3）生成的三维区域建议框，设计了一种建议框几何信息 融合模块，以进一步丰富三位区域建议特征，具体来说，首先计算三维框中规则网格点
Figure 19373DEST_PATH_IMAGE055
到框中心点
Figure DEST_PATH_IMAGE056
的欧式距离
Figure 631620DEST_PATH_IMAGE057
和角点
Figure DEST_PATH_IMAGE058
的欧式距离
Figure 873508DEST_PATH_IMAGE059
，其中
Figure DEST_PATH_IMAGE060
，
Figure 698244DEST_PATH_IMAGE061
，
Figure DEST_PATH_IMAGE062
，
对于每个网格点来说，网格点特征定义入下：
Figure 207723DEST_PATH_IMAGE063
其中A为线性层，在每个三维区域建议框中，所有网格点与中心点角点的特征共同 融合形成距离特征
Figure DEST_PATH_IMAGE064
；
步骤（62）、步骤（61）生成的距离特征
Figure 725292DEST_PATH_IMAGE064
与步骤（5）中聚合的形变网格点特征
Figure 93957DEST_PATH_IMAGE065
通过concat操作，最终得到融合车辆特征
Figure DEST_PATH_IMAGE066
。
对于步骤（7），首先将步骤（6）中提取的融合车辆特征
Figure 223849DEST_PATH_IMAGE066
送入检测头，通过多层感 知器将融合车辆特征转换为特征向量，然后将特征向量分别输入两个平行分支对车辆进行 置信度预测和边界框的回归，用于训练的检测头损失函数由分类损失和回归损失组成，其 中分类损失函数为二元交叉熵损失，回归损失函数为Huber损失，分类分支中，置信度将三 维区域建议框和相应的地面真值框之间的IoU值作为软标签
Figure 853413DEST_PATH_IMAGE067
，定义如下所示：
Figure DEST_PATH_IMAGE068
其中，
Figure 682829DEST_PATH_IMAGE069
和
Figure DEST_PATH_IMAGE070
分别为前景和背景的IoU阈值，检测头的损失函数定义如下所示：
Figure DEST_PATH_IMAGE072
。
本实施例先引入一种基于体素金字塔的动态特征聚合策略，根据候选感兴趣区域的大小和内部非空体素稀疏性不同，自适应地选择不同分辨率特征层聚合特征信息；再设计一个可形变的感兴趣区域池化模块，为每个网格学习一个偏移量来对齐语义信息，并聚合三维区域建议外部上下文信息的特征，以提高采样点特征的表征能力；最后设计一种建议框几何信息融合模块，利用网格点到区域建议框的中心点和角点的距离信息以丰富特征，从而获得更加准确的车辆检测结果；需要指出的是，考虑到车辆检测的实时性，本实施例提出的可形变的感兴趣区域池化模块通过网格点偏移量从而减少了空体素的计算量，提高了检测效率，本实施例所提出的车辆目标检测方法优于国际上同类型的相关方法，通过体素金字塔和可形变的感兴趣区域池化模型提高了以激光雷达点云为输入的车辆检测能力。
以上公开的仅为本发明的具体实施例，根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (6)

1.一种基于激光雷达点云的车辆目标检测方法，其特征在于，具体过程为：
（1）、为了从不规则的激光雷达点云中提取车辆特征，将点云坐标表示
Figure DEST_PATH_IMAGE001
转换为 等间距的三维体素表示；
（2）、将三维体素输入到三维卷积神经网络中通过稀疏卷积操作提取不同尺度下的三 维特征层
Figure DEST_PATH_IMAGE002
；
（3）、将步骤（2）生成的特征层
Figure DEST_PATH_IMAGE003
压缩为二维鸟瞰图特征，并将二维鸟瞰图特征输入 二维卷积神经网络中生成三维区域建议框；
（4）、在步骤（3）生成的三维区域建议框基础上，引入一种基于体素金字塔的动态特征 聚合策略，根据三维区域建议框的大小和内部非空体素稀疏性比值的不同，自适应在
Figure DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的感兴趣区域特征，具体为：
（41）、为增强稀疏点云目标特征，同时提高特征聚合的效率，引入一种基于体素金字塔 的动态特征聚合策略，计算三维区域建议框内部非空体素的数量
Figure DEST_PATH_IMAGE005
占三维区域建议框内 部所有体素数量
Figure DEST_PATH_IMAGE006
的比值
Figure DEST_PATH_IMAGE007
；
（42）、设置稀疏性权值
Figure DEST_PATH_IMAGE008
，根据三维区域建议框内部非空体素稀疏性
Figure 97637DEST_PATH_IMAGE007
自适应地在
Figure 14778DEST_PATH_IMAGE004
中选择不同的三维特征层聚合多尺度的三维区域建议框特征
Figure DEST_PATH_IMAGE009
；
（5）、在步骤（4）基于体素金字塔的动态特征聚合策略中，设计一个可形变的感兴趣区域池化模块，在三维区域建议框中规则采样相同数量的网格点，为每个网格点学习一个偏移量来对齐语义信息，并聚合三维建议框内部和外部特征，获取丰富语义上下文信息，以提高采样点特征的表征能力，具体为：
（51）、在步骤（4）基于体素金字塔的动态特征聚合策略中，设计一个可形变的感兴趣区 域池化模块，在每个三维区域建议框中规则采样
Figure DEST_PATH_IMAGE010
个坐标为
Figure DEST_PATH_IMAGE011
的网格点
Figure DEST_PATH_IMAGE012
对应的特征向量为
Figure DEST_PATH_IMAGE013
；
（52）、根据检测车辆的点云稀疏程度，利用体素查询操作，在步骤（4）中自适应选择的 不同三维特征层中找到网格点
Figure DEST_PATH_IMAGE014
邻域中的体素集
Figure DEST_PATH_IMAGE015
；
（53）、为将采样点集中在三维区域建议框内外的非空体素上，通过网格点
Figure 813756DEST_PATH_IMAGE014
邻域体 素集
Figure 271282DEST_PATH_IMAGE015
的坐标和特征向量，训练学习生成偏移量
Figure DEST_PATH_IMAGE016
对齐语义信息，并聚合形变后网格点周 围特征，获取丰富语义上下文信息，以提高采样点特征的表征能力；
（6）、根据步骤（3）生成的三维区域建议框，设计一种建议框几何信息融合模块，由三维框中规则网格点到框中心点和角点的距离信息生成距离信息特征后与步骤（5）中提取的形变网格点特征相融合，最终得到车辆特征；
（7）、将步骤（6）中提取的融合车辆特征送入检测头，对车辆进行分类和定位的预测，并训练具有稀疏点云检测能力的车辆目标检测模型。
2.根据权利要求1所述基于激光雷达点云的车辆目标检测方法，其特征在于，所述步骤（1）具体包括如下步骤：
（11）、为从不规则的激光雷达点云中提取车辆特征，在激光雷达传感器返回的原始点 云信息中取
Figure DEST_PATH_IMAGE017
轴坐标
Figure 961021DEST_PATH_IMAGE001
作为车辆目标检测框架输入；
（12）、按照
Figure DEST_PATH_IMAGE018
轴采样范围
Figure DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE020
轴采样范围
Figure DEST_PATH_IMAGE021
以及规则体素大小
Figure DEST_PATH_IMAGE022
，将不规则的原始点云转换为等间距的三维体素表示。
3.根据权利要求2所述基于激光雷达点云的车辆目标检测方法，其特征在于， 所述步骤（2）具体包括如下步骤：
（21）、为提高特征提取的速度，对每个体素取体素内原始点云的坐标平均值作为三维体素初始特征，作为三维卷积神经网络的输入；
（22）、将三维体素初始特征输入到三维卷积神经网络中通过稀疏卷积操作提取不同尺 度下的三维特征层
Figure 468969DEST_PATH_IMAGE002
。
4.根据权利要求3所述基于激光雷达点云的车辆目标检测方法，其特征在于， 所述步骤（3）具体包括如下步骤：
（31）、将三维卷积神经网络生成的特征层
Figure 736003DEST_PATH_IMAGE003
，按照Z轴方向压缩为二维鸟瞰图特征
Figure DEST_PATH_IMAGE023
；
（32）、将二维鸟瞰图特征
Figure 997220DEST_PATH_IMAGE023
输入二维卷积神经网络中，通过多尺度特征融合生成粗略 的三维区域建议框。
5.根据权利要求4所述基于激光雷达点云的车辆目标检测方法，其特征在于，所述步骤（6）具体包括如下步骤：
（61）、根据步骤（3）生成的三维区域建议框，设计了一种建议框几何信息融合模块，计 算三维框中规则网格点
Figure 10306DEST_PATH_IMAGE014
到框中心点距离
Figure DEST_PATH_IMAGE024
和角点的距离
Figure DEST_PATH_IMAGE025
，通过多 层感知器生成距离信息特征
Figure DEST_PATH_IMAGE026
；
（62）、融合步骤（61）生成的距离特征
Figure 347878DEST_PATH_IMAGE026
与步骤（5）中聚合的形变网格点特征
Figure DEST_PATH_IMAGE027
，最终 得到融合车辆特征
Figure DEST_PATH_IMAGE028
。
6.根据权利要求5所述基于激光雷达点云的车辆目标检测方法，其特征在于，所述步骤（7）具体包括如下步骤：
步骤（71）、将步骤（6）中提取的融合车辆特征
Figure 977573DEST_PATH_IMAGE028
送入检测头，通过多层感知器将融合 车辆特征转换为特征向量；
步骤（72）、将特征向量分别输入两个平行分支对车辆进行置信度预测和边界框的回归。
CN202210865317.6A 2022-07-22 2022-07-22 一种基于激光雷达点云的车辆目标检测方法 Active CN115082902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210865317.6A CN115082902B (zh) 2022-07-22 2022-07-22 一种基于激光雷达点云的车辆目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210865317.6A CN115082902B (zh) 2022-07-22 2022-07-22 一种基于激光雷达点云的车辆目标检测方法

Publications (2)

Publication Number Publication Date
CN115082902A CN115082902A (zh) 2022-09-20
CN115082902B true CN115082902B (zh) 2022-11-11

Family

ID=83241857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210865317.6A Active CN115082902B (zh) 2022-07-22 2022-07-22 一种基于激光雷达点云的车辆目标检测方法

Country Status (1)

Country Link
CN (1) CN115082902B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062683A (ko) * 2016-12-01 2018-06-11 주식회사 만도 이미지 피라미드를 이용한 차량 인식 장치 및 방법
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111832655A (zh) * 2020-07-16 2020-10-27 四川大学 一种基于特征金字塔网络的多尺度三维目标检测方法
CN113159151A (zh) * 2021-04-12 2021-07-23 中国科学技术大学 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113284163A (zh) * 2021-05-12 2021-08-20 西安交通大学 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法
CN113920499A (zh) * 2021-10-27 2022-01-11 江苏大学 一种面向复杂交通场景的激光点云三维目标检测模型及方法
CN114550161A (zh) * 2022-01-20 2022-05-27 北京大学 一种端到端的三维目标稀疏检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429514B (zh) * 2020-03-11 2023-05-09 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111476822B (zh) * 2020-04-08 2023-04-18 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062683A (ko) * 2016-12-01 2018-06-11 주식회사 만도 이미지 피라미드를 이용한 차량 인식 장치 및 방법
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测系统
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111832655A (zh) * 2020-07-16 2020-10-27 四川大学 一种基于特征金字塔网络的多尺度三维目标检测方法
CN113159151A (zh) * 2021-04-12 2021-07-23 中国科学技术大学 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113284163A (zh) * 2021-05-12 2021-08-20 西安交通大学 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN113920499A (zh) * 2021-10-27 2022-01-11 江苏大学 一种面向复杂交通场景的激光点云三维目标检测模型及方法
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法
CN114550161A (zh) * 2022-01-20 2022-05-27 北京大学 一种端到端的三维目标稀疏检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Data Augmentation Method fo r Improving Vehicle Detection and Recognition Performance》;Xiu-Zhi Chen等;《2022 IEEE International Conference on Consumer Electronics》;20220708;第419-420页 *
《基于深度学习的视觉目标检测技术综述》;曹家乐等;《中国图象图形学报》;20220630;第27卷(第6期);第1697-1722页 *

Also Published As

Publication number Publication date
CN115082902A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN111242041B (zh) 基于伪图像技术的激光雷达三维目标快速检测方法
CN112347987A (zh) 一种多模数据融合的三维目标检测方法
CN115685185B (zh) 一种4d毫米波雷达与视觉融合感知方法
CN115393680B (zh) 雾天场景下多模态信息时空融合的3d目标检测方法及系统
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN116486368A (zh) 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN113569313A (zh) 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法
CN116486396A (zh) 一种基于4d毫米波雷达点云的3d目标检测方法
Wang et al. A survey of 3D point cloud and deep learning-based approaches for scene understanding in autonomous driving
CN113269147B (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
Luo et al. Dynamic multitarget detection algorithm of voxel point cloud fusion based on pointrcnn
CN113255779A (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN116362318B (zh) 基于自适应深度修正的纯视觉三维目标检测方法和系统
CN115082902B (zh) 一种基于激光雷达点云的车辆目标检测方法
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
Ji et al. Lane line detection system based on improved Yolo V3 algorithm
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Ding et al. Animation design of multisensor data fusion based on optimized AVOD algorithm
Huang et al. Lidar-camera fusion based high-resolution network for efficient road segmentation
Wei et al. An Efficient Point Cloud-based 3D Single Stage Object Detector
CN115082869B (zh) 一种服务于特种车辆的车路协同多目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant