CN117475410A - 基于前景点筛选的三维目标检测方法、系统、设备、介质 - Google Patents

基于前景点筛选的三维目标检测方法、系统、设备、介质 Download PDF

Info

Publication number
CN117475410A
CN117475410A CN202311809931.1A CN202311809931A CN117475410A CN 117475410 A CN117475410 A CN 117475410A CN 202311809931 A CN202311809931 A CN 202311809931A CN 117475410 A CN117475410 A CN 117475410A
Authority
CN
China
Prior art keywords
point cloud
feature
characteristic
classification
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311809931.1A
Other languages
English (en)
Other versions
CN117475410B (zh
Inventor
张有磊
潘晓东
王一帆
于晰廷
初明超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hairun Shuju Technology Co ltd
Original Assignee
Shandong Hairun Shuju Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hairun Shuju Technology Co ltd filed Critical Shandong Hairun Shuju Technology Co ltd
Priority to CN202311809931.1A priority Critical patent/CN117475410B/zh
Publication of CN117475410A publication Critical patent/CN117475410A/zh
Application granted granted Critical
Publication of CN117475410B publication Critical patent/CN117475410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维图像数据处理技术领域，具体为基于前景点筛选的三维目标检测方法、系统、设备、介质；该检测方法，通过将目标的初始点云数据进行特征提取和分类后，得到初始点云分类结果；接着，将初始点云分类结果与初始点云的坐标信息、像素信息结合，在保留点云原始数据的基础上，进一步增加了点云数据的特征丰富性；然后，将特征丰富的复合点云数据进行体素化、信息聚合和特征卷积，得到空间特征表达能力较高的二维特征图；最后，利用初始点云分类结果中的前景点信息，引导体素进行特征表达，增强与目标的相关特征，将得到的待检特征图进行语义分割处理，实现高效准确的目标检测。

Description

基于前景点筛选的三维目标检测方法、系统、设备、介质
技术领域
本发明涉及三维图像数据处理技术领域，具体为基于前景点筛选的三维目标检测方法、系统、设备、介质。
背景技术
3D目标检测是智能交通领域中的一个关键问题，也是一个具有挑战性的任务。近年来，随着自动驾驶、智能交通等新兴领域需求的增加以及深度学习的广泛应用，3D目标检测技术迎来了新的发展高潮。3D目标检测技术利用图像或点云信息来检测和定位目标，在交通领域一般指利用路侧或车载的相机、激光雷达等设备采集的数据作为输入，通过对这些数据进行深度分析和学习，实现对车辆、行人等交通目标的预测和定位。这种技术在智能交通系统中起着至关重要的作用，为自动驾驶、交通安全等方面提供了有力支持。
现有的3D目标检测方法，常使用基于体素的方法将点云离散化为有序的体素表示，通过将点云映射到3D体素网格中，形成类似2D图像的伪图像，最后使用2D卷积神经网络进行目标检测，该方法虽然计算速度较快，但是处理过程中易丢失点云信息，目标检测结果的准确度较低。
发明内容
本发明的目的是提供基于前景点筛选的三维目标检测方法、系统、设备、介质。
本发明技术方案如下：
一种基于前景点筛选的三维目标检测方法，包括如下操作：
S1、获取目标的初始点云数据，所述初始点云数据经特征提取处理，得到特征点云数据；
S2、将所述特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于所述特征点云分类集，对所述初始点云数据进行分类特征补充，得到复合点云数据；
S3、对所述复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；所述多体素数据经特征信息聚合处理，得到聚合多体素数据；所述聚合多体素数据经特征卷积处理，得到二维特征图；
S4、基于所述特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；所述特征权重分布图与二维特征图相乘，得到待检特征图；
S5、所述待检特征图经语义分割处理，得到分类检测结果。
所述S1中特征提取处理的操作具体为：将所述初始点云数据进行空间距离划分处理，得到的所有点云区域形成了点云区域集；将所述点云区域集中，每个点云区域内的所有初始点云，转化为一个点云特征向量，得到的所有点云特征向量形成了点云特征向量集；将所述点云特征向量集中，每个点云特征向量与对应初始点云进行信息聚合处理，得到的所有信息聚合点云形成了所述特征点云数据。
所述S2中特征分类处理的操作具体为：所述特征点云数据，依次经归一化处理、第一线性处理、第一非线性处理、参数丢失处理、第二线性处理、第二非线性处理，得到第一特征点云数据；获取所述第一特征点云数据中，每个第一特征点云的像素值与标准分类像素数据中标准分类像素的近似值，若所述近似值超过阈值，将对应标准分类像素的分类结果，作为对应第一特征点云的像素分类类别；所有第一特征点云，以及每个第一特征点云对应的像素分类类别，形成了特征点云分类集。
所述S3中特征信息聚合处理的操作具体为：将所述多体素数据中，每个体素内，坐标值最接近体素几何中心的复合点云，作为复合点云中心；将每个体素内的复合点云中心，与预设邻域范围内，同一体素内的其他复合点云，进行信息聚合，得到聚合体素数据；所有的聚合体素数据，形成了所述聚合多体素数据。
所述S4中类别感知高斯掩码分配处理的操作具体为：所述二维特征图中，分别以每个前景点为中心，每个前景点对应掩码半径为搜索半径，对搜索范围内的点进行权重值分配，得到的所有初始权重值分布图，形成了初始权重值分布图集；将初始权重值分布图集中，同一个点在不同初始权重值分布图上的多个权重值的乘积，作为对应点的特征权重，得到所述特征权重分布图。
所述S5中语义分割处理的操作具体为：所述待检特征图经边界框回归处理和分类概率处理，得到分类检测框区域集；获取所述分类检测框区域集中，同一检测区域内，不同检测框与真实框的交并比，将交并比最大值对应的检测框，作为目标检测框；将所述目标检测框中，分类概率最大值对应的分类结果，作为所述分类检测结果。
所述S3的体素划分处理的操作之前，还包括删除所述复合点云数据中，属性为背景点的部分复合点云，得到的简化复合点云数据，用于执行所述体素划分处理的操作。
一种基于前景点筛选的三维目标检测系统，包括：
特征点云数据生成模块，用于获取目标的初始点云数据，所述初始点云数据经特征提取处理，得到特征点云数据；
复合点云数据生成模块，用于将所述特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于所述特征点云分类集，对所述初始点云数据进行分类特征补充，得到复合点云数据；
二维特征图生成模块，用于对所述复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；所述多体素数据经特征信息聚合处理，得到聚合多体素数据；所述聚合多体素数据经特征卷积处理，得到二维特征图；
待检特征图生成模块，用于基于所述特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；所述特征权重分布图与二维特征图相乘，得到待检特征图；
分类检测结果生成模块，用于所述待检特征图经语义分割处理，得到分类检测结果。
一种基于前景点筛选的三维目标检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的基于前景点筛选的三维目标检测方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的基于前景点筛选的三维目标检测方法。
本发明的有益效果在于：
本发明提供的一种基于前景点筛选的三维目标检测方法，通过将目标的初始点云数据进行特征提取和分类后，得到初始点云分类结果；接着，将初始点云分类结果与初始点云的坐标信息、像素信息结合，在保留点云原始数据的基础上，进一步增加了点云数据的特征丰富性；然后，将特征丰富的复合点云数据进行体素化、信息聚合和特征卷积，得到空间特征表达能力较高的二维特征图；最后，利用初始点云分类结果中的前景点信息，引导体素进行特征表达，增强与目标的相关特征，将得到的待检特征图进行语义分割处理，实现高效准确的目标检测。
具体实施方式
本实施例提供了一种基于前景点筛选的三维目标检测方法，包括如下操作：
S1、获取目标的初始点云数据，所述初始点云数据经特征提取处理，得到特征点云数据；
S2、将所述特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于所述特征点云分类集，对所述初始点云数据进行分类特征补充，得到复合点云数据；
S3、对所述复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；所述多体素数据经特征信息聚合处理，得到聚合多体素数据；所述聚合多体素数据经特征卷积处理，得到二维特征图；
S4、基于所述特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；所述特征权重分布图与二维特征图相乘，得到待检特征图；
S5、所述待检特征图经语义分割处理，得到分类检测结果。
S1、获取目标的初始点云数据，初始点云数据经特征提取处理，得到特征点云数据。
使用激光雷达等设备，获取待检测目标范围内的点云，形成了目标的初始点云数据。点云中含有三维坐标信息、像素信息和反射强度信息。
为减小计算量，提高计算效率，特征提取处理之前，包括对初始点云数据进行数据增强处理。数据增强的操作包括但不仅限于：过滤、随机翻转、旋转、缩放和数据库采样，以将点云数据的数量减少到16384个点。
接着，为得到目标的初始点云数据的全局特征，提高初始点云数据的信息表达能力，对初始点云数据进行特征提取处理。
特征提取处理的操作可以为：对初始点云数据进行滤波处理，得到特征点云数据。
特征提取处理的操作还可以为：将初始点云数据进行空间距离划分处理，得到的所有点云区域形成了点云区域集；将点云区域集中，每个点云区域内的所有初始点云，转化为一个点云特征向量，得到的所有点云特征向量，形成了点云特征向量集；将点云特征向量集中，每个点云特征向量与对应初始点云进行信息聚合处理，得到的所有信息聚合点云，形成了特征点云数据。
具体为，根据预设的空间距离度量，将初始点云数据进行区域划分，这些区域可以是重叠的，由此得到了由很多个点云区域组成的点云区域集；接着将点云区域集中，每个点云区域内的所有离散的初始点云，看作为一个特征向量，因此可以得到一个由很多个点云特征向量形成的点云特征向量集；最后将每个初始点云，与它对应的点云特征向量中所有的点云，进行信息聚合，得到特征点云；每个初始点云都执行完上述的信息聚合处理后，可得到很多个信息聚合点云，形成了特征点云数据。
S2、将特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于特征点云分类集，对初始点云数据进行分类特征补充，得到复合点云数据。
为区分特征点云数据中的前景点（车辆、行人、自行车等）和背景点，根据特征点云的像素信息和坐标信息，将特征点云数据进行特征分类处理。
特征分类处理的操作可以为：将大量的前景点（车辆、行人、自行车等）和背景点的像素值，以及对应的分类标签，组成标签数据集；使用标签数据集训练分类神经网络（可优选DeepLab深度卷积网络），得到训练神经网络；利用训练神经网络处理特征点云数据，得到每个特征点云的像素分类类别，得到特征点云分类集。
特征分类处理的操作还可以为：特征点云数据，依次经归一化处理、第一线性处理（可通过神经网络中的线性层实现）、第一非线性处理（可通过神经网络中的ReLU激活层实现）、参数丢失处理（可通过神经网络中的Dropout层实现）、第二线性处理（可通过神经网络中的线性层实现）、第二非线性处理（可通过神经网络中的ReLU激活层实现）后，得到第一特征点云数据；获取第一特征点云数据中，每个第一特征点云的像素值与标准分类像素数据中标准分类像素的近似值，若近似值超过阈值，将对应标准分类像素的分类结果，作为对应第一特征点云的像素分类类别；所有第一特征点云，以及每个第一特征点云对应的像素分类类别，形成了特征点云分类集。
具体为，将特征点云数据进行归一化处理、若干线性处理、参数丢失处理和若干非线性处理后，得到能够增强特征表达能力的第一特征点云数据；接着根据标准分类像素数据中的像素分类表，将第一特征点云数据中的每个第一特征点云的像素，与像素分类表上的标准分类像素进行对比匹配，获得相似度值作为近似值；如果近似值超过了预设的阈值了，证明该第一特征点云的像素与对应标准分类像素特征相似，此时将对应标准分类像素的分类结果，作为对应第一特征点云的像素分类类别；所有第一特征点云执行完上述的像素值对比匹配，得到各自的像素分类类别；最后，所有的第一特征点云，以及每个第一特征点云对应的像素分类类别，形成了特征点云分类集。
若超过了阈值的近似值不止一个，则将与目标第一特征点云坐标位置最接近的邻居第一特征点云的像素分类类别，作为目标第一特征点云的像素分类类别。
特征分类处理的损失函数为：
，
其中，N为特征点云总数，C为类别数，p i,c 表示第i个特征点云的预测分类概率，预测正确则y i,c 为1，否则为0。
为提高检测的准确度，将基于所述特征点云分类集，对初始点云数据进行分类特征补充，由此可以在保留初始点云数据的原始信息的基础上加上点云的分类信息，提升目标的点云数据信息丰富度。具体为，将特征点云分类集中，每个特征点云的像素分类类别，沿通道维度，作为额外特征与对应初始点云的的坐标信息、像素信息组合后，形成了对应初始点云的复合信息，对应初始点云转化为了复合点云；所有复合点云，形成了复合点云数据。
S3、对复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；多体素数据经特征信息聚合处理，得到聚合多体素数据；聚合多体素数据经特征卷积处理，得到二维特征图。
为提高复合点云数据的区域局部特征，将复合点云数据进行体素划分处理后，在进行特征信息聚合处理，最后经特征卷积处理，将三维的复合点云数据转化为便于识别和跟踪检测的二维特征图。
体素划分处理的操作之前，还包括随机删除复合点云数据中，属性为背景点的部分复合点云，使点云数量缩减为12384个，得到的简化复合点云数据，用于执行体素划分处理的操作，以此提高计算效率。
基于预设的单位体素体积，对复合点云数据或简化复合点云数据进行体素划分，每个体素内含有多个复合点云，所有的体素形成了多体素数据。
为提高复合点云数据的空间区域局部特征，将多体素数据中的复合点云进行特征信息聚合处理。
特征信息聚合处理的操作可以为：将多体素数据中，每个体素内，坐标值最接近体素几何中心的复合点云，作为复合点云中心；将每个体素内的复合点云中心，与预设邻域范围内，同一体素内的其他复合点云，进行信息聚合，得到高维特征映射的聚合体素数据；所有的聚合体素数据，形成了聚合多体素数据。同一体素内，不同复合点云数据的信息聚合，可以增强单个体素的内部空间表达能力。
特征信息聚合处理的操作还可以为：将多体素数据中，每个体素内，坐标值最接近体素几何中心的复合点云，作为复合点云中心；将每个体素内的复合点云中心，与预设邻域范围内的，其他体素内的复合点云，进行信息聚合，得到高维特征映射的聚合体素数据；所有的聚合体素数据，形成了聚合多体素数据。不同同，不同复合点云数据的信息聚合，可以增强整个体素的整体空间表达能力。
最后，将聚合多体素数据进行特征卷积处理，得到便于处理的二维特征图。
特征卷积处理的操作可通过稀疏卷积实现，可优选正则稀疏卷积，正则稀疏卷积为现有技术，为节省篇幅，因此不在此过度叙述。
特征卷积处理的操作还可以通过多次普通卷积和下采样组合处理实现，将三维的聚合多体素数据映射成为二维特征图。
S4、基于特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；特征权重分布图与二维特征图相乘，得到待检特征图。
基于前景点，对二维特征图进行类别感知高斯掩码分配处理，得到能够反映目标特征重要性的二维特征图的权重分布图；权重分布图与二维特征图进行相乘，得到便于语义特征提取的待检特征图。
类别感知高斯掩码分配处理的操作为：二维特征图中，分别以每个前景点为中心，每个前景点对应掩码半径为搜索半径，对搜索范围内的点进行权重值分配，得到的所有初始权重值分布图，形成了初始权重值分布图集；将初始权重值分布图集中，同一个点在不同初始权重值分布图上的多个权重值的乘积或平均值，作为对应点的特征权重，得到特征权重分布图。
具体为，以二维特征图中每个前景点为中心，设置类别感知高斯掩码，并分配相应权重，可得到以不同前景点为中心的不同初始权重分布图，形成了初始权重值分布图集；接着，将不同初始权重分布图中，同一个点的多个初始权重，进行相乘或求平均值，得到的新的权重值，作为该点的特征权重，由此得到一个特征权重分布图。初始权重分配时，以前景点中心，权重从中心至搜索范围边缘，呈梯度式递减，中心处的权重为1。
其中，对于被分类为“车辆”的前景点，掩码半径为20像素；对于被分类为“自行车”的前景点，掩码半径为10像素；对于被分类为“行人”的前景点，掩码半径为5像素。
最后，将特征权重分布图中的权重，与二维特征图中对应位置处的点的像素进行相乘，得到待检特征图。
S5、待检特征图经语义分割处理，得到分类检测结果。
语义分割处理的操作可以为：待检特征图经边界框回归处理和分类概率处理，得到分类检测框区域集；获取分类检测框区域集中，同一检测区域内，不同检测框与真实框的交并比，将交并比最大值对应的检测框，作为目标检测框；将目标检测框中，分类概率最大值对应的分类结果，作为分类检测结果。边界框回归处理为现有技术，为节省篇幅，因此不在此过多叙述。
语义分割处理的操作可以为：待检特征图经边缘检测处理，得到多地物待测图；获取多地物待测图中，每个待检地物的置信度（待检地物与真实地物的相似程度），将置信度最大值对应的分类结果，作为对应待检地物的分类检测结果，得到的多地物待测图的分类结果，作为上述的分类检测结果。边缘检测处理为现有技术，为节省篇幅，因此不在此过多叙述。
语义分割的操作还可以为：将设计好的锚框映射至待检特征图上，并依据待检特征图的尺寸比例进行锚框的缩放，以适应待检特征图空间尺寸大小。对于每个位置存在的多个锚框，使用非极大值抑制去除重叠的目标框，最终保留的唯一锚框与真实目标框相比较，进行标签分配操作，最终输出表示目标位置的锚框向量以及表示目标类别的标签向量，作为分类检测结果。其中，待检特征图中，车辆的锚框尺寸（长、宽、高）为[3.9, 1.6,1.56]，自行车的锚框尺寸为[1.76, 0.6, 1.73]，行人的锚框尺寸为[0.8, 0.6, 1.73]。
本实施例还提供了一种基于前景点筛选的三维目标检测系统，包括：
特征点云数据生成模块，用于获取目标的初始点云数据，初始点云数据经特征提取处理，得到特征点云数据；
复合点云数据生成模块，用于将特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于特征点云分类集，对初始点云数据进行分类特征补充，得到复合点云数据；
二维特征图生成模块，用于对复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；多体素数据经特征信息聚合处理，得到聚合多体素数据；聚合多体素数据经特征卷积处理，得到二维特征图；
待检特征图生成模块，用于基于特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；特征权重分布图与二维特征图相乘，得到待检特征图；
分类检测结果生成模块，用于待检特征图经语义分割处理，得到分类检测结果。
本实施例还提供了一种基于前景点筛选的三维目标检测设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的基于前景点筛选的三维目标检测方法。
本实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的基于前景点筛选的三维目标检测方法。
本实施例提供的一种基于前景点筛选的三维目标检测方法，通过将目标的初始点云数据进行特征提取和分类后，得到初始点云分类结果；接着，将初始点云分类结果与初始点云的坐标信息、像素信息结合，在保留点云原始数据的基础上，进一步增加了点云数据的特征丰富性；然后，将特征丰富的复合点云数据进行体素化、信息聚合和特征卷积，得到空间特征表达能力较高的二维特征图；最后，利用初始点云分类结果中的前景点信息，引导体素进行特征表达，增强与目标的相关特征，将得到的待检特征图进行语义分割处理，实现高效准确的目标检测。

Claims (10)

1.一种基于前景点筛选的三维目标检测方法，其特征在于，包括如下操作：
S1、获取目标的初始点云数据，所述初始点云数据经特征提取处理，得到特征点云数据；
S2、将所述特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于所述特征点云分类集，对所述初始点云数据进行分类特征补充，得到复合点云数据；
S3、对所述复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；所述多体素数据经特征信息聚合处理，得到聚合多体素数据；所述聚合多体素数据经特征卷积处理，得到二维特征图；
S4、基于所述特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；所述特征权重分布图与二维特征图相乘，得到待检特征图；
S5、所述待检特征图经语义分割处理，得到分类检测结果。
2.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S1中特征提取处理的操作具体为：
将所述初始点云数据进行空间距离划分处理，得到的所有点云区域形成了点云区域集；
将所述点云区域集中，每个点云区域内的所有初始点云，转化为一个点云特征向量，得到的所有点云特征向量形成了点云特征向量集；
将所述点云特征向量集中，每个点云特征向量与对应初始点云进行信息聚合处理，得到的所有信息聚合点云形成了所述特征点云数据。
3.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S2中特征分类处理的操作具体为：
所述特征点云数据，依次经归一化处理、第一线性处理、第一非线性处理、参数丢失处理、第二线性处理、第二非线性处理，得到第一特征点云数据；
获取所述第一特征点云数据中，每个第一特征点云的像素值与标准分类像素数据中标准分类像素的近似值，若所述近似值超过阈值，将对应标准分类像素的分类结果，作为对应第一特征点云的像素分类类别；
所有第一特征点云，以及每个第一特征点云对应的像素分类类别，形成了特征点云分类集。
4.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S3中特征信息聚合处理的操作具体为：
将所述多体素数据中，每个体素内，坐标值最接近体素几何中心的复合点云，作为复合点云中心；
将每个体素内的复合点云中心，与预设邻域范围内，同一体素内的其他复合点云，进行信息聚合，得到聚合体素数据；
所有的聚合体素数据，形成了所述聚合多体素数据。
5.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S4中类别感知高斯掩码分配处理的操作具体为：
所述二维特征图中，分别以每个前景点为中心，每个前景点对应掩码半径为搜索半径，对搜索范围内的点进行权重值分配，得到的所有初始权重值分布图，形成了初始权重值分布图集；
将初始权重值分布图集中，同一个点在不同初始权重值分布图上的多个权重值的乘积，作为对应点的特征权重，得到所述特征权重分布图。
6.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S5中语义分割处理的操作具体为：
所述待检特征图经边界框回归处理和分类概率处理，得到分类检测框区域集；
获取所述分类检测框区域集中，同一检测区域内，不同检测框与真实框的交并比，将交并比最大值对应的检测框，作为目标检测框；
将所述目标检测框中，分类概率最大值对应的分类结果，作为所述分类检测结果。
7.根据权利要求1所述的基于前景点筛选的三维目标检测方法，其特征在于，所述S3的体素划分处理的操作之前，还包括删除所述复合点云数据中，属性为背景点的部分复合点云，得到的简化复合点云数据，用于执行所述体素划分处理的操作。
8.一种基于前景点筛选的三维目标检测系统，其特征在于，包括：
特征点云数据生成模块，用于获取目标的初始点云数据，所述初始点云数据经特征提取处理，得到特征点云数据；
复合点云数据生成模块，用于将所述特征点云数据中，每个特征点云进行特征分类处理，得到的所有特征点云，以及每个特征点云对应的像素分类类别，形成了特征点云分类集；基于所述特征点云分类集，对所述初始点云数据进行分类特征补充，得到复合点云数据；
二维特征图生成模块，用于对所述复合点云数据进行体素划分处理，得到同一体素内多个复合点云的多体素数据；所述多体素数据经特征信息聚合处理，得到聚合多体素数据；所述聚合多体素数据经特征卷积处理，得到二维特征图；
待检特征图生成模块，用于基于所述特征点云分类集中的前景点信息，对二维特征图进行类别感知高斯掩码分配处理，得到特征权重分布图；所述特征权重分布图与二维特征图相乘，得到待检特征图；
分类检测结果生成模块，用于所述待检特征图经语义分割处理，得到分类检测结果。
9.一种基于前景点筛选的三维目标检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的基于前景点筛选的三维目标检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于前景点筛选的三维目标检测方法。
CN202311809931.1A 2023-12-27 2023-12-27 基于前景点筛选的三维目标检测方法、系统、设备、介质 Active CN117475410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311809931.1A CN117475410B (zh) 2023-12-27 2023-12-27 基于前景点筛选的三维目标检测方法、系统、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311809931.1A CN117475410B (zh) 2023-12-27 2023-12-27 基于前景点筛选的三维目标检测方法、系统、设备、介质

Publications (2)

Publication Number Publication Date
CN117475410A true CN117475410A (zh) 2024-01-30
CN117475410B CN117475410B (zh) 2024-03-15

Family

ID=89627776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311809931.1A Active CN117475410B (zh) 2023-12-27 2023-12-27 基于前景点筛选的三维目标检测方法、系统、设备、介质

Country Status (1)

Country Link
CN (1) CN117475410B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127209A (zh) * 2016-06-17 2016-11-16 中南大学 一种基于局部边缘特征整合的目标物体轮廓提取方法
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
WO2020253121A1 (zh) * 2019-06-17 2020-12-24 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN115294355A (zh) * 2022-07-22 2022-11-04 江苏大学 一种空间感知增强的单阶段无锚框三维目标检测方法及系统
CN116403062A (zh) * 2023-04-04 2023-07-07 清华大学 一种点云目标检测方法、系统、设备及介质
CN116468950A (zh) * 2023-04-23 2023-07-21 浙江大学 一种类别引导中心点邻域搜索半径的三维目标检测方法
WO2023155389A1 (zh) * 2022-02-16 2023-08-24 中国第一汽车股份有限公司 三维物体检测方法、装置、存储介质、处理器及系统
CN116740668A (zh) * 2023-08-16 2023-09-12 之江实验室 三维目标检测方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127209A (zh) * 2016-06-17 2016-11-16 中南大学 一种基于局部边缘特征整合的目标物体轮廓提取方法
WO2020253121A1 (zh) * 2019-06-17 2020-12-24 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
WO2023155389A1 (zh) * 2022-02-16 2023-08-24 中国第一汽车股份有限公司 三维物体检测方法、装置、存储介质、处理器及系统
CN115294355A (zh) * 2022-07-22 2022-11-04 江苏大学 一种空间感知增强的单阶段无锚框三维目标检测方法及系统
CN116403062A (zh) * 2023-04-04 2023-07-07 清华大学 一种点云目标检测方法、系统、设备及介质
CN116468950A (zh) * 2023-04-23 2023-07-21 浙江大学 一种类别引导中心点邻域搜索半径的三维目标检测方法
CN116740668A (zh) * 2023-08-16 2023-09-12 之江实验室 三维目标检测方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KEXIN ZHAO ET AL.: "Stereo 3D Object Detection Using a Feature Attention Module", 《ALGORITHMS》, 7 December 2023 (2023-12-07), pages 1 - 18 *
QIMING XIA ET AL.: "3-D HANet: A Flexible 3-D Heatmap Auxiliary Network for Object Detection", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 61, 13 March 2023 (2023-03-13), pages 1 - 13 *
田永林: "面向交通场景三维目标检测的平行视觉关键方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, 15 March 2023 (2023-03-15), pages 034 - 35 *
魏梦如: "基于深度学习的点云分割算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2022 (2022-01-15), pages 138 - 2649 *

Also Published As

Publication number Publication date
CN117475410B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN108830280B (zh) 一种基于区域提名的小目标检测方法
Du et al. Car detection for autonomous vehicle: LIDAR and vision fusion approach through deep learning framework
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
Yu et al. Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds
Ohgushi et al. Road obstacle detection method based on an autoencoder with semantic segmentation
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
US20230419659A1 (en) Method and system for processing point-cloud data
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN112200186A (zh) 基于改进yolo_v3模型的车标识别方法
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
CN117475410B (zh) 基于前景点筛选的三维目标检测方法、系统、设备、介质
CN114913519B (zh) 一种3d目标检测方法、装置、电子设备及存储介质
CN116310368A (zh) 一种激光雷达3d目标检测方法
CN114022705B (zh) 一种基于场景复杂度预分类的自适应目标检测方法
CN116052099A (zh) 一种面向非结构化道路的小目标检测方法
Nayan et al. Real time multi-class object detection and recognition using vision augmentation algorithm
CN111338336B (zh) 一种自动驾驶方法及装置
Kim et al. LiDAR Based 3D object detection using CCD information
Lu et al. Road vanishing-point detection: A multi-population genetic algorithm based approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant