CN117496477A - 一种点云目标检测方法及装置 - Google Patents

一种点云目标检测方法及装置 Download PDF

Info

Publication number
CN117496477A
CN117496477A CN202410002315.3A CN202410002315A CN117496477A CN 117496477 A CN117496477 A CN 117496477A CN 202410002315 A CN202410002315 A CN 202410002315A CN 117496477 A CN117496477 A CN 117496477A
Authority
CN
China
Prior art keywords
point cloud
target
cloud data
pseudo
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410002315.3A
Other languages
English (en)
Other versions
CN117496477B (zh
Inventor
刘晓明
彭易锦
方志杰
孙创开
王志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GAC Aion New Energy Automobile Co Ltd
Original Assignee
GAC Aion New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GAC Aion New Energy Automobile Co Ltd filed Critical GAC Aion New Energy Automobile Co Ltd
Priority to CN202410002315.3A priority Critical patent/CN117496477B/zh
Publication of CN117496477A publication Critical patent/CN117496477A/zh
Application granted granted Critical
Publication of CN117496477B publication Critical patent/CN117496477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种点云目标检测方法及装置，该方法包括：预先构建点云目标检测模型；获取待检测的点云数据；将待检测的点云数据转换为待检测的伪图像信息；根据点云目标检测模型和待检测的伪图像信息进行目标检测，得到多种目标检测结果；输出多种目标检测结果。可见，该方法及装置能够实时对多种目标进行有效识别，检测速度快，适用性好。

Description

一种点云目标检测方法及装置
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种点云目标检测方法及装置。
背景技术
点云目标检测是自动驾驶环境感知领域中的关键问题之一，点云目标检测的目的是得到行驶环境的车辆、行人及障碍物等信息。随着感知技术的不断发展，人们对识别的准确性、实时性的要求越来越高。现有的点云目标检测方法，通常为基于Point系列的3D点云检测方法，该系列检测算法检测速度慢，在现实工程应用中的适用性低。
发明内容
本申请实施例的目的在于提供一种点云目标检测方法及装置，能够实时对多种目标进行有效识别，检测速度快，适用性好。
本申请第一方面提供了一种点云目标检测方法，包括：
预先构建点云目标检测模型；
获取待检测的点云数据；
将所述待检测的点云数据转换为待检测的伪图像信息；
根据所述点云目标检测模型和所述待检测的伪图像信息进行目标检测，得到多种目标检测结果；
输出所述多种目标检测结果。
进一步地，所述预先构建点云目标检测模型，包括：
预先构建原始检测模型；其中，所述原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层；
采集道路场景点云数据；
对所述道路场景点云数据进行标注，得到样本点云数据；
将所述样本点云数据转换为二维的伪图像信息；
通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征；
通过所述特征检测网络对所述多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；其中，所述类别为车辆类别、行人类别或者障碍物类别；
通过所述全连接层对所述细分特征进行细化特征提取，得到每个所述类别对应的具体特征；其中，所述具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征；
基于所述具体特征和预设的损失函数对所述原始检测模型进行训练学习，得到训练好的点云目标检测模型。
进一步地，所述将所述样本点云数据转换为二维的伪图像信息，包括：
根据预设截取范围对所述样本点云数据进行截取处理，得到待转换点云数据；
对所述待转换点云数据进行伪像素划分，得到多个伪像素单元；
对所述伪像素单元进行高度压缩赋值，得到初始伪图像；
对所述初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
进一步地，所述通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征，包括：
通过所述ResNet主干网络对所述伪图像信息进行特征提取，得到目标特征；
通过所述FPN采样网络对所述伪图像信息进行图像采样，得到采样数据；
对所述目标特征和所述采样数据集进行融合处理，得到多尺度图像特征。
进一步地，所述预设的损失函数包括Smooth_L1损失函数和Focal-Loss损失函数；
其中，所述Smooth_L1损失函数用于对所述目标中心点特征、所述目标长宽高特征以及所述目标角度特征进行监督学习；
所述Focal-Loss损失函数用于对所述目标类别特征进行监督训练。
本申请第二方面提供了一种点云目标检测装置，所述点云目标检测装置包括：
构建单元，用于预先构建点云目标检测模型；
获取单元，用于获取待检测的点云数据；
转换单元，用于将所述待检测的点云数据转换为待检测的伪图像信息；
检测单元，用于根据所述点云目标检测模型和所述待检测的伪图像信息进行目标检测，得到目标检测结果；
输出单元，用于输出所述目标检测结果。
进一步地，所述构建单元包括：
构建子单元，用于预先构建原始检测模型；其中，所述原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层；
采集子单元，用于采集道路场景点云数据；
标注子单元，用于对所述道路场景点云数据进行标注，得到样本点云数据；
转换子单元，用于将所述样本点云数据转换为二维的伪图像信息；
第一提取子单元，用于通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征；
第二提取子单元，用于通过所述特征检测网络对所述多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；
第三提取子单元，用于通过所述全连接层对所述细分特征进行细化特征提取，得到每个所述类别对应的具体特征；其中，所述具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征；
训练学习子单元，用于基于所述具体特征和预设的损失函数对所述原始检测模型进行训练学习，得到训练好的点云目标检测模型。
进一步地，所述转换子单元包括：
截取模块，用于根据预设截取范围对所述样本点云数据进行截取处理，得到待转换点云数据；
划分模块，用于对所述待转换点云数据进行伪像素划分，得到多个伪像素单元；
压缩模块，用于对所述伪像素单元进行高度压缩赋值，得到初始伪图像；
优化模块，用于对所述初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
进一步地，所述第一提取子单元包括：
提取模块，用于通过所述ResNet主干网络对所述伪图像信息进行特征提取，得到目标特征；
采样模块，用于通过所述FPN采样网络对所述伪图像信息进行图像采样，得到采样数据；
融合模块，用于对所述目标特征和所述采样数据集进行融合处理，得到多尺度图像特征。
进一步地，所述预设的损失函数包括Smooth_L1损失函数和Focal-Loss损失函数；
其中，所述Smooth_L1损失函数用于对所述目标中心点特征、所述目标长宽高特征以及所述目标角度特征进行监督学习；
所述Focal-Loss损失函数用于对所述目标类别特征进行监督训练。
本申请第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请第一方面中任一项所述的点云目标检测方法。
本申请第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请第一方面中任一项所述的点云目标检测方法。
本申请的有益效果为：该方法及装置能够实时对多种目标进行有效识别，检测速度快，适用性好。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种点云目标检测方法的流程示意图；
图2为本申请实施例提供的另一种点云目标检测方法的流程示意图；
图3为本申请实施例提供的一种点云目标检测装置的结构示意图；
图4为本申请实施例提供的另一种点云目标检测装置的结构示意图；
图5为本申请实施例提供的一种点云目标检测方法的举例流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本实施例提供的一种点云目标检测方法的流程示意图。其中，该点云目标检测方法包括：
S101、预先构建点云目标检测模型。
S102、获取待检测的点云数据。
S103、将待检测的点云数据转换为待检测的伪图像信息。
S104、根据点云目标检测模型和待检测的伪图像信息进行目标检测，得到多种目标检测结果。
S105、输出多种目标检测结果。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的点云目标检测方法，能够基于伪图像的点云目标进行检测，实现可对道路环境的车辆、行人以及障碍物进行有效识别。同时，在生成伪图像中，通过将点云数据进行截取以及划分点云柱子，然后对每个点云柱子进行高度压缩，精简点云信息，生成有序的稠密的伪图像，从而减少了模型的计算量，实现一种轻量级的点云目标检测效果，进而便于模型部署。最后，还能够先经过ResNet和FPN获得多尺度图像特征，并利用三个检测头网络，分别对车辆、行人和障碍物进行检测，再对全连接特征利用卷积神经网络和FocalLoss与L1Loss损失函数获得边界点的类别和目标的中心点、长宽高和角度的信息，从而获取到更精准的检测效果。
实施例2
请参看图2，图2为本实施例提供的一种点云目标检测方法的流程示意图。其中，该点云目标检测方法包括：
S201、预先构建原始检测模型；其中，原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层。
本实施例中，该方法将构建三个检测网络对上述的融合特征进行特征提取，分别提取车辆、行人和障碍物的特征。
S202、采集道路场景点云数据。
S203、对道路场景点云数据进行标注，得到样本点云数据。
本实施例中，该方法可以使用激光雷达等点云采集设备采集包含车辆、行人、障碍物的道路场景点云数据，并对车辆、行人、障碍物所在位置进行标注，以此获取训练及测试数据。
S204、根据预设截取范围对样本点云数据进行截取处理，得到待转换点云数据。
S205、对待转换点云数据进行伪像素划分，得到多个伪像素单元。
S206、对伪像素单元进行高度压缩赋值，得到初始伪图像。
S207、对初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
本实施例中，优化处理及对应指代的事将每个点的x, y坐标去掉，并以此来实现节省运算资源的效果。
本实施例中，该方法可以通过步骤S204~S207实现将点云转换伪图像的效果。具体的，该方法是将三维的点云数据转换成二维的伪图像信息，以便在后续的网络结构中采取二维的神经网络去提取特征。
举例来说，该方法采集的点云数据格式是（x，y，z，i）形式。其中，x为点云在激光雷达x轴的坐标，y点云在激光雷达y轴的坐标，z点云在激光雷达z轴的坐标，i为点云的强度信息。
由于点云具有无序性和稀疏性，而二维图像是有序的且稠密的，因此该方法将截取一定范围内的点云进行转换伪图像及目标检测。此时考虑到点云目标检测的实际使用场景，故将x、y坐标均大于-51.2米小于51.2米，z坐标大于-3米小于5米的点云提取出来，即得到一个长宽都是102.4米、高为8米的立方体区域的稀疏点云。在这个区域里，该方法将在长宽都是102.4米的正方形俯视图上做一个伪像素的划分，以长宽都是0.2米作为一个伪像素单元，即得到512×512个点云柱子，每个点云柱子高度都是8米。此时，该方法对上一步划分好的点云柱子进一步做高度压缩，给伪图像的每个像素赋值。假设每个柱子包含有N个点，每个点都有（x，y，z，i）4种信息，那么么每个柱子都包含了4N个信息。至此，一张长宽都为512个像素，通道为4N的伪图像已经形成。
但由于点云是稀疏的，每个柱子所包含的点数量不一致，而图像要求每个像素通道是一致的，故该方法考虑到激光雷达的线束以及对点云远近数量的统计，将40设为N的最大值；并且因为像素本身就包含了位置信息，为了节省运算资源，将每个点的x，y坐标去掉。
最后，该方法能够得到一个（512，512，80）的伪图像，该伪图像在尽可能保留点云的信息时，能够有效的提升运算速度。
S208、通过ResNet主干网络对伪图像信息进行特征提取，得到目标特征。
S209、通过FPN采样网络对伪图像信息进行图像采样，得到采样数据。
S210、对目标特征和采样数据集进行融合处理，得到多尺度图像特征。
S211、通过特征检测网络对多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；其中，类别为车辆类别、行人类别或者障碍物类别。
S212、通过全连接层对细分特征进行细化特征提取，得到每个类别对应的具体特征；其中，具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征。
S213、基于具体特征和预设的损失函数对原始检测模型进行训练学习，得到训练好的点云目标检测模型。
本实施例中，预设的损失函数包括Smooth_L1损失函数和Focal-Loss损失函数；
其中，Smooth_L1损失函数用于对目标中心点特征、目标长宽高特征以及目标角度特征进行监督学习；
Focal-Loss损失函数用于对目标类别特征进行监督训练。
本实施例中，关于目标检测模型的设计：该方法采用ResNet作为网络结构的主干网络进行特征提取，并利用FPN将图像上采样后与ResNet获得的图像特征进行融合。具体的，该方法将构建三个检测网络对上述的融合特征进行特征提取，分别提取车辆、行人和障碍物的特征。其中，每个检测网络可以根据实际检测需求继续细分类别，比如车辆可以分为轿车、公共汽车、工程车等。然后，使用全连接层来进一步提取目标的类别特征、目标的中心点特征、目标的长宽高特征以及角度特征。全连接层提取的目标的中心点特征、目标的长宽高特征和角度特征通过Smooth_L1损失函数结合真值坐标来进行监督学习；全连接层提取的类别特征通过Focal-Loss损失函数来进行监督训练。
S214、获取待检测的点云数据。
S215、将待检测的点云数据转换为待检测的伪图像信息。
S216、根据点云目标检测模型和待检测的伪图像信息进行目标检测，得到多种目标检测结果。
S217、输出多种目标检测结果。
请参看图5，图5示出了一种点云目标检测方法的举例流程示意图。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的点云目标检测方法，能够基于伪图像的点云目标进行检测，实现可对道路环境的车辆、行人以及障碍物进行有效识别。同时，在生成伪图像中，通过将点云数据进行截取以及划分点云柱子，然后对每个点云柱子进行高度压缩，精简点云信息，生成有序的稠密的伪图像，从而减少了模型的计算量，实现一种轻量级的点云目标检测效果，进而便于模型部署。最后，还能够先经过ResNet和FPN获得多尺度图像特征，并利用三个检测头网络，分别对车辆、行人和障碍物进行检测，再对全连接特征利用卷积神经网络和FocalLoss与L1Loss损失函数获得边界点的类别和目标的中心点、长宽高和角度的信息，从而获取到更精准的检测效果。
实施例3
请参看图3，图3为本实施例提供的一种点云目标检测装置的结构示意图。如图3所示，该点云目标检测装置包括：
构建单元310，用于预先构建点云目标检测模型；
获取单元320，用于获取待检测的点云数据；
转换单元330，用于将待检测的点云数据转换为待检测的伪图像信息；
检测单元340，用于根据点云目标检测模型和待检测的伪图像信息进行目标检测，得到目标检测结果；
输出单元350，用于输出目标检测结果。
本实施例中，对于点云目标检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的点云目标检测装置，能够基于伪图像的点云目标进行检测，实现可对道路环境的车辆、行人以及障碍物进行有效识别。同时，在生成伪图像中，通过将点云数据进行截取以及划分点云柱子，然后对每个点云柱子进行高度压缩，精简点云信息，生成有序的稠密的伪图像，从而减少了模型的计算量，实现一种轻量级的点云目标检测效果，进而便于模型部署。最后，还能够先经过ResNet和FPN获得多尺度图像特征，并利用三个检测头网络，分别对车辆、行人和障碍物进行检测，再对全连接特征利用卷积神经网络和FocalLoss与L1Loss损失函数获得边界点的类别和目标的中心点、长宽高和角度的信息，从而获取到更精准的检测效果。
实施例4
请参看图4，图4为本实施例提供的一种点云目标检测装置的结构示意图。如图4所示，该点云目标检测装置包括：
构建单元310，用于预先构建点云目标检测模型；
获取单元320，用于获取待检测的点云数据；
转换单元330，用于将待检测的点云数据转换为待检测的伪图像信息；
检测单元340，用于根据点云目标检测模型和待检测的伪图像信息进行目标检测，得到目标检测结果；
输出单元350，用于输出目标检测结果。
作为一种可选的实施方式，构建单元310包括：
构建子单元311，用于预先构建原始检测模型；其中，原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层；
采集子单元312，用于采集道路场景点云数据；
标注子单元313，用于对道路场景点云数据进行标注，得到样本点云数据；
转换子单元314，用于将样本点云数据转换为二维的伪图像信息；
第一提取子单元315，用于通过ResNet主干网络和FPN采样网络对伪图像信息进行特征提取，得到多尺度图像特征；
第二提取子单元316，用于通过特征检测网络对多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；
第三提取子单元317，用于通过全连接层对细分特征进行细化特征提取，得到每个类别对应的具体特征；其中，具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征；
训练学习子单元318，用于基于具体特征和预设的损失函数对原始检测模型进行训练学习，得到训练好的点云目标检测模型。
作为一种可选的实施方式，转换子单元314包括：
截取模块，用于根据预设截取范围对样本点云数据进行截取处理，得到待转换点云数据；
划分模块，用于对待转换点云数据进行伪像素划分，得到多个伪像素单元；
压缩模块，用于对伪像素单元进行高度压缩赋值，得到初始伪图像；
优化模块，用于对初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
作为一种可选的实施方式，第一提取子单元315包括：
提取模块，用于通过ResNet主干网络对伪图像信息进行特征提取，得到目标特征；
采样模块，用于通过FPN采样网络对伪图像信息进行图像采样，得到采样数据；
融合模块，用于对目标特征和采样数据集进行融合处理，得到多尺度图像特征。
本实施例中，预设的损失函数包括Smooth_L1损失函数和Focal-Loss损失函数；
其中，Smooth_L1损失函数用于对目标中心点特征、目标长宽高特征以及目标角度特征进行监督学习；
Focal-Loss损失函数用于对目标类别特征进行监督训练。
本实施例中，对于点云目标检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的点云目标检测装置，能够基于伪图像的点云目标进行检测，实现可对道路环境的车辆、行人以及障碍物进行有效识别。同时，在生成伪图像中，通过将点云数据进行截取以及划分点云柱子，然后对每个点云柱子进行高度压缩，精简点云信息，生成有序的稠密的伪图像，从而减少了模型的计算量，实现一种轻量级的点云目标检测效果，进而便于模型部署。最后，还能够先经过ResNet和FPN获得多尺度图像特征，并利用三个检测头网络，分别对车辆、行人和障碍物进行检测，再对全连接特征利用卷积神经网络和FocalLoss与L1Loss损失函数获得边界点的类别和目标的中心点、长宽高和角度的信息，从而获取到更精准的检测效果。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中的点云目标检测方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中的点云目标检测方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种点云目标检测方法，其特征在于，包括：
预先构建点云目标检测模型；
获取待检测的点云数据；
将所述待检测的点云数据转换为待检测的伪图像信息；
根据所述点云目标检测模型和所述待检测的伪图像信息进行目标检测，得到多种目标检测结果；
输出所述多种目标检测结果。
2.根据权利要求1所述的点云目标检测方法，其特征在于，所述预先构建点云目标检测模型，包括：
预先构建原始检测模型；其中，所述原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层；
采集道路场景点云数据；
对所述道路场景点云数据进行标注，得到样本点云数据；
将所述样本点云数据转换为二维的伪图像信息；
通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征；
通过所述特征检测网络对所述多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；其中，所述类别为车辆类别、行人类别或者障碍物类别；
通过所述全连接层对所述细分特征进行细化特征提取，得到每个所述类别对应的具体特征；其中，所述具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征；
基于所述具体特征和预设的损失函数对所述原始检测模型进行训练学习，得到训练好的点云目标检测模型。
3.根据权利要求2所述的点云目标检测方法，其特征在于，所述将所述样本点云数据转换为二维的伪图像信息，包括：
根据预设截取范围对所述样本点云数据进行截取处理，得到待转换点云数据；
对所述待转换点云数据进行伪像素划分，得到多个伪像素单元；
对所述伪像素单元进行高度压缩赋值，得到初始伪图像；
对所述初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
4.根据权利要求2所述的点云目标检测方法，其特征在于，所述通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征，包括：
通过所述ResNet主干网络对所述伪图像信息进行特征提取，得到目标特征；
通过所述FPN采样网络对所述伪图像信息进行图像采样，得到采样数据；
对所述目标特征和所述采样数据集进行融合处理，得到多尺度图像特征。
5.根据权利要求2所述的点云目标检测方法，其特征在于，所述预设的损失函数包括Smooth_L1损失函数和Focal-Loss损失函数；
其中，所述Smooth_L1损失函数用于对所述目标中心点特征、所述目标长宽高特征以及所述目标角度特征进行监督学习；
所述Focal-Loss损失函数用于对所述目标类别特征进行监督训练。
6.一种点云目标检测装置，其特征在于，所述点云目标检测装置包括：
构建单元，用于预先构建点云目标检测模型；
获取单元，用于获取待检测的点云数据；
转换单元，用于将所述待检测的点云数据转换为待检测的伪图像信息；
检测单元，用于根据所述点云目标检测模型和所述待检测的伪图像信息进行目标检测，得到目标检测结果；
输出单元，用于输出所述目标检测结果。
7.根据权利要求6所述的点云目标检测装置，其特征在于，所述构建单元包括：
构建子单元，用于预先构建原始检测模型；其中，所述原始检测模型至少包括ResNet主干网络、FPN采样网络、至少一个特征检测网络以及全连接层；
采集子单元，用于采集道路场景点云数据；
标注子单元，用于对所述道路场景点云数据进行标注，得到样本点云数据；
转换子单元，用于将所述样本点云数据转换为二维的伪图像信息；
第一提取子单元，用于通过所述ResNet主干网络和所述FPN采样网络对所述伪图像信息进行特征提取，得到多尺度图像特征；
第二提取子单元，用于通过所述特征检测网络对所述多尺度图像特征进行细分类别的特征提取，得到多个类别对应的细分特征；
第三提取子单元，用于通过所述全连接层对所述细分特征进行细化特征提取，得到每个所述类别对应的具体特征；其中，所述具体特征包括目标类别特征、目标中心点特征、目标长宽高特征以及目标角度特征；
训练学习子单元，用于基于所述具体特征和预设的损失函数对所述原始检测模型进行训练学习，得到训练好的点云目标检测模型。
8.根据权利要求7所述的点云目标检测装置，其特征在于，所述转换子单元包括：
截取模块，用于根据预设截取范围对所述样本点云数据进行截取处理，得到待转换点云数据；
划分模块，用于对所述待转换点云数据进行伪像素划分，得到多个伪像素单元；
压缩模块，用于对所述伪像素单元进行高度压缩赋值，得到初始伪图像；
优化模块，用于对所述初始伪图像中每个点的坐标进行优化处理，得到二维的伪图像信息。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的点云目标检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的点云目标检测方法。
CN202410002315.3A 2024-01-02 2024-01-02 一种点云目标检测方法及装置 Active CN117496477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410002315.3A CN117496477B (zh) 2024-01-02 2024-01-02 一种点云目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410002315.3A CN117496477B (zh) 2024-01-02 2024-01-02 一种点云目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN117496477A true CN117496477A (zh) 2024-02-02
CN117496477B CN117496477B (zh) 2024-05-03

Family

ID=89683334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410002315.3A Active CN117496477B (zh) 2024-01-02 2024-01-02 一种点云目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN117496477B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974990A (zh) * 2024-03-29 2024-05-03 之江实验室 一种基于注意力机制和特征增强结构的点云目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
US20220247994A1 (en) * 2021-01-31 2022-08-04 Techman Robot Inc. Method for calibrating 3d camera by employing calibrated 2d camera
US20220270289A1 (en) * 2020-04-28 2022-08-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting vehicle pose
CN116189123A (zh) * 2023-01-06 2023-05-30 智道网联科技(北京)有限公司 目标检测模型的训练方法、装置及目标检测方法、装置
US20230260211A1 (en) * 2022-04-24 2023-08-17 Beijing Baidu Netcom Science Technology Co., Ltd. Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device
CN116704463A (zh) * 2023-06-09 2023-09-05 上海电机学院 一种基于点云柱状快速编码算法的自动驾驶目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220270289A1 (en) * 2020-04-28 2022-08-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting vehicle pose
US20220247994A1 (en) * 2021-01-31 2022-08-04 Techman Robot Inc. Method for calibrating 3d camera by employing calibrated 2d camera
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
US20230260211A1 (en) * 2022-04-24 2023-08-17 Beijing Baidu Netcom Science Technology Co., Ltd. Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device
CN116189123A (zh) * 2023-01-06 2023-05-30 智道网联科技(北京)有限公司 目标检测模型的训练方法、装置及目标检测方法、装置
CN116704463A (zh) * 2023-06-09 2023-09-05 上海电机学院 一种基于点云柱状快速编码算法的自动驾驶目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974990A (zh) * 2024-03-29 2024-05-03 之江实验室 一种基于注意力机制和特征增强结构的点云目标检测方法

Also Published As

Publication number Publication date
CN117496477B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN108830280B (zh) 一种基于区域提名的小目标检测方法
Liu et al. ARC-Net: An efficient network for building extraction from high-resolution aerial images
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及系统
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
CN107944450B (zh) 一种车牌识别方法及装置
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN103679696A (zh) 基于图像金字塔的自适应图像处理设备和方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
Chao et al. Multi-lane detection based on deep convolutional neural network
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN112836657A (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN115424017B (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115761723A (zh) 基于多传感器融合的3d目标检测方法及装置
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN114140758A (zh) 一种目标检测方法、装置及计算机设备
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
Cai et al. Semantic segmentation of terrestrial laser scanning point clouds using locally enhanced image-based geometric representations
CN113255779B (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant