CN116824152A - 基于点云的目标检测方法及装置、可读存储介质、终端 - Google Patents

基于点云的目标检测方法及装置、可读存储介质、终端 Download PDF

Info

Publication number
CN116824152A
CN116824152A CN202310642659.6A CN202310642659A CN116824152A CN 116824152 A CN116824152 A CN 116824152A CN 202310642659 A CN202310642659 A CN 202310642659A CN 116824152 A CN116824152 A CN 116824152A
Authority
CN
China
Prior art keywords
point cloud
target detection
target
detection frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310642659.6A
Other languages
English (en)
Inventor
黄超
郑伟伟
姚为龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiantu Intelligent Technology Co Ltd
Original Assignee
Shanghai Xiantu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiantu Intelligent Technology Co Ltd filed Critical Shanghai Xiantu Intelligent Technology Co Ltd
Priority to CN202310642659.6A priority Critical patent/CN116824152A/zh
Publication of CN116824152A publication Critical patent/CN116824152A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点云的目标检测方法及装置、可读存储介质、终端，所述方法包括：确定针对目标场景采集的点云数据；对所述点云数据进行特征提取，以确定点云特征数据；对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。采用上述方案有助于提高目标检测的准确度。

Description

基于点云的目标检测方法及装置、可读存储介质、终端
技术领域
本发明涉及点云检测技术领域，尤其涉及一种基于点云的目标检测方法及装置、可读存储介质、终端。
背景技术
点云是一种由大量的点构成的三维数据结构，被广泛应用于自动驾驶、计算机视觉、遥感等领域。点云检测是指从点云数据中提取出感兴趣的目标物体。目前，常用的点云检测方法包括基于深度学习的方法、基于传统机器学习的方法、基于特征提取的方法等。
基于深度学习的点云检测方法是当前最先进的方法之一，它通过神经网络学习点云中的特征，并用这些特征来预测目标的位置和形状。然而，现有的基于点云特征进行目标检测的方法的检测准确度较低，难以满足实际应用需求。
发明内容
本发明实施例解决的技术问题是如何提高点云中的目标检测的准确度。
为解决上述技术问题，本发明实施例提供一种基于点云的目标检测方法，包括以下步骤：确定针对目标场景采集的点云数据；对所述点云数据进行特征提取，以确定点云特征数据；对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
可选的，在对所述点云数据进行特征提取之前，所述方法还包括：对所述点云数据进行降采样处理。
可选的，对所述点云数据进行降采样处理，包括：对所述点云数据进行二分类，以确定每个点的位置分类结果，所述位置分类结果选自前景和后景；从所述点云数据中删除位置分类结果为后景的点。
可选的，对所述点云数据进行特征提取，以确定点云特征数据，包括：对所述点云数据进行第一特征提取，以得到具有第一维度的第一点云特征数据；对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，其中，所述第一维度大于第二维度；对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据。
可选的，所述第二维度为二维；对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，包括：将所述第一点云特征数据投影至俯视视角BEV坐标空间，以得到BEV点云特征，所述第二点云特征数据为所述BEV点云特征。
可选的，对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据，包括：采用双向特征金字塔FPN结构，对所述BEV点云特征进行特征提取，以得到所述点云特征数据。
可选的，对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，包括：将所述点云特征数据输入预训练的神经网络模型，以确定多个检测目标以及置信度图；根据所述置信度图确定每个检测目标属于不同目标类别的置信度，其中，每个检测目标在每种目标类别下具有对应的检测框；对于每个检测目标，选取置信度最大的目标类别，作为该检测目标所属的实际目标类别；将所述实际目标类别对应的检测框，作为该检测目标的初始目标检测框，以及将该检测目标属于所述实际目标类别的置信度，作为所述初始目标检测框的置信度。
可选的，所述目标类别选自：行人、自行车、机动车、电动车、动物。
可选的，采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框，包括：将置信度最大的初筛目标检测框作为首轮确定的可信目标检测框，以及将其余初筛目标检测框作为首轮筛选之后的候选目标检测框；在之后的每轮筛选中，将当前轮中置信度最大的候选目标检测框作为当前轮确定的可信目标检测框，然后确定当前轮的其余各个候选目标检测框与当前轮的可信目标检测框的交并比，选取交并比小于所述交并比阈值的候选目标检测框，作为当前轮筛选之后的候选目标检测框，如果所述当前轮筛选之后的候选目标检测框的数量大于等于2，则将当前轮筛选之后的候选目标框作为下一轮的候选目标检测框，并继续进行下一轮筛选，直至当前轮筛选之后的候选目标检测框的数量小于2；将各轮确定的可信目标检测框作为所述再筛目标检测框。
可选的，在确定再筛目标检测框之后，所述方法还包括：删除置信度小于第二置信度阈值的再筛目标检测框，以得到终选目标检测框；其中，所述第二置信度阈值大于所述第一置信度阈值。
本发明实施例还提供一种基于点云的目标检测装置，包括：点云数据确定模块，用于确定针对目标场景采集的点云数据；点云特征提取模块，用于对所述点云数据进行特征提取，以确定点云特征数据；目标检测模块，用于对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；初筛模块，用于删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；再筛模块，用于采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
本发明实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述基于点云的目标检测方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述基于点云的目标检测方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，确定针对目标场景采集的点云数据；对所述点云数据进行特征提取，以确定点云特征数据；对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
由于置信度可以反映初始目标检测框的可信程度，而目标检测框的交并比(即，交集区域与并集区域的比值)用于表示目标检测框的重叠度(或称为覆盖度)，因此交并比在一定程度上也可反映目标检测框的可信程度，交并比越大，越不符合现实情况，可信程度越低。基于此，本实施方案可以通过设置适当的第一置信度阈值和交并比阈值，对初始目标检测框进行初筛以及至少一轮再筛，有助于提高目标检测的准确度和可靠度。
进一步，在对所述点云数据进行特征提取之前，所述方法还包括：对所述点云数据进行降采样处理。通过降采样处理，可以大幅减少点云数据量，减少运算开销的同时，提高检测效率。
进一步，对所述点云数据进行降采样处理，包括：对所述点云数据进行二分类，以确定每个点的位置分类结果，所述位置分类结果选自前景和后景；从所述点云数据中删除位置分类结果为后景的点。在车辆尤其是自动驾驶车辆在行驶过程中，前方出现的各类动态障碍物(即，归类为前景的障碍物)往往具有不可预见性，而静态障碍物(即，归类为背景的障碍物)可直接基于已知的地图数据快速确定，且静态障碍物占据的点数量更为庞大。基于前述理由，本实施方案通过降采样处理保留归类为前景的各个点，既符合实际应用场景需求，也有助于大幅减少点云中的点数量，提高后续目标检测过程的效率。
进一步，对所述点云数据进行特征提取，以确定点云特征数据，包括：对所述点云数据进行第一特征提取，以得到具有第一维度的第一点云特征数据；对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，其中，所述第一维度大于第二维度；对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据。在本发明实施例中，通过结合不同方式对点云数据进行多轮特征提取，既可以过滤掉无效的数据，降低运算数据量，提高检测效率；又有助于对各种特征提取方式进行优势互补，以从点云数据中提取出更加准确可靠的特征信息，从而提高后续目标检测的精确度。
进一步，在确定再筛目标检测框之后，所述方法还包括：删除置信度小于第二置信度阈值的再筛目标检测框，以得到终选目标检测框；其中，所述第二置信度阈值大于所述第一置信度阈值。在本发明实施例中，通过设置更大的置信度阈值，对经过初筛、至少一轮再筛获得的可信度较高再筛目标检测框，进一步执行上述筛选过程，可以进一步降低误差，获得更加可信的目标检测框，以确定高可信度、高精确度的检测目标。
附图说明
图1是本发明实施例中一种基于点云的目标检测方法的流程图；
图2是图1中步骤S13的一种具体实施方式的流程图；
图3是图1中步骤S15的一种具体实施方式的流程图；
图4是本发明实施例中另一种基于点云的目标检测方法的流程图；
图5是本发明实施例中一种基于点云的目标检测装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细说明。
参照图1，图1是本发明实施例中一种基于点云的目标检测方法的流程图。所述方法可以应用于具有数据处理功能的各种终端设备，包括但不限于计算机、手机、平板电脑、车载式终端(例如，配置于自动驾驶车辆上的终端)、服务器、云平台等。
所述方法可以包括步骤S11至步骤S15：
步骤S11：确定针对目标场景采集的点云数据；
步骤S12：对所述点云数据进行特征提取，以确定点云特征数据；
步骤S13：对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；
步骤S14：删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；
步骤S15：采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
在步骤S11的具体实施中，所述目标场景可以是车辆前方一定区域范围内的实景，包括但不限于城市公路、高速或高架公路、乡镇道路、停车场、地下车库、广场等驾驶场景。所述点云数据可以是安装于车辆特定位置(比如，车身顶部)的激光雷达针对所述目标场景采集的点的集合。所述点云数据中通常包含各个点的三维坐标位置、反射率等信息。所述车辆包括但不限于人工或自动驾驶的小轿车、货车、公交车、环卫清扫车等等。
在步骤S12的具体实施中，对所述点云数据进行特征提取，以确定点云特征数据。
进一步地，所述步骤S12具体可以包括：对所述点云数据进行第一特征提取，以得到具有第一维度的第一点云特征数据；对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，其中，所述第一维度大于第二维度；对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据。
其中，所述第一特征提取可以是三维(3D)特征提取，相应的，所述第一点云特征数据可以是是三维的点云特征数据。在具体实施中，可以采用转换(Transformer)神经网络进行第一特征提取，由于Transformer神经网络在特征提取过程中没有降采样操作，因此获得的特征数据能够较好地保留重要的细节信息。
其中，所述第二维度可以为二维；对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，包括：将所述第一点云特征数据投影至俯视视角BEV坐标空间，以得到BEV点云特征，所述第二点云特征数据为所述BEV点云特征。
具体地，所述BEV坐标空间也可以称为鸟瞰图(Bird’s Eye View，简称BEV)坐标空间，是一种用于描述感知世界的视角或坐标系。BEV也用于代指在计算机视觉领域内的一种端到端的、由神经网络将视觉信息从三维点云空间或三维图像空间转换到BEV坐标空间的技术。相较于其他坐标空间，BEV坐标可以克服普遍存在的遮挡或缩放问题，可以更好地解决具有遮挡或交叉交通的目标检测问题。由此，本实施方案通过将所述第一点云特征数据投影至俯视视角BEV坐标空间，有助于提高后续目标检测的准确度。
其中，对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据，包括：采用双向特征金字塔FPN结构，对所述BEV点云特征进行特征提取，以得到所述点云特征数据。
具体地，所述双向特征金字塔(Feature Pyramid Networks，简称FPN)是一种特称提取网络结构，其优点在于对于每个尺寸的点云数据都可进行特征提取，无论高分辨率还是低分辨率，大目标还是小目标，都可以提取到较强的特征信息。
在本发明实施例中，通过结合上述不同方式对点云数据进行多轮特征提取，既可以过滤掉无效的数据，降低运算数据量，提高检测效率；又有助于对各种特征提取方式进行优势互补，以从点云数据中提取出更加准确可靠的特征信息，从而提高后续目标检测的准确度。
进一步地，在对所述点云数据进行特征提取之前，所述方法还包括：对所述点云数据进行降采样处理。
更进一步地，对所述点云数据进行降采样处理，包括：对所述点云数据进行二分类，以确定每个点的位置分类结果，所述位置分类结果选自前景和后景；从所述点云数据中删除位置分类结果为后景的点。
具体而言，可以采用现有的点云前景-后景分类算法或点云分割算法进行二分类处理，例如，预训练的多层感知器(Multi-Layer Perceptron，MLP)。其中，所述前景通常包括所述点云数据对应的目标场景中的动态目标物或动态障碍物，例如，行人、机动车、非机动车(包括自行车、双轮或三轮电动车)、动物等。所述后景通常包括所述点云数据对应的目标场景中的静态物体或静态障碍物，例如，建筑物、树木、交通标志等。
在本发明实施例中，通过对所述点云数据进行降采样处理，可以减少参与后续运算过程的数据量，降低运算开销，提高目标检测效率。进一步，在车辆尤其是自动驾驶车辆在行驶过程中，前方出现的各类动态障碍物(即，归类为前景的障碍物)往往具有不可预见性，而静态障碍物(即，归类为背景的障碍物)可直接基于已知的地图数据快速确定，且静态障碍物占据的点数量更为庞大。基于前述理由，本实施方案通过降采样处理保留归类为前景的各个点，既符合实际应用场景需求，也有助于大幅减少点云中的点数量，提高后续目标检测过程的效率。
在步骤S13的具体实施中，所述初始目标检测框，也可以称为三维物体框。每个初始目标检测框内包含至少一个检测目标。其中，每个初始目标检测框可以采用一个多维度参数表示。例如，对于初始目标检测框A，可以采用A(x，y，z，dx，dy，dz，heading)来表示，其中，x，y，z可以分别表示该初始目标检测框A的几何中心点的三维坐标，dx，dy，dz可以分别用于表示该初始目标检测框A的长度值、宽度值、高度值，heading用于表示该初始目标检测框A内包含的检测目标a的朝向角。
所述初始目标检测框的置信度，用于表示所述初始目标检测框的可信程度。具体地，可以表示所述初始目标检测框内包含的检测目标属于特定目标类别的概率。例如，对于初始目标检测框A，其包含的检测目标a属于行人的概率为50％，则该初始目标检测框A的置信度可以为50％。
参照图2，图2是图1中步骤S13的一种具体实施方式的流程图。所述步骤S13具体可以包括步骤S21至步骤S24。
在步骤S21中，将所述点云特征数据输入预训练的神经网络模型，以确定多个检测目标以及置信度图。
在具体实施中，所述预训练的神经网络模型可以是能够实现目标检测功能的预训练多层卷积神经网络模型。所述置信度图包含所述多个检测目标属于不同目标类别的概率信息，也就是说，如果预设的目标类别的数量为n个，则对于所述神经网络模型检测出的每个检测目标，该检测目标具有对应的n个概率值，每个概率值用于表示该检测目标属于对应目标类别的概率。
在一些非限制性实施例中，所述目标类别可以选自：行人、自行车、机动车、电动车、动物。
在步骤S22中，根据所述置信度图确定每个检测目标属于不同目标类别的置信度，其中，每个检测目标在每种目标类别下具有对应的检测框。
例如，对于检测目标b：其属于行人这一目标类别的概率(即，置信度)为0.3，在行人这一目标类别下对应的检测框为检测框n1；属于自行车这一目标类别的置信度为0.2，在自行车这一目标类别下对应的检测框为检测框n2；属于机动车这一目标类别的置信度为0.25，在自行车这一目标类别下对应的检测框为检测框n3；属于电动车这一目标类别的置信度为0.1，在电动车这一目标类别下对应的检测框为检测框n4；属于动物这一目标类别的置信度为0.06，在动物这一目标类别下对应的检测框为检测框n5。
在步骤S23中，对于每个检测目标，选取置信度最大的目标类别，作为该检测目标所属的实际目标类别。
在步骤S24中，将所述实际目标类别对应的检测框，作为该检测目标的初始目标检测框，以及将该检测目标属于所述实际目标类别的置信度，作为所述初始目标检测框的置信度。
继续结合上述示例，其中置信度最大的目标类别为“行人”这一目标类别，因此，将“行人”这一目标类别，作为检测目标b所属的实际目标类别。然后“行人”这一目标类别下对应的检测框n1，作为检测目标b的初始目标检测框，以及将检测目标b属于“行人”这一目标类别的置信度60％，作为检测目标b的初始目标检测框的置信度。
需要指出的是，在实际应用中，对所述点云特征数据进行目标检测以确定多个初始目标检测框及其置信度的方案，并不限于图2所示实施例提供的方案，还可以采用其他常规方式，例如，采用人工分析点云数据，画出各个初始目标检测框以及人工估计置信度的方式。
继续参照图1，在步骤S14的具体实施中，删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框。
可以理解的是，在执行上述步骤S13后确定的各个初始目标检测框，虽然是选取每个检测目标在置信度最大的目标类别下对应的检测框，但由于算法误差或者点云噪声数据等因素的影响，仍然会导致所确定的初始目标检测框可靠度不足(例如，可能将体型较大的动物或者因反光造成的点云团块误判为行人)。在本发明实施例中，通过适当设置所述第一置信度阈值，删除置信度较低的初始目标检测框。由此，有助于提高目标检测的准确度。
在具体实施中，所述第一置信度阈值可以结合实际应用场景需要而设置。非限制性地，可以在区间[0.08，0.15]中选取适当数值，例如，可以设置为0.1。
在步骤S15的具体实施中，采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
其中，所述交并比，具体可以指具有交集区域(或称为重叠区域)初筛目标检测框的交集区域的大小与并集区域的大小之间的比值。
可以理解的是，在现实场景中，几乎不存在两个检测目标之间大面积相交或重叠的情况，基于这一前提，如果存在两个初筛目标检测框，其交并比很大，则可以确定这两个初筛目标检测框中至少有一个是错误的(比如，将噪声导致的点云团块误认为是检测目标)。因此，在本发明实施例中，除了执行步骤S13基于置信度这一参数进行初筛，还执行所述步骤S15基于交并比这一参数进行至少一轮再筛，通过多参数结合进行多轮筛选，以尽可能提高目标检测的准确度和可信度。
在具体实施中，所述交并比阈值可以根据实际应用场景需求进行适当设置。非限制性地，可以在区间[0.008，0.012]中选取适当数值，例如可以设置为0.01。
参照图3，图3是图1中步骤S15的一种具体实施方式的流程图。所述步骤S15具体可以包括步骤S31至步骤S33。
在步骤S31中，将置信度最大的初筛目标检测框作为首轮确定的可信目标检测框，以及将其余初筛目标检测框作为首轮筛选之后的候选目标检测框。
在步骤S32中，在之后的每轮筛选中，将当前轮中置信度最大的候选目标检测框作为当前轮确定的可信目标检测框，然后确定当前轮的其余各个候选目标检测框与当前轮的可信目标检测框的交并比，选取交并比小于所述交并比阈值的候选目标检测框，作为当前轮筛选之后的候选目标检测框，如果所述当前轮筛选之后的候选目标检测框的数量大于等于2，则将当前轮筛选之后的候选目标框作为下一轮的候选目标检测框，并继续进行下一轮筛选，直至当前轮筛选之后的候选目标检测框的数量小于2。
在步骤S33中，将各轮确定的可信目标检测框作为所述再筛目标检测框。
在本发明实施例中，通过执行上述再筛选过程，可以获得既满足置信度要求又符合现实情况的一个或多个再筛目标检测框，降低检测误差，提高目标检测的准确度和可靠度。进一步，在再筛过程中，通过按照置信度从大至小的顺序确定每轮的可信目标检测框，相较于对任意两个初筛目标检测框进行运算，采用本实施方案可以提高再筛的效率，降低运算开销。
参照图4，图4是本发明实施例中另一种基于点云的目标检测方法的流程图。所述另一种基于点云的目标检测方法可以包括图1所示实施例中的步骤S11至步骤S15，还可以包括步骤S41。其中，步骤S41可以在步骤S15之后执行。以下对与图1所示实施例的不同内容进行说明。
在步骤S41中，删除置信度小于第二置信度阈值的再筛目标检测框，以得到终选目标检测框。
其中，所述第二置信度阈值大于所述第一置信度阈值。
在本发明实施例中，通过设置更大的置信度阈值，对经过初筛、至少一轮再筛获得的可信度较高再筛目标检测框，进一步执行所述步骤S41的筛选过程，可以进一步降低误差，获得更加可信的目标检测框，以确定高可信度、高精确度的检测目标。
在具体实施中，所述第二置信度阈值可以根据实际应用场景需求进行适当设置，例如，对于精度要求高的应用场景，可以适应性地设置更大的第二置信度阈值。非限制性地，可以在区间[0.25，0.35]中选取适当数值，例如可以设置为0.3。
参照图5，图5是本发明实施例中一种基于点云的目标检测装置的结构示意图。所述基于点云的目标检测装置可以包括：
点云数据确定模块51，用于确定针对目标场景采集的点云数据；
点云特征提取模块52，用于对所述点云数据进行特征提取，以确定点云特征数据；
目标检测模块53，用于对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；
初筛模块54，用于删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；
再筛模块55，用于采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
关于该装置的原理、具体实现和有益效果请参照前文及图1至图4示出的关于基于点云的目标检测方法的相关描述，此处不再赘述。
本发明实施例还提供了一种可读存储介质，例如为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图4示出的基于点云的目标检测方法的步骤。所述计算机可读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1至图4示出的基于点云的目标检测方法的步骤。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种基于点云的目标检测方法，其特征在于，包括：
确定针对目标场景采集的点云数据；
对所述点云数据进行特征提取，以确定点云特征数据；
对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；
删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；
采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
2.根据权利要求1所述的方法，其特征在于，在对所述点云数据进行特征提取之前，所述方法还包括：
对所述点云数据进行降采样处理。
3.根据权利要求2所述的方法，其特征在于，对所述点云数据进行降采样处理，包括：
对所述点云数据进行二分类，以确定每个点的位置分类结果，所述位置分类结果选自前景和后景；
从所述点云数据中删除位置分类结果为后景的点。
4.根据权利要求1所述的方法，其特征在于，对所述点云数据进行特征提取，以确定点云特征数据，包括：
对所述点云数据进行第一特征提取，以得到具有第一维度的第一点云特征数据；
对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，其中，所述第一维度大于第二维度；
对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据。
5.根据权利要求4所述的方法，其特征在于，所述第二维度为二维；
对所述第一点云特征数据进行转换，以得到具有第二维度的第二点云特征数据，包括：
将所述第一点云特征数据投影至俯视视角BEV坐标空间，以得到BEV点云特征，所述第二点云特征数据为所述BEV点云特征。
6.根据权利要求5所述的方法，其特征在于，对所述第二点云特征数据进行第二特征提取，以得到所述点云特征数据，包括：
采用双向特征金字塔FPN结构，对所述BEV点云特征进行特征提取，以得到所述点云特征数据。
7.根据权利要求1所述的方法，其特征在于，对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，包括：
将所述点云特征数据输入预训练的神经网络模型，以确定多个检测目标以及置信度图；
根据所述置信度图确定每个检测目标属于不同目标类别的置信度，其中，每个检测目标在每种目标类别下具有对应的检测框；
对于每个检测目标，选取置信度最大的目标类别，作为该检测目标所属的实际目标类别；
将所述实际目标类别对应的检测框，作为该检测目标的初始目标检测框，以及将该检测目标属于所述实际目标类别的置信度，作为所述初始目标检测框的置信度。
8.根据权利要求7所述的方法，其特征在于，所述目标类别选自：
行人、自行车、机动车、电动车、动物。
9.根据权利要求1所述的方法，其特征在于，采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框，包括：
将置信度最大的初筛目标检测框作为首轮确定的可信目标检测框，以及将其余初筛目标检测框作为首轮筛选之后的候选目标检测框；
在之后的每轮筛选中，将当前轮中置信度最大的候选目标检测框作为当前轮确定的可信目标检测框，然后确定当前轮的其余各个候选目标检测框与当前轮的可信目标检测框的交并比，选取交并比小于所述交并比阈值的候选目标检测框，作为当前轮筛选之后的候选目标检测框，如果所述当前轮筛选之后的候选目标检测框的数量大于等于2，则将当前轮筛选之后的候选目标框作为下一轮的候选目标检测框，并继续进行下一轮筛选，直至当前轮筛选之后的候选目标检测框的数量小于2；
将各轮确定的可信目标检测框作为所述再筛目标检测框。
10.根据权利要求1或9所述的方法，其特征在于，在确定再筛目标检测框之后，所述方法还包括：
删除置信度小于第二置信度阈值的再筛目标检测框，以得到终选目标检测框；
其中，所述第二置信度阈值大于所述第一置信度阈值。
11.一种基于点云的目标检测装置，其特征在于，包括：
点云数据确定模块，用于确定针对目标场景采集的点云数据；
点云特征提取模块，用于对所述点云数据进行特征提取，以确定点云特征数据；
目标检测模块，用于对所述点云特征数据进行目标检测，以确定多个初始目标检测框以及每个初始目标检测框的置信度，其中，所述置信度用于表示所述初始目标检测框的可信程度；
初筛模块，用于删除置信度小于第一置信度阈值的初始目标检测框，以得到初筛目标检测框；
再筛模块，用于采用预设的交并比阈值，对所述初筛目标检测框进行至少一轮筛选，以确定再筛目标检测框。
12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述基于点云的目标检测方法的步骤。
13.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10任一项所述基于点云的目标检测方法的步骤。
CN202310642659.6A 2023-05-31 2023-05-31 基于点云的目标检测方法及装置、可读存储介质、终端 Pending CN116824152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310642659.6A CN116824152A (zh) 2023-05-31 2023-05-31 基于点云的目标检测方法及装置、可读存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310642659.6A CN116824152A (zh) 2023-05-31 2023-05-31 基于点云的目标检测方法及装置、可读存储介质、终端

Publications (1)

Publication Number Publication Date
CN116824152A true CN116824152A (zh) 2023-09-29

Family

ID=88140261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310642659.6A Pending CN116824152A (zh) 2023-05-31 2023-05-31 基于点云的目标检测方法及装置、可读存储介质、终端

Country Status (1)

Country Link
CN (1) CN116824152A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456503A (zh) * 2023-10-23 2024-01-26 北京理工大学前沿技术研究院 一种三维目标检测方法、系统、存储介质及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456503A (zh) * 2023-10-23 2024-01-26 北京理工大学前沿技术研究院 一种三维目标检测方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN112753038B (zh) 识别车辆变道趋势的方法和装置
CN113554643B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN116824152A (zh) 基于点云的目标检测方法及装置、可读存储介质、终端
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
Song et al. Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework
CN110826364A (zh) 一种库位识别方法及装置
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN115527187A (zh) 一种障碍物的分类方法以及装置
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN114663793A (zh) 目标行为识别方法及装置、存储介质、终端
CN115880650B (zh) 跨视域车辆重识别模型及其构建方法、装置及应用
CN116612059B (zh) 图像处理方法及装置、电子设备、存储介质
CN116381698B (zh) 道路遗撒物的检测方法、装置及电子设备
WO2024045942A1 (zh) 环境信息感知方法、装置、系统、计算机设备及存储介质
CN117274670A (zh) 点云标注方法及装置、计算机可读存储介质、终端
CN118135543A (zh) 车位及障碍物检测方法、装置、电子设备及存储介质
CN116580365A (zh) 一种毫米波雷达与视觉融合的目标车辆检测方法及系统
CN117169919A (zh) 目标检测结果的确定方法、装置、计算机设备及存储介质
CN115147803A (zh) 一种物体检测方法及装置
CN117197433A (zh) 目标检测方法、装置、电子设备和存储介质
CN118259253A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination