CN113298822B - 点云数据的选取方法及选取装置、设备、存储介质 - Google Patents

点云数据的选取方法及选取装置、设备、存储介质 Download PDF

Info

Publication number
CN113298822B
CN113298822B CN202110541788.7A CN202110541788A CN113298822B CN 113298822 B CN113298822 B CN 113298822B CN 202110541788 A CN202110541788 A CN 202110541788A CN 113298822 B CN113298822 B CN 113298822B
Authority
CN
China
Prior art keywords
segmentation
point cloud
self
dimensional space
attention feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110541788.7A
Other languages
English (en)
Other versions
CN113298822A (zh
Inventor
杨之光
程章林
潘光凡
奥利夫·马丁·多伊森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110541788.7A priority Critical patent/CN113298822B/zh
Publication of CN113298822A publication Critical patent/CN113298822A/zh
Application granted granted Critical
Publication of CN113298822B publication Critical patent/CN113298822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种点云数据的选取方法、装置、设备、存储介质，选取方法包括：获取点云数据；利用训练好的基于自注意力机制的神经网络对点云数据进行点云实例分割，获得多个分割实例；将多个分割实例转换为平面空间中的多个分割实例；获取目标用户在平面空间中的选定区域；根据平面空间中的多个分割实例以及选定区域获得每一个分割实例的属性；利用训练好的预测网络并基于每一个分割实例的属性预测每一个分割实例被选中的概率；根据每一个分割实例被选中的概率获得目标点云数据。本发明先进行实例分割获得每个点的类别，再结合选定区域获得每个分割实例的预测属性，有效提升了点云选取的精确性，且对点云数据的场景没有要求，具有很好的鲁棒性。

Description

点云数据的选取方法及选取装置、设备、存储介质
技术领域
本发明涉及点云数据处理技术领域，尤其涉及一种点云数据的选取方法及选取装置、设备、存储介质。
背景技术
随着计算机视觉领域的不断发展，无人驾驶、机器人等各行业对理解三维世界的要求逐渐变高，因此，对三维数据的探索性分析和可视化将会变得越来越重要。三维数据的表示形式主要有点云、体素和网格，其中，点云是用点的集合来表示三维数据，点云一般可由激光雷达等设备直接获取，其相对于其它表现形式具有占用资源小、精度高、可由设备直接获取等优点，从而使得点云成为三维数据的主要表示形式。对于复杂的点云数据，可视化点云往往是人们理解和分析它的第一步，而选择操作更是可视化点云的基本任务。目前，点云选择通常是先对点云进行密度上的聚类，将点云自动分成几类，然后，将这几类点云投影到二维平面中，将与用户选择的区域的重叠区域面积最大的类中的点云作为选取的点，由于点云在很多情况下并不具有均匀的密度，因此该方法具有较大的场景局限性且准确度也不够高。
发明内容
为了解决现有技术的不足，本发明提供一种点云数据的选取方法及选取装置、设备、存储介质，能够有效提升点云选取的精确性且鲁棒性很好。
本发明提出的具体技术方案为：提供一种点云数据的选取方法，所述选取方法包括：
获取点云数据；
利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例；
将所述三维空间中的多个分割实例转换为平面空间中的多个分割实例；
获取目标用户在平面空间中的选定区域；
根据所述平面空间中的多个分割实例以及所述选定区域获得三维空间中的每一个分割实例的属性；
利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率；
根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据。
进一步地，利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例，包括：
利用依次级联的多个第一自注意力特征提取模块对所述点云数据进行编码，获得第一自注意力特征；
利用依次级联的多个第二自注意力特征提取模块对所述第一自注意力特征进行解码，获得第二自注意力特征；
通过第一全连接层对所述第二自注意力特征进行分类，获得三维空间中的多个分割实例。
进一步地，利用依次级联的多个第一自注意力特征提取模块对所述点云数据进行编码，获得第一自注意力特征，包括：
从依次级联的多个第一自注意力特征提取模块中的第一个第一注意力特征提取模块开始：
将点云数据作为第一个第一注意力特征提取模块的输入数据，分别利用第一线性变换层、第二线性变换层对输入数据进行线性变换；
利用第二全连接层对输入数据进行全连接；
将第一线性变换层的输出与第二全连接层的输出相加后利用第三全连接层进行全连接；
将第二线性变换层的输出与第二全连接层的输出相加后利用第四全连接层进行全连接；
将第三全连接层的输出与第四全连接层的输出拼接后作为下一个第一注意力特征提取模块的输入数据，重复执行编码，直到最后一个第一注意力特征提取模块，将最后一个第一注意力特征提取模块的输出作为第一自注意力特征。
进一步地，利用依次级联的多个第二自注意力特征提取模块对所述第一自注意力特征进行解码，获得第二自注意力特征，包括：
从依次级联的多个第二自注意力特征提取模块中的第一个第二注意力特征提取模块开始：
将第一自注意力特征作为第一个第二注意力特征提取模块的输入数据，分别利用第三线性变换层、第四线性变换层对输入数据进行线性变换；
利用第五全连接层对输入数据进行全连接；
将第三线性变换层的输出与第五全连接层的输出相加后利用第六全连接层进行全连接；
将第四线性变换层的输出与第五全连接层的输出相加后利用第七全连接层进行全连接；
将第六全连接层的输出与第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据，重复执行解码，直到最后一个第二注意力特征提取模块，将最后一个第二注意力特征提取模块的输出作为第二自注意力特征；
其中，从第二个第二自注意力特征提取模块开始，将第六全连接层的输出与第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据包括：
将所述第二自注意力特征提取模块对应的第一自注意力特征提取模块的输出利用第五线性变换层进行线性变换；
将第五线性变换层、第六全连接层的输出、第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据。
进一步地，根据所述平面空间中的多个分割实例以及所述选定区域获得三维空间中的每一个分割实例的属性，包括：
计算平面空间中的每一个分割实例的面积，获得三维空间中的每一个分割实例的面积属性；
计算平面空间中的每一个分割实例与所述选定区域的重叠面积占所述平面空间中的分割实例的面积的百分比，获得三维空间中的每一个分割实例的百分比属性；
计算平面空间中的每一个分割实例对应的三维空间中的分割实例的几何中心到平面空间的距离，获得三维空间中的每一个分割实例的距离属性；
相应的，利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率，包括：
利用训练好的预测网络并基于三维空间中的每一个分割实例的面积属性、百分比属性、距离属性预测三维空间中的每一个分割实例被选中的概率。
进一步地，根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据，包括:
判断三维空间中的每一个分割实例被选中的概率是否大于概率阈值，若大于，则将三维空间中的所述分割实例对应的点云数据作为目标点云数据。
进一步地，若三维空间中的每一个分割实例被选中的概率均小于概率阈值，所述选取方法还包括：
将具有最大被选中的概率的三维空间中的分割实例对应的点云数据作为目标点云数据。
本发明还提供了一种点云数据的选取装置，所述选取装置包括：
第一获取模块，用于获取点云数据；
分割模块，用于利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例；
转换模块，用于将所述三维空间中的多个分割实例转换为平面空间中的多个分割实例；
第二获取模块，用于获取目标用户在平面空间中的选定区域；
属性获取模块，用于根据所述平面空间中的多个分割实例以及所述选定区域获得三维空间中的每一个分割实例的属性；
预测模块，用于利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率；
选取模块，用于根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据。
本发明还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现如上任一项所述的选取方法。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现如上任一项所述的选取方法。
本发明提出的点云数据的选取方法先通过基于自注意力机制的神经网络来获得三维空间中的多个分割实例，然后再根据分割实例和目标用户的选定区域获得每一个分割实例的属性，最后根据每一个分割实例的属性通过预测网络预测每一个分割实例被选中的概率并根据被选中的概率获取目标点云数据，一方面，先进行实例分割获得每个点的类别，再结合目标用户的选定区域获得每个分割实例的预测属性并通过预测网络预测被选中的概率，能够有效提升点云选取的精确性，另一方面，相对于现有的选取方法，对点云数据的场景没有要求，从而可以适用于任何场景下的点云数据，具有很好的鲁棒性。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本申请实施例中的点云数据的选取方法的示意图；
图2为本申请实施例中基于自注意力机制的神经网络的结构示意图；
图3为本申请实施例中第一自注意力特征提取模块的结构示意图；
图4为本申请实施例中第二自注意力特征提取模块的结构示意图；
图5为本申请实施例中的选取装置的结构示意图；
图6为本申请实施例中的设备的结构示意图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。在附图中，相同的标号将始终被用于表示相同的元件。
参照图1，本实施例提供的点云数据的选取方法包括以下步骤：
S1、获取点云数据；
S2、利用训练好的基于自注意力机制的神经网络对点云数据进行点云实例分割，获得三维空间中的多个分割实例；
S3、将三维空间中的多个分割实例转换为平面空间中的多个分割实例；
S4、获取目标用户在平面空间中的选定区域；
S5、根据平面空间中的多个分割实例以及选定区域获得三维空间中的每一个分割实例的属性；
S6、利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率；
S7、根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据。
步骤S1中的点云数据指的是三维空间中的点云数据，通过文件加载模块的来获取点云数据，文件加载模块主要是对点云数据进行格式转换，即将不同格式的点云数据加载为内存中统一的数据格式，具体地，先获取三维空间中的点云数据的文件路径，然后根据文件路径并按照不同的数据格式对三维空间中的点云数据进行分类读取。其中，点云数据的读取是通过JavaScript中的标准文件流来实现。
在步骤S2中，将步骤S1中获得的点云数据输入至训练好的基于自注意力机制的神经网络中，基于自注意力机制的神经网络对点云数据进行点云实例分割，获得三维空间中的多个分割实例，例如，原始点云场景为自动驾驶的情况下，通过点云实例分割可以分割出每一条车道、每一个行人及每辆车。
本实施例中，利用训练好的基于自注意力机制的神经网络对点云数据进行点云实例分割，获得三维空间中的多个分割实例，即步骤S2具体包括：
S21、利用依次级联的多个第一自注意力特征提取模块对点云数据进行编码，获得第一自注意力特征；
S22、利用依次级联的多个第二自注意力特征提取模块对第一自注意力特征进行解码，获得第二自注意力特征；
S23、通过第一全连接层对第二自注意力特征进行分类，获得三维空间中的多个分割实例。
参照图2，基于自注意力机制的神经网络包括编码单元、解码单元和分类单元，编码单元包括依次级联的多个第一自注意力特征提取模块1，通过依次级联的多个第一自注意力特征提取模块1对点云数据进行编码，获得第一自注意力特征。第一个第一自注意力特征提取模块1的输入为点云数据，从第二个第一自注意力特征提取模块1开始，每一个第一自注意力特征提取模块1的输入为前一个第一自注意力特征提取模块1的输出。
解码单元包括依次级联的多个第二自注意力特征提取模块2，通过依次级联的多个第二自注意力特征提取模块2对第一自注意力特征进行解码，获得第二自注意力特征。第一个第二自注意力特征提取模块2的输入为第一自注意力特征，从第二个第二自注意力特征提取模块2开始，每一个第二自注意力特征提取模块2的输入为前一个第二自注意力特征提取模块2的输出。
基于自注意力机制的神经网络的编码单元，从第二个第一自注意力特征提取模块1开始，每经过一个第一自注意力特征提取模块1后，点的数量为原来的1/4倍，每一个点的特征通道数加倍，如图2所示，经过第一个第一自注意力特征提取模块1后，点的数量为N，每一个点的特征通道数为32，经过第二个第一自注意力特征提取模块1后，点的数量为N/4，每一个点的特征通道数为64，以此类推，通过多个第一自注意力特征提取模块1后，可以学习到点与点之间的特征信息，获得第一自注意力特征。
基于自注意力机制的神经网络的解码单元，从第二个第二自注意力特征提取模块2开始，每经过一个第二自注意力特征提取模块2后，点的数量为原来的4倍，每一个点的特征通道数减半，如图2所示，经过第一个第二自注意力特征提取模块2后，点的数量为N/64，每一个点的特征通道数为256，经过第二个第二自注意力特征提取模块2后，点的数量为N/16，每一个点的特征通道数为128，以此类推，通过多个第二自注意力特征提取模块2后，可以得到每个点的类别预测特征，获得第二自注意力特征。
在获得每个点的类别预测特征之后，通过第一全连接层3对每个点进行分类，最终获得每个点的预测类别，根据每个点的预测类别便可以得到三维空间中的多个分割实例。其中，第一全连接层3输出的点的数量为N，每个点的特征通道数out与分割的类别数目相等，每一个特征通道数的取值为0或1，若为1，则表示这个点的类别为该特征通道对应的类别。
由于随着网络深度的增加，模型会产生退化现象，为了解决这个问题，本实施例中的解码单元中增加了残差连接机制，即从第二个第二自注意力特征提取模块2开始，将每一个第二自注意力特征提取模块2对应的第一自注意力特征提取模块1的输出作为该第二自注意力特征提取模块2的残差部分。这里所说的第二自注意力特征提取模块2对应的第一自注意力特征提取模块1指的是点的数量和点的特征通道数与该第二自注意力特征提取模块2相等的第一自注意力特征提取模块1。
参照图3，多个第一自注意力特征提取模块1中的每一个第一自注意力特征提取模块1均包括第一线性变换层11、第二线性变换层12、第二全连接层13、第三全连接层14、第四全连接层15、第一拼接层16。
在步骤S21中，利用依次级联的多个第一自注意力特征提取模块1对点云数据进行编码，获得第一自注意力特征，包括：
从依次级联的多个第一自注意力特征提取模块1中的第一个第一注意力特征提取模块1开始：
S211、将点云数据作为第一个第一注意力特征提取模块1的输入数据，分别利用第一线性变换层11、第二线性变换层12对输入数据进行线性变换；
S212、利用第二全连接层13对输入数据进行全连接；
S213、将第一线性变换层11的输出与第二全连接层13的输出相加后利用第三全连接层14进行全连接；
S214、将第二线性变换层12的输出与第二全连接层13的输出相加后利用第四全连接层15进行全连接；
S215、将第三全连接层14的输出与第四全连接层15的输出通过拼接层16拼接后作为下一个第一注意力特征提取模块1的输入数据，重复执行S211～S215的编码过程，直到最后一个第一注意力特征提取模块1完成编码过程，将最后一个第一注意力特征提取模块1的输出作为第一自注意力特征。
参照图4，多个第二自注意力特征提取模块2中的每一个第二自注意力特征提取模块2均包括第三线性变换层21、第四线性变换层22、第五全连接层23、第六全连接层24、第七全连接层25、第二拼接层26、第五线性变换层27。
在步骤S22中，利用依次级联的多个第二自注意力特征提取模块2对第一自注意力特征进行解码，获得第二自注意力特征，包括：
从依次级联的多个第二自注意力特征提取模块2中的第一个第二注意力特征提取模块2开始：
S221、将第一自注意力特征作为第一个第二注意力特征提取模块2的输入数据，分别利用第三线性变换层21、第四线性变换层22对输入数据进行线性变换；
S222、利用第五全连接层23对输入数据进行全连接；
S223、将第三线性变换层21的输出与第五全连接层23的输出相加后利用第六全连接层24进行全连接；
S224、将第四线性变换层22的输出与第五全连接层23的输出相加后利用第七全连接层25进行全连接；
S225、将第六全连接层24的输出与第七全连接层25的输出通过第二拼接层27拼接后作为下一个第二注意力特征提取模块2的输入数据，重复执行S221～S225的解码过程，直到最后一个第二注意力特征提取模块2完成解码过程，将最后一个第二注意力特征提取模块2的输出作为第二自注意力特征。
本实施例中的解码单元中增加了残差连接机制，从第二个第二自注意力特征提取模块2开始，在步骤S225中，将第六全连接层24的输出与第七全连接层25的输出通过第二拼接层27拼接后作为下一个第二注意力特征提取模块2的输入数据具体包括：
S2251、将第二自注意力特征提取模块2对应的第一自注意力特征提取模块1的输出作为该第二自注意力特征提取模块2的残差数据，对残差数据利用第五线性变换层27进行线性变换；
S2252、将第五线性变换层27的输出、第六全连接层24的输出、第七全连接层25的输出通过第二拼接层27拼接后作为下一个第二注意力特征提取模块2的输入数据。
为了能够对三维空间中的点云数据进行可视化操作，本实施例中的选取方法在获取目标用户在平面空间中的选定区域之前，需要先对三维空间中的点云数据进行可视化处理，即对点云数据进行显示，以便目标用户对其进行选取。
在步骤S3中，将三维空间中的多个分割实例转换为平面空间中的多个分割实例具体为，直接通过投影的方式将三维空间中的点云数据投影至平面空间中并在屏幕上进行显示，以实现可视化处理。这里所说的投影方式是将三维空间中的点对应深度的数据去掉，例如，点云数据中的每一个点的在三维空间中的坐标为(x、y、z)，转换为平面空间后的坐标为(x、y)。
在对点云数据进行可视化处理后，在步骤S4中，目标用户可以根据自己的需求选择感兴趣的区域即选定区域，具体地，目标用户在平面空间中绘制任意曲线，将任意曲线的首尾用直线连接形成一封闭区域，该封闭区域即为目标用户的选定区域，点云数据中位于选定区域中的点即为目标用户选取的点。
获得目标用户的选定区域后，在步骤S5中，根据平面空间中的多个分割实例以及选定区域获得三维空间中的每一个分割实例的属性，本实施例中的分割实例的属性包括面积属性、百分比属性、距离属性等多个属性，具体地，步骤S5包括：
S51、计算平面空间中的每一个分割实例的面积，获得三维空间中的每一个分割实例的面积属性；
S52、计算平面空间中的每一个分割实例与选定区域的重叠面积占平面空间中的分割实例的面积的百分比，获得三维空间中的每一个分割实例的百分比属性；
S53、计算平面空间中的每一个分割实例对应的三维空间中的分割实例的几何中心到平面空间的距离，获得三维空间中的每一个分割实例的距离属性。
三维空间中的不同的分割实例在平面空间中的面积、其几何中心到平面空间的距离以及与选定区域的重叠面积均不相同，通过综合考虑这几个属性特征，可以提升选取的目标点云数据的准确性。
在获得每一个分割实例的面积属性、百分比属性、距离属性后，步骤S6中，利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率，具体为：
利用训练好的预测网络并基于三维空间中的每一个分割实例的面积属性、百分比属性、距离属性预测三维空间中的每一个分割实例被选中的概率。
较佳地，本实施例中的预测网络为逻辑斯蒂回归模型，将每一个分割实例的面积属性、百分比属性、距离属性输入至该模型中便可以获得每一个分割实例被选中的概率。当然，这里也可以采用其他具有较快运算速度的预测模型作为本实施例中的预测网络。
在步骤S7中，根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据，具体包括：
判断三维空间中的每一个分割实例被选中的概率是否大于概率阈值，若大于，则将三维空间中的该分割实例对应的点云数据作为目标点云数据。其中，本实施例中的概率阈值为0.5，即将被选中的概率大于0.5的三维空间中的分割实例对应的点云数据作为目标点云数据，当然，概率阈值可以根据实际需要进行调整，这里不做限定。
当三维空间中的每一个分割实例被选中的概率均小于概率阈值时，先对三维空间中的每一个分割实例被选中的概率按照从高到低的顺序进行排序，然后将排在第一的分割实例对应的点云数据作为目标点云数据，即将具有最大被选中的概率的三维空间中的分割实例对应的点云数据作为目标点云数据。
本实施例也可以对步骤S7中获得的目标点云数据进行细化处理，具体为，将步骤S7获得的目标点云数据作为待细化数据，重复步骤S1～S7，第二次获得目标点云数据，利用这次获得的目标点云数据对待细化数据进行细化，这里说的细化是采用交、并、差三种集合运算来对第一次获得的目标点云数据进行细化处理，最终获得细化后的目标点云数据，细化后的目标点云数据可以更好的满足目标用户的需求。
本实施例在获得目标点云数据后，将目标点云数据按照特定格式保存至MongoDB数据库中，并且可以支持以常见的三维点云数据格式导出数据文件，以便后续对点云数据进行分析调用。
本实施例提出的点云数据的选取方法先通过基于自注意力机制的神经网络来获得三维空间中的多个分割实例，然后再根据分割实例和目标用户的选定区域获得每一个分割实例的属性，最后根据每一个分割实例的属性通过预测网络预测每一个分割实例被选中的概率并根据被选中的概率获取目标点云数据，一方面，先进行实例分割获得每个点的类别，再结合目标用户的选定区域获得每个分割实例的预测属性并通过预测网络预测被选中的概率，能够有效提升点云选取的精确性，另一方面，相对于现有的选取方法，对点云数据的场景没有要求，从而可以适用于任何场景下的点云数据，具有很好的鲁棒性。
参照图5，本实施例还提供了与上述选取方法对应的选取装置，其包括第一获取模块10、分割模块20、转换模块30、第二获取模块40、属性获取模块50、预测模块60、选取模块70。
具体地，第一获取模块10用于获取点云数据，分割模块20用于利用训练好的基于自注意力机制的神经网络对点云数据进行点云实例分割，获得三维空间中的多个分割实例。转换模块30用于将三维空间中的多个分割实例转换为平面空间中的多个分割实例，第二获取模块40用于获取目标用户在平面空间中的选定区域，属性获取模块50用于根据平面空间中的多个分割实例以及选定区域获得三维空间中的每一个分割实例的属性，预测模块60用于利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率，选取模块70用于根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据。
此外，本实施例中的选取装置还包括存储模块80和显示模块90，存储模块80用于将目标点云数据按照特定格式保存至MongoDB数据库中，显示模块90用于对点云数据进行可视化。
参照图6，本实施例提供了一种设备，包括存储器100、处理器200、网络接口202，存储器100上存储有计算机程序，处理器200执行计算机程序以实现本实施例中的选取方法。
存储器100可以包括高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器200可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本实施例中的选取方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。处理器200也可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器100用于存储计算机程序，处理器200在接收到执行指令后，执行该计算机程序以实现本实施例中的选取方法。
本实施例还提供了一种计算机存储介质，计算机存储介质中存储有计算机程序，处理器200用于读取并执行计算机存储介质201中存储的计算机程序，以实现本实施例中的选取方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。
本发明实施例是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种点云数据的选取方法，其特征在于，所述选取方法包括：
获取点云数据；
利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例；
将所述三维空间中的多个分割实例转换为平面空间中的多个分割实例；
获取目标用户在平面空间中的选定区域；
根据所述平面空间中的多个分割实例以及所述选定区域获得三维空间中的每一个分割实例的属性，具体包括：计算平面空间中的每一个分割实例的面积，获得三维空间中的每一个分割实例的面积属性；计算平面空间中的每一个分割实例与所述选定区域的重叠面积占所述平面空间中的分割实例的面积的百分比，获得三维空间中的每一个分割实例的百分比属性；计算平面空间中的每一个分割实例对应的三维空间中的分割实例的几何中心到平面空间的距离，获得三维空间中的每一个分割实例的距离属性；
利用训练好的预测网络并基于三维空间中的每一个分割实例的面积属性、百分比属性、距离属性预测三维空间中的每一个分割实例被选中的概率；
根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据。
2.根据权利要求1所述的选取方法，其特征在于，利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例，包括：
利用依次级联的多个第一自注意力特征提取模块对所述点云数据进行编码，获得第一自注意力特征；
利用依次级联的多个第二自注意力特征提取模块对所述第一自注意力特征进行解码，获得第二自注意力特征；
通过第一全连接层对所述第二自注意力特征进行分类，获得三维空间中的多个分割实例。
3.根据权利要求2所述的选取方法，其特征在于，利用依次级联的多个第一自注意力特征提取模块对所述点云数据进行编码，获得第一自注意力特征，包括：
从依次级联的多个第一自注意力特征提取模块中的第一个第一注意力特征提取模块开始：
将点云数据作为第一个第一注意力特征提取模块的输入数据，分别利用第一线性变换层、第二线性变换层对输入数据进行线性变换；
利用第二全连接层对输入数据进行全连接；
将第一线性变换层的输出与第二全连接层的输出相加后利用第三全连接层进行全连接；
将第二线性变换层的输出与第二全连接层的输出相加后利用第四全连接层进行全连接；
将第三全连接层的输出与第四全连接层的输出拼接后作为下一个第一注意力特征提取模块的输入数据，重复执行编码，直到最后一个第一注意力特征提取模块，将最后一个第一注意力特征提取模块的输出作为第一自注意力特征。
4.根据权利要求2所述的选取方法，其特征在于，利用依次级联的多个第二自注意力特征提取模块对所述第一自注意力特征进行解码，获得第二自注意力特征，包括：
从依次级联的多个第二自注意力特征提取模块中的第一个第二注意力特征提取模块开始：
将第一自注意力特征作为第一个第二注意力特征提取模块的输入数据，分别利用第三线性变换层、第四线性变换层对输入数据进行线性变换；
利用第五全连接层对输入数据进行全连接；
将第三线性变换层的输出与第五全连接层的输出相加后利用第六全连接层进行全连接；
将第四线性变换层的输出与第五全连接层的输出相加后利用第七全连接层进行全连接；
将第六全连接层的输出与第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据，重复执行解码，直到最后一个第二注意力特征提取模块，将最后一个第二注意力特征提取模块的输出作为第二自注意力特征；
其中，从第二个第二自注意力特征提取模块开始，将第六全连接层的输出与第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据包括：
将所述第二自注意力特征提取模块对应的第一自注意力特征提取模块的输出利用第五线性变换层进行线性变换；
将第五线性变换层、第六全连接层的输出、第七全连接层的输出拼接后作为下一个第二注意力特征提取模块的输入数据。
5.根据权利要求1所述的选取方法，其特征在于，根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据，包括:
判断三维空间中的每一个分割实例被选中的概率是否大于概率阈值，若大于，则将三维空间中的所述分割实例对应的点云数据作为目标点云数据。
6.根据权利要求5所述的选取方法，其特征在于，若三维空间中的每一个分割实例被选中的概率均小于概率阈值，所述选取方法还包括：
将具有最大被选中的概率的三维空间中的分割实例对应的点云数据作为目标点云数据。
7.一种点云数据的选取装置，其特征在于，所述选取装置包括：
第一获取模块，用于获取点云数据；
分割模块，用于利用训练好的基于自注意力机制的神经网络对所述点云数据进行点云实例分割，获得三维空间中的多个分割实例；
转换模块，用于将所述三维空间中的多个分割实例转换为平面空间中的多个分割实例；
第二获取模块，用于获取目标用户在平面空间中的选定区域；
属性获取模块，用于根据所述平面空间中的多个分割实例以及所述选定区域获得三维空间中的每一个分割实例的属性；
预测模块，用于利用训练好的预测网络并基于三维空间中的每一个分割实例的属性预测三维空间中的每一个分割实例被选中的概率；
选取模块，用于根据三维空间中的每一个分割实例被选中的概率获得需要选取的目标点云数据；
其中，所述属性获取模块进一步用于计算平面空间中的每一个分割实例的面积，获得三维空间中的每一个分割实例的面积属性；计算平面空间中的每一个分割实例与所述选定区域的重叠面积占所述平面空间中的分割实例的面积的百分比，获得三维空间中的每一个分割实例的百分比属性；计算平面空间中的每一个分割实例对应的三维空间中的分割实例的几何中心到平面空间的距离，获得三维空间中的每一个分割实例的距离属性；
所述预测模块进一步用于利用训练好的预测网络并基于三维空间中的每一个分割实例的面积属性、百分比属性、距离属性预测三维空间中的每一个分割实例被选中的概率。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1~6任一项所述的选取方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1~6任一项所述的选取方法。
CN202110541788.7A 2021-05-18 2021-05-18 点云数据的选取方法及选取装置、设备、存储介质 Active CN113298822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541788.7A CN113298822B (zh) 2021-05-18 2021-05-18 点云数据的选取方法及选取装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541788.7A CN113298822B (zh) 2021-05-18 2021-05-18 点云数据的选取方法及选取装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN113298822A CN113298822A (zh) 2021-08-24
CN113298822B true CN113298822B (zh) 2023-04-18

Family

ID=77322689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541788.7A Active CN113298822B (zh) 2021-05-18 2021-05-18 点云数据的选取方法及选取装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN113298822B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
WO2021081808A1 (zh) * 2019-10-30 2021-05-06 深圳市大疆创新科技有限公司 基于人工神经网络的物体检测的系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968133A (zh) * 2020-07-31 2020-11-20 上海交通大学 自动驾驶场景下的三维点云数据实例分割方法及系统
CN111967224A (zh) * 2020-08-18 2020-11-20 深圳市欢太科技有限公司 对话文本的处理方法、装置、电子设备及存储介质
CN112614071B (zh) * 2020-12-29 2022-08-12 清华大学 基于自注意力的多样点云补全方法和装置
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
WO2021081808A1 (zh) * 2019-10-30 2021-05-06 深圳市大疆创新科技有限公司 基于人工神经网络的物体检测的系统及方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113298822A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN107424159B (zh) 基于超像素边缘和全卷积网络的图像语义分割方法
US20130346346A1 (en) Semi-supervised random decision forests for machine learning
US20220207749A1 (en) Utilizing soft classifications to select input parameters for segmentation algorithms and identify segments of three-dimensional digital models
US20200342255A1 (en) Custom Auto Tagging of Multiple Objects
US20240177462A1 (en) Few-shot object detection method
CN108154191B (zh) 文档图像的识别方法和系统
US11255678B2 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN114119480A (zh) 一种基于深度学习的裂纹缺陷检测系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
Chew et al. Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN113298822B (zh) 点云数据的选取方法及选取装置、设备、存储介质
JP2022090633A (ja) 高解像度画像内の物体検出を改善するための方法、コンピュータ・プログラム製品、およびコンピュータ・システム
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN113887655A (zh) 模型链回归预测方法、装置、设备及计算机存储介质
Wang et al. Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN113808142B (zh) 一种地面标识的识别方法、装置、电子设备
CN112906824B (zh) 车辆聚类方法、系统、设备及存储介质
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN117688984A (zh) 神经网络结构搜索方法、装置及存储介质
CN115587297A (zh) 构建图像识别模型和图像识别的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant