CN111738086B - 用于点云分割的构图方法、系统及点云分割系统、装置 - Google Patents

用于点云分割的构图方法、系统及点云分割系统、装置 Download PDF

Info

Publication number
CN111738086B
CN111738086B CN202010442397.5A CN202010442397A CN111738086B CN 111738086 B CN111738086 B CN 111738086B CN 202010442397 A CN202010442397 A CN 202010442397A CN 111738086 B CN111738086 B CN 111738086B
Authority
CN
China
Prior art keywords
dimension
similarity
sampling point
signal
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010442397.5A
Other languages
English (en)
Other versions
CN111738086A (zh
Inventor
戴文睿
王尚鸿
李成林
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010442397.5A priority Critical patent/CN111738086B/zh
Publication of CN111738086A publication Critical patent/CN111738086A/zh
Application granted granted Critical
Publication of CN111738086B publication Critical patent/CN111738086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于点云分割的构图方法、系统及点云分割系统、装置，该方法包括：在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算基准值；捕捉基准值代表的点云数据的数字特征，计算得到阈值；根据基准值及阈值来计算逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；融合整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图。该分割系统包括：图卷积神经网络的构建单元、图卷积神经网络的训练单元及点云数据分割单元。通过本发明，可以节约工作量和时间，并且能显著提高物体连接处点的分类准确率。

Description

用于点云分割的构图方法、系统及点云分割系统、装置
技术领域
本发明涉及多媒体信号处理技术领域，特别涉及一种用于点云分割的构图方法、系统及点云分割系统、装置。
背景技术
点云作为一种有效的三维物体表征工具，具有高度的灵活性和可伸缩性，近年来得到了广泛的关注和研究。作为多媒体信号处理领域中的热点，点云处理具有广阔的研究前景，点云分割更是点云处理领域中的研究重点，被广泛应用于机器人感知、动态环境建模和自动驾驶等应用。由于具有不规则和无序的特征，点云数据适合用图结构来刻画，以图中节点对应点云数据中的点，图中的边对应点云数据中点之间的关系。图卷积神经网络通过设计有效的相似度度量或利用谱图卷积，模拟了传统卷积神经网络中的卷积操作，分别对应空域和谱域图卷积神经网络。它们综合了图结构对点云的表示能力以及卷积网络对高维信号强大的特征学习能力，在点云分割等任务中取得了可观的成果。
根据点云数据产生合理的图结构，与后续图卷积操作的设计，对于最终点云分割的准确率具有同样重要的影响。经过对现有技术的文献检索发现，现有工作的重点主要集中于对图卷积操作的设计，普遍采用传统的K最近邻算法生成K最近邻图作为图卷积网络的输入。在K最近邻算法中，采用信号的二范数距离作为相似度的唯一评判标准，忽视了点云信号中蕴含的结构化信息，例如某些维度上的信号突变。这些结构化信息往往在点云分割任务中发挥着重要的作用，例如物体连接处点的分类。此外，由于点云数据分批次输入图卷积神经网络，新兴的用于大规模图结构生成的图学习算法无法应用在点云数据上。
发明内容
本发明针对上述现有技术中存在的问题，提出一种用于点云分割的构图方法、系统及点云分割系统、装置，节约人为参数设计的工作量和时间，更好地捕捉结构化信息，并且能显著提高物体连接处点的分类准确率。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种用于点云分割的构图方法，其包括：
S11：在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值；
S12：捕捉所述S11得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度；
S13：根据所述S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；
S14：融合所述整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图。
较佳地，所述S11进一步包括：
在点云数据中选择一个中心采样点信号，采用距离度量，综合信号的所有维度分量，获得所述中心采样点与其它采样点信号的整体相似度，并利用指数运算将所述整体相似度的值归一化到0至1之间；
将所述整体相似度
Figure BDA0002504446930000021
按照从大到小排序，生成所述中心采样点信号的邻居序列，选取整体相似度最大的点作为最近邻居，并将所述中心采样点信号与最近邻居的各维度信号差值作为基准值。
较佳地，所述S11中的距离度量中的距离为二范数距离；进一步地，
在点云数据中选择一个中心采样点信号，采用距离度量，综合信号的所有维度分量，获得所述中心采样点与其它采样点信号的整体相似度，并利用指数运算将所述整体相似度的值归一化到0至1之间具体为：
给定中心采样点信号pi，对于任意其它采样点信号pj，根据它们的差值Δpij＝pi-pj的内积计算二范数距离
Figure BDA0002504446930000022
取负之后做指数操作
Figure BDA0002504446930000023
得到整体相似度
Figure BDA0002504446930000024
取值范围在0到1之间。
较佳地，所述S12进一步包括：
考察所述中心采样点信号所有邻居的所有信号维度：对于邻居中任一采样点信号，若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值，且在基准值的预设偏差范围内，则计算该维度差值的绝对值与中心采样点信号和该采样点信号两者中绝对值较大者的比值；
对于所有邻居的所有维度重复上述过程，统计所有预设偏差范围内的维度总数N，以及对应的所有比值的加和Σ，则最终的阈值为：t＝1-Σ/N。
较佳地，所述S13进一步包括：
计算所述中心采样点信号pi与各邻居pj之间的逐维度相似度
Figure BDA0002504446930000031
Figure BDA0002504446930000032
其中c代表一个分量为0或1的d维向量，对应d维信号，exp代表指数操作，diag表示将向量张成对角矩阵，Δpij＝pi-pj，
Figure BDA0002504446930000033
为标量；
考察所述中心采样点信号所有邻居的所有信号维度：对于邻居中任一采样点信号，若与中心采样点信号在某维度上差值的绝对值与基准值绝对值的比值大于所述阈值，说明当前采样点在此维度上与中心点足够接近，那么c对应的维度分量置1，此维度用于计算逐维度相似度；否则置0，跳过此维度；对于所有邻居的所有维度重复上述过程。
较佳地，将逐维度相似度
Figure BDA0002504446930000034
与缩放因子α相乘，调控逐维度相似度，避免多次指数运算带来的数值放大；将缩放后的逐维度相似度
Figure BDA0002504446930000035
再与整体相似度
Figure BDA0002504446930000036
相加得到融合相似度sij；
根据融合相似度从大到小对所述中心采样点信号的各邻居进行排序，选取K个融合相似度最大的邻居，作为K最近邻进行构图。
本发明还提供一种用于点云分割的构图系统，其包括：整体相似度计算单元、阈值计算单元、逐维度相似度计算单元以及相似度融合单元；其中，
所述整体相似度计算单元用于在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值；
所述阈值计算单元用于捕捉所述整体相似度计算单元得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度；
所述逐维度相似度计算单元用于根据所述整体相似度计算单元得到的基准值以及所述阈值计算单元得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；
所述相似度融合单元用于融合所述整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图。
本发明还提供一种点云分割系统，其包括：图卷积神经网络的构建单元、图卷积神经网络的训练单元以及点云数据分割单元；其中，
所述图卷积神经网络的构建单元用于利用上述的用于点云分割的构图方法构建图卷积神经网络；或利用上述的用于点云分割的构图系统构建图卷积神经网络；
所述图卷积神经网络的训练单元用于对所述图卷积神经网络的构建单元构建的所述图卷积神经网络进行训练；
所述点云数据分割单元用于利用所述图卷积神经网络的训练单元训练得到的图卷积神经网络进行点云数据分割。
本发明还提供一种点云分割装置，其包括：存储器以及处理器；其中，
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现如上述所述的用于点云分割的构图方法，或实现如上述所述的用于点云分割的构图单元，或实现如上述所述的点云分割系统。
相较于现有技术，本发明实施例具有如下至少一种有益效果：
(1)本发明提供的用于点云分割的构图方法、系统及点云分割系统、装置，通过将多维点云信号的逐维度相似度纳入邻居选择标准，显著提高了物体连接处点的分类准确率；
(2)本发明提供的用于点云分割的构图方法、系统及点云分割系统、装置，通过S12的阈值计算方法，可以针对不同的点云数据集的数字特征自动计算合适的阈值，节约人为参数设计的工作量和时间，更好地捕捉结构化信息；
(3)本发明的提供的用于点云分割的构图方法、系统及点云分割系统、装置，通过一种与具体神经网络结构无关的启发式算法，因此可以方便地嵌入到现有的空域和谱域图卷积神经网络中，提升它们在物体连接处的分割准确率，具有很强的灵活性和可扩展性。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的实施例的用于点云分割的构图方法的流程图；
图2为本发明的实施例的用于点云分割的构图系统的结构示意图；
图3为本发明的实施例的点云分割系统的结构示意图；
图4为本发明一具体实例中点云分割效果示意图；
标号说明：11-整体相似度计算单元，12-阈值计算单元，13-逐维度相似度计算单元，14-相似度融合单元；
21-图卷积神经网络的构建单元，22-图卷积神经网络的训练单元，23-点云数据分割单元。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。以下实施例中没有详细说明的部分可以采用现有技术实现。
如图1所示，为本发明一实施例的用于点云分割的构图方法的流程图。
请参考图1，本实施例的用于点云分割的构图方法包括以下步骤：
S11：在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算中心采样点信号与其最近邻居的各维度信号差值作为基准值；
S12：捕捉S11得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度；
S13：根据S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；
S14：融合整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图。
较佳实施例中，S11进一步包括：
采用合适的距离度量(包括但不限于二范数距离)，综合信号的所有维度分量，包括几何分量与属性分量，获得中心采样点信号与其它采样点信号的整体相似度，并利用指数运算将整体相似度的值归一化到0至1之间；进一步地，
构成点云的d维采样点信号，包括几何分量与属性分量；给定中心采样点信号pi，对于任意其它点pj，根据它们的差值Δpij＝pi-pj的内积计算二范数距离
Figure BDA0002504446930000051
取负之后做指数(exp)操作，得到整体相似度
Figure BDA0002504446930000052
取值范围在0到1之间；
Figure BDA0002504446930000053
按整体相似度
Figure BDA0002504446930000054
从大到小排序，生成中心采样点信号的邻居序列，选取整体相似度最大的点作为最近邻居，并将中心采样点信号与最近邻居的各维度信号差值作为基准值。
较佳实施例中，S12进一步包括：
S121：进行参数初始化，以中心点与其最近邻居的各维度信号差值作为基准值；
S122：考察中心采样点信号的所有邻居的所有信号维度，进行条件判断：对于邻居中任一采样点信号，若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值，且在基准值的预设偏差范围内，则计算该维度差值的绝对值与中心点和该采样点二者中绝对值较大者的比值；这里，预设偏差范围指以基准值为中心预先设定的取值范围；
S123：对于所有邻居的所有维度重复上述过程，统计所有预设偏差范围内的维度总数N，以及对应的所有比值的加和Σ，最终的阈值t＝1-Σ/N，落在(0,1)区间内。
较佳实施例中，S13进一步包括：
S131：初始化中心点所有邻居所有维度的逐维度相似度为0，以中心点与其最近邻居的各维度信号差值作为基准值，以阈值计算单元输出的阈值为先验阈值；
S132：考察其它点各维度与中心点对应维度的距离，如果在某维度上，采样点信号与中心点差值的绝对值与基准值绝对值的比值大于先验阈值，说明当前采样点与中心点在此维度上足够相似，计算此维度的相似度并累加到该采样点逐维度相似度上，否则此维度上的相似度为0，重复以上过程，直到所有邻居的所有维度考察完毕。
较佳实施例中，S14进一步包括：
S141：将整体相似度与逐维度相似度加权求和，得到融合相似度：
Figure BDA0002504446930000061
其中α为缩放因子，它的作用是调控在计算逐维度相似度时由于多次指数运算而带来的数值放大；
S142：根据融合相似度由大到小的顺序，为中心采样点信号选取K个最近邻居，构建K最近邻子图结构。
进一步地，缩放因子α一般设置在0.001至0.1之间为宜。
如图2所示，为本发明的实施例的用于点云分割的构图系统的结构示意图。
请参考图2，本实施例的用于点云分割的构图系统包括：整体相似度计算单元11、阈值计算单元12、逐维度相似度计算单元13以及相似度融合单元14。
其中，整体相似度计算单元11用于在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算中心采样点信号与其最近邻居的各维度信号差值作为基准值。整体相似度计算单元有两个主要作用，其一是为阈值计算单元和逐维度相似度计算单元提供基准值，即中心点与其最近邻居各维度的信号差值；其二是输出整体相似度到相似度融合单元，作为融合相似度评价的重要指标。
阈值计算单元12用于捕捉整体相似度计算单元11得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度，以衡量在当前数据集中信号差值“接近”的程度，作为逐维度相似度的评价指标。
逐维度相似度计算单元13用于根据整体相似度计算单元11得到的基准值以及阈值计算单元12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息。
相似度融合单元14用于融合整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图。
如图3所示，为本发明的一实施例的点云分割系统的结构示意图。
请参考图3，本实施例的点云分割系统包括：图卷积神经网络的构建单元21、图卷积神经网络的训练单元22以及点云数据分割单元23。其中，图卷积神经网络的构建单元21利用上述实施例的用于点云分割的构图方法构建图卷积神经网络；或利用上述实施例的用于点云分割的构图系统构建图卷积神经网络。图卷积神经网络的训练单元22用于对图卷积神经网络的构建单元构建的图卷积神经网络进行训练。点云数据分割单元23用于利用图卷积神经网络的训练单元22训练得到的图卷积神经网络进行点云数据分割。
为了更好对上述的各部分进行理解，以下结合一个详细的应用实例来说明。本实施例提供了一种点云分割系统，该系统中采用上述的点云数据结构感知的构图方法，该实施例在输入的一批(16个)点云上并行执行，每个点云包括2048个点，点云分割会依次将点云中的每个点选为中心点。为清晰地叙述执行过程，下面以某一中心点与其K个最近邻居所形成的子图结构的构造过程为例具体说明:
1.整体相似度计算单元
整体相似度计算单元有两个主要作用，其一是为阈值计算单元和逐维度相似度计算单元提供基准值，即中心点与其最近邻居各维度的信号差值；其二是输出整体相似度到相似度融合单元，作为融合相似度评价的重要指标。具体工作流程如下：给定中心点信号pi，对于其外的任意采样点信号pj，根据它们的差值Δpij＝pi-pj的内积计算二范数距离
Figure BDA0002504446930000071
取负之后做指数(exp)操作，归一化整体相似度
Figure BDA0002504446930000072
其取值范围为0到1之间。
Figure BDA0002504446930000073
本实施例中，各采样点信号包括三维坐标与三维法向量。根据各邻居与中心点的整体相似度由大到小排序，得到邻居序列。采用最近邻居与中心点各维度信号的差值作为基准值，输入到阈值计算单元和逐维度相似度计算单元。同时将整体相似度
Figure BDA0002504446930000074
输入到相似度融合单元。
2.阈值计算单元
阈值计算单元根据点云数据的数字特征，为逐维度相似度计算单元计算阈值t，以衡量在当前数据集中信号差值“接近”的程度，作为逐维度相似度的评价指标。具体步骤如下：
步骤一，初始化求和值Σ和目标点数目N为0。假设中心点为x,点云中共有n个点。根据邻居序列{y1,y2,…,yn-1}的顺序，考察中心点所有邻居的所有维度。对于当前点i的第j维信号，基准值bj＝y1j-xj,当前点此维度的信号插值为dij＝yij-xj；
步骤二，若bj与dij同为正值或同为负值，且满足条件t1·|dij|<|bj|<t2·|dij|,则说明基准值与信号插值足够“接近”，其中t1，t2为先验参数，本实施例中分别设置为0.75和1.25以满足最终的阈值t落在(0.75，1)区间。求和值和目标点数目相应变化：Σ＝Σ+||bj|-|dij||/max{bj,dij}，N＝N+1；
步骤三，待所有邻居的所有维度均考察完毕，计算最终阈值t＝1-Σ/N。阈值t的作用为衡量在当前数据集中信号差值“接近”的程度：若某维度信号差值的绝对值与基准值绝对值的比值超过此阈值，则说明此维度上中心点与当前点足够相似。将此阈值输入到逐维度相似度计算单元。
3.逐维度相似度计算单元
逐维度相似度计算单元根据基准值，以及自动计算得出的阈值t，计算中心点pi与各邻居pj之间的逐维度相似度。采用pi和pj的差值Δpij＝pi-pj，按照以下公式计算信号的逐维度相似度
Figure BDA0002504446930000081
Figure BDA0002504446930000082
其中c代表一个分量为0或1的d维向量，对应d维信号；exp代表指数操作，diag表示将向量张成对角矩阵，
Figure BDA0002504446930000083
为标量。考察中心点所有邻居的所有信号维度：对于邻居中任一采样点，若与中心点信号在某维度上差值的绝对值与基准值绝对值的比值大于阈值t，说明当前采样点在此维度上与中心点足够接近，那么c对应维度分量置1，此维度用于计算逐维度相似度；否则置0，跳过此维度。对于所有邻居的所有维度重复上述过程。最终得到所有邻居的逐维度相似度，输入到相似度融合单元。
4.相似度融合单元
相似度融合单元按照如下公式对各邻居的整体相似度和逐维度相似度进行加权求和，得到融合相似度：
Figure BDA0002504446930000091
其中α为缩放因子，它的作用是调控在计算逐维度相似度时由于多次指数运算而带来的数值放大。在本实施例中，缩放因子α一般设置在0.001至0.1之间为宜。根据融合相似度由大到小的顺序，为中心采样点选取K个最近邻居，构建K最近邻子图结构。
以上整体相似度计算单元、阈值计算单元、逐维度相似度计算单元、相似度融合单元构成用于点云分割的构图系统。在实际使用中，可以嵌入到目前各种主流的空域和谱域图卷积神经网络中，对输入点云构建K最近邻图，再输入到图神经网络中进行特征提取和点云分割，形成完整的点云分割系统(图卷积神经网络的构建单元21、图卷积神经网络的训练单元22以及点云数据分割单元23)，采用图卷积神经网络的构建单元21生成优化的图结构，通过卷积神经网络提取特征后，在点云数据分割单元进行点云数据分割。
将(若干跳)邻居采样点上的图信号聚合到中心采样点上，同时进行信号的升维和降维。相对于输入的原始点云信号，卷积神经网络提取得到表示性更强的高维特征。在点云数据分割单元中高维特征再多次通过多层感知机，并进行池化操作，最终被映射到语义类别总数对应的维度，通过激活函数进行打分。常见的图信号维度变化是64→1024→256→256→128→50，其中50是本实施例中的语义类别总数。
实施效果：
本实施例中的可以采用主流的空域图卷积神经网络或谱域图卷积神经网络，评价可分为客观评价和主观评价，前者包括对点云分割的结果进行数据统计，得到mIoU等指标；后者包括对点云分割的结果进行可视化。本实施例在ShapeNet数据集16个种类上与原现有方法的分割结果进行对比。
实验表明，在客观评价方面，本实施例在更多的物体种类上取得了最佳的mIoU，同时在平均mIoU上也获得了提升。进一步的数据分析证明，采用本实施例方法后，在神经网络各层在构图时都更多地考虑了与中心点同一类别(先验)的点的信息，尤其是在物体的连接处。在每个点的邻居数目固定的情况下，引入更多与中心点同类别的点作为邻居，意味着在后续的图卷积过程中，其它类别的邻居所带来的“噪声”信息被有效减少了；本实施例方法通过引入逐维度相似度，对二范数距离得到的整体相似度进行补充，捕捉到更多的结构化信息，从而构造出更加合理的图结构。
采用本实施例的方法后，在物体连接处的点云分割效果得到了提升，参考图4的可视化的结果：最上行代表真值，即人为标注的语义类别，不同颜色代表物体的不同语义类别；中间行代表采用传统构图方法构图的点云分割结果，其中,圆圈中深色的点代表与真值不同的点，即分类错误点；最下行代表采用本实施例方法的点云分割结果，可以看出，与中间行相比，最下行的分类错误点(主要集中在连接处)更少。实验表明，通过引入结构化信息，本实施例方法有助于提升在物体连接处的分割效果。
在本发明另一实施例中，还提供一种点云分割装置，其包括：存储器以及处理器。其中，存储器用于存储计算机程序；处理器用于执行计算机程序实现上述实施例的用于点云分割的构图方法，或实现上述实施例的用于点云分割的构图系统，或实现上述实施例的点云分割系统。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器62用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本领域那些技术人员可以理解，除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何装置的所有过程或单元进行组合。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (8)

1.一种用于点云分割的构图方法，其特征在于，包括：
S11：在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值；
S12：捕捉所述S11得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度；
S13：根据所述S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；
S14：融合所述整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图；
所述S12进一步包括：
考察所述中心采样点信号所有邻居的所有信号维度：对于邻居中任一采样点信号，若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值，且在基准值的预设偏差范围内，则计算该维度差值的绝对值与中心采样点信号和该采样点信号两者中绝对值较大者的比值；
对于所有邻居的所有维度重复上述过程，统计所有预设偏差范围内的维度总数N，以及对应的所有比值的加和Σ，则最终的阈值为：t＝1-Σ/N。
2.根据权利要求1所述的用于点云分割的构图方法，其特征在于，所述S11进一步包括：
在点云数据中选择一个中心采样点信号，采用距离度量，综合信号的所有维度分量，获得所述中心采样点与其它采样点信号的整体相似度，并利用指数运算将所述整体相似度的值归一化到0至1之间；
将所述整体相似度
Figure FDA0003756601850000011
按照从大到小排序，生成所述中心采样点信号的邻居序列，选取整体相似度最大的点作为最近邻居，并将所述中心采样点信号与最近邻居的各维度信号差值作为基准值。
3.根据权利要求2所述的用于点云分割的构图方法，其特征在于，所述S11中的距离度量中的距离为二范数距离；进一步地，
在点云数据中选择一个中心采样点信号，采用距离度量，综合信号的所有维度分量，获得所述中心采样点与其它采样点信号的整体相似度，并利用指数运算将所述整体相似度的值归一化到0至1之间具体为：
给定中心采样点信号pi，对于任意其它采样点信号pj，根据它们的差值Δpij＝pi-pj的内积计算二范数距离
Figure FDA0003756601850000021
取负之后做指数操作
Figure FDA0003756601850000022
得到整体相似度
Figure FDA0003756601850000023
取值范围在0到1之间。
4.根据权利要求1所述的用于点云分割的构图方法，其特征在于，所述S13进一步包括：
S131：计算所述中心采样点信号pi与各邻居pj之间的逐维度相似度
Figure FDA0003756601850000024
Figure FDA0003756601850000025
其中c代表一个分量为0或1的d维向量，对应d维信号；exp代表指数操作，diag表示将向量张成对角矩阵，Δpij＝pi-pj，
Figure FDA0003756601850000026
为标量；
S132：考察所述中心采样点信号所有邻居的所有信号维度：对于邻居中任一采样点信号，若与中心采样点信号在某维度上差值的绝对值与基准值绝对值的比值大于所述阈值，那么c对应的维度分量置1，此维度用于计算逐维度相似度，将此维度的逐维度相似度累加到该采样点逐维度相似度上；否则置0，跳过此维度；对于所有邻居的所有维度重复上述过程。
5.根据权利要求1所述的用于点云分割的构图方法，其特征在于，所述S14进一步包括：
将逐维度相似度
Figure FDA0003756601850000027
与缩放因子α相乘，将缩放后的逐维度相似度
Figure FDA0003756601850000028
再与整体相似度
Figure FDA0003756601850000029
相加得到融合相似度sij；
根据融合相似度从大到小对所述中心采样点信号的各邻居进行排序，选取K个融合相似度最大的邻居，作为K最近邻进行构图。
6.一种用于点云分割的构图系统，其特征在于，包括：整体相似度计算单元、阈值计算单元、逐维度相似度计算单元以及相似度融合单元；其中，
所述整体相似度计算单元用于在点云数据中选择一个中心采样点信号，计算与其它采样点信号之间的整体相似度，以此排序得到邻居序列，并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值；
所述阈值计算单元用于捕捉所述整体相似度计算单元得到的基准值代表的点云数据的数字特征，计算得到阈值来衡量信号差值之间的相似程度；
所述逐维度相似度计算单元用于根据所述整体相似度计算单元得到的基准值以及所述阈值计算单元得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度，捕捉整体相似度无法衡量的信号突变结构信息；
所述相似度融合单元用于融合所述整体相似度与逐维度相似度，得到融合相似度并排序，选取融合相似度最高的K个点，作为中心点最近邻的K个邻居进行构图；
其中，所述阈值计算单元考察所述中心采样点信号所有邻居的所有信号维度：对于邻居中任一采样点信号，若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值，且在基准值的预设偏差范围内，则计算该维度差值的绝对值与中心采样点信号和该采样点信号两者中绝对值较大者的比值；对于所有邻居的所有维度重复上述过程，统计所有预设偏差范围内的维度总数N，以及对应的所有比值的加和Σ，则最终的阈值为：t＝1-Σ/N。
7.一种点云分割系统，其特征在于，包括：图卷积神经网络的构建单元、图卷积神经网络的训练单元以及点云数据分割单元；其中，
所述图卷积神经网络的构建单元用于利用如权利要求1至5任一项所述的用于点云分割的构图方法构建图卷积神经网络；或利用如权利要求6所述的用于点云分割的构图系统构建图卷积神经网络；
所述图卷积神经网络的训练单元用于对所述图卷积神经网络的构建单元构建的所述图卷积神经网络进行训练；
所述点云数据分割单元用于利用所述图卷积神经网络的训练单元训练得到的图卷积神经网络进行点云数据分割。
8.一种点云分割装置，其特征在于，包括：存储器以及处理器；其中，
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现如权利要求1至5任一项所述的用于点云分割的构图方法，或实现如权利要求6所述的用于点云分割的构图系统，或实现如权利要求7所述的点云分割系统。
CN202010442397.5A 2020-05-22 2020-05-22 用于点云分割的构图方法、系统及点云分割系统、装置 Active CN111738086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442397.5A CN111738086B (zh) 2020-05-22 2020-05-22 用于点云分割的构图方法、系统及点云分割系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442397.5A CN111738086B (zh) 2020-05-22 2020-05-22 用于点云分割的构图方法、系统及点云分割系统、装置

Publications (2)

Publication Number Publication Date
CN111738086A CN111738086A (zh) 2020-10-02
CN111738086B true CN111738086B (zh) 2022-08-30

Family

ID=72647868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442397.5A Active CN111738086B (zh) 2020-05-22 2020-05-22 用于点云分割的构图方法、系统及点云分割系统、装置

Country Status (1)

Country Link
CN (1) CN111738086B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907114A (zh) * 2021-03-18 2021-06-04 三一重工股份有限公司 漏油故障检测方法、装置、电子设备和存储介质
CN113313830B (zh) * 2021-05-24 2022-12-16 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934100A (zh) * 2019-01-24 2019-06-25 西安交通大学 一种基于滑动窗口的幅频时变工艺信号分割方法
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622B (zh) * 2016-12-06 2019-11-08 西安电子科技大学 一种基于超体素的点云数据分割方法
CN109409437B (zh) * 2018-11-06 2021-06-01 安徽农业大学 一种点云分割方法、装置、计算机可读存储介质及终端
CN110427956B (zh) * 2019-04-18 2021-01-15 中国林业科学研究院资源信息研究所 一种基于谱聚类算法的LiDAR点云数据单木提取方法
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质
CN109934100A (zh) * 2019-01-24 2019-06-25 西安交通大学 一种基于滑动窗口的幅频时变工艺信号分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
建筑点云几何模型重建方法研究进展;杜建丽等;《遥感学报》;20190525(第03期);第20-37页 *
采用深度级联卷积神经网络的三维点云识别与分割;杨军等;《光学精密工程》;20200513(第05期);第196-208页 *

Also Published As

Publication number Publication date
CN111738086A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
Djenouri et al. Fast and accurate deep learning framework for secure fault diagnosis in the industrial internet of things
CN111738086B (zh) 用于点云分割的构图方法、系统及点云分割系统、装置
Mathieson et al. Complexity as a surrogate mapping between function models and market value
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
Sun et al. Evaluating composite approaches to modelling high-dimensional stochastic variables in power systems
Pal et al. RNN with particle flow for probabilistic spatio-temporal forecasting
CN108764541B (zh) 一种结合时空特征和误差处理的风能预测方法
Hu et al. A method for classification of surface defect on metal workpieces based on twin attention mechanism generative adversarial network
Nugraha et al. Particle Swarm Optimization–Support Vector Machine (PSO-SVM) Algorithm for Journal Rank Classification
CN114332104A (zh) 电网输电场景rgb点云语义分割多阶段模型联合优化方法
CN110619364A (zh) 一种基于云模型的小波神经网络三维模型分类方法
Dhawan et al. Deep Learning Based Sugarcane Downy Mildew Disease Detection Using CNN-LSTM Ensemble Model for Severity Level Classification
Sun et al. Optimization of extraction process based on neural network
Zhang et al. Calibrated stochastic gradient descent for convolutional neural networks
CN113989671A (zh) 基于语义感知与动态图卷积的遥感场景分类方法及系统
Kim et al. Towards large-scale occupancy map building using Dirichlet and Gaussian processes
Gunasekaran et al. Evaluation of artificial immune system with artificial neural network for predicting Bombay stock exchange trends
CN113869120B (zh) 一种基于视图过滤的聚合卷积三维模型分类方法
Kavitha et al. Deep Learning and Internet of Things based Detection of Diseases and Prediction of Pesticides in Fruits
Chernyshev et al. Digital Object Detection of Construction Site Based on Building Information Modeling and Artificial Intelligence Systems.
Eskandari et al. Finite Mixture Model of Nonparametric Density Estimation using Sampling Importance Resampling for Persistence Landscape
Hollósi et al. Training capsule networks with various parameters
Starzyk et al. Feature significance in wide neural networks
Yusof Multilevel learning in Kohonen SOM network for classification problems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant