CN112365456B - 基于三维点云数据的变电站设备分类方法 - Google Patents

Abstract

本发明公开了基于三维点云数据的变电站设备分类方法，包括以下步骤：S10，获取数据；S20，标注数据；S30，扩充数据集；S40，训练标注后的数据集；S50，识别出设备类型，对设备进行分类。本发明直接应用于原始点云，从而预测任意大小输入点云的语义标签快速准确的识别出各种设备的类型及特征，并且，通过使用图注意模块，能够更好地避免噪声对原始点云数据干扰导致识别结果并不理想的情况，对于物体遮挡所带来的显示不全问题。

Description

基于三维点云数据的变电站设备分类方法

技术领域

本发明属于智能变电站信息领域，涉及一种基于三维点云数据的变电站设备分类方法。

背景技术

点云(point cloud)的含义为三维空间坐标系下的离散点集，是一种重要的几何数据，是在和目标表面特性的海量点集合，能有效表示物体表面信息。由于近些年来三维激光扫描技术(LiDAR)以很快的速度发展和普及，这种数据的采集难度逐渐下降，获取三维点云的过程变得更加简单快捷。

点云分类，即从复杂无序的点云中提取人工和自然地物要素的过程，点云分类作为三维数据处理的关键环节，无论在三维重建，数字化建模，还是文物保护等方面均具有广泛的应用价值。随着三维激光扫描技术的发展及应用，点云数据采集的难度以及成本均在下降，点云分类这一课题已成为三维计算机视觉领域的研究热点。它在文物保护，机器人，摄影等领域具有广泛的应用。点云分类是场景三维重建和数字模型生成以及重构等后续应用的基础。点云最典型特的特征主要可概括为海量，离散，精度高等方面，想要在大规模的点云数据中提取语义信息，就必须要对其进行比较精确的分类。

随着以深度学习为代表的人工智能的快速发展，国内外研究者们尝试将深度学习算法用于距离影像的分类。针对原有网格表示方法提取的低级特征表示不足，泛化性能差，无法满足应用需求的情况，PointNet网络横空出世，其直接对点云进行处理，使用对称函数解决了点云的顺序问题，整合单点特征以形成全局的点签名，能有效处理3D物体分类，目标分割和语义场景分割任务。但是PointNet不能捕获度量空间点的局部特征，限制了其识别细粒图案的能力和复杂场景的泛化性能。为了解决这个问题，设计了一种名为PointNet++的分层神经网络，取得了良好的性能。以上方法均未考虑点云颜色等信息，但随后，又提出了一种Deep Kd-Networks,该网络可以将数据的颜色、反射光强度、法向量属性作为输入，利用kd-tree将点云结构化，学习树中每个节点的权重，但该网络对噪声和旋转敏感，对每个点都需进行上采样或下采样操作，会带来额外的计算开销。基于以上研究进展，Li等人提出了一种简单通用的点云特征学习框架———PointCNN。它利用多层感知机从输入点中学习一种变换阵，将无序点云转换成有序点云，在ModelNet上准确率为91.7％，但置换矩阵离预想相距甚远，点云的顺序问题仍是一个难题，同时该方法是针对单一点云模型进行分类，因此面向复杂场景的点云数据分类也是亟待解决的难点

21世纪以来，国家电力行业得到非常迅猛的发展，这就使得，国家对变电站建设的要求日益提高，而变电站数字重构是其中的一项重要内容，若能够对现有的变电站建立数字模型，就能够更直观的反应变电站位置空间的真实情况，便于变电站的维护，以及设备的更新等。而想要完成这一工作，必须有变电站的分类识别作为基础，通过激光扫描仪获取变电站设备外形的点云数据，使得利用变电站设备外形的特征对其进行识别分类成为可能。

发明内容

本发明点云数据在测量过程中，往往会受到噪声，以及由于物体体积遮挡带来的物体显示不全的情况影响，这些情况会使得结果出现不可忽视的误差。在测量过程中，如何准确地将同一种类但姿态不同的物体进行分类。点云分类算法经过近些年的发展，已得到一定程度的进步，但现有的方法对于以上问题仍未给出良好的解决方案，并且，那些方案多为对每个点三维点分别进行语义标注预测，导致分类结果中的噪声和标签的不一致性。因此，本发明着重研究基于三维点云数据的变电站设备分类问题，在提出一个能够更有效地解决上述问题的方法的同时，将基于三维点云数据的分类问题应用场景扩展到变电站场景中。

本发明提出一种基于三维点云数据识别出变电站设备类型的分类方法，该方法可以直接应用于原始点云，从而预测任意大小输入点云的语义标签快速准确的识别出各种设备的类型及特征，并且，通过使用图注意模块，能够更好地避免噪声对原始点云数据干扰导致识别结果并不理想的情况，对于物体遮挡所带来的显示不全问题，本发明通过一个轻量级图神经网络来传递物体位置信息，来对初步识别出的结果进行优化。本发明可以以比较好的效果解决噪声干扰以及物体遮挡所带来的分类识别不准确的问题。

本发明的技术方案为基于三维点云数据的变电站设备分类方法，包括以下步骤：

S10，获取数据；

S20，标注数据；

S30，扩充数据集；

S40，训练标注后的数据集；

S50，识别出设备类型，对设备进行分类。

优选地，所述获取数据，为利用激光雷达从多个角度获得变电站的点云数据，并将已有变电站设备的点云数据加入原始数据集。

优选地，所述标注数据，为利用标注软件在标注出具体的设备类型，完成打标签工作。

优选地，所述扩充数据集，为对数据进行增强，包括旋转和放缩。

优选地，所述训练标注后的数据集，为在点云数据输入时，分别对其直观的点云数据以及其所包含的设备属性分别处理：

点云数据：在点云数据输入处，设置一个图注意模块，通过对其内部节点进行训练，使其能够识别出属于需要识别的设备自身的部分，然后增加那一部分的权重，减小噪声或物体遮挡所影响部分的权重，并在权重超出预设值的部分进行编码抽取特征，这一部分的特征即为在某种设备的点云数据中具有代表性，且能够有助于神经网络识别分类的关键点特征向量；

设备属性：采用一个轻量图神经网络来传递消息，输入设备的属性信息，然后对其进行编码提取特征，提取的特征即设备本身的属性，即先验知识；

提取出的点云数据特征以及设备属性特征输入至一个全连接层，把这些特征连接，将每种设备的点云数据特征以及其本身的先验知识，设备属性补全；然后，通过与标签进行对比，计算整个网络的损失函数，并通过反向传播算法，对输入进行反馈和迭代优化，以降低损失函数的值，最终完成训练。

优选地，所述识别出设备类型，对设备进行分类，为将需要识别分类的点云数据输入至S40生成的神经网络中，完成对设备三维点云数据的识别分类。

本发明至少有如下具体有益效果：

1、使用一种轻量图神经网络来告知变电站设备的排列规律。例如，某种设备和另一种设备并排存放，则如果出现一个设备被相邻设备遮挡导致点云数据不完整难以识别类型的话，可通过这种网络来对识别结果进行优化，从识别出的多个可能的模型中识别出置信度最高的那个，得到最终结果。

2、若在获取三维点云数据的过程中有噪声的影响，依靠传统的神经网络可能难以将其与事先训练好的模型相匹配，对设备的识别分类效果就会很差，因此，本发明引入图注意网络，通过训练节点权重，无需读取整个设备扫描得到的三维点云数据，即可完成设备的识别分类工作。

附图说明

图1为本发明方法实施例的基于三维点云数据的变电站设备分类方法的步骤流程图；

图2为本发明方法一实施例的基于三维点云数据的变电站设备分类方法的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

为了方便理解，本发明对以下词语进行定义或解释：

图注意模块(Attention模块)：

具有三维坐标和可选特征的点云被输入到图形注意卷积模块中。根据每个点的空间位置计算k-最近邻(KNN)图，生成局部邻近点集，其特征与全局注意模块计算的全局特征相连接。这些连接的特征被输入到MLP层中，MLP层的输出与通过边缘和密度注意模块获得的边缘注意权重和密度注意权重一起实现元素级积。通过MLP层和最大池化，最终得到与输入点云数量相同的特征地图。

本发明的attention模块由一个图的局部注意和全局注意的组成。然后，我们描述如何将这两种注意机制结合到我们的图卷积模块中。在所设计的图形卷积模块的基础上，本发明提出了一个编解码框架神经网络，它可以学习机载激光雷达点云分类的多尺度特征。

1：全局attention：

以往的研究主要是利用对称函数提取局部特征和获取全局信息，而忽略了所有点之间的空间关系。为了解决这个问题，我们提出了一个图全局注意模块来学习点云的全局上下文信息。计算每个坐标方向上每两个独立点之间的欧几里德距离，得到维数为N*N*3的距离矩阵。然后，我们使用softmax层来对每个点的距离进行归一化，然后，利用一个多层感知器作为非线性变换函数，从归一化距离中得到最终的注意权。

2：局部attention：

原始点云数据会出现密度分布不均匀的情况，为了解决这种情况对结果所带来的误差，本发明在图卷积模块中加入了一个密度注意模块，具体流程为为，首先，用核密度估计估计每一个点的密度，然后，计算相邻点到参考点的逆密度，并将其除以逆密度的最大值，最后，用另一个多层感知器，计算出每一点到参考点的密度注意权。

基于上述图形注意卷积模块，提出一种用于机载激光雷达点云分类的端到端编解码器。原始点云与三维坐标和可选功能直接输入到编码器网络。随后，采用最远点采样算法实现采样层，并采用图形注意卷积模块四次递归提取编码网络中的多尺度特征。为了将学习到的特征从编码的采样点传播到原始点，首先在解码器网络中通过距离反加权来实现插值。然后将插值后的特征与相应编码器级的点特征以跳跃方式连接起来。然后，将连接后的特征输入到图注意卷积模块中，从粗层信息中获取特征。注意，图注意卷积模块在每个解码器中只包含两个局部注意机制。最后一次插值后，特征集合包含与原始点集相同数量的点，并输入1×1卷积，得到每个点的最终语义标签。这个过程即是训练节点来使我们需要的三维点云部分权重得到加强，减小无用数据干扰。

全连接层：

全连接层(fully connected layers，FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。本发明在分别抽取设备点云数据以及设备自身属性特征后，通过这一层，来使每一个三维点云数据趋于“完整”，这样以便于，神经网络训练出的结果能够符合我们的预期。

损失函数Loss fuction：在神经网络的训练过程中，会使用损失函数(Lossfuction)来评估网络是否训练到位，网络会以尽可能降低这个函数值为目标，在反复迭代的过程中，自身调整涉及的参数，完成训练。

参见图1，为本发明实施例的本发明的技术方案为基于三维点云数据的变电站设备分类方法的步骤流程图，包括以下步骤：

S10，获取数据；

S20，标注数据；

S30，扩充数据集；

S40，训练标注后的数据集；

S50，识别出设备类型，对设备进行分类。

S10，获取数据，为利用激光雷达从多个角度获得变电站的点云数据，并将已有变电站设备的点云数据加入原始数据集。

S20，标注数据，为利用标注软件在标注出具体的设备类型，完成打标签(lable)工作。

S30，扩充数据集，为对数据进行增强，包括旋转和放缩。

S40，训练标注后的数据集，为在点云数据输入时，分别对其直观的点云数据以及其所包含的设备属性分别处理：

点云数据：在点云数据输入处，设置一个图注意模块，通过对其内部节点进行训练，使其能够识别出属于需要识别的设备自身的部分，然后增加那一部分的权重，减小噪声或物体遮挡所影响部分的权重，并在权重超出预设值的部分进行编码抽取特征，这一部分的特征即为在某种设备的点云数据中具有代表性，且能够有助于神经网络识别分类的关键点特征向量；

设备属性：采用一个轻量图神经网络来传递消息，输入设备的属性信息，然后对其进行编码提取特征，提取的特征即设备本身的属性，即先验知识；

提取出的点云数据特征以及设备属性特征输入至一个全连接层，把这些特征连接，将每种设备的点云数据特征以及其本身的先验知识，设备属性补全；然后，通过与标签进行对比，计算整个网络的损失函数，并通过反向传播算法，对输入进行反馈和迭代优化，以降低损失函数的值，最终完成训练。

S50，识别出设备类型，对设备进行分类，为将需要识别分类的点云数据输入至S40生成的神经网络中，完成对设备三维点云数据的识别分类。

具体实施例中，S10，利用激光雷达从多个角度获得变电站的点云数据，并从网站上寻找一些变电站设备的点云数据，尽可能的扩充原始数据集。

S20，利用标注软件在标注出具体的设备类型，完成“打标签”工作。

S30，深度学习主要依靠大量的数据集来反复迭代出最适合的模型，没有足够的数据的支撑，网络的识别分类功能必然得不到保障，因此，这一步对上一步所获得的数据进行一个数据增强(包括但不限于旋转，放缩等)，以便于神经网络充分学习，减少识别不出设备类型的概率。

S40，为了完成点云数据显示不全的情况下的设备识别分类，本发明采用两个并行的方法来联合优化，即在点云数据输入时，分别对其直观的点云数据以及其所包含的属性分别处理：

(1)点云数据：由于本发明应用的场景为设备点云信息不完整的情况，在点云数据输入的时候，采用一个图注意模块，通过对其内部节点进行训练，使其能够识别出属于需要识别的设备自身的部分，然后增加那一部分的权重，减小噪声或其他物体遮挡所影响部分的权重，并在权重较大的部分进行编码抽取特征，这一部分的特征即为在某种设备的点云数据中，最具有代表性，能够有助于神经网络识别分类的关键点特征向量。

(2)设备属性：仅仅依靠一个attention模块是不够的，我们还需要变电站的布局信息来对初步识别的结果进行优化，若初始点云数据受干扰程度较大的话，可能会出现，识别不出结果或识别成其他设备的情况，针对这种情况，我们在上一步的同时，采用一个轻量图神经网络来传递消息，由于变电站中，为了能够达到良好的工作效果，设备的摆放会呈现出特定的规律，因此，在这一环节中，我们输入设备的属性信息，然后对其进行编码提取特征，这一环节提取的特征即设备本身的属性，即先验知识，例如，某一种设备通常与另一种设备相邻，这样，即使在初始条件非常不好，无法直接通过点云数据识别出设备类型的情况下，也可以根据该设备附近的其他设备来估计出该设备的类型，保证识别分类结果不会产生过大偏差。

上述步骤结束后，我们将提取出的点云数据特征以及属性特征输入至一个全连接层，这样就把这些特征连接起来，将每种设备的点云数据特征以及其本身的先验知识，属性全部补全，然后，通过与lable进行对比，计算整个网络的loss function，并通过反向传播算法，不断的对输入进行反馈，不断地迭代优化，以降低loss function的值，最终完成训练。

S50，将需要识别分类的点云数据输入至上一个步骤生成的神经网络中，即可完成对设备三维点云数据的识别分类。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于三维点云数据的变电站设备分类方法，其特征在于，包括以下步骤：

S10，获取数据；

S20，标注数据；

S30，扩充数据集；

S40，训练标注后的数据集；

S50，识别出设备类型，对设备进行分类；

所述获取数据，为利用激光雷达从多个角度获得变电站的点云数据，并将已有变电站设备的点云数据加入原始数据集；

所述标注数据，为利用标注软件在标注出具体的设备类型，完成打标签工作；

所述扩充数据集，为对数据进行增强，包括旋转和放缩；

所述训练标注后的数据集，为在点云数据输入时，分别对其直观的点云数据以及其所包含的设备属性分别处理：

点云数据：在点云数据输入处，设置一个图注意模块，通过对其内部节点进行训练，使其能够识别出属于需要识别的设备自身的部分，然后增加那一部分的权重，减小噪声或物体遮挡所影响部分的权重，并在权重超出预设值的部分进行编码抽取特征，这一部分的特征即为在某种设备的点云数据中具有代表性，且能够有助于神经网络识别分类的关键点特征向量；

设备属性：采用一个轻量图神经网络来传递消息，输入设备的属性信息，然后对其进行编码提取特征，提取的特征即设备本身的属性，即先验知识；

提取出的点云数据特征以及设备属性特征输入至一个全连接层，把这些特征连接，将每种设备的点云数据特征以及其本身的先验知识，设备属性补全；然后，通过与标签进行对比，计算整个网络的损失函数，并通过反向传播算法，对输入进行反馈和迭代优化，以降低损失函数的值，最终完成训练。

2.根据权利要求1所述的方法，其特征在于，所述识别出设备类型，对设备进行分类，为将需要识别分类的点云数据输入至S40生成的神经网络中，完成对设备三维点云数据的识别分类。

Images