CN115937229B - 一种基于超体素和图割算法的三维自动分割方法及装置 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种基于超体素和图割算法的三维自动分割方法及装置，用于提高三维自动分割的准确率。所述方法包括：根据电力设备图像训练集训练得到第一三维分割模型，以及根据间隙图像训练集训练得到第二三维分割模型；获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到间隙三维图像；对间隙三维图像进行间隙距离计算，得到间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

Description

一种基于超体素和图割算法的三维自动分割方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种基于超体素和图割算法的三维自动分割方法及装置。

背景技术

近年来随着通信技术、自动化技术、视频监控技术、图像压缩及网络技术的发展，变电站内智能辅助监控技术得到大幅提升，电网公司正在统推远程智能巡视系统，实现站内真正无人值班已为可能。随着图像处理技术的日渐成熟，图像处理与电力能源行业的结合应用逐渐增多，利用图像分割技术可以大幅提升电力能源设备位置检测以及异常检测的准确率，极大的节省了人工电力设备巡检资源。

但是目前，现有方案中通常是由二维图像转换成为具有直观立体效果的图像，展现电力设备的三维结构与形态，这种方式难以检测出一些细微的电力设备位置异常，导致现有方案的准确率低。

发明内容

本发明提供了一种基于超体素和图割算法的三维自动分割方法及装置，用于提高三维自动分割的准确率。

本发明第一方面提供了一种基于超体素和图割算法的三维自动分割方法，所述基于超体素和图割算法的三维自动分割方法包括：获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

结合第一方面，在本发明第一方面的第一实施方式中，所述获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像，包括：从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；将所述目标三维影像数据输入所述第一三维分割模型，并通过所述第一三维分割模型对所述目标三维影像数据进行超体素分割，得到第一超体素集合；根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像。

结合第一方面，在本发明第一方面的第二实施方式中，所述根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像，包括：对所述第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；对每个第一超体素对应的低维特征进行聚类分割，得到所述目标三维影像数据中的多个电力设备三维分割图像。

结合第一方面，在本发明第一方面的第三实施方式中，所述分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像，包括：分别将所述多个电力设备三维分割图像输入所述第二三维分割模型；通过所述第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像；通过所述第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像；根据所述两个电力设备间的间隙图像和所述同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

结合第一方面，在本发明第一方面的第四实施方式中，所述基于超体素和图割算法的三维自动分割方法还包括：从预置的数据库中查询标准电力设备图像；基于所述第一三维分割模型对所述标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；基于所述第二三维分割模型对所述标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；基于所述标准电力设备图像、所述标准电力设备位置和所述标准电力设备间隙构建电力设备模板图像。

结合第一方面，在本发明第一方面的第五实施方式中，所述对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据，包括：对每个电力设备三维分割图像对应的间隙三维图像和所述电力设备模板图像进行图像比对，得到图像比对结果，其中，所述图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；若所述间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；对所述间隙感兴趣区域进行区域坐标映射，得到所述间隙感兴趣区域对应的多个区域坐标；根据所述多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据。

结合第一方面，在本发明第一方面的第六实施方式中，所述对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，包括：对每个电力设备三维分割图像进行电力设备类型分析，得到每个电力设备三维分割图像对应的电力设备类型；根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据；根据所述标准间隙数据和所述间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

本发明第二方面提供了一种基于超体素和图割算法的三维自动分割装置，所述基于超体素和图割算法的三维自动分割装置包括：

获取模块，用于获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

训练模块，用于根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

第一分割模块，用于获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；

第二分割模块，用于分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

计算模块，用于对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据；

分析模块，用于对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

结合第二方面，在本发明第二方面的第一实施方式中，所述第一分割模块还包括：获取单元，用于从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；分割单元，用于将所述目标三维影像数据输入所述第一三维分割模型，并通过所述第一三维分割模型对所述目标三维影像数据进行超体素分割，得到第一超体素集合；提取单元，用于根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像。

结合第二方面，在本发明第二方面的第二实施方式中，所述提取单元具体用于：对所述第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；对每个第一超体素对应的低维特征进行聚类分割，得到所述目标三维影像数据中的多个电力设备三维分割图像。

结合第二方面，在本发明第二方面的第三实施方式中，所述第二分割模块具体用于：分别将所述多个电力设备三维分割图像输入所述第二三维分割模型；通过所述第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像；通过所述第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像；根据所述两个电力设备间的间隙图像和所述同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

结合第二方面，在本发明第二方面的第四实施方式中，所述基于超体素和图割算法的三维自动分割装置还包括：构建模块，用于从预置的数据库中查询标准电力设备图像；基于所述第一三维分割模型对所述标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；基于所述第二三维分割模型对所述标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；基于所述标准电力设备图像、所述标准电力设备位置和所述标准电力设备间隙构建电力设备模板图像。

结合第二方面，在本发明第二方面的第五实施方式中，所述计算模块具体用于：对每个电力设备三维分割图像对应的间隙三维图像和所述电力设备模板图像进行图像比对，得到图像比对结果，其中，所述图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；若所述间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；对所述间隙感兴趣区域进行区域坐标映射，得到所述间隙感兴趣区域对应的多个区域坐标；根据所述多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据。

结合第二方面，在本发明第二方面的第六实施方式中，所述分析模块具体用于：对每个电力设备三维分割图像进行电力设备类型分析，得到每个电力设备三维分割图像对应的电力设备类型；根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据；根据所述标准间隙数据和所述间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

本发明提供的技术方案中，构建电力设备图像训练集以及间隙图像训练集；根据电力设备图像训练集训练得到第一三维分割模型，以及根据间隙图像训练集训练得到第二三维分割模型；获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到间隙三维图像；对间隙三维图像进行间隙距离计算，得到间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，本发明分别构建第一三维分割模型和第二三维分割模型进行细化的异常区域提取，提高了电力设备之间的异常检测的准确率，然后对间隙三维图像进行间隙距离计算以及根据间隙距离数据进行电力设备异常分析，从而提高了电力设备分析的准确率的准确率。

附图说明

图1为本发明实施例中基于超体素和图割算法的三维自动分割方法的一个实施例示意图；

图2为本发明实施例中电力设备三维特征提取的流程图；

图3为本发明实施例中电力设备间隙三维分割的流程图；

图4为本发明实施例中构建电力设备模板图像的流程图；

图5为本发明实施例中基于超体素和图割算法的三维自动分割装置的一个实施例示意图；

图6为本发明实施例中基于超体素和图割算法的三维自动分割装置的另一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于超体素和图割算法的三维自动分割方法及装置，用于提高三维自动分割的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于超体素和图割算法的三维自动分割方法的一个实施例包括：

S101、获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

可以理解的是，本发明的执行主体可以为基于超体素和图割算法的三维自动分割装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

需要说明的是，摄像机是变电站中的电力设备视频监控系统的前端设备，也是遥视的基础，其合理性、正确的布点，对于发挥视频监控系统的遥视作用以及保障变电站安全可靠运行承担着重要的角色。本发明实施例支持点位可视方向设置，支持兴趣点位分类，一类为枪机设备24小时全天候直视，视域角度较小，二三类点位也可自定义可视角度，提供监控系统的业务需求定制化，支持枪机、云台和球机等多种监控设备设置。

具体的，服务器基于上述的监控设备采集多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，其中，服务器对电力设备位置勾画得到其相应的标注图像，最终服务器根据每个完成标注的样本三维影像数据确定电力设备图像训练集，进而，服务器分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集，需要说明的是，服务器在对每个样本三维影像数据中的电力设备间隙进行标注时，服务器对对每个样本三维影像数据中及其标注图像进行预处理、重采样，最终服务器对经预处理及重采样的每个样本三维影像数据及其标注图像进行电力设备间隙标注，得到间隙图像训练集。

S102、根据电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

具体的，服务器将电力设备图像训练集和初始模板特征进行特征掩盖，得到电力设备图像训练集和初始图像目标特征，并将电力设备图像训练集和初始图像目标特征输入到预置的第一训练模型中进行模型训练，得到第一三维分割模型，其中，服务器在对第一训练模型进行模型训练时，服务器根据预先设置的损失函数对模型训练过程中得到的损失值进行实时更新，当得到的损失值满足预设的阈值要求时，得到该第一三维分割模型，进一步的，服务器根据间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型。

S103、获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；

具体的，服务器获取待处理的目标三维影像数据，进一步的，服务器将该目标三维影像数据输入该第一三维分割模型进行电力设备三维分割，其中，服务器对目标三维影像数据进行三维图像块划分，得到多个三维图像块，进而服务器分别对每一三维图像块进行电力设备三维分割，得到多个电力设备三维分割图像。

S104、分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

具体的，服务器分别将多个电力设备三维分割图像输入第二三维分割模型进行实体模型转换，确定对应的电力设备网络模型，具体的，服务器对该电力设备网络模型进行尺寸标准确定，生成对应的模型转换尺寸，进而服务器根据该模型转换尺寸进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像。

S105、对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据；

具体的，服务器对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，其中，服务器首先确定每个电力设备三维分割图像对应的间隙三维图像，进而服务器对每个电力设备三维分割图像对应的间隙三维图像进行尺度范围确定，需要说明的是，每个电力设备三维分割图像中每个单节电力设备的边界处比附近其他区域的颜色较深，因此服务器可以对每个电力设备三维分割图像对应的像素点在宽度方向进行灰度分析，确定每个电力设备三维分割图像对应的间隙三维图像，进而服务器确定灰度值分布中的各个极小值，得到每个电力设备三维分割图像对应的间隙距离数据。

S106、对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

具体的，服务器对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，服务器根据每个电力设备三维分割图像对应的间隙距离数据与预置的标准间隙数据结合进行比较，判断是否存在异常，进而得到电力设备异常分析结果。

本发明实施例中，构建电力设备图像训练集以及间隙图像训练集；根据电力设备图像训练集训练得到第一三维分割模型，以及根据间隙图像训练集训练得到第二三维分割模型；获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到间隙三维图像；对间隙三维图像进行间隙距离计算，得到间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，本发明分别构建第一三维分割模型和第二三维分割模型进行细化的异常区域提取，提高了电力设备之间的异常检测的准确率，然后对间隙三维图像进行间隙距离计算以及根据间隙距离数据进行电力设备异常分析，从而提高了电力设备分析的准确率的准确率。

在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：

（1）从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；

（2）将目标三维影像数据输入第一三维分割模型，并通过第一三维分割模型对目标三维影像数据进行超体素分割，得到第一超体素集合；

（3）根据第一超体素集合对目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像。

具体的，服务器从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据，进一步的，服务器将目标三维影像数据输入第一三维分割模型进行超体素分割，具体的，服务器使用泊松碟采样在目标三维影像数据中选择种子点，然后根据数据点和各种子点间的颜色距离和空间距离进行迭代聚类，获得初始超体素分割结果，以初始分割得到的超体素为顶点，超体素的邻接关系为边建立无向图，使用基于图论的方法进行超体素融合，得到第一超体素集合，根据第一超体素集合对目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像。

在一具体实施例中，如图2所示，执行步骤根据第一超体素集合对目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像的过程可以具体包括如下步骤：

S201、对第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；

S202、对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；

S203、对每个第一超体素对应的低维特征进行聚类分割，得到目标三维影像数据中的多个电力设备三维分割图像。

具体的，服务器对第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征，对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征，其中，服务器在进行非线性降维时，服务器先对每个第一超体素对应的高维特征进行投影变换，进而确定对应的低维空间，然后通过该低维空间进行非线性降维，得到每个第一超体素对应的低维特征，对每个第一超体素对应的低维特征进行聚类分割，得到目标三维影像数据中的多个电力设备三维分割图像。

在一具体实施例中，如图3所示，执行步骤S104的过程可以具体包括如下步骤：

S301、分别将多个电力设备三维分割图像输入第二三维分割模型；

S302、通过第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像；

S303、通过第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像；

S304、根据两个电力设备间的间隙图像和同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

具体的，服务器分别将多个电力设备三维分割图像输入第二三维分割模型，通过第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像，进一步的，服务器获取每个电力设备三维分割图像，在预处理等操作后进行二值化阈值分割出电力设备区域，将电力设备轮廓进行提取填充至黑色底图生成电力设备间隙区域热力图，通过设置电力设备间隙模板生成电力设备间隙目标热力图，然后确定电力设备间隙区域热力图中与电力设备间隙目标热力图相似度高于预设阈值的目标区域，最后通过形态学膨胀算法对目标区域中的电力设备间隙区域轮廓进行处理，并确定目标电力设备间隙图像，进而服务器通过第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像，根据两个电力设备间的间隙图像和同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

在一具体实施例中，如图4所示，上述基于超体素和图割算法的三维自动分割方法还包括如下步骤：

S401、从预置的数据库中查询标准电力设备图像；

S402、基于第一三维分割模型对标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；

S403、基于第二三维分割模型对标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；

S404、基于标准电力设备图像、标准电力设备位置和标准电力设备间隙构建电力设备模板图像。

具体的，服务器从预置的数据库中查询标准电力设备图像，基于第一三维分割模型对标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置，进一步的，服务器基于第二三维分割模型对标准电力设备图像进行电力设备间隙超体素分割，其中，服务器使用标准电力设备图像进行无监督超体素聚类，基于超体素聚类结果构造基于伪标签的标准电力设备图像，采用标准电力设备图像构造基于原型优化的图像分割函数，进一步的，服务器通过该基于原型优化的图像分割函数对标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙，最终服务器基于标准电力设备图像、标准电力设备位置和标准电力设备间隙构建电力设备模板图像。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对每个电力设备三维分割图像对应的间隙三维图像和电力设备模板图像进行图像比对，得到图像比对结果，其中，图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；

（2）若间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；

（3）对间隙感兴趣区域进行区域坐标映射，得到间隙感兴趣区域对应的多个区域坐标；

（4）根据多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据。

具体的，对每个电力设备三维分割图像对应的间隙三维图像和电力设备模板图像进行图像比对，得到图像比对结果，其中，图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常，其中，服务器对每个电力设备三维分割图像对应的间隙三维图像和电力设备模板图像进行归一化处理，然后与同一位置同一角度的图像进行配准，进而对配准后的两个图像分别继续区域分割，提取每一区域图像的若干特征，将若干特征进行融合，最后计算两幅图像对应特征的差异度，将差异度与设定阈值进行比较，进行图像比对，得到图像比对结果，其中，图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常，若间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域，对间隙感兴趣区域进行区域坐标映射，得到间隙感兴趣区域对应的多个区域坐标，多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）对每个电力设备三维分割图像进行电力设备类型分析，得到每个电力设备三维分割图像对应的电力设备类型；

（2）根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据；

（3）根据标准间隙数据和间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

具体的，获取每个电力设备三维分割图像，每个电力设备三维分割图像中包含多个待进行类型分析的样本电力设备，进而服务器得到每个电力设备三维分割图像对应的电力设备类型，根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据，根据标准间隙数据和间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

上面对本发明实施例中基于超体素和图割算法的三维自动分割方法进行了描述，下面对本发明实施例中基于超体素和图割算法的三维自动分割装置进行描述，请参阅图5，本发明实施例中基于超体素和图割算法的三维自动分割装置一个实施例包括：

获取模块501，用于获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

训练模块502，用于根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

第一分割模块503，用于获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；

第二分割模块504，用于分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

计算模块505，用于对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据；

分析模块506，用于对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

通过上述各个组成部分的协同合作，构建电力设备图像训练集以及间隙图像训练集；根据电力设备图像训练集训练得到第一三维分割模型，以及根据间隙图像训练集训练得到第二三维分割模型；获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到间隙三维图像；对间隙三维图像进行间隙距离计算，得到间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，本发明分别构建第一三维分割模型和第二三维分割模型进行细化的异常区域提取，提高了电力设备之间的异常检测的准确率，然后对间隙三维图像进行间隙距离计算以及根据间隙距离数据进行电力设备异常分析，从而提高了电力设备分析的准确率的准确率。

请参阅图6，本发明实施例中基于超体素和图割算法的三维自动分割装置另一个实施例包括：

获取模块501，用于获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

训练模块502，用于根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

第一分割模块503，用于获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；

第二分割模块504，用于分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

计算模块505，用于对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据；

分析模块506，用于对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

可选的，所述第一分割模块503还包括：获取单元，用于从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；分割单元，用于将所述目标三维影像数据输入所述第一三维分割模型，并通过所述第一三维分割模型对所述目标三维影像数据进行超体素分割，得到第一超体素集合；提取单元，用于根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像。

可选的，所述提取单元具体用于：对所述第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；对每个第一超体素对应的低维特征进行聚类分割，得到所述目标三维影像数据中的多个电力设备三维分割图像。

可选的，所述第二分割模块504具体用于：分别将所述多个电力设备三维分割图像输入所述第二三维分割模型；通过所述第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像；通过所述第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像；根据所述两个电力设备间的间隙图像和所述同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

可选的，所述基于超体素和图割算法的三维自动分割装置还包括：构建模块507，用于从预置的数据库中查询标准电力设备图像；基于所述第一三维分割模型对所述标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；基于所述第二三维分割模型对所述标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；基于所述标准电力设备图像、所述标准电力设备位置和所述标准电力设备间隙构建电力设备模板图像。

可选的，所述计算模块505具体用于：对每个电力设备三维分割图像对应的间隙三维图像和所述电力设备模板图像进行图像比对，得到图像比对结果，其中，所述图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；若所述间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；对所述间隙感兴趣区域进行区域坐标映射，得到所述间隙感兴趣区域对应的多个区域坐标；根据所述多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据。

可选的，所述分析模块506具体用于：对每个电力设备三维分割图像进行电力设备类型分析，得到每个电力设备三维分割图像对应的电力设备类型；根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据；根据所述标准间隙数据和所述间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

本发明实施例中，构建电力设备图像训练集以及间隙图像训练集；根据电力设备图像训练集训练得到第一三维分割模型，以及根据间隙图像训练集训练得到第二三维分割模型；获取待处理的目标三维影像数据，并将目标三维影像数据输入第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像；分别将多个电力设备三维分割图像输入第二三维分割模型进行电力设备间隙三维分割，得到间隙三维图像；对间隙三维图像进行间隙距离计算，得到间隙距离数据；对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，本发明分别构建第一三维分割模型和第二三维分割模型进行细化的异常区域提取，提高了电力设备之间的异常检测的准确率，然后对间隙三维图像进行间隙距离计算以及根据间隙距离数据进行电力设备异常分析，从而提高了电力设备分析的准确率的准确率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于超体素和图割算法的三维自动分割方法，其特征在于，所述基于超体素和图割算法的三维自动分割方法包括：

获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像，具体包括：从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；将所述目标三维影像数据输入所述第一三维分割模型，并通过所述第一三维分割模型对所述目标三维影像数据进行超体素分割，得到第一超体素集合；根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像；其中，使用泊松碟采样在目标三维影像数据中选择种子点，根据数据点和各种子点间的颜色距离和空间距离进行迭代聚类，获得初始超体素分割结果，以初始超体素分割结果中得到的超体素为顶点，超体素的邻接关系为边建立无向图，使用基于图论的方法进行超体素融合，得到第一超体素集合；

分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据，具体包括：从预置的数据库中查询标准电力设备图像；基于所述第一三维分割模型对所述标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；基于所述第二三维分割模型对所述标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；基于所述标准电力设备图像、所述标准电力设备位置和所述标准电力设备间隙构建电力设备模板图像；其中，对每个电力设备三维分割图像对应的间隙三维图像和所述电力设备模板图像进行图像比对，得到图像比对结果，其中，所述图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；若所述间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；对所述间隙感兴趣区域进行区域坐标映射，得到所述间隙感兴趣区域对应的多个区域坐标；根据所述多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据；

对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

2.根据权利要求1所述的基于超体素和图割算法的三维自动分割方法，其特征在于，所述根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像，包括：

对所述第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；

对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；

对每个第一超体素对应的低维特征进行聚类分割，得到所述目标三维影像数据中的多个电力设备三维分割图像。

3.根据权利要求1所述的基于超体素和图割算法的三维自动分割方法，其特征在于，所述分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像，包括：

分别将所述多个电力设备三维分割图像输入所述第二三维分割模型；

通过所述第二三维分割模型对每个电力设备三维分割图像进行两个电力设备间的间隙提取，得到两个电力设备间的间隙图像；

通过所述第二三维分割模型对每个电力设备三维分割图像进行同一电力设备中的裂隙提取，得到同一电力设备中的裂隙图像；

根据所述两个电力设备间的间隙图像和所述同一电力设备中的裂隙图像生成每个电力设备三维分割图像对应的间隙三维图像。

4.根据权利要求1所述的基于超体素和图割算法的三维自动分割方法，其特征在于，所述对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果，包括：

对每个电力设备三维分割图像进行电力设备类型分析，得到每个电力设备三维分割图像对应的电力设备类型；

根据每个电力设备三维分割图像对应的电力设备类型匹配每一电力设备类型对应的标准间隙数据；

根据所述标准间隙数据和所述间隙距离数据，对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

5.一种基于超体素和图割算法的三维自动分割装置，其特征在于，所述基于超体素和图割算法的三维自动分割装置包括：

获取模块，用于获取多个样本三维影像数据，并分别对每个样本三维影像数据中的电力设备位置进行标注，得到电力设备图像训练集，以及分别对每个样本三维影像数据中的电力设备间隙进行标注，得到间隙图像训练集；

训练模块，用于根据所述电力设备图像训练集对预置的第一训练模型进行模型训练，得到第一三维分割模型，以及根据所述间隙图像训练集对预置的第二训练模型进行训练，得到第二三维分割模型；

第一分割模块，用于获取待处理的目标三维影像数据，并将所述目标三维影像数据输入所述第一三维分割模型进行电力设备三维分割，得到多个电力设备三维分割图像，所述第一分割模块包括：获取单元，用于从预置的影像采集终端中实时获取目标用户的待处理的目标三维影像数据；分割单元，用于将所述目标三维影像数据输入所述第一三维分割模型，并通过所述第一三维分割模型对所述目标三维影像数据进行超体素分割，得到第一超体素集合；提取单元，用于根据所述第一超体素集合对所述目标三维影像数据进行电力设备三维特征提取，得到多个电力设备三维分割图像；其中，使用泊松碟采样在目标三维影像数据中选择种子点，根据数据点和各种子点间的颜色距离和空间距离进行迭代聚类，获得初始超体素分割结果，以初始超体素分割结果中得到的超体素为顶点，超体素的邻接关系为边建立无向图，使用基于图论的方法进行超体素融合，得到第一超体素集合；

第二分割模块，用于分别将所述多个电力设备三维分割图像输入所述第二三维分割模型进行电力设备间隙三维分割，得到每个电力设备三维分割图像对应的间隙三维图像；

计算模块，用于对每个电力设备三维分割图像对应的间隙三维图像进行间隙距离计算，得到每个电力设备三维分割图像对应的间隙距离数据，具体包括：从预置的数据库中查询标准电力设备图像；基于所述第一三维分割模型对所述标准电力设备图像进行电力设备位置超体素分割，得到标准电力设备位置；基于所述第二三维分割模型对所述标准电力设备图像进行电力设备间隙超体素分割，得到标准电力设备间隙；基于所述标准电力设备图像、所述标准电力设备位置和所述标准电力设备间隙构建电力设备模板图像；其中，对每个电力设备三维分割图像对应的间隙三维图像和所述电力设备模板图像进行图像比对，得到图像比对结果，其中，所述图像比对结果包括间隙三维图像存在间隙异常以及间隙三维图像不存在间隙异常；若所述间隙三维图像存在间隙异常，则对每个电力设备三维分割图像对应的间隙三维图像进行间隙区域提取，得到间隙感兴趣区域；对所述间隙感兴趣区域进行区域坐标映射，得到所述间隙感兴趣区域对应的多个区域坐标；根据所述多个区域坐标计算间隙距离，得到每个电力设备三维分割图像对应的间隙距离数据；

分析模块，用于对每个电力设备三维分割图像对应的间隙距离数据进行电力设备异常分析，得到电力设备异常分析结果。

6.根据权利要求5所述的基于超体素和图割算法的三维自动分割装置，其特征在于，所述提取单元具体用于：

对所述第一超体素集合中的每个第一超体素进行高维特征提取，得到每个第一超体素对应的高维特征；

对每个第一超体素对应的高维特征进行非线性降维，得到每个第一超体素对应的低维特征；

对每个第一超体素对应的低维特征进行聚类分割，得到所述目标三维影像数据中的多个电力设备三维分割图像。