CN117952960A - 基于人工智能的电力铁塔部件缺陷检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及基于人工智能的电力铁塔部件缺陷检测方法，包括：采集电力铁塔的导线表面灰度图，对灰度图进行分块得到种子点；根据种子点得到初始搜索框，根据初始搜索框的交界线边缘像素点得到第一搜索框；根据第一搜索框的交界线边缘像素点得到宽度因子和最终搜索框；根据最终搜索框和宽度因子得到最终搜索框内像素点的参考窗口的灰度混乱程度和像素点的相似性，根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域。本发明提高对电力铁塔导线的缺陷检测的准确性。

Description

基于人工智能的电力铁塔部件缺陷检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于人工智能的电力铁塔部件缺陷检测方法。

背景技术

电力铁塔是电力输电线路的重要基础设施之一，它通常由钢材制成，形状为瘦长的塔型结构，具有较高的抗风能力和稳定性，主要被用于支撑输电线路。电力铁塔的稳定性和可靠性对于电力系统的安全运行具有至关重要的作用，因此对其部件进行定期检测和维护具有非常重要的意义。导线作为电力铁塔的重要组成部件之一，承载着传输电能的任务，常见的导线有钢芯铝绞线、铝包钢芯铝绞线等，它们是由若干根单线按一定的方向和规则绞合在一起形成的整体绞合线。这种绞合的导线虽然有较好的柔韧性和耐久性，但也可能因外力撞击、弯曲过度或动物咬伤导致其表面出现损伤，影响电力传输。

现有缺陷检测方法中，超像素分割是一种常用的导线表面损伤的检测算法，它通过将图像分割成紧凑的、相似的超像素块的方式来提取图像特征，并最终根据超像素划分出缺陷区域以完成缺陷检测，在利用超像素分割算法对导线表面图像进行分割的过程中，由于导线是多根单线绞合形成的，其表面绞合的部分会产生很多的交界区域即交界线，而交界线会在超像素块的聚合过程中影响像素的合并，并且由于导线自身形状呈圆柱形，导致拍摄时难以避免高度不平带来的光照干扰，导致超像素块被截断、变形，得到的分割效果较差，进而对导线的缺陷检测造成干扰，产生误检。

发明内容

为解决上述问题，本发明提供基于人工智能的电力铁塔部件缺陷检测方法。

本发明的基于人工智能的电力铁塔部件缺陷检测方法采用如下技术方案：

本发明一个实施例提供了基于人工智能的电力铁塔部件缺陷检测方法，该方法包括以下步骤：

采集电力铁塔的导线表面图像，灰度化得到导线表面灰度图；对导线表面灰度图等区域分块，得到导线表面灰度图进行超像素分割时的若干种子点；

根据种子点得到每个种子点的初始搜索框；根据初始搜索框内像素点的梯度值和梯度方向，得到每个初始搜索框的交界线边缘像素点；根据初始搜索框的交界线边缘像素点的梯度方向得到每个种子点的第一搜索框；

根据第一搜索框获取每个第一搜索框的若干第一种子点；根据第一种子点的梯度值和梯度方向，得到每个第一搜索框的交界线边缘像素点；根据第一搜索框的交界线边缘像素点，得到每个第一搜索框的中心像素点的宽度因子；根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框；

根据最终搜索框获取最终搜索框内每个像素点的参考窗口，根据参考窗口中像素点的灰度值和宽度因子，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性；根据最终搜索框和相似性对导线表面灰度图进行超像素分割，得到导线表面灰度图的若干最终超像素块；

根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域。

进一步地，所述根据初始搜索框内像素点的梯度值和梯度方向，得到每个初始搜索框的交界线边缘像素点，包括的具体步骤如下：

将任意一个种子点，记为目标种子点，将目标种子点的初始搜索框，记为目标初始搜索框；获取目标初始搜索框内每个像素点的梯度值和梯度方向；以梯度方向为横轴，每度作为一个梯度方向单位，/>为预设的一个第四数值，获取每个梯度方向单位对应的像素点数量，将像素点数量作为纵轴，构建梯度方向分布直方图；

将梯度方向分布直方图中任意一个梯度方向单位，记为目标梯度方向单位；

将目标梯度方向单位对应的所有像素点的梯度值的平均值与目标梯度方向单位对应的像素点的数量的乘积结果，作为目标梯度方向单位对应的像素点的边缘表现强度；

获取每个梯度方向单位对应的像素点的边缘表现强度，将边缘表现强度最大值对应的梯度方向单位，记为第一梯度方向单位，将第一梯度方向单位对应的像素点，作为目标初始搜索框的交界线边缘像素点。

进一步地，所述根据初始搜索框的交界线边缘像素点的梯度方向得到每个种子点的第一搜索框，包括的具体步骤如下：

获取目标初始搜索框所有交界线边缘像素点的梯度方向的均值，记为第一均值，将目标初始搜索框中长度最短的边长作为目标初始搜索框的宽度边长，将目标初始搜索框的宽度边长与水平右向的夹角值，记为第一夹角值，将目标初始搜索框沿顺时针进行旋转，旋转时目标初始搜索框的中心像素点固定不动，直至第一夹角值等于第一均值，得到旋转之后的目标初始搜索框，记为目标种子点的第一搜索框。

进一步地，所述根据第一搜索框获取每个第一搜索框的若干第一种子点，包括的具体步骤如下：

将任意一个种子点的第一搜索框，记为目标第一搜索框；将目标第一搜索框的中心像素点，记为第一中心点；获取过第一中心点且与目标第一搜索框最短边长平行的一条直线，记为第一直线；在第一直线中，以第一中心点为中心，邻域半径为的范围内的像素点，记为目标第一搜索框的第一种子点，/>为预设的一个第五数值。

进一步地，所述根据第一搜索框的交界线边缘像素点，得到每个第一搜索框的中心像素点的宽度因子，包括的具体步骤如下：

将第一直线与水平右向的夹角，记为第二夹角；将目标第一搜索框的所有交界线边缘像素点沿第二夹角的方向进行排序，得到每个交界线边缘像素点的次序值；

根据交界线边缘像素点的次序值和灰度值，得到每个第一搜索框的中心像素点的宽度因子。

进一步地，所述根据交界线边缘像素点的次序值和灰度值，得到每个第一搜索框的中心像素点的宽度因子，包括的具体步骤如下：

将目标第一搜索框的所有交界线边缘像素点构成的集合，记为第一集合；

;

式中，为第一集合中交界线边缘像素点的个数，/>为第一集合中第/>个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为第一集合中第个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为取绝对值，/>为第一集合中所有交界线边缘像素点的灰度值的方差，/>为目标第一搜索框的中心像素点的初始宽度因子，/>为预设的一个超参数；

获取每个第一搜索框的中心像素点的初始宽度因子，将所有第一搜索框的中心像素点的初始宽度因子进行线性归一化处理，得到的结果作为每个第一搜索框的中心像素点的宽度因子。

进一步地，所述根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框，包括的具体步骤如下：

将任意一个种子点的第一搜索框，记为目标第一搜索框；

获取目标第一搜索框的最终长度和最终宽度所满足的方程组：

;

式中，表示目标第一搜索框的长度；/>表示目标第一搜索框的宽度；/>为目标第一搜索框的宽度因子，/>为目标第一搜索框的最终长宽比，/>为预设的一个第二阈值，/>为目标第一搜索框的最终长度，/>为目标第一搜索框的最终宽度；

求解目标第一搜索框的最终长度和最终宽度所满足的方程组，获得目标第一搜索框的最终长度Y和最终宽度X；

将目标第一搜索框的最终长度和最终宽度确定的搜索框，作为目标第一搜索框对应种子点的最终搜索框。

进一步地，所述根据最终搜索框获取最终搜索框内每个像素点的参考窗口，根据参考窗口中像素点的灰度值和宽度因子，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性，包括的具体步骤如下：

将任意一个种子点的最终搜索框，记为目标最终搜索框；将目标最终搜索框中任意一个像素点，记为参考像素点；以参考像素点为中心，构建一个的窗口，记为参考像素点的参考窗口，/>为预设的一个第六数值；

获取参考像素点的参考窗口中像素点的灰度值的一阶前向差分绝对值的均值，记为第一参数；将参考像素点的参考窗口中从第一个像素点的灰度值的一阶前向差分开始，一阶前向差分符号发生改变的次数，记为第二参数；将参考像素点的参考窗口中灰度值的信息熵，记为第三参数；将第一参数、第二参数及第三参数的乘积结果，作为参考像素点的参考窗口的初始灰度混乱程度；

获取目标最终搜索框内每个像素点的参考窗口的初始灰度混乱程度，将所有初始灰度混乱程度进行线性归一化处理，得到的结果作为目标最终搜索框内每个像素点的参考窗口的灰度混乱程度；

根据宽度因子和灰度混乱程度，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性。

进一步地，所述根据宽度因子和灰度混乱程度，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性，包括的具体步骤如下：

将目标最终搜索框中除中心像素点外任意一个像素点，记为第一参考像素点；

;

式中，为目标最终搜索框的中心像素点的宽度因子，/>为目标最终搜索框的第一参考像素点的宽度因子，/>为目标最终搜索框的第一参考像素点与中心像素点连线与水平右向的夹角值，/>为预设的一个超参数，/>为目标最终搜索框的中心像素点的参考窗口的灰度混乱程度，/>为目标最终搜索框的第一参考像素点的参考窗口的灰度混乱程度，为目标最终搜索框的中心像素点与第一参考像素点的相似因子；

获取目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似因子，将所有相似因子进行线性归一化处理，得到的结果作为目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似性。

进一步地，所述根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域，包括的具体步骤如下：

将任意一个最终超像素块，记为目标最终超像素块；

将目标最终超像素块的边缘像素点中，边缘像素点之间的最大欧式距离，记为第一距离；将目标最终超像素块的边缘像素点中，边缘像素点之间最大欧式距离的连线，记为第一线段；过第一线段作垂线，将垂线与目标最终超像素块的边缘相交的两个边缘像素点分别记为第一边缘像素点和第二边缘像素点，将第一边缘像素点与第二边缘像素点之间的欧式距离，记为；将第一距离与/>的比值结果，作为目标最终超像素块的缺陷参数；

获取每个最终超像素块的缺陷参数，将所有最终超像素块的缺陷参数进行线性归一化处理，得到的结果作为每个最终超像素块的缺陷因子；

预设一个第三阈值，对于每个最终超像素块的缺陷因子，将缺陷因子小于或等于第三阈值的最终超像素块在导线表面灰度图的区域作为缺陷区域。

本发明的技术方案的有益效果是：本发明在采集到电力铁塔的导线表面灰度图后，对导线表面灰度图进行分块得到初始超像素块和种子点进而得到初始搜索框，通过对初始搜索框内像素点的梯度值和梯度方向进行分析得到每个初始搜索框的交界线边缘像素点，交界线边缘像素点反映导线的单线绞合区域，而后根据交界线边缘像素点的梯度方向得到每个种子点的第一搜索框，第一搜索框的方向与导线中的单线纹理方向一致，使得后续进行超像素分割时效率更快，能够让搜索框尽量贴合图像的纹理特征，增加超像素块的完整性，避免出现过多截断变形的超像素块，而后根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框，最终搜索框调整了第一搜索框的大小，使得对导线正常区域进行超像素分割时，增加缺陷区域与非缺陷区域的超像素块的形状差异，减少误检的概率；最终根据最终搜索框、最终搜索框的中心像素点与除中心像素点外每个像素点的相似性完成超像素分割，得到导线表面灰度图的缺陷区域，大大降低因同一区域内部的灰度差异过大导致超像素过于分散的问题，使得缺陷区域超像素块的边界位置更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于人工智能的电力铁塔部件缺陷检测方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于人工智能的电力铁塔部件缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于人工智能的电力铁塔部件缺陷检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于人工智能的电力铁塔部件缺陷检测方法的步骤流程图，该方法包括以下步骤：

步骤S001、采集电力铁塔的导线表面灰度图，对灰度图进行分块得到种子点。

需要说明的是，本实施例的目的是利用超像素分割算法，结合像素在不同方向上的纹理表现特征和其周围的像素表现来优化搜索框并结合相似合并条件，解决常规算法容易出现截断变形超像素的问题，进而完成缺陷检测，在开始分析之前，首先需要采集图像。

具体的，采集电力铁塔的导线表面图像，灰度化得到导线表面灰度图，具体如下：

利用无人机搭载的高清相机对电力铁塔的导线进行拍摄，获得拍摄的RGB图像，将该RGB图像输入到语义分割网络中，得到导线区域和背景区域，将RGB图像中导线区域内所有像素点构成的图像，记为导线表面图像，将导线表面图像进行灰度化，得到导线表面灰度图，对导线表面灰度图进行高斯滤波去噪，得到去噪之后的导线表面灰度图，本实施例中将去噪之后的导线表面灰度图仍记为导线表面灰度图，后续无特殊说明，导线表面灰度图指代的都是经过去噪的导线表面灰度图。

需要说明的是，本实施例使用的语义分割网络为DeepLabV3网络，该网络是公知技术，本实施例不再赘述该网络的具体结果和训练方法，通过分割减少无关区域对检测结果的影响。

进一步地，对导线表面灰度图等区域分块，得到导线表面灰度图的若干初始超像素块，具体如下：

将导线表面灰度图记为，/>为导线表面灰度图像的长度，/>为导线表面灰度图像的宽度，导线表面灰度图通过等比例分块得到/>个大小为/>的导线表面分块图像，记为导线表面灰度图的若干初始超像素块，/>为预设的一个第一分块比例，/>为预设的一个第二分块比例，本实施例中以/>，/>进行叙述，具体实施时可以设置为其他值。

需要说明的是，当分块比例不能使得导线表面灰度图等比例分块时，即对导线表面灰度图中的元素进行分块操作时，可能会超出导线表面灰度图的边界，此时，本实施例利用二次线性插值的方法将导线表面灰度图超出边界的部分进行插值填充数据。

进一步地，根据初始超像素块得到导线表面灰度图进行超像素分割时的若干种子点，具体如下：

将每个初始超像素块的中心像素点作为初始种子点，对于任意一个初始种子点，以该初始种子点为中心，构建一个的窗口，/>为预设的一个第一数值，本实施例以/>进行叙述，获取该窗口范围内每个像素点的梯度值；需要说明的是，本实施中利用Sobel算子获取窗口范围内每个像素点的梯度值，具体获取为现有方法，本实施例不再赘述；将该窗口范围内梯度值的最小值对应的像素点，作为导线表面灰度图进行超像素分割时的一个种子点。

需要说明的是，选取种子点的目的是，防止初始种子点处于图像中梯度较高的边缘位置，导致超像素变形等影响分割结果。

至此，得到导线表面灰度图进行超像素分割时的若干种子点。

步骤S002、根据种子点得到初始搜索框，根据初始搜索框的交界线边缘像素点得到第一搜索框。

需要说明的是，由于导线的特殊构造原因，其表面的绞合交界处虽然不属于缺陷但灰度值很低，很容易让超像素发生截断或变形，但这些绞合区域的方向一致且具有周期性，可以利用种子点在不同方向上的纹理表现来调整对图像进行超像素分割时的搜索框的方向，使搜索框尽量符合局部纹理特征。此外，常规的超像素算法是基于像素间的灰度差异和距离来进行超像素合并的，由于导线的高度不同以及损伤区域各处的损伤程度无法确定，使得同一区域中的像素也会产生较大的灰度差异，划分出的超像素块过于分散，然而同一区域中的像素在邻域像素表现、特定方向的纹理表现、搜索框的特征上都有一定的相似性，因此需要根据像素之间的像素性表现来修改超像素的合并条件，获得完整、准确的超像素分割结果。

需要说明的是，在电力铁塔导线表面图像中，存在多条方向、间距相同的绞合交界线，这些交界线的方向无法确定，通常与超像素搜索框的方向不同。为了使得到的超像素块更加完整且容易识别，需要让搜索框的长度方向与交界线方向一致，让搜索框符合局部纹理特征避免被边缘处截断。因此，需要确定种子点周围的纹理分布情况，即根据种子点周围其它像素的边缘表现筛选出交界线边缘像素，再通过调整搜索框的方向与交界线边缘像素的梯度方向一致，获得符合图像特征的搜索框。

进一步需要说明的是，首先对种子点周围一定范围内的像素进行边缘表现分析。因为交界线边缘像素的梯度方向基本一致，且梯度值普遍较大，因此可以利用种子点周围像素的梯度方向和梯度值特征筛选出交界线边缘像素。

具体的，根据种子点得到每个种子点的初始搜索框，具体如下：

对于任意一个种子点，以该种子点为中心，构建一个的窗口，记为该种子点的初始搜素框，/>为预设的一个第二数值，/>为预设的一个第三数值，本实施例以89，/>进行叙述。

需要说明的是，初始搜素框的边长与导线表面灰度图的边长是平行的，且导线表面灰度图像的长度所对应的边长和初始搜素框最长的边长平行，已知常规超像素分割算法的搜索框大小为超像素块大小的两倍，因此本实施例以初始搜索框为的进行分析。

进一步地，根据初始搜索框内像素点的梯度值和梯度方向，得到每个初始搜索框的交界线边缘像素点，具体如下：

将任意一个种子点，记为目标种子点，将目标种子点的初始搜索框，记为目标初始搜索框；获取目标初始搜索框内每个像素点的梯度值和梯度方向；需要说明的是，本实施中利用Sobel算子获取目标初始搜索框内每个像素点的梯度值和梯度方向，具体获取为现有方法，本实施例不再赘述；以梯度方向为横轴，每度作为一个梯度方向单位，/>为预设的一个第四数值，本实施例以/>进行叙述，获取每个梯度方向单位对应的像素点数量，将像素点数量作为纵轴，构建梯度方向分布直方图；例如0°-10°为一个梯度方向单位，则大于0°且小于或等于10°的梯度方向均为该梯度方向单位。

将梯度方向分布直方图中任意一个梯度方向单位，记为目标梯度方向单位。

;

式中，为目标梯度方向单位对应的所有像素点的梯度值的平均值，/>为目标梯度方向单位对应的像素点的数量，/>为目标梯度方向单位对应的像素点的边缘表现强度。

获取每个梯度方向单位对应的像素点的边缘表现强度，将边缘表现强度最大值对应的梯度方向单位，记为第一梯度方向单位，将第一梯度方向单位对应的像素点，作为目标初始搜索框的交界线边缘像素点。

进一步地，根据初始搜索框的交界线边缘像素点的梯度方向得到每个种子点的第一搜索框，具体如下：

获取目标初始搜索框所有交界线边缘像素点的梯度方向的均值，记为第一均值，将目标初始搜索框中长度最短的边长作为目标初始搜索框的宽度边长，将目标初始搜索框的宽度边长与水平右向的夹角值，记为第一夹角值，将目标初始搜索框沿顺时针进行旋转，旋转时目标初始搜索框的中心像素点固定不动，直至第一夹角值等于第一均值，得到旋转之后的目标初始搜索框，记为目标种子点的第一搜索框。

至此，得到每个种子点的第一搜索框。

步骤S003、根据第一搜索框的交界线边缘像素点得到宽度因子和最终搜索框。

需要说明的是，确定了种子点的位置、搜索框的方向之后，为了增加缺陷区域与非缺陷区域的超像素块的形状差异，需要让非缺陷区域中种子点的矩形搜索框长度更长，这样可以使得非缺陷区域的超像素块更加趋于长条状，便于分别。因此通过计算种子点所处位置属于非缺陷区域的可能性，并以此调整搜索框的形状，可能性越大则搜索框长度越大、宽度越小。已知非缺陷区域存在较多单导线的绞合交界线，导线是由若干根单线按一定的方向和规则绞合在一起形成的整体绞合线，本实施例中单导线指代的是导线中的单线，交界线为相邻单导线之间的交界窄区域，交界线之间的方向相同、两两间距相同、灰度表现也相同，具有一定的周期性。因此，对于非缺陷区域中的种子点，由于其搜索框宽方向与交界线长方向垂直，可以判断出其与搜索框宽方向相同的同一直线上的交界线边缘像素也具有一定周期性。

具体的，根据第一搜索框获取每个第一搜索框的若干第一种子点，具体如下：

将任意一个种子点的第一搜索框，记为目标第一搜索框；将目标第一搜索框的中心像素点，记为第一中心点；获取过第一中心点且与目标第一搜索框最短边长平行的一条直线，记为第一直线；在第一直线中，以第一中心点为中心，邻域半径为的范围内的像素点，记为目标第一搜索框的第一种子点，/>为预设的一个第五数值，本实施例以进行叙述；需要说明的是，第一种子点不包含种子点。

进一步地，根据第一种子点的梯度值和梯度方向，得到每个第一搜索框的交界线边缘像素点，具体如下：

获取目标第一搜索框内每个第一种子点的梯度值和梯度方向；需要说明的是，本实施中利用Sobel算子获取每个第一种子点的梯度值和梯度方向，具体获取为现有方法，本实施例不再赘述；以梯度方向为横轴，每度作为一个梯度方向单位，/>为预设的一个第四数值，获取每个梯度方向单位对应的像素点数量，将像素点数量作为纵轴，构建第一梯度方向分布直方图。

将第一梯度方向分布直方图中任意一个梯度方向单位，记为第二梯度方向单位。

;

式中，为第二梯度方向单位对应的所有像素点的梯度值的平均值，/>为第二梯度方向单位对应的像素点的数量，/>为第二梯度方向单位对应的像素点的边缘表现强度。

获取每个梯度方向单位对应的像素点的边缘表现强度，将边缘表现强度最大值对应的梯度方向单位，记为第三梯度方向单位，将第三梯度方向单位对应的像素点，作为目标第一搜索框的交界线边缘像素点。

进一步地，根据第一搜索框的交界线边缘像素点，得到每个第一搜索框内每个交界线边缘像素点的次序值，具体如下：

将第一直线与水平右向的夹角，记为第二夹角；将目标第一搜索框的所有交界线边缘像素点沿第二夹角的方向进行排序，得到每个交界线边缘像素点的次序值；需要说明的是，第一搜索框的交界线边缘像素点均为第一直线上的像素点，次序值具体为：例如某个交界线边缘像素点沿第二夹角的方向进行排序为第10个交界线边缘像素点，则该交界线边缘像素点的次序值为10。

进一步地，根据交界线边缘像素点的次序值和灰度值，得到每个第一搜索框的中心像素点的宽度因子，具体如下：

将目标第一搜索框的所有交界线边缘像素点构成的集合，记为第一集合。

;

式中，为第一集合中交界线边缘像素点的个数，/>为第一集合中第/>个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为第一集合中第个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为取绝对值，/>为第一集合中所有交界线边缘像素点的灰度值的方差，/>为目标第一搜索框的中心像素点的初始宽度因子，/>为预设的一个超参数，本实施例以/>进行叙述。

获取每个第一搜索框的中心像素点的初始宽度因子，将所有第一搜索框的中心像素点的初始宽度因子进行线性归一化处理，得到的结果作为每个第一搜索框的中心像素点的宽度因子。

需要说明的是，表示交界线边缘像素点的距离差异的均值，该均值越小则交界线边缘像素点的周期性越强，均值越大则交界线边缘像素点的周期性越弱；方差/>越小则交界线边缘像素点的灰度值越均匀，周期性越强，方差/>越大则交界线边缘像素点的灰度值越不均匀，周期性越弱；目标第一搜索框的中心像素点的宽度因子反映目标第一搜索框内中心像素点沿宽度两侧单导线之间宽度的周期性。

需要说明的是，宽度因子反映目标第一搜索框内中心像素点沿宽度两侧单导线之间宽度的周期性，若其大于或等于预设的阈值，认为单导线在沿宽度所在的方向上具有较强的周期性，此时第一搜索框的中心点位于非缺陷区域的可能性较高，需要调整搜索框的形状。

具体的，根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框，具体如下：

获取目标第一搜索框的最终长度和最终宽度所满足的方程组：

;

式中，表示目标第一搜索框的长度，也记为预设的一个第二数值；/>表示目标第一搜索框的宽度，也记为预设的一个第三数值；/>为目标第一搜索框的宽度因子，/>为目标第一搜索框的最终长宽比，/>为预设的一个第二阈值，本实施例以/>进行叙述，/>为目标第一搜索框的最终长度，/>为目标第一搜索框的最终宽度；需要说明的是，目标第一搜索框的长度为最大边长，宽度为最小边长。

求解上述方程组，获得目标第一搜索框的最终长度Y和最终宽度X。

将目标第一搜索框的最终长度和最终宽度确定的搜索框，作为目标第一搜索框对应种子点的最终搜索框。

需要说明的是，表示目标第一搜索框的初始长宽比，通过宽度因子对目标第一搜索框的初始长宽比进行调整，得到目标第一搜索框的最终长宽比，进而得到对应种子点的最终搜索框。

至此，得到每个种子点的最终搜索框。

步骤S004、根据最终搜索框和宽度因子得到最终搜索框内像素点的参考窗口的灰度混乱程度和像素点的相似性，根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域。

需要说明的是，在判断像素点与种子点的相似度时，像素点的灰度表现是最主要的特征之一。由于缺陷区域各处的像素灰度差异较大，所以缺陷区域像素周围的灰度变化不稳定、混乱程度高，而非缺陷区域像素周围的灰度变化稳定、混乱程度低，因子基于这两个特征，分析灰度值的混乱程度。

具体的，根据最终搜索框获取最终搜索框内每个像素点的参考窗口，根据参考窗口中像素点的灰度值，得到每个最终搜索框内每个像素点的参考窗口的灰度混乱程度，具体如下：

将任意一个种子点的最终搜索框，记为目标最终搜索框；将目标最终搜索框中任意一个像素点，记为参考像素点；以参考像素点为中心，构建一个的窗口，记为参考像素点的参考窗口，/>为预设的一个第六数值，本实施例以/>进行叙述。需要说明的是，若参考像素点的参考窗口超过导线表面灰度图的范围，此时本实施例利用二次线性插值的方法将超出导线表面灰度图的部分进行插值填充数据。

;

式中，为参考像素点的参考窗口中第/>个像素点的灰度值的一阶前向差分，/>为取绝对值，/>为参考像素点的参考窗口中像素点的数量；/>为参考像素点的参考窗口中从第一个像素点的灰度值的一阶前向差分开始，一阶前向差分符号发生改变的次数；/>为参考像素点的参考窗口中灰度值的信息熵；需要说明的是，获取参考窗口中灰度值的信息熵为现有方法，本实施例不再赘述；/>为参考像素点的参考窗口的初始灰度混乱程度；需要说明的是，获取第/>个像素点的灰度值的一阶前向差分为现有方法，例如/>。

获取目标最终搜索框内每个像素点的参考窗口的初始灰度混乱程度，将所有初始灰度混乱程度进行线性归一化处理，得到的结果作为目标最终搜索框内每个像素点的参考窗口的灰度混乱程度。

需要说明的是，表示参考窗口范围内灰度值的变化程度的均值，该均值越大，参考窗口范围内像素点的灰度变化程度就越大，反之越小；一阶前向差分符号发生改变的次数/>表示灰度值的增减方向发生变化，变化次数越多，则参考窗口范围内像素点的灰度值越不稳定，变化次数越少，则参考窗口范围内像素点的灰度值越稳定；/>表示参考窗口范围内像素点的灰度值的混乱程度，熵值越大则参考窗口范围内的信息量越大，反之则越小。通过对像素邻域内的灰度混乱程度进行分析，便于后续利用灰度特征计算像素与对应种子点的相似性。利用这种方法可以结合像素与种子点周围的像素表现对它们进行综合相似性分析，大大降低因同一区域内部的灰度差异过大导致超像素过于分散的问题，使得缺陷区域超像素块的边界位置更加准确。

需要说明的是，通过以上步骤可以得到宽度因子以及像素的灰度特征，之后便可以利用这两个特征计算像素点与种子点即中心点的相似性。在计算像素点与种子点的相似性时，首先需要判断它们所处区域一致性，其次需要关注它们的位置特点，让非缺陷区域的种子点尽量与长度方向上较近的像素点合并，以增强其形状特征。而宽度因子可以表示像素属于非缺陷区域的可能性，因此对每个像素构建各自的搜索框，以宽度因子作为权值，当宽度因子较大时就着重增强像素点在位置上的相似性特征，当宽度因子较小时则着重增强像素点在灰度表现上的相似性特征。

具体的，根据宽度因子和灰度混乱程度，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性，具体如下：

将目标最终搜索框中除中心像素点外任意一个像素点，记为第一参考像素点；需要说明的是，若目标最终搜索框的长度为奇数，宽度为偶数，则选取目标最终搜索框中心两个像素点的上方像素点为中心像素点；若目标最终搜索框的长度为偶数，宽度为奇数，则选取目标最终搜索框中心两个像素点的左侧像素点为中心像素点。

;

式中，为目标最终搜索框的中心像素点的宽度因子，/>为目标最终搜索框的第一参考像素点的宽度因子，/>为取绝对值，/>为目标最终搜索框的第一参考像素点与中心像素点连线与水平右向的夹角值，/>为预设的一个超参数，/>为目标最终搜索框的中心像素点的参考窗口的灰度混乱程度，/>为目标最终搜索框的第一参考像素点的参考窗口的灰度混乱程度，/>为目标最终搜索框的中心像素点与第一参考像素点的相似因子。

获取目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似因子，将所有相似因子进行线性归一化处理，得到的结果作为目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似性。

需要说明的是，获取目标最终搜索框的第一参考像素点的宽度因子和获取目标最终搜索框的中心像素点的宽度因子的方法相同，本实施例不再赘述；在获取目标最终搜索框的第一参考像素点的宽度因子时，进行线性归一化时，归一化的对象为目标最终搜索框中除中心点外每个像素点的宽度因子。

需要说明的是，表示宽度因子的差异，/>表示两个像素点的宽度因子的相似度，目标最终搜索框的第一参考像素点与中心像素点连线与水平右向的夹角值/>越大，说明参考像素点与中心像素点的在长度所在方向的直线距离越远，则它们的合并优先级就越低，反之夹角越小则合并优先级就越高；/>表示像素点对应的灰度混乱程度的差异，差异越大则相似性越低，差异越小相似性越高。其中，/>、分别为连接线夹角、灰度混乱程度差异的权值，表示了宽度因子的相似度较高时就着重增强像素点在位置上的相似性特征，宽度因子的相似度较低时则着重增强像素点在灰度表现上的相似性特征。/>

进一步地，根据最终搜索框、最终搜索框的中心像素点与除中心像素点外每个像素点的相似性对导线表面灰度图进行超像素分割，得到导线表面灰度图的若干最终超像素块；需要说明的是，根据最终搜索框、最终搜索框的中心像素点与除中心像素点外每个像素点的相似性对导线表面灰度图进行超像素分割，得到导线表面灰度图的若干最终超像素块为超像素分割的现有方法，本实施例不再赘述。

需要说明的是，划分出完整的超像素图像后，对图像中的超像素块进行分析，非缺陷区域中的超像素块多呈长度较大、长方向与交界线边缘方向一致的矩形，而缺陷区域中的超像素块则多为无特征的不规则形状。对于每个超像素块，将其内部距离最远的两个像素之间的距离视为超像素块的长，与长垂直的最大距离视为超像素块的宽，计算超像素块属于非缺陷区域的可能性。

具体的，根据最终超像素块的边缘像素点之间的距离得到每个最终超像素块的缺陷因子，具体如下：

将任意一个最终超像素块，记为目标最终超像素块。

;

式中，为目标最终超像素块的边缘像素点中，边缘像素点之间的最大欧式距离；的具体获取方法如下：将目标最终超像素块的边缘像素点中，边缘像素点之间最大欧式距离的连线，记为第一线段；过第一线段作垂线，将垂线与目标最终超像素块的边缘相交的两个边缘像素点分别记为第一边缘像素点和第二边缘像素点，将第一边缘像素点与第二边缘像素点之间的欧式距离，记为/>；/>为目标最终超像素块的缺陷参数。

获取每个最终超像素块的缺陷参数，将所有最终超像素块的缺陷参数进行线性归一化处理，得到的结果作为每个最终超像素块的缺陷因子。

需要说明的是，表示最终超像素点的长宽比，比值越大最终超像素块的形状越趋于矩形，其属于非缺陷区域的可能性越大；比值越小最终超像素块的形状越不趋于矩形，其属于缺陷区域的可能性越大。

进一步地，依据缺陷因子得到导线表面灰度图的缺陷区域，具体如下：

预设一个第三阈值，本实施例以第三阈值为0.3进行叙述，对于每个最终超像素块的缺陷因子，将缺陷因子小于或等于第三阈值的最终超像素块在导线表面灰度图的区域作为缺陷区域。

至此，通过对导线表面灰度图进行超像素分割得到缺陷区域，完成基于人工智能的电力铁塔部件缺陷检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，该方法包括以下步骤：

采集电力铁塔的导线表面图像，灰度化得到导线表面灰度图；对导线表面灰度图等区域分块，得到导线表面灰度图进行超像素分割时的若干种子点；

根据种子点得到每个种子点的初始搜索框；根据初始搜索框内像素点的梯度值和梯度方向，得到每个初始搜索框的交界线边缘像素点；根据初始搜索框的交界线边缘像素点的梯度方向得到每个种子点的第一搜索框；

根据第一搜索框获取每个第一搜索框的若干第一种子点；根据第一种子点的梯度值和梯度方向，得到每个第一搜索框的交界线边缘像素点；根据第一搜索框的交界线边缘像素点，得到每个第一搜索框的中心像素点的宽度因子；根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框；

根据最终搜索框获取最终搜索框内每个像素点的参考窗口，根据参考窗口中像素点的灰度值和宽度因子，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性；根据最终搜索框和相似性对导线表面灰度图进行超像素分割，得到导线表面灰度图的若干最终超像素块；

根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域。

2.根据权利要求1所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据初始搜索框内像素点的梯度值和梯度方向，得到每个初始搜索框的交界线边缘像素点，包括的具体步骤如下：

将任意一个种子点，记为目标种子点，将目标种子点的初始搜索框，记为目标初始搜索框；获取目标初始搜索框内每个像素点的梯度值和梯度方向；以梯度方向为横轴，每度作为一个梯度方向单位，/>为预设的一个第四数值，获取每个梯度方向单位对应的像素点数量，将像素点数量作为纵轴，构建梯度方向分布直方图；

将梯度方向分布直方图中任意一个梯度方向单位，记为目标梯度方向单位；

将目标梯度方向单位对应的所有像素点的梯度值的平均值与目标梯度方向单位对应的像素点的数量的乘积结果，作为目标梯度方向单位对应的像素点的边缘表现强度；

获取每个梯度方向单位对应的像素点的边缘表现强度，将边缘表现强度最大值对应的梯度方向单位，记为第一梯度方向单位，将第一梯度方向单位对应的像素点，作为目标初始搜索框的交界线边缘像素点。

3.根据权利要求2所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据初始搜索框的交界线边缘像素点的梯度方向得到每个种子点的第一搜索框，包括的具体步骤如下：

获取目标初始搜索框所有交界线边缘像素点的梯度方向的均值，记为第一均值，将目标初始搜索框中长度最短的边长作为目标初始搜索框的宽度边长，将目标初始搜索框的宽度边长与水平右向的夹角值，记为第一夹角值，将目标初始搜索框沿顺时针进行旋转，旋转时目标初始搜索框的中心像素点固定不动，直至第一夹角值等于第一均值，得到旋转之后的目标初始搜索框，记为目标种子点的第一搜索框。

4.根据权利要求1所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据第一搜索框获取每个第一搜索框的若干第一种子点，包括的具体步骤如下：

将任意一个种子点的第一搜索框，记为目标第一搜索框；将目标第一搜索框的中心像素点，记为第一中心点；获取过第一中心点且与目标第一搜索框最短边长平行的一条直线，记为第一直线；在第一直线中，以第一中心点为中心，邻域半径为的范围内的像素点，记为目标第一搜索框的第一种子点，/>为预设的一个第五数值。

5.根据权利要求4所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据第一搜索框的交界线边缘像素点，得到每个第一搜索框的中心像素点的宽度因子，包括的具体步骤如下：

将第一直线与水平右向的夹角，记为第二夹角；将目标第一搜索框的所有交界线边缘像素点沿第二夹角的方向进行排序，得到每个交界线边缘像素点的次序值；

根据交界线边缘像素点的次序值和灰度值，得到每个第一搜索框的中心像素点的宽度因子。

6.根据权利要求5所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据交界线边缘像素点的次序值和灰度值，得到每个第一搜索框的中心像素点的宽度因子，包括的具体步骤如下：

将目标第一搜索框的所有交界线边缘像素点构成的集合，记为第一集合；

;

式中，为第一集合中交界线边缘像素点的个数，/>为第一集合中第/>个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为第一集合中第/>个交界线边缘像素点与第/>个交界线边缘像素点之间的欧式距离，/>为取绝对值，/>为第一集合中所有交界线边缘像素点的灰度值的方差，/>为目标第一搜索框的中心像素点的初始宽度因子，/>为预设的一个超参数；

获取每个第一搜索框的中心像素点的初始宽度因子，将所有第一搜索框的中心像素点的初始宽度因子进行线性归一化处理，得到的结果作为每个第一搜索框的中心像素点的宽度因子。

7.根据权利要求1所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据第一搜索框的边长和宽度因子得到每个种子点的最终搜索框，包括的具体步骤如下：

将任意一个种子点的第一搜索框，记为目标第一搜索框；

获取目标第一搜索框的最终长度和最终宽度所满足的方程组：

;

式中，表示目标第一搜索框的长度；/>表示目标第一搜索框的宽度；/>为目标第一搜索框的宽度因子，/>为目标第一搜索框的最终长宽比，/>为预设的一个第二阈值，/>为目标第一搜索框的最终长度，/>为目标第一搜索框的最终宽度；

求解目标第一搜索框的最终长度和最终宽度所满足的方程组，获得目标第一搜索框的最终长度Y和最终宽度X；

将目标第一搜索框的最终长度和最终宽度确定的搜索框，作为目标第一搜索框对应种子点的最终搜索框。

8.根据权利要求1所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据最终搜索框获取最终搜索框内每个像素点的参考窗口，根据参考窗口中像素点的灰度值和宽度因子，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性，包括的具体步骤如下：

将任意一个种子点的最终搜索框，记为目标最终搜索框；将目标最终搜索框中任意一个像素点，记为参考像素点；以参考像素点为中心，构建一个的窗口，记为参考像素点的参考窗口，/>为预设的一个第六数值；

获取参考像素点的参考窗口中像素点的灰度值的一阶前向差分绝对值的均值，记为第一参数；将参考像素点的参考窗口中从第一个像素点的灰度值的一阶前向差分开始，一阶前向差分符号发生改变的次数，记为第二参数；将参考像素点的参考窗口中灰度值的信息熵，记为第三参数；将第一参数、第二参数及第三参数的乘积结果，作为参考像素点的参考窗口的初始灰度混乱程度；

获取目标最终搜索框内每个像素点的参考窗口的初始灰度混乱程度，将所有初始灰度混乱程度进行线性归一化处理，得到的结果作为目标最终搜索框内每个像素点的参考窗口的灰度混乱程度；

根据宽度因子和灰度混乱程度，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性。

9.根据权利要求8所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据宽度因子和灰度混乱程度，得到每个最终搜索框的中心像素点与除中心像素点外每个像素点的相似性，包括的具体步骤如下：

将目标最终搜索框中除中心像素点外任意一个像素点，记为第一参考像素点；

;

式中，为目标最终搜索框的中心像素点的宽度因子，/>为目标最终搜索框的第一参考像素点的宽度因子，/>为目标最终搜索框的第一参考像素点与中心像素点连线与水平右向的夹角值，/>为预设的一个超参数，/>为目标最终搜索框的中心像素点的参考窗口的灰度混乱程度，/>为目标最终搜索框的第一参考像素点的参考窗口的灰度混乱程度，/>为目标最终搜索框的中心像素点与第一参考像素点的相似因子；

获取目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似因子，将所有相似因子进行线性归一化处理，得到的结果作为目标最终搜索框的中心像素点与目标最终搜索框中除中心像素点外每个像素点的相似性。

10.根据权利要求1所述基于人工智能的电力铁塔部件缺陷检测方法，其特征在于，所述根据最终超像素块的边缘像素点之间的距离得到导线表面灰度图的缺陷区域，包括的具体步骤如下：

将任意一个最终超像素块，记为目标最终超像素块；

将目标最终超像素块的边缘像素点中，边缘像素点之间的最大欧式距离，记为第一距离；将目标最终超像素块的边缘像素点中，边缘像素点之间最大欧式距离的连线，记为第一线段；过第一线段作垂线，将垂线与目标最终超像素块的边缘相交的两个边缘像素点分别记为第一边缘像素点和第二边缘像素点，将第一边缘像素点与第二边缘像素点之间的欧式距离，记为；将第一距离与/>的比值结果，作为目标最终超像素块的缺陷参数；

获取每个最终超像素块的缺陷参数，将所有最终超像素块的缺陷参数进行线性归一化处理，得到的结果作为每个最终超像素块的缺陷因子；

预设一个第三阈值，对于每个最终超像素块的缺陷因子，将缺陷因子小于或等于第三阈值的最终超像素块在导线表面灰度图的区域作为缺陷区域。