CN106570853A - 一种形状与颜色融合的绝缘子识别与缺陷检测方法 - Google Patents

Abstract

本发明涉及一种形状与颜色融合的绝缘子识别与缺陷检测的方法。首先在无人机巡检图像上通过绝缘子片排列特征来识别潜在绝缘子区域，进一步依据绝缘子颜色显著性特征来检测误识别区域，并根据绝缘子先验知识模型中的主颜色成份来补偿识别不完整的绝缘子区域，最终通过绝缘子片位置关系来诊断绝缘子掉片缺陷。本发明通过融合了绝缘子的形状与颜色特征，能够有效的从复杂的背景中准确、完整的识别出绝缘子区域。再通过分析绝缘子片位置关系来检测绝缘子掉片缺陷。该发明可以有效应用到无人机巡检高压输电线路业务中。

Description

一种形状与颜色融合的绝缘子识别与缺陷检测方法

技术领域

本发明涉及到一种形状与颜色融合的绝缘子识别与缺陷检测方法。特别涉及到在无人机图像上提取各个方向的线段，根据绝缘子片的排列特征聚类线段，识别潜在绝缘子区域，通过绝缘子颜色显著性特征来检测误识别区域与补偿识别不完整区域，并通过分析图像中相邻绝缘子片间位置关系来检测绝缘子掉片缺陷。

背景技术

绝缘子是架空高压输电线路中最常见的部件之一，绝缘子对架空高压线路的正常运行起到了十分重要的作用。由于绝缘子长期暴露在野外，一定程度上将受野外环境的侵蚀，通常绝缘子的缺陷包括有：异物、闪络、自爆(掉片)、掉串等。其中绝缘子的自爆缺陷是一种十分紧急需要尽快处理的缺陷种类。对于绝缘子自爆缺陷的检测对于保证线路的稳定运行起到了十分重要的作用。

绝缘子识别的研究比较多，主要通过绝缘子的颜色或者形状特征来识别绝缘子。常用的方法包括：1)在图像中依据绝缘子的颜色信息对图像进行分割来识别绝缘子区域；2)在图像中分析绝缘子的形状特征来识别绝缘子区域。黄宵宁，张真良.直升机巡检航拍图像中绝缘子图像的提取算法[J].电网技术，2010年，第34卷第1期。提出了通过对线路图像进行RGB颜色空间到HSI颜色空间的转换，然后将HSI中的S分量作为输入采用遗传算法对图像中的绝缘子区域进行分 割。张少平，杨忠，黄宵宁，吴怀群，顾元政.航拍图像中玻璃绝缘子自爆缺陷的检测及定位[J]，太赫兹科学与电子信息学报，2013年.8月，第11卷第4期。提出了将线路图像进行RGB颜色空间到HSI颜色空间的转换，然后通过使用最大类间方差法对H和S分量进行分割，再通过使用直方图来统计的方法来识别绝缘子所在区域。马帅营，安居白等.基于区域定位的绝缘子图像分割[J]，电力建设,2010年7月，第31卷第7期。提出了一种根据HIS颜色空间中的S分量来分割绝缘子图像的方法来识别绝缘子。张晶晶,韩军等.形状感知的绝缘子识别与缺陷诊断方法[J],中国图象图形学报，2014年8月11日，第19卷第8期。提出了一种通过感知绝缘子边缘平行特征的方式来识别绝缘子。由于在野外采集线路图像时受当时的光照条件、拍摄角度、背景人造景物等因素的影响，使得仅使用绝缘子的颜色信息或形状信息，将无法保证识别的准确性与识别的完整性。

破损、裂纹、自爆是研究比较多的绝缘子缺陷类型。通过分析绝缘子边缘或者边缘对应线段来检测绝缘子破损、裂纹等缺陷，这类方法比较容易受野外干扰，需要进一步提高鲁棒性。对于绝缘子掉片的缺陷通常的检测方法包括：1)采用分析绝缘子区域图像纹理特征的方法，找到纹理变化较大区域的方法；2)通过分析绝缘子形状的完整性的方法。张晶晶,韩军等.形状感知的绝缘子识别与缺陷诊断方法[J],中国图象图形学报，2014年8月11日，第19卷第8期。朱国君，韩军等.基于纹理的绝缘子缺陷诊断方法.中国:201110303911[P].2012.06.20。均提出了通过纹理的方法对绝缘 子掉片缺陷进行诊断。该方法在计算惯性矩时由于无法将背景与绝缘子分开，导致计算出的惯性矩实际不能真实的反映绝缘子区域的真实情况，给检测带来一定的干扰。张少平，杨忠，黄宵宁，吴怀群，顾元政.航拍图像中玻璃绝缘子自爆缺陷的检测及定位[J]，太赫兹科学与电子信息学报，2013年.8月，第11卷第4期。该方法只考虑了绝缘子内部掉片的场景，没有考虑到绝缘子两端掉片的情况，不能完整的检测出绝缘子掉片缺陷。

发明内容

有鉴于此，本发明的目的就是在图像中提取各个方向线段，依据绝缘子片的排列特征，以及绝缘子片与绝缘子轴之间位置关系，通过聚类各个方向的线段来识别出潜在绝缘子区域。

本发明的另一个目的就是依据绝缘子颜色的显著性特征以及绝缘子先验知识模型中的主颜色成份检测已识别的潜在绝缘子区域是否为误识别。通过使用绝缘子颜色显著性特征对识别的潜在绝缘子区域进行检测，将那些野外符合绝缘子片排列特征的背景纹理去除，保证了识别到的绝缘子区域的可靠性。

本发明的另一个目的就是通过绝缘子先验知识模型中的主颜色成份对识别到的绝缘子区域进行补偿。由于无人机采集过程中的光照条件、飞行稳定性等因素会导致在图像中提取线段时的不完整，进而导致识别到的绝缘子区域的不完整，通过对识别不完整区域的补偿保证了识别到的绝缘子区域的完成性。

本发明的另一个目的就是通过分析相邻绝缘子片间位置关系检 测绝缘子的掉片缺陷。

本发明依据绝缘子片排列特征，以及绝缘子片与绝缘子轴位置关系，聚类在图像中提取的各个方向线段，来识别潜在绝缘子区域。具体步骤如下：

1-1、采用多尺度方向算子提取无人机巡检图像上各方向线段，使用blob连通域结构对线段进行管理。通过分析绝缘子安装方位有四种形态：垂直、水平、斜上、斜下排列。其中受背景纹理干扰较大的是垂直方向安装的绝缘子，故将线段分为水平方向线段blob_hor与其它方向线段blob_others两类；

1-2、分别对步骤1-1中提取得到的两类线段分别进行聚类。对于水平方向的线段，以每条线段中心点的x、y坐标从左到右、从上到下进行排列，得到排列后的水平线段记录为sortblob_hor。依据同一串绝缘子片线段平行特征，以及绝缘子片方向与绝缘子轴方向的垂直关系，在sortblob_hor中聚类出满足条件的潜在绝缘子区域。同样，在blob_others中聚类出满足条件的潜在绝缘子区域。保存下每个潜在绝缘子区域的外接矩形四个顶点坐标、绝缘子的轴方向(clusterslope)、绝缘子片的平均长度(cliplength)、相邻绝缘子片中心点间平均距离(clipdis tan ce)；

由于线路图像中存在一些同样具备绝缘子片排列特征的背景纹理(如民房、麦田、河流等)，仅通过绝缘子片的排列特征来识别绝缘子会引入一些误识别区域，本发明依据绝缘子颜色的显著性特征检测已识别的潜在绝缘子区域是否为误识别，进一步降低对绝缘子检测的误检率。具体步骤如下：

2-1、为绝缘子构建参考区域：以潜在绝缘子区域上下左右四条边为基准，沿着绝缘子轴方向分别向两边扩展绝缘子长度的1/2大小，沿着垂直绝缘子轴方向分别向两边扩展绝缘子宽度的1/2大小。

2-2、对线路图像进行RGB到HSV的颜色空间转换，再将HSV颜色空间非均匀量化成72级，将线路图像转换为72级颜色特征量图像。统计步骤1-1中识别到的潜在绝缘子区域内各像素的颜色量化值，得到一个颜色量化直方图Histogram_Insulator，统计步骤2-1中构建的参考区域内各像素的颜色量化值，得到一个颜色量化直方图Histogram_{Re ference}。分别对直方图Histogram_Insulator与Histogram_{Re ference}进行归一化如公式(1)、(2)所示，得到归一化后的直方图Histogram_InsulatorNor与Histogram_{Re ferenceNor}。再将直方图Histogram_InsulatorNor与Histogram_{Re ferenceNor}中的颜色成份按直方图中的统计量以从大到小的顺序排列，得到SortInsulator(i,j)与Sort Re ference(i,j)(其中i为颜色量化值在排序后的下标，j为颜色量化值在排序前的下标)。获取SortInsulator与Sort Re ference中占据总量80％的前几个颜色成份量化值，得到MaxQuant_Insulator与MaxQuant_{Re ference}(如公式3所示)；

2-3、对步骤2-2中得到的MaxQuant_Insulator与MaxQuant_{Re ference}中的颜色 量化值进行比较(如公式4与5所示)，得到绝缘子区域与参考区域内颜色量化值的差值Diff。如果差值Diff小于0.3，则认为该潜在绝缘子区域为误检测，否则判定该潜在绝缘子区域为可信的绝缘子区域；

Diff＝Σ(SortInsulator(j)-Sort Re ference(j)) (4)

j∈(MaxQuant_Insulator∪MaxQuant_{Re ference}) (5)

2-4、如果步骤2-2中得到的MaxQuant_Insulator中的最大颜色量化值MaxId符合绝缘子先验知识模型中的主颜色成份对应的颜色量化值，则将识别出的绝缘子区域沿轴方向均匀分成三等分Part₁、Part₂、Part₃。统计每个分块中MaxId对应的颜色量化值是否均匀分布(如公式6所示)，如果均匀分布，则判定该绝缘子区域为可信的绝缘子区域；

Part₁(MaxId)-Part₂(MaxId)≈Part₁(MaxId)-Part₃(MaxId) (6)

其中Part_i(MaxId)为量化值MaxId在Part_i中所占的百分率。

2-5、如果步骤2-3或步骤2-4判定该潜在绝缘子区域是可信的，则该潜在区域为绝缘子区域；如果步骤2-3与步骤2-4均判定该潜在区域为误检测的绝缘子区域，则将该潜在绝缘子区域从绝缘子识别结果中剔除；

由于无人机在野外采集线路图像时受光照条件，以及采集过程中飞行的稳定性等因素均会导致图像中的线段无法提取完整，从而使得识别出的绝缘子区域不完整。本发明依据绝缘子先验知识模型中的主颜色成份，对识别不完整的绝缘子区域进行补偿。具体步骤如下：

3-1、对于检测为可信的绝缘子区域，根据步骤2-4中统计出的MaxId值对图像进行分割，遍历整张图像保留下那些颜色量化值为MaxId的像素，得到一张二值图Binary Img。使用blob连通结构将图像中保留下的像素管理起来；

3-2、对于识别的绝缘子区域InsulatorArea，先将落在绝缘子区域内的主颜色成份剔除，不参与后续的聚类。同时依据绝缘子区域大小与被剔除的blob结构包含的像素个数计算出占空比Ratio_org。然后，依据绝缘子的上下左右四个方向对剩余的blob进行聚类。聚类时优先选择沿绝缘子轴的两个方向进行聚类。这样得到四个方向dir1，dir2，dir3，dir4依次在四个方向上聚类，聚类过程如下：

步骤3-2-1、在方向dir1上搜索一个没有参与过补偿的blob_i结构，判定当前blob_i与绝缘子区域的位置关系(在绝缘子区域的上、下、左、右)是否与dir1一致，如果一致再判断blob_i与绝缘子区域的距离是否满足公式7。如果满足，则进一步判断包含blob_i后新的绝缘子区域对应像素占空比Ratio_new是否不小于Ratio_org，如果是则聚类到绝缘子区域内；

dis tan ce＜threshold (7)

当所选的搜索方向为绝缘子轴方向，则threshold选取为绝缘子片间距离；

当所选的搜索方向为垂直绝缘子轴方向，则threshold选取为绝缘子片长度；

当blob_i在绝缘子左边时，distance为blob_i右边界点到绝缘子区域左边界所在直线距离；

当blob_i在绝缘子右边时，distance为blob_i左边界点到绝缘子区域右边界所在直线距离；

当blob_i在绝缘子上边时，distance为blob_i下边界点到绝缘子区域上边界所在直线距离；

当blob_i在绝缘子下边时，distance为blob_i上边界点到绝缘子区域下边界所在直线距离；

步骤3-2-2、类似在在方向dir2上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤3-2-3、类似在在方向dir3上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤3-2-4、类似在在方向dir4上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤3-2-5、如果dir1，dir2，dir3，dir4四个方向上均没有可以聚类的blob_i结构了，则完成本次补偿。否则跳至步骤3-2-1；

绝缘子对输电线路的正常运行起到了非常重要的作用。由于绝缘子长期暴露在野外环境中，会产生很多的故障，常见的故障包括：异物、放电、自爆(掉片)、掉串、破损等。其中绝缘子特有的掉片缺陷是一种对线路正常运行危害极大，需要立刻处理的缺陷。本发明通过分析绝缘子片的位置关系来检测绝缘子的掉片缺陷。具体步骤如下：

4-1、在步骤3-1中Binary Img上获取分割得到的绝缘子区域，将绝缘子区域依据步骤1-2中记录下的轴方向沿顺时针方向旋转，得到 水平方向绝缘子区域；

4-2、由于拍摄角度关系在图像上识别出的绝缘子串之间可能相互交错重叠，导致绝缘子片无法分开。使用blob连通结构管理Insulator Img图像上的像素点，如果存在一个blob连通区域的长度或宽度对应大于Insulator Img长度或宽度的1/3认为该绝缘子图像上绝缘子片重叠到了一起，则跳转至步骤4-3，否则跳转至步骤4-5；

4-3、将步骤4-1中旋转后的绝缘子区域依据步骤1-2中记录下的绝缘子片长度cliplength沿着轴方向进行划分，划分成n(绝缘子串数量)个单串绝缘子cluster_i；

其中Insulator_height为旋转后绝缘子区域垂直高度，cliplength为绝缘子片长度。

4-4、将步骤4-3中cluster_i依据步骤1-2中记录下的绝缘子片间距离沿着垂直绝缘子轴方向进行划分，在图像上得到单串绝缘子中的每一片绝缘子片；

4-5、使用blob连通结构管理每一片绝缘子片，对每一片绝缘子片按照绝缘子片中心点的坐标，从上至下，从左至右进行排列，得到blob_sort。在blob_sort中计算水平方向相邻的绝缘子片中心点间的距离，得到同一串绝缘子上各个相邻绝缘子片间距离dis tan ce_i。计算相邻绝缘子片间距离的均值Mean_{dis tan ce}与相对差如果存在相邻绝缘子片间距离的相对差大于距离均值的1/2，则判定这两片绝缘子间存在掉片缺陷；

4-6、对于每一个内部掉片缺陷，需要再判断一下相邻两个绝缘子片左右边缘的距离来进一步判断是否真正存在掉片而不是误判，如果满足公式12时认为存在掉片，否则认为是误判；

clip_i+1.leftx-clip_i.rightx≥Mean_{dis tan ce} (12)

4-7、如果绝缘子区域包含大于2串的绝缘子，则从blob_sort中获取到每一串绝缘子两端的绝缘子片(其中i表示绝缘子哪一端，j表示每一端的哪一串绝缘子)，分别判断每一端的绝缘子片中心点是否在同一直线上来检测当前端是否存在掉片缺陷(如公式15所示)。如果当前端绝缘子片中心点没有在同一直线上，则判定该端存在掉片缺陷；

如果当前绝缘子仅包含两串绝缘子串，同样从blob_sort中获取到每一串绝缘子两端的绝缘子片分别计算出每一端绝缘子片中心点连线与绝缘子轴方向的夹角，判定夹角小的那一端存在掉片缺陷；

其中slope_cluster为绝缘子轴方向所在直线的斜率。

本发明的优点体现在：

1)、通过利用绝缘子片的形状信息识别出潜在的绝缘子区域，进一步通过绝缘子颜色显著性特征以及绝缘子先验知识模型中的主颜色成份来得到可靠的、完整的绝缘子区域，相比采用形状或颜色特征来检测绝缘子，正确识别率较高，并大大降低了误识别率；

2)、通过利用绝缘子先验知识模型中的主颜色成份对已识别的正确绝缘子区域进行补偿，保证了识别出的绝缘子区域的完整性；

3)、用来做缺陷检测的绝缘子二值图是在同时满足绝缘子形状、颜色特征的区域内，通过绝缘子先验知识模型中的主颜色成份分割得到。保证了获取到的二值图能够完整的反映绝缘子情况，不受复杂背景的干扰，以及光照、拍摄角度的影响；

4)、通过分析在单串中绝缘子片间位置关系来检测绝缘子串内的掉片缺陷，以及通过分析各串绝缘子两端的绝缘子片间的位置关系来检测绝缘子两端的掉片缺陷，能够完整的检测绝缘子掉片缺陷。

附图说明

图1为本发明的总体流程图；

图2为本发明基于绝缘子片排列特征识别潜在绝缘子区域流程图；

图3为本发明基于绝缘子颜色显著性特征与绝缘子先验知识模型中主颜色成份检测误识别绝缘子区域的流程图；

图4为本发明检测绝缘子误识别流程时构建的绝缘子区域与绝缘子参考区域的示意图；

图5为本发明检测绝缘子误识别流程中将绝缘子区域均匀分割成3部分后的示意图；

图6为本发明基于绝缘子先验知识模型中的主颜色成份补偿识别不完整的绝缘子区域的流程图；

图7为本发明绝缘子掉片缺陷诊断流程图；

图8为本发明检测绝缘子一端掉片的流程图；

图9为本发明绝缘子串内部存在掉片示意图；

图10为本发明绝缘子两端存在掉片示意图；

图11为本发明对线路图像灰度化处理的示例图；

图12为本发明对线路图像采用多尺度方向算子提取各个方向线段的示例图；

图13为本发明依据绝缘子片排列特征识别图像中潜在绝缘子区域的结果示例图；

图14为本发明检测潜在绝缘子区域为误识别时，所构建的绝缘子参考区域的结果示例图；

图15为本发明依据绝缘子颜色显著性特征与绝缘子先验知识模型检测潜在绝缘子区域是否为误识别结果示例图；

图16为本发明依据绝缘子先验知识模型中的主颜色成份对整张图像 分割的结果示例图；

图17为本发明将包含在已识别的绝缘子区域内的blob结构剔除后的结果示例图；

图18为本发明补偿识别不完整绝缘子区域的结果示例图；

图19为本发明将分割出的绝缘子区域旋转至水平方向的结果示例图；

图20为本发明将绝缘子分割后，获取到每个绝缘子片中心点的结果示例图；

图21为本发明根据绝缘子片中心点位置关系检测出的可能存在掉片的区域的结果示例图；

图22为本发明根据相邻两绝缘子片的左右边缘进一步验证是否存在掉片的结果示例图；

图23为本发明检测绝缘子两端是否存在掉片的结果示例图；

具体实施方式

下面结合附图对本发明的实例进行详细阐述说明。以下阐述均以本发明的技术方案为前提，给出了详尽的阐述，但本发明的保护范围不仅局限于以下实例。

本发明可以在常规配置的PC机上采用C/C++编程实现。适合于处理采集到的连续的输电线路图像。图像格式可以为bmp或者jpg格式。

图1为本发明的总体流程图。

图2为本发明依据绝缘子片排列特征以及绝缘子片与绝缘子轴位置关系识别潜在绝缘子区域的方法流程图。

5-1、对输入的无人机输电线路图像进行灰度化处理，在线路灰度图像上使用多尺度边缘提取算子在图像上提取各个方向的线段Σline_i。图11为将图像灰度化处理的结果，图12为在图像上提取出各方向线段的结果图；

5-2、根据线路图像特征，将各个方向线段分成水平方向与其它方向两类，得到Σline_hor与Σline_other；

5-3、对水平方向的线段Σline_hor，按照从左到右、从上到下进行排列。将排列后的水平线段记录为ΣSortline_hor；

5-4、将线路图像沿垂直方向划分成8份，分别在每个分块中聚类水平线段。选择第一个分块聚类分块中的水平线段，跳至步骤5-6；

5-5、当前分块中是否所有线段都已参与聚类，如果是则选择下一个分块继续聚类，并跳至步骤5-6。如果所有分块都已完成聚类，则跳至步骤5-8；

5-6、在ΣSortline_hor中获取一条没有参与过聚类的水平线段line₁，该线段的中心点X坐标在当前分块内。然后在ΣSortline_hor中获取第二条线段line₂，如果line₁与line₂之间满足条件A，则将两条线段聚类；

条件A：

θ≤5° (20)

φ→90° (23)

其中与为line₁与line₂的斜率，θ为两线段夹角，slope_centreline为line₁与line₂中心点连线的斜率，φ为绝缘子片与绝缘子轴方向的夹角。

通过构建结构Cluster来记录聚类线段的信息，构建的Cluster结构如下所示：

Typedef struct

{

Int index；//记录下当前线段在ΣSortline_hor中的索引

Int cliplength；//记录下当前线段的长度

Int clipdist；//记录下相邻线段间中心点间距离

Double lineslope；//记录下被聚类线段的方向角

Double distslope；//记录下被聚类的相邻线段中心点连线的方向角

}Cluster

在ΣSortline_hor中继续搜索能够与line₁满足条件A的线段，如果存在这样的线段则继续步骤5-6；否则完成当前潜在区域的聚类，跳至步骤5-7；

5-7、记录下步骤5-6中通过聚类线段识别的潜在绝缘子区域。跳至5-5。构建InsulatorPart结构用来保存识别出的潜在绝缘子区域，构建的InsulatorPart结构如下所示：

Typedef struct

{

Int leftx；//潜在绝缘子外接矩形的四顶点中左顶点的X坐标

Int lefty；//潜在绝缘子外接矩形的四顶点中左顶点的Y坐标

Int topx；//潜在绝缘子外接矩形的四顶点中上顶点的X坐标

Int topy；//潜在绝缘子外接矩形的四顶点中上顶点的Y坐标

Int rightx；//潜在绝缘子外接矩形的四顶点中右顶点的X坐标

Int righty；//潜在绝缘子外接矩形的四顶点中右顶点的Y坐标

Int bottomx；//潜在绝缘子外接矩形的四顶点中下顶点的X坐标

Int bottomy；//潜在绝缘子外接矩形的四顶点中下顶点的Y坐标

Int cliplength；//潜在绝缘子片的平均长度

Int clipdist；//潜在绝缘子片间平均距离

Double dirslope；//潜在绝缘子片的方向角

Double distslope；//潜在绝缘子区域的轴方向角

}InsulatorPart；

5-8、完成当前图像上通过聚类水平线段识别潜在绝缘子区域；

其它方向线段聚类识别潜在绝缘子区域与水平方向类似，不再赘述。

图13为通过聚类线段来识别潜在绝缘子区域结果示例图。图中存在一些将背景具有相同形状特征的背景纹理误识别为绝缘子的情况，同样识别到的绝缘子区域也存在不完整的情况。

为了保证识别到的绝缘子区域的可靠性，排除图像中拥有相同形状特征的背景纹理，通过分析绝缘子颜色显著性特征来检测识别到的潜在绝缘子区域，处理流程图如图3所示。具体步骤如下：

6-1、将整张图像从RGB颜色空间转换成HSV颜色空间，并采用非均匀量化的方式将HSV颜色空间量化成72个量化级。然后，对整张图像进行量化得到一张颜色特征量图像记录为QuantImg；

6-2、对于步骤5中识别出的每个潜在绝缘子依照图4所示，为每个潜在绝缘子区域InsulatorArea构建一个参考区域Re ferenceArea。图14为每个潜在绝缘子构建了一个参考区域的结果示例图；

6-3、构建一个72级的直方图Histogram_Insulator用来统计绝缘子区域的量化值分布情况。构建一个72级直方图Histogram_{Re ference}用来统计在2-2中构建的绝缘子参考区域的量化值分布情况。分别对直方图Histogram_Insulator与Histogram_{Re ference}进行归一化，然后按照量化值从大到小进行排列，得到SortInsulator与Sort Re ference。从SortInsulator中排在第一个的量化值开始，将占据了绝缘子区域量化总量80％的那些量化值依次保存到MaxQuant_Insulator。同样将Sort Re ference中占据了参考区域量化总量80％的那些量化值保存到MaxQuant_{Re ference}；

6-4、比较6-3中统计得到的MaxQuant_Insul与MaxQuant_{Re fer}中保存量化值在SortInsulator与Sort Re ference中对应数量，得到一个差值Diff；

6-5、统计6-3中MaxQuant_Insul符合绝缘子先验知识模型中主颜色成份对应的颜色量化值(MainQuantIndex)在SortInsulator中所占的比率Ratio_Total；

6-6、将绝缘子区域在垂直轴方向上均匀划分成3段如图5所示。分别统计Part1、Part2、Part3中符合绝缘子经验知识模型的主颜色成份对应的颜色量化值在三个区域中所占比重Ratio1、Ratio2、Ratio3；

6-7、如果6-4中的Diff、6-5中的Ratio_Total、6-6中的Ratio1、Ratio2、Ratio3满足条件B中的23)或者24)时，则认为被检测的潜在绝缘子区域是可信的。将所有正确识别的潜在绝缘子记录为 ΣInsulator_right；

条件B：

Diff＝Σabs[SortInsulator(MaxQuant_Insul)-SortReference(MaxQuant_{Re fer})]＜0.3 (25)

6-8、在6-7中被检测为误识别的绝缘子不参与后续的处理；

图15为对识别出的潜在绝缘子区域进行检测后的结果示例图。

由于拍摄角度、光照等条件影响导致仅通过形状无法完整识别绝缘子区域，需要进一步根据识别到的绝缘子区域中绝缘子的主颜色成份进行补偿。具体步骤如下：

7-1、在6-7的ΣInsulator_right中获取一个没有补偿过的绝缘子Insulator，如果该绝缘子区域内的主颜色成份对应的颜色量化值符合绝缘子先验知识模型中的主颜色成份对应的颜色量化值，则对该绝缘子进行补偿跳至步骤7-2；否则选取下一个绝缘子。如果ΣInsulator_right中所有绝缘子均已进行了补偿，则跳转至7-5；

7-2、根据7-1中Insulator的主颜色量化值MainQuantIndex对整张图像进行分割，在图像中只保留那些量化值与MainQuantIndex相同的像素，分割后形成一张Binary Image(图像为一张二值图，保留下的像素值为1，其余像素为0。对于每一个需要补偿的绝缘子都会有一张二值图)。通过Σblob联通结构将图像上剩余的像素管理起来。图16为根据绝缘子主颜色成份对图像进行分割后的结果示例图；

7-3、将完全落在Insulator的外接矩形中的那些blob结构剔除，不 参与后续的补偿处理。标记剔除后的Σblob^*结构。同时计算出当前绝缘子区域内绝缘子主颜色成份对应像素与绝缘子区域的占空比Ratio_Org。图17为将那些落在绝缘子区域内的blob结构剔除后的结果示例图；

7-4、以绝缘子的上、下、左、右四个方向作为搜索方向在Σblob^*结构中进行搜索，优先选取轴方向对应的两个方向进行搜索，依次得到搜索方向dir1，dir2，dir3，dir4。具体聚类过程如下：

7-4-1、在方向dir1上搜索一个没有参与过补偿的blob_i结构，判定是否blob_i满足条件C，如果是则聚类到绝缘子区域内；

条件C：

1)blob_i在绝缘子的当前搜索方向上 (26)

2)blob_i与绝缘子间距离小于一阈值(如果当前搜索方向为轴方向，则阈值以绝缘子片间距离为基准；如果当前搜索方向为垂直轴方向的阈值选取以绝缘子片长度为准)； (27)

3)如果blob_i在绝缘子左侧则(27)中的距离为blob_i的右边缘到绝缘子左边缘的距离； (28)

4)如果blob_i在绝缘子右侧则(27)中的距离为blob_i的左边缘到绝缘子右边缘的距离； (29)

5)如果blob_i在绝缘子上侧则(27)中的距离为blob_i的下边缘到绝缘子上边缘的距离； (30)

6)如果blob_i在绝缘子下侧则(27)中的距离为blob_i的上边缘到绝缘子下边缘的距离； (31)

7)在blob_i补偿到绝缘子区域后，生成一个新的临时绝缘子区域TmpRect，计算这个新增的临时绝缘子区域中绝缘子经验知识模型的主颜色成份对应量化值的占空比TmpRatio，占空比TmpRatio不小于Ratio_Org；

7-4-2、在dir2方向上搜索blob_i结果，如果满足聚类条件C则将blob_i包含入绝缘子区域；

7-4-3、在dir3方向上搜索blob_i结果，如果满足聚类条件C则将blob_i包含入绝缘子区域；

7-4-4、在dir4方向上搜索blob_i结果，如果满足聚类条件C则将blob_i包含入绝缘子区域；

7-4-5、如果dir1，dir2，dir3，dir4方向上均没有符合聚类条件C的blob_i，则停止聚类，本次补偿完整。否则跳至步骤7-4-1；

图18为在图像上对绝缘子进行补偿的结果示例图。

缺陷诊断具体步骤如下：

8-1、选取一个绝缘子，在步骤7-2中与其对应的二值图像BinaryImage中获取绝缘子所在区域图像。将绝缘子图像沿轴方向顺时针旋转至水平方向，如图19所示；

8-2、通过Σblob_pixel连通结构管理绝缘子图像上的像素。如果存在blob结构的长或宽大于一半绝缘子区域高度和宽度的情况，则跳至步骤8-3。否则跳至步骤8-5；

8-3、根据步骤5-7中保存的绝缘子片长度，沿水平方向将绝缘子分割成n串Σcluster_i；

其中Insulator_height为旋转后绝缘子区域垂直高度，cliplength为绝缘子片长度。

8-4、根据步骤5-7中保存的绝缘子片间距离，沿垂直方向将单串绝缘子串划分成绝缘子片；

8-5、使用Σblob_clip结构管理每一个绝缘子片结构。在图像上将所有绝缘子片按中心点坐标从上至下，从左至右进行排列。根据每一个绝缘子片的位置，为每一串绝缘子选出其所包含的绝缘子片Σclip_(i,j)，(其中i代表绝缘子片代表第几串绝缘子，j代表该串绝缘子中的第几个绝缘子片)；

8-6、诊断每串绝缘子内部是否存在掉片缺陷。计算每一串绝缘子上相邻绝缘子片间x坐标距离Σdis tan ce。计算距离的均值Mean_{dis tan ce}与相对差如果存在相邻绝缘子片间距离的相对差大于距离均值的1/2，则判定这两片绝缘子间存在掉片缺陷。图21为检测绝缘子内部掉片结果示例图，依据上述规则判定第一串与第三串内存在绝缘子掉片；

8-7、对于每一个内部掉片缺陷，需要再判断一下相邻两个绝缘子片左右边缘的距离来进一步判断是否真正存在掉片而不是误判，如果满足公式31时认为存在掉片，否则认为是误判；

clip_i+1.leftx-clip_i.rightx≥Mean_{dis tan ce} (33)

图22为绝缘子内部掉片诊断去除误判后的结果示例图。

8-8、如果绝缘子区域包含大于2串的绝缘子，则从Σblob_clip中获 取到每一串绝缘子两端的绝缘子片(其中i表示绝缘子哪一端，j表示每一端的哪一串绝缘子)，分别判断每一端的绝缘子片中心点是否在同一直线上来诊断当前端是否存在掉片缺陷(如公式34～36所示)。如果当前端绝缘子片中心点没有在同一直线上，则判定该端存在掉片缺陷；

如果当前绝缘子仅包含两串绝缘子串，同样从blob_sort中获取到每一串绝缘子两端的绝缘子片分别计算出每一端绝缘子片中心点连线与绝缘子轴方向的夹角，判定夹角小的那一端存在掉片缺陷；

其中slope_cluster为绝缘子轴方向所在直线的斜率。

图23为所示的绝缘子两端的绝缘子片在同一直线上，则绝缘子两端不存在掉片缺陷。

Claims (5)

1.一种形状与颜色特征融合的绝缘子识别与缺陷检测方法。其特征在于通过无人机巡检图像提取不同方向的线段，依据同一串绝缘子片的排列特征，以及绝缘子片与绝缘子轴方向的位置关系聚类出排列的线段，作为潜在的绝缘子区域。基于绝缘子颜色的显著性特征及绝缘子颜色的先验知识模型来排除由绝缘子片排列特征聚类线段而误识别出的背景纹理干扰区域，降低对绝缘子的误识别；进一步补全由绝缘子片排列特征聚类线段而检测出的局部绝缘子区域，进而识别出完整的绝缘子区域。通过分割每个绝缘子片并分析相邻绝缘子片的位置关系来诊断绝缘子的掉片缺陷。

2.如权利要求1所述的同一串绝缘子上绝缘子片的排列关系，以及绝缘子片与绝缘子轴方向的位置关系，通过对无人机巡检图像的分析，得到潜在的绝缘子区域。具体步骤如下：

步骤2-1、采用多尺度方向算子提取无人机巡检图像上各方向线段，使用blob连通域结构对线段进行管理。通过分析绝缘子安装方位有四种形态：垂直、水平、斜上、斜下排列。其中受背景纹理干扰较大的是垂直方向安装的绝缘子，故将线段分为：水平方向blob_hor与其它方向blob_others两类；

步骤2-2、对步骤2-1中提取得到的两类线段分别聚类。对于水平方向的线段，以每条线段中心点的x、y坐标从上到下、从左到右进行排列，得到排列后的水平线段记录为sortblob_hor。依据同一串绝缘子上绝缘子片线段平行排列，以及线段绝缘子轴方向垂直关系，在sortblob_hor中聚类出满足条件的潜在绝缘子区域。同样， 在blob_others中聚类出满足条件的潜在绝缘子区域。保存下每个潜在绝缘子区域的外接矩形四个顶点坐标、绝缘子的轴方向、绝缘子片的平均长度、相邻绝缘子片中心点间平均距离。

3.如权利要求1所述的依据绝缘子颜色显著性特征与绝缘子先验知识模型中的颜色成份来检测识别出的潜在绝缘子区域是否为误识别区域。具体步骤如下：

步骤3-1、为绝缘子构建参考区域：以绝缘子上下左右四条边为基准，沿着绝缘子轴方向分别向两边扩展绝缘子长度的1/2大小，沿着垂直绝缘子轴方向分别向两边扩展绝缘子宽度的1/2大小。步骤3-2、对线路图像进行RGB到HSV的颜色空间转换，再将HSV颜色空间非均匀量化成72级，将线路图像转换为72个特征量图像。统计步骤2-2中识别到的绝缘子区域内各像素的颜色量化值，得到一个颜色量化直方图Histogram_Insulator，统计步骤3-1中构建的参考区域内各像素的颜色量化值，得到一个参考区域颜色量化直方图Histogram_Reference。分别对直方图Histogram_Insulator与Histogram_Reference进行得到归一化后的直方图Histogram_InsulatorNor与Histogram_ReferenceNor。再将直方图Histogram_InsulatorNor与Histogram_ReferenceNor中的颜色成份按直方图中的统计量以从大到小的顺序排列，得到SortInsulator(i,j)与Sort Re ference(i,j)(其中i为颜色量化值在排序后的下标，j为颜色量化值在排序前的下标)。获取SortInsulator与Sort Re ference中占据总量80％的前几个颜色成份量化值，得到MaxQuant_Insulator与MaxQuant_Reference(如公式3所示)；

步骤3-3、对步骤3-2中得到的MaxQuant_Insulator与MaxQuant_Reference中的颜色量化值进行比较(如公式4与5所示)，得到绝缘子区域与参考区域内颜色量化值的差值Diff。如果差值Diff小于0.3，则认为该绝缘子区域为误识别，否则判定聚类出的区域为绝缘子区域；

Diff＝Σ(SortInsulator(j)-Sort Re ference(j)) (4)

j∈(MaxQuant_Insulator∪MaxQuant_Reference) (5)

步骤3-4、如果步骤3-2中得到的MaxQuant_Insulator中的最大颜色量化值MaxId符合绝缘子先验知识模型中的主颜色成份对应的颜色量化值，则将识别出的绝缘子区域沿轴方向均匀分成三等分Part₁、Part₂、Part₃。统计每个分块中MaxId对应的颜色量化值是否均匀分布(如公式6所示)，如果均匀分布，则判定该绝缘子区域为正确识别；

Part₁(MaxId)-Part₂(MaxId)≈Part₁(MaxId)-Part₃(MaxId) (6)

其中Part_i(MaxId)为量化值MaxId在Part_i中所占的百分率。

步骤3-5、步骤3-3与步骤3-4中任意一处判定该绝缘子区域为正确识别，则该绝缘子区域为正确识别。如果两处均判定该区域 为误识别，则该绝缘子区域为误识别的区域，将该绝缘子区域从识别结果中去除。

4.如权利要求1所述的依据绝缘子先验知识模型中的主颜色成份对识别的绝缘子区域进行补偿。具体步骤如下：

步骤4-1、对于检测为正确识别的绝缘子区域，根据步骤3-4中统计出的代表绝缘子主颜色成份对应的量化值(MaxId)对图像进行分割，遍历整张图像保留下那些颜色量化值为MaxId的像素，得到一张二值图Binary Im g。使用blob连通结构将二值图中保留下的像素管理起来；

步骤4-2、对于识别的绝缘子区域InsulatorArea，先将落在绝缘子区域内的主颜色成份剔除，不参与后续的聚类。同时依据绝缘子区域大小与被剔除的blob结构包含的像素个数计算出占空比Ratio_org。然后，依据绝缘子的上下左右四个方向对剩余的blob进行聚类。聚类时优先选择沿绝缘子轴的两个方向进行聚类。这样得到四个方向dir1，dir2，dir3，dir4依次在四个方向上聚类，聚类过程如下：

步骤4-2-1、在方向dir1上搜索一个没有参与过补偿的blob_i结构，判定当前blob_i与绝缘子区域的位置关系(在绝缘子区域的上、下、左、右)是否与dir1一致，如果一致再判断blob_i与绝缘子区域的距离是否满足公式7。如果满足，则进一步判断包含blob_i后新的绝缘子区域对应像素占空比Ratio_new是否不小于Ratio_org，如果是则聚类到绝缘子区域内；

dis tan ce＜threshold (7)

当所选的搜索方向为绝缘子轴方向，则threshold选取为绝缘子片间距离；

当所选的搜索方向为垂直绝缘子轴方向，则threshold选取为绝缘子片长度；

当blob_i在绝缘子左边时，distance为blob_i右边界点到绝缘子区域左边界所在直线距离；

当blob_i在绝缘子右边时，distance为blob_i左边界点到绝缘子区域右边界所在直线距离；

当blob_i在绝缘子上边时，distance为blob_i下边界点到绝缘子区域上边界所在直线距离；

当blob_i在绝缘子下边时，distance为blob_i上边界点到绝缘子区域下边界所在直线距离；

步骤4-2-2、类似在在方向dir2上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤4-2-3、类似在在方向dir3上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤4-2-4、类似在在方向dir4上搜索满足条件的blob_i结构，并更新绝缘子区域；

步骤4-2-5、如果dir1，dir2，dir3，dir4四个方向上均没有可以聚类的blob_i结构了，则完成本次补偿。否则跳至步骤4-2-1。

5.如权利要求1、2、3、4所述的通过分割绝缘子区域并分析绝缘 子片之间的位置关系来诊断绝缘子掉片缺陷。具体步骤如下：

步骤5-1、在步骤4-1中Binary Im g上获取分割得到的绝缘子区域二值图像，在该图像上只保留了绝缘子片对应位置的像素点。将绝缘子区域依据步骤2-2中记录下的轴方向沿顺时针方向旋转，得到水平排列的绝缘子区域Insulator Im g；

步骤5-2、由于拍摄角度关系在图像上识别出的绝缘子串之间可能相互交错重叠，导致绝缘子片无法分开。使用blob连通结构管理Insulator Im g图像上的像素点，如果存在一个blob连通区域的长度或宽度对应大于Insulator Im g长度或宽度的1/3认为该绝缘子图像上绝缘子片重叠到了一起，则跳转至步骤5-3，否则跳转至步骤5-5；

步骤5-3、将步骤5-1中旋转后的绝缘子区域依据步骤2-3中记录下的绝缘子片长度沿着轴方向进行划分，划分成n(绝缘子串数量)个单串绝缘子cluster_i；

其中Insulator_height为旋转后绝缘子区域垂直高度，cliplength为绝缘子片长度。

步骤5-4、将步骤5-3中cluster_i依据步骤2-3中记录下的绝缘子片间距离沿着垂直绝缘子轴方向进行划分，在图像上得到单串绝缘子中的每一片绝缘子片；

步骤5-5、使用blob连通结构管理每一个绝缘子片，对每一个绝缘子片按照绝缘子片中心点的坐标，从上至下，从左至右进行排 列，得到blob_sort。在blob_sort中计算水平方向相邻的绝缘子片中心点间的距离，得到同一串绝缘子上各个相邻绝缘子片间距离dis tan ce_i。计算相邻绝缘子片间距离的均值Mean_distance与相对差 如果存在相邻绝缘子片间距离的相对差大于距离均值的1/2，则判定这两片绝缘子间存在掉片缺陷；

步骤5-6、对于每一个掉片缺陷，判断一下相邻两个绝缘子片左右边缘的距离来进一步判断是否真正存在掉片而不是误判，如果满足公式11时认为存在掉片，否则认为是误判；

clip_i+1.leftx-clip_i.rightx≥Mean_distance (12)

步骤5-7、如果绝缘子区域包含大于2串的绝缘子，则从blob_sort中获取到每一串绝缘子两端的绝缘子片(其中i表示绝缘子哪一端，j表示每一端的哪一串绝缘子)，分别判断每一端的绝缘子片中心点是否在同一直线上来诊断该端是否存在掉片缺陷(如公式15所示)。如果端绝缘子片中心点没有在同一直线上，则判定该端存在掉片缺陷；

如果当前绝缘子仅包含两串绝缘子串，同样从blob_sort中获取到每一串绝缘子两端的绝缘子片分别计算出每一端绝缘子片中心点连线与绝缘子轴方向的夹角，判定夹角小的那一端存在掉片缺陷；

其中slope_cluster为绝缘子轴方向所在直线的斜率。