CN106960178B - 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 - Google Patents

Abstract

本发明涉及一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法。本发明采集绝缘子的正、负样本，并提取HOG特征和LBP特征，通过PCA降维后串联形成融合特征，对LIBSVM进行训练得到绝缘子识别模型。在对绝缘子进行识别与定位时，利用最大类间方差法和形态学方法降待识别的原始图像进行预处理；在图像上滑动提取候选子窗口，并行计算融合特征，并利用训练生成的绝缘子识别模型进行识别；采用非极大值抑制算法进行窗口融合；对子窗口进行分组、取点、线性拟合，得到绝缘子的定位信息。本发明能够在直升机或巡线机器人航拍的高压输电线路视频中快速识别和定位各种尺度、各种旋转角度、各种透视角度的绝缘子。

Description

绝缘子识别模型的训练方法以及绝缘子的识别与定位方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法。

背景技术

绝缘子是输电线路中的一个重要元件，因长期经受日晒雨淋，出现故障的几率较大，因此需要定期巡检。在直升机或巡线机器人巡检中，利用摄像机获取待检测绝缘子图像，通过计算机视觉、图像处理等技术实现绝缘子的识别和定位，进而可以进行状态监测和故障诊断。

传统的绝缘子识别方式主要是先经过图像分割，然后根据绝缘子的特征进行目标提取。绝缘子特征主要有伞盘的椭圆特性、伞盘间线条的平行性、伞盘边缘的跳变性等。传统识别方式对图像分割要求高，当绝缘子与背景环境十分相近时，识别绝缘子效率低。在分割后提取绝缘子特征时，随着绝缘子种类、旋转角度、透视角度的变化，特征变化很大。另外，采用人工提取的绝缘子特征通用性不好。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法，不但提高了复杂背景时的定位效率，而且针对不同种类、不同旋转角度和不同透视角度的绝缘子都能够精确识别和定位。

本发明提出一种绝缘子识别模型的训练方法，包括以下步骤：

步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；

步骤A2，对步骤A1所获取的各样本分别提取HOG(Histogram of OrientedGradient，方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征，用PCA(Principal Component Analysis，主成分分析法)进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；

步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；

步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型。

优选地，步骤A1中所述正样本，图像大小为预设的尺寸，包括不同种类、不同尺度、不同旋转角度和不同透视角度的绝缘子局部图像，每个样本图像中包含绝缘子的多个伞盘。

优选地，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。

优选地，步骤A2中，提取LBP特征的具体方法为：

在输入图像上滑动提取块图像，提取各个块图像的旋转不变LBP特征，将所述各个块图像的旋转不变LBP特征串联，形成输入图像的LBP特征。

优选地，旋转不变LBP特征向量计算公式为：

其中，D_lbp表示LBP二值模式的种类数量；S_b表示块大小；l_b表示块移动步长；w和h分别表示图像的宽度和高度。

优选地，步骤A4具体为：

根据各样本的融合特征和训练参数，对核函数为RBF(Radial Basis Function，径向基函数)的LIBSVM(LIBrary for Support Vector Machines，台湾大学林智仁教授开发的一套支持向量机的库)向量机进行训练，得到所述绝缘子识别模型；所述训练参数，经k-折交叉验证(k-fold crossValidation)后得到。

本发明同时提出一种绝缘子的识别与定位方法，具体包括以下步骤：

步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；

步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；

步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法(Non-maximum suppression,NMS)进行窗口融合；

步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。

优选地，步骤B1具体为：

步骤B11，根据预设的阈值，利用最大类间方差法(由日本学者大津(OTSU)于1979年提出的一种对图像进行二值化的高效算法，简称OTSU)将所述待识别的原始图像进行阈值分割，得到二值图像；

步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除背景元素；

步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到掩码图像；

步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到所述待检测图像。

优选地，步骤B2具体为：

步骤B21，将所述待检测图像缩放为统一的预设尺寸；

步骤B22，在步骤B21所得图像上，滑动提取候选子窗口，并行计算提取到的各候选子窗口图像的融合特征；

步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率；

步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值，则对应的候选子窗口图像为绝缘子图像。

优选地，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：

对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。

优选地，步骤B4具体为：

步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；

步骤B42，g＝1；其中，g为组的序号；

步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；

步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；

步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；

步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；

步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。

本发明采集绝缘子的正、负样本，并提取HOG特征和LBP特征，通过PCA降维后串联形成融合特征，对LIBSVM进行训练得到绝缘子识别模型。在对绝缘子进行识别与定位时，将待识别的原始图像进行预处理；在图像上滑动提取候选子窗口，并行计算各候选子窗口的融合特征，提高了计算速度；利用训练生成的绝缘子识别模型进行识别，采用非极大值抑制和线性拟合，得到绝缘子的定位信息。本发明能够在直升机或巡线机器人航拍的高压输电线路视频中实现绝缘子定位，能够快速识别和定位各种尺度、各种旋转角度、透视角度的绝缘子。

附图说明

图1为本实施例中绝缘子识别模型训练方法的流程示意图；

图2为本实施例中绝缘子正样本示意图；

图3为本实施例中绝缘子的识别与定位方法的流程示意图；

图4为本实施例中将待识别的一幅原始图像进行预处理的示例；

图5为本实施例中，绝缘子的识别与定位方法中步骤B4的具体流程示意图；

图6为本实施例中，步骤B4中同一组内子窗口数量大于1时，计算和定位绝缘子的方法示意图；

图7为本实施例中，识别和定位绝缘子的效果图示例。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明提出一种绝缘子识别模型的训练方法，如图1所示，包括以下步骤：

步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；

步骤A2，对步骤A1所获取的各样本分别提取HOG特征、LBP特征，用PCA进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；

步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；

步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型。

本实施例中，步骤A1中所述正样本，图像大小采用预设的尺寸64*64。航拍视频中的绝缘子由于其拍摄角度不固定，可能会出现任意角度、任意尺度和任意透视角度的绝缘子，若在图像中完整标注出绝缘子的位置，标注框可能会是横向长方形、纵向长方形、正方形等。而机器学习中训练样本要求大小固定，若将任意旋转角度的绝缘子伸缩为固定角度会发生形变，影响绝缘子模型的构建，同时将整个旋转绝缘子作为样本会包含较多的背景，同样影响模型的构建。为解决上述问题，针对绝缘子中心对称、由形状相同的绝缘子伞盘重复排列组成的形状特点，本发明所采用的正样本为航拍视频中绝缘子部件的局部子图像，每个样本图像包括绝缘子多个伞盘，并尽量包含各个种类、多个尺度、多个旋转角度和多个透视角度的绝缘子局部图像。如图2所示，提取了无人机航拍高压输电线路视频图像中绝缘子的局部子图像，包括不同种类、多个尺度、多个旋转角度、多个透视角度的绝缘子。

本实施例中，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。

本实施例中，步骤A2中，提取LBP特征的具体方法为：

LBP特征向量计算时，采用旋转不变LBP，有36种二值模式，LBP半径为10，采样点个数为8。在输入图像上滑动提取块图像，采用OpenCV(Open Source Computer VisionLibrary，开源的计算机视觉库)中的parallel_for_并行函数，先对每个块图像按照半径大小进行边界填充得到块图像大小，然后提取每个块横纵坐标的旋转不变LBP值，再统计每个块图像的LBP特征向量，最后将每个块图像的特征向量串行形成输入图像的LBP特征，加快LBP的提取速度。

本实施例中，旋转不变LBP特征向量计算方法，如公式(1)所示：

其中，D_lbp表示LBP二值模式的种类数量；S_b表示块大小；l_b表示块移动步长；w和h分别表示图像的宽度和高度。

本实施例中，步骤A4具体为：

采用适合小样本、二分类的LIBSVM，根据各样本的融合特征和训练参数，对核函数为RBF的LIBSVM向量机进行训练，得到所述绝缘子识别模型；采用k-折交叉验证优化惩罚因子C和gamma等参数。

本发明同时提出一种绝缘子的识别与定位方法，如图3所示，具体包括以下步骤：

步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；

步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；

步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法进行窗口融合；

步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。

本实施例中，步骤B1具体为：

步骤B11，根据预设的阈值，利用最大类间方差法将所述待识别的原始图像进行阈值分割，得到如图4中左上角所示的二值图像；

步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除细小的电线、塔杆等背景元素，得到如图4中右上角所示的图像；。

步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到如图4中左下角所示的掩码图像；

步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到如图4中右下角所示的待检测图像；

从上面阈值分割结果中可以看出，当背景与绝缘子难以区分时，分割技术难以将完整的绝缘子分离出来，也就难以提取绝缘子的椭圆等特征，给绝缘子检测带来困难。本发明采用阈值分割、形态学处理只是为了减少候选子窗口的数目，整个绝缘子定位过程不过分依赖于分割技术。

经过上述预处理后，使得原图像中亮度高的天空，以及细小的背景元素的像素值变为0，当步骤B2中滑动窗口提取候选子窗口时，如果某个子窗口像素值全为0，可以不参与特征提取与绝缘子识别，加快识别速度。该方法对包含天空元素多的绝缘子图像识别有较快的提速作用，对于朝着地面方向拍摄的图像或背景复杂的图像没有提速作用。由于图像预处理阶段耗时少，不影响整个绝缘子的识别时间，因此该方法对大部分图像有效。

本实施例中，步骤B2具体为：

步骤B21，将所述待检测图像缩放为统一的预设尺寸320*240；

步骤B22，在步骤B21所得图像上，滑动提取候选子窗口(尺寸为64*64)，利用parallel_for_并行计算提取到的各候选子窗口图像的融合特征；

步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率。

步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值0.5，则对应的候选子窗口图像为绝缘子图像。

本实施例中，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：

对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。能够减少重叠窗口的数目，为后边的窗口合并减少计算复杂度。

本实施例中，采集的正、负样本的预设尺寸为64*64，待检测的图像统一尺寸为320*240，采用滑动窗口法在待检测图像上提取64*64的子窗口，对子窗口用训练好的绝缘子识别模型判断是否为绝缘子。待检测图像统一尺寸，识别时在速度和准确度方面效果更优。在图像上得到的非极大值抑制后的最终候选子窗口为覆盖在绝缘子上的一系列正方形或矩形窗口，考虑同一幅图像中可能有一个或一个以上的绝缘子，因此，对最终候选子窗口进行分组，邻近窗口有重叠则分为一组，划分后的每一组都对应一个绝缘子。若某个组内只有一个子窗口，则该子窗口的位置即为对应绝缘子的位置；若某个组内有一个以上的子窗口，则选取这些子窗口的顶点坐标来综合确定绝缘子的位置。

本实施例中，如图5所示，步骤B4具体为：

步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；

步骤B42，g＝1；其中，g为组的序号；

步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；

步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；

步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；

步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；

步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。

如图6所示，左上角为有重叠关系的子窗口被划分到了同一个组内；右上角为获取该组内各子窗口的顶点坐标形成的点向量；左下角为通过最小二乘法对上述点向量进行线性拟合后，得到的绝缘子中心线；右下角为绘制出的绝缘子位置框。

如图7所示，为本实施例中绝缘子识别与定位后的效果图。对于右上角和右下角两种背景复杂、难以分割的图像，本发明依然可以准确检测出绝缘子，证明了本方法的有效性。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种绝缘子的识别与定位方法，其特征在于，基于包括以下步骤A1至A4的方法训练生成的绝缘子识别模型：

步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；

步骤A2，对步骤A1所获取的各样本分别提取HOG特征、LBP特征，用PCA进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；

步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；

步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型；

所述绝缘子的识别与定位方法，具体包括以下步骤：

步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；

步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；

步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法进行窗口融合；

步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。

2.根据权利要求1所述的方法，其特征在于，步骤A1中所述正样本，图像大小为预设的尺寸，包括不同种类、不同尺度、不同旋转角度和不同透视角度的绝缘子局部图像，每个样本图像中包含绝缘子的多个伞盘。

3.根据权利要求2所述的方法，其特征在于，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。

4.根据权利要求1所述的方法，其特征在于，步骤A2中，提取LBP特征的具体方法为：

在输入图像上滑动提取块图像，提取各个块图像的旋转不变LBP特征，将所述各个块图像的旋转不变LBP特征串联，形成输入图像的LBP特征。

5.根据权利要求4所述的方法，其特征在于，旋转不变LBP特征向量计算公式为：

其中，D_lbp表示LBP二值模式的种类数量；S_b表示块大小；l_b表示块移动步长；w和h分别表示图像的宽度和高度。

6.根据权利要求1所述的方法，其特征在于，步骤A4具体为：

根据各样本的融合特征和训练参数，对核函数为RBF的LIBSVM向量机进行训练，得到所述绝缘子识别模型；所述训练参数，经k-折交叉验证后得到。

7.根据权利要求1所述的方法，其特征在于，步骤B1具体为：

步骤B11，根据预设的阈值，利用最大类间方差法将所述待识别的原始图像进行阈值分割，得到二值图像；

步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除背景元素；

步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到掩码图像；

步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到所述待检测图像。

8.根据权利要求7所述的方法，其特征在于，步骤B2具体为：

步骤B21，将所述待检测图像缩放为统一的预设尺寸；

步骤B22，在步骤B21所得图像上，滑动提取候选子窗口，并行计算提取到的各候选子窗口图像的融合特征；

步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率；

步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值，则对应的候选子窗口图像为绝缘子图像。

9.根据权利要求8所述的方法，其特征在于，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：

对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。

10.根据权利要求9所述的方法，其特征在于，步骤B4具体为：

步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；

步骤B42，g＝1；其中，g为组的序号；

步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；

步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；

步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；

步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；

步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。

Images