CN104281857B - 一种基于正交方向投影的绝缘子检测方法 - Google Patents

Abstract

本发明涉及一种基于正交方向投影的绝缘子检测方法，首先利用绝缘子图像在水平方向投影，来获取绝缘子区域的上下边界；然后利用PCA方法，计算绝缘子图像的主方向与水平方向的夹角；利用旋转矩阵对绝缘子图像进行方向校正，并按照校正后的坐标重新组织图像；获取绝缘子图像垂直方向积分投影曲线，并根据积分曲线的变化率获取绝缘子的水平方向位置，获取绝缘子图像的位置信息后，然后采用机器学习的方法判断选中区域是否为绝缘子。然后对绝缘子区域坐标进行反旋转，即可获得绝缘子在原始图像中的精确位置。本发明通过理论仿真和大量的实验验证，证明本发明检测速度快、检测精度高，能够满足无人机巡检要求。

Description

一种基于正交方向投影的绝缘子检测方法

技术领域

本发明涉及图像处理、机器学习和自动目标识别技术，具体的说就是利用图像处理技术检测和识别绝缘子，属于目标自动识别领域。

背景技术

随着超高压大容量输电线路的增多，输电线路的安全运行显得越来越重要，电力线路巡检工作尤为必要，绝缘子检测，对于输电线路的安全运行至关重要。传统的电力线路巡检流程是工作人员亲自到现场巡视线路。因此，巡检受过多人为因素的影响，在危险地段会危及到巡线工人的生命安危，并且人工录入数据量大、数据手工录入过程中容易出错。无人机，是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。在无人机前端安装具有稳定能力的摄像机云台，无人机首先飞行到高压线路的侧方或侧上方，启动机载视觉系统后，利用摄像机获得场景的视频信息，之后应用图像识别技术和数据融合技术对线路及设备缺陷进行自动检测与分析。无人机巡线检测提高了检测精度和效率，实现对线路设备的缺陷的自动辅助检测诊断和评估。

目前，绝缘子目标识别方法大体可以分为基于边缘特征的检测方法、基于纹理的检测方法。

基于边缘特征的绝缘子检测方法的研究现状：基于边缘的图像分割方法根据不同区域间像素灰度不连续的特性，首先检测出区域间的边缘，从而实现对绝缘子的分割。王伟等人比较了Roberts算子、Prewitt算子和小波极大模等边界检测方法的优缺点，并给出了绝缘子边缘检测的参考方法。（王伟，刘国海.绝缘子图像的边缘检测.微计算机信息.2008.24（9-3）：308-340）。葛玉敏等人首先利用数学形态学对绝缘子图像进行了预处理，消除了噪声对绝缘子图像的影响，然后分别用Sobel算子、Prewitt算子、LOG算子和Canny算子对绝缘子进行了边界提取，并得出Sobel算子和Prewitt算子能够提供精确的边缘方向信息，但定位精度不高；LOG算子易将阴影等误认为边缘进行提取；Canny算子能很好地体现图像的弱边缘，但易受噪声干扰而检测出许多伪边界点的结论。（数学形态学在绝缘子图像边缘检测中的应用.高压电器.2012.48（1）：101-104）仲莉恩等人提出了利用边缘方向直方图进行绝缘子检测的方法。首先将绝缘子图像分成模板大小的块，然后采用EOV算法分别计算绝缘子图像子块和模板的边缘方向矢量，并通过矢量变换得到变形模板的边缘方向矢量；然后针对分块的图像，通过模板与之边缘方向矢量匹配，得到绝缘子的候选区域，最后通过对候选区域连续性判断实现了绝缘子的检测（一种利用边缘方向直方图检测绝缘子的方法.电气技术.2010.（1）：22-25）。

基于纹理特征的绝缘子检测方法的研究现状：杨翠茹根据绝缘子图像的纹理性，利用灰度共生矩阵方法产生出每幅绝缘子图像6个常用纹理特征值，然后根据特征空间中类间距和类内距选择算法挑选出一组最有效、分类效果最好的特征，最后利用最有效特征进行绝缘子检测（基于纹理特征的绝缘子检测方法杨翠茹电气技术2010.（7）：46-48）。Xinye Zhang等人提出首先利用图像的灰度化、增强和形态学处理，完成对图像的去噪处理，然后采用基于Hough变换的方法对绝缘子图像进行方向校正。方向校正后的图像被分成10个部分，每一部分用7个纹理特征进行表示。通过分析7个特征的曲线，来对绝缘子进行检测（A Method of Insulator Fault Detection from Airborne Images.2010Second WRIGlobal Congress on Intelligent Systems.200-203）。

造成绝缘子目标识别的主要困难体现在：较低级的图像处理过程很少能给出目标完整而准确的轮廓。在使用边缘检测技术的系统中，由于噪声的影响，与原始绝缘子图像中一条实际边缘对应的往往不是一条连续的线段，而是由许多碎片（小线段）组成的。这些碎片一方面可能是由于噪声的影响，使得边缘的连续性不好，而在非边缘处产生了较大的灰度突变；另一方面，由于具体场景的复杂性，目标的周围可能存在树木，电线杆、车辆等目标、目标本身或者其他目标产生的阴影的覆盖，产生了一些无益的边缘。这些边缘不但增加了检测的计算量，而且很可能导致错误的检测。基于纹理的方法，对于复杂场景绝缘子检测的鲁棒性也比较弱。

发明内容

为了解决以上问题，本发明的目的在于提出一种具有准确性，实时性的基于基于正交方向投影的绝缘子检测方法，有效的解决了无人机在复杂背景下对绝缘子进行巡检的技术问题。

本发明采用的技术方案是：一种基于正交方向投影的绝缘子检测方法，通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息，对视频或照片信息进行图像识别来检测高压输电线路中的绝缘子，包括以下步骤：

将摄像机或照相机获得的原始图像经二值化处理后进行水平方向投影，获取目标物区域的上下边界，按照上下边界对目标物进行切割，去除上下边界以外的图像区域得到保留图像；然后利用PCA方法得到保留图像中目标物的主方向与水平方向的夹角；再对保留图像进行方向校正得到校正图像；

根据校正图像在垂直方向的积分投影曲线获取目标物的水平方向边界并得到目标物图像，根据绝缘子特征判断目标物图像是否为绝缘子；如果是，对该目标物图像坐标进行反变换，即可获得绝缘子在原始图像中的水平位置；目标物区域的上下边界即为原始图像中的垂直位置。

所述将摄像机或照相机获得的原始图像经二值化处理后进行水平方向投影，获取目标物区域的上下边界具体为：根据图像投影曲线及设定的阈值对曲线进行二值化，其中，二值图像f(i,j)为灰度图像，g为阈值；值为1的曲线中的最大、最小坐标为绝缘子的上、下边界点；分别通过上、下边界点的水平直线为上、下边界。

所述利用PCA方法得到保留图像中目标物的主方向与水平方向的夹角包括以下步骤：

在保留图像中，将值为1的像素坐标的协方差矩阵C进行SVD分解得到C＝QΛQ^-1，Q∈R^2×2，Λ＝diag(λ₁,λ₂)∈R^2×2；λ₁、λ₂为矩阵特征值；如果λ₁＜λ₂，则绝缘子主方向与水平方向的夹角为，D＝Q^-1[1,0]^T∈R^2×1。

所述对保留图像进行方向校正得到方向校正后的图像具体为：

在保留图像内，将校正后的值为1的像素坐标矩阵A'＝AR_o∈Z^m×2替代原来的坐标矩阵A∈R^m×2，m为像素亮度值为1的像素个数。

所述积分投影曲线 m为像素亮度值为1的像素个数。

所述根据积分曲线获取目标物的水平方向边界包括以下步骤：

以投影积分曲线中变化率为零的小线段为间隔，对投影积分曲线进行分段；对每一段变化率不为零的小线段进行直线方程的拟合，得到每段小线段的斜率K和截距B；

将每段小线段的K和B代入校正图像的近似拟合直线方程，其中长度最大且误差最小的线段的横坐标最小和最大值，即是目标物的左右边界。

所述绝缘子特征通过以下步骤得到：

根据左右边界将目标物图像左右分割并再次进行垂直方向投影；根据设定的阈值对投影得到的积分投影曲线进行二值化；然后统计二值化结果中，值为1的数值串的个数f₁、值为0的数值串的个数f₂、值为1的数值串的方差f₃、值为0的数值串的方差f₄；绝缘子的特征为x＝[x₁,x₂,x₃,x₄,1]^T,x₁＝1/(f₁-a)，x₂＝1/(f₂-a)，x₃＝1/f₃，x₄＝1/f₄，α为绝缘子瓷瓶个数；。

所述判断目标物是否为绝缘子包括以下步骤：

训练判别函数：将目标函数经最大似然估计得到θ的迭代公式θ_j:＝θ_j+α(y⁽ⁱ⁾-h_θ(x⁽ⁱ⁾))x^(j)，得到参数θ＝[θ₁,θ₂,θ₃,θ₄,θ₅]^T；其中，x⁽ⁱ⁾为训练集中第i个训练样本的特征向量，y⁽ⁱ⁾为第i个训练样本的类别标签，如果第i个训练样本是绝缘子的特征向量，则y⁽ⁱ⁾=1，否则为0；θ＝[θ₁,θ₂,θ₃,θ₄,θ₅]^T为参数，

绝缘子识别：将得到的参数θ代入判别函数输入一个新的特征向量x，如果h_θ(x)超过设定值，则目标物是一个绝缘子，否则所选不是一个绝缘子。

所述对目标物图像坐标进行反变换具体为：

如果判定目标物是绝缘子，则对该目标物图像的左右边界点进行反变换，即该目标物图像左右边界点在原始图像中的位置B＝B′R_o ^-1，其中B∈R^1×2，R_o ^-1为旋转矩阵R_o的逆矩阵，B'∈R^1×2为该目标物图像的左右边界点坐标。

本发明具有以下有益效果及优点：

1.本发明解决了无人机在复杂背景下对绝缘子进行巡检的技术问题。通过理论仿真和大量的实验验证，证明本发明检测速度快、检测精度高，能够满足无人机巡检要求。

2.本发明与现有技术相比，采用了基于正交投影的绝缘子检测方法，该方法检测速度快、检测精度高，解决了无人机在复杂背景下对绝缘子进行巡检的技术问题，能够满足无人机巡检要求。

附图说明

图1为本发明的方法流程图；

图2（a）为含有绝缘子的曲线；

图2（b）为不含绝缘子的曲线；

图3（a）为方向校正后的含有绝缘子图像在水平方向的投影积分曲线；

图3（b）为方向校正后的不含绝缘子图像在水平方向的投影积分曲线；

图4为含有绝缘子图像在垂直方向的投影积分曲线的二值化结果；

图5为绝缘子的检测结果图像。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本发明技术方案如下：首先对原始图像经二值化处理后进行水平方向投影，获取目标物区域的上下边界；利用PCA方法得到保留图像中目标物的主方向与水平方向的夹角；对保留图像进行方向校正得到方向校正后的图像；根据积分曲线获取目标物的水平方向边界；对目标物图像进行垂直方向投影；根据设定的阈值对投影得到的积分投影曲线进行二值化，获取绝缘子的统计特征；利用最大似然估计的方法对绝缘子进行识别；如果判定目标物是绝缘子，则对该目标物图像的左右边界点进行反变换，获取绝缘子在在原始图像中的精确位置。

如图1所示，本发明首先利用目标物图像在水平方向投影（即垂直投影），来获取目标物在图像中的上下边界；然后利用PCA方法，计算目标物图像的主方向与水平方向的夹角；之后利用旋转矩阵对目标物图像进行方向校正，并按照校正后的坐标重新组织图像；然后获取目标物图像垂直方向积分投影曲线，并根据积分曲线的变化率获取目标物在图像中的水平方向位置，获取目标物图像的位置信息后，然后采用机器学习的方法判断选中区域是否为绝缘子。如果是绝缘子图像，对区域坐标进行反旋转，即可获得绝缘子在原始图像中的精确位置。其中，机器学习的方法是指训练判别函数的方法。

本发明采用基于正交方向投影的绝缘子检测方法，投影方法贯穿整个绝缘子检测过程，包括以下步骤：

1.利用绝缘子图像在水平方向投影，获取绝缘子图像的上下边界；

2.利用PCA方法，计算绝缘子图像的主方向与水平方向的夹角,对绝缘子图像进行方向校正；

3.计算绝缘子图像垂直方向积分投影曲线，并根据积分曲线的变化率获取绝缘子的左右边界；

4.计算绝缘子图像在垂直方向上投影，对投影曲线进行二值化，统计1串的个数、0串的个数、1串的方差、0串的方差作为特征；

5.设计一判断函数h_θ(x)＝g(θ^Tx)对绝缘子进行识别，如果h_θ(x)＞0.5;判定所选区域是一个绝缘子，如果h_θ(x)＜＝0.5;判定所选区域不是一个绝缘子。

6.如果h_θ(x)＞0.5，对绝缘子左右边界进行反变换，在利用绝缘子的上下边界就获得了即使绝缘子在原始图像中的精确位置。

具体实施步骤如下：

（1）对图像进行水平方向投影，获取目标物图像的上下边界；

对原始图像进行灰度化处理，假设进行灰度化处理后的图像为f(i,j)，i,j为像素坐标，则相应的二值图像为:

其中f(i,j)为相应的灰度图像，g为阈值，由otus方法获得。

则图像的水平方向投影曲线为：n为像素个数，其投影曲线如图2所示，其中，图2(a)为的含有绝缘子的曲线；图2(b)为的不含绝缘子的曲线。由于绝缘子在图像中整体上呈水平走向，因此可根据曲线的形状信息对绝缘子上下边界进行判别。在图2(a)选取一合适阈值，对H_P(i)进行二值化操作，然后求值为1曲线的的最大最小坐标，即为绝缘子的上下边界。

（2）利用PCA方法，对目标物图像进行方向校正；

依照上下边界提取宽度与原图像相等、高度为上下边界差值的图像，假定提取后的图像中，亮度值为1的像素点共m个，其坐标的协方差矩阵记为C，其中C∈R^2×2，R为实数。对协方差矩阵进行SVD分解，则C＝QΛQ^-1，其中，Q∈R^2×2、Λ＝diag(λ₁,λ₂)∈R^2×2，若λ₁＜λ₂，令D＝Q^-1[1,0]^T∈R^2×1,即可获取目标物图像主方向与水平方向的夹角为,单位为弧度。利用由构成的旋转矩阵R_o，对值为1的像素的坐标进行校正，即可获取方向校正后的图像，其中

假设亮度值为1的像素的坐标构成矩阵A，其中A∈R^m×2。由构成旋转矩阵R_o，计算A'＝AR_o∈Z^m×2，则A'即为图像中值为1的像素校正过的坐标，依据校正后的坐标重新组织图像。

（3）计算图像垂直方向投影积分曲线，获取目标物图像的左右边界；

对重新组织后的图像进行垂直方向投影，并对投影后的曲线进行积分，获取积分曲线，采用曲线拟合的方法获取目标物图像的左右边界。具体如下：

对方向校正过的图像进行垂直方向投影，其投影曲线为：对投影后的曲线进行积分，获取投影积分曲线为：投影积分曲线如图3所示，其中，图3(a)为的含有绝缘子的曲线；图3(b)为的不含绝缘子的曲线。由于绝缘子在图像中近似一线状目标，因此可用二元一次方程y=Kx+B对其进行拟合。先求出积分曲线中，斜率为0的小线段，然后，以此类线段为间隔，对投影积分曲线进行分段处理，并对分段后的线段进行拟合，分别求出K和B。得到目标物图像的近似拟合直线方程后，计算长度最大拟合误差最小的线段的横坐标的最小和最大值，即是目标物图像的左右边界。

（4）计算图像在垂直方向上投影，统计绝缘子特征；

去除目标物图像左右边界以外的图像区域，对保留的图像进行垂直方向投影，对投影曲线进行二值化，利用二值化结果构造目标物图像的特征向量x，具体如下：

依照左右边界对图像进行左右分割，对分割后的二值图像再次进行垂直方向投影，获取投影曲线后，以一适当的阈值（在水平方向坐标上）对投影曲线进行二值化，投影曲线二值化结果如图4所示。然后统计二值化结果中，值为1的数值串的个数f₁、值为0的数值串的个数f₂、值为1的数值串的方差f₃、值为0的数值串的方差f₄，假设目标物图像的特征为x＝[x₁,x₂,x₃,x₄,1]^T,并约定x₁＝1/(f₁-a)，x₂＝1/(f₂-a)，x₃＝1/f₃，x₄＝1/f₄，作为目标物特征，其中a为常数,是绝缘子的瓷瓶个数。

（5）设计一判别函数对目标物进行识别；

绝缘子识别：对于目标物图像即m个训练样本及其类别标签(x⁽ⁱ⁾,y⁽ⁱ⁾)，设计一判别函数对目标物进行识别。其中，x⁽ⁱ⁾为训练集中第i个训练样本的特征向量，y⁽ⁱ⁾为第i个训练样本的类别标签，如果第i个训练样本是绝缘子的特征向量，则y⁽ⁱ⁾=1否则为0。θ＝[θ₁,θ₂,θ₃,θ₄,θ₅]^T,为未知参数，对于0、1分类问题，可假设判别结果服从Bernoulli分布，即P(y＝1|x;θ)＝h_θ(x)，P(y＝0|x;θ)＝1-h_θ(x)。

如果P(y＝1|x;θ)＞P(y＝0|x;θ)，判定目标物是一个绝缘子；否则，判定目标物不是一个绝缘子。

训练判别函数：为得到参数θ，定义目标函数为通过最大似然估计，得θ的迭代公式θ_j:＝θ_j+α(y⁽ⁱ⁾-h_θ(x⁽ⁱ⁾))x^(j)，获取θ后，即可对新样本进行判断。

（6）获取绝缘子的精确位置

对于某个新的特征x，如果判定P(y＝1|x;θ)＞P(y＝0|x;θ)，对绝缘子图像中所获取的左右边界进行反变换，即，假定绝缘子图像的左右边界的坐标为B'∈R^1×2，则绝缘子左右边界在原始图像中的位置B＝B′R_o ^-1，其中B∈R^1×2，R_o ^-1为旋转矩阵R_o的逆矩阵。再利用绝缘子的上下边界就获得了即使绝缘子在原始图像中的精确位置。绝缘子图像的定位结果如图5所示。

Claims (7)

1.一种基于正交方向投影的绝缘子检测方法，通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息，对视频或照片信息进行图像识别来检测高压输电线路中的绝缘子，其特征在于包括以下步骤：

将摄像机或照相机获得的原始图像经二值化处理后进行水平方向投影，获取目标物区域的上下边界，按照上下边界对目标物进行切割，去除上下边界以外的图像区域得到保留图像；然后利用PCA方法得到保留图像中目标物的主方向与水平方向的夹角；再对保留图像进行方向校正得到校正图像；

根据校正图像在垂直方向的积分投影曲线获取目标物的水平方向边界并得到目标物图像，根据绝缘子特征判断目标物图像是否为绝缘子；如果是，对该目标物图像坐标进行反变换，即可获得绝缘子在原始图像中的水平位置；目标物区域的上下边界即为原始图像中的垂直位置；

所述判断目标物是否为绝缘子包括以下步骤：

训练判别函数：将目标函数经最大似然估计得到θ的迭代公式θ_j:＝θ_j+α(y⁽ⁱ⁾-h_θ(x⁽ⁱ⁾))x^(j)，得到参数θ＝[θ₁,θ₂,θ₃,θ₄,θ₅]^T；其中，x⁽ⁱ⁾为训练集中第i个训练样本的特征向量，y⁽ⁱ⁾为第i个训练样本的类别标签，如果第i个训练样本是绝缘子的特征向量，则y⁽ⁱ⁾＝1，否则为0；θ＝[θ₁,θ₂,θ₃,θ₄,θ₅]^T为参数，

绝缘子识别：将得到的参数θ代入判别函数输入一个新的特征向量x，如果h_θ(x)超过设定值，则目标物是一个绝缘子，否则所选不是一个绝缘子；

所述对目标物图像坐标进行反变换具体为：

如果判定目标物是绝缘子，则对该目标物图像的左右边界点进行反变换，即该目标物图像左右边界点在原始图像中的位置B＝B'R_o ^-1，其中B∈R^1×2，R_o ^-1为旋转矩阵R_o的逆矩阵，B'∈R^1×2为该目标物图像的左右边界点坐标。

2.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述将摄像机或照相机获得的原始图像经二值化处理后进行水平方向投影，获取目标物区域的上下边界具体为：根据图像投影曲线及设定的阈值对曲线进行二值化，其中，二值图像f(i,j)为灰度图像，g为阈值；值为1的曲线中的最大、最小坐标为绝缘子的上、下边界点；分别通过上、下边界点的水平直线为上、下边界。

3.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述利用PCA方法得到保留图像中目标物的主方向与水平方向的夹角包括以下步骤：

在保留图像中，将值为1的像素坐标的协方差矩阵C进行SVD分解得到C＝QΛQ^-1，Q∈R^{2 ×2}，Λ＝diag(λ₁,λ₂)∈R^2×2；λ₁、λ₂为矩阵特征值；如果λ₁＜λ₂，则绝缘子主方向与水平方向的夹角为D＝Q^-1[1,0]^T∈R^2×1。

4.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述对保留图像进行方向校正得到方向校正后的图像具体为：

在保留图像内，将校正后的值为1的像素坐标矩阵A'＝AR_o∈Z^m×2替代原来的坐标矩阵A∈R^m×2，m为像素亮度值为1的像素个数。

5.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述积分投影曲线m为像素亮度值为1的像素个数。

6.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述根据积分曲线获取目标物的水平方向边界包括以下步骤：

以投影积分曲线中变化率为零的小线段为间隔，对投影积分曲线进行分段；对每一段变化率不为零的小线段进行直线方程的拟合，得到每段小线段的斜率K和截距B；

将每段小线段的K和B代入校正图像的近似拟合直线方程，其中长度最大且误差最小的线段的横坐标最小和最大值，即是目标物的左右边界。

7.根据权利要求1所述的一种基于正交方向投影的绝缘子检测方法，其特征在于：所述绝缘子特征通过以下步骤得到：

根据左右边界将目标物图像左右分割并再次进行垂直方向投影；根据设定的阈值对投影得到的积分投影曲线进行二值化；然后统计二值化结果中，值为1的数值串的个数f₁、值为0的数值串的个数f₂、值为1的数值串的方差f₃、值为0的数值串的方差f₄；绝缘子的特征为x＝[x₁,x₂,x₃,x₄,1]^T,x₁＝1/(f₁-a)，x₂＝1/(f₂-a)，x₃＝1/f₃，x₄＝1/f₄，α为绝缘子瓷瓶个数。