CN101625723B - 电力线轮廓的快速图像识别方法 - Google Patents

Abstract

本发明公开了一种电力线轮廓的快速图像识别方法，包括如下步骤：(1)将拍摄的彩色图像通过亮度计算转换为灰度图像，并对图像中边缘轮廓进行提取；(2)采用经过改进的概率Hough变换方法，对获得的已知区域图像中线段长度和统计次数做自适应调整；(3)采用直线与方向模板的拟合，对具备直线特征的像素进行方向模板和距离模板的二维拟合，直线拟合通过求取sum_iρ(r_i)来实现；(4)电力线像素的标定及输出是指将最终检测标定到的直线像数将以极坐标或直角坐标方式存储并显示。本发明针对直升机或机器人对输电线路巡检的具体要求，实现了电力线的实时精确提取，为实现后续摄像机的拉近拍摄和部件缺陷诊断提供了坚实的基础，有很好的理论和应用前景。

Description

电力线轮廓的快速图像识别方法

技术领域

本发明涉及一种电力线轮廓的快速图像识别方法。

背景技术

长期以来，我国输电线路安装和运行维护检修的大部分工作主要靠人力操作，机械化水平与国际先进水平差距甚大。随着高电压、大功率、长距离输电线路的出现，输电线路越来越远离城市和主要交通道路，对其建设、运行维护越趋困难。现代航空业及自动化技术的发展为输电线路的建设和运行维护提供了新的技术方法和手段。通过直升机或是机器人的方式对一些人力难以到达的地区进行自动化巡检成为目前电力线巡检领域的研究热点。

直升机或机器人巡线通过摄像采集设备一般记录红外图像、紫外图像和可见光图像。其中红外图像可以对输电线路中的异常发热现象给出报警信息，紫外图像则针对输电线路中的连接金具的电晕现象有很好的监测效果。可见光图像则主要由人工进行目测诊断，另一方面作为巡检纪录被作为存储介质。随着计算机视觉及图像处理、模式识别等人工智能技术的快速发展，通过对采集的可见光视频流进行特征提取与信息融合，采用机器视觉方法来实现直升机巡线的智能化缺陷检测与诊断已经成为了可能。

目前国外(主要为美国、加拿大等)直升机巡线、监测的先进水平是：目测、仪器观察和仪器自动检测相结合，采用计算机进行数据处理，生成设备缺陷清单和缺陷处理意见，能判断输电线路通道、铁塔、电力线、各类金具缺陷、接点过热、异常电晕等，并进行相关测量。

国家电力公司的“十一五”新技术推广纲要中，直升机巡线及作业技术被确定为新技术推广应用重点工程之一。该技术已在华北电力公司应用，至2005年底采用直升机巡线的航巡作业达3万公里左右。2006年-2007年，在华中，西北、黑龙江、江苏、四川等公司开展输电线路直升机巡线技术示范应用。直升机巡线作业技术成熟后，在“十一五”后期逐步推广应用范围。已采用的直升机巡线作业方式对于可见光视频而言基本限于目视检查(包括借助望远镜观察、可见光摄像纪录、红外成像仪检测、紫外成像仪检测等)。

电力系统中高压线巡线是一个非常重要和繁重的工作。目前依然主要依靠人工进行巡线，每年需要投入大量的人力物力，成本高危险大。电力巡线中一个重要的任务就是测量高压线路与周围物体的距离，定期去除线路走廊中的危险物。在自然的环境中，这些危险物主要是树木。2003年8月，美国和加拿大的一次大面积停电事故，其起因就是由于没有及时剪修输电线附近的树枝和故障处理不完善造成的，而意大利2003年9月的一次全国大部分地区的停电事件也是由于瑞士境内一棵大树被风刮倒后撞在了通往意大利的高压电线上，导致线路中断，造成当天意大利大停电的原因，这些受到世界范围关注的停电事件说明了高压线路走廊内树木的生长状况对于电网传输线路的安全有着极大的安全隐患。需要及时发现高压线路走廊内生长高度威胁到线路的树木，定时巡检并进行清除。

近年来国外使用航空激光雷达(ALS)系统来探测线路及其周边树木的高度，取得了较好的效果。但是ALS有两个重要的问题，一是成本非常昂贵，二是容易漏掉比较细的危险的目标。

计算机视觉技术可以采用图像处理的方法来对图像中的特定目标进行提取实现目标的识别与诊断(通过特定目标在图像中的形状、颜色、纹理等特征)。

目前国内外对于电力线图像识别方法的研究均很少见，通过对图像中电力线目标的特征综合分析，寻找出一种能够快速识别图像中电力线目标的模式识别算法成为本发明的重点研究内容。

发明内容

为了解决上述问题，本发明的目的在于提供了一种电力线的快速图像识别方法，本发明针对直升机或机器人对输电线路巡检的具体要求，实现了电力线的实时精确提取，为实现后续摄像机的拉近拍摄和部件缺陷诊断提供了坚实的基础，有很好的理论和应用前景。

本发明中电力线在拍摄中的主要图像特征有：电力线在视频流中通常表现为直线；电力线较长，除了在与杆塔之间的连接外，贯通整个图像；电力线之间一般为平行关系，大多数情况下不相交；电力线一般具有特定的光谱特性；电力线的宽度为一到数个像素。

为达到上述的目的，本发明采用如下技术方案：

一种电力线轮廓的快速图像识别方法，包括如下步骤：

(1)将拍摄的彩色图像通过亮度计算转换为灰度图像，并对图像中边缘轮廓进行提取，提取后获得已知区域形状；

(2)基于概率Hough变换的直线提取方法，结合电力线在图像中能贯穿图像且长度很长的的固有特征，采用经过改进的概率Hough变换方法，对获得的已知区域图像中线段长度和统计次数做自适应调整，实现对已知区域形状的轮廓图像中直线像素的提取和检测；

(3)针对电力线的平行特征，采用直线与方向模板的拟合，对具备直线特征的像素进行方向模板和距离模板的二维拟合，直线拟合通过求取sum_iρ(r_i)(r指检测点与待拟合直线之间的距离)来实现，用二维点集来拟合直线；检测直线像素的方向角及直线之间的距离，对具备平行特征也即方向角相同的直线像素进行标定；

(4)电力线像素的标定及输出是指将最终检测标定到的直线像素将以极坐标或直角坐标方式存储并显示，对图像中的电力线的具体位置进行显示和报告，这样就完成了电力线在图像中的自动识别。

所述的步骤(1)中彩色图像通过亮度计算转换为灰度图像的方法是指：首先将彩色图像像素按红(R)、绿(G)、蓝(B)分成三分量，对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：I＝0.3B+0.59G+0.11R

按照上述公式将彩色图像转换为灰度图像。

所述的步骤(1)中图像边缘轮廓的提取通过Sobel算子模板实现。

所述的Sobel算子模板在数字图像处理领域，梯度由差分代替微分实现：

$|\▿f(x,y)|=\{{[f(x,y)-f(x+1,y)]}^2+{[f(x,y)-f(x,y+1)]}^2\}$

所述的步骤(2)中概率Hough变换方法是指针对输电线路中电力线提取的固有特征，采用了经过改进的概率Hough变换方法；在直角坐标系中的直线，其方程可以写成：

ρ＝xcosθ+ysinθ

参数ρ、θ可以唯一地确定一条直线，将ρ＝xcosθ+ysinθ作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射；对于X-Y平面内的一点(x₀，y₀)变换方程为：

ρ＝x₀cosθ+y₀sinθ＝Asin(α+θ)

这在ρ-θ平面内是一条正弦曲线，将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交；因此，在极限情况下，将X-Y平面内的一条直线上的无数点变换到ρ-θ平面上，过相交点的次数为无穷，其它各处次数为1；也就是说，该变换将X-Y平面内的一条直线映射到了ρ-θ平面上的一个点，该点的坐标为X-Y坐标原点到该直线的方向矢量的长度和方向；对标准Hough变换中所得到的线段进行阈值处理，排除小长度线段干扰；对所得到的线段进行连接处理，检测其是否贯通整个图像；结合电力线在图像中的固有特征，对概率Hough变换中的线段长度和统计次数作自适应调整，实现对轮廓图像中直线像素的提取与检测。

本发明的有益效果是：在直升机或机器人的输电线路自动化巡检中，基于图像处理的电力线的识别是整个自动巡检技术的基础。只有在准确识别各类拍摄的视频流中电力线目标的基础上，才能够进一步实现视频流中的输电线路部件故障的准确识别与判定。本发明针对目前直升机或机器人对输电线路进行巡检时实现部件缺陷的自动检测功能而开发，在利用直升机或机器人所拍摄的视频进行输电线路缺陷的自动检测时，包括两个步骤：

(1)检测出输电线路部件的在图像中的具体位置和具体类型；

(2)对检测出的输电线路部件进行缺陷诊断和报警。

本发明是实现缺陷诊断的第一部分——电力线部件的图像识别算法。目前国内外对于电力线图像识别方法的研究均很少见。本发明技术是将目前计算机视觉、模式识别领域最新的研究成果引入电力系统直升机巡线检测中，利用航拍视频中的视觉信息实现输电线路部件(电力线)的智能识别，体现了多学科与多领域的交叉性。本发明针对直升机或机器人对输电线路巡检的具体要求，实现了电力线的实时精确提取，为基于直升机航拍或机器人巡检视频的输电线路缺陷检测与诊断奠定关键性的理论与应用基础，具有非常好的应用前景。

附图说明

图1是本发明电力线图像识别方法流程图；

图2是本发明控制台运行程序界面；

图3是本发明实施例1采集的源图像；

图4是本发明实施例1电力线边缘轮廓提取结果；

图5是本发明实施例2采集的源图像；

图6是本发明实施例2电力线边缘轮廓提取结果。

具体实施方式

实施例1

本发明所提出的电力线图像识别方法依据电力线的图像特征来开发，其算法的流程见图1。其中的详细内容如下：

(1)图像的读入、灰度化及边缘轮廓提取

电力线识别方法基于Visual C++平台开发，图2为操控台运行程序界面图，其中图像的封装基类为CImage。CImage是由微软开发的DIB图像封装类库，也是图像处理中经常使用的基类。实施例1采集的源图像见图3所示。

对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：

I＝0.3B+0.59G+0.11R    (1)

按照公式(1)将彩色图像转换为灰度图像。图3是将彩色图像由24位的RGB空间转换到8位的灰度空间，其计算过程就是依照公式I＝0.3B+0.59G+0.11R分别将每个彩色图像像素点转换为灰度图像像素点。图像的读入及处理利用CImage中封装的函数实现。

图像中边缘轮廓的提取通过Sobel算子模板实现。

图像的梯度对应于一阶导数，对于一个连续图像函数f(x，y)，它在点f(x，y)处的梯度是一个矢量，定义为：

$\▿f(x,y)={\left[\begin{array}{cc}\mathrm{Gx}& \mathrm{Gy}\end{array}\right]}^T={\left[\begin{array}{cc}\frac{\∂f}{\∂x}& \frac{\∂f}{\∂y}\end{array}\right]}^T---\left(2\right)$

其中，Gx和Gy分别为沿x和y方向的梯度。梯度的幅度和方向角分别为：

$|\▿f(x,y)|=\mathrm{mag}(\▿f(x,y))={({\mathrm{Gx}}^2+{\mathrm{Gy}}^2)}^{1/2}---\left(3\right)$

φ(x，y)＝arctan(Gy/Gx)        (4)

在数字图像处理领域，梯度由差分代替微分实现：

$|\▿f(x,y)|=\{{[f(x,y)-f(x+1,y)]}^2+{[f(x,y)-f(x,y+1)]}^2\}---\left(5\right)$

Sobel算子采用以下两个模板做卷积，分别对应于Gx和Gy，利用公式即可计算出像素点的梯度。

通过对像素点的梯度的计算，可以提取电力线的边缘轮廓。见图4所示，图4为电力线提取的边缘轮廓的结果。

(2)基于改进Hough变换的直线提取方法

标准Hough变换为检测、定位直线和解析曲线的有效方法，通过把二值图变换到Hough参数空间，在参数空间用极值点的检测来完成目标的检测。标准Hough变换有传统变换和概率变换两大类，本发明针对输电线路中电力线提取的固有特征，采用了经过改进的概率Hough变换方法。

在直角坐标系中的直线，其方程可以写成：

ρ＝xcosθ+ysinθ                    (6)

参数ρ、θ可以唯一地确定一条直线。将式(6)作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射。对于X-Y平面内的一点(x₀，y₀)变换方程为：

ρ＝x₀cosθ+y₀sinθ＝Asin(α+θ)        (7)

这在ρ-θ平面内是一条正弦曲线。若将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交。因此，在极限情况下，将X-Y平面内的一条直线上的无数点变换到ρ-θ平面上，过相交点的次数为无穷，其它各处次数为1。也就是说，该变换将X-Y平面内的一条直线映射到了ρ-θ平面上的一个点，该点的坐标为X-Y坐标原点到该直线的方向矢量的长度和方向。

电力线在图像中的固有特征包括能够贯通图像且长度很长，基于此，对标准Hough变换中所得到的线段进行阈值处理，排除小长度线段干扰；对所得到的线段进行连接处理，检测其是否贯通整个图像。

结合电力线在图像中的固有特征，对概率Hough变换中的线段长度和统计次数作自适应调整，实现对轮廓图像中直线像素的提取与检测。

(3)直线与方向模板的拟合；

针对电力线的平行特征，对具备直线特征的像素进行方向模板和距离模板的二维拟合。

直线拟合通过求取sum_iρ(r_i)来实现，用二维点集来拟合直线。其中r_i是第i个点到直线的距离，ρ(r)为可选的距离函数，以下是以伪代码的形式表明在算法程序中可以提供直线拟合算法参数的选择。

包括：

Dist_type＝CV_DIST_L2，有ρ(r)＝r²/2；

Dist_type＝CV_DIST_L1，有ρ(r)＝r；

Dist_type＝CV_DIST_L12(L1-L2)，有

Dist_type＝CV_DIST_FAIR    ，有

ρ(r)＝C²·[r/C-log(1+r/C)]，C＝1.3998；

Dist_type＝CV_DIST_WELSCH，

有ρ(r)＝C²/2·{1-exp[-(r/C)²]}，C＝2.9846；

Dist_type＝CV_DIST_HUBER，

有 $\mathrm{\&rho;}\left(r\right)=\left\{\begin{array}{cc}{r}^2/2,& r<C\\ C\&CenterDot;(r-C/2)& r>C\end{array}\right.$ C＝1.345；

检测直线像素的方向角θ及直线之间的距离，对具备平行特征也即方向角相同的直线像素进行标定。

(4)电力线像素的标定及输出

最终检测到的直线像素将以极坐标或直角坐标方式存储并显示，存储类型为CPoint类型的点阵序列。保存通过算法程序计算得到的直线像素坐标(左下角及右上角坐标)，算法本身封装为Win32平台下的动态链接库(DLL)形式，可在后台运行，返回值供主程序调用。

实施例2

本发明所提出的电力线图像识别方法依据电力线的图像特征来开发，其算法的流程见图1。其中的详细内容如下：

(1)图像的读入、灰度化及边缘轮廓提取

电力线识别方法基于Visual C++平台开发，图2为操控台运行程序界面图，其中图像的封装基类为CImage。图像的读入及处理利用CImage中封装的函数实现。CImage是由微软开发的DIB图像封装类库，也是图像处理中经常使用的基类。实施例2采集的源图像见图5所示。对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：

I＝0.3B+0.59G+0.11R               (1)

按照公式(1)将彩色图像转换为灰度图像。图5是将彩色图像由24位的RGB空间转换到8位的灰度空间，其计算过程就是依照公式I＝0.3B+0.59G+0.11R分别将每个彩色图像像素点转换为灰度图像像素点。图像的读入及处理利用CImage中封装的函数实现。

图像中边缘轮廓的提取通过Sobel算子模板实现。

图像的梯度对应于一阶导数，对于一个连续图像函数f(x，y)，它在点f(x，y)处的梯度是一个矢量，定义为：

$\&dtri;f(x,y)={\left[\begin{array}{cc}\mathrm{Gx}& \mathrm{Gy}\end{array}\right]}^T={\left[\begin{array}{cc}\frac{\&PartialD;f}{\&PartialD;x}& \frac{\&PartialD;f}{\&PartialD;y}\end{array}\right]}^T---\left(2\right)$

其中，Gx和Gy分别为沿x和y方向的梯度。梯度的幅度和方向角分别为：

$|\&dtri;f(x,y)|=\mathrm{mag}(\&dtri;f(x,y))={({\mathrm{Gx}}^2+{\mathrm{Gy}}^2)}^{1/2}---\left(3\right)$

φ(x，y)＝arctan(Gy/Gx)         (4)

在数字图像处理领域，梯度由差分代替微分实现：

$|\&dtri;f(x,y)|=\{{[f(x,y)-f(x+1,y)]}^2+{[f(x,y)-f(x,y+1)]}^2\}---\left(5\right)$

Sobel算子采用以下两个模板做卷积，分别对应于Gx和Gy，利用公式即可计算出像素点的梯度。

通过对像素点的梯度的计算，可以提取电力线的边缘轮廓。见图6所示，图6为电力线提取的边缘轮廓的结果。

(2)基于改进Hough变换的直线提取方法

标准Hough变换为检测、定位直线和解析曲线的有效方法，通过把二值图变换到Hough参数空间，在参数空间用极值点的检测来完成目标的检测。标准Hough变换有传统变换和概率变换两大类，本发明针对输电线路中电力线提取的固有特征，采用了经过改进的概率Hough变换方法。

在直角坐标系中的直线，其方程可以写成：

ρ＝xcosθ+ysinθ             (6)

参数ρ、θ可以唯一地确定一条直线。将式(6)作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射。对于X-Y平面内的一点(x0，y0)变换方程为：

ρ＝x₀cosθ+y₀sinθ＝Asin(α+θ)        (7)

这在ρ-θ平面内是一条正弦曲线。若将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交。因此，在极限情况下，将X-Y平面内的一条直线上的无数点变换到ρ-θ平面上，过相交点的次数为无穷，其它各处次数为1。也就是说，该变换将X-Y平面内的一条直线映射到了ρ-θ平面上的一个点，该点的坐标为X-Y坐标原点到该直线的方向矢量的长度和方向。

电力线在图像中的固有特征包括能够贯通图像且长度很长，基于此，对标准Hough变换中所得到的线段进行阈值处理，排除小长度线段干扰；对所得到的线段进行连接处理，检测其是否贯通整个图像。

结合电力线在图像中的固有特征，对概率Hough变换中的线段长度和统计次数作自适应调整，实现对轮廓图像中直线像素的提取与检测。

(3)直线与方向模板的拟合；

针对电力线的平行特征，对具备直线特征的像素进行方向模板和距离模板的二维拟合。

直线拟合通过求取sum_iρ(r_i)来实现，用二维点集来拟合直线。其中r_i是第i个点到直线的距离，ρ(r)为可选的距离函数，以下是以伪代码的形式表明在算法程序中可以提供直线拟合算法参数的选择。

包括：

Dist_type＝CV DIST_L2，有ρ(r)＝r²/2；

Dist_type＝CV_DIST_L1，有ρ(r)＝r；

Dist_type＝CV_DIST_L12(L1-L2)，有

Dist_type＝CV_DIST_FAIR    ，有

ρ(r)＝C²·[r/C-log(1+r/C)]，C＝1.3998；

Dist_type＝CV_DIST_WELSCH，

有ρ(r)＝C²/2·{1-exp[-(r/C)²]}，C＝2.9846；

Dist_type＝CV_DIST_HUBER，

有 $\mathrm{\&rho;}\left(r\right)=\left\{\begin{array}{cc}{r}^2/2,& r<C\\ C\&CenterDot;(r-C/2)& r>C\end{array}\right.$ C＝1.345；

检测直线像素的方向角θ及直线之间的距离，对具备平行特征也即方向角相同的直线像素进行标定。

(4)电力线像素的标定及输出

最终检测到的直线像素将以极坐标或直角坐标方式(直线左下角坐标及右上角坐标)存储并显示，存储类型为CPoint类型的点阵序列。保存通过算法程序计算得到的直线像素坐标(左下角及右上角坐标)，算法本身封装为Win32平台下的动态链接库(DLL)形式，可在后台运行，返回值供主程序调用。

Claims (4)

1.一种电力线轮廓的快速图像识别方法，其特征在于：包括如下步骤：

(1)将拍摄的彩色图像通过亮度计算转换为灰度图像，并对图像中边缘轮廓进行提取，提取后获得已知区域形状；

(2)基于概率Hough变换的直线提取方法，结合电力线在图像中能贯穿图像且长度很长的的固有特征，采用经过改进的概率Hough变换方法，对获得的已知区域图像中线段长度和统计次数做自适应调整，实现对已知区域形状的轮廓图像中直线像素的提取和检测；

(3)针对电力线的平行特征，采用直线与方向模板的拟合，对具备直线特征的像素进行方向模板和距离模板的二维拟合，直线拟合通过求取sum_iρ(r_i)来实现，用二维点集来拟合直线；检测直线像素的方向角及直线之间的距离，对具备平行特征也即方向角相同的直线像素进行标定；

(4)电力线像素的标定及输出是指将最终检测标定到的直线像素将以极坐标或直角坐标方式存储并显示，对图像中的电力线的具体位置进行显示和报告，这样就完成了电力线在图像中的自动识别；

所述的步骤(2)中改进的概率Hough变换方法是指针对输电线路中电力线提取的固有特征，采用了经过改进的概率Hough变换方法；在直角坐标系中的直线，其方程可以写成：

ρ＝xcosθ+ysinθ

参数ρ、θ唯一地确定一条直线，将ρ＝xcosθ+ysinθ作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射；对于X-Y平面内的一点(x₀，y₀)变换方程为：

ρ＝x₀cosθ+y₀sinθ＝Asin(α+θ)

这在ρ-θ平面内是一条正弦曲线，将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交；对改进的概率Hough变换中所得到的线段进行阈值处理，排除小长度线段干扰；对所得到的线段进行连接处理，检测其是否贯通整个图像；结合电力线在图像中的固有特征，对概率Hough变换中的线段长度和统计次数作自适应调整，实现对轮廓图像中直线像素的提取与检测；

所述的步骤(3)中sum_iρ(r_i)是指用二维点集来拟合直线；其中r_i是第i个点到直线的距离，ρ(r)为可选的距离函数。

2.如权利要求1所述的电力线轮廓的快速图像识别方法，其特征在于：所述的步骤(1)中彩色图像通过亮度计算转换为灰度图像的方法是指：首先将彩色图像像素按红R、绿G、蓝B分成三分量，对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：I＝0.3B+0.59G+0.11R

按照上述公式将彩色图像转换为灰度图像。

3.如权利要求1所述的电力线轮廓的快速图像识别方法，其特征在于：所述的步骤(1)中图像边缘轮廓的提取通过Sobel算子模板实现。

4.如权利要求3所述的电力线轮廓的快速图像识别方法，其特征在于：所述的Sobel算子模板在数字图像处理领域，梯度由差分代替微分实现：

$|\&dtri;f(x,y)|=\{{[f(x,y)-f(x+1,y)]}^2+{[f(x,y)-f(x,y+1)]}^2\}.$

Images