CN102930280A - 从红外图像中自动识别架空高压线的方法 - Google Patents

Abstract

本发明提出的从红外图像中自动识别架空高压线的方法，旨在提供一种具有高可靠性和实时准确从红外图像中提取架空高压线的的方法，本发明通过下述技术方案予以实现：首先将从外景拍摄到的红外数字图像读入计算机程序转换为灰度图像；然后将上述灰度图像通过图像提取程序进行图像分割、几何特征提取、亮度特征提取、边缘轮廓提取和分段线性特征提取，并将上述图像分成目标区域和背景区域；再通过特征综合分析识别模块自动统计、识别区域中的几何特征、亮度特征和分段线性特征，逐个扫描筛选，排除不具备高压线红外图像特征的疑似目标，得出架空高压线图像初始像素；通过高压线像素标记输出模块，输出显示获取得到的最终的架空高压线图像像素。

Description

从红外图像中自动识别架空高压线的方法

技术领域

本发明是关于模式识别领域的智能化目标识别技术，特别是涉及红外图像架空高压线自动识别方法。

背景技术

直升机在作战或者救灾过程中经常需要贴地飞行，架空高压电力线对直升机飞行安全造成极大威胁。统计分析表明，绝大部分直升机飞行事故都是由于直升机与架空高压电力线等障碍物相撞造成的，而且事故概率远远超过其它事故。在科索沃战争期间,美军的“阿帕奇”武装直升机就曾经因为碰撞高空电力线而被撞毁坠地。显然,直升机若没有架空高压电力线识别与告警能力是非常危险的。

近年来国外使用航空激光雷达(ALS)系统来探测高压线路及其周边树木的高度，取得了较好的效果。但是ALS有两个重要的问题，一是成本非常昂贵，二是容易漏掉比较细的危险的目标。且该设备由于体积、功耗和处理实时性等限制，难以应用于直升机上。

目前国内外对于架空高压线红外图像识别方法的研究较少见到。由于高压交流电流产生的热量使得高压线的温度高于周围环境，可以被红外成像设备轻易探测到，特别是在夜间人眼目视效果不好的时候，这种优势更加明显。随着计算机视觉及图像处理、模式识别等人工智能技术的快速发展，通过对采集的红外图像进行特征提取与信息融合，采用机器视觉方法来实现架空高压线目标自动识别成为可能。

发明内容

本发明针对目前直升机或无人机等航空飞行器对飞行航路中悬垂高压线的自动识别问题提出。为了解决上述问题，本发明的目的在于提供一种具有高可靠性和实时准确从红外图像自动识别架空高压线的方法。

为达到上述的目的，本发明提出的一种从红外图像中自动识别架空高压线的方法，其特征在于包括如下步骤：（1）首先将从外景拍摄到的红外数字图像读入计算机程序，经计算机程序色彩转换模块进行亮度计算，转换为灰度图像；（2）然后将上述步骤得到的灰度图像通过图像提取模块进行图像分割、几何特征提取、亮度特征提取、边缘轮廓提取和分段线性特征提取，并将上述图像分成目标区域和背景区域；（3）再通过特征综合分析识别模块自动统计、识别区域中的几何特征、亮度特征和分段线性特征，逐个扫描筛选，排除不具备高压线红外图像特征的疑似目标，依据高压线间的空间几何关系特性和成像特性，得出架空高压线图像初始像素；（4）最后经线性连接与区域扩展模块将最终识别出的架空高压线图像像素以极坐标或直角坐标方式存储，通过高压线像素标记输出模块，输出显示获取得到的最终的架空高压线图像像素。

本发明相比于现有技术具有如下有益效果：本发明中架空高压线在红外图像中的主要成像特征有：高压线在红外图像中表现为一组具有一定悬垂弧度的曲线，且高压线之间一般为平行关系，大多数情况下不相交；高压线较长，除了在与杆塔之间的连接外，贯通整个图像；高压线一般具有特定的光谱特性，在红外图像上表现为高压线上的的亮度值均匀，且高于周围的背景；在图像上，高压线的宽度为一到数个像素。本发明依据高压线的空间几何关系和红外成像特性，完成高压线在红外图像中的自动识别，具有高可靠性和实时处理的特点。

本发明将目前计算机视觉、模式识别引入直升机高压线安全告警中，利用航拍红外图像中的视觉信息实现输电架空高压线路的智能识别，体现了多学科与多领域的交叉性。为实现高压线防撞自动报警提供了解决方法和坚实的基础。

附图说明

为了更清楚地理解本发明，现将通过本发明实施方式，同时参照附图，来描述本发明，其中：

图1是本发明架空高压线红外图像识别方法流程图；

具体实施方式

参阅图1。本发明所提出的高压线图像识别方法依据高压线的图像特征来开发。根据本发明提出的一种从红外图像中自动识别架空高压线的方法，可通过如下步骤予以实现：

1）从外景拍摄到的红外数字图像由计算机程序读入采集的源图像，读入计算机程序的拍摄红外数字图像，经计算机程序色彩转换模块进行亮度计算，通过亮度计算转换为灰度图像。色彩转换模块将彩色图像转换为灰度图像，是指彩色图像像素按红R、绿G、蓝B分成三分量，对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：

I＝0.114B+0.587G+0.299R

其中，R、G、B分别代表彩色图像像素的红色、绿色和蓝色分量。

2）上述步骤得到的灰度图像通过图像提取模块进行图像分割、几何特征提取、亮度特征提取、边缘轮廓提取和分段线性特征提取，从而将上述图像分成目标区域和背景区域。对灰度图像，采用图像轮廓的提取方法提取图像的边缘轮廓，利用改进的随机Hough变换（RHT）方法，实现对轮廓图像中直线像素的检测，提取检测出的直线段的分段线性特征。

图像分割、几何特征提取与红外图像亮度特征提取。

图像分割，采用滑窗局部阈值最大类间方差分割法，利用100×100像素大小的窗口在图像中逐像素滑动，直到遍历整个红外图像，在每个窗口对应的图像子区域中计算局部阈值，并采用最大类间方差方法进行图像分割，最后，整个图像的分割效果是各个图像子区域分割效果的叠加。

最大类间方差分割法利用分割的不同类间的方差作为判断依据，方差越大，说明构成图像的两部分差别越大，当部分目标错分为背景或是部分背景错分为目标都会导致两部分差别变小。因此,使类间方差最大意味错分概率最小,这就是最大类间方差分割准则。

红外图像的灰度级为L，灰度为i的像素的个数为ni，图像总像素数为N，则可以得到各灰度级出现的概率pi=ni/N；在图像分割中，按照图像灰度级用阈值t将灰度划分为两类，即C₀=(0,1,…,t)和C₁=(t+1,t+2,…,L-1)，C₀和C₁出现的概率ω₀和ω₁分别为：

${\mathrm{\ω}}_0=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i$

${\mathrm{\ω}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{p}_i=1-{\mathrm{\ω}}_0$

C₀和C₁出现的平均灰度μ₀和μ₁分别为：

${\mathrm{\μ}}_0=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}i\·p_i/{\mathrm{\ω}}_0=\mathrm{\μ}\left(t\right)/\mathrm{\ω}\left(t\right)$

${\mathrm{\μ}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}i\·p_i/{\mathrm{\ω}}_1=\mathrm{\μ}-\mathrm{\μ}\left(t\right)/1-\mathrm{\ω}\left(t\right)$

式中，μ为每个窗口对应的图像子区域的像素灰度平均值，μ(t)是阈值为t时的灰度平均值，ω(t)是阈值为t时的C₀类出现的概率。所以全部采样的灰度的平均值：

μ＝ω₀μ₀+ω₁μ₁

类间方差定义为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)²

最大类间方差分割法把两类的类间方差作为判别准则，认为使得σ²值最大的t^*即为最佳阈值：

$t^{*}=\mathrm{Arg}\underset{0<t<L-1}{\max }{\mathrm{\&omega;}}_0{({\mathrm{\&mu;}}_0-\mathrm{\&mu;})}^2+{\mathrm{\&omega;}}_1{({\mathrm{\&mu;}}_1-\mathrm{\&mu;})}^2$

对于分割出的目标区域，计算机程序自动统计各个区域的几何特征，含：区域面积和线性度。随后，统计出分割出目标区域的亮度特征，含：亮度均值和方差；

上述区域Ω的线性度定义为：

$\mathrm{\&epsiv;}=\frac{{\mathrm{\&Omega;}}_L}{{\mathrm{\&Omega;}}_W}$

其中，Ω_L和Ω_W分别为区域的长度和宽度。

边缘轮廓提取与分段线性特征提取，

图像中边缘轮廓的提取通过Canny算子模板实现。

Canny算子使用二维高斯函数：

构造滤波器，对图像进行平滑，然后分别在横轴和纵轴方向上对图像求一阶偏导。得到每一点在图像上的梯度值：

$\left|\mathrm{grad}F(x,y)\right|=\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}$

象素（x,y）的梯度值gradF(x，y)代表图像f在该点的灰度变化率，而边缘通常是灰度变化率较大的点集。若用各点的梯度值做成一幅平面地势图，则在边缘上会形成一个“山脊”。在“山脊”上遍历，把所有处于“山脊”上最高处的点提取出来得到的就是图像的边缘线。

分段线性特征提取，利用改进的随机Hough变换（RHT）方法实现对轮廓图像中直线像素的检测。

在直角坐标系中的直线，其方程可以写成：

ρ＝xcosθ+ysinθ

参数ρ、θ唯一地确定一条直线，将ρ＝xcosθ+ysinθ作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射；对于X-Y平面内的一点(x0，y0)变换方程为：

ρ＝x0cosθ+y0sinθ

这在ρ-θ平面内是一条正弦曲线，将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交。

改进的随机Hough变换是通过迭代获取参数空间的全局域值进行的，参数空间的全局峰值点对应着图像空间的一条待检测曲线。在检测出一条曲线后，可以在图像空间中将该曲线删除，然后利用剩余的像素点继续进行随机Hough变换。算法可简述为:

（1）将图像的全部边缘点生成一个点集D，并初始化参数空间；

（2）从点集D中随机地选出一个点对(di，dj)；

（3）如果这个点对不满足事先确定的距离条件，则返回步骤（2）；

（4）利用直线方程求解点对(di，dj)，得到(ρ，θ)。如果参数空间中已有这个点或有与其相近的点，其累加值加一。否则将(ρ，θ)插入参数空间；

（5）累加值在参数空间投票，如果累加值f(ρ，θ)达到阈值，则ρ和θ即对应为检测出的直线参数，将D中相应的点清除，初始化参数空间，返回（2）；

（6）根据ρ和θ计算直线的参数。

在完成Hough变换后，提取检测出的直线段的分段线性特征。

分段线性特征包含：直线段的长度、间距、方位角。

3）对于步骤（2）分割出的目标区域，计算机程序特征综合分析识别模块自动统计各个区域的几何特征，将得到的几何特征、亮度特征和分段线性特征进行综合分析和识别。通过特征综合分析识别模块自动识别区域中的几何特征、亮度特征和分段线性特征，逐个扫描筛选，排除不具备高压线红外图像特征的疑似目标，依据高压线间的空间几何关系特性和成像特性，完成高压线在图像中的自动识别，得出架空高压线图像初始像素。所述的分段线性特征含有：区域面积和线性度。目标区域的亮度特征含有：亮度均值和方差。将目标区域的几何特征、亮度特征和分段线性特征进行综合分析和识别，识别步骤为：

(1).将图像分割得到的所有区域作为目标区域；

(2).由于高压线的长度决定了其在图像中的固有特征为贯通整个图像的长度较长的悬垂曲线，因此基于直线段的长度、区域面积和区域线性度进行阈值处理，排除小长度线段和不满足线性度门限的干扰；

(3).由于高压线的群组关系，高压线之间一般为平行关系，且间距满足一定关系，大多数情况下不相交。因此，基于直线段的间距和方位角进行阈值处理，排除不具备平行线关系和间距条件的直线；

(4).在红外图像上表现为高压线上的的亮度值均匀，据此判断目标对应图像区域的亮度均值和方差，将不满足亮度值均匀特性的区域排除。

4）最后经线性连接与区域扩展模块将最终识别出的架空高压线图像像素以极坐标或直角坐标方式存储，通过高压线像素标记输出模块，输出显示获取得到的最终的架空高压线图像像素。利用线性连接与区域扩展，得到最终的架空高压线图像像素。高压线像素标记及输出，是指将最终识别出的架空高压线图像像素以极坐标或直角坐标方式存储并输出显示。

线性连接与区域扩展步骤为：

1.线性连接与区域扩展模块逐个检查所有检测出的高压线像素区域，若满足两根高压线的像素区域的方位角和间距均小于给定门限，则将两根高压线的像素区域进行合并；

2.线性连接与区域扩展模块将架空高压线图像初始像素按照所在的直线段的线性方向进行延长，查看对应的分割图像和原始图像，若在线段延长方向发现分割出的线性目标且其像素灰度均值与线段的像素灰度均值小于给定的门限，则将该区域的像素坐标加入到识别出的高压线像素坐标中。

高压线像素的标定及输出，高压线像素标记输出模块将上述高压线识别结果和内存所留下的高压线像素坐标，即是最终的识别结果，计算机程序将像素坐标以极坐标或直角坐标方式存储，存储类型为点阵序列。计算机可将其输出到其它显控单元，进行识别结果的绘制、显示和告警。

Claims (10)

1.一种从红外图像中自动识别架空高压线的方法，其特征在于包括如下步骤：（1）首先将从外景拍摄到的红外数字图像读入计算机程序，经计算机程序色彩转换模块进行亮度计算，转换为灰度图像；（2）然后将上述步骤得到的灰度图像通过图像提取模块进行图像分割、几何特征提取、亮度特征提取、边缘轮廓提取和分段线性特征提取，并将上述图像分成目标区域和背景区域；（3）再通过特征综合分析识别模块自动统计、识别区域中的几何特征、亮度特征和分段线性特征，逐个扫描筛选，排除不具备高压线红外图像特征的疑似目标，依据高压线间的空间几何关系特性和成像特性，得出架空高压线图像初始像素；（4）最后经线性连接与区域扩展模块将最终识别出的架空高压线图像像素以极坐标或直角坐标方式存储，通过高压线像素标记输出模块，输出显示获取得到的最终的架空高压线图像像素。

2.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：读入的红外图像通过色彩转换模块将彩色图像，经亮度计算转换为灰度图像，是指：彩色图像像素按红R、绿G、蓝B分成三分量，对于一个三分量为R、G、B的彩色图像像素，该点的亮度按以下公式计算：

I＝0.114B+0.587G+0.299R。

3.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：图像分割采用滑窗局部阈值最大类间方差分割法，利用100×100像素大小的窗口在图像中逐像素滑动，直到遍历整个红外图像，在每个窗口对应的图像子区域中计算局部阈值，并采用最大类间方差方法进行图像分割，最后，整个图像的分割效果是各个图像子区域分割效果的叠加。

4.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：红外图像的灰度级为L，灰度为i的像素的个数为ni，图像总像素数为N，则可以得到各灰度级出现的概率为pi=ni/N；在图像分割中，按照图像灰度级用阈值t将灰度划分为两类，即C₀=(0,1,…,t)和C₁=(t+1,t+2,…,L-1)，C₀和C₁出现的概率ω₀和ω₁分别为：

${\mathrm{\&omega;}}_0=\underset{i=0}{\overset{t}{\mathrm{\&Sigma;}}}{p}_i$

${\mathrm{\&omega;}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\&Sigma;}}}{p}_i=1-{\mathrm{\&omega;}}_0$

C₀和C₁出现的平均灰度μ₀和μ₁分别为：

${\mathrm{\&mu;}}_0=\underset{i=0}{\overset{t}{\mathrm{\&Sigma;}}}i\&CenterDot;p_i/{\mathrm{\&omega;}}_0=\mathrm{\&mu;}\left(t\right)/\mathrm{\&omega;}\left(t\right)$

${\mathrm{\&mu;}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\&Sigma;}}}i\&CenterDot;p_i/{\mathrm{\&omega;}}_1=\mathrm{\&mu;}-\mathrm{\&mu;}\left(t\right)/1-\mathrm{\&omega;}\left(t\right)$

式中，μ为每个窗口对应的图像子区域的像素灰度平均值，μ(t)是阈值为t时的灰度平均值，ω(t)是阈值为t时的C₀类出现的概率，∑代表灰度方差。

5.如权利要求4所述的红外图像中自动识别架空高压线的方法，其特征在于：全部采样的灰度的平均值：

μ＝ω₀μ₀+ω₁μ₁

类间方差定义为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)²

最大类间方差分割法把两类的类间方差作为判别准则，认为使得σ²值最大的图像灰度t^*即为最佳阈值：

$t^{*}=\mathrm{Arg}\underset{0<t<L-1}{\max }{\mathrm{\&omega;}}_0{({\mathrm{\&mu;}}_0-\mathrm{\&mu;})}^2+{\mathrm{\&omega;}}_1{({\mathrm{\&mu;}}_1-\mathrm{\&mu;})}^2.$

6.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：图像中边缘轮廓的提取通过Canny算子模板实现。

7.如权利要求6所述的红外图像中自动识别架空高压线的方法，其特征在于：Canny算子模板使用二维高斯函数：

构造滤波器，对图像进行平滑，然后分别在横轴和纵轴方向上对图像求一阶偏导，得到每一点在图像上的梯度值：

$\left|\mathrm{grad}F(x,y)\right|=\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}$

象素（x,y）的梯度值gradF(x，y)代表图像f在该点的灰度变化率，而边缘通常是灰度变化率较大的点集，式中x和y分别代表图像的横轴坐标与纵轴坐标。

8.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：分段线性特征提取，利用随机Hough变换（RHT）方法实现对轮廓图像中直线像素的检测。

在直角坐标系中的直线，其方程写成：

ρ＝xcosθ+ysinθ

参数ρ、θ唯一地确定一条直线，将ρ＝xcosθ+ysinθ作为X-Y坐标向ρ-θ坐标的变换方程，进行X-Y平面内点集的映射；对于X-Y平面内的任意一点(x0，y0)的变换方程为：

ρ＝x0cosθ+y0sinθ

这是一条在ρ-θ平面内正弦曲线，将X-Y平面内在同一条直线上的一个点序列变换到ρ-θ平面内，则所有正弦曲线都经过一点且所有正弦曲线在ρ-θ平面内其他各处均不相交。

9.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：线性连接与区域扩展模块逐个检查所有检测出的高压线像素区域，若满足两根高压线的像素区域的方位角和间距均小于给定门限，则将两根高压线的像素区域进行合并。

10.如权利要求1所述的红外图像中自动识别架空高压线的方法，其特征在于：线性连接与区域扩展模块将架空高压线图像初始像素按照所在的直线段的线性方向进行延长，查看对应的分割图像和原始图像，若在线段延长方向发现分割出的线性目标且其像素灰度均值与线段的像素灰度均值小于给定的门限，则将该区域的像素坐标加入到识别出的高压线像素坐标中。

Images