CN102289676A

CN102289676A - 基于红外检测的变电站刀闸模式识别方法

Info

Publication number: CN102289676A
Application number: CN2011102163781A
Authority: CN
Inventors: 王滨海; 王万国; 王振利; 李健; 刘延兴
Original assignee: Shandong Luneng Intelligence Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2011-07-30
Filing date: 2011-07-30
Publication date: 2011-12-21
Anticipated expiration: 2031-07-30
Also published as: CN102289676B

Abstract

本发明公开了一种基于红外检测的变电站刀闸模式识别方法，该方法的识别步骤如下：Step1：输入待识别图像，通过图像配准获取图像的刀闸区域，对刀闸区域依次进行灰度化、二值化和细化处理；Step2：然后对细化后的刀闸区域图像采用Hough变换算法进行直线检测；Step3：对检测结果进行判别，利用刀闸状态判别条件来识别刀闸的状态。本发明利用SIFT特征的匹配得到两幅图像之间的H矩阵，进而找到图像中的刀闸区域，然后进行刀闸的状态识别。实验表明，该方法可有效地解决电力刀闸的识别，这对于智能变电站的电力设备监测自动化方面具有重要的作用，可以减轻变电站巡视人员的负担，大大提高检测的效率。

Description

基于红外检测的变电站刀闸模式识别方法

技术领域

本发明涉及一种电力刀闸状态识别方法，尤其涉及基于红外检测的变电站刀闸模式识别方法。

背景技术

角点是在其邻域内的各个方向上灰度变化值足够高的像素点[1]。它是一种非常重要的图像点特征，包含图像中比较丰富的二维结构信息。图像中刀闸设备附近区域由于其角点特征突出，并且易于提取，便于对图像匹配，因此，可以应用这一特征来进行图像匹配。

角点提取目前已有很多种方法，如Harris角点[1]提取方法，Moravec算子[2]，非线性的Susan角点[3]提取算子等。David G.Lowe[4]在2004年总结了已有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子----SIFT算子，其全称是Scale Invariant Feature Transform，即尺度不变特征变换。近年来，SIFT角点在实际的应用中因其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，这使得它被广泛用于图像匹配、图像复原、图像拼接、目标识别和跟踪等图像处理的各个领域。

刀闸设备是变电站中非常重要的设备，对刀闸设备的操作直接关系到变电站乃至整个电网的稳定运行。在常规变电站中，刀闸设备操作前后需要运行人员就地实施并人工判断设备状态是否到位，这种模式劳动强度大，操作时间长，已经逐步被淘汰。随着智能化变电站的发展，刀闸设备操作已经向远程自动化操作方向改进，但仍需运行人员参与每一项操作并由现场人员人工确认操作是否准确完成，这种模式虽然减轻了运行人员的劳动强度，缩短了操作时间，但对现场人员的主观判断依赖较大，受现场人员知识、经验等条件约束，容易出现误判，特别是如遇恶劣天气，现场条件比较危险，更加影响设备操作的顺利进行。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于红外检测的变电站刀闸模式识别方法，它成功应用于智能变电站巡视机器人系统来代替巡视人员到现场的确认，对于智能变电站电力设备监测自动化具有重要的作用。

为了实现上述目的，本发明采用如下技术方案：

本发明利用变电站巡检机器人自动采集刀闸设备的红外图像，并利用模式识别方法对刀闸进行定位和识别，该方法的具体步骤如下：

Step1：输入待识别红外图像，通过图像配准获取待识别图像的刀闸区域，对刀闸区域依次进行灰度化、二值化和细化处理；

Step2：然后对细化后的刀闸区域图像采用Hough变换算法进行直线检测；

Step3：对检测结果进行判别，利用刀闸状态判别条件来识别刀闸的状态；

刀闸状态判别条件是：1、如果刀闸区域内没有直线存在，则认为刀闸为“分”状态；2、如果刀闸区域内有直线存在，则计算检测到的直线的角度，若直线与模板中刀闸的角度差θ小于某一阈值，则认为刀闸为“合”状态；否则认为刀闸为“未合好”状态。

所述step1中，图像配准的步骤如下：

A.从巡检数据库中选取模板图像，提取其SIFT特征向量，并在模板图像上标记刀闸设备区域和刀闸角度，将标记后的模板图像存入模板库中；

B.提取待检测图像的SIFT特征向量，并与模板图像的SIFT特征向量进行匹配；

C.采用RANSIC算法得到模板图像和待检测图像间的变换矩阵，根据模板库中标记的刀闸设备所在区域，得到待检测图像的对应刀闸区域。

所述步骤A或B中提取SIFT特征向量的步骤如下：

1)通过检测尺度空间极值来初步确定关键点位置和尺度；

2)通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

3)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，

m (x, y) = \sqrt{{(L (x + 1, y) - L (x - 1, y))}^{2} + {(L (x, y + 1) - L (x, y - 1))}^{2}}

θ＝arctan 2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

其中：m(x，y)和θ分别为(x，y)处梯度的模值和方向，其中L(x，y)为每个关键点在(x，y)处所在的尺度；

4)将坐标轴旋转为关键点的方向，以关键点为中心取8×8的窗口，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即形成一个种子点，每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就产生了128个数据，即最终形成128维的SIFT特征向量。

所述步骤B中，匹配过程如下：取模板图像中的某个匹配点，并找出其与待检测图像中欧氏距离最近和次近的两个匹配点，在这两个匹配点中，如果最近的距离除以次近的距离小于某个比例阈值，则接受这一对匹配点。

所述步骤C中，变换矩阵为

H = [\begin{matrix} h_{0} & h_{1} & h_{2} \\ h_{3} & h_{4} & h_{5} \\ h_{6} & h_{7} & 1 \end{matrix}],

其中，hi为矩阵H的元素，i＝1，2，3，4，5，6，7，i为整数，且有[x′，y′，1]^T＝H*[x，y，1]^T，其中：[x′，y′，1]，[x，y，1]分别为某组特征匹配点在模板图像和待检测图像上的坐标。

本发明的详细实现技术方案如下：

第一步：建立图像模板库，把已采集的单张设备图像加入模板库，标记刀闸区域位置和刀闸角度；

第二步：计算模板图像的SIFT特征向量；

第三步：利用红外热像仪设备获取待检测设备的红外图像；

第四步：计算待检测图像的SIFT特征，并与模板库中对应图像进行图像匹配，得到H矩阵；

第五步：根据模板库图像中的刀闸位置和第四步中所得H矩阵，获得待检测图像中刀闸子图像；

第六步：对第五步中的刀闸子图像进行灰度化、自适应的二值化、图像细化等图像预处理操作；

第七步：根据刀闸状态判别条件判断刀闸状态

所述第一步中选取的红外图像模板，应该为颜色变化一致的图像，无明显云彩影响。刀闸区域位置通过标记含有刀闸的矩形区域来表示。

所述第二步中SIFT特征向量有以下两步：尺度空间的生成和SIFT特征向量生成

1、尺度空间的生成

尺度空间的图像是利用一组连续的高斯卷积核与原图像进行卷积生成的。将相邻尺度的图像相减就可以得到一组高斯差分(Difference of Gaussian，DoG)图像D(x，y，σ)，搜索局部极值点，确定备选的特征点。

G (x, y) = \frac{1}{2 π σ^{2}} e^{(- (x^{2} + y^{2}) / 2 σ^{2})} - - - (1)

D(x，y，mσ)＝(G(x，y，k^mσ)-G(x，y，k^m-1σ))×I(x，y) (2)

其中m＝1，2，…s，k＝2^1/s，D(x，y，mσ)表示相邻尺度的DoG图像，I(x，y)为图像对应(x，y)处的像素，σ为方差。

2、SIFT特征向量生成

一幅图像SIFT特征向量的生成算法总共包括4步：

1)尺度空间的极值选择通过尺度空间极值的检测，来初步确定关键点位置和所在尺度。图1为DoG尺度空间的三个相邻尺度，在检测尺度空间的极值时，图中标记为叉号的像素需要与相同尺度相邻的8个像素和相邻尺度的9*2＝18个像素，共计26个像素进行比较，以确保在尺度空间和二维图像空间均检测到极值点。

2)关键点定位通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

3)方向分配利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

m (x, y) = \sqrt{{(L (x + 1, y) - L (x - 1, y))}^{2} + {(L (x, y + 1) - L (x, y - 1))}^{2}} - - - (3)

θ＝arctan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))) (4)

式(3)中m(x，y)和(4)中θ分别为(x，y)处梯度的模值和方向，L(i，j)为每个关键点在(i，j)处所在的尺度，其中i为x-1，x，x+1，j为y-1，y，y+1。在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0-360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。图2是采用7个柱时使用梯度直方图为关键点确定主方向的示例。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

4)关键点描述矢量生成首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取8×8的窗口。图3左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图3右部分所示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

所述第四步中计算待检测图像的SIFT特征与第二步中SIFT特征向量的生成算法一致，其与图像匹配过程主要有两个步骤：

1)相似性判定度量：生成图像的SIFT特征向量后，采用两幅图像中关键点特征向量的欧氏距离作为相似性判定度量。取模板图像I₁中的某个关键点，并找出其与待检测图像I₂中欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

2)H参数估计：得到两幅图像的特征点的匹配关系后，两幅图像存在这样的一个变换过程：

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = [\begin{matrix} h_{0} & h_{1} & h_{2} \\ h_{3} & h_{4} & h_{5} \\ h_{6} & h_{7} & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}]

或者

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = H [\begin{matrix} x \\ y \\ 1 \end{matrix}]

H为投影变换矩阵，有[x′，y′，1]^T＝H*[x，y，1]^T，[x′，y′，1]，[x，y，1]分别为某组特征匹配点在源图像I1和待检测图像I2上的像点坐标。为了求该矩阵的8个参数，至少需要4组匹配点。

问题转换为求解线性方程的解，即完成矩阵H的参数估计。

为消除匹配过程中有可能存在的错误匹配点，这里采用RANSAC(Random SampleConsensus)来排除外点(错误匹配点，Outliers)，这是一种稳健的参数估计方法，它使用随机选择的样本估计参数，寻找一个对数据具有最大适应性的解。在一定的置信概率P下，M组抽样中至少有一组数据全是内点(Inliers)

1-(1-ε^m)^M＝P (5)

其中ε为内点率，m为模型参数计算过程中报需要的最小数据量，这里m＝4。从式(5)可以看出，通过增加采样次数M可以提高算法找到好的参数的概率。

所述第六步中的自适应的二值化的方法为最大类间方差(OTSU法)[6]，图像细化基于Zhang和Suen论文[7]中的方法

所述第七步中刀闸状态判别条件为：1、如果刀闸区域内没有直线存在，则认为刀闸为“分”状态；2、如果刀闸区域内有直线存在，则计算检测到的直线的角度，若直线与模板中刀闸的角度差θ小于某一阈值，则认为刀闸为“合”状态；否则认为刀闸为“未合好”状态。

本发明的有益效果：

1、本发明结合电力设备中刀闸区域的特点和SIFT特征，有效地解决了电力设备中刀闸状态的判别。实验表明，该方法可有效地解决电力刀闸的识别，这对于智能变电站的电力设备监测自动化方面具有重要的作用，可以减轻变电站巡视人员的负担，大大提高检测的效率。

2、本发明对刀闸的状态识别采用红外图像，可以实现全天候地对设备状态的判断，不受阴天或者晚上引起的光线较暗等外界因素影响。

3、本发明可通过移动机器人实现变电站倒闸操作顺序控制的全自动执行，可以代替运行人员实现对倒闸操作前后刀闸状态的识别，大大减轻运行人员的劳动强度，缩短操作时间，消除现场人员的主观因素的影响，系统简单、灵活、且投资较小。

附图说明

图1为DOG尺度空间局部极值检测示意图；

图2为由梯度方向直方图确定主梯度方向示意图；

图3为由关键点邻域梯度信息生成特征向量；

图4为本发明的算法流程图；

图5a为选取的实施例的原始图像；

图5b为图5a的刀闸区域图像；

图5c为图5b的图像灰度化结果图；

图5d为图5c的图像二值化及反色结果图；

图5e为图5d的细化结果图；

图5f为图5e的直线过滤结果图；

图5g为图5f的识别结果示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图4所示的，基于红外检测的变电站刀闸模式识别方法，它利用变电站巡检机器人自动采集刀闸设备的红外图像，并利用模式识别方法对刀闸进行定位和识别，其具体步骤如下：

第二步：计算模板图像的SIFT特征向量；

第三步：利用红外热像仪设备获取待检测设备的红外图像；

第七步：根据刀闸状态判别条件判断刀闸状态

所述第一步中选取的红外图像模板，应该为颜色变化一致的图像，无明显云彩影响。刀闸区域位置通过标记含有刀闸区域的矩形区域来表示。

1、尺度空间的生成

G (x, y) = \frac{1}{2 π σ^{2}} e^{(- (x^{2} + y^{2}) / 2 σ^{2})} - - - (1)

D(x，y，mσ)＝(G(x，y，k^mσ)-G(x，y，k^m-1σ))×I(x，y) (2)

2、SIFT特征向量生成

一幅图像SIFT特征向量的生成算法总共包括4步：

m (x, y) = \sqrt{{(L (x + 1, y) - L (x - 1, y))}^{2} + {(L (x, y + 1) - L (x, y - 1))}^{2}} - - - (3)

θ＝arctan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))) (4)

为了增强匹配的稳健性，Lowe[4]建议对每个关键点使用4×4共16个种子点来描述，对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = [\begin{matrix} h_{0} & h_{1} & h_{2} \\ h_{3} & h_{4} & h_{5} \\ h_{6} & h_{7} & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}]

或者

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = H [\begin{matrix} x \\ y \\ 1 \end{matrix}]

问题转换为求解线性方程的解，即完成矩阵H的参数估计。

1-(1-ε^m)^M＝P (5)

所述第七步中刀闸状态判别条件为：1、如果刀闸区域内没有直线存在，则认为刀闸为“分”状态；2、如果刀闸区域内有直线存在，则计算检测到的直线的角度，若直线与模板中刀闸的角度差θ小于某一阈值，则认为刀闸为“合”状态；否则认为刀闸为“未合好”状态。具体实施过程中，θ一般取为5度。

实施例：

刀闸设备图像如图5a所示，其状态可分为“分”、“合”、“未合好”三种。算法的具体流程图如图4所示。首先通过图像配准获取刀闸区域(图5b)，对刀闸图像依次进行灰度化、二值化、细化处理，处理后图像如图5c-e所示，然后在刀闸区域中采用Hough变换算法检测直线并过滤，结果如图5f所示，最后通过刀闸状态判别条件来识别刀闸的状态，其中刀闸状态判别条件是：1、如果刀闸区域内没有直线存在，则认为刀闸为“分”状态；2、如果刀闸区域内有直线存在，则计算检测到的直线的角度，若直线与模板中刀闸的角度差θ小于某一阈值，则认为刀闸为“合”状态；否则认为刀闸为“未合好”状态。本实施例中，θ取5度。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

本文中所用到的参考文献：

[1]Harris C，Stephens M.A combined corner and edge detector：proceedings of the 4th AlveyVision Conference，1988[C]：147-151.

[2]Moravec，H.Rover visual obstacle avoidance：proceedings of the seventh International JointConference on Artificial Intelligence，Vancouver，Canada，1981[C]：785-790.

[3]Smith S M，Brady M.SUSAN--A new approach to low level image processing[J].International Journal of Computer Vision，1997，23(1)：45-78.

[4]Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal ofComputer Vision，2004，60(2)：91-110.

[5]Fischler M，Bolles R.Random sample consensus：a paradigm for model fitting with applicationto image analysis and automated cartography[J].Communications of the ACM，1981，24：381-395.

[6]Otsu N.A threshold selection method from gray-level histograms.IEEE Trans，1979，SMC9(1)：62～66

[7]Zhang，T.Y.，Suen，C.Y.A Fast Parallel Algorithm for Thinning Digital Patterns.Comm.ACM，1984，27(3)：236-239。

Claims

1.基于红外检测的变电站刀闸模式识别方法，其特征是，该方法的识别步骤如下：

Step1：输入待识别红外图像，通过图像配准获取待识别红外图像的刀闸区域，对刀闸区域依次进行灰度化、二值化和细化处理；

2.如权利要求1所述的基于红外检测的变电站刀闸模式识别方法，其特征是，所述图像配准的步骤如下：

3.如权利要求2所述的基于红外检测的变电站刀闸模式识别方法，其特征是，所述步骤A或B中提取SIFT特征向量的步骤如下：

1)通过检测尺度空间极值来初步确定关键点位置和所在尺度；

m (x, y) = \sqrt{{(L (x + 1, y) - L (x - 1, y))}^{2} + {(L (x, y + 1) - L (x, y - 1))}^{2}}

θ＝arctan 2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

其中：m(x，y)和θ分别为(x，y)处梯度的模值和方向，其中L(i，j)为每个关键点在(i，j)处所在的尺度，其中i取x-1，x，x+1，j取y-1，y，y+1；

4.如权利要求书2所述的基于红外检测的变电站刀闸模式识别方法，其特征是，所述步骤B中，匹配过程如下：取模板图像中的某个匹配点，并找出其与待检测图像中欧氏距离最近和次近的两个匹配点，在这两个匹配点中，如果最近的距离除以次近的距离小于某个比例阈值，则接受这一对匹配点。

5.如权利要求书2所述的基于红外检测的变电站刀闸模式识别方法，其特征是，所述步骤C中，变换矩阵为

H = [\begin{matrix} h_{0} & h_{1} & h_{2} \\ h_{3} & h_{4} & h_{5} \\ h_{6} & h_{7} & 1 \end{matrix}],

其中，h_i为矩阵H的元素，i＝1，2，3，4，5，6，7且有[x′，y′，1]^T＝H*[x，y，1]^T，其中：[x′，y′，1]，[x，y，1]分别为某组特征匹配点在模板图像和待检测图像上的坐标。