CN107833204B - 一种基于拓扑匹配的变电站设备红外图像的视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于拓扑匹配的变电站设备红外图像的视觉检测方法。包括下述步骤：步骤1采集变电站的红外图像G，生成红外图像G1；步骤2针对G1采用Hough算法计算提取图像中直线集Lines，步骤3从Lines中选择凸显变电站2根直线L1和L2；步骤4选定目标对象T，设定模板区域；步骤5计算拓扑相关参数，包括T与直线L1和L2相对位置关系，L1、L2的倾角和它们之间的夹角；步骤6对直线集Lines进行拓扑匹配运算，寻找最佳的直线对；步骤7确定待检测目标T'在图像中的位置C'及倾角θ；步骤8针对G1，构建金字塔状图层信息；步骤9逐层与T的模板匹配，进行角度微调检测，求得最佳旋转角度；步骤10计算目标T'的红外温度分布，判断该目标是否在正常工作范围。

Description

一种基于拓扑匹配的变电站设备红外图像的视觉检测方法

技术领域

本发明涉及一种变电站设备的定位检测算法，尤其涉一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，属于机器视觉的技术领域。

背景技术

现代电网自动化技术日新月异，绝大部分的变电站已经实现无人值班，但由于自动化技术和功能范围并不完善，很多设备的运行数据不能通过现有的在线检测设备简单获取，往往需要安排工作人员定期巡检。

视觉自动检测的技术的引入，可以显著弥补现有电网的监控技术的不足。通过变电站图像采集和红外温度采集，识别和分析，可以实时分析系统运行的重要参数，并监控异常情况，为以后的统计分析提供大数据支持。

在可见光或红外光的视觉检测技术中，图像匹配技术是重要的核心技术之一，传统的图像匹配技术往往采用基于关键点(如Harris角点)的图像匹配，或基于SIFT特征的图像匹配，此类算法虽然较稳定，且不易受光照条件影响，但是由于算法牵涉到大量的特征点提取与匹配，整体算法效率偏低。同时，针对红外图像，由于部分目标的温度与周边环境差异较小，往往会影响到特征点计算的准确性。

发明内容

为了解决上述技术问题，本发明提供一种能有效地克服现存红外图像匹配技术的不足，实现变电站目标的快速精确定位和温度测量，降低人工检测的工作量，提高检测的效率，实现非接触、实时可靠，成本低、自动化程度较高的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法。

本发明的目的是通过以下技术方案实现的：

一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，包括下述步骤：

步骤1、采集变电站的红外图像G，并进行预处理生成红外图像G1；

步骤2、针对红外图像G1采用Hough算法计算提取图像中直线集Lines，其中分为：

拓扑参数和模板设定：

步骤3、从直线集Lines中选择能凸显变电站主要结构的至少2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行；

步骤4、选定目标对象T，并设定模板区域；

步骤5、计算拓扑相关参数，包括T与直线L1和L2的相对位置关系，L1、L2的倾角和它们之间的夹角；

目标检测：

步骤6、对直线集Lines进行拓扑匹配运算，参照直线L1和L2倾角和夹角参数，寻找最佳的直线对，使得它们与直线L1、L2位置关系最相似；

步骤7、依据拓扑参数中，目标T与直线L1和L2的位置关联，确定待检测目标T'在图像中的位置C'及倾角θ；此时，已经完成了目标的初次定位；

步骤8、针对红外图像G1，提取目标区域附近的数据，构建金字塔状图层信息，便于图像快速匹配；

步骤9、依据金字塔图层信息，自上而下，逐层与T的模板匹配，寻找最佳匹配位置；最后，进行角度微调检测，求得最佳旋转角度；

步骤10、计算目标T'的红外温度分布，并判断该目标是否在正常工作范围。

所述的步骤1，其具体是通过红外相机拍摄目标图像，流程如下：

(1)、选定5×5的邻域，将邻域内的像素按灰度等级进行排序，确定其中值；

(2)、将确定的中值赋予滤波后图像中的相应像素点，所述的相应像素点即进行中值滤波的那个像素点。

所述的步骤3、从直线集Lines中选择能凸显变电站主要结构的2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行，此时直线L1可以用参数方程描述为：

x＝P_x+t cosα (1)

y＝P_y+t sinα (2)

其中，点P(x,y)＝(P_x,P_y)为直线L1和L2的交点，α为直线L1的倾角；

同理，直线L2可以用参数方程描述为：

x＝P_x+t cosβ (3)

y＝P_y+t sinβ (4)

其中，β为直线L2的倾角。

所述的步骤4，该步骤主要是用于确定精确匹配所需的图像模板数据。

所述的步骤5，其中：

设T的中心坐标为C(x，y)＝(C_x，C_y)，目标T与直线L1和L2的位置关系可以用t_x和t_y描述。t_x和t_y分别为点C在L1和L2上的投影长度，参照公式(1)(2)(3)和(4)，(t_x，t_y)与(C_x，C_y)，存在以下关联：

C_x＝P_x+t_x cosα+t_y cosβ (5)

C_y＝P_y+t_x sinα+t_y sinβ (6)

联立(5)，(6)，可以推导出t_x和t_y：

t_x＝(C_x sinβ-C_y cosβ-P_x sinβ+P_y cosβ)/sin(β-α) (7)

t_y＝(C_x sinα-C_y cosα-P_x sinα+P_y cosα)/sin(α-β) (8)

此时，拓扑参数和模板已经设置完毕，拓扑参数主要包括直线L1和L2，和目标T的参数坐标(t_x，t_y)。

所述的步骤6，此时待匹配的直线对L1'和L2'应满足以下条件：

abs((α-β)-(α'-β'))<th (9)

其中，α'，β'为直线L1'和L2'的倾角，th为直线夹角的最大允许偏差，一般在5-8°之间；

在实际匹配过程中，考虑到相机的方位变化较小，因此，拓扑匹配中的配对直线与参照直线的角度和长度变化有限，为了减少拓扑匹配搜索的范围，可以设定以下限制条件：

abs(α-α')<th2 (10)

abs(β-β')<th2 (11)

minRate<Len(L1')/Len(L1)<maxRate (12)

minRate<Len(L2')/Len(L2)<maxRate (13)

其中,th为最大直线角度偏差，一般取值在8-10之间；len方法用于计算直线的有效长度，minRate和maxRate为直线长度比值范围，一般地，可取minRate为0.7，maxRate为1.5，限定长度比值是为了过滤较小的直线对象，减少拓扑匹配出错概率；

如果存在多个可能值的情况下，则可以选择角度最为接近的对象；否则，如果不存在拓扑匹配的直线，则识别过程终止。

所述的步骤7，其中：

设匹配的直线对L1'和L2'交点为(P'x，P'_y)，参照公式(5)和(6)，则目标T'的中心坐标为C'(x，y)和图像的倾角θ的计算过程如下：

C'(x,y)＝(P'_x+t_x cosα'+t_y cosβ',P'_y+t_x sinα'+t_y sinβ') (14)

θ＝((α'-α)+(β'-β))/2 (15)。

所述的步骤8，其具体过程如下：

(1)、将红外图像G1绕点C'逆向旋转θ，生产图像G_r；

(2)、计算模板匹配的搜素范围，假定模板的尺寸为(w，h)，此时搜索范围可选择如下区域：

C'_x-w<X<C'_x+w (16)

C'_y-h<Y<C'_y+h (17)；

(3)、构建金字塔状图层信息：由于整个搜索区域较小，建立3层金字塔图层结构即可，此时按预设的阈值对所有图层和模板图像进行二值化处理。

所述的步骤9，其具体过程如下：

(1)、计算最佳位置：按金子塔图层匹配顺序，自上而下逐层匹配最佳目标对象，获得最佳匹配位置C"；

(2)、角度微调：将图像G_r绕C"点在(-angTh，angTh)的角度范围按间隔0.5°进行旋转，并将旋转的图像与模板图像在C"点直接匹配，求得最佳旋转角度，一般地，angTh选择2-3°之间，此时可计算出最佳微调角度γ。

本发明与现有技术相比具有下列优点效果：

1、本发明充分利用变电站红外图像特点，即存在较多的直线对象，以此作为目标检测过程中初次定位的重要依据，能显著提高检测算法抗干扰性。

2、在目标检测和识别上，采用二次定位流程，第一次基于拓扑匹配的初步定位，确定目标最可能的区域范围；第二次是精确定位，在第一次定位的基础上，进行逐个像素匹配。算法能实现目标的精确定位。

3、算法支持旋转匹配，拓扑匹配的过程，通过寻找最佳匹配的直线对，确定了目标的空间位置，同时也计算出了目标的大致旋转角度，降低了匹配过程的搜索空间。

4、在算法效率方面，与传统基于特征点匹配的算法相比，该方法避免了大量特征点提取与匹配过程，显著提高了算法效率。

本发明能有效地克服现存红外图像匹配技术的不足，实现变电站目标的快速精确定位和温度测量，降低人工检测的工作量，提高检测的效率，实现非接触、实时可靠，成本低、自动化程度较高的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法。

附图说明

图1是本发明一种基于拓扑匹配的变电站设备红外图像的视觉检测方法模板设置示意图；

图2是本发明一种基于拓扑匹配的变电站设备红外图像的视觉检测方法拓扑匹配的示意图；

图3是本发明一种基于拓扑匹配的变电站设备红外图像的视觉检测方法拓扑匹配和二次匹配的比较示意图；

图4是本发明一种基于拓扑匹配的变电站设备红外图像的视觉检测方法计算方法流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步详细说明，但本发明的保护范围不受具体的实施例所限制，以权利要求书为准。另外，以不违背本发明技术方案的前提下，对本发明所作的本领域普通技术人员容易实现的任何改动或改变都将落入本发明的权利要求范围之内。

实施例1

如图1、图2、图3和图4所示，一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，包括下述步骤：(参见图4)

步骤1、采集变电站的红外图像G，并进行预处理生成红外图像G1；

步骤2、针对红外图像G1采用Hough算法计算提取图像中直线集Lines，其中分为：

拓扑参数和模板设定：

步骤3、从直线集Lines中选择能凸显变电站主要结构的至少2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行；

步骤4、选定目标对象T，并设定模板区域；

步骤5、计算拓扑相关参数，包括T与直线L1和L2的相对位置关系，L1、L2的倾角和它们之间的夹角；

目标检测：

步骤6、对直线集Lines进行拓扑匹配运算，参照直线L1和L2倾角和夹角参数，寻找最佳的直线对，使得它们与直线L1、L2位置关系最相似；

步骤7、依据拓扑参数中，目标T与直线L1和L2的位置关联，确定待检测目标T'在图像中的位置C'及倾角θ；此时，已经完成了目标的初次定位；

步骤8、针对红外图像G1，提取目标区域附近的数据，构建金字塔状图层信息，便于图像快速匹配；

步骤9、依据金字塔图层信息，自上而下，逐层与T的模板匹配，寻找最佳匹配位置；最后，进行角度微调检测，求得最佳旋转角度；

步骤10、计算目标T'的红外温度分布，并判断该目标是否在正常工作范围。

所述的步骤1，其具体是通过红外相机拍摄目标图像，流程如下：

(1)、选定5×5的邻域，将邻域内的像素按灰度等级进行排序，确定其中值；

(2)、将确定的中值赋予滤波后图像中的相应像素点，所述的相应像素点即进行中值滤波的那个像素点。

所述的步骤3、从直线集Lines中选择能凸显变电站主要结构的2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行，此时直线L1可以用参数方程描述为：

x＝P_x+t cosα (1)

y＝P_y+t sinα (2)

其中，点P(x,y)＝(P_x,P_y)为直线L1和L2的交点，α为直线L1的倾角；

同理，直线L2可以用参数方程描述为：

x＝P_x+tcosβ (3)

y＝P_y+tsinβ (4)

其中，β为直线L2的倾角。

所述的步骤4，该步骤主要是用于确定精确匹配所需的图像模板数据。

所述的步骤5，其中：

设T的中心坐标为C(x，y)＝(C_x，C_y)，目标T与直线L1和L2的位置关系可以用t_x和t_y描述。t_x和t_y分别为点C在L1和L2上的投影长度，参照公式(1)(2)(3)和(4)，(t_x，t_y)与(C_x，C_y)，存在以下关联：

C_x＝P_x+t_x cosα+t_y cosβ (5)

C_y＝P_y+t_x sinα+t_y sinβ (6)

联立(5)，(6)，可以推导出t_x和t_y：

t_x＝(C_xsinβ-C_y cosβ-P_x sinβ+P_y cosβ)/sin(β-α) (7)

t_y＝(C_x sinα-C_y cosα-P_x sinα+P_y cosα)/sin(α-β) (8)

此时，拓扑参数和模板已经设置完毕，拓扑参数主要包括直线L1和L2，和目标T的参数坐标(t_x，t_y)。

所述的步骤6，此时待匹配的直线对L1'和L2'应满足以下条件：

abs((α-β)-(α'-β'))<th (9)

其中，α'，β'为直线L1'和L2'的倾角，th为直线夹角的最大允许偏差，一般在5-8°之间；

在实际匹配过程中，考虑到相机的方位变化较小，因此，拓扑匹配中的配对直线与参照直线的角度和长度变化有限，为了减少拓扑匹配搜索的范围，可以设定以下限制条件：

abs(α-α')<th2 (10)

abs(β-β')<th2 (11)

minRate<Len(L1')/Len(L1)<maxRate (12)

minRate<Len(L2')/Len(L2)<maxRate (13)

其中,th为最大直线角度偏差，一般取值在8-10之间；len方法用于计算直线的有效长度，minRate和maxRate为直线长度比值范围，一般地，可取minRate为0.7，maxRate为1.5，限定长度比值是为了过滤较小的直线对象，减少拓扑匹配出错概率；

如果存在多个可能值的情况下，则可以选择角度最为接近的对象；否则，如果不存在拓扑匹配的直线，则识别过程终止。

所述的步骤7，其中：

设匹配的直线对L1'和L2'交点为(P'_x，P'_y)，参照公式(5)和(6)，则目标T'的中心坐标为C'(x，y)和图像的倾角θ的计算过程如下：

C'(x,y)＝(P'_x+t_x cosα'+t_y cosβ',P'_y+t_x sinα'+t_y sinβ') (14)

θ＝((α'-α)+(β'-β))/2 (15)。

所述的步骤8，其具体过程如下：

(1)、将红外图像G1绕点C'逆向旋转θ，生产图像G_r；

(2)、计算模板匹配的搜素范围，假定模板的尺寸为(w，h)，此时搜索范围可选择如下区域：

C'_x-w<X<C'_x+w (16)

C'_y-h<Y<C'_y+h (17)；

(3)、构建金字塔状图层信息：由于整个搜索区域较小，建立3层金字塔图层结构即可，此时按预设的阈值对所有图层和模板图像进行二值化处理。

所述的步骤9，其具体过程如下：

(1)、计算最佳位置：按金子塔图层匹配顺序，自上而下逐层匹配最佳目标对象，获得最佳匹配位置C"；

(2)、角度微调：将图像G_r绕C"点在(-angTh，angTh)的角度范围按间隔0.5°进行旋转，并将旋转的图像与模板图像在C"点直接匹配，求得最佳旋转角度，一般地，angTh选择2-3°之间，此时可计算出最佳微调角度γ。

本发明充分利用变电站红外图像特点，即存在较多的直线对象，以此作为目标定位过程中初次匹配的依据，能显著提高检测算法的效率和抗干扰性。同时，采用二次定位方法能更加准确定位红外图像中的目标，并能判断目标的旋转角度。

Claims (9)

1.一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于：包括下述步骤：

步骤1、采集变电站的红外图像G，并进行预处理生成红外图像G1；

步骤2、针对红外图像G1采用Hough算法计算提取图像中直线集Lines，其中分为：

拓扑参数和模板设定：

步骤3、从直线集Lines中选择能凸显变电站主要结构的至少2根直线作为参照直线，从直线集Lines中选择能凸显变电站主要结构的2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行；

步骤4、选定目标对象T，并设定模板区域；

步骤5、计算拓扑相关参数，包括T与直线L1和L2的相对位置关系，L1、L2的倾角和它们之间的夹角；

目标检测：

步骤6、对直线集Lines进行拓扑匹配运算，参照直线L1和L2倾角和夹角参数，寻找最佳的直线对，使得它们与直线L1、L2位置关系最相似；

步骤7、依据拓扑参数中，目标T与直线L1和L2的位置关联，确定待检测目标T'在图像中的位置C'及倾角θ；此时，已经完成了目标的初次定位；

步骤8、针对红外图像G1，提取目标区域附近的数据，构建金字塔状图层信息，便于图像快速匹配；

步骤9、依据金字塔图层信息，自上而下，逐层与T的模板匹配，寻找最佳匹配位置；最后，进行角度微调检测，求得最佳旋转角度；

步骤10、计算目标T'的红外温度分布，并判断该目标是否在正常工作范围。

2.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤1，其具体是通过红外相机拍摄目标图像，流程如下：

(1)、选定5×5的邻域，将邻域内的像素按灰度等级进行排序，确定其中值；

(2)、将确定的中值赋予滤波后图像中的相应像素点，所述的相应像素点即进行中值滤波的那个像素点。

3.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤3、从直线集Lines中选择能凸显变电站主要结构的2根直线作为参照直线，分别标记为L1和L2，且直线不相互平行，此时直线L1用参数方程描述为：

x＝P_x+t cosα (1)

y＝P_y+t sinα (2)

其中，点P(x,y)＝(P_x,P_y)为直线L1和L2的交点，α为直线L1的倾角；t为直线上任意一点与(Px,Py)的距离；

同理，直线L2用参数方程描述为：

x＝P_x+t cosβ (3)

y＝P_y+t sinβ (4)

其中，β为直线L2的倾角。

4.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤4，该步骤是用于确定精确匹配所需的图像模板数据。

5.根据权利要求3所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤5，其中：

设T的中心坐标为C(x，y)＝(C_x，C_y)，目标T与直线L1和L2的位置关系用t_x和t_y描述，t_x和t_y分别为点C在L1和L2上的投影长度，参照公式(1)(2)(3)和(4)，(t_x，t_y)与(C_x，C_y)，存在以下关联：

C_x＝P_x+t_xcosα+t_ycosβ (5)

C_y＝P_y+t_xsinα+t_ysinβ (6)

联立(5)，(6)，推导出t_x和t_y：

t_x＝(C_xsinβ-C_ycosβ-P_xsinβ+P_ycosβ)/sin(β-α) (7)

t_y＝(C_xsinα-C_ycosα-P_xsinα+P_ycosα)/sin(α-β) (8)

此时，拓扑参数和模板已经设置完毕，拓扑参数主要包括直线L1和L2，和目标T的参数坐标(t_x，t_y)。

6.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤6，此时待匹配的直线对L1'和L2'应满足以下条件：

abs((α-β)-(α'-β'))<th(9)

其中，α为直线L1的倾角，β为直线L2的倾角，α'、β'为直线L1'和L2'的倾角，th为直线夹角的最大允许偏差，在5-8°之间；

在实际匹配过程中，考虑到相机的方位变化较小，因此，拓扑匹配中的配对直线与参照直线的角度和长度变化有限，为了减少拓扑匹配搜索的范围，设定以下限制条件：

abs(α-α')<th2 (10)

abs(β-β')<th2 (11)

minRate<Len(L1')/Len(L1)<maxRate (12)

minRate<Len(L2')/Len(L2)<maxRate (13)

其中,th为最大直线角度偏差，取值在8-10之间；len方法用于计算直线的有效长度，minRate和maxRate为直线长度比值范围，取minRate为0.7，maxRate为1.5，限定长度比值是为了过滤较小的直线对象，减少拓扑匹配出错概率；

如果存在多个可能值的情况下，则选择角度最为接近的对象；否则，如果不存在拓扑匹配的直线，则识别过程终止。

7.根据权利要求5所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤7，其中：

设匹配的直线对L1'和L2'交点为(P'_x，P'_y)，参照公式(5)和(6)，则目标T'的中心坐标为C'(x，y)和图像的倾角θ的计算过程如下：

C'(x,y)＝(P'_x+t_xcosα'+t_ycosβ',P'_y+t_xsinα'+t_ysinβ') (14)

θ＝((α'-α)+(β'-β))/2 (15)。

8.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤8，其具体过程如下：

(1)、将红外图像G1绕点C'逆向旋转θ，生产图像G_r，其中所述C'为待检测目标T'在图像中的位置；θ是倾角；

(2)、计算模板匹配的搜素范围，假定模板的尺寸为(w，h)，此时搜索范围选择如下区域：

C'_x-w<X<C'_x+w (16)

C'_y-h<Y<C'_y+h (17)

(3)、构建金字塔状图层信息：由于整个搜索区域较小，建立3层金字塔图层结构即可，此时按预设的阈值对所有图层和模板图像进行二值化处理。

9.根据权利要求1所述的一种基于拓扑匹配的变电站设备红外图像的视觉检测方法，其特征在于所述的步骤9，其具体过程如下：

(1)、计算最佳位置：按金子塔图层匹配顺序，自上而下逐层匹配最佳目标对象，获得最佳匹配位置C"；

(2)、角度微调：将图像G_r绕C"点在(-angTh，angTh)的角度范围按间隔0.5°进行旋转，并将旋转的图像与模板图像在C"点直接匹配，求得最佳旋转角度，angTh选择2-3°之间，计算出最佳微调角度γ；其中th为直线夹角的最大允许偏差，在5-8°之间。

Images