CN104361314A - 基于红外与可见光图像融合的变电设备定位方法及装置 - Google Patents

Abstract

本发明属于输变电设备运行状态检修领域，尤其涉及一种基于红外与可见光图像融合的变电设备定位方法及装置。方法包括：采集典型和目标变电设备红外与可见光图像融合后获得模板图像和监测图像，采用SURF-FAST结合算法进行特征点检测，并采用FREAK算法生成二进制描述子并进行初匹配；用RANSAC算法消除错误匹配；通过矩阵的逆运算得到仿射变换矩阵；进行仿射变换得到模板图像在监测图像中的位置并定位出目标变电设备的识别区域。装置包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块。

Description

基于红外与可见光图像融合的变电设备定位方法及装置

技术领域

本发明属于输变电设备运行状态检修领域，尤其涉及一种基于红外与可见光图像融合的变电设备定位方法及装置。

背景技术

在变电设备状态监测领域，常采用红外热像仪检测设备的热故障，但红外图像对比度和清晰度较差，而可见光图像细节丰富，可清晰地反映设备的场景信息，因此，现场有利用以红外热像仪和可见光摄像机为核心装置构建的双通道系统，同时采集设备的红外图像与可见光图像，从而完成检测。但目前对于红外与可见光图像大都依靠运行人员主观分析，在背景复杂、角度多变等环境下容易对目标造成漏检，因此，利用图像处理技术将其进行融合可以充分利用图像所含信息的互补性，从而可以实现更精确的目标识别，能为变电设备的故障检测奠定基础，所以研究基于红外与可见光图像融合的变电设备自动定位方法具有非常重要的实用价值。

本发明主要研究利用局部不变特征从融合图像中自动定位变电设备的方法。局部不变特征主要有2步骤：特征点检测与特征点描述。SURF(Speed UpRobust Feature，加速鲁棒特征)特征点检测算法在目标发生平移、旋转、缩放、亮度变化时都能取得较好的检测效果，但其基于快速海森矩阵的关键点检测算法，容易从图像中信息匮乏的背景边缘区域提取大量独特性低的特征，进而导致不可忽视的误匹配率；同时，其高斯滤波带来的图像模糊使得算法在融合图像目标区域内检测到的关键点数量减少，并不直接适用于变电设备融合图像。FAST角点检测算法能够对图像的细节信息进行提取，但并不具有尺度不变性，容易受到高频噪声的干扰。新颖的FREAK(Fast Retina Keypoint，快速视网膜特征)二进制描述符具有更快，内存占用量更低的优点。

发明内容

为了减少由于背景复杂、角度多变等环境因素导致的漏检，并且减少人工参与，从而提高设备检测质量与效率，本发明提供一种基于红外与可见光图像融合的变电设备定位方法及装置。

一种基于红外与可见光图像融合的变电设备定位方法，包括：

步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；

步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理得到监测图像；

步骤3、采用SURF-FAST结合算法对模板图像和监测图像进行特征点检测；

步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E₁'与仿射变换矩阵H的积为E₂'，即E₁'×H＝E₂'，则通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

所述步骤3的具体步骤包括：

步骤301、分别对融合后的监测图像与模板图像构建尺度图像金字塔，用Hessian矩阵求出极值后在3×3×3的立体邻域内进行非极大值抑制，将比上一尺度、下一尺度及本尺度周围的26个邻域值都大或者都小的极值点作为候选特征点，然后在尺度空间和图像空间中进行插值运算，得到稳定的特征点位置及所在的尺度值；

步骤302、在SURF特征点检测运算的基础之上，构建一个3×3的Bresenham圆，其圆周上共有16个像素，圆心为点P，将检测点P的邻域分为3类：

$g=\left\{\begin{array}{cc}-1,& I_d\&le;I_p-t_1\\ 0,& I_p-t_1<I_d<I_p+t_1\\ 1,& I_p+t_1\&le;I_d\end{array}\right.---\left(3\right)$

其中d表示待测点P的邻域点，I_p表示待测点P的像素值，I_d则表示点d的像素值，t₁表示灰度阈值；g＝-1,0,1分别表示d点比待测点P暗、相似、亮；如果圆周上存在一组n个邻近的像素，比候选像素I_p+t₁更大，或者比I_p-t₁更小，那么就把P归类为角点；为了排除大量非角点，实现高速检测，n最初取为12；

步骤303、将得到的FAST角点与SURF特征点合并，并剔除重复点获得新的特征点集。

所述步骤4的具体步骤包括：

步骤401、对检测到的特征点利用FREAK算法生成二进制描述子，由采样点对的感受域强度两两比较的结果级联而成，假设F为描述子，则其中P_a为第a对感受域，a＝1,2,3…N，N为描述子的维数，映射函数T的表达式为：r₁，r₂表示感受域对的前后顺序关系，是P_a对的前一个感受域平滑后的强度，是P_a对的后一个感受域平滑后的强度；

步骤402、采用异或操作分别计算模板图像中的候选匹配特征点集E₁和监测图像中的候选匹配特征点集E₂的描述符之间的汉明距离；当描述符之间的汉明距离小于距离阈值t₂时，则认为其是匹配的一对特征点。

一种基于红外与可见光图像融合的变电设备定位装置，包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块；

其中，红外图像采集装置的功能是：采集典型变电设备和目标变电设备的红外图像；

可见光图像采集装置的功能是：采集典型变电设备和目标变电设备的可见光图像；

图像融合处理模块的功能是：利用现有像素级融合算法实现典型变电设备和目标变电设备的红外图像与可见光图像的融合处理，分别得到模板图像和监测图像；

变电设备模板图像库的功能是：将典型变电设备的红外图像与可见光图像融合处理后的图像保存在模板图像库中；

特征点检测模块的功能是：采用SURF-FAST结合算法对典型变电设备的模板图像和目标变电设备的监测图像进行特征点检测；

特征点描述与初匹配模块的功能是：对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

特征点错误匹配消除模块的功能是：用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

仿射变换模块的功能是：通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

目标设备定位模块的功能是：对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

本发明的有益效果在于：首先提出了一种新的SURF-FAST特征点检测方案，该方案结合FAST角点检测算法的稳定性和SURF算法的抗尺度、亮度、噪声等变化的特性，然后利用FREAK算法对特征点进行描述，能自动准确定位出融合图像中的变电设备；该定位方法充分利用互补的融合信息可比仅利用单一传感器图像信息获得更高的定位精度，能为变电设备的故障检测奠定良好技术基础；另外该方法自动定位时无需运行人员主观分析，减少了人工的投入，使得变电设备故障检测更加客观，具有显著的经济效益和较高的工程应用价值。

附图说明

图1是本发明方法的流程框图；

图2是本发明方法中FREAK算法的抽样模型；

图3是本发明装置的结构框图；

图4a是小电抗红外监测图像；

图4b是小电抗可见光监测图像；

图4c是红外与可见光融合后的监测图像；

图4d是对融合后的监测图像提取SURF-FAST特征点的结果图；

图4e是对融合后的模板图像提取SURF-FAST特征点的结果图；

图4f是利用汉明距离对FREAK描述子进行初匹配的结果图；

图4g是利用RANSAC算法消除错误匹配结果图；

图4h是最终定位标识结果图。

具体实施方式

下面结合附图和实施例对本发明所提出的方法做进一步的说明。

一种基于红外与可见光图像融合的变电设备定位方法，如图1所示，包括：

步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；

步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理得到监测图像；

步骤3、采用SURF-FAST结合算法对模板图像和监测图像进行特征点检测；

步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E₁'与仿射变换矩阵H的积为E₂'，即E₁'×H＝E₂'，则通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

所述步骤3的具体步骤包括：

步骤301、分别对融合后的监测图像与模板图像构建尺度图像金字塔，通过近似的Hessian矩阵行列式的局部极大值来检测特征点，对图像I中的一点X(x,y)，其在尺度σ的Hessian矩阵为：

$H(X,\mathrm{\&sigma;})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\&sigma;})& L_{\mathrm{xy}}(X,\mathrm{\&sigma;})\\ L_{\mathrm{xy}}(X,\mathrm{\&sigma;})& L_{\mathrm{yy}}(X,\mathrm{\&sigma;})\end{array}\right]---\left(1\right)$

L_xx(X,σ)是图像I(x,y)和高斯函数在x方向上的二阶导数在点X的卷积，即：

$L_{\mathrm{xx}}(X,\mathrm{\&sigma;})=I*\frac{{\&PartialD;}^2}{\&PartialD;x^2}g\left(\mathrm{\&sigma;}\right)---\left(2\right)$

L_xy(X,σ)，L_yy(X,σ)与之类似，然后在3×3×3的立体邻域内进行非极大值抑制，只有比上一尺度、下一尺度及本尺度周围的26个邻域值都大或者都小的极值点才能作为候选特征点，然后在尺度空间和图像空间中进行插值运算，初步得到特征点位置及所在的尺度值。

步骤302、在SURF特征点检测运算的基础之上，构建一个3×3的Bresenham圆，其圆周上共有16个像素，圆心为点P，将检测点P的邻域分为3类：

$g=\left\{\begin{array}{cc}-1,& I_d\&le;I_p-t_1\\ 0,& I_p-t_1<I_d<I_p+t_1\\ 1,& I_p+t_1\&le;I_d\end{array}\right.---\left(3\right)$

其中d表示待测点P的邻域点，I_p表示待测点P的像素值，I_d则表示点d的像素值，t₁表示灰度阈值；g＝-1,0,1分别表示d点比待测点P暗、相似、亮；如果圆周上存在一组n个邻近的像素，比候选像素I_p+t₁更大，或者比I_p-t₁更小，那么就把P归类为角点；为了排除大量非角点，实现高速检测，n最初取为12；

步骤303、将得到的FAST角点与SURF特征点合并，并剔除重复点获得新的特征点集。

所述步骤4的具体步骤包括：

步骤401、FREAK算法采用模拟人类视网膜的抽样模型，如图2所示，对检测到的特征点利用FREAK算法生成二进制描述子，由采样点对的感受域强度两两比较的结果级联而成，假设F为描述子，则其中P_a为第a对感受域，a＝1,2,3…N，N为描述子的维数，映射函数T的表达式为：

r₁，r₂表示感受域对的前后顺序关系，是P_a对的前一个感受域平滑后的强度，是P_a对的后一个感受域平滑后的强度；

步骤402、采用异或操作分别计算模板图像中的候选匹配特征点集E₁和监测图像中的候选匹配特征点集E₂的描述符之间的汉明距离；当描述符之间的汉明距离小于距离阈值t₂时，则认为其是匹配的一对特征点。

一种基于红外与可见光图像融合的变电设备定位装置，如图3所示，包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块；

其中，红外图像采集装置的功能是：采集典型变电设备和目标变电设备的红外图像；

可见光图像采集装置的功能是：采集典型变电设备和目标变电设备的可见光图像；

图像融合处理模块的功能是：利用现有像素级融合算法实现典型变电设备和目标变电设备的红外图像与可见光图像的融合处理，分别得到模板图像和监测图像；

变电设备模板图像库的功能是：将典型变电设备的红外图像与可见光图像融合处理后的图像保存在模板图像库中；

特征点检测模块的功能是：采用SURF-FAST结合算法对典型变电设备的模板图像和目标变电设备的监测图像进行特征点检测；

特征点描述与初匹配模块的功能是：对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

特征点错误匹配消除模块的功能是：用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

仿射变换模块的功能是：通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

目标设备定位模块的功能是：对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

采用本发明所提出的技术方案进行了实验，实验过程如图4a-4h所示。首先采集到如图4a所示的小电抗红外监测图像和如图4b所示的小电抗可见光监测图像，将其融合后得到如图4c所示的监测图像；然后应用SURF-FAST算法对监测图像提取特征点得到如图4d所示结果，然后应用SURF-FAST算法对模板图像提取特征点得到如图4e所示结果；利用汉明距离对FREAK描述子进行初匹配得到如图4f所示结果，匹配的点对之间用直线进行连接；利用RANSAC算法消除错误匹配得到如图4g所示结果；然后基于正确匹配点对的坐标，利用迭代算法计算出仿射变换矩阵，并对模板图像进行仿射变换，在监测图像上完成变电设备图像的识别，用矩形框进行定位标示，定位结果如图4h所示。从实验结果可以看出本发明能准确地从现场的监测图像中定位出目标设备，为变电设备故障诊断奠定了基础。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于红外与可见光图像融合的变电设备定位方法，其特征在于，包括：

步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；

步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理得到监测图像；

步骤3、采用SURF-FAST结合算法对模板图像和监测图像进行特征点检测；

步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E₁'与仿射变换矩阵H的积为E₂'，即E₁'×H＝E₂'，则通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

2.根据权利要求1所述的方法，其特征在于，所述步骤3的具体步骤包括：

步骤301、分别对融合后的监测图像与模板图像构建尺度图像金字塔，用Hessian矩阵求出极值后在3×3×3的立体邻域内进行非极大值抑制，将比上一尺度、下一尺度及本尺度周围的26个邻域值都大或者都小的极值点作为候选特征点，然后在尺度空间和图像空间中进行插值运算，得到稳定的特征点位置及所在的尺度值；

步骤302、在SURF特征点检测运算的基础之上，构建一个3×3的Bresenham圆，其圆周上共有16个像素，圆心为点P，将检测点P的邻域分为3类：

$g=\left\{\begin{array}{cc}-1,& I_d\&le;I_p-t_1\\ 0,& I_p-t_1<I_d<I_p+t_1\\ 1,& I_p+t_1\&le;I_d\end{array}\right.---\left(3\right)$

其中d表示待测点P的邻域点，I_p表示待测点P的像素值，I_d则表示点d的像素值，t₁表示灰度阈值；g＝-1,0,1分别表示d点比待测点P暗、相似、亮；如果圆周上存在一组n个邻近的像素，比候选像素I_p+t₁更大，或者比I_p-t₁更小，那么就把P归类为角点；为了排除大量非角点，实现高速检测，n最初取为12；

步骤303、将得到的FAST角点与SURF特征点合并，并剔除重复点获得新的特征点集。

3.根据权利要求1所述的方法，其特征在于，所述步骤4的具体步骤包括：

步骤401、对检测到的特征点利用FREAK算法生成二进制描述子，由采样点对的感受域强度两两比较的结果级联而成，假设F为描述子，则其中P_a为第a对感受域，a＝1,2,3…N，N为描述子的维数，映射函数T的表达式为：r₁，r₂表示感受域对的前后顺序关系，是P_a对的前一个感受域平滑后的强度，是P_a对的后一个感受域平滑后的强度；

步骤402、采用异或操作分别计算模板图像中的候选匹配特征点集E₁和监测图像中的候选匹配特征点集E₂的描述符之间的汉明距离；当描述符之间的汉明距离小于距离阈值t₂时，则认为其是匹配的一对特征点。

4.一种基于红外与可见光图像融合的变电设备定位装置，其特征在于，包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块；

其中，红外图像采集装置的功能是：采集典型变电设备和目标变电设备的红外图像；

可见光图像采集装置的功能是：采集典型变电设备和目标变电设备的可见光图像；

图像融合处理模块的功能是：利用现有像素级融合算法实现典型变电设备和目标变电设备的红外图像与可见光图像的融合处理，分别得到模板图像和监测图像；

变电设备模板图像库的功能是：将典型变电设备的红外图像与可见光图像融合处理后的图像保存在模板图像库中；

特征点检测模块的功能是：采用SURF-FAST结合算法对典型变电设备的模板图像和目标变电设备的监测图像进行特征点检测；

特征点描述与初匹配模块的功能是：对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；

特征点错误匹配消除模块的功能是：用RANSAC算法消除模板图像中候选匹配特征点集E₁、监测图像中候选匹配特征点集E₂中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E₁'和监测图像的匹配特征点集E₂'；

仿射变换模块的功能是：通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；

目标设备定位模块的功能是：对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。