CN113076802A - 基于缺少断开图像样本的变电站开关分合状态图像识别方法 - Google Patents

Abstract

一种基于缺少断开图像样本的变电站开关分合状态图像识别方法，通过对源图像显著区域进行检测，将显著区域和非显著区域分离，采用NSST算法完成可见光图像与红外图像的融合；采用改进SURF算法对融合图像进行目标特征量提取，准确定位开关图像区域；采用基于混沌布谷鸟算法的多阈值图像分割方法对图像进行处理，将目标图像和背景图像进行分离；基于霍夫变换得出图像中开关臂和两个触点所在直线的斜率，并计算出两者的角度差，由此判断开关分合状态。本发明能充分融合红外图像和可见光图像的有效信息，通过开关臂与开关触点所在直线角度差实现开关状态的准确识别，能在缺少断开样本图像以及能见度不高的情况下实现变电站开关状态远程在线监测。

Description

基于缺少断开图像样本的变电站开关分合状态图像识别方法

技术领域

本发明涉及电力设备的监测领域，具体是一种基于缺少断开图像样本的变电站开关分合状态图像识别方法。

背景技术

随着变电站智能化的推进，电力设备的远程监视与控制成为了现实，图像监控系统的建设，实现了各种重要监测信息的“遥视”。此外，图像识别关键技术的发展和应用给变电站相关设备状态信息实时监测提供了有力技术支撑。

传统的变电站开关远程识别是基于分、合两种不同状态的图像样本，根据现场拍摄的图像进行特征匹配来对开关状态进行判别。如果与分状态图像样本匹配度最高则判定开关状态为断开；如果与合状态图像样本匹配度最高则判定开关状态为闭合。但是，对于某些常闭开关，其一般情况下是闭合，只有在检修时断开，因此缺少断开状态样本，只能判定闭合状态，在光线不充足或者阴雨天气的情况下所拍摄的图片与样本图像匹配度不高，极易发生误判，造成不必要的人力和物力的投入。

本申请的发明人在实现本发明的过程中经过研究发现：可见光图像分辨率和对比度比较高，但在夜间及恶劣天气等弱光条件下成像困难，红外图像则可以进行全天时的探测，能捕捉到可见光图像无法反映的物体情况。由于红外图像的分辨率低，达不到亚像素级别的分辨率。针对可见光图像和红外图像各自的优点与缺陷，图像融合技术的出现恰好能对两种源图像的细节信息和特征进行有效地提取，同时在融合过程中不会引入新的噪声，从而获得对场景更为精确的理解和解释。

图像特征提取与匹配对于图像识别的准确性起着尤为重要的作用，通过提取图像中区别于环境的特征点来达到对目标区域的定位。兼具高效性和高鲁棒性的特征点检测算法的出现，能够有效地解决图像在旋转、缩放以及图像环境在光线、角度和噪声干扰情况下的特征量提取问题，特别地，在目标图像位置和形状发生改变时仍能准确地进行特征匹配。

图像分割也是图像处理的关键步骤之一，能够将图像的灰度级按照一个或者多个阈值分成几个部分，使得目标图像与背景图像分离开来，通过对感兴趣的目标图像部分进行定位和提取，极大地提高了图像识别的速度以及准确度。

霍夫变换是处理图像识别的高效算法，它能把边缘像素连接起来，形成一个封闭边界的区域。在图像经过一系列预处理之后，可根据监测设备区域形状，通过边界阈值形成边界曲线，便于进行定量计算从而实现对目标检测设备的状态进行准确而有效的识别。

发明内容

本发明的目的在于提供一种基于缺少断开图像样本的变电站开关图像识别方法，采用可见光和红外光双摄像模式，分别得到开关可见光图像和红外图像，根据两者的特点以及互补特性，采用非下采样剪切波变换(Non-Subsampled Shearing Transform，NSST)的图像融合算法对处理得到的可见光图像和红外图像进行融合，生成含有两种开关源图像丰富细节信息和特征量的融合图像，采用改进SURF(Speeded Up Robust Features)算法对融合图像进行目标特征量提取，不会受拍摄角度以及开关位置形状的影响，准确地定位开关图像，并采用基于混沌布谷鸟算法(Chaotic Cuckoo Search Algorithm，CCS)的多阈值图像分割技术进行处理，最后通过霍夫变换得到开关臂和两个触点所在直线的斜率，根据两者的角度差来达到对开关状态进行判别的目的，并且对开关分合状态样本依赖性不高，可以仅依据开关单一状态图像样本来判别开关状态。

为实现上述目的，本发明采用如下技术方案：

一种基于缺少断开图像样本的变电站开关分合状态图像识别方法，包括如下步骤：

步骤1：对源图像显著区域进行检测，并将显著区域和非显著区域分离，采用NSST算法完成可见光图像与红外图像的融合；

步骤2：采用改进SURF算法对融合图像进行目标特征量提取，准确定位开关图像区域；

步骤3：采用基于混沌布谷鸟算法的多阈值图像分割方法对步骤2定位的开关图像区域进行处理，将目标图像和背景图像分离；

步骤4：基于霍夫变换得出目标图像中开关臂和两个触点所在直线的斜率，并计算出两者的角度差，根据设定的角度差阈值判断开关分合状态。

进一步的，所述步骤1具体实施过程如下：

步骤1.1：采用均值漂移(Meanshift)算法构建灰度特征图

将红外图像中的像素点记为{X_i,i＝1,2…W}，对应的类中心点记为{C_j,j＝1,2…K}；对应的灰度值分别用X^g和C^g来表示，在某一时刻的位置用X^p和C^p来表示，对类中心进行迭代搜索，将第t+1次搜索时的类中心位置记作：

式中，

表示像素点X_i的位置，像素点X_i的灰度值

满足如下关系式：

式中，C^g(t)为第t次迭代时X_i对应的类中心灰度值；h为高斯核函数的带宽，重复上述迭代过程，迭代终止条件为连续两次迭代的类中心位置相同或者类中心灰度值的变化不超过阈值T，即满足：

C^g(t+1)＝C^g(t) (3)

或者

||C^g(t+1)-C^g(t)||≤T (4)再将像素点(x,y)的灰度值赋给对应的类中心C^g(x,y)，从而得到灰度特征图G(x,y)：

G(x,y)＝C^g(x,y) (5)

步骤1.2：采用改进的直方图对比度算法(Histogram based Contrast，HC)构建对比度特征图

像素I_k的特征显著度S(I_k)定义为：

式中，D(I_k,I_i)表示两像素(I_k,I_i)之间在颜色-对立空间(Lab color space)的色彩距离度量，表征像素色彩差异，具有相同颜色的像素被归为一类，为了让度量方式对空间关系更加敏感引入颜色值c：

式中，c_l表示像素I_k的颜色值，n表示像素具有的颜色总数，f_j表示颜色值c_j的概率，将颜色值替换成像素值，并将像素的灰度值按照0-255映射至0-15，利用平滑算法来改善灰度映射过程中的灰度跳变，采用像素点在四邻域的像素值对上式进行改写：

式中，

为像素c与四邻域像素的间距，所得对比度特征图记为C(x,y)，步骤1.3：通过灰度特征图和对比度特征图加权得到初步的全局显著图

采用二维高斯低通滤波器来保证全局显著图的连续性，处理所得到的初步全局显著图记为P：

P＝g(ω₁G+ω₂C) (9)

式中，g表示二维高斯低通滤波器，ω₁，ω₂分别对应灰度特征图和对比度特征图的权重，根据能量值计算得出：

式中，M、N表示像素点(x,y)的上限值；

步骤1.4:采用傅里叶变换的振幅谱方法构建局部显著图

(1)将源图像划分为图像块以获取局部信息

划分得到的图像块大小与源图像大小以及分辨率关系如下：

式中，S_patch表示分成的图像块的大小，λ为平衡参数，S_source表示源图像的大小，R表示源图像的分辨率；

(2)计算图像块间的差值

将傅里叶变换振幅谱的欧氏距离表示为图像块与邻域间的差距，图象块的傅里叶变换如下：

式中，f_L(m,n)和F_L(u,v)分别表示过程(1)中划分的图象块及其傅里叶变换，用极坐标形式表示为：

式中，A表示图像块的振幅谱,v为指数系数，Φ_L(u,v)为u、v关系式，由此计算出图象块i和j之间的差值，用D_ij表示：

式中，q表示过程(1)划分的图像块总数；

(3)由图象块之间的差值计算权重

由于图像块间的影响会随着空间距离的增加而减小，则两个图象块之间差值的权重δ_i,j表示为：

式中，Eud(i,j)表示两图象块之间的欧氏距离；

(4)图像块赋值

用S_i表示图像块i的值，其由图像块之间的差值D_ij及其权重δ_i,j共同决定：

S_i＝∑_i≠jD_ijδ_i,j (17)

(5)根据图像块的值构造局部特征图

根据过程(4)所得图像块的值，通过高斯低通滤波得到局部特征图，记为L(m,n)；

步骤1.5：采用加权法得到红外显著图

在得到全局和局部显著图后，采用如下加权得到红外图像显著图，记为SM：

SM＝g(ω₁P+ω₂L) (18)

步骤1.6：显著目标区域和非显著背景区域图像分离

根据步骤1.5得到的红外图像显著图，利用基于大律法和Grabcut的自适应算法将红外图像显著目标区域和非显著背景区域进行分割，并将这种分割方式映射到相应的可见光图像中，使其产生相同的分割结果，将红外和可见光图像的显著性区域记为S，非显著性区域记为N；

步骤1.7：采用NSST算法对预处理的红外图像和可见光图像进行融合

基于NSST算法对红外和可见光图像进行多尺度多方向变换，将红外和可见光图像根据频率进行划分，高频子带系数分别记为

和

低频子带系数分别记为LC_IR(x,y)和LC_VI(x,y)，其中(x,y)表示红外和可见光图像中某点位置，l表示分解的尺度，k表示分解的方向；

低频分量的融合遵循如下规则：显著区域选择红外图像的低频分量，而非显著区域选择可见光图像的低频分量，表述为：

式中，LC_F(x,y)表示在位置(x,y)处融合的低频子带系数，对于高频分量的融合则采用如下绝对值取大策略：

式中，

表示在位置(x,y)处融合的高频子带系数，

最后通过NSST逆变换算法对融合的低频子带系数和高频子带系数取逆得到最终的融合图像。

进一步的，步骤2具体实施过程如下：

步骤2.1：特征点检测

采用Hessian矩阵对特征点进行检测，每个像素点分别对应一个Hessian矩阵：

式中，x表示特征点的坐标，σ表示尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)分别表示输入图像与高斯二阶微分

的卷积，g(σ)为高斯函数；

为使特征点具备尺度无关性，对特征点进行高斯滤波：

L(x,t)＝G(t)·I(x,t) (24)

式中，L(x,t)为不同解析度对应的图像函数，I(x,t)为输入的图像函数，G(t)为高斯二阶微分，用近似值代替L(x,t)进行简化计算，并引入权值带进行误差消除，则Hessian矩阵行简化为：

det(Happrox)＝L_xxL_yy-(0.9L_xy)² (26)

式中，det(Happrox)为像素点的Hessian矩阵行列；L_xx，L_xy，L_yy为高斯滤波后图像在各个方向的二阶导数；

构建图像的尺度空间以获得不同尺度的采样点，实现在尺度空间上对特征点的提取，在像素点经过Hessian矩阵处理之后，将像素点与其三维领域的26个点进行对比，保留极值点；采用三维线性差值法得到亚像素级特征点，并剔除掉小于一定阈值的特征点；

通过确定特征点的主方向来达到旋转不变性的目的，即在特征点的领域内选取60°扇形，对扇形区域中所有点的水平与垂直Haar小波特征进行求和，然后将60°扇形按照一定的间隔进行的旋转，在旋转过程中分别计算水平与垂直Haar小波特征之和，将和最大的扇形所在的方向作为最终特征点的主方向；

步骤2.2：生成特征点描述子。

在特征点周围取一个4×4的矩形区域块，方向为特征点的主方向，在各子区域块中分别对25个像素的水平方向和垂直方向的Haar小波特征进行统计，将Haar小波值作为各子区域块的特征向量，得到64维SURF特征描述子；

步骤2.3：特征点匹配

(1)使用欧氏距离选取初步特征点对

通过计算特征点间的欧式距离对特征点匹配度进行判定，欧氏距离越短则特征点的匹配度就越高；

(2)使用余弦相似度函数进一步筛选

在向量空间中绘制向量的坐标值，并计算夹角对应的余弦值，剔除余弦值小于阈值K的特征点向量对，其中，向量a和b的余弦相似度S(a,b)表达式为:

(3)采用改进的RANSAC算法进行图像匹配

采用PROSAC(the progressive sample consensus)算法根据余弦相似度匹配的结果由高到低进行排序，以便快速得到RANSAC算法最佳参数，进而对开关图像区域进行准确快速的定位。

进一步的，步骤3具体实施过程为：

在布谷鸟算法迭代完成之后，利用混沌算子对最优鸟窝位置进行扰动，并以最大熵为目标函数，进行多阈值灰度图像分割，实现目标图像和背景图像的准确分离。

进一步的，步骤4开关状态识别过程为：

步骤4.1：对目标图像进行霍夫变换，通过边界阈值来形成边界曲线，从而形成封闭边界，在进行霍夫变换时，将开关臂以及开关两个触点所在直线的斜率输出为k₁和k₂；

步骤4.2：开关状态识别，根据霍夫变换所得两条直线的斜率计算两条直线的角度差：

设定角度差阈值ψ＝5°，实现对开关状态的判别：

本发明具有如下有益效果：

1、本发明采用了基于源图像显著区域提取和NSST算法的可见光与红外图像融合方法，能够对源图像的细节信息和特征进行有效地提取和融合，为光线不足或恶劣天气下设备的远程检测和图像识别提供了新方向；

2、本发明采用了改进的SURF算法对融合图像进行目标区域定位，不会受到拍摄角度、光线以及开关位置、形状的影响，具有较强的鲁棒性和高效性，能够在仅有单一样本图像的情况下准确匹配目标图像；

3、本发明采用的基于混沌布谷鸟算法的的多阈值图像分割方法，具有较高的分割准确度以及较快的处理速度；

4、本发明采用的基于霍夫变换的开关臂与开关触点所在直线的角度差计算方法，能够较为准确的判别开分合状态，有效避免了误判的发生。

附图说明

图1为本发明采用的红外图像最终显著图求取流程图；

图2为本发明采用的NSST多尺度分解流程示意图；

图3为本发明采用的红外图像和可见光图像融合流程图；

图4为本发明采用的改进SURF算法中特征点主方向的求取过程图；

图5为本发明采用的基于混沌布谷鸟算法的多阈值求取流程图；

图6为本发明基于缺少断开图像样本的变电站开关分合状态图像识别方法其中一个实施例的流程示意图；

图7为本发明其中一个实施例开关臂与触点所在直线检测结果图；

图8为本发明另外一个实施例开关臂与触点所在直线检测结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图6，本发明实施例提供一种基于缺少断开图像样本的变电站开关分合状态图像识别方法，包括如下步骤：

步骤1：对源图像显著区域进行检测，并将显著区域和非显著区域分离，采用NSST算法完成可见光图像与红外图像的融合；

步骤1.1：采用均值漂移算法构建灰度特征图。

将红外图像中的像素点记为{X_i,i＝1,2…W}，对应的类中心点记为{C_j,j＝1,2…K}；它们对应的灰度值分别用X^g和C^g来表示，在某一时刻的位置用X^p和C^p来表示。对类中心进行迭代搜索，将第t+1次搜索时的类中心位置记作：

式中，

表示像素点X_i的位置。像素点X_i的灰度值

满足如下关系式：：

式中，C^g(t)为第t次迭代时X_i对应的类中心灰度值；h为高斯核函数的带宽。重复上述迭代过程，迭代终止条件为连续两次迭代的类中心位置相同或者类中心灰度值的变化不超过阈值T，表示为：

C^g(t+1)＝C^g(t) (32)

或者

||C^g(t+1)-C^g(t)||≤T (33)再将像素点(x,y)的灰度值赋给对应的类中心C^g(x,y)，从而得到灰度特征图G(x,y)：

G(x,y)＝C^g(x,y) (34)

步骤1.2：采用改进的直方图对比度算法构建对比度特征图。

像素I_k的特征显著度S(I_k)定义为：

式中，D(I_k,I_i)表示两像素(I_k,I_i)之间在颜色-对立空间的色彩距离度量，表征像素色彩差异，具有相同颜色的像素被归为一类。为了让度量方式对空间关系更加敏感引入颜色值c：

式中，c_l表示像素I_k的颜色值，n表示像素具有的颜色总数，f_j表示颜色值c_j的概率。为了能够更适用于红外灰度图像，将颜色值替换成像素值，并将像素的灰度值按照0-255映射至0-15，以便提升处理的速度。此外，利用平滑算法来改善灰度映射过程中的灰度跳变，采用像素点在四邻域的像素值对上式进行改写：

式中，

为像素c与四邻域像素的间距。所得对比度特征图记为C(x,y)。

步骤1.3：通过灰度特征图和对比度特征图加权得到初步的全局显著图。

采用二维高斯低通滤波器来保证全局显著图的连续性，处理所得到的初步全局显著图记为P：

P＝g(ω₁G+ω₂C) (38)

式中，g表示二维高斯低通滤波器，ω₁，ω₂分别对应灰度特征图和对比度特征图的权重。根据能量值计算得出：

式中，M、N表示像素点(x,y)的上限值。

步骤1.4:采用傅里叶变换的振幅谱方法构建局部显著图。

为了消除目标中混入的背景信息，获得精确的目标区域，并加强空间关系，采用傅里叶变换的振幅谱方法构建局部显著图，过程如下：

(1)将源图像划分为图像块以获取局部信息。

划分得到的图像块大小与源图像大小以及分辨率关系如下：

式中，S_patch表示分成的图像块的大小，λ为平衡参数，S_source表示源图像的大小，R表示源图像的分辨率。

(2)计算图像块间的差值。

将傅里叶变换振幅谱的欧氏距离表示为图像块与邻域间的差距，图象块的傅里叶变换如下：

式中，f_L(m,n)和F_L(u,v)分别表示过程(1)中划分的图象块及其傅里叶变换。用极坐标形式表示为：

式中，A表示图像块的振幅谱,μ为指数系数，Φ_L(u,v)为u、v关系式。由此计算出图象块i和j之间的差值，用D_ij表示：

式中，q表示由过程(1)划分的图像块的总数。

(3)由图象块之间的差值计算权重。

由于图像块间的影响会随着空间距离的增加而减小，则两个图象块之间差值的权重δ_i,j可表示为：

式中，Eud(i,j)表示两图象块间的欧氏距离。

(4)图像块赋值。

用S_i表示图像块i的值，其由图像块之间的差值D_ij及其权重δ_i,j共同决定：

S_i＝∑_i≠jD_ijδ_i,j (46)

(5)根据图像块的值构造局部特征图。

根据步骤(4)所得图像块的值，通过高斯低通滤波得到局部特征图，记为L(m,n)。

步骤1.5：采用加权法得到红外显著图。

在得到全局和局部显著图后，采用如下加权得到红外图像最终显著图，记为SM：

SM＝g(ω₁P+ω₂L) (47)

通过步骤1.1-步骤1.5得到红外图像最终的显著图，流程图见图1。

步骤1.6：显著目标区域和非显著背景区域图像分离。

根据上一步骤得到的红外显著图，利用基于大律法和Grabcut的自适应算法将红外图像显著目标区域和非显著背景区域进行分割，并将这种分割方式映射到相应的可见光图像中，使其产生相同的分割结果。将红外和可见光图像的显著性区域记为S，非显著性区域记为N。

步骤1.7：采用NSST算法对预处理的红外图像和可见光图像进行融合。

基于NSST算法对红外和可见光图像进行多尺度多方向变换，将红外和可见光图像根据频率进行划分，高频子带系数分别记为

和

低频子带系数分别记为LC_IR(x,y)和LC_VI(x,y)，其中(x,y)表示红外和可见光图像中某点位置，l表示分解的尺度，k表示分解的方向。NSST多尺度分解流程示意图见图2。

低频分量的融合遵循如下规则：显著区域选择红外图像的低频分量，而非显著区域选择可见光图像的低频分量，表述为：

式中，LC_F(x,y)表示在位置(x,y)处融合的低频子带系数。对于高频分量的融合则采用如下绝对值取大策略：

式中，

表示在位置(x,y)处融合的高频子带系数。

最后通过NSST逆变换算法对融合的低频子带系数和高频子带系数取逆得到最终的融合图像，红外图像和可见光图像融合流程见图3。

步骤2：采用改进SURF算法对融合图像进行目标特征量提取，准确定位开关图像区域；

步骤2.1：特征点检测。

采用Hessian矩阵对特征点进行检测，每个像素点分别对应一个Hessian矩阵：

式中，x表示特征点的坐标，σ表示尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)分别表示输入图像与高斯二阶微分

的卷积，g(σ)为高斯函数。

为使特征点具备尺度无关性，对特征点进行高斯滤波：

L(x,t)＝G(t)·I(x,t) (53)

式中，L(x,t)为不同解析度对应的图像函数，I(x,t)为输入的图像函数，G(t)为高斯二阶微分。用近似值代替L(x,t)进行简化计算，并引入权值带进行误差消除，则Hessian矩阵行简化为：

det(Happrox)＝L_xxL_yy-(0.9L_xy)² (55)

式中，det(Happrox)为像素点的Hessian矩阵行列；L_xx，L_xy，L_yy为高斯滤波后图像在各个方向的二阶导数。

构建图像的尺度空间来获得不同尺度的采样点，实现在尺度空间上对特征点的提取。通过确定特征点的主方向来达到旋转不变性的目的，特征点主方向的求取过程图见图4。

步骤2.2：生成特征点描述子。

在特征点周围取一个矩形区域块，方向为特征点的主方向。将Haar小波值作为各子区域块的特征向量，得到64维SURF特征描述子。

步骤2.3：特征点匹配。

(1)使用欧氏距离选取初步特征点对。

通过计算特征点间的欧式距离对特征点匹配度进行判定，欧氏距离越短则特征点的匹配度就越高。

(2)使用余弦相似度函数进一步筛选。

由于欧氏距离不能体现各特征描述子向量间的相关性，因此为保证特征点匹配的准确性对特征点进行二次匹配，实现对误匹配对的消除。

在向量空间中绘制向量的坐标值，并计算夹角对应的余弦值，剔除余弦值小于阈值K的特征点向量对。其中，向量a和b的余弦相似度S(a,b)表达式为:

(3)采用改进的RANSAC算法进行图像匹配。

在RANSAC算法匹配过程中，采用PROSAC算法根据余弦相似度匹配的结果由高到低进行排序，以便快速得到RANSAC最佳参数的采样，进而实现开关图像区域的准确快速的定位。

步骤3：采用基于混沌布谷鸟算法的多阈值图像分割方法对图像进行处理，将目标图像和背景图像分离；

采用飞行随机行走和偏好随机游动两个机制对算法的全局和局部搜索能力进行平衡，并利用混沌算子对最优鸟窝位置进行扰动来提高算法寻优速度和精度，输出最优阈值。基于混沌布谷鸟算法的多阈值求取流程见图5。

以最大熵为目标函数，将混沌布谷鸟算法用于多阈值灰度图像分割，实现目标图像和背景图像的准确分离。

步骤4：基于霍夫变换得出图像中开关臂和两个触点所在直线的斜率，并计算出两者的角度差，判断开关分合状态。

步骤4.1：对目标图像进行霍夫变换。经过上述步骤，开关图像区域以及形状已经较为明显和清晰了，可以通过边界阈值来形成边界曲线，从而形成封闭边界，在进行霍夫变换时，将开关臂以及开关两个触点所在直线的斜率输出为k₁和k₂。

步骤4.2：开关状态识别。根据霍夫变换所得两条直线的斜率计算两条直线的角度差：

设定角度差阈值ψ＝5°，实现对开关状态的判别：

即当求出的角度差θ≤5°判定开关为闭合状态(如图7所示，本发明其中一个实例由开关臂与触点所在直线斜率求得夹角为0.0°<5°，即判定开关状态为闭合)；而当角度差θ>5°判定开关为断开状态(如图所示，本发明另外一个实例由开关臂与触点所在直线斜率求得夹角为46.0°>5°，即判定开关状态为断开)，实现了变电站开关状态远程在线监测，并且不依赖样本库，达到在单一样本以及恶劣天气情况下开关的准确识别，减少了误判的发生，节约了人力和物力。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于缺少断开图像样本的变电站开关分合状态图像识别方法，其特征在于，包括如下步骤：

步骤1：对源图像显著区域进行检测，并将显著区域和非显著区域分离，采用NSST算法完成可见光图像与红外图像的融合；

步骤2：采用改进SURF算法对融合图像进行目标特征量提取，准确定位开关图像区域；

步骤3：采用基于混沌布谷鸟算法的多阈值图像分割方法对步骤2定位的开关图像区域进行处理，将目标图像和背景图像分离；

步骤4：基于霍夫变换得出目标图像中开关臂和两个触点所在直线的斜率，并计算出两者的角度差，根据设定的角度差阈值判断开关分合状态。

2.根据权利要求1所述的基于缺少断开图像样本的变电站开关分合状态图像识别方法，其特征在于：

所述步骤1具体实施过程如下：

步骤1.1：采用均值漂移(Meanshift)算法构建灰度特征图

将红外图像中的像素点记为{X_i,i＝1,2…W}，对应的类中心点记为{C_j,j＝1,2…K}；对应的灰度值分别用X^g和C^g来表示，在某一时刻的位置用X^p和C^p来表示，对类中心进行迭代搜索，将第t+1次搜索时的类中心位置记作：

式中，

表示像素点X_i的位置，像素点X_i的灰度值

满足如下关系式：

式中，C^g(t)为第t次迭代时X_i对应的类中心灰度值；h为高斯核函数的带宽，重复上述迭代过程，迭代终止条件为连续两次迭代的类中心位置相同或者类中心灰度值的变化不超过阈值T，即满足：

C^g(t+1)＝C^g(t) (3)

或者

||C^g(t+1)-C^g(t)||≤T (4)

再将像素点(x,y)的灰度值赋给对应的类中心C^g(x,y)，从而得到灰度特征图G(x,y)：

G(x,y)＝C^g(x,y) (5)

步骤1.2：采用改进的直方图对比度算法(Histogram based Contrast，HC)构建对比度特征图

像素I_k的特征显著度S(I_k)定义为：

式中，D(I_k,I_i)表示两像素(I_k,I_i)之间在颜色-对立空间(Lab color space)的色彩距离度量，表征像素色彩差异，具有相同颜色的像素被归为一类，为了让度量方式对空间关系更加敏感引入颜色值c：

式中，c_l表示像素I_k的颜色值，n表示像素具有的颜色总数，f_j表示颜色值c_j的概率，将颜色值替换成像素值，并将像素的灰度值按照0-255映射至0-15，利用平滑算法来改善灰度映射过程中的灰度跳变，采用像素点在四邻域的像素值对上式进行改写：

式中，

为像素c与四邻域像素的间距，所得对比度特征图记为C(x,y)，

步骤1.3：通过灰度特征图和对比度特征图加权得到初步的全局显著图

采用二维高斯低通滤波器来保证全局显著图的连续性，处理所得到的初步全局显著图记为P：

P＝g(ω₁G+ω₂C) (9)

式中，g表示二维高斯低通滤波器，ω₁，ω₂分别对应灰度特征图和对比度特征图的权重，根据能量值计算得出：

式中，M、N表示像素点(x,y)的上限值；

步骤1.4:采用傅里叶变换的振幅谱方法构建局部显著图

(1)将源图像划分为图像块以获取局部信息

划分得到的图像块大小与源图像大小以及分辨率关系如下：

式中，S_patch表示分成的图像块的大小，λ为平衡参数，S_source表示源图像的大小，R表示源图像的分辨率；

(2)计算图像块间的差值

将傅里叶变换振幅谱的欧氏距离表示为图像块与邻域间的差距，图象块的傅里叶变换如下：

式中，f_L(m,n)和F_L(u,v)分别表示过程(1)中划分的图象块及其傅里叶变换，用极坐标形式表示为：

式中，A表示图像块的振幅谱,μ为指数系数，Φ_L(u,v)为u、v关系式，由此计算出图象块i和j之间的差值，用D_ij表示：

式中，q表示过程(1)划分的图像块总数；

(3)由图象块之间的差值计算权重

由于图像块间的影响会随着空间距离的增加而减小，则两个图象块之间差值的权重δ_i,j表示为：

式中，Eud(i,j)表示两图象块之间的欧氏距离；

(4)图像块赋值

用S_i表示图像块i的值，其由图像块之间的差值D_ij及其权重δ_i,j共同决定：

S_i＝∑_i≠jD_ijδ_i,j (17)

(5)根据图像块的值构造局部特征图

根据过程(4)所得图像块的值，通过高斯低通滤波得到局部特征图，记为L(m,n)；

步骤1.5：采用加权法得到红外显著图

在得到全局和局部显著图后，采用如下加权得到红外图像显著图，记为SM：

SM＝g(ω₁P+ω₂L) (18)

步骤1.6：显著目标区域和非显著背景区域图像分离

根据步骤1.5得到的红外图像显著图，利用基于大律法和Grabcut的自适应算法将红外图像显著目标区域和非显著背景区域进行分割，并将这种分割方式映射到相应的可见光图像中，使其产生相同的分割结果，将红外和可见光图像的显著性区域记为S，非显著性区域记为N；

步骤1.7：采用NSST算法对预处理的红外图像和可见光图像进行融合

基于NSST算法对红外和可见光图像进行多尺度多方向变换，将红外和可见光图像根据频率进行划分，高频子带系数分别记为

和

低频子带系数分别记为LC_IR(x,y)和LC_VI(x,y)，其中(x,y)表示红外和可见光图像中某点位置，l表示分解的尺度，k表示分解的方向；

低频分量的融合遵循如下规则：显著区域选择红外图像的低频分量，而非显著区域选择可见光图像的低频分量，表述为：

式中，LC_F(x,y)表示在位置(x,y)处融合的低频子带系数，对于高频分量的融合则采用如下绝对值取大策略：

式中，

表示在位置(x,y)处融合的高频子带系数，

最后通过NSST逆变换算法对融合的低频子带系数和高频子带系数取逆得到最终的融合图像。

3.根据权利要求1所述的基于缺少断开图像样本的变电站开关分合状态图像识别方法，其特征在于：

步骤2具体实施过程如下：

步骤2.1：特征点检测

采用Hessian矩阵对特征点进行检测，每个像素点分别对应一个Hessian矩阵：

式中，x表示特征点的坐标，σ表示尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)分别表示输入图像与高斯二阶微分

的卷积，g(σ)为高斯函数；

为使特征点具备尺度无关性，对特征点进行高斯滤波：

L(x,t)＝G(t)·I(x,t) (24)

式中，L(x,t)为不同解析度对应的图像函数，I(x,t)为输入的图像函数，G(t)为高斯二阶微分，用近似值代替L(x,t)进行简化计算，并引入权值带进行误差消除，则Hessian矩阵行简化为：

det(Happrox)＝L_xxL_yy-(0.9L_xy)² (26)

式中，det(Happrox)为像素点的Hessian矩阵行列；L_xx，L_xy，L_yy为高斯滤波后图像在各个方向的二阶导数；

构建图像的尺度空间以获得不同尺度的采样点，实现在尺度空间上对特征点的提取，在像素点经过Hessian矩阵处理之后，将像素点与其三维领域的26个点进行对比，保留极值点；采用三维线性差值法得到亚像素级特征点，并剔除掉小于一定阈值的特征点；

通过确定特征点的主方向来达到旋转不变性的目的，即在特征点的领域内选取60°扇形，对扇形区域中所有点的水平与垂直Haar小波特征进行求和，然后将60°扇形按照一定的间隔进行的旋转，在旋转过程中分别计算水平与垂直Haar小波特征之和，将和最大的扇形所在的方向作为最终特征点的主方向；

步骤2.2：生成特征点描述子。

在特征点周围取一个4×4的矩形区域块，方向为特征点的主方向，在各子区域块中分别对25个像素的水平方向和垂直方向的Haar小波特征进行统计，将Haar小波值作为各子区域块的特征向量，得到64维SURF特征描述子；

步骤2.3：特征点匹配

(1)使用欧氏距离选取初步特征点对

通过计算特征点间的欧式距离对特征点匹配度进行判定，欧氏距离越短则特征点的匹配度就越高；

(2)使用余弦相似度函数进一步筛选

在向量空间中绘制向量的坐标值，并计算夹角对应的余弦值，剔除余弦值小于阈值K的特征点向量对，其中，向量a和b的余弦相似度S(a,b)表达式为:

(3)采用改进的RANSAC算法进行图像匹配

采用PROSAC(the progressive sample consensus)算法根据余弦相似度匹配的结果由高到低进行排序，以便快速得到RANSAC算法最佳参数，进而对开关图像区域进行准确快速的定位。

4.根据权利要求1所述的基于缺少断开图像样本的变电站开关分合状态图像识别方法，其特征在于：

步骤3具体实施过程为：

在布谷鸟算法迭代完成之后，利用混沌算子对最优鸟窝位置进行扰动，并以最大熵为目标函数，进行多阈值灰度图像分割，实现目标图像和背景图像的准确分离。

5.根据权利要求1所述的基于缺少断开图像样本的变电站开关分合状态图像识别方法，其特征在于：

步骤4开关状态识别过程为：

步骤4.1：对目标图像进行霍夫变换，通过边界阈值来形成边界曲线，从而形成封闭边界，在进行霍夫变换时，将开关臂以及开关两个触点所在直线的斜率输出为k₁和k₂；

步骤4.2：开关状态识别，根据霍夫变换所得两条直线的斜率计算两条直线的角度差：

设定角度差阈值ψ＝5°，实现对开关状态的判别：

Images