CN104809732A - 一种基于图像比对的电力设备外观异常检测方法 - Google Patents

Abstract

本发明公开了一种基于图像比对的电力设备外观异常检测方法，步骤为：对当前巡检拍摄图像进行归一化处理，然后与同一位置同一角度的历史巡检拍摄图像进行配准，接下来对配准后的两个图像分别继续区域分割，提取每一区域图像的若干特征，将若干特征进行融合，最后计算两幅图像对应特征的差异度，将差异度与设定阈值进行比较，判断当前巡检拍摄图像是否为异常图像。本发明具有在同一算法框架下实现各种不同类型电力设备的异常检测的优点，该算法将巡检机器人同一停靠点同一角度不同时间拍摄的两幅图像进行比对，通过判断具有相同内容的当前时刻拍摄图像与历史巡检拍摄图像的区域变化，实现电力设备的破损、异物悬挂等异常检测。

Description

一种基于图像比对的电力设备外观异常检测方法

技术领域

本发明涉及一种基于图像比对的电力设备外观异常检测方法。

背景技术

随着我国电力网络规模的不断扩大，变电站/换流站的安全可靠运行至关重要，而电力设备运行状态是决定其安全稳定运行的关键因素之一。变电站/换流站内设备的状态日常观测是巡检过程中内容最多、最繁重的任务之一，站内值班人员主要的检测内容包括：外来物悬挂，设备破损、变形，储油设备漏油、表面污渍等。

随着计算机科学的发展，图像处理与识别技术在理论研究和实际应用中都取得了飞速的发展，基于图像处理与识别技术在电力设备检测中的应用，已经进行了一些有益的探索，并且也取得了一些可喜的成就，如基于图像识别的绝缘子串破损、刀闸开关状态识别等。另外，随着巡检技术的发展，机器人逐渐地代替(或部分代替)值班人员进行站内电力设备的巡检，即时发现运行设备的异常、缺陷和故障。通过图像识别技术与机器人巡检技术相结合，机器人实时拍摄变电站/换流站现场图像，根据图像处理与识别技术建立相应的判决准则，捕捉异常现象，最后发出报警信号，这样不仅节省了人力，也为及时的发现设备运行过程中的故障和存在的故障隐患打下基础。

但是，现有技术依然存在一些问题：

第一，当前巡检机器人搭载图像处理与识别技术实现的检测功能有限，大多数巡检拍摄的图像仍然需要操作人员随时观察分析，增加了现场工作人员的负担；

第二，现有的一些电力设备异常识别算法需要针对变电站/换流站中不同的设备建立不同的图像模板库，不同类型设备的异常检测需要设计不同的图像识别算法框架，耗费大量的时间和人力；

第三，利用图像处理与识别技术进行电力设备异常检测，首先需要定位待检设备在图像中的位置，设备定位的准确率将直接影响到电力设备状态检测的识别效果，定位的偏差将会造成误报、漏报的情况发生，存在一定的安全隐患。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于图像比对的电力设备外观异常检测方法，它具有在同一算法框架下实现各种不同类型电力设备的异常检测的优点，该算法将巡检机器人同一停靠点同一角度不同时间拍摄的两幅图像进行比对，通过判断具有相同内容的当前时刻拍摄图像与历史巡检拍摄图像的区域变化，实现电力设备的破损、异物悬挂等异常检测。

为了实现上述目的，本发明采用如下技术方案：

一种基于图像比对的电力设备外观异常检测方法，步骤为：

对当前巡检拍摄图像进行归一化处理，然后与同一位置同一角度的历史巡检拍摄图像进行配准，接下来对配准后的两个图像分别进行区域分割，提取每一区域图像的若干特征，将若干特征进行融合，最后计算两幅图像对应特征的差异度，将差异度与设定阈值进行比较，判断当前巡检拍摄图像是否为异常图像。

一种基于图像比对的电力设备外观异常检测方法，步骤为：

步骤(1)：针对当前巡检拍摄图像，查找与当前巡检拍摄图像相对应的历史巡检拍摄图像；所述当前巡检拍摄图像与所述历史时刻拍摄图像是巡检机器人同一位置同一角度分别在不同时间拍摄的两幅图像；

步骤(2)：归一化处理：对当前巡检拍摄图像进行归一化处理，从而克服光照环境影响；

步骤(3)：图像配准：对步骤(2)处理后的两幅图像，分别提取ORB特征点，然后利用提取的ORB特征点进行图像配准，通过剪裁得到对齐后图像；

步骤(4)：利用步骤(3)配准后的两幅图像，采用重叠滑动窗分块的方法分别进行区域分割，提取每一区域图像块的颜色特征、纹理特征和边缘特征，将颜色特征、纹理特征和边缘特征分别归一化后，采用串联法实现颜色特征、纹理特征和边缘特征的融合；

步骤(5)：利用余弦相似度公式计算两幅图像对应图像块特征之间的差异度，设定阈值，

当对应图像块特征之间的差异度大于阈值T1小于阈值T2时，将当前比对区域定义为疑似异常；

当对应图像块特征之间的差异度大于阈值T2时，将当前区域定义为确定异常；

遍历整幅图像，找到异常的图像块并对这些图像块进行合并标注。

所述步骤(1)中，根据当前巡检拍摄图像的名称和拍摄时间，判断拍摄该图像时巡检机器人停靠点和拍摄角度，通过查询巡检数据库找到与当前巡检拍摄图像对应的上一次巡检时刻拍摄的无异常图像。

所述步骤(2)中，归一化的方法为：历史时刻拍摄的参考图像I₁灰度保持不变，当前时刻拍摄的图像I₂灰度按I₁的均值和方差进行归一化，得到归一化后当前巡检拍摄图像I₂，归一化公式为：

$I_2\left(r\right)=\frac{{\mathrm{\σ}}_1}{{\mathrm{\σ}}_2}\{I_2\left(r\right)-{\mathrm{\μ}}_2\}{+\mathrm{\μ}}_1$

其中，μ₁为图像I₁的灰度均值，μ₂为图像I₂的灰度均值，σ₁为图像I₁的灰度方差，σ₂为图像I₂的灰度方差，I₂(r)为归一化图像I₂中像素点r的灰度值，I₂(r)为原图像I₂中像素点r的灰度值。

所述步骤(3)中图像配准的具体步骤为：

步骤(3-1)：对两幅图像进行ORB特征点检测；

步骤(3-2)：基于随机采样一致方法RANSAC(RANdom Sample Consensus)，计算当前巡检拍摄图像I₂和参考图像I₁的变换矩阵H；

步骤(3-3)：通过变换矩阵H实现当前巡检拍摄图像I₂和参考图像I₁的配准，并得到当前巡检拍摄图像I₂四个顶点坐标透视变换后的坐标点位置，分别为左上点A(x₁,y₁)、右上点B(x₂,y₂)、右下点C(x₃,y₃)、左下点D(x₄,y₄)；

步骤(3-4)：根据步骤(3-3)求得的顶点坐标，计算比对图像的感兴趣区域ROI，

感兴趣区域ROI的左边界点x坐标ROI_left.x＝Max(x₁,x₄)，若Max(x₁,x₄)<0，则ROI_left.x＝0；

感兴趣区域ROI的右边界点x坐标ROI_right.x＝Min(x₂,x₃)，若Min(x₁,x₄)大于图像I₁的宽度，则ROI_right.x等于图像I₁的宽度；

感兴趣区域ROI的上边界点y坐标ROI_up.y＝Max(y₁,y₂)，若Max(y₁,y₂)<0，则ROI_up.y＝0；

感兴趣区域ROI的下边界点y坐标ROI_down.y＝Min(y₃,y₄)，若Min(y₃,y₄)大于图像I₁的高度，则ROI_down.y等于图像I₁的高度；

通过感兴趣区域ROI边界坐标的计算，得到矩形ROI，其中，左上顶点坐标为(ROI_left.x，ROI_up.y)，宽度width＝ROI_right.x-ROI_left.x，高度height＝ROI_down.y-ROI_up.y；

根据感兴趣区域ROI对配准后的两幅图像进行剪裁，得到对齐后的两幅图像，对齐后的两幅图像内容相同并且尺寸一致。

所述步骤(4)的具体步骤如下：

步骤(4-1)：令I_P和I_N为步骤(3)对齐后的两幅图像，长宽分别为width和height；

利用双线性插值法对两幅图像进行采样处理，I′_P和I′_N分别为采样后的待比对图像，采样后图像的长、宽像素数分别为100的n倍和m倍，n＝width\100+1，m＝height\100+1，“\”为整除运算符；

步骤(4-2)：以两幅图像左上角(0,0)点为起点，分别沿图像的x方向和y方向进行滑动窗分块；

步骤(4-3)：从两幅图像比对图像块中，分别提取颜色直方图特征、方向梯度直方图特征(Histogram of Oriented Gradient,HOG)和平均绝对值偏差特征(average absolutedeviation，AAD)；

步骤(4-4)：分别将中的颜色直方图特征f_C、方向梯度直方图特征f_H与平均绝对值偏差特征f_A进行归一化，得到归一化特征和然后采用特征层串联融合方法对和进行特征融合，得到全特征F₁和F₂；F₁表示的全特征，F₂表示的全特征，其中 $F_1={\left[\begin{array}{ccc}{\tilde{f}}_C^1& {\tilde{f}}_H^1& {\tilde{f}}_A^1\end{array}\right]}^T,F_2={\left[\begin{array}{ccc}{\tilde{f}}_C^2& {\tilde{f}}_H^2& {\tilde{f}}_A^2\end{array}\right]}^T.$

所述步骤(4-2)滑动分块的过程中步长为50，图像块大小为100×100，单位为像素。

所述步骤(4-3)的颜色直方图特征的特征维数为32，方向梯度直方图特征的特征维数为144，平均绝对值偏差特征的特征维数为100。

所述步骤(4-3)的颜色直方图特征的提取方法为：

将图像块由RGB彩色空间变换到HSV颜色空间，其中的H通道按取值范围分为16份，即将H值的取值范围(0,360)平均分为16个区间，然后统计每个区间中包含像素的个数，计算得到H通道的颜色直方图；S和V通道按值各分为8份，按同样的方法计算得到S和V通道的直方图，然后将各通道的直方图首尾相连，形成1×32维的颜色直方图特征。

所述步骤(4-3)的方向梯度直方图特征的提取方法为：

首先，将100×100像素的图像块I进行灰度化，采用Gamma校正法对输入图像进行颜色空间的标准化；

然后，计算图像每个像素的梯度(包括大小和方向)接下来将图像划分为小的单元图(cells)，大小为25×25像素，将单元图cell的梯度方向360度分成9个方向块，统计每个cell的梯度直方图，即形成每个单元图cell的1×9维特征描述符，将2×2个cell组成一个图像块block，为减少特征维数，令所有的图像块block无重叠；

一个图像块block内所有单元图cell特征描述符首尾相连便得到该图像块block的1×36维的HOG特征，将图像I内4个图像块block的HOG特征首尾相连便得到表示该图像1×144维的HOG特征向量。

所述步骤(4-3)的平均绝对值偏差特征的提取方法为：

首先，将100×100像素的图像块进行灰度化，然后将图像栅格化分为100个10×10像素不重叠的小图像块，分别计算每一个小图像块的平均绝对值偏差值；设H为其中的一个10×10图像块，平均绝对值偏差值δ定义为：

$\mathrm{\&delta;}=\frac{1}{K}\underset{H}{\mathrm{\&Sigma;}}\left|\right|f(x,y)|-\mathrm{\&mu;}|$

其中，K为图像块H的像素点个数，取值为100，f(x,y)为图像块H内像素点(x,y)的灰度值，μ为图像块H内的像素灰度均值，这样便得到了其中一个小图像块的平均绝对值偏差值；

最后，将这个100个小图像块的平均绝对值偏差值按顺序连接起来，就构成了一个1×100维的特征向量。

所述步骤(4-4)的F₁、F₂均为276×1的向量。

所述步骤(5)的具体步骤如下：

步骤(5-1)：根据步骤(4-4)求得的图像块融合特征F₁和F₂，利用余弦相似度计算F₁和F₂间的差异度θ，计算公式为：

$\mathrm{\&theta;}=1-\frac{F_1\&CenterDot;F_2}{\left|\right|F_1\left|\right|\left|\right|F_2\left|\right|}=1-\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{F}_{1i}\&times;F_{2i}}{\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{1i}\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{2i}\right)}^2}}$

其中，k＝276，为F₁和F₂的特征维数；

步骤(5-2)：前期需要针对不同内容的图像样本进行比对实验，确定图像内容发生变化的差异度阈值T1和T2，得到T1＝0.3，T2＝0.45；

对于比对的图像块和若θ>T1并且θ<T2，则标记该图像块发生变化，判断该区域设备为疑似异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为二级异常警报；

若θ>＝T2，标记该图像块发生变化，判断该区域设备发生异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为一级异常警报；

否则认为该图像块无变化，判断该区域设备无异常；

步骤(5-3)：将图像I₂中重合、邻接并且相同颜色的标注框进行合并，合并操作后得到最终的识别结果图。

本发明的有益效果：

1、提出了一种利用图像比对的算法实现电力设备破损、异物悬挂等异常检测的方法；

2、采用重叠滑动分块的策略，实现了图像的灵活分块，克服了前期图像配准误差，突出了区域细节的对比，并避免了异常部件被分到图像多个块而检测不到的情况；

3、通过颜色特征、纹理特征与边缘特征在特征层次上的融合，实现对应图像块间的图像特征差异比较，克服单一特征对图像刻画不足的缺点；

4、根据对应图像块特征之间的余弦相似度计算其差异程度，提出了变电站设备疑似异常与确定异常分级报警的策略。

附图说明

图1为本发明的算法流程图；

图2、图3为巡检机器人同一停靠点同一角度不同时间拍摄的图像；

图4为比对后结果展示图；

图5为步骤(4-2)中滑动窗分块示意图；

图6为步骤(5-4)标注框合并操作示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明的方法步骤如下：

第一步、通过查找巡检数据库读入当前巡检拍摄图像I₂和与之比对的历史巡检拍摄图像I₁，两张图像为巡检机器人在同一停靠点、同一角度拍摄到的图像。

第二步、以历史时刻拍摄的图像I₁为参考，对图像I₂进行图像归一化处理，得到归一化后图像I₂，归一化公式为：

$I_2\left(r\right)=\frac{{\mathrm{\&sigma;}}_1}{{\mathrm{\&sigma;}}_2}\{I_2\left(r\right)-{\mathrm{\&mu;}}_2\}{+\mathrm{\&mu;}}_1$

其中，μ₁为图像I₁的灰度均值，μ₂为图像I₂的灰度均值，σ₁为图像I₁的灰度方差，σ₂为图像I₂的灰度方差，I₂(r)为归一化图像I₂中像素点r的灰度值，I₂(r)为原图像I₂中像素点r的灰度值。

第三步，对两幅图像I₁和I₂分别进行ORB特征点检测，ORB特征点检测算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少。ORB特征点检测后采用基于随机采样一致方法RANSAC(RANdom Sample Consensus)对图像进行配准和剪裁。具体步骤如下：

3-1)提取两幅图像I₁和I₂的ORB特征点。

3-2)基于随机采样一致方法RANSAC(RANdom Sample Consensus)计算当前巡检拍摄图像I₂和参考图像I₁的变换矩阵H；

3-3)通过变换矩阵H实现当前巡检拍摄图像I₂和参考图像I₁的配准，配准后图像I₂变换为I₂′，并得到当前巡检拍摄图像I₂四个顶点坐标透视变换后相对于参考图像I₁图像坐标系的坐标点位置，分别为左上点A(x₁,y₁)、右上点B(x₂,y₂)、右下点C(x₃,y₃)、左下点D(x₄,y₄)；

3-4)根据步骤求得的四个顶点坐标A、B、C、D，计算比对图像的感兴趣区域ROI。

感兴趣区域ROI左上点P_{left_up}的x坐标ROI_left.x＝Max(x₁,x₄)，若Max(x₁,x₄)<0，则ROI_left.x＝0；

感兴趣区域ROI右下点P_{right_down}的x坐标ROI_right.x＝Min(x₂,x₃)，若Min(x₁,x₄)大于图像I₁的宽度，则ROI_right.x等于图像I₁的宽度；

感兴趣区域ROI左上点P_{left_up}的y坐标ROI_up.y＝Max(y₁,y₂)，若Max(y₁,y₂)<0，则ROI_up.y＝0；

感兴趣区域ROI右下点P_{right_down}的y坐标ROI_down.y＝Min(y₃,y₄)，若Min(y₃,y₄)大于图像I₁的高度，则ROI_down.y等于图像I₁的高度；

通过感兴趣区域ROI坐标的计算，得到矩形ROI，其中，ROI左上顶点坐标为(ROI_left.x，ROI_up.y)，ROI宽度R_width＝ROI_right.x-ROI_left.x，ROI高度R_height＝ROI_down.y-ROI_up.y；

3-5)以(ROI_left.x，ROI_up.y)为左上点坐标，在配准后的两幅图像I₁和I₂′剪裁宽度为R_width高度为R_height的矩形区域，得到对齐后的两幅图像I_P和I_N，对齐后的两幅图像内容相同并且尺寸一致。

第四步、利用双线性插值法对两幅图像I_P和I_N进行采样处理，然后采用滑动窗分块的方法对两幅图像进行栅格化，将整幅图像的比对问题转化为小的图像块比对问题。分别提取比对图像块的颜色直方图特征、方向梯度直方图特征和平均绝对值偏差特征。利用融合后的特征进行图像块之间的特征比较。具体步骤如下：

4-1)图像I_P和I_N为对齐后的图像，利用双线性插值法进行采样处理，得到采样后的待比对图像I′_P和I′_N，采样后图像的长、宽像素数分别为100的n倍和m倍，n＝width\100+1，m＝height\100+1，“\”为整除运算符，width和height分别为采样前图像的长宽像素数；

4-2)如图5所示，以两幅图像左上角(0,0)点为起点，分别沿图像的x方向和y方向进行滑动窗分块，滑动窗大小为100×100像素，滑动步长为50像素。每滑动一次，得到两幅图像比对图像块

4-3)分别提取图像块和的颜色直方图特征、方向梯度直方图特征和平均绝对值偏差特征，颜色直方图特征描述图像的颜色信息，方向梯度直方图特征描述图像的边缘信息，平均绝对值偏差特征描述图像的纹理信息。三种特征提取的具体步骤分别为：

a)颜色直方图特征

将图像块由RGB彩色空间变换到HSV颜色空间，其中的H通道按取值范围分为16份，即将H值的取值范围(0,360)平均分为16个区间，然后统计每个区间中包含像素的个数，计算得到H通道的颜色直方图；S和V通道按值各分为8份，按同样的方法计算得到S和V通道的直方图，然后将各通道的直方图首尾相连，形成1×32维的颜色直方图特征。

b)方向梯度直方图特征

首先，将100×100像素的图像块I进行灰度化，采用Gamma校正法对输入图像进行颜色空间的标准化；

然后，计算图像每个像素的梯度(包括大小和方向)接下来将图像划分为小的单元图(cells)，大小为25×25像素，将单元图cell的梯度方向360度分成9个方向块，统计每个cell的梯度直方图，即形成每个单元图cell的1×9维特征描述符，将2×2个cell组成一个图像块block，为减少特征维数，令所有的图像块block无重叠；

一个图像块block内所有单元图cell特征描述符首尾相连便得到该图像块block的1×36维的HOG特征，将图像I内4个图像块block的HOG特征首尾相连便得到表示该图像1×144维的HOG特征向量。

c)平均绝对值偏差特征

首先，将100×100像素的图像块进行灰度化，然后将图像栅格化分为100个10×10像素不重叠的小图像块，分别计算每一个小图像块的平均绝对值偏差值；设H为其中的一个10×10图像块，平均绝对值偏差值δ定义为：

$\mathrm{\&delta;}=\frac{1}{K}\underset{H}{\mathrm{\&Sigma;}}\left|\right|f(x,y)|-\mathrm{\&mu;}|$

其中，K为图像块H的像素点个数，取值为100，f(x,y)为图像块H内像素点(x,y)的灰度值，μ为图像块H内的像素灰度均值，这样便得到了其中一个小图像块的平均绝对值偏差值；

最后，将这个100个小图像块的平均绝对值偏差值按顺序连接起来，就构成了一个1×100维的特征向量。

4-4)将中的颜色直方图特征f_C、方向梯度直方图特征f_H与平均绝对值偏差特征f_A进行归一化，这里特征的归一化采用MAX-MIN线性归一化算法。归一化算法如下：

${\tilde{f}}_C^i=(f_C^i-\min \mathrm{val}\_f_C)/(\max \mathrm{val}\_f_C-\min \mathrm{val}\_f_C)$

${\tilde{f}}_H^i=(f_H^i-\min \mathrm{val}\_f_H)/(\max \mathrm{val}\_f_H-\min \mathrm{val}\_f_H)$

${\tilde{f}}_A^i=(f_A^i-\min \mathrm{val}\_f_A)/(\max \mathrm{val}\_f_A-\min \mathrm{val}\_f_A)$

其中，和分别为归一化前和归一化后颜色直方图特征的第i个特征值，minval_f_C和maxval_f_C分别为特征f_C的最小值和最大值；和分别为归一化前和归一化后方向梯度直方图特征的第i个特征值，minval_f_H和maxval_f_H分别为特征f_H的最小值和最大值；和分别为归一化前和归一化后平均绝对值偏差特征的第i个特征值，minval_f_A和

maxval_f_A分别为特征f_A的最小值和最大值；

4-5)特征归一化后，采用特征层串联融合方法对三种不同的特征进行融合，得到全特征F₁和F₂；F₁表示的全特征，F₂表示的全特征，其中 $F_1={\left[\begin{array}{ccc}{\tilde{f}}_C^1& {\tilde{f}}_H^1& {\tilde{f}}_A^1\end{array}\right]}^T,F_2={\left[\begin{array}{ccc}{\tilde{f}}_C^2& {\tilde{f}}_H^2& {\tilde{f}}_A^2\end{array}\right]}^T.$

第五步、根据第四步求得的图像块融合特征F₁和F₂，计算特征之间的差异度，然后根据设定的阈值判断比对区域是否存在异常。具体步骤如下：

5-1)利用余弦相似度计算F₁和F₂间的差异度θ，计算公式为：

$\mathrm{\&theta;}=1-\frac{F_1\&CenterDot;F_2}{\left|\right|F_1\left|\right|\left|\right|F_2\left|\right|}=1-\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{F}_{1i}\&times;F_{2i}}{\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{1i}\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{2i}\right)}^2}}$

其中，k＝276，为F₁和F₂的特征维数；

5-2)前期需要针对不同内容的图像样本进行比对实验，确定图像内容发生变化的差异度阈值T1和T2，得到T1＝0.3，T2＝0.45；

5-3)对于比对的图像块和若θ>T1并且θ<T2，则标记该图像块发生变化，判断该区域设备为疑似异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为二级异常警报；

若θ>＝T2，标记该图像块发生变化，判断该区域设备发生异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为一级异常警报；

否则认为该图像块无变化，判断该区域设备无异常；

5-4)最后，将图像I₂中重合、邻接并且相同颜色的标注框进行合并，合并操作后得到最终的识别结果图，如图6所示。

如图2、3、4所示，图2和图3为巡检机器人在同一停靠点同一拍摄角度不同时间拍摄得到的两幅图像，图2为历史时刻拍摄的无异常图像，图3为当前时刻拍摄的有异物图像。图4为经过本发明比对算法检测后，将两幅图像中发生变化的区域在当前时刻拍摄的图像中标注得到的比对结果图。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于图像比对的电力设备外观异常检测方法，其特征是，步骤为：

对当前巡检拍摄图像进行归一化处理，然后与同一位置同一角度的历史巡检拍摄图像进行配准，接下来对配准后的两个图像分别进行区域分割，提取每一区域图像的若干特征，将若干特征进行融合，最后计算两幅图像对应特征的差异度，将差异度与设定阈值进行比较，判断当前巡检拍摄图像是否为异常图像。

2.一种基于图像比对的电力设备外观异常检测方法，其特征是，步骤为：

步骤(1)：针对当前巡检拍摄图像，查找与当前巡检拍摄图像相对应的历史巡检拍摄图像；所述当前巡检拍摄图像与所述历史时刻拍摄图像是巡检机器人同一位置同一角度分别在不同时间拍摄的两幅图像；

步骤(2)：归一化处理：对当前巡检拍摄图像进行归一化处理，从而克服光照环境影响；

步骤(3)：图像配准：对步骤(2)处理后的两幅图像，分别提取ORB特征点，然后利用提取的ORB特征点进行图像配准，通过剪裁得到对齐后图像；

步骤(4)：利用步骤(3)配准后的两幅图像，采用重叠滑动窗分块的方法分别进行区域分割，提取每一区域图像块的颜色特征、纹理特征和边缘特征，将颜色特征、纹理特征和边缘特征分别归一化后，采用串联法实现颜色特征、纹理特征和边缘特征的融合；

步骤(5)：利用余弦相似度公式计算两幅图像对应图像块特征之间的差异度，设定阈值，

当对应图像块特征之间的差异度大于阈值T1小于阈值T2时，将当前比对区域定义为疑似异常；

当对应图像块特征之间的差异度大于阈值T2时，将当前区域定义为确定异常；

遍历整幅图像，找到异常的图像块并对这些图像块进行合并标注。

3.如权利要求2所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，步骤为：

所述步骤(1)中，根据当前巡检拍摄图像的名称和拍摄时间，判断拍摄该图像时巡检机器人停靠点和拍摄角度，通过查询巡检数据库找到与当前巡检拍摄图像对应的上一次巡检时刻拍摄的无异常图像。

4.如权利要求2所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(2)中，归一化的方法为：历史时刻拍摄的参考图像I₁灰度保持不变，当前时刻拍摄的图像I₂灰度按I₁的均值和方差进行归一化，得到归一化后当前巡检拍摄图像I₂，归一化公式为：

$I_2\left(r\right)=\frac{{\mathrm{\&sigma;}}_1}{{\mathrm{\&sigma;}}_2}\{I_2\left(r\right)-{\mathrm{\&mu;}}_2\}+{\mathrm{\&mu;}}_1$

其中，μ₁为图像I₁的灰度均值，μ₂为图像I₂的灰度均值，σ₁为图像I₁的灰度方差，σ₂为图像I₂的灰度方差，I₂(r)为归一化图像I₂中像素点r的灰度值，I₂(r)为原图像I₂中像素点r的灰度值。

5.如权利要求2所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(3)中图像配准的具体步骤为：

步骤(3-1)：对两幅图像进行ORB特征点检测；

步骤(3-2)：基于随机采样一致方法RANSAC，计算当前巡检拍摄图像I₂和参考图像I₁的变换矩阵H；

步骤(3-3)：通过变换矩阵H实现当前巡检拍摄图像I₂和参考图像I₁的配准，并得到当前巡检拍摄图像I₂四个顶点坐标透视变换后的坐标点位置，分别为左上点A(x₁,y₁)、右上点B(x₂,y₂)、右下点C(x₃,y₃)、左下点D(x₄,y₄)；

步骤(3-4)：根据步骤(3-3)求得的顶点坐标，计算比对图像的感兴趣区域ROI，

感兴趣区域ROI的左边界点x坐标ROI_left.x＝Max(x₁,x₄)，若Max(x₁,x₄)<0，则ROI_left.x＝0；

感兴趣区域ROI的右边界点x坐标ROI_right.x＝Min(x₂,x₃)，若Min(x₁,x₄)大于图像I₁的宽度，则ROI_right.x等于图像I₁的宽度；

感兴趣区域ROI的上边界点y坐标ROI_up.y＝Max(y₁,y₂)，若Max(y₁,y₂)<0，则ROI_up.y＝0；

感兴趣区域ROI的下边界点y坐标ROI_down.y＝Min(y₃,y₄)，若Min(y₃,y₄)大于图像I₁的高度，则ROI_down.y等于图像I₁的高度；

通过感兴趣区域ROI边界坐标的计算，得到矩形ROI，其中，左上顶点坐标为(ROI_left.x，ROI_up.y)，宽度width＝ROI_right.x-ROI_left.x，高度height＝ROI_down.y-ROI_up.y；

根据感兴趣区域ROI对配准后的两幅图像进行剪裁，得到对齐后的两幅图像，对齐后的两幅图像内容相同并且尺寸一致。

6.如权利要求2所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(4)的具体步骤如下：

步骤(4-1)：令I_P和I_N为步骤(3)对齐后的两幅图像，长宽分别为width和height；

利用双线性插值法对两幅图像进行采样处理，I′_P和I′_N分别为采样后的待比对图像，采样后图像的长、宽像素数分别为100的n倍和m倍，n＝width\100+1，m＝height\100+1，“\”为整除运算符；

步骤(4-2)：以两幅图像左上角(0,0)点为起点，分别沿图像的x方向和y方向进行滑动窗分块；

步骤(4-3)：从两幅图像比对图像块中，分别提取颜色直方图特征、方向梯度直方图特征和平均绝对值偏差特征；

步骤(4-4)：分别将中的颜色直方图特征f_C、方向梯度直方图特征f_H与平均绝对值偏差特征f_A进行归一化，得到归一化特征和然后采用特征层串联融合方法对和进行特征融合，得到全特征F₁和F₂；F₁表示的全特征，F₂表示的全特征，其中 $F_1={\left[\begin{array}{ccc}{\tilde{F}}_C^1& {\tilde{f}}_H^1& {\tilde{f}}_A^1\end{array}\right]}^T,F_2={\left[\begin{array}{ccc}{\tilde{f}}_C^2& {\tilde{f}}_H^2& {\tilde{f}}_A^2\end{array}\right]}^T.$

7.如权利要求6所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(4-3)的颜色直方图特征的提取方法为：

将图像块由RGB彩色空间变换到HSV颜色空间，其中的H通道按取值范围分为16份，即将H值的取值范围(0,360)平均分为16个区间，然后统计每个区间中包含像素的个数，计算得到H通道的颜色直方图；S和V通道按值各分为8份，按同样的方法计算得到S和V通道的直方图，然后将各通道的直方图首尾相连，形成1×32维的颜色直方图特征。

8.如权利要求6所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(4-3)的方向梯度直方图特征的提取方法为：

首先，将100×100像素的图像块I进行灰度化，采用Gamma校正法对输入图像进行颜色空间的标准化；

然后，计算图像每个像素的梯度接下来将图像划分为小的单元图cells，大小为25×25像素，将单元图cell的梯度方向360度分成9个方向块，统计每个cell的梯度直方图，即形成每个单元图cell的1×9维特征描述符，将2×2个cell组成一个图像块block，为减少特征维数，令所有的图像块block无重叠；

一个图像块block内所有单元图cell特征描述符首尾相连便得到该图像块block的1×36维的HOG特征，将图像I内4个图像块block的HOG特征首尾相连便得到表示该图像1×144维的HOG特征向量。

9.如权利要求6所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(4-3)的平均绝对值偏差特征的提取方法为：

首先，将100×100像素的图像块进行灰度化，然后将图像栅格化分为100个10×10像素不重叠的小图像块，分别计算每一个小图像块的平均绝对值偏差值；设H为其中的一个10×10图像块，平均绝对值偏差值δ定义为：

$\mathrm{\&delta;}=\frac{1}{K}\underset{H}{\mathrm{\&Sigma;}}\left|\right|f(x,y)|-\mathrm{\&mu;}|$

其中，K为图像块H的像素点个数，取值为100，f(x,y)为图像块H内像素点(x,y)的灰度值，μ为图像块H内的像素灰度均值，这样便得到了其中一个小图像块的平均绝对值偏差值；

最后，将这个100个小图像块的平均绝对值偏差值按顺序连接起来，就构成了一个1×100维的特征向量。

10.如权利要求6所述的一种基于图像比对的电力设备外观异常检测方法，其特征是，所述步骤(5)的具体步骤如下：

步骤(5-1)：根据步骤(4-4)求得的图像块融合特征F₁和F₂，利用余弦相似度计算F₁和F₂间的差异度θ，计算公式为：

$\mathrm{\&theta;}=1-\frac{F_1\&CenterDot;F_2}{\left|\right|F_1\left|\right|\left|\right|F_2\left|\right|}=1-\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{F}_{1i}\&times;F_{2i}}{\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{1i}\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left(F_{2i}\right)}^2}}$

其中，k＝276，为F₁和F₂的特征维数；

步骤(5-2)：前期需要针对不同内容的图像样本进行比对实验，确定图像内容发生变化的差异度阈值T1和T2，得到T1＝0.3，T2＝0.45；

对于比对的图像块和若θ>T1并且θ<T2，则标记该图像块发生变化，判断该区域设备为疑似异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为二级异常警报；

若θ>＝T2，标记该图像块发生变化，判断该区域设备发生异常，将图像块坐标映射到原图像I₂中，用带颜色的框标注，为一级异常警报；

否则认为该图像块无变化，判断该区域设备无异常；

步骤(5-3)：将图像I₂中重合、邻接并且相同颜色的标注框进行合并，合并操作后得到最终的识别结果图。