CN108062508B - 变电站复杂背景红外图像中设备的提取方法 - Google Patents

Abstract

本发明公开了一种变电站复杂背景红外图像中设备的提取方法，包括步骤：一、将通过红外图像采集仪采集的变电站设备红外图像导入图像处理器中；二、图像处理器基于Retinex理论对变电站设备红外图像进行图像增强处理；三、图像处理器采用改进的直方图均衡化算法对经过步骤二处理得到的变电站设备红外图像进行图像增强处理；四、图像处理器采用改进的区域生长分割算法对经过步骤三处理得到的变电站设备红外图像进行图像分割处理，并采用形态学的方法对分割得到的图像进行修复和完善。本发明方法步骤简单，设计新颖合理，实现方便，克服了传统直方图均衡化技术存在的对比度的盲目增强和过分增强等缺陷，能够获得理想的目标提取效果，实用性强。

Description

变电站复杂背景红外图像中设备的提取方法

技术领域

本发明属于图像处理技术领域，具体涉及一种变电站复杂背景红外图像中设备的提取方法。

背景技术

目前的电气设备检测工作多数是按照《电气设备预防性试验规程》的要求，对不同的一次设备按照规定的检测周期进行预防性试验，根据试验结果安排检修计划。这种工作模式对电网安全运行做出了巨大贡献，但是这种基于预防性试验的传统检修方式已经不能满足生产的需要了，特别是对一些运行年限比较长的设备，传统检修方式的弊端更加明显。经济社会的不断发展和电网规模的不断扩大对电网供电可靠性提出了更高的要求，非计划停电造成的经济效益损失和不良社会影响越来越大，因此，对变电站设备进行实时监测具有重大的意义。变电站的电气设备的绝大部分故障都会以设备热状态异常的形式表现出来，红外监测的基本原理就是通过特定的探测设备的获取红外热辐射信号，再结合相关的判据来分析和判定设备状态的。因此，采用红外图像采集仪获取变电站设备的红外图像，然后对图像进行分析处理，得到变电站设备的运行状态，就能够很好地实现对变电站设备的状态监测。其中，目标设备识别是实现设备智能监测的重要前提。近些年，相关文献报道了大量通过对红外图像进行分割提取出变电站设备区域，通过特征提取进而完成设备类别的智能化识别。其中部分研究还针对红外图像低信噪比和低对比度的特性进行了处理方法的改进，进一步改进了分割效果。然而这类图像处理技术大都是在实验室环境下进行的，具有很大局限性，很少考虑到变电站设备图像的复杂背景等因素，而变电站中的设备绝大部分分布在室外而且较为集中，由于设备的运行机理和发热特性相似，所以获取红外图像存在大量的背景干扰，这对图像目标提取的效果影响最大，传统的图像分割方法无法克服现有困难。

近些年有一些改进的分割算法被提出，不同程度的弥补了传统方法的不足。其中夏晶、孙继银、李辉等人在2010年第37期第7A卷期刊《计算机科学》上第106～107页发表的论文《基于支持向量机的复杂背景下前视红外图像的分割方法》中，提出了基于支持向量机的红外图像的分割方法；门洪、于加学、秦蕾在2011年第31期第9卷期刊《电力自动化设备》上第92～95页发表的论文《基于CA和OTSU的电气设备红外图像分割方法》中，提出了基于CA和OTSU的电气设备红外图像分割方法；陈俊佑、金立军、段绍辉等人在2013年第30期第1卷期刊《电力自动化设备》上第5～8页发表的论文《基于HU不变矩的红外图像电力设备识别》中，提出了一种基于区域生长打的设备红外图像分割方法；方金在2014年的硕士论文《基于偏微分方程的电力设备红外图像增强和分割方法研究》中，提出了利用基于偏微分方程的改进型测地线活动轮廓模型对电力设备红外图像进行了分割，减小了传统分割方法在分割图像时出现的边缘断裂影响。

但是上述方法只是在局部区域克服了部分背景干扰的影响，整体效果的提升并不明显；另外由于新的方法模型的引入增加了处理复杂度和交叉干扰的可能性。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种变电站复杂背景红外图像中设备的提取方法，其方法步骤简单，设计新颖合理，实现方便，克服了传统直方图均衡化技术存在的对比度的盲目增强和过分增强等缺陷，能够获得理想的目标提取效果，实用性强，使用效果好，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：一种变电站复杂背景红外图像中设备的提取方法，其特征在于，该方法包括以下步骤：

步骤一、将通过红外图像采集仪采集的变电站设备红外图像导入图像处理器中；

步骤二、图像处理器基于Retinex理论对变电站设备红外图像进行图像增强处理，具体过程为：

步骤201、首先，将变电站设备红外图像灰度化，然后，根据Retinex理论将变电站设备红外图像S(x,y)分解为反射物体图像R(x,y)和入射光图像L(x,y)；

步骤202、采用取对数的方法将照射光分量和反射光分离，用公式表示为：

S′(x,y)＝log(R(x,y))+log(L(x,y)) (A1)

步骤203、采用高斯模板对步骤202处理得到的图像S′(x,y)做卷积进行低通滤波，得到低通滤波后的图像D(x,y)，用公式表示为：

D(x,y)＝S′(x,y)*F(x,y) (A2)

其中，F(x,y)表示高斯滤波函数；

步骤204、在对数域中，用反射物体图像R(x,y)减去低通滤波后的图像D(x,y)，得到高频增强的图像G(x,y)，用公式表示为：

G(x,y)＝R(x,y)-log(D(x,y)) (A3)

步骤205、对高频增强的图像G(x,y)取反对数，得到增强后的图像R′(x,y)：

R′(x,y)＝exp(G(x,y)) (A4)

步骤三、图像处理器采用改进的直方图均衡化算法对经过步骤二处理得到的变电站设备红外图像进行图像增强处理，具体过程为：

步骤301、将步骤二处理得到的增强后的图像R′(x,y)表示为灰度直方图；

步骤302、首先，确定分段灰度变换的参数x₁、x₂、y₁和y₂，其中，x₁为背景与目标区域的分界点，y₁为背景与目标区域的分界点处的灰度值，x₂为目标区域的代表点，y₂为目标区域的代表点处的灰度值；然后，采用由参数x₁、x₂、y₁和y₂作为系数的分段线性变换函数对步骤301得到的灰度直方图进行分段灰度变换，得到分段灰度变换图；

步骤303、得到分段灰度变换图的直方图并统计其灰度级r_k和各灰度级像素数n_k，其中，k为经过步骤302变换后的图像中的第k个灰度级，且k的取值为0,1,2,…，L-1；L为灰度级的总数；

步骤304、根据公式p_k＝n_k/N计算分段灰度变换图的直方图各灰度级像素数的概率p_k，其中，N为灰度图像的像素点总数；

步骤305、根据公式计算分段灰度变换图中各灰度级的累计概率s_k；

步骤306、对s_k取整得到新的灰度变换图的累计概率S_k＝int{(L-1)s_k+0.5}；

步骤307、将步骤306中的S_k与步骤303中的r_k相对应，建立r_k与S_k的映射关系，绘制累计直方图，并统计在r_k与S_k的映射关系下新灰度变换图中各灰度级像素数的概率p'_k；

步骤308、统计新灰度变换图的各灰度级像素数n′_k；

步骤309、绘制出新灰度变换图；

步骤四、图像处理器采用改进的区域生长分割算法对经过步骤三处理得到的变电站设备红外图像进行图像分割处理，并采用形态学的方法对分割得到的图像进行修复和完善，具体过程为：

步骤401、对经过步骤三处理得到的新灰度变换图进行二值化处理，得到二值图像；

步骤402、标注步骤401得到的二值图像中的连通分量；

步骤403、从步骤402中标注的连通分量中，找出最大的连通分量；

步骤404、计算并标记出最大的连通分量的中心；

步骤405、以所标记的最大的连通分量的中心为种子点进行8邻域的区域生长，得到区域分割图像；

步骤406、对区域内部的大空洞进行区域填充，并对区域内部的小空洞和区域边界的毛刺部分进行膨胀或开运算操作。

上述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤302中将最左侧波峰后的波谷的最低点作为背景与目标区域的分界点x₁，将最右侧的波峰点作为目标区域的代表点x₂；步骤302中采用的分段线性变换函数为二分段线性变换函数，用公式表示为：

其中，x为二分段线性变换函数的自变量。

上述的变电站复杂背景红外图像中设备的提取方法，其特征在于：定义分段灰度变换后的x₁不变，y₁＝0，y₂＝x₂；将二分段线性变换函数，用公式表示为：

上述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤403中所述步骤402中标注的连通分量中，找出最大的连通分量的具体过程为：对步骤402中标注的各个连通分量中的像素进行计数，然后找到像素最大的连通分量，即为最大的连通分量。

上述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤406中所述大空洞为像素区域大于7×7的空洞，所述小空洞为像素区域小于等于7×7的空洞。

上述的变电站复杂背景红外图像中设备的提取方法，其特征在于：所述红外图像采集仪为红外摄像头，所述图像处理器为计算机。

本发明与现有技术相比具有以下优点：

1、本发明的方法步骤简单，设计新颖合理，实现方便。

2、本发明针对智能变电站中复杂背景下图像分割技术现存的局限性问题，首先采用基于Retinex理论的图像增强技术改善了红外图像的整体视觉效果，改善其亮度均匀性，进一步提升局部暗区域的亮度，突出目标的轮廓信息；然后利用分段的灰度线性变换方法改变了图像背景与目标之间的灰度级占比，克服了传统直方图均衡化技术存在的对比度的盲目增强和过分增强等缺陷；之后考虑到多目标见的空间关系，在易于分割空间灰度相似目标的区域生长法的基础上提取最大连通区域的中心作为初始生长点，初步实现设备主体区域的提取，最后利用形态学手段进行区域修复，最终获得了理想的目标提取效果。

3、本发明能够应用于变电站设备的状态监测中，为实现变电站设备的状态监测奠定了基础。

4、本发明的实用性强，使用效果好，便于推广使用。

综上所述，本发明的方法步骤简单，设计新颖合理，实现方便，克服了传统直方图均衡化技术存在的对比度的盲目增强和过分增强等缺陷，能够获得理想的目标提取效果，实用性强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明采用的图像采集系统的电路原理框图。

图2为本发明的方法流程框图。

图3A为本发明断路器原始红外图像。

图3B为本发明断路器原始红外图像的灰度分布图。

图3C为本发明将图3A采用Retinex理论增强后的效果图。

图3D为本发明将图3A采用Retinex理论增强后的灰度分布图。

图4为本发明图3A的灰度直方图。

图5A为本发明二分段线性变换前的灰度映射图。

图5B为本发明二分段线性变换后的灰度映射图。

图5C为本发明具体实施例中变换后的灰度映射图。

图6A为将图3A采用传统的直方图均衡化算法增强后的效果图。

图6B为将图3A采用传统的直方图均衡化算法增强后的灰度分布图。

图7A为本发明改进的直方图均衡化效果图。

图7B为本发明均衡化后的灰度分布3D图。

图7C为本发明均衡化后的灰度分布2D图。

图8A为本发明主变原始灰度图像。

图8B为本发明主变最终的增强效果图。

图8C为本发明主变增强后的灰度分布3D图。

图8D为本发明主变增强后的灰度分布2D图。

图9A为本发明电抗器原始灰度图像。

图9B为本发明电抗器最终的增强效果图。

图9C为本发明电抗器增强后的灰度分布3D图。

图9D为本发明电抗器增强后的灰度分布2D图。

图10A为本发明互感器原始灰度图像。

图10B为本发明互感器最终的增强效果图。

图10C为本发明互感器增强后的灰度分布3D图。

图10D为本发明互感器增强后的灰度分布2D图。

图11为含有两个连通分量的图像A。

图12为3×3的结构元S。

图13A为本发明主变图像的最大连通分量的中心标记示意图。

图13B为本发明断路器图像的最大连通分量的中心标记示意图。

图13C为本发明电抗器图像的最大连通分量的中心标记示意图。

图13D为本发明互感器图像的最大连通分量的中心标记示意图。

图14A为本发明主变的分割效果图。

图14B为本发明断路器的分割效果图。

图14C为本发明电抗器的分割效果图。

图14D为本发明互感器的分割效果图。

图15A为本发明主变待填充区域标注图。

图15B为本发明主变填充效果图。

图16为本发明主变最终的修复效果图。

图17A为本发明电抗器最终效果图。

图17B为本发明第一断路器最终效果图。

图17C为本发明互感器最终效果图。

图17D为本发明第二断路器最终效果图。

图18A为主变的阈值分割效果图。

图18B为断路器的阈值分割效果图。

图18C为电抗器的阈值分割效果图。

图18D为互感器的阈值分割效果图。

图19A为原图像灰度矩阵生长点示意图。

图19B为第一次区域生长结果示意图。

图19C为第二次区域生长结果示意图。

图19D为第三次区域生长结果示意图。

图20A1为断路器图像的第一种初始种子点位置示意图。

图20A2为断路器图像的第一种初始种子点位置分割效果图。

图20B1为断路器图像的第二种初始种子点位置示意图。

图20B2为断路器图像的第二种初始种子点位置分割效果图。

图20C1为断路器图像的第三种初始种子点位置示意图。

图20C2为断路器图像的第三种初始种子点位置分割效果图。

图21A为采用传统区域生长法时断路器的分割效果图。

图21B为采用传统区域生长法时主变的分割效果图。

图21C为采用传统区域生长法时电抗器的分割效果图。

具体实施方式

如图1和图2所示，本发明的变电站复杂背景红外图像中设备的提取方法，包括以下步骤：

步骤一、将通过红外图像采集仪1采集的变电站设备红外图像导入图像处理器2中；

本实施例中，所述红外图像采集仪1为红外摄像头，所述图像处理器2为计算机。

步骤二、图像处理器2基于Retinex理论对变电站设备红外图像进行图像增强处理，具体过程为：

步骤201、首先，将变电站设备红外图像灰度化，然后，根据Retinex理论将变电站设备红外图像S(x,y)分解为反射物体图像R(x,y)和入射光图像L(x,y)；

Retinex(视网膜Retina和大脑皮层Cortex的缩写)理论是一种建立在科学实验和科学分析基础上的基于人类视觉系统(Human Visual System)的图像增强理论，Retinex理论的基本原理模型最早是由Edwin Land于1971年提出的一种被称为色彩的理论，并在颜色恒常性基础上提出的一种图像增强方法。Retinex理论的基本内容是物体对长波(红)、中波(绿)和短波(蓝)光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性(颜色恒常性)为基础的。实际上，Retinex理论就是通过图像S来得到物体的反射性质R，也就去除了入射光L的性质从而得到物体原本该有的样子。

步骤202、采用取对数的方法将照射光分量和反射光分离，用公式表示为：

S′(x,y)＝log(R(x,y))+log(L(x,y)) (A1)

步骤203、采用高斯模板对步骤202处理得到的图像S′(x,y)做卷积进行低通滤波，得到低通滤波后的图像D(x,y)，用公式表示为：

D(x,y)＝S′(x,y)*F(x,y) (A2)

其中，F(x,y)表示高斯滤波函数；

步骤204、在对数域中，用反射物体图像R(x,y)减去低通滤波后的图像D(x,y)，得到高频增强的图像G(x,y)，用公式表示为：

G(x,y)＝R(x,y)-log(D(x,y)) (A3)

步骤205、对高频增强的图像G(x,y)取反对数，得到增强后的图像R′(x,y)：

R′(x,y)＝exp(G(x,y)) (A4)

Retinex理论能够增强部分质量较低的红外图像的视觉效果，改善其亮度均匀性，进一步提升局部暗区域的亮度，突出目标的轮廓信息。如图3A～3D所示为断路器原始红外图像采用Retinex理论增强前后的效果对比图。

对比图3A～3D发现，不但设备整体区域的灰度级得到了提高，而且增强后的设备的细节信息得到大幅度的加强和突出，尤其是某些由于光照原因导致的较暗区域和各部分之间的连接区域的亮度进一步得到提升，进一步还原了设备的正式结构信息。实验结果证明，该方法在改善设备区域亮度均匀性上有其独特的优势。

步骤三、图像处理器2采用改进的直方图均衡化算法对经过步骤二处理得到的变电站设备红外图像进行图像增强处理，具体过程为：

步骤301、将步骤二处理得到的增强后的图像R′(x,y)表示为灰度直方图；

本实施例中，将图3A表示为灰度直方图如图4所示。

步骤302、首先，确定分段灰度变换的参数x₁、x₂、y₁和y₂，其中，x₁为背景与目标区域的分界点，y₁为背景与目标区域的分界点处的灰度值，x₂为目标区域的代表点，y₂为目标区域的代表点处的灰度值；然后，采用由参数x₁、x₂、y₁和y₂作为系数的分段线性变换函数对步骤301得到的灰度直方图进行分段灰度变换，得到分段灰度变换图；

本实施例中，步骤302中将最左侧波峰后的波谷的最低点作为背景与目标区域的分界点x₁，将最右侧的波峰点作为目标区域的代表点x₂；步骤302中采用的分段线性变换函数为二分段线性变换函数，用公式表示为：

其中，x为二分段线性变换函数的自变量。

由于复杂背景下的变电站设备红外图像识别时只需要区分背景和设备区域，分段函数的分段个数即为变换后灰度等级个数，因此，本发明选用了二分段线性变换函数作为分段线性变换函数。二分段线性变换函数中的参数x₁、x₂、y₁和y₂选取不同的值时，二分段线性变换的范围也是不一样的，而且变换的方式也不同；本发明中参数x₁、x₂、y₁和y₂的选取是在充分分析了变电站设备红外图像的灰度直方图的情况下给出的。灰度直方图反映了各个灰度级出现的频率，并且从左往右的灰度级是依次从低到高增长的。通常情况下图像背景区域灰度普遍低于目标区域，所以图中最左侧的第一个波峰必然属于背景区域，同理最右侧的波峰一定属于目标区域。为了避免将部分背景区域和目标区域混淆，将最左侧波峰后的波谷的最低点作为背景与目标区域的分界点x₁，将最右侧的波峰点作为目标区域的代表点x₂。二分段线性变换前的灰度映射图如图5A所示，二分段线性变换后的灰度映射图如图5B所示。

从图5A和图5B能够看出，变换前x₁＝y₁，x₂＝y₂，变换后x₁变小、y₁变大，这使得第一段区域的灰度区间被拉伸，相反第二段区域被压缩，这意味着低灰度区域对比度增大、中高灰度区域的对比度减小。这样就压缩了背景区域的灰度级范围，拉伸了目标区域的灰度级，进而降低了背景对比度，增大了目标区域的对比度。

具体而言，本实施例中，定义分段灰度变换后的x₁不变，y₁＝0，y₂＝x₂；将二分段线性变换函数，用公式表示为：

为了最大化地拉伸目标区域的灰度范围，压缩背景区域的灰度范围，同时又可以减少涉及参数的个数，同时降低变换复杂度，本发明定义分段灰度变换后的x₁和x₂不变，y₁＝0，y₂＝x₂。此时变换后的灰度映射图如图5C所示。

从图5C的纵轴可以看出，由于y₁＝0，所以导致低灰度级的背景区域灰度范围被压缩为0，由于x₁和x₂值不变，所以整体区域的灰度范围不变，因此，原有的背景区域就被目标区域所填补，至此目标区域的灰度得到了大幅度的拉伸，对比度大大提高。

通过上述的分段线性变换将背景区域的灰度范围压缩为0，并拉伸目标区域的灰度级进而填补原有的背景区域，最终最大范围地扩大目标区域的灰度范围，这就可以避免直方图均衡化处理数据的盲目性。

步骤303、得到分段灰度变换图的直方图并统计其灰度级r_k和各灰度级像素数n_k，其中，k为经过步骤302变换后的图像中的第k个灰度级，且k的取值为0,1,2,…，L-1；L为灰度级的总数；

步骤304、根据公式p_k＝n_k/N计算分段灰度变换图的直方图各灰度级像素数的概率p_k，其中，N为灰度图像的像素点总数；

步骤305、根据公式计算分段灰度变换图中各灰度级的累计概率s_k；

步骤306、对s_k取整得到新的灰度变换图的累计概率S_k＝int{(L-1)s_k+0.5}；

步骤307、将步骤306中的S_k与步骤303中的r_k相对应，建立r_k与S_k的映射关系，绘制累计直方图，并统计在r_k与S_k的映射关系下新灰度变换图中各灰度级像素数的概率p'_k；

步骤308、统计新灰度变换图的各灰度级像素数n′_k；

步骤309、绘制出新灰度变换图；

红外图像普遍存在着对比度低、图像模糊及信噪比较低等问题。直方图均衡化算法是基于灰度直方图的修正技术，是目前实用性很高的一种对比度增强技术。而对比度是图像质量优劣的一大重要指标，对比度高意味着目标更加突出。直方图均衡化又称灰度均衡化，是指通过某种灰度映射使输入图像转换为在每一灰度级上都有近似相同的像素点数的输出图像(即输出的直方图是均匀的)。在经过均衡化处理后的图像中，像素将占有尽可能多的灰度级并且分布均匀。因此，这样的图像将具有较高的对比度和较大的动态范围。直方图均衡化不改变灰度出现的次数，改变的是出现次数所对应的灰度级，以避免改变图像的信息结构。直方图均衡化力图使等长区间内出现的像素数接近相等。从人眼视觉特性来考虑，一幅图像的直方图如果是均匀分布的，该图像色调给人的感觉比较协调。因此将原图像直方图调整为均匀分布的直方图，这样修正后的图像能满足人眼视觉要求。但是，传统的直方图均衡化算法对处理的数据不加选择，对于具有复杂背景的变电站设备红外图像而言，很有可能增加背景杂讯的对比度并且降低有用信号的对比度；变换后的图像的灰度级减少，某些细节消失；某些图像(直方图有高峰)，经处理后对比度不自然的过分增强。如图6A和6B所示为对图3A中的断路器原始红外图像采用传统的直方图均衡化算法增强后的效果图。

从图6A和6B所示的效果图可以看出，设备区域的亮度过度的被提高，背景杂波的对比度也被提高，设备本身区域内对比度极低，从灰度分布直方图中清晰地看到目标设备区域出现了增强过度的问题。这说明传统的直方图均衡化并不是理想的方法。

本发明为了消除传统的直方图均衡化在数据处理方面的盲目性，保证直方图均衡化处理最大力度地应用到目标区域的对比度增强中，提出了改进的直方图均衡化算法，该算法采用分段线性变换函数实现了有选择性的区间灰度拉伸，减小了背景区域的灰度级范围，同时相应的增大了目标区域的灰度级范围。

将经过Retinex理论处理后的图片进行改进的直方图均衡化处理，得到如图7A～7C所示的结果。

从图7A～7C所示的效果图可以看出，目标的亮度恰当、轮廓清晰，和背景已经明显得被分离开来，甚至可从灰度分布直方图中清晰地看到目标设备的轮廓，这说明预处理的效果是理想的；与图6A和6B对比来看，传统的直方图均衡化存在严重的过度增强问题，目标区域内部对比度几乎为0，严重破坏了图像的数据结构。而这一问题在图7A～7C中是不存在的，从图7A～7C中的灰度分布平面图可以看到，不仅目标与背景之间对比强烈，而且目标区域内部的区域对比也存在，区域内部的细节、连接和轮廓都清晰可见，这说明该方法补足了传统方法的缺陷。

另外，为了进一步验证本发明的改进的直方图均衡化算法在复杂背景下的变电站设备红外图像识别中能够产生的效果，本发明还进了了以下实验并采用结构相似性(SSIM)评价了影像品质。相较于传统所使用的影像品质衡量指标，结构相似性(SSIM)在图像品质的衡量上更能符合人眼对图像品质的判断。相似性的测度由三种对比模块组成，分别为：亮度、对比度和结构，结构相似性的核心定义式为：

S(x,y)＝f(l(x,y),c(x,y),s(x,y)) (A7)

其中l(x,y)为亮度对比函数，c(x,y)为对比度对比函数，s(x,y)为结构对比函数。三个函数定义式如下：

其中，μ_x和μ_y为平均灰度，σ_x和σ_y为灰度标准差，常数C₁、C₂和C₃的存在是为了避免分母为0时造成系统不稳定。通常C₁＝(LK₁)²，C₂＝(LK₂)²，L为图像灰度级数，L＝255，K₁K₂远小于1。另外σ_xy的定义式为：

最后把三个对比函数组合起来，得到SSIM指标的函数式为：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (A12)

这里α、β和γ均大于0，用来调整三个模块间的重要性。为了简化形式，设α＝β＝γ＝1，C₃＝C₂/2,得到SSIM的最终定义式：

以SSIM和C为评价指标进行某类型断路器红外图像预处理阶段的处理效果对比：指标数据如表1所示。

表1某类型断路器图像预处理阶段参数对比

表1的数据说明，首先，传统的直方图均衡化后的对比度过大，存在对比度不自然的过分增强，严重破坏了图像数据结构，导致SSIM偏低；从数据可以看出，改进的直方图均衡化方法弥补了这一缺陷。另一方面，在经过Retinex理论增强和改进直方图均衡化这两个过程后，图像的对比度得到了明显地提高，这为目标的提取提过了便利，随后Retinex理论增强使得图像的结构信息进一步得到完善，故而SSIM的数值较大；直方图均衡化后SSIM的数值下降了一定的幅度，这是因为灰度均衡化较大幅度地改变了原图的灰度分布，但并没有改变图像的结构，所以这对目标的提取没有负面作用。

图8A～8D、图9A～9D、图10A～10D分别为变电站主变、串联电抗器和电流互感器的预处理效果对比图。

大量实验的结果证明，经过上述流程的图像预处理，背景和目标之间的对比度明显被增大，同时Retinex理论和对传统直方图均衡化的改进又进一步加强了目标区域内部的对比，区域内部的连接、镶嵌和细节纹理都清晰可见，这对后期的颜色特征提取提供了很大便利；另外，对应的灰度分布平面图层次感很强，背景区域、干扰杂波和目标区域之间的差异较明显，这也大大地方便了目标的分割。红外图像经过预处理后，背景与目标间的对比度得到了很大的提高，同时背景区域的灰度级的相对压缩使得设备区域目标内部的区域间对比度也得到了提高，这使得突出设备目标的工取得了理想的效果。总而言之，不管在区域间还是在区域内的增强效果，该方法都是很理想的。

步骤四、图像处理器2采用改进的区域生长分割算法对经过步骤三处理得到的变电站设备红外图像进行图像分割处理，并采用形态学的方法对分割得到的图像进行修复和完善，具体过程为：

步骤401、对经过步骤三处理得到的新灰度变换图进行二值化处理，得到二值图像；

步骤402、标注步骤401得到的二值图像中的连通分量；

对于一幅图像的某个像素子集S,如果其中全部像素之间存在一个通路，则可以称两个像素P和Q在S中是连通的。此外，对于S中的任何像素P，S中连通到该像素的像素集称为S的连通分量。

以8连通的情况为例，对于图11中内含左右侧两个连通分量的图像A,左侧连通分量记为A1，右侧的记为A2。从仅为A1内部的某个点的图像B开始，不断采用如图12所示的结构元S进行膨胀。由于A2与A1之间至少有一条1个像素宽的空白缝隙，结构元保证了只要B在A1的内部，则每次膨胀都不会产生为于A中其他连通分量之内的点，这样只要用每次膨胀后的结果图像和原始图像A相交,就能把膨胀限制在A1的内部。随着对B的不断膨胀，B的区域不断生长，但每次膨胀后与A的交集由将B限制在A1的内部，直到最终B充满了整个连通分量A1，则对连通分量A1的提取完毕。

算法主体部分如下：

初始化：B₀＝连通分量A1中的某个点

循环：Do

Until B_i+1＝B_i

步骤403、从步骤402中标注的连通分量中，找出最大的连通分量；

本实施例中，步骤403中所述步骤402中标注的连通分量中，找出最大的连通分量的具体过程为：对步骤402中标注的各个连通分量中的像素进行计数，然后找到像素最大的连通分量，即为最大的连通分量。

步骤404、计算并标记出最大的连通分量的中心；

本实施例中，使用“*”标记出各个图像中的最大连通分量的中心如图13A～13D所示，表2中记录了各图像中连通分量的数据。

表2最大连通分量数据对比

经过对各图像中最大连通分量的提取，可以初步界定目标的位置，从表2中还可以知道干扰目标的数目，因为它们在预处理阶段没有被去除，所以可以将其界定为强干扰目标，那么随后的工作就是要去除这些强干扰目标。

经过上阶段的最大连通分量提取工作，目标设备的大致位置和范围已经确定，而且得到了目标所在最大连通区域的中心坐标，那么可以利用该点坐标结合区域生长的理论方法实现设备目标的初步分割。

步骤405、以所标记的最大的连通分量的中心为种子点进行8邻域的区域生长，得到区域分割图像；

本实施例中，所得的区域分割效果如图14A～14D所示。由图14A～14D的效果图可以明显看到，目标设备的轮廓范围清晰可见，周围的干扰目标全部被去除，这说明这种方法的分割效果还是很理想的，然而区域生长算法导致空洞和过度分割问题也显而易见。接下来就是对分割效果进行细节修复，填补局部的空洞，边缘的圆滑处理等，使得设备目标的实体更加丰满，以便于后期图像特征的提取。

步骤406、对区域内部的大空洞进行区域填充，并对区域内部的小空洞和区域边界的毛刺部分进行膨胀或开运算操作。步骤406是针对区域分割遗留下的区域细节问题，采用形态学的方法进行修复和完善。

本实施例中，步骤406中所述大空洞为像素区域大于7×7的空洞，所述小空洞为像素区域小于等于7×7的空洞。

具体实施时，在设备目标的分割过程中面积最大的连通分量被提取出来作为设备主体区域，但其并不是绝对的实体区域，存在一部分由于前景物体遮挡导致的较大孔洞区域，准确地说，这类孔洞是与目标区域互补的连通区域，对于该类区域可以进行基于膨胀操作的“种子填充”。所谓“种子填充”就是在内部的某个点开始填充这个区域，填充4连通区域选择3×3结构元素；而为在8连通边界内从种子点得到区域，可选用十字结构元素对初始种子点进行膨胀操作。只要每次膨胀不出现边界以外的部分，这样只要把每次膨胀的结果图与边界的补图像求交集，就能把膨胀限制在边界内部。随着不断膨胀，种子点区域不断生长，最终整个区域会被填充。

该算法的概要如下：

初始化：B₀＝种子点

循环：Do

Until B_i+1＝＝B_i

其中B_i为每一次操作的起始区域，S为结构元，A为这个区域的边界。

填充效果对比如图15A和图15B所示。

对于较小的孔洞的填充和圆滑轮廓可以通过形态学的开闭运算来完成。

开运算和闭运算都是由腐蚀和膨胀在那个复合而成，开运算是先腐蚀后膨胀，而闭运算是先膨胀后腐蚀。使用结构元S对A进行开运算，记作而进行闭运算记作A·S。一般情况下，开运算断开图像中狭窄的连接和消除细毛刺，相反闭运算则能弥狭窄的间断，填补小孔洞。对区域填充后的主变效果图最终的修复后效果如图16所示：

可以清楚地看到，主变得主体部分丰满、殷实，边界完整、圆滑，这一效果可以最大化的还原其实际的外形信息，为后续工作提过便利。对其他设备图像进行同样的操作，都达到了理想的效果，如图17A～17D所示。

图像分割是指将图像中具有特殊意义的不同区域划分开来，分割出来的区域可以作为后续特征提取的目标对象。分割算法一般基于图像灰度值的不连续性或其相似性。不连续性是基于图像灰度的不连续性变化分割图像，例如图像的边缘，有边缘检测、边界跟踪等算法；相似性是依据事先制定的准则将图像分割为相似的区域，如阈值分割、区域生长等，而区域目标的提取多考虑利用相似性。复杂背景下的变电站设备图像中存在大量的干扰目标，而这些干扰目标在灰度级上与设备目标差异很小，利用传统的阈值分割很难去除这些干扰。利用传统的阈值分割算法提取到的目标区域如图18A～18D所示。

从图18A～18D可以看出，阈值分割后的图像存在大量的干扰目标，设备目标提取的效果很不理想。即使可以在阈值计算方面进行改进与优化，大大提高分割精度，但只要干扰目标和设备目标的灰度差异足够小，该方法的缺陷就始终存在。反观基于区域的分割算法不仅考虑了目标间灰度级或者其他方面的相似性，同样考虑了目标之间的空间联系，只要操作合理，去除孤立的干扰目标是完全可以实现的，这就为去除干扰目标提供了方向，而区域分割算法中最经典的就是区域生长算法。

区域生长是依据先前已定的准则将像素点或区域聚集成更大区域的过程。其基本思路是：从一组生长点(单个像素点或某个像素区域)为起点，将和这组生长点具有相似性质的相邻像素点或区域与其合并，形成新的生长点，重复这个过程直到不能生长为止。生长点和相邻区域的相似性判据可以是颜色、灰度值等多种信息。区域生长的算法一般有一下3个步骤：

1)选取适当的初始生长点。

2)确定相似性准则即生长准则。

3)确定生长终止条件。(一般来说，不满足合并生长点区域的条件即为终止条件)。

如图19为一个区域生长的例子，图19A为原图像，图中数字表示像素的灰度值。以灰度为8的像素为初始的生长点，记为f(i,j)。在8邻域内，生长准则是待测点灰度值与生长点灰度值相差为0或者1。那么，如果19B，第一次区域生长后，f(i-1,j)、f(i,j-1)、f(i,j+1)与中心点灰度值相差都为1，因而被合并。第2次生长后，如图19C所示，f(i+1,j)被合并。第3次生长后，如图19D所示，f(i+1,j-1)、f(i+2,j)被合并，至此，已经不存在满足生长准则的像素点，生长停止。

上述方法是比较单个像素与邻域的灰度特征以实现区域生长，也是一种混合型区域生长。把图像分割成若干小区域，比较相邻小区域的相似性，如果相似则合并。在实际中，区域生长时经常还要考虑到生长的“历史”，还要根据区域的尺寸、形状等全局性质来决定区域的合并。

但是区域分割算法还存在不足，首先该算法的分割之初需要指定一个初始生长种子点，从该点开始按照规则进行扩大区域的相似性判定，进而完成分割。这使得该方法原理上太依赖初始生长点(初始种子点)的选取位置，初始生长点的位置选取直接影响到区域分割的精度,不同的初始生长点甚至会导致不同的分割效果，图20A1～图20C2所示为采用不同初始生长点后的分割效果图。

从图20A1～图20C2可以看出初始种子点的生长对分割效果的影响还是很大的，所以如果要分割出设备的主体区域，必须尽量将初始种子点选取在设备主体区域内。除此之外，图20A2、图20B2和图20C2中还存在大量的空洞和过度分割痕迹，这是图像噪声和灰度不均导致的，尤其是对阴影区域的分割效果往往不是很好。

采用传统区域生长法对变电站设备图像区域生长分割的效果图如图21A～图21C所示，图21A和图21B中的设备图像区域生长分割的效果图中也出现了大量的空洞，这不利于设备区域的提取，另外图21C中电抗器主体区域出现了过度分割的请况，这进一步说明了传统区域生长算法存在的不足。

为了弥补传统区域生长算法的缺陷，尽可能高精度地分割出设备主体区域，需要对初始生长点建立一定的选取规则。另外从预处理效果图上不难发现，部分不属于目标设备组成部分的干扰目标还不能完全从灰度级上被区分开。经过对预处理效果的详细分析和对比，不考虑灰度级高低的因素，设备主体与干扰目标在空间上的分配占比大小差异比较明显；与设备主体相比，干扰目标分布较分散，并且经过预处理增强后已经在一定程度上隔断了其与主体目标的空间联系。

综合以上两方面的需求，可以考虑通过区域分析中的连通分量提取来区分设备的主体部分和其他干扰目标，然后将主体区域的中心标记出来，以此为初始生长点来进行区域生长。然后对于分割后的图像进行基于形态学的区域修复，使得区域内空洞得到填充、区域边缘得到圆滑。本发明就是基于这样的思路得到了改进的区域生长法。

综上所述，本发明首先采用基于Retinex理论的图像增强技术改善了红外图像的整体视觉效果，改善其亮度均匀性，进一步提升局部暗区域的亮度，突出目标的轮廓信息；然后利用分段的灰度线性变换方法改变了图像背景与目标之间的灰度级占比，克服了传统直方图均衡化技术存在的对比度的盲目增强和过分增强等缺陷；之后考虑到多目标见的空间关系，在易于分割空间灰度相似目标的区域生长法的基础上提取最大连通区域的中心作为初始生长点，初步实现设备主体区域的提取，最后利用形态学手段进行区域修复，最终获得了理想的目标提取效果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种变电站复杂背景红外图像中设备的提取方法，其特征在于，该方法包括以下步骤：

步骤一、将通过红外图像采集仪(1)采集的变电站设备红外图像导入图像处理器(2)中；

步骤二、图像处理器(2)基于Retinex理论对变电站设备红外图像进行图像增强处理，具体过程为：

步骤201、首先，将变电站设备红外图像灰度化，然后，根据Retinex理论将变电站设备红外图像S(x,y)分解为反射物体图像R(x,y)和入射光图像L(x,y)；

步骤202、采用取对数的方法将照射光分量和反射光分离，用公式表示为：

S′(x,y)＝log(R(x,y))+log(L(x,y)) (A1)

步骤203、采用高斯模板对步骤202处理得到的图像S′(x,y)做卷积进行低通滤波，得到低通滤波后的图像D(x,y)，用公式表示为：

D(x,y)＝S′(x,y)*F(x,y) (A2)

其中，F(x,y)表示高斯滤波函数；

步骤204、在对数域中，用反射物体图像R(x,y)减去低通滤波后的图像D(x,y)，得到高频增强的图像G(x,y)，用公式表示为：

G(x,y)＝R(x,y)-log(D(x,y)) (A3)

步骤205、对高频增强的图像G(x,y)取反对数，得到增强后的图像R′(x,y)：

R′(x,y)＝exp(G(x,y)) (A4)

步骤三、图像处理器(2)采用改进的直方图均衡化算法对经过步骤二处理得到的变电站设备红外图像进行图像增强处理，具体过程为：

步骤301、将步骤二处理得到的增强后的图像R′(x,y)表示为灰度直方图；

步骤302、首先，确定分段灰度变换的参数x₁、x₂、y₁和y₂，其中，x₁为背景与目标区域的分界点，y₁为背景与目标区域的分界点处的灰度值，x₂为目标区域的代表点，y₂为目标区域的代表点处的灰度值；然后，采用由参数x₁、x₂、y₁和y₂作为系数的分段线性变换函数对步骤301得到的灰度直方图进行分段灰度变换，得到分段灰度变换图；

步骤303、得到分段灰度变换图的直方图并统计其灰度级r_k和各灰度级像素数n_k，其中，k为经过步骤302变换后的图像中的第k个灰度级，且k的取值为0,1,2,…，L-1；L为灰度级的总数；

步骤304、根据公式p_k＝n_k/N计算分段灰度变换图的直方图各灰度级像素数的概率p_k，其中，N为灰度图像的像素点总数；

步骤305、根据公式计算分段灰度变换图中各灰度级的累计概率s_k；

步骤306、对s_k取整得到新的灰度变换图的累计概率S_k＝int{L-1)s_k+0.5}；

步骤307、将步骤306中的S_k与步骤303中的r_k相对应，建立r_k与S_k的映射关系，绘制累计直方图，并统计在r_k与S_k的映射关系下新灰度变换图中各灰度级像素数的概率p'_k；

步骤308、统计新灰度变换图的各灰度级像素数n′_k；

步骤309、绘制出新灰度变换图；

步骤四、图像处理器(2)采用改进的区域生长分割算法对经过步骤三处理得到的变电站设备红外图像进行图像分割处理，并采用形态学的方法对分割得到的图像进行修复和完善，具体过程为：

步骤401、对经过步骤三处理得到的新灰度变换图进行二值化处理，得到二值图像；

步骤402、标注步骤401得到的二值图像中的连通分量；

步骤403、从步骤402中标注的连通分量中，找出最大的连通分量；

步骤404、计算并标记出最大的连通分量的中心；

步骤405、以所标记的最大的连通分量的中心为种子点进行8邻域的区域生长，得到区域分割图像；

步骤406、对区域内部的大空洞进行区域填充，并对区域内部的小空洞和区域边界的毛刺部分进行膨胀或开运算操作。

2.按照权利要求1所述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤302中将最左侧波峰后的波谷的最低点作为背景与目标区域的分界点x₁，将最右侧的波峰点作为目标区域的代表点x₂；步骤302中采用的分段线性变换函数为二分段线性变换函数，用公式表示为：

其中，x为二分段线性变换函数的自变量。

3.按照权利要求2所述的变电站复杂背景红外图像中设备的提取方法，其特征在于：定义分段灰度变换后的x₁不变，y₁＝0，y₂＝x₂；将二分段线性变换函数，用公式表示为：

4.按照权利要求1所述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤403中所述步骤402中标注的连通分量中，找出最大的连通分量的具体过程为：对步骤402中标注的各个连通分量中的像素进行计数，然后找到像素最大的连通分量，即为最大的连通分量。

5.按照权利要求1所述的变电站复杂背景红外图像中设备的提取方法，其特征在于：步骤406中所述大空洞为像素区域大于7×7的空洞，所述小空洞为像素区域小于等于7×7的空洞。

6.按照权利要求1所述的变电站复杂背景红外图像中设备的提取方法，其特征在于：所述红外图像采集仪(1)为红外摄像头，所述图像处理器(2)为计算机。