CN113052865A - 一种基于图像相似度的输电线路小样本温度图像扩增方法 - Google Patents

Abstract

本发明提供了一种基于图像相似度的输电线路小样本温度图像扩增方法，采集输电线路红外图像对图像预处理，结合累加像素法和垂直投影法进行温度值的定位和分割，根据温度特点建立11种类型的温度图像数据集，结合投影累加和直方图计算图像相似度，对CGAN模型进行改进，输入原始图像数据集后使用基于图像相似度改进的CGAN模型进行对抗训练，扩增11种类型的温度图像，从主观和客观角度进行分析，验证其效果。本发明的有益效果为：通过自适应阈值的二值化方法对图像进行预处理，提高二值化的准确性和可靠性，结合投影累加和直方图计算图像相似度，改进CGAN模型的损失函数。

Description

一种基于图像相似度的输电线路小样本温度图像扩增方法

技术领域

本发明涉及小样本图像扩增技术领域，尤其涉及一种基于图像相似度的输电线路小样本温度图像扩增方法。

背景技术

输电线路是电力系统安全运行的关键，所处环境复杂，容易发生各类故障，从未导致温度的异常。传统的检测方法为人工检测，费时费力，效率低下。基于红外图像的缺陷检测方法能够及时发现温度异常，是降低输电线路故障的有效手段。通常红外图像右侧会生成测温图谱，同时标有温度最大值和最小值，方便及时发现故障，进行排查和统计。在输电线路红外图像采集的过程中，受复杂环境和采集设备的限制，输电线路图像存在样本小、不平衡的问题。因此，基于神经网络技术对输电线路温度图像数据集进行扩增记录具有重要意义。

条件生成式对抗网络主要由生成和鉴别两个网络模型组成，通过生成网络和判别网络的对抗训练，不断提高生成网络的能力，最终达到纳什平衡，得到样本的生产图像。

公开号112446429A的发明专利一种基于CGAN的巡检图像数据小样本扩充方法公开了该方法通过异常检测算法提出掉巡检图像中的异常图像，接着导入到CGAN模型中，生成大量巡检图像，并根据给定阈值进行图像筛选，最终得到扩增的巡检图像。虽然该方法能够进行图像的扩增处理，但是收集到的巡检图像是可见光图像，包含变电设备、输电线路等众多图像，含有较多的复杂信息，容易收到光照、天气等干扰因素的影响，并且没有对生成的图像效果进行进一步验证，在实际生活中容易因为生成图像质量问题而造成结果不准确。

发明内容

本发明的目的在于提供一种基于图像相似度的输电线路小样本温度图像扩增方法，通过采集输电线路红外图像，采用自适应阈值的二值化方法去除复杂的背景信息；其次，结合累加像素法和垂直投影法进行温度值的定位和分割，建立含有11中类型的输电线路温度图像数据集；结合投影累加和直方图计算图像相似度改进CGAN，并进行图像扩增，克服了输电线路小样本温度图像数据集样本不平衡、质量低的问题，提高了图像生成的质量，有利于提高后期检测的准确性。

本发明是通过如下措施实现的：一种基于图像相似度的输电线路小样本温度图像扩增方法，包括如下步骤：

S1、采集输电线路图像，对图像进行预处理，去除复杂的背景信息；

S2、图像分割，定位图像中测温图谱的位置，根据位置关系分割温度图像；

S3、构建输电线路温度图像数据集，按照红外图像中温度的特点分成数字“0-9”和符号“-”共11种类型；

S4、改进CGAN模型，计算图像相似度对CGAN模型进行改进；

S5、图像扩增，将输电线路温度图像数据集导入到基于图像相似度改进的CGAN模型中，进行对抗训练，扩增给定标签的温度图像，输出扩增后的图像数据集；

S6、效果验证，采用主客观分析方法，验证其效果。

进一步地，所述采集的图像为输电线路红外图像，图像预处理方法采用自适应阈值的二值化方法。

进一步地，所述图像分割包括定位与分割两部分，所述定位部分采用垂直像素累加法定位输电线路红外图像中的测温图谱，并根据温度值和矩形框的相对位置关系确定温度值的位置，所述垂直像素累加法是对整体图像按列累加连续的像素定位出矩形框四角的坐标(X_矩形左上，Y_矩形左上)、(X_矩形左下，Y_矩形左下)、(X_矩形右上，Y_矩形右上)、(X_矩形右下，Y_矩形右下)，所述温度值包括温度最大值框(X_{温度最大左上}，Y_{温度最大左上})、(X_{温度最大左下}，Y_{温度最大左下})、(X_{温度最大右上}，Y_{温度最大右上})、(X_{温度最大右下}，Y_{温度最大右下})和温度最小值框(X_{温度最小左上}，Y_{温度最小左上})、(X_{温度最小左下}，Y_{温度最小左下})、(X_{温度最小右上}，Y_{温度最小右上})、(X_{温度最小右下}，Y_{温度最小右下})；所述分割部分采用垂直投影法从左到右将所述温度最大值框和温度最小值框在垂直方向上按列投影，得到各列像素累加值，如下式所示：

进一步地，所述输电线路温度图像数据集来自M张输电线路红外图像，所述输电线路温度图像按照温度值特点分为数字“0-9”和符号“-”共11种类型，M不小于100。

进一步地，所述图像相似度计算采用直方图匹配方法，所述步骤S4包括以下步骤：

S41、对原始温度值图像进行直方图均衡化，得到原始直方图Va_1..N和每个像素s，计算累计分布T(s)，其表达式为：

S42、根据需要的规定化直方图V2，得到累计分布G(z)，其表达式为：

S43、从水平和竖直两个方向计算原始温度值图像的像素类加值Sum_H和Sum_V，添加到原始直方图V1中，得到结合投影累加的改进直方图Vb1..N；

S44、通过改进直方图V2计算其图像相似度δ，其表达式为：

S45、将计算得到的图像相似度带入到CGAN中，对其损失函数进行改进，其表达式为：

进一步地，所述图像相似度CGAN设置生成和判断网络的学习率、梯度衰减系数、平方梯度衰减因子、网络层数、运行迭代次数，所述图像扩增生成11种类型的温度图像，输出K张温度图像，使输电线路温度图像数据集数据平衡，K不小于1。

进一步地，所述主观分析通过观察法进行生成图像质量判断；所述客观分析法是结合投影累加和直方图计算其图像相似度，验证其效果。

与现有技术相比，本发明的有益效果为：本发明通过采集输电线路红外图像，采用自适应阈值的二值化方法去除复杂的背景信息；其次，结合累加像素法和垂直投影法进行温度值的定位和分割，建立含有11种类型的输电线路温度图像数据集；结合投影累加和直方图计算图像相似度改进CGAN，并进行图像扩增，克服了输电线路小样本温度图像数据集样本不平衡、质量低的问题，提高了图像生成的质量，有利于提高后期检测的准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提供的一种基于图像相似度CGAN的变电设备温度值图像扩增方法流程图；

图2为本发明实施例中变电设备红外图像灰度化处理结果；

图3为本发明实施例中变电设备红外图像的直方图；

图4为本发明实施例中变电设备红外图像自适应阈值二值化处理结果；

图5为本发明实施例中变电设备红外图像温度值定位结果；

图6为本发明实施例中变电设备红外图像温度值垂直投影结果；

图7为本发明实施例中变电设备红外图像温度值分割结果；

图8为本发明实施例中变电设备红外图像温度值及其直方图；

图9为本发明实施例中变电设备红外图像温度值投影累加图；

图10为本发明实施例中变电设备红外图像温度值投影累加直方图；

图11为本发明实施例中变电设备红外图像温度值CGAN扩增结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1至图11，本发明提供其技术方案为，本实施例提供了一种基于图像相似度的输电线路小样本图像扩增方法，包括如下步骤：

S1：采集输电线路图像，对图像进行预处理，去除复杂的背景信息；

S2：图像分割，定位图像中测温图谱的位置，根据位置关系分割温度图像；

S3：构建输电线路温度图像数据集，按照红外图像中温度的特点分成数字“0-9”和符号“-”共11种类型；

S4：改进CGAN模型，计算图像相似度对CGAN模型进行改进；

S5：图像扩增，将输电线路温度图像数据集导入到基于图像相似度改进的CGAN模型中，进行对抗训练，扩增给定标签的温度图像，输出扩增后的图像数据集；

S6：效果验证，采用客观分析方法，验证其效果。

进一步优选地，对于步骤S1图像预处理，变电设备红外图像通常包括树木和建筑物等复杂背景，这些背景受光照和环境因素的影响很大，而且由于红外成像仪的品牌不同，通常会出现水印和边框。通过直接识别这些图像，很容易发现错误。对此图像按照下时进行灰度化处理，处理后结果如图2所示。

Gray(i,j)＝0.229*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

所述自适应阈值是根据张红外图像的直方图特点确定，选取灰度值较大的峰值作为阈值进行二值化处理，如图3所示自适应确定阈值为235。所述自适应阈值二值化结果分别如图4所示。对于输电线路红外图像二值化处理效果较好，具有简单、快速、分类效率高等优点。

进一步优选地，对于步骤S2图像分割，包括定位和分割两部分。对于定位部分，由于二值化图像中矩形框被完全保留，并且相对最高和最低温度位置固定，通过像素累积法来定位矩形框。所述垂直像素累加法以矩形框的长边为方向、以矩形框的短边为参考，所述垂直像素累加法是对整体图像按列累加连续的像素定位出矩形框四角的坐标(X_矩形左上，Y_矩形左上)、(X_矩形左下，Y_矩形左下)、(X_矩形右上，Y_矩形右上)、(X_矩形右下，Y_矩形右下)，所述温度值包括温度最大值框(X_{温度最大左上}，Y_{温度最大左上})、(X_{温度最大左下}，Y_{温度最大左下})、(X_{温度最大右上}，Y_{温度最大右上})、(X_{温度最大右下}，Y_{温度最大右下})和温度最小值框(X_{温度最小左上}，Y_{温度最小左上})、(X_{温度最小左下}，Y_{温度最小左下})、(X_{温度最小右上}，Y_{温度最小右上})、(X_{温度最小右下}，Y_{温度最小右下})。定位结果如图5(a)所示，温度最大值和最小值定位结果如图5(b)和图5(c)所示。对于分割部分，采用垂直投影法在垂直方向上投影温度最大值和最小值区域。从左向右扫描，每列像素值累加，垂直投影法如下式所示，结果如图6所示。在图6中，有两个峰值分别对应于字符的边界区域，这表明该区域中有两个字符，两个字符的交界处有突变，选择突变点作为分割点，对温度值进行分段。所述各列像素累加值小于5代表所在列没有温度值，反之则有。所述温度最大值框和温度最小值框可以分割成两位或者三位，结果如图7所示。

进一步优选地，步骤S3构建输电线路温度图像数据集。所述变电设备温度值数据集来自150张变电设备红外图片，所述变电设备温度值数据库存在“0-9”的数字和“-”的符号共11种类型，所述变电设备温度值数据库共有876张，所述变电设备温度值数据库中数字“0”有60张、“1”有149张、“2”有179张、“3”有184张、“4”有72张、“5”有49张、“6”有38张、“7”有46张、“8”有36张张、“9”有43张、符号“-”有20张，结果如下表所示。所述变电设备温度值数据库存在样本小、不平衡的特点。

表1扩增前变电设备温度值数据库分布情况

进一步优选地，对于步骤S4改进CGAN模型。如图8所示，所述变电设备红外图像温度值直方图数值主要集中在两侧且存在较大的相似性，所述变电设备红外图像温度值直方图无法单独实现图像相似度计算。如图9所示，所述变电设备红外图像温度值投影累加图包括水平投影和竖直投影，所述水平投影在前侧、竖直投影在后侧，所述变电设备红外图像温度值投影累加图存在不同和区分度，所述图像相似度结合投影累加和直方图计算。如图10所示，所述变电设备红外图像温度值投影累加直方图结合了投影累加图和直方图，所述投影累加图添加在原始直方图的中间两侧。

进一步优选地，对于步骤S4改进CGAN模型。所述图像相似度计算采用投影累加和直方图相结合的匹配方法，所述步骤S4包括以下步骤：

S41、对原始温度值图像进行直方图均衡化，得到原始直方图Va_1..N和每个像素s，计算累计分布T(s)，其表达式为：

S42、根据需要的规定化直方图V2，得到累计分布G(z)，其表达式为：

S43、从水平和竖直两个方向计算原始温度值图像的像素类加值Sum_H和Sum_V，添加到原始直方图V1中，得到结合投影累加的改进直方图Vb1..N；

S44、通过改进直方图V2计算其图像相似度δ，其表达式为：

S45、将计算得到的图像相似度带入到CGAN中，对其损失函数进行改进，其表达式为：

进一步优选地，对于步骤S5图像扩增，所述CGAN设置生成和鉴别网络的学习率为0.0002、梯度衰减系数为0.5、平方梯度衰减因子为0.999、网络为4层神经网络、运行200×27代，采用CGAN扩增的结果如图11所示。CGAN在1800次开始达到纳什平衡，之后趋于稳定。所述图像扩增后变电设备温度值数据库共有2200张，所述“0-9”的数字和“-”的符号各200张。

进一步优选地，对于步骤S6效果验证，包括主观分析法和客观分析法。对于主观分析法，通过观察图11可知，生成图像轮廓清楚，图片中数字信息被完整的保留，生成效果较好；客观分析法通过结合投影累加和直方图计算图像相似度，真实图像的图像相似度和生成图像的图像相似度分别如表2和表3所示。所述真实图像的图像相似度是从真实图像中随机选取“0-9”的数字和“-”的符号各10张，所述选取图像与其他选取图像计算图像相似度后取均值，所述生成图像的图像相似度是从生成图像中随机选取，所述生成图像的图像相似度的选取和计算方法与所述真实图像的图像相似度一致。

表2真实图像的图像相似度

表3生成图像的图像相似度

如表2和表3所示，所述真实图像的图像相似度中相同数字和符号的图像相似度高于与其他数字和符号，相同数字和符号的图像相似度是行和列的最大值，表明图像相似度这一指标能够区分不同数字和符号；所述生成图像的图像相似度中相同数字和符号的图像相似度是最大的，这与所述真实图像的图像相似度结果一致，表明生成图像满足使用要求。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，包括如下步骤：

S1、采集输电线路图像，对图像进行预处理，去除复杂的背景信息；

S2、图像分割，定位图像中测温图谱的位置，根据位置关系分割温度图像；

S3、构建输电线路温度图像数据集，按照红外图像中温度的特点分成数字“0-9”和符号“-”共11种类型；

S4、改进CGAN模型，计算图像相似度对CGAN模型进行改进；

S5、图像扩增，将输电线路温度图像数据集导入到基于图像相似度改进的CGAN模型中，进行对抗训练，扩增给定标签的温度图像，输出扩增后的图像数据集；

S6、效果验证，采用主客观分析方法，验证其效果。

2.根据权利要求1所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，所述步骤S1采集图像，所述的采集的图像为输电线路红外图像，图像预处理方法采用自适应阈值的二值化方法。

3.根据权利要求1或2所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，在所述步骤S2图像分割中，所述图像分割包括定位与分割两部分，所述定位部分采用垂直像素累加法定位输电线路红外图像中的测温图谱，并根据温度值和矩形框的相对位置关系确定温度值的位置，所述垂直像素累加法是对整体图像按列累加连续的像素定位出矩形框四角的坐标(X_矩形左上，Y_矩形左上)、(X_矩形左下，Y_矩形左下)、(X_矩形右上，Y_矩形右上)、(X_矩形右下，Y_矩形右下)，所述温度值包括温度最大值框(X_{温度最大左上}，Y_{温度最大左上})、(X_{温度最大左下}，Y_{温度最大左下})、(X_{温度最大右上}，Y_{温度最大右上})、(X_{温度最大右下}，Y_{温度最大右下})和温度最小值框(X_{温度最小左上}，Y_{温度最小左上})、(X_{温度最小左下}，Y_{温度最小左下})、(X_{温度最小右上}，Y_{温度最小右上})、(X_{温度最小右下}，Y_{温度最小右下})；所述分割部分采用垂直投影法从左到右将所述温度最大值框和温度最小值框在垂直方向上按列投影，得到各列像素累加值，如下式所示：

4.根据权利要求1-3任一项所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，在所述步骤S3构建输电线路温度图像数据集中，所述输电线路温度图像数据集来自M张输电线路红外图像，所述输电线路温度图像按照温度值特点分为数字“0-9”和符号“-”共11种类型，M不小于100。

5.根据权利要求1-4任一项所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，在所述的步骤S4改进CGAN中，所述图像相似度计算采用投影累加和直方图相结合的匹配方法；

所述步骤S4具体包括以下步骤：

S41：对原始温度值图像进行直方图均衡化，得到原始直方图Va_1..N和每个像素s，计算累计分布T(s)，其表达式为：

S42：根据需要的规定化直方图V2，得到累计分布G(z)，其表达式为：

S43：从水平和竖直两个方向计算原始温度值图像的像素类加值Sum_H和Sum_V，添加到原始直方图V1中，得到结合投影累加的改进直方图Vb_1..N；

S44：通过改进直方图V2计算其图像相似度δ，其表达式为：

S45：将计算得到的图像相似度带入到CGAN中，对其损失函数进行改进，其表达式为：

6.根据权利要求1-5任一项所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，在所述的步骤S5图像扩增中，所述图像相似度CGAN设置生成和判断网络的学习率、梯度衰减系数、平方梯度衰减因子、网络层数、运行迭代次数，所述图像扩增生成11种类型的温度图像，输出K张温度图像，使输电线路温度图像数据集数据平衡，K不小于1。

7.根据权利要求1-6任一项所述的基于图像相似度的输电线路小样本温度图像扩增方法，其特征在于，在所述的步骤S6效果验证中，所述主观分析通过观察法进行生成图像质量判断；所述客观分析法是结合投影累加和直方图计算其图像相似度，验证其效果。

Images