CN115641263A - 基于深度学习的单幅电力设备红外图像超分辨率重建方法 - Google Patents

Abstract

本发明是是一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特点是，包括的步骤有：构建模型的训练集和测试集、构建改进的生成网络、构建改进的对抗网络、构建融合损失函数和模型训练、模型性能评估和模型应用。能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，提高超分辨率重建后电力设备红外图像的质量。

Description

基于深度学习的单幅电力设备红外图像超分辨率重建方法

技术领域

本发明属于红外检测技术领域，涉及一种基于深度学习的单幅电力设备红外图像超分辨率重建方法。

背景技术

红外检测技术因其直观、高效以及安全非接触等优点，在电气设备巡检以及故障检测中得到广泛应用。然而，受红外成像硬件发展水平以及成本制约，现有用于电力设备检测红外成像仪捕获的红外图像分辨率一般较低，使得基于红外图像的电力设备检测结果可信度较低。直接通过提高硬件水平以提升电力红外图像分辨率的方法难度较大，而且成本较高。因此，为了提高基于红外图像的电力设备检测结果可信度，亟需提供一种用于提高电力设备红外图像分辨率的方法。

单幅电力设备红外图像超分辨率重建方法是将一张分辨率较低的电力设备红外图像生成对应的分辨率较高的电力设备红外图像，为基于电力设备红外图像的电力设备温度测量、目标检测以及故障识别等提供高分辨率的红外图像。随着人工智能技术的发展，深度学习技术被用于提高单幅电力设备红外图像分辨率，生成对抗网络(GAN)是一种特殊的深度学习模型，Real-ESRGAN是生成对抗网络的一种新模型，采用Real-ESRGAN模型对单幅低分辨率电力设备红外图像进行重建，虽然能够得到超分辨率的红外图像，但是细节信息丢失严重，直接影响基于电力设备红外图像的电力设备故障识别。为此，本发明提出用于单幅电力设备红外图像超分辨率重构的改进型Real-ESRGAN模型，在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，提高超分辨率重建后电力设备红外图像的质量。

发明内容

本发明要解决的技术问题是：提供一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，提高超分辨率重建后电力设备红外图像的质量。

本发明解决技术问题的方案是：一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：

1)构建模型的训练集和测试集

首先，采用具有高分辨率的红外热成像仪采集不同环境和背景下的电力设备红外图像，得到高分辨率的电力设备红外图像；然后，将采集到的电力设备红外图像按照7:3的比例划分成数据集1和数据集2；最后，分别对数据集1和数据集2的高分辨率的电力设备红外图像进行退化处理，得到高分辨率的电力设备红外图像对应的低分辨率的电力设备红外图像，高分辨率的电力设备红外图像与对应的低分辨率的电力设备红外图像组成样本对；数据集1中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型训练集，数据集2中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型测试集；

2)构建改进的生成网络

构建用于电力设备红外图像超分辨率重建的网络；

3)构建改进的对抗网络

构建用于判断输入的电力设备红外图像是真图像还是假图像的网络；

将由高分辨率红外热成像仪采集到的高分辨率的电力设备红外图像定义为真图像；

将生成网络的输出图像定义为假图像；

4)构建融合损失函数

用来衡量网络训练过程的生成网络性能和对抗网络性能；

5)模型训练

应用RAdam优化器来利用反向传播求得模型中权重的梯度，然后通过迭代不断更新模型权重，最终得到已训练完成的网络模型；

6)模型性能评估

将步骤1)中的测试集中的低分辨率的电力设备红外图像输入到已训练好的生成网络中，得到生成的超分辨率的电力设备红外图像，利用生成的电力设备红外图像与对应的原始高分辨率的电力设备红外图像计算峰值信噪比(PSNR)和结构相似性(SSIM)，利用生成的电力设备红外图像计算自然图像质量评估(NIQE)，如果三个指标满足实际应用需求，则执行步骤7)，否则执行步骤5)，调整参数重新对模型进行训练；

7)模型应用

将已训练的模型部署在服务器上，对现场采集到的电力设备红外图像进行超分辨率重建，得到包含更多细节信息的超分辨率的电力设备红外图像。

进一步，所述步骤2)构建改进的生成网络，对Real-ESRGAN的生成网络进行改进，使其能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，包括：

①设计一个多尺度残差模块和新增一个由空间注意力模块组成的残差模块，新增的由空间注意力模块组成的残差模块定义为残差模块A，每个多尺度残差模块都与一个残差模块A连接，每个多尺度残差模块的输出不但作为下一个模块的输入，还作为残差模块A的输入；为了提取不同尺度的特征信息，用23个由多尺度残差模块和残差模块A组成的模块代替Real-ESRGAN模型中的23个RRDB模块；

每个多尺度残差模块均由三个分支组成：第一个分支均是一个跳跃连接，用于保留输入特征，第二个分支均依次由一个3×3的卷积层，一个ReLU激活函数，一个拼接操作，一个3×3的卷积层和一个ReLU激活函数组成，第三个分支均由一个5×5的卷积层，一个ReLU激活函数，一个拼接操作，一个5×5的卷积层和一个ReLU激活函数组成，第二个分支的第一个ReLU激活函数的输出与第三个分支的第一个ReLU激活函数的输出经过拼接操作后分别作为第二个分支的第二个3×3的卷积层的输入和第三个分支的第二个5×5的卷积层的输入，第二个分支的最终输出和第三个分支的最终输出依次经过拼接操作和一个1×1的卷积层后得到的特征图，与第一个分支的输出特征图进行元素相加得到多尺度残差模块的最终输出特征图；

残差模块A由两个分支组成：第一个分支为跳跃连接，第二个分支由空间注意力模块组成，两个分支的输出进行元素相乘得到残差模块A的输出特征图，空间注意力模块依次由并行的池化模块，拼接操作，7×7的卷积层和Sigmoid函数组成，其中并行的池化模块由并行的最大池化和平均池化组成；

②为了避免过拟合以及增加模型的泛化能力，在生成网络的最后一层前面增加了一个随机失活操作(dropout)。

进一步，所述步骤3)构建改进的对抗网络，在Real-ESRGAN的对抗网络中的每个跳跃连接中均依次引入通道注意力模块和空间注意力模块，提高有用特征信息的权重，降低上采样和下采样的特征融合过程中冗余特征信息的干扰，提高其判别其输入的红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的超分辨率的电力设备红外图像的能力，间接提高生成网络生成更接近真实的高分辨率的电力设备红外图像的能力；

进一步，所述步骤4)构建融合损失函数，包括：

i.对抗损失函数

对抗损失函数包括生成网络对抗损失函数和对抗网络对抗损失函数，其中生成网络的对抗损失函数表示为：

L_{adv_G}＝-log(D(G(I^LR))) (1)

式中，log()表示对数函数,G()和D()分别表示生成网络和对抗网络，I^LR表示低分辨率的电气设备红外图像，通过最小化L_{adv_G}使得由生成网络生成的超分辨率的电气设备红外图像与原始高分辨率的电气设备红外图像接近；

对抗网络的对抗损失函数表示为：

L_{adv_D}＝-log(D(I^HR))-log(1-D(I^SR)) (2)

其中，I^HR和I^SR分别表示原始的高分辨率的电力设备红外图像和生成器生成的超分辨率的电力设备红外图像，通过最小化L_{adv_D}来使得对抗网络正确判断输入的电力设备红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的电力设备红外图像；

ii.特征匹配损失函数

特征匹配损失函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在对抗网络中的特征空间之间的差异，通过最小化特征匹配损失函数来稳定生成对抗网络的训练，特征匹配损失函数表示为：

式中，Dⁱ()表示对抗网络的第i层输出，H()表示Huber函数，具体表达式如下：

式中，δ是一个超参数；

iii.学习感知图像块相似度损失函数

学习感知图像块相似度函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在预先训练的VGG网络中的特征空间之间的差异，通过最小化该损失函数能够约束生成的超分辨率电力设备红外图像中的语义信息，学习感知图像块相似度损失函数表示为：

式中，τⁱ表示将不同特征维度转换成一个尺度，φⁱ()表示一个用于特征提取的VGG网络的第i个卷积模块的输出，k表示VGG网络卷积模块的数量；

iv.像素损失函数

像素损失函数用来衡量原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像像素之间的差异，表示为：

式中，H和W用来表示图像的高和宽，(x,y)表示像素的坐标,

和

分别表示原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像在图像的坐标(x,y)点的像素值；

融合损失函数表示为：

Loss_D＝-log(D(I^HR))-log(1-D(I^SR)) (8)

式中，λ_adv，λ_FM，λ_lpips和λ_pix分别是生成网络的对抗损失函数，特征匹配损失函数，学习感知图像块相似度损失函数和像素损失函数的比例系数，本发明分别设定λ_adv，λ_FM，λ_lpips和λ_pix等于0.01，1，1，0.01。

本发明提供了一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，提高超分辨率重建后电力设备红外图像的质量。

附图说明

图1是本发明的一种基于深度学习的单幅电力设备红外图像超分辨率重建方法的流程图；

图2是本发明的多尺度残差模块结构图；

图3是本发明的空间注意力模块；

图4是本发明的生成网络结构图；

图5是本发明的对抗网络结构图。

具体实施方式

下面利用附图和实施例对本发明一种基于深度学习的单幅电力设备红外图像超分辨率重建方法进行详细说明。

参照图1，本发明的一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，包括以下步骤：

1)构建模型的训练集和测试集

首先，采用具有高分辨率的红外热成像仪采集不同环境和背景下的电力设备红外图像，得到高分辨率的电力设备红外图像；然后，将采集到的电力设备红外图像按照7:3的比例划分成数据集1和数据集2；最后，分别对数据集1和数据集2的高分辨率的电力设备红外图像进行退化处理，得到高分辨率的电力设备红外图像对应的低分辨率的电力设备红外图像，高分辨率的电力设备红外图像与对应的低分辨率的电力设备红外图像组成样本对；数据集1中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型训练集，数据集2中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型测试集；

2)构建改进的生成网络

构建用于电力设备红外图像超分辨率重建的网络；

3)构建改进的对抗网络

构建用于判断输入的电力设备红外图像是真图像还是假图像的网络；

将由高分辨率红外热成像仪采集到的高分辨率的电力设备红外图像定义为真图像；

将生成网络的输出图像定义为假图像；

4)构建融合损失函数

用来衡量网络训练过程的生成网络性能和对抗网络性能；

5)模型训练

应用RAdam优化器来利用反向传播求得模型中权重的梯度，然后通过迭代不断更新模型权重，最终得到已训练完成的网络模型；

6)模型性能评估

将步骤1)中的测试集中的低分辨率的电力设备红外图像输入到已训练好的生成网络中，得到生成的超分辨率的电力设备红外图像，利用生成的电力设备红外图像与对应的原始高分辨率的电力设备红外图像计算峰值信噪比(PSNR)和结构相似性(SSIM)，利用生成的电力设备红外图像计算自然图像质量评估(NIQE)，如果三个指标满足实际应用需求，则执行步骤7)，否则执行步骤5)，调整参数重新对模型进行训练；

7)模型应用

将已训练的模型部署在服务器上，对现场采集到的电力设备红外图像进行超分辨率重建，得到包含更多细节信息的超分辨率的电力设备红外图像。

进一步，所述步骤2)构建改进的生成网络，对Real-ESRGAN的生成网络进行改进，使其能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，包括：

①设计一个多尺度残差模块和新增一个由空间注意力模块组成的残差模块，新增的由空间注意力模块组成的残差模块定义为残差模块A，每个多尺度残差模块都与一个残差模块A连接，每个多尺度残差模块的输出不但作为下一个模块的输入，还作为残差模块A的输入；为了提取不同尺度的特征信息，用23个由多尺度残差模块和残差模块A组成的模块代替Real-ESRGAN模型中的23个RRDB模块；

设计的多尺度残差模块如图2所示，每个多尺度残差模块均由三个分支组成：第一个分支均是一个跳跃连接，用于保留输入特征，第二个分支均依次由一个3×3的卷积层，一个ReLU激活函数，一个拼接操作，一个3×3的卷积层和一个ReLU激活函数组成，第三个分支均由一个5×5的卷积层，一个ReLU激活函数，一个拼接操作，一个5×5的卷积层和一个ReLU激活函数组成，第二个分支的第一个ReLU激活函数的输出与第三个分支的第一个ReLU激活函数的输出经过拼接操作后分别作为第二个分支的第二个3×3的卷积层的输入和第三个分支的第二个5×5的卷积层的输入，第二个分支的最终输出和第三个分支的最终输出依次经过拼接操作和一个1×1的卷积层后得到的特征图，与第一个分支的输出特征图进行元素相加得到多尺度残差模块的最终输出特征图；

残差模块A由两个分支组成：第一个分支为跳跃连接，第二个分支由空间注意力模块组成，两个分支的输出进行元素相乘得到残差模块A的输出特征图，空间注意力模块如图3所示，空间注意力模块依次由并行的池化模块，拼接操作，7×7的卷积层和Sigmoid函数组成，其中并行的池化模块由并行的最大池化和平均池化组成；

②为了避免过拟合以及增加模型的泛化能力，在生成网络的最后一层前面增加了一个随机失活操作(dropout)，完整的生成网络结构图如图4所示。

进一步，所述步骤3)构建改进的对抗网络，对抗网络结构如图5所示，在Real-ESRGAN的对抗网络中的每个跳跃连接中均依次引入通道注意力模块和空间注意力模块，提高有用特征信息的权重，降低上采样和下采样的特征融合过程中冗余特征信息的干扰，提高其判别其输入的红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的超分辨率的电力设备红外图像的能力，间接提高生成网络生成更接近真实的高分辨率的电力设备红外图像的能力；

进一步，所述步骤4)构建融合损失函数，包括：

i.对抗损失函数

对抗损失函数包括生成网络对抗损失函数和对抗网络对抗损失函数，其中生成网络的对抗损失函数表示为：

L_{adv_G}＝-log(D(G(I^LR))) (1)

式中，log()表示对数函数,G()和D()分别表示生成网络和对抗网络，I^LR表示低分辨率的电气设备红外图像，通过最小化L_{adv_G}使得由生成网络生成的超分辨率的电气设备红外图像与原始高分辨率的电气设备红外图像接近；

对抗网络的对抗损失函数表示为：

L_{adv_D}＝-log(D(I^HR))-log(1-D(I^SR)) (2)

其中，I^HR和I^SR分别表示原始的高分辨率的电力设备红外图像和生成器生成的超分辨率的电力设备红外图像，通过最小化L_{adv_D}来使得对抗网络正确判断输入的电力设备红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的电力设备红外图像；

ii.特征匹配损失函数

特征匹配损失函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在对抗网络中的特征空间之间的差异，通过最小化特征匹配损失函数来稳定生成对抗网络的训练，特征匹配损失函数表示为：

式中，Dⁱ()表示对抗网络的第i层输出，H()表示Huber函数，具体表达式如下：

式中，δ是一个超参数；

iii.学习感知图像块相似度损失函数

学习感知图像块相似度函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在预先训练的VGG网络中的特征空间之间的差异，通过最小化该损失函数能够约束生成的超分辨率电力设备红外图像中的语义信息，学习感知图像块相似度损失函数表示为：

式中，τⁱ表示将不同特征维度转换成一个尺度，φⁱ()表示一个用于特征提取的VGG网络的第i个卷积模块的输出，k表示VGG网络卷积模块的数量；

iv.像素损失函数

像素损失函数用来衡量原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像像素之间的差异，表示为：

式中，H和W用来表示图像的高和宽，(x,y)表示像素的坐标,

和

分别表示原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像在图像的坐标(x,y)点的像素值；

融合损失函数表示为：

Loss_D＝-log(D(I^HR))-log(1-D(I^SR)) (8)

式中，λ_adv，λ_FM，λ_lpips和λ_pix分别是生成网络的对抗损失函数，特征匹配损失函数，学习感知图像块相似度损失函数和像素损失函数的比例系数，本发明分别设定λ_adv，λ_FM，λ_lpips和λ_pix等于0.01，1，1，0.01。

本发明的具体实施方式并非穷举，本领域技术人员利用上述揭示的技术内容做出的简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (4)

1.一种基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：

1)构建模型的训练集和测试集

首先，采用具有高分辨率的红外热成像仪采集不同环境和背景下的电力设备红外图像，得到高分辨率的电力设备红外图像；然后，将采集到的电力设备红外图像按照7:3的比例划分成数据集1和数据集2；最后，分别对数据集1和数据集2的高分辨率的电力设备红外图像进行退化处理，得到高分辨率的电力设备红外图像对应的低分辨率的电力设备红外图像，高分辨率的电力设备红外图像与对应的低分辨率的电力设备红外图像组成样本对；数据集1中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型训练集，数据集2中的高分辨率的电力设备红外图像和对应的低分辨率的电力设备红外图像构成模型测试集；

2)构建改进的生成网络

构建用于电力设备红外图像超分辨率重建的网络；

3)构建改进的对抗网络

构建用于判断输入的电力设备红外图像是真图像还是假图像的网络；

将由高分辨率红外热成像仪采集到的高分辨率的电力设备红外图像定义为真图像；

将生成网络的输出图像定义为假图像；

4)构建融合损失函数

用来衡量网络训练过程的生成网络性能和对抗网络性能；

5)模型训练

应用RAdam优化器来利用反向传播求得模型中权重的梯度，然后通过迭代不断更新模型权重，最终得到已训练完成的网络模型；

6)模型性能评估

将步骤1)中的测试集中的低分辨率的电力设备红外图像输入到已训练好的生成网络中，得到生成的超分辨率的电力设备红外图像，利用生成的电力设备红外图像与对应的原始高分辨率的电力设备红外图像计算峰值信噪比(PSNR)和结构相似性(SSIM)，利用生成的电力设备红外图像计算自然图像质量评估(NIQE)，如果三个指标满足实际应用需求，则执行步骤7)，否则执行步骤5)，调整参数重新对模型进行训练；

7)模型应用

将已训练的模型部署在服务器上，对现场采集到的电力设备红外图像进行超分辨率重建，得到包含更多细节信息的超分辨率的电力设备红外图像。

2.根据权利要求1所述的基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特征在于，所述步骤2)构建改进的生成网络，对Real-ESRGAN的生成网络进行改进，使其能够在提高电力设备红外图像分辨率的同时，更好地重建电力设备红外图像细节，包括：

①设计一个多尺度残差模块和新增一个由空间注意力模块组成的残差模块，新增的由空间注意力模块组成的残差模块定义为残差模块A，每个多尺度残差模块都与一个残差模块A连接，每个多尺度残差模块的输出不但作为下一个模块的输入，还作为残差模块A的输入；为了提取不同尺度的特征信息，用23个由多尺度残差模块和残差模块A组成的模块代替Real-ESRGAN模型中的23个RRDB模块；

每个多尺度残差模块均由三个分支组成：第一个分支均是一个跳跃连接，用于保留输入特征，第二个分支均依次由一个3×3的卷积层，一个ReLU激活函数，一个拼接操作，一个3×3的卷积层和一个ReLU激活函数组成，第三个分支均由一个5×5的卷积层，一个ReLU激活函数，一个拼接操作，一个5×5的卷积层和一个ReLU激活函数组成，第二个分支的第一个ReLU激活函数的输出与第三个分支的第一个ReLU激活函数的输出经过拼接操作后分别作为第二个分支的第二个3×3的卷积层的输入和第三个分支的第二个5×5的卷积层的输入，第二个分支的最终输出和第三个分支的最终输出依次经过拼接操作和一个1×1的卷积层后得到的特征图，与第一个分支的输出特征图进行元素相加得到多尺度残差模块的最终输出特征图；

残差模块A由两个分支组成：第一个分支为跳跃连接，第二个分支由空间注意力模块组成，两个分支的输出进行元素相乘得到残差模块A的输出特征图，空间注意力模块依次由并行的池化模块，拼接操作，7×7的卷积层和Sigmoid函数组成，其中并行的池化模块由并行的最大池化和平均池化组成；

②为了避免过拟合以及增加模型的泛化能力，在生成网络的最后一层前面增加了一个随机失活操作(dropout)。

3.根据权利要求1所述的基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特征在于，所述步骤3)构建改进的对抗网络，在Real-ESRGAN的对抗网络中的每个跳跃连接中均依次引入通道注意力模块和空间注意力模块，提高有用特征信息的权重，降低上采样和下采样的特征融合过程中冗余特征信息的干扰，提高其判别其输入的红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的超分辨率的电力设备红外图像的能力，间接提高生成网络生成更接近真实的高分辨率的电力设备红外图像的能力；

4.根据权利要求1所述的基于深度学习的单幅电力设备红外图像超分辨率重建方法，其特征在于，所述步骤4)构建融合损失函数，包括：

i.对抗损失函数

对抗损失函数包括生成网络对抗损失函数和对抗网络对抗损失函数，其中生成网络的对抗损失函数表示为：

L_{adv_G}＝-log(D(G(I^LR))) (1)

式中，log()表示对数函数，G()和D()分别表示生成网络和对抗网络，I^LR表示低分辨率的电气设备红外图像，通过最小化L_{adv_G}使得由生成网络生成的超分辨率的电气设备红外图像与原始高分辨率的电气设备红外图像接近；

对抗网络的对抗损失函数表示为：

L_{adv_D}＝-log(D(I^HR))-log(1-D(I^SR)) (2)

其中，I^HR和I^SR分别表示原始的高分辨率的电力设备红外图像和生成器生成的超分辨率的电力设备红外图像，通过最小化L_{adv_D}来使得对抗网络正确判断输入的电力设备红外图像是原始的高分辨率的电力设备红外图像还是由生成网络生成的电力设备红外图像；

ii.特征匹配损失函数

特征匹配损失函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在对抗网络中的特征空间之间的差异，通过最小化特征匹配损失函数来稳定生成对抗网络的训练，特征匹配损失函数表示为：

式中，Dⁱ()表示对抗网络的第i层输出，H()表示Huber函数，具体表达式如下：

式中，δ是一个超参数；

iii.学习感知图像块相似度损失函数

学习感知图像块相似度函数用来衡量生成的超分辨率的电力设备红外图像与原始的高分辨率的电力设备红外图像在预先训练的VGG网络中的特征空间之间的差异，通过最小化该损失函数能够约束生成的超分辨率电力设备红外图像中的语义信息，学习感知图像块相似度损失函数表示为：

式中，τⁱ表示将不同特征维度转换成一个尺度，φⁱ()表示一个用于特征提取的VGG网络的第i个卷积模块的输出，k表示VGG网络卷积模块的数量；

iv.像素损失函数

像素损失函数用来衡量原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像像素之间的差异，表示为：

式中，H和W用来表示图像的高和宽，(x,y)表示像素的坐标，

和

分别表示原始高分辨率的电力设备红外图像和生成的超分辨率的电力设备红外图像在图像的坐标(x,y)点的像素值；

融合损失函数表示为：

Loss_D＝-log(D(I^HR))-log(1-D(I^SR)) (8)

式中，λ_adv，λ_FM，λ_lpips和λ_pix分别是生成网络的对抗损失函数，特征匹配损失函数，学习感知图像块相似度损失函数和像素损失函数的比例系数，分别设定λ_adv，λ_FM，λ_lpips和λ_pix等于0.01，1，1，0.01。

Images