CN111598778A - 一种绝缘子图像超分辨率重建方法 - Google Patents

Abstract

本申请提供了一种绝缘子图像超分辨率重建方法，所述方法包括利用标准数据集中的图像构造训练数据集；基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；将低分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。本申请所用的局部注意力机制有效改善了现有的低分辨率图像超分辨率重建的过程中边缘、纹理细节的重构问题，预先融合的多尺度密集参差网络能够充分利用各种感受野分辨低分率图像的特征信息。

Description

一种绝缘子图像超分辨率重建方法

技术领域

本申请涉及数字图像处理技术领域，尤其涉及一种绝缘子图像超分辨率重建方法。

背景技术

在绝缘子拍摄过程中，由于大部分电力设备如绝缘子等都位于高塔上或离地面很远的地方，因此用固定设备拍摄时不得不采用远距离拍摄方法。在远距离拍摄过程中，由于现有技术中的拍摄设备的变焦距离都很短，因此很难拍摄出清晰的图像。虽然使用无人机拍摄可以解决拍摄的距离问题，但是在无人机的飞行过程中可能会受到天气气候、风、无人机自身稳定性等的影响，即无人机处于动态拍摄状态，拍摄出的图像可能无法顺利聚焦，或由于其他原因导致拍摄图像模糊，分辨率低下。

当前传统的残差密集网络大多数都是在浅层用单卷积核进行特征提取，用跳转连接生成残差，使用特征融合和上采样方式生成第一分辨率图像，故无法在多尺度下进行特征提取，提取到的特征信息量过少，生成的第一分辨率的绝缘子图像的特征信息不够多。

发明内容

本申请提供了一种绝缘子图像超分辨率重建方法，以解决在绝缘子拍摄过程中由于各种原因导致拍摄出的图像模糊或分辨率低下的问题。

本申请提供一种绝缘子图像超分辨率重建方法，包括：

利用标准数据集中的图像构造训练数据集，将标准数据集中的第一分辨率的图像裁剪成预设大小的标签图像，通过下采样方法将标签图像下采样到预设大小的第二分辨率图像构建训练数据集；所述第二分辨率小于所述第一分辨率；

基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；

将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；

将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；

利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。

可选的，利用标准数据集中的图像构造训练数据集的步骤，包括：

所述标签图像的预设大小为256*256，所述第二分辨率图像的预设大小为64*64。

可选的，基于预特征融合与局部注意力机制构建多尺度密集残差训练网络的步骤，包括：

采用基于步长与池化核相等的池化方法实现局部注意力机制，预先对多尺度密集残差网络生成的特征图进行特征融合，在所述预特征融合方法中加入局部注意力机制构建多尺度密集残差网络。

可选的，所述方法还包括：

所述实现局部注意力机制的具体过程为：

利用平均池化方法提取输入的训练数据集中图像的平均信息，通过插值法上采样出与输入图像的特征图等大的平均信息图，将平均信息图与特征图作差，与特征图逐元素相乘，经过relu激活函数，将相减后小于0的部分归0，大于0的部分设置为梯度，公式如下：

其中,T_D表示进行注意力机制增强后的特征图，T_d表示输入的特征图，T_DR为特征图与平均信息图之间的差值图，

为逐元素相乘，relu为激活函数。

可选的，将将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练的步骤，包括：

所述训练数据集预先融合有多尺度密集残差块，通过注意力机制增强所述训练数据集的纹理细节质量，经上采样生成第一分辨率图像，与所述标签图像进行损失计算，当损失逐渐降低且趋于平缓时，网络训练完成。

可选的，将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像的步骤，包括：

将第二分辨率的绝缘子图像输入到所述多尺度密集残差训练网络中，由浅特征层提取层提取所述第二分辨率的绝缘子图像的浅层特征，经过所述预先融合型的多尺度密集残差网络进行深层的多感受野的全局信息与局部信息的提取，特征融合后利用所述局部注意力机制增强输入的第二分辨率的绝缘子图像的纹理细节，经上采样生成超分辨率重建图像。

可选的，所述方法还包括：

所述预先融合型的多尺度密集残差网络为残差密集网络改进而来的网络结构，所述预先融合型的多尺度密集残差网络的公式如下：

x＝sconv(concat(x₀，x₁，x₂))；

其中,x为融合的输出，sconv为same卷积，concat为拼接操作，x₀，x₁，x₂为输入进来的三组特征图；

对融合的多层特征图进行多尺度的特征信息提取，利用空洞卷积在不添加参数的情况下增大感受野的大小，增强超分辨率重建的SR图像的效果，用一个1*1的卷积层特征融合，经亚像素卷积上采样到指定大小，经过一个卷积层卷积成R、G、B三通道的彩色图像即超分图像，公式如下：

output＝sconv(concat(ouput1,output2,output3,output4,output5,output6,output7,output8),1)。

可选的，利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量的步骤，包括：

选取测试用的第一分辨率的绝缘子图像下采样生成测试用的第二分辨率的绝缘子图像，将所述测试用的第二分辨率的绝缘子图像输入多尺度密集残差训练网络中生成测试用的超分辨率重建绝缘子图像，使用结构相似度和峰值信噪比两个客观评价指标来对比测试用的第一分辨率的绝缘子图像与测试用的超分辨率重建绝缘子图像，测试生成的绝缘子图像的质量。

可选的，还包括：

使用MSE损失和感知损失来约束网络性能，MSE损失公式如下：

其中，i，j，k为像素点的位置；

该损失在总体上约束生成的SR图像与标签图像的整体一致性；

另外还使用感知损失，即：

其中，d_x，d_y为横向与纵向的梯度值，I_w,I_h为横向与纵向的坐标的灰度值。

由以上技术方案可知，本申请提供了一种绝缘子图像超分辨率重建方法，所述方法包括利用标准数据集中的图像构造训练数据集；基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；将低分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。本申请所用的局部注意力机制有效改善了现有的低分辨率图像超分辨率重建的过程中边缘、纹理细节的重构问题，预先融合的多尺度密集参差网络能够充分利用各种感受野分辨低分率图像的特征信息。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种绝缘子图像超分辨率重建方法的步骤示意图；

图2为本申请一种绝缘子图像超分辨率重建方法中局部注意力机制的步骤示意图；

图3为本申请一种绝缘子图像超分辨率重建方法中卷积成R、G、B三通道的彩色图像的步骤示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

本申请的具体实施背景为供电局，供电局需要负责变电管理、修试、线路工、检修、带电作业、继保等工作，将动力带至各个城市度中的每个角落，维持城市的运转，而大型输电网络就像人体一样，缺少了任何一部分都无法正常运转，因此对输电网络的每一部分都应进行彻底的检修，其中绝缘子的检修过程中常常因为拍摄距离过远而导致拍摄图像模糊，分辨率低下，本申请基于此提出了一种绝缘子图像超分辨率重建方法，将模糊的绝缘子图像重建为超分辨率的绝缘子图像，从而使得供电局可以对绝缘子进行更完善的检修。

参见图1，为本申请一种绝缘子图像超分辨率重建方法的步骤示意图。由图1可知，本申请提供的一种绝缘子图像超分辨率重建方法，包括：

利用标准数据集中的图像构造训练数据集，将标准数据集中的第一分辨率的图像裁剪成预设大小的标签图像，通过下采样方法将标签图像下采样到预设大小的第二分辨率图像构建训练数据集，所述第二分辨率小于所述第一分辨率；

基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；

将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；

将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；

利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。

其中，利用标准数据集中的图像构造训练数据集的步骤，包括：

所述标签图像的预设大小为256*256，所述第二分辨率图像的预设大小为64*64，通过这种方式制作的数据集保证了高分辨的标签图像具有很好地纹理细节和清晰度。

在实际应用中，所述标准数据集指的是DIV2K数据集，所述标准数据集中的图像指的是DIV2K数据集中的2k分辨率的图像。首先将2K分辨率的图像裁剪成256*256的3通道的高分辨率图像，一共裁剪1000张该分辨率的图像，然后利用双三次插值法将图像下采样到64*64的3通道的低分辨率图片，这样就形成了一个有1000对图像的数据集，以这个数据集作为训练网络使用的训练数据集。

其中，基于预特征融合与局部注意力机制构建多尺度密集残差训练网络的步骤，包括：

采用基于步长与池化核相等的池化方法实现局部注意力机制，预先对多尺度密集残差网络生成的特征图进行特征融合，在所述预特征融合方法中加入局部注意力机制构建多尺度密集残差网络。

其中，将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练的步骤，包括：

所述训练数据集预先融合有多尺度密集残差块，通过注意力机制增强所述训练数据集的纹理细节质量，经上采样生成第一分辨率图像，与所述标签图像进行损失计算，当损失逐渐降低且趋于平缓时，网络训练完成。

在实际应用中，所述训练步骤为：将64*64*3的低分辨率图片输入到网络中，经过一个same卷积与relu激活函数进行浅特征提取，公式为：

x＝relu(sconv(input))；

其中,input为输入的64*64*3的低分辨率图片，低分辨率图片经过预处理后使其维度变为3*64*64的tensor类型便于网络识别，x为输出的64*64*64的特征图，sconv为same卷积，relu为激活函数。

将得到的64通道的64*64的特征图按密集连接的方式输入到后面各层，保证第一层特征提取块输入为浅层特征提取块提取出的64张特征图，第二层输入为浅层特征提取块提取的64张特征图与第一层特征提取块的输出的64张特征图，第三层为浅层特征提取块提取的64张特征图与第一层特征提区块输出的64张特征图以及第二层特征提取块输出的64张特征图，依次叠加；假设当前为第三层特征提取块，则融合操作为：将输入的64,64,64三组特征图拼接为大小不变且通道数为192的特征图，经过一个1*1的same卷积进行降维和进一步的特征提取，提取公式为：

x＝sconv(concat(x₀，x₁，x₂))；

其中,x₀，x₁，x₂分代表浅特征层提取的特征图、第一层特征提取块输出的特征图、第二层特征提取块输出的特征图。其中sconv为一个卷积核为1*1的same卷积，通过该卷积进行降维输出，生成64通道的特征图，concat为拼接操作。

其中，将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像的步骤，包括：

将第二分辨率的绝缘子图像输入到所述多尺度密集残差训练网络中，由浅特征层提取层提取所述第二分辨率的绝缘子图像的浅层特征，经过所述预先融合型的多尺度密集残差网络进行深层的多感受野的全局信息与局部信息的提取，特征融合后利用所述局部注意力机制增强输入的第二分辨率的绝缘子图像的纹理细节，经上采样生成超分辨率重建图像。

在实际应用中，所述输入步骤为：首先将64通道的特征图同时并行的输入到卷积核为1,1,3,3的same卷积和卷积核为3、空洞率为2，3，4，5的空洞same卷积中，此处64通道的特征图经过卷积核为1,1,3,3的same卷积生成大小与输入特征图相同的四组特征图；其中卷积核为1生成的特征图相对于卷积核为3生成的特征图来说更注重局部信息，而卷积核为3生成的特征图更注重全局信息。同样卷积核下，生成的特征图由于卷积核权重不同可以提取出相同感受野下的不同特征信息，在空洞卷积下卷积核有效信息相同而随着空洞率不同，可在不添加卷积核权重的情况下增大卷积核的感受野，具体表示如下：

output1＝relu(sconv(x,k＝1))+x；

output2＝relu(sconv(x,k＝3))+x；

output3＝relu(sconv(x,k＝1))+x；

output4＝relu(sconv(x,k＝3))+x；

output5＝relu(sconv(x,k＝1,d＝2))+x；

output6＝relu(sconv(x,k＝3,d＝3))+x；

output7＝relu(sconv(x,k＝3,d＝4))+x；

output8＝relu(sconv(x,k＝3,d＝5))+x；

其中,x为输入的64通道的特征图，(output1，output2，output3,output4,output5,output6,output7,output8)为输出的提取到不同感受野内特征的64通道的特征图，d为空洞率。其中空洞卷积的感受野计算公式为：

F＝(k-1)*(d-1)+K；

其中F为感受野范围，k为卷积核，d为感受野。

在输出众多output后经过一个特征融合区域，将输出的8组64通道的特征图进行拼接，得到一个有512张特征图的特征图组，再用一个1*1的卷积对这个特征图组进行降维和进一步的特征提取，生成64张特征图公式为：

output＝sconv(concat(ouput1,output2,output3,output4,output5,output6,output7,output8),1)

将生成的多尺度提取出的特征融合后的特征图输入到局部注意力机制内，首先经过一个池化核k＝3，步长s＝＝3的局部平均池化，根据公式：

其中F为核大小，stride为步长，当尺寸无法整除时卷积向下取整，池化向上取整，因此经过平均池化后得到22*22*64的平均信息图。设置的k＝s，因此平均信息图中每一个点都代表了64*64*64中的大小为3*3的感受野的平均信息，且所有的感受野内都不包含相同的平均信息。

进一步地将平均信息图插值回与输入特征图相同的大小，即64*64*64。将特征图与平均信息图做差，用relu进行激活，提取出的高频部分用来增强原特征图的高频信息，使图像更加清晰，纹理更加明显，公式为：

其中T_DR为差值。经过注意力机制增强低分辨率图像的纹理后，将其作为输出的总网络中形成残差密集网络，在最后经过亚像素层卷积上采样到指定大小后，经过卷积层卷积出三通道的R、G、B彩色图像。

其中，利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量的步骤，包括：

选取测试用的第一分辨率的绝缘子图像下采样生成测试用的第二分辨率的绝缘子图像，将所述测试用的第二分辨率的绝缘子图像输入多尺度密集残差训练网络中生成测试用的超分辨率重建绝缘子图像，使用结构相似度和峰值信噪比两个客观评价指标来对比测试用的第一分辨率的绝缘子图像与测试用的超分辨率重建绝缘子图像，测试生成的绝缘子图像的质量。

在实际应用中，峰值信噪比的计算方式如下：

其中,MAX表示图像点颜色的最大值，如果每个采样点用8位表示，MAX就是255。MSE表示标准图像与处理图像之间的均方误差。若两个M×N的单色图像I和K，其均方差定义为：

PSNR的单位是dB，PSNR越大表示图像失真越小。

结构相似性的计算方式如下：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ；

其中,μ_x,μ_y代表图像x,y的均值，σ_x,σ_y表示图像x,y的标准差，

分别表示图像x,y的方差，σ_xy表示图像x,y的协方差，c₁,c₂,c₃表示常数。

其中，还包括：

使用MSE损失和感知损失来约束网络性能，MSE损失公式如下：

其中i,j,k为像素点的位置，该损失在总体上约束生成的SR图像与标签图像的整体一致性；

另外还使用感知损失，即：

其中,d_x,d_y为横向与纵向的梯度值，I_w,I_h为横向与纵向的坐标的灰度值。

参见图2，为本申请一种绝缘子图像超分辨率重建方法局部注意力机制的步骤示意图。由图2可知，本申请提供的一种绝缘子图像超分辨率重建方法中的实现局部注意力机制的具体过程，包括：

其原理为近些年提出的思想：通过增强低分辨率图片的纹理细节，有助于增强生成的高分辨率重建图像的纹理细节；

其细节为：利用平均池化提取输入的低分辨率图片的平均信息，此处设置池化块的步长为池化核的大小；通过插值法上采样出与输入特征图等大的平均信息图；利用平均信息图与特征图作差后，同特征图进行逐元素相乘，经过relu激活函数得到梯度，公式如下：

其中T_D表示进行注意力机制增强后的特征图，T_d表示输入的特征图，T_DR为特征图与平均信息图之间的差值图，

为逐元素相乘，relu为激活函数；图像模糊主要是因为图像的边界不清晰，而增大边界的梯度可以有效地增强图像的清晰度，通过用特征图加上作减相乘和relu后得到的梯度图可以有效地增强图像的清晰度，也可以说使网络将注意力集中在了纹理细节上。

参见图3，为本申请一种绝缘子图像超分辨率重建方法卷积成R、G、B三通道的彩色图像的步骤示意图。由图3可知，本申请提供的一种绝缘子图像超分辨率重建方法中的卷积成R、G、B三通道的彩色图像的具体过程，包括：

所述预先融合型的多尺度密集残差网络为残差密集网络改进而来的网络结构，所述预先融合型的多尺度密集残差网络的公式如下：

x＝sconv(concat(x₀，x₁，x₂))；

其中,x为融合的输出，sconv为same卷积，concat为拼接操作，x₀，x₁，x₂为输入进来的三组特征图；

对融合的多层特征图进行多尺度的特征信息提取，利用空洞卷积在不添加参数的情况下增大感受野的大小，增强超分辨率重建的SR图像的效果，公式如下：

output1＝relu(sconv(x,k＝1))+x；

output2＝relu(sconv(x,k＝3))+x；

output3＝relu(sconv(x,k＝1))+x；

output4＝relu(sconv(x,k＝3))+x；

output5＝relu(sconv(x,k＝1,d＝2))+x；

output6＝relu(sconv(x,k＝3,d＝3))+x；

output7＝relu(sconv(x,k＝3,d＝4))+x；

output8＝relu(sconv(x,k＝3,d＝5))+x；

其中,output为各尺度的输出值，relu为激活函数，sconv为same卷积，x为输入到各尺度的值，k为卷积核大小，d为空洞卷积的空洞率。

用一个1*1的卷积层特征融合，经亚像素卷积上采样到指定大小，经过一个卷积层卷积成R、G、B三通道的彩色图像即超分图像，公式如下：

output＝sconv(concat(ouput1,output2,output3,output4,output5,output6,output7,output8),1)。

由以上技术方案可知，本申请提供一种绝缘子图像超分辨率重建方法，所述方法包括利用标准数据集中的图像构造训练数据集；基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；将低分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。本申请所用的局部注意力机制有效改善了现有的低分辨率图像超分辨率重建的过程中边缘、纹理细节的重构问题，预先融合的多尺度密集参差网络能够充分利用各种感受野分辨低分率图像的特征信息。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (9)

1.一种绝缘子图像超分辨率重建方法，其特征在于，包括：

利用标准数据集中的图像构造训练数据集，将标准数据集中的第一分辨率的图像裁剪成预设大小的标签图像，通过下采样方法将标签图像下采样到预设大小的第二分辨率图像构建训练数据集；所述第二分辨率小于所述第一分辨率；

基于预特征融合与局部注意力机制构建多尺度密集残差训练网络；

将构造好的所述训练数据集输入所述多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练；

将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像；

利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量。

2.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，利用标准数据集中的图像构造训练数据集的步骤，包括：

所述标签图像的预设大小为256*256，所述第二分辨率图像的预设大小为64*64。

3.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，基于预特征融合与局部注意力机制构建多尺度密集残差训练网络的步骤，包括：

采用基于步长与池化核相等的池化方法实现局部注意力机制，

预先对多尺度密集残差网络生成的特征图进行特征融合，在所述预特征融合方法中加入局部注意力机制构建多尺度密集残差网络。

4.根据权利要求3所述的一种绝缘子图像超分辨率重建方法，其特征在于，所述方法还包括：

所述实现局部注意力机制的具体过程为：

利用平均池化方法提取输入的训练数据集中图像的平均信息，

通过插值法上采样出与输入图像的特征图等大的平均信息图，

将平均信息图与特征图作差，与特征图逐元素相乘，

经过relu激活函数，将相减后小于0的部分归0，大于0的部分设置为梯度，公式如下：

其中,T_D表示进行注意力机制增强后的特征图，T_d表示输入的特征图，T_DR为特征图与平均信息图之间的差值图，

为逐元素相乘，relu为激活函数。

5.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，将构造好的训练数据集输入多尺度密集残差训练网络，对所述多尺度密集残差训练网络进行训练的步骤，包括：

所述训练数据集预先融合有多尺度密集残差块，通过注意力机制增强所述训练数据集的纹理细节质量，

经上采样生成第一分辨率图像，与所述标签图像进行损失计算，

当损失逐渐降低且趋于平缓时，网络训练完成。

6.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，将第二分辨率的绝缘子图像输入训练后的所述多尺度密集残差训练网络中，生成超分辨率重建图像的步骤，包括：

将第二分辨率的绝缘子图像输入到所述多尺度密集残差训练网络中，由浅特征层提取层提取所述第二分辨率的绝缘子图像的浅层特征，

经过所述预先融合型的多尺度密集残差网络进行深层的多感受野的全局信息与局部信息的提取，

特征融合后利用所述局部注意力机制增强输入的第二分辨率的绝缘子图像的纹理细节，经上采样生成超分辨率重建图像。

7.根据权利要求6所述的一种绝缘子图像超分辨率重建方法，其特征在于，所述方法还包括：

所述预先融合型的多尺度密集残差网络为残差密集网络改进而来的网络结构，所述预先融合型的多尺度密集残差网络的公式如下：

x＝sconv(concat(x₀,x₁,x₂))；

其中x为融合的输出，sconv为same卷积，concat为拼接操作，x₀，x₁，x₂为输入进来的三组特征图；

对融合的多层特征图进行多尺度的特征信息提取，

利用空洞卷积在不添加参数的情况下增大感受野的大小，增强超分辨率重建的SR图像的效果，

用一个1*1的卷积层特征融合，经亚像素卷积上采样到指定大小，

经过一个卷积层卷积成R、G、B三通道的彩色图像即超分图像，公式如下：

output＝sconv(concat(ouput1,output2,output3,output4,output5,output6,output7,output8),1)。

8.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，利用峰值信噪比和结构相似性评估超分辨率重建绝缘子图像的质量的步骤，包括：

选取测试用的第一分辨率的绝缘子图像下采样生成测试用的第二分辨率的绝缘子图像，

将所述测试用的第二分辨率的绝缘子图像输入多尺度密集残差训练网络中生成测试用的超分辨率重建绝缘子图像，

使用结构相似度和峰值信噪比两个客观评价指标来对比测试用的第一分辨率的绝缘子图像与测试用的超分辨率重建绝缘子图像，测试生成的绝缘子图像的质量。

9.根据权利要求1所述的一种绝缘子图像超分辨率重建方法，其特征在于，还包括：

使用MSE损失和感知损失来约束网络性能，MSE损失公式如下：

其中，i,j,k为像素点的位置；

该损失在总体上约束生成的SR图像与标签图像的整体一致性；

另外还使用感知损失，即：

其中，d_x,d_y为横向与纵向的梯度值，I_w,I_h为横向与纵向的坐标的灰度值。

Images