CN108537747A - 一种基于带对称跨层连接的卷积神经网络的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于带对称跨层连接的卷积神经网络的图像修复方法，包含如下步骤：训练数据预处理；自动生成模糊训练图像；构建神经网络；训练神经网络；验证修复效果并进行参数调整。本发明能从受损图像基础上，修复出更为清晰的原图像，提升传统图像去噪、图像超分辨率、图像补全等方法的效果。此外，通过在卷积神经网络中加入对称跨层连接，可以更容易优化更深层次的神经网络，提高模型泛化能力，同时保留底层图像细节，得到更好的修复后图像。本发明实现了高效、清晰的图像还原，因此具有较高的实用价值。

Description

一种基于带对称跨层连接的卷积神经网络的图像修复方法

技术领域

本发明涉及图像还原领域，尤其涉及一种基于带对称跨层连接的卷积神经网络(Convolutional Neural Network，CNN)的图像修复方法。

背景技术

随着信息技术的不断飞速发展，各个领域每天都在以惊人的速度产生各种类型的图像数据。在大量的图像数据获取、传播过程中，图像往往会被人为压缩、降低分辨率，或非人为地造成扰动噪声，而如何从受到破坏的图像中尽可能真实地恢复原图像，成为了一个十分重要的问题。随着越来越多的具有拍照功能的移动设备如照相机、手机、平板等的日益普及，以及社交网络的兴起，人们获取图像的方式越来越多，也进一步促使图像数据急剧增长，如何从有损坏的图像中尽可能清晰地还原原图像也成为了十分重要的问题。人们迫切希望计算机能帮助人类，对互联网中海量低质量或有损坏图像进行分析，并充分理解底层图像特征，进而更有效地对其进行修复。

图像修复作为底层图像理解最主要的技术之一，一直受到了学术界和工业界的广泛关注，并且经常作为各种图像相关国际学术会议的重要主题，是跨计算机视觉和图像处理领域一个非常重要的研究课题。图像修复是指根据图像内部结构关联性信息，通过一定的技术手段，从受到外部原因破坏后的损坏图像数据中恢复清晰的图像的问题，其具体问题包括图像去噪声，图像超分辨率，和JPEG压缩图像还原等。图像修复不仅是单一的底层图像恢复问题，也同时作为许多高层图像语义研究的突破口，成为了图像理解任务不可分割的部分。科学研究人员已经渐渐意识到以上问题的重要性并不断深入分析。近几年，基于深度神经网络，特别是深度卷积神经网络的方法广泛应用于许多计算机视觉和模式识别任务，在许多高层图像理解任务，如图像分类，图像分割等问题上取得令人瞩目的效果，但在底层图像分析和修复领域，仍有许多研究点尚未涉及，因此在该领域仍有巨大的突破空间。基于卷积神经网络的图像修复方法的研究，已成为当前相关领域研究的的热点，对积极推进社会信息化起到重要作用。在创造了无可替代的社会价值的同时，该领域仍有许多关键技术问题尚未解决，仍有许多功能实现需要进一步完善，因此，如何利用深度卷积神经网络，更有效地学习修复受损图像，并加深对图像数据的理解，以更灵活地实现计算机视觉的研究，具有深远的意义。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于带跨层连接的卷积神经网络的图像修复方法，通过在海量受损-清晰图像数据中训练卷积神经网络模型，最终提高图像修复的效果。

为了解决上述技术问题，本发明公开了一种基于带跨层连接的卷积神经网络(Convolutional Neural Network，CNN)的图像修复方法，包含如下步骤：

步骤1，图像预处理，采集无损图像数据，对每张图像做随机采样得到无损图像集合Y；

步骤2，生成训练集和验证集：根据要解决的图像修复任务，对无损图像集合Y中的图像进行破坏，得到破坏后的图像集X，在(X,Y)中随机取出90％作为训练集(X_train,Y_train)，另外10％作为验证集(X_val,Y_val)；

步骤3，构建神经网络：根据输入图像大小构建卷积神经网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小为3x3，步长为1，输入为破坏后的图像集X中的图像，输出为网络恢复后图像；

步骤4，使用ADAM优化算法(Kingma,Diederik P.,and Jimmy Ba."Adam:A methodfor stochastic optimization."arXiv preprint arXiv:1412.6980(2014).)，采用步骤2得到的训练集(X_train,Y_train)对所构建神经网络进行训练，以破坏后的图像集X中的图像作为输入，并以无损图像集合Y中对应的无损图像作为网络监督信息，优化图像网络输出和Y中图片的欧式距离；

步骤5，将步骤4得到的训练后网络作为模型，在验证集(X_val,Y_val)上测试模型图像还原效果，并调整ADAM优化算法步长继续训练，直到验证集还原效果不变。

步骤1包括如下步骤：

步骤1-1，采集无损图像数据，对每幅图像进行局部裁剪，采用随机采样的方式，得到若干大小相同的裁剪后图像，裁剪后图像块大小为50*50；

步骤1-2，对每个裁剪后图像块，将其进行归一化和中心化处理；首先计算裁剪后图像数据集合上每个像素的均值和标准差，设这些图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化和中心化如下：

x′为图像x处理后的图像；

步骤1-3，对于所有图像进行步骤1-2的操作，最终得到无损图像集合Y＝[y_1,y_2,…y_n]∈R^(W*H*C)，其中R为实数集，n为所提取的裁剪图像总数，y_n表示无损图像集合Y中第n副图像，W和H分别为裁剪图像的宽度和高度，C为图像通道数，对于黑白图像C＝1，彩色图像C＝3。

步骤2包括：

步骤2-1，对无损图像集合Y中的图像根据修复任务不同进行破坏：

如果是图像去噪任务，对图像的每个像素加高斯噪声，设p_i表示图像集Y中一幅图像I的第i个像素点，i∈[0,W*H*C)，并且设目标噪声等级为ε，第i个像素点噪声为c_i，则c_i服从正态分布：c_i～N(0,ε)，N表示正态分布，最终噪声图像的第i个像素点p′_i＝p_i+_i；

如果是图像超分辨率任务，将图像I缩小k倍，得到缩小后图像I，，为保证输入图像大小与输出相同，将缩小后图像I，再次放大到原图像大小，最终得到同大小低分辨率的图像；

如果是图像补全任务，在图像中随机选出一部分像素点，将其值置为0，其他像素点保持不变，得到需要补全的破坏图像，最终得到受破坏图像集合X；

步骤2-2，划分训练集与验证集，在(X,Y)中随机取出90％的数据作为训练集(X_train,Y_train)，另外10％的数据作为验证集(X_val,Y_val)，X_train表示从破坏后的图像集X中随机选出的90％的数据组成的集合，Y_train表示从无损图像集合Y中随机选出的90％的数据组成的集合，X_val表示破坏后的图像集X中剩下的10％的数据组成的集合，Y_val表示无损图像集合Y中剩下的10％的数据组成的集合；

步骤3具体包括如下步骤：

步骤3-1，设神经网络总深度为D层，D为偶数，其中前D/2层使用卷积层，后D/2层使用反卷积层，对于第i层卷积或反卷积层，其可训练参数为权重向量W_i和偏移向量b_i，卷积核大小为3x3，步长为1，在每层卷积层和反卷积层之后添加ReLU(Rectified Linear Unit)非线性层，网络输入为步骤2中生成的破坏后的图像，输出为网络恢复后图像；

步骤3-2，每隔两层，在卷积层和反卷积层之间加入对称跨层连接：设CO_i表示第i层卷积层输出，DI_i代表第i层反卷积层输入，Do_i代表第i层反卷积层输出，则跨层连接表示为：

DI_D-i+1＝DO_D-i+CO_i

则DI_D+1为网络输出，CO₀为网络输入，第一次跨层连接从输入层开始连接到输出层，网络最终层输入与无损图像集合Y中对应图像计算欧氏距离作为网络的优化目标如下：

其中Xⁱ为训练数据受损图片集X_train中第i张图片，Yⁱ为训练数据清晰图片集Y_train中第i张图片，为神经网络代表的函数，N为训练集图片数量，θ为网络所有可训练参数。

步骤4包括如下步骤：

步骤4-1，利用反向传播算法训练步骤3中所构建的神经网络的参数W_i和b_i，其中优化算法采用ADAM算法，学习率设置为1e-4；

步骤4-2，设网络深度为7层，以步骤3-2中方式添加跨层连接，X₀为输入，X_i为第i层输出。在前向计算时，给定一张破坏后的图像集X中的图像X₀，用函数f_i表示第i层神经网络的映射，得到最后一层神经网络输出X₇为：

X₇＝f₇(X₀，X₆)；

步骤4-3，X₇进一步表示为：

X₇＝f₇(X₀，X₆)

＝f₇(X₀，f₆(X₅))

＝f₇(X₀，f₆(f₅(X₁，X₄)))

＝f₇(X₀，f₆(f₅(X₁，f₄(X₃))))

＝f₇(X₀，f₆(f₅(X₁，f₄(f_k(X₂)))))

其中X₁和X₂分别表示第1个卷积层得到的特征图和第2个卷积层得到的特征图；

步骤4-4，在梯度反向传播时，神经网络中的一层直接从其顶层获得梯度来更新每一层的参数θ_i，具体包括权重W_i和偏置b_i，计算每一层网络对应顶层的偏导数；以该网络第一层为例，为更新第一层参数θ₁需要计算损失函数ζ关于θ₁的偏导数：

步骤4-5，在得到每一层对应顶层的偏导数之后，使用ADAM算法对应的更新规则更新每一层参数，训练在(X_train,Y_train)上进行，以Y_train中清晰图片作为网络监督信息，优化步骤3-2中的欧式距离函数，直到使用了所有训练数据训练20轮之后停止。

步骤5包括如下步骤：

使用验证集(X_val,Y_val)对步骤4中训练的神经网络进行验证，计算神经网络在验证集上的PSNR值，具体如下：

其中I(i,j)为原图像坐标(i,j)位置的像素值，K(i,j)为恢复图像坐标(i,j)位置像素值，m,n分别为图像高度和宽度，MAX_I为最大像素值；对于一般图片MAX_I＝255，MSE(meansquare error)为像素平均距离，用于计算PSNR；。

根据验证集图像还原结果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值的变化降低步骤4中学习率，若PSNR值有降低，将学习率在原值基础上乘以0.2，当三次验证集还原PSNR值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为图像还原网络。

本发明针对图像的修复领域中的深度卷积神经网络方法，本发明具有如下特征：1)本发明在使用深度神经网络进行图像恢复时，加入了跨层连接，使得网络可以更快收敛，同时网络在更深层时保留足够图像细节，使得图像恢复效果更好2)本发明方法不同于以往图像修复方法只针对一类破坏图像类型进行建模，而是可以用同一套算法解决不同的图像修复问题，具有普适性。

有益效果：本发明充分考虑了神经网络的连接方式不易于保留图像细节，在卷积自编码器网络中加入跨层连接，使得底层图像细节更易于在网络中传递，同时易于优化。因此，最终得到的恢复后图像具有清晰的细节，从而提升图像恢复的效果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为网络结构示意图。

图3a为本发明方法图像去噪效果示意图。

图3b为BM3D方法效果示意图。

图3c为EPLL方法效果示意图。

图4a为本发明方法图像超分辨率效果示意图。

图4b为ARFL+方法效果示意图。

图4c为CSC方法效果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了一种基于带跨层连接的卷积神经网络的图像修复方法，包含如下步骤：

步骤1，图像预处理，从大量清晰图像数据中，对每张图像做随机采样得到清晰图像集合Y；

步骤2，生成训练集：根据要解决的图像修复任务，对无损图像集合Y中的图像进行破坏，得到破坏后的图像集X，在(X,Y)中随机取出90％作为训练集(X_train,Y_train)，另外10％作为验证集(X_val,Y_val)；

步骤3，构建神经网络：根据输入图像大小构建卷积神经网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小为3x3，步长为1。输入为步骤2中生成的破坏后的图像，输出为网络恢复后图像；

步骤4，使用ADAM优化算法，采用步骤2得到的训练集(X_train,Y_train)对所构建神经网络进行训练，以破坏后的图像集X中的图像作为输入，并以无损图像集合Y中对应的无损图像作为网络监督信息，优化图像网络输出和Y中图片的欧式距离；

步骤5，将步骤4得到的训练后网络作为模型，在验证集(X_val,Y_val)上测试模型图像还原效果，并调整ADAM优化算法步长继续训练，直到验证集还原效果不变。

步骤1具体包括如下步骤：

对每幅图像I进行局部采样，采用随机采样的方式，得到若干大小相同的区域块。其中区域块数量取决于原始图像数量，和模型大小。对每个区域块进行裁剪，得到裁剪后图像块，将其进行归一化和中心化处理。对于所有图像进行此操作，最终得到无损图像集合Y＝[y₁,y₂,…y_n]∈R^W*H*c，其中n为所提取的裁剪图像总数，W和H分别为裁剪图像的宽度和高度，C为图像通道数，对于黑白图像C＝1，彩色图像C＝3。

步骤2具体包括如下步骤：

以集合Y为输入，对Y中图像块根据修复任务不同进行破坏，产生训练数据集合X。对每幅Y中图像块，针对每种任务分别说明：

图像去噪：对图像的每个像素加高斯噪声，设p_i表示Y中一幅图像I的第i个像素点，i∈[0,W*H*C)，并且设目标噪声等级为ε，i∈[0,W*H*C)，并且设目标噪声等级为ε，第i个像素点噪声为c_i，则c_i服从正态分布：c_i～N(0,ε)，最终噪声图像的第i个像素点p′_i＝p_i+c_i。

图像超分辨率：将图像I缩小k倍，得到缩小后图像I，，为保证输入图像大小与输出相同，将缩小后图像I，再次使用线性插值算法放大，最终得到同大小低分辨率的图像。

图像补全：在图像中随机选出一部分像素点，置0的像素点为随机选取10个相邻的8*8区域，将其值置为0，其他像素点保持不变，得到需要补全的破坏图像。

步骤3具体包括如下步骤：

本步骤描述对模型神经网络的构建过程，设网络总深度为D层，D为偶数，其中前D/2层使用卷积层，后D/2层使用反卷积层，卷积核大小为3x3，步长为1。在每层卷积层和反卷积层之后添加ReLU(Rectified Linear Unit)非线性层。网络输入为步骤2中生成的破坏后的图像，输出为网络恢复后图像；每隔两层，在卷积层和反卷积层之间加入对称跨层连接。具体地，设CO_i表示第i层卷积层输出，DI_i代表第i层反卷积层输入，DO_i代表第i层反卷积层输出，则跨层连接可表示为：

DI_D-i+1＝DO_D-i+CO_i

特别的，DI_D+1为网络输出，CO₀为网络输入，即第一次跨层连接从输入层开始连接到输出层。网络最终层输入与原图像数据集Y中对应图像计算欧氏距离作为损失函数。网络结构如图2所示。

步骤4具体包括如下步骤：

本步骤使用数据，利用反向传播算法训练步骤3中所构建网络的参数，其中优化算法采用ADAM算法，学习率设置为1e-4。设网络为如图2所示结构，以步骤3中描述方式添加跨层连接，X₀为输入，X_i为第i层输出。在前向计算时，给定一张破坏后的图像集X中的图像X₀，用函数f_i表示第i层神经网络的映射，，得到最后一层神经网络输出X₇为：

X₇＝f₇(X₀，X₆)

X₇可以进一步表示为：

X₇＝f₇(X₀，X₆)

＝f₇(-X₀，f₆(X5))

＝f₇(X₀，f₆(f₅(X₁，X₄)))

＝f₇(X₀，f₆(f₅(X₁，f₄(X₃))))

＝f₇(X₀，f₆(f₅(X₁，f₄(f_k(X₂)))))

其中X₁和X₂表示第1、2个卷积层得到的特征图。

在梯度反向传播时，网络中的一层直接从其顶层获得梯度来更新每一层的参数θ_i，具体包括权重W_i和偏置b_i，以该网络第一层为例，为更新第一层参数θ₁需要计算损失函数ζ关于θ₁的偏导数：

在得到每一层对应顶层的偏导数之后，使用ADAM算法对应的更新规则更新每一层参数，训练在(X_train,Y_train)上进行，以Y_train中清晰图片作为网络监督信息，直到使用了所有训练数据训练20轮之后停止。

步骤5具体包括如下步骤：

本步骤使用验证集(X_val,Y_val)对步骤4中训练的神经网络进行验证，根据验证集图像还原结果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值的变化降低步骤4中学习率，若PSNR值有降低，将学习率在原值基础上乘以0.2，当三次验证集还原PSNR值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为图像还原网络。

实施例1

本实施例描述图像去噪，包括以下部分：

1、首先在BSD自然图像数据集上，随机截取50*50的图像块共500,000张，在图像上附加均值为0，标准差分别为σ的高斯噪声(σ取10、30、50、70分别进行四次实验)。对于加噪声后的图像和不加噪声的图像分别进行归一化。由此得到大小为50万的数据集，其中使用45万图像块为训练集，5万为验证集。

2、构建30层的带跨层连接的卷积神经网络，使用ADAM算法在构建的数据集上进行训练，学习率统一设置为1e-4，每训练一轮使用验证集验证参数预训练效果，最终得到收敛后的网络。

3、在BSD200测试集原图像上进行测试，测试结果PSNR值如下表1所示：

表1

RED10、RED20和RED30分别为本方法采用10层、20层和30层网络结果，左边6列为对照方法结果，可以看到本方法在图像去噪任务中比原有方法可以得到更高PSNR结果，即更清晰的图像还原效果，且随着网络深度的增加，本方法的去噪效果随之增加。图3a～图3c展示图像去噪效果示例，图3a为本方法效果，图3b和图3c分别为BM3D和EPLL方法效果，可以看到本方法还原图像相比其他方法有更高的图像细节。

实施例2

本实施例描述图像超分辨率，包括以下部分：

1、首先在BSD自然图像数据集上，随机截取50*50的图像块共500,000张，对于每张图像块，使用线性插值算法进行s倍缩小(s取2、3和4进行三次实验)，在缩小后的图像基础上，在进行s倍放大得到与原图像大小相同，但清晰度低的低分辨率图像。将低分辨率图像和原图像组合，得到大小为50万的数据集，其中使用45万图像块为训练集，5万为验证集。

2、构建20层的带跨层连接的卷积神经网络，使用ADAM算法在构建的数据集上进行训练，学习率统一设置为1e-4，每训练一轮使用验证集验证参数预训练效果，最终得到收敛后的网络。

3、在BSD200测试集原图像上进行测试，并报告测试结果PSNR如下表2：

表2

RED10、RED20和RED30分别为本方法采用10层、20层和30层网络结果，左边6列为对照方法结果，可以看到本方法在图像超分辨率任务中比传统方法可以得到更高PSNR结果，即更清晰的图像还原效果，且随着网络深度的增加，本方法的超分辨率效果随之增加。图4a～图4c展示了图像超分辨率效果示例，图4a为本方法效果，图4b和图4c分别为ARFL+和CSC方法效果，可以看到本方法还原图像相比其他方法有更好的图像细节。

本发明提供了一种基于带对称跨层连接的卷积神经网络的图像修复方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于带对称跨层连接的卷积神经网络的图像修复方法，其特征在于，包括如下步骤：

步骤1，图像预处理，采集无损图像数据，对每张图像做随机采样得到无损图像集合Y；

步骤2，生成训练集和验证集：根据要解决的图像修复任务，对无损图像集合Y中的图像进行破坏，得到破坏后的图像集X，在(X,Y)中随机取出90％的数据作为训练集(X_train,Y_train)，另外10％的数据作为验证集(X_val,Y_val)；

步骤3，构建神经网络：根据输入图像大小构建卷积神经网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小为3x3，步长为1，输出为网络恢复后图像；

步骤4，训练神经网络：使用ADAM优化算法，采用步骤2得到的训练集(X_train,Y_train)对所构建神经网络进行训练，以破坏后的图像集X中的图像作为输入，并以无损图像集合Y中对应的无损图像作为网络监督信息，优化图像网络输出和Y中图片的欧式距离；

步骤5，将步骤4得到的训练后网络作为模型，在验证集(X_val,Y_val)上测试模型图像还原效果，并调整ADAM优化算法步长继续训练，直到验证集还原效果不变。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，采集无损图像数据，对每幅图像进行局部裁剪，采用随机采样的方式，得到大小相同的裁剪后图像，裁剪后图像块大小为50*50；

步骤1-2，对每个裁剪后图像块，将其进行归一化和中心化处理；首先计算裁剪后图像数据集合上每个像素的均值和标准差，设这些图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化和中心化如下：

x′为图像x处理后的图像；

步骤1-3，对于所有图像进行步骤1-2的操作，最终得到无损图像集合Y＝[y_1,y_2,…y_n]∈R^(W*H*C)，其中R为实数集，n为所提取的裁剪图像总数，y_n表示无损图像集合Y中第n副图像，W和H分别为裁剪图像的宽度和高度，C为图像通道数，对于黑白图像C＝1，彩色图像C＝3。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：

步骤2-1，对无损图像集合Y中的图像根据修复任务不同进行破坏：

如果是图像去噪任务，对图像的每个像素加高斯噪声，设p_i表示图像集Y中一幅图像I的第i个像素点，i∈[0,W*H*C)，并且设目标噪声等级为ε，第i个像素点噪声为c_i，则c_i服从正态分布：c_i～N(0,ε)，N表示正态分布，最终噪声图像的第i个像素点p′_i＝p_i+_i；

如果是图像超分辨率任务，将图像I缩小k倍，得到缩小后图像I’，为保证输入图像大小与输出相同，将缩小后图像I’再次放大到原图像大小，最终得到同大小低分辨率的图像；

如果是图像补全任务，在图像中随机选出一部分像素点，将其值置为0，其他像素点保持不变，得到需要补全的破坏图像，最终得到受破坏图像集合X；

步骤2-2，划分训练集与验证集，在(X,Y)中随机取出90％的数据作为训练集(X_train,Y_train)，另外10％的数据作为验证集(X_val,Y_val)，X_train表示从破坏后的图像集X中随机选出的90％的数据组成的集合，Y_train表示从无损图像集合Y中随机选出的90％的数据组成的集合，X_val表示破坏后的图像集X中剩下的10％的数据组成的集合，Y_val表示无损图像集合Y中剩下的10％的数据组成的集合。

4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：

步骤3-1，设神经网络总深度为D层，D为偶数，其中前D/2层使用卷积层，后D/2层使用反卷积层，对于第i层卷积或反卷积层，其可训练参数为权重向量W_i和偏移向量b_i，卷积核大小为3x3，步长为1，在每层卷积层和反卷积层之后添加ReLU非线性层，网络输入为步骤2中生成的破坏后的图像，输出为网络恢复后图像；

步骤3-2，每隔两层，在卷积层和反卷积层之间加入对称跨层连接：设CO_i表示第i层卷积层输出，DI_i代表第i层反卷积层输入，DO_i代表第i层反卷积层输出，则跨层连接表示为：

DI_D-i+1＝DO_D-i+CO_i

则DI_D+1为网络输出，CO₀为网络输入，第一次跨层连接从输入层开始连接到输出层，网络最终层输入与无损图像集合Y中对应图像计算欧氏距离作为网络的优化目标如下：

其中Xⁱ为训练数据受损图片集X_train中第i张图片，Yⁱ为训练数据清晰图片集Y_train中第i张图片，为神经网络代表的函数，N为训练集图片数量，θ为网络所有可训练参数。

5.根据权利要求4所述的方法，其特征在于，步骤4包括如下步骤：

步骤4-1，利用反向传播训练步骤3中所构建的神经网络的参数W_i和b_i，其中优化算法采用ADAM算法，学习率设置为1e-4；

步骤4-2，设网络深度为7层，以步骤3-2中方式添加跨层连接，X₀为输入，X_i为第i层输出，在前向计算时，给定一张破坏后的图像集X中的图像X₀，用函数f_i表示第i层神经网络的映射，得到最后一层神经网络输出X₇为：

X₇＝f₇(X₀，X₆)；

步骤4-3，X₇进一步表示为：

X₇＝f₇(X₀，X₆)

＝f₇(X₀，f₆(X₅))

＝f₇(X₀，f₆(f₅(X₁，X₄)))

＝f₇(X_0，f₆(f₅(X₁，f₄(X₃))))

＝f₇(X₀，f₆(f₅(X₁，f₄(f_k(X₂)))))

其中X₁和X₂分别表示第1个卷积层得到的特征图和第2个卷积层得到的特征图；

步骤4-4，在梯度反向传播时，神经网络中的一层直接从其顶层获得梯度来更新每一层的参数θ_i，具体包括权重W_i和偏置b_i，计算每一层网络对应顶层的偏导数；

步骤4-5，在得到每一层对应顶层的偏导数之后，使用ADAM算法对应的更新规则更新每一层参数，训练在(X_train,Y_train)上进行，以Y_train中清晰图片作为网络监督信息，优化步骤3-2中的欧式距离函数，直到使用了所有训练数据训练20轮之后停止。

6.根据权利要求5所述方法，其特征在于，步骤5包括如下步骤：

使用验证集(X_val,Y_val)对步骤4中训练的神经网络进行验证，计算神经网络在验证集上的PSNR值，具体如下：

其中I(i,j)为原图像坐标(i,j)位置的像素值，K(i,j)为恢复图像坐标(i,j)位置像素值，m,n分别为图像高度和宽度，MAX_I为最大像素值，MSE为像素平均距离，用于计算PSNR；

根据验证集图像还原结果的PSNR值的变化降低步骤4中学习率，若PSNR值有变化，将学习率在原值基础上乘以0.2，当三次验证集还原PSNR值不变时，判定神经网络收敛，停止训练过程，使用训练好的神经网络作为图像还原网络。