CN112581397A

CN112581397A - 一种基于图像先验信息的退化图像修复方法及其应用

Info

Publication number: CN112581397A
Application number: CN202011521308.2A
Authority: CN
Inventors: 韩宇星; 王俊舒
Original assignee: South China Agricultural University
Current assignee: South China Agricultural University
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2021-03-30
Anticipated expiration: 2040-12-21
Also published as: CN112581397B

Abstract

本发明公开了一种基于图像先验信息的退化图像修复方法及其应用，该方法步骤包括：采用退化图像加高斯噪声的组合作为神经网络图像生成器的输入；采用MSE损失函数计算生成图像与退化图像之间的损失，迭代训练参数化神经网络；获取图像的底层语义信息作为先验信息，在训练中加入权重衰减策略；在每一次迭代中，在神经网络图像生成器的输入中加入高斯噪声，同时在网络参数中加入高斯噪声，当达到第一迭代训练次数时，采用自适应加权输出策略；当达到第二迭代训练次数时打断迭代，并用此时的参数化卷积神经网络生成器生成修复后的图像。本发明只需使用破损图像本身即可完成先验特征的提取及图像修复，在大面积缺失修复中达到了很好的修复效果。

Description

一种基于图像先验信息的退化图像修复方法及其应用

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于图像先验信息的退化图像修复方法及其应用。

背景技术

图像复原重建技术在具体应用方面可以分为图像超分辨率重建、图像修复、图像去噪等，在图像重建属于典型反向求解问题，既问题的解并不惟一，如果想要尽可能的使解接近正确答案，则需要在求解过程中添加必要的限制条件，在图像重建应用中，决定图像复原效果的一个非常关键的环节是图像的先验。在自然图像处理领域里，如果能够很好地利用自然图像的先验信息，就可以从退化后的图像中恢复出高质量的图像，因此研究自然图像的先验信息是非常有意义的。目前常用的自然图像的先验信息有自然图像的局部平滑性、非局部自相似性、非高斯性、统计特性、稀疏性等特征。目前主流的图像重建算法为基于端到端卷积神经网络结构的深度学习算法，基于深度学习的图像重建算法如SRCNN等，往往需要使用精心设计和数量庞大的数据集进行训练，这样的方式建模方式需要一定的成本，而且使用日常图像训练出的模型并不适合修复特殊应用场景中的图像。

作为一个仅使用退化图像x₀以及卷机神经网络图像生成器本身的图像修复算法，Deep Image Prior的缺点在于需要对每张需要修复并重建的图像进行单独的调参数，这就使得图像修复算法无法进行批量的图像处理任务；同时在Deep Image Prior在进行迭代训练时，每次仅对输入z加入随机噪声来防止模型的过拟合现象，并没有对网络本身加入随机噪声，因为该算法使用在训练中打断迭代的方式进行图像重建(图像从噪声中重建，在适合的时机打断迭代后可输出一幅修复后的图像，在迭代训练进行到过拟合阶段后，模型将会输出一个和退化图像x₀完全相同的模型，至此，模型已经失去了图像修复重建的意义)，所以防止模型的过拟合是必要的。在Deep Image Prior的输出方面，原始算法从初始阶段就采用了加权平均输出，即本次的输出结果为加上不同权重的往次输出和本次输出的结合。该方法在一定程度上使得模型的输出变得稳定，但是在图像重建的初始阶段生成结果往往是无意义的噪声，而这些噪声势必将会影响到后续图像的输出，从另一方面说这样的噪声将持续影响迭代后期的图像输出效果。在输入方面，Deep Image Prior在进行图像修复时，使用了随机噪声作为输入，使得模型在拟合过程中的梯度下降速度相对较慢。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于图像先验信息的退化图像修复方法，本发明只需要使用破损图像本身即可完成先验特征的提取并完成图像修复，通过使用基于噪声的正则化方式和权重衰减进一步防止了过拟合现象，并在输入方便取代了现有的基于噪声作为输入的方式，使用了退化图像与噪声的组合输入方式以及Leaky ReLU，在大面积缺失修复中，防止了无法更新权重的死亡神经元区域的出现，达到了更好的修复效果；在迭代中期自动开始进行加权输出，避免了前期无意义噪声对后续图像的干扰。

本发明的第二目的在提供一种基于图像先验信息的退化图像修复系统。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于图像先验信息的退化图像修复方法，包括下述步骤：

采用退化图像加高斯噪声的组合作为神经网络图像生成器的输入，输入参数化卷积神经网络生成器；

采用MSE损失函数计算参数化卷积神经网络生成器所生成的图像与退化图像之间的损失，对参数化神经网络进行迭代训练；

采用卷积神经网络生成器的结构获取图像的底层语义信息作为先验信息，在训练过程对每一张待修复图像使用一套相同的迭代训练参数，设定第一迭代训练次数与第二迭代训练次数，在训练中加入权重衰减策略，采用Leaky ReLU作为激活函数；

在每一次迭代中，在神经网络图像生成器的输入中加入一个高斯噪声，同时在网络权值参数中加入一个平均值为零、标准差为零的高斯噪声，当迭代训练次数达到第一迭代训练次数时，采用自适应加权输出策略；

当迭代训练次数达到第二迭代训练次数时打断迭代，并用此时的参数化卷积神经网络生成器生成一副修复后的图像。

作为优选的技术方案，所述采用卷积神经网络生成器的结构获取图像的底层语义信息作为先验信息，具体在卷积网络结构中采用卷积操作对特征图进行降维处理，并在此过程中让卷积神经网络生成器的结构获取图像的先验信息，并通过双线性插值发进行上采样操作并生成一幅修复后的图像。

作为优选的技术方案，采用MSE损失函数计算参数化卷积神经网络生成器所生成的图像与退化图像之间的损失，使用L2 loss说明正则化和损失函数之间的关系，基于MSE的正则化表示为：

其中，θ是参数，h_θ(x_i)是预测值，y_i是样本的标签值，r(θ)是正则项。

作为优选的技术方案，所述在训练中加入权重衰减策略，所述权重衰减策略表示为：

其中，λ是衰减系数，是衰减后的权重值，θ₀是原始权重值，α是学习率，J₀是权重衰减之前的代价函数。

作为优选的技术方案，所述采用Leaky ReLU作为激活函数，所述Leaky ReLU表示为：

其中，a_i是[0,1)之间的固定参数。

作为优选的技术方案，所述在每一次迭代中，在神经网络图像生成器的输入中加入一个高斯噪声，同时在网络权值参数中加入一个平均值为零、标准差为零的高斯噪声，每一次迭代的损失函数计算过程表示为：

其中，l_θ是当网络参数为θ时的损失函数，

是添加在参数化网络的高斯噪声，G_{noisy_z}是加在神经网络图像生成器的输入z中的高斯噪声；

重构图像的参数关系和先验信息表示为：

θ^*是当图像修复中达到最佳性能时的卷积神经网络参数，G_{noise_θ}和G_{noise_z}均表示随机噪声。

作为优选的技术方案，所述当迭代训练次数达到第一迭代训练次数时，采用自适应加权输出策略，所述迭代训练次数达到第一迭代训练次数后，使用了前一次迭代权重为99％，本次迭代的权重为1％的方式进行加权输入。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于图像先验信息的退化图像修复系统，包括：组合输入模块、迭代训练模块、先验信息获取模块、迭代训练参数设定模块、权重衰减模块、噪声正则化模块、自适应加权输出模块和修复图像输出模块；

所述组合输入模块用于采用退化图像加高斯噪声的组合作为神经网络图像生成器的输入，输入参数化卷积神经网络生成器；

所述迭代训练模块用于采用MSE损失函数计算参数化卷积神经网络生成器所生成的图像与退化图像之间的损失，对参数化神经网络进行迭代训练；

所述先验信息获取模块用于采用卷积神经网络生成器的结构获取图像的底层语义信息作为先验信息；

所述迭代训练参数设定模块用于在训练过程对每一张待修复图像使用一套相同的迭代训练参数，设定第一迭代训练次数与第二迭代训练次数；

所述权重衰减模块用于在训练中加入权重衰减策略，采用Leaky ReLU作为激活函数；

所述噪声正则化模块用于在每一次迭代中，在神经网络图像生成器的输入中加入一个高斯噪声，同时在网络权值参数中加入一个平均值为零、标准差为零的高斯噪声；

所述自适应加权输出模块用于在迭代训练次数达到第一迭代训练次数时，采用自适应加权输出策略；

所述修复图像输出模块用于在迭代训练次数达到第二迭代训练次数时打断迭代，并用此时的参数化卷积神经网络生成器生成一副修复后的图像。

为了达到上述第三目的，本发明采用以下技术方案：

一种存储介质，存储有程序，所述程序被处理器执行时实现如上述基于图像先验信息的退化图像修复方法。

为了达到上述第四目的，本发明采用以下技术方案：

一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于图像先验信息的退化图像修复方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)针对Deep Image Prior需要对每张需要修复并重建的图像进行单独的调参数所导致的无法进行批量的图像处理任务问题，本发明通过改进模型的过拟合，针对图像像素随机缺失问题和图像区域缺失这两种图像退化场景提出了一套相同的迭代训练相关参数，使得无需针对不同图像进行单独的调参数，从而实现批量图像修复重建。

(2)针对Deep Image Prior迭代中每次仅对输出加入随机噪声，防止过拟合现象有限的缺点，本发明提出了一种新的过拟合防止方式，既在迭代训练时，每次对输入和网络参数同时加入随机噪声从而更有效的防止了过拟合现象，延缓了模型拟合的速度可以更好的找到打断迭代的时机以生成修复效果更好的图像，与此同时，本发明在训练中加入了权重衰减策略，可以更好的实现过拟合防止效果。

(3)针对Deep Image Prior的输出方式(从初始阶段就采用加权平均输出)所导致的前期无意义噪声持续影响后续图像修复质量的问题，本发明提出了一种在迭代中期开始进行加权平均的输出策略，从而使得修复后的图像免去了前期无意义噪声的干扰。

(4)针对Deep Image Prior以随机噪声作为输入，使得模型在拟合过程中的梯度下降速度相对较慢问题，本发明提出了使用退化图像本身与随机噪声结合的输入方式，消除了在区域缺失情况下，出现大量由初始导数为零导致无法进行参数更新的“死亡神经元”现象。

附图说明

图1为本发明的卷积神经网络结构示意图；

图2为本发明激活函数Leaky ReLU的示意图；

图3为本发明的自动编码器网络结构示意图；

图4(a)为原始图像示意图；

图4(b)为区域缺失图像示意图；

图4(c)为使用组合输入策略修复的图像示意图；

图4(d)为使用组合输入+输入网络网络噪声的组合策略修复的图像示意图；

图4(e)为使用组合输入+输入网络随机噪声+权重衰减的组合策略修复的图像示意图；

图4(f)为本发明使用组合输入+输入网络随机噪声+权重衰减+加权平均输出的组合策略修复的图像示意图；

图4(g)为原始的Deep Image Prior算法修复效果示意图；

图5(a)为以经典图像Hil为例的原始图像；

图5(b)为像素50％概率缺失后的图像；

图5(c)为GLCIC修复结果示意图；

图5(d)为Papyan et al.修复结果示意图；

图5(e)为原始Deep Image Prior修复结果示意图；

图5(f)为本发明修复结果示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种基于图像先验信息的退化图像修复方法，包括下述步骤：

S1：使用退化图像x₀加高斯噪声的组合作为神经网络图像生成器的输入z，输入参数化卷积神经网络生成器；

在图像修复任务中，考虑了两种类型的修复场景，第一种是大面积缺失修复，第二种是像素随机缺失修复(图像随机缺失50％的像素)。为了确保梯度下降速度，本发明中使用了混合输入(输入是图像和噪声的组合)。与基于噪声的重建方法相比，本实施例的图像和噪声组合输入方法确实使参数化网络f_θ(z)收敛速度更快。本实施例的输入方法在大面积缺失修复中还有一个额外的优点，在这种类型的修复任务中，退化图像的缺失部分将形成大量的无信息和不可导区域。如果将ReLU用作激活函数，则会形成大量不可学习的区域，其求导结果为零，这些区域形成了大面积死亡的神经元，它们已成为网络结构的负担，因为即使对该区域的权重进行多次迭代也无法更新参数，图像修复模型很难以良好的性能重建此类区域。本实施例在将噪声添加到退化图像后，在卷积结构中，该区域中的激活函数值不会为零，因此，缺失部分的神经元的权重可以在迭代过程中被持续更新。

S2：使用MSE损失函数，既L2 loss函数，计算参数化卷积神经网络生成器所生成的图像与退化图像x₀之间的loss，用于对参数化神经网络进行迭代训练；

在本实施例中，卷积神经网络本身的结构被证明可以从退化后图像x₀中学习到必要的先验信息，使用参数化的方式表示卷积神经网络，既x＝f_θ(z)，然后对参数卷积神经网络θ进行训练，本实施例通过对参数网络的学习来实现退化图像到修复后图像的映射，因此，图像修复任务可以通过如下的参数化方法来表示：

θ^*＝argminE(f_θ(z),x₀)+R(f_θ(z))

这里，θ^*是在图像修复达到最佳性能时的卷积神经网络参数，是原始图像，x₀是退化图像，R(f_θ(z))是隐藏在卷积神经网络结构中的先验信息。

S3：持续进行迭代训练，在迭代训练中，参数化卷积神经网络生成器会逐渐学习到图像的先验信息，并可以以此进行图像修复，每次参数化卷积神经网络生成器都会生成一副图像与退化图像x₀计算MSE损失函数，既L2 loss函数；

训练过程为使用均方误差MSE计算输入z和退化图像x₀的L2距离。在训练过程对每一张待修复图像使用一套相同的迭代训练参数，限定迭代次数为20000次，并在训练中加入了权重衰减策略以及使用了Leaky ReLU作为了激活函数；

本实施例使用卷积神经网络生成器的结构来获取图像的底层语义信息作为先验信息，并以此对退化图像进行修复。卷积神经网络实现图像特征提取的方式是降采样，进一步说，在图像重建任务中使用卷积神经网络运算的目的是提取输入的图像特征，在靠近输入的低维度卷积操作中，网络可能只能提取一些低级的特征如边缘、线条和角等低级语义信息。使用卷积神经网络可以建立在低维空间一块较大的区域与高维空间中一个特定区域之间建立映射关系，既通过调整卷积层的深度和卷积核的大小，将图像空间映射到具有宽度,高度,深度三个维度特征的特征空间，这个特征空间由前一层的输入经过卷积核操作形成的特征图组成。特征图在卷积结构中的工作过程如公式所示：

在公式中，

表示卷积结构中第l层的第j个特征图，f表示激活函数，M是输入特征图的集合，*表示卷积运算，k表示卷积核(既filter)，b表示偏置项。在实现图像修复任务的深层卷积神经网络结构中，随着卷积层的加深，感受野的大小和卷积神经网络提取的特征的复杂性将发生变化。在接近输入图像的低维卷积层中，网络只能提取一些低级特征，例如边缘，曲线和角等低级语义信息，随着卷积层的加深，在输出(通常是编码器生成的特征向量)附近的深度卷积层中，卷积结构可以学习到更复杂和更高级的语义特征。此外，用于建立上述映射的基本工具是参数具有迭代学习能力的神经元。每个神经元可以接收前一层的输出，然后使用激活函数在神经元之间建立非线性关系并可以通过向后传播过程来学习神经元的权重和偏差，该过程旨在最小化与任务相关的损失函数值。

由于一旦出现过拟合，本发明中的图像修复模型将最终生成一幅与退化图像完全相同的图像，从而失去了修复的意义，因此，本发明中也使用了卷积神经网络结构中可以防止过拟合的特点。通常，模型中的参数越多，过度拟合的可能性就越大。就减小参数规模的大小而言，卷积神经网络的稀疏连接机制是其中一种方法。在后向传播神经网络(Backpropagation network)中，相邻两层之间的神经元完全连接。相反，卷积神经网络使用各层之间的局部相关性使得每个相邻层的神经元仅与其接近的上层神经元节点连接(局部连接机制)。同样的道理，在通常的图像修复任务中，一个像素修复后的值主要取决于其相邻像素有关，这也与卷积神经网络的稀疏连接机制相对应，从而大大减小了网络的参数规模。

如图1所示，池化是卷积结构中的一种非线性下采样方法，在本实施例中，图像修复所需要的先验信息，由卷积神经网络结构获取，而池化是卷积层的操作，所以这是提取图像特征或者是说获取图像先验信息的过程。卷积网络结构获得图像特征信息后，模型将使用这些特征执行上采样操作以实现图像修复重建，但并非所有特征都需要被单独呈现这样会导致参数规模巨大且容易过拟合。因此，卷积层可以通过池化操作来减小卷积特征的尺寸。在池化过程中，特征图将被划分为n×n个不相交的区域，降维后，这些区域的最大值(或平均值)将用于表示特征。池化操作的优点在于，它可以减小特征图的大小，增加卷积核的感受野的大小，并降低计算复杂性，同时尽可能保留特征。池化操作还增强了模型的鲁棒性并减少了无用的信息，这有助于特征提取。因此，在图像修复任务中，卷积神经网络可以更有效地提取图像的先验信息。

在模型拟合方面，本实施例使用了均方误差(Mean Square Error)用作损失函数，因此需使用L2 loss来说明正则化和损失函数之间的关系。可以通过以下公式表示基于均方误差的正则化：

在此，前半部分是逼近项，θ是参数，h_θ(x_i)是预测值，y_i是样本的标签值，r(θ)是正则项。附加的正则项可以防止损失函数太过于接近0。

本实施例在训练策略方面，使用了权重衰减策略，且为依赖于Tensorflow中自带的权重衰减策略。使用朴素梯度下降时，L2正则化与权重衰减具有相同的效果。因为正则化项对权重的影响是使权重在每次迭代中衰减某个值。如果在使用Adam优化器的过程中使用L2正则化，则正则项的效果将随学习率而变化，因为在计算梯度时，减法项需要除以梯度平方之和，这会使减法项太小而无法实现权重衰减的原始定义，权重越大，衰减值越大。这是有时Adam优化的性能比带动量的随机梯度下降的性能差的原因之一。权重衰减使用相同的系数更新所有权重，惩罚值与参数值相关，权重越大，惩罚越大，这可以用权重衰减公式表示：

在此，λ是衰减系数，θ是权重参数。乘以1/2的原因是为了便于进行导数计算。J是代价函数，J₀是权重衰减之前的代价函数。推导后，可获得以下公式：

通过将该结果引入权重衰减公式，可以获得以下完整公式：

在此，θ是衰减后的权重值，θ₀是原始权重值，α是学习率。从公式中可以发现，在原始梯度减小之后，权重参数需要减去与权重值正相关的附加值

因此，权重越大，衰减越大，从而可以有效地降低代价函数。另外，在使用权重衰减后，另一个好处是整个神经网络将对噪声不会过于敏感。因为如果权重太大，则相应输入值的微小变化，都会显著的改变输出。

本实施例在卷积结构中使用了基于修正线性单元(ReLU)的Leaky ReLU作为激活函数。ReLU是神经网络中最常用的激活函数。ReLU保留了阶跃函数的生物学启发(当输入超过阈值时才激活神经元)，当输入为正时，导数不为零，此时允许神经元进行基于梯度下降的参数学习。但是，当输入为负时，ReLU将直接使神经元无效，因为如果输入为负，则梯度将为零，此时神经元的权重无法更新，在剩余的迭代训练中它将持续保持沉默，并称为死亡神经元，所以在大面积缺失的修补任务中的性能并不理想。为了解决ReLU函数的缺点，在ReLU函数的负数部分增加了一个泄漏值，因此称为Leaky ReLU；

如图2所示，Leaky ReLU的公式如下：

在公式中，a_i是[0,1)之间的固定参数。Leaky ReLU对于小于0的输入的导数较小但不为0。由于导数始终为非零，因此可以有效地减少死亡神经元的出现。

S4：持续迭代训练10000次之后，开始进行加权平均的输出策略以起到稳定输出的作用；

由于使用的是退化图像x₀计算损失函数，所以一旦发生模型的过拟合现象，参数化卷积神经网络图像生成器将会生成一副和退化图像x₀一模一样的图像，至此图像修复模型就失去了修复意义，因此本实施例在每次迭代的时候都在输入和参数化卷积神经网络中加入高斯噪声以防止模型的过拟合；

本实施例在迭代训练中，使用了一种基于噪声的正则化方法。正则化的作用是防止参数化卷积神经网络出现过拟合现象，因为过拟合现象将会导致参数化卷积神经网络图像生成器生成一副与退化图像x₀完全相同的图像从而失去修复意义，本发明的方法是在通过迭代训练使参数化卷积神经网络生成器生成的图像与退化图像x₀的拟合过程中找到合适的迭代次数(本实施例优先为20000次)打断迭代，并使用打断时的参数化卷积神经网络生成器生成一副修复后的图像。图像的先验信息，就是在迭代过程中被卷积神经网络生成器结构学习到，因此卷积神经网络生成器结构本身可以获取用来修复图像的先验信息。

为了尽可能减少过拟合造成的模型修复任务失效。在每一次迭代中，在输入z中加入一个高斯噪声，同时在网络权值参数θ中加入一个平均值为零、标准差为零的高斯噪声。因此，在该模型中，每一次迭代的损失函数计算过程可以用以下公式表示：

这里，l_θ是当网络参数为θ时的损失函数，

是添加在参数化网络的高斯噪声，G_{noisy_z}是加在输入z中的高斯噪声，重构图像的参数关系和先验信息可以用以下公式表示：

θ^*是当图像修复在实际应用中达到最佳性能时的卷积神经网络参数(用随机噪声G_{noise_θ}和G_{noise_z}进行训练时)，公式的后半部分是通过在网络参数中加入随机噪声方式来训练网络结构所得到的图像先验信息。

在迭代训练策略中，本实施例提出了一种新的加权输出方式，原始的Deep ImagePrior原始算法是持续将先前的输出图像和当前的输出图像加以不同的权重进行组合输出。但是，在实际的图像修补任务中，尤其是在训练的初始阶段，输出图像全都是杂乱的或PSNR非常低的图像。这样的图像的加权输出可能对后续训练中生成的图像造成一定程度的干扰。因此，本实施例提出了一种自适应加权输出方法。在10000次迭代前，图像修复模型都是使用直接输出，既每一轮的输出单独考虑，并不考虑到前几次迭代所产生的输出，本实施例在10000次迭代后使用了前一次迭代权重为99％，本次迭代的权重为1％的方式进行加权输入，以此方式使得输出变得稳定。

S5：在进行到20000次迭代训练后打断迭代，并用此时的参数化卷积神经网络生成器生成一副修复后的图像。

在网络结构的设计方面，本实施例使用与Deep Image Prior相同的结构，既自动编码器结构(Autoencoder)。

如图3所示，修复从混合输入开始，对参数化的卷积神经网络结构进行迭代更新，以最小化数据项E(f_θ(z),x₀)。在每次迭代中，通过参数θ可以使用参数化网络结构映射得到一副修复效果未知的图像x＝f_θ(z)。图像x用于计算熵值E(x,x₀)。然后计算与权重θ有关的梯度下降，并将其用于更新参数，以最终达到修复效果最优时的参数θ^*，本实施例将打断迭代的次数限定在20000次，并在10000次时开始进行加权输出。

本修复方法使用了卷积神经网络结构自身可以提取图像先验信息的特点进行图像的修复。在参数化卷积神经网络的迭代学习过程中，语义信息被网络结构获取，并以此进行修复。修复过程为参数化卷积神经网络图像生成器对参数θ矩阵的迭代学习过程。首先在迭代训练的初始阶段，参数化卷积神经网络图像生成器只能生成无意义图像和噪声，然后随着迭代学习的轮数增加，神经网络可以学习到越来越多的图像先验信息，越来越接近退化图像x₀所对应的未退化图像x，在迭代到20000次的时候可以使用参数化卷积神经网络图像生成器生成一副修复效果最好的图像，

如图4(a)-图4(g)所示，通过分步式对比实验结果展示，不同修复策略的PSNR和SSIM结果如下表1所示：

表1不同修复策略的PSNR和SSIM结果对比表

如图5(a)-图5(f)所示，得到以经典图像Hill为例的像素50％概率随机缺失情况修复结果，在经典图像中，像素50％概率随机缺失情况修复的PSNR和SSIM结果如下表2所示：

表2像素50％概率随机缺失情况修复的PSNR和SSIM结果对比表

其中，GLCIC修复结果PSNR＝14.39，Papyan et al.修复结果PSNR＝31.34，原始Deep Image Prior修复PSNR＝32.84，本发明修复结果PSNR＝33.46。

本发明相比于现有其他基于卷积神经网络的图像修复算法而言，使用成本更低，因为基于深度学习的图像修复算法往往需要使用大量的数据集来训练模型，本发明只需要使用破损图像本身即可完成先验特征的提取并完成图像修复。相比于原始算法Deep ImagePrior，本发明通过使用基于噪声的正则化方式和权重衰减进一步防止了过拟合现象，并在输入方便取代了现有的基于噪声作为输入的方式，使用了退化图像与噪声的组合输入方式以及Leaky ReLU，在大面积缺失修复中，防止了无法更新权重的死亡神经元区域的出现，达到了更好的修复效果，相比于原始算法Deep Image Prior持续使用加权输出的方式，本发明提出了一种自适应加权输出方式，在迭代中期自动开始进行加权输出，避免了前期无意义噪声对后续图像的干扰。

实施例2

本实施例提供一种基于图像先验信息的退化图像修复系统，包括：组合输入模块、迭代训练模块、先验信息获取模块、迭代训练参数设定模块、权重衰减模块、噪声正则化模块、自适应加权输出模块和修复图像输出模块；

组合输入模块用于采用退化图像加高斯噪声的组合作为神经网络图像生成器的输入，输入参数化卷积神经网络生成器；

迭代训练模块用于采用MSE损失函数计算参数化卷积神经网络生成器所生成的图像与退化图像之间的损失，对参数化神经网络进行迭代训练；

先验信息获取模块用于采用卷积神经网络生成器的结构获取图像的底层语义信息作为先验信息；

迭代训练参数设定模块用于在训练过程对每一张待修复图像使用一套相同的迭代训练参数，设定第一迭代训练次数与第二迭代训练次数；

权重衰减模块用于在训练中加入权重衰减策略，采用Leaky ReLU作为激活函数；

噪声正则化模块用于在每一次迭代中，在神经网络图像生成器的输入中加入一个高斯噪声，同时在网络权值参数中加入一个平均值为零、标准差为零的高斯噪声；

自适应加权输出模块用于在迭代训练次数达到第一迭代训练次数时，采用自适应加权输出策略；

修复图像输出模块用于在迭代训练次数达到第二迭代训练次数时打断迭代，并用此时的参数化卷积神经网络生成器生成一副修复后的图像。

实施例3

本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的基于图像先验信息的退化图像修复方法。

实施例4

本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于图像先验信息的退化图像修复方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于图像先验信息的退化图像修复方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，所述采用卷积神经网络生成器的结构获取图像的底层语义信息作为先验信息，具体在卷积网络结构中采用卷积操作对特征图进行降维处理，并在此过程中让卷积神经网络生成器的结构获取图像的先验信息，并通过双线性插值法进行上采样操作并生成一幅修复后的图像。

3.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，采用MSE损失函数计算参数化卷积神经网络生成器所生成的图像与退化图像之间的损失，使用L2 loss说明正则化和损失函数之间的关系，基于MSE的正则化表示为：

4.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，所述在训练中加入权重衰减策略，所述权重衰减策略表示为：

其中，λ是衰减系数，θ是衰减后的权重值，θ₀是原始权重值，α是学习率，J₀是权重衰减之前的代价函数。

5.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，所述采用Leaky ReLU作为激活函数，所述Leaky ReLU表示为：

其中，a_i是[0，1)之间的固定参数。

6.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，所述在每一次迭代中，在神经网络图像生成器的输入中加入一个高斯噪声，同时在网络权值参数中加入一个平均值为零、标准差为零的高斯噪声，每一次迭代的损失函数计算过程表示为：

其中，l_θ是当网络参数为θ时的损失函数，

重构图像的参数关系和先验信息表示为：

7.根据权利要求1所述的基于图像先验信息的退化图像修复方法，其特征在于，所述当迭代训练次数达到第一迭代训练次数时，采用自适应加权输出策略，所述迭代训练次数达到第一迭代训练次数后，使用了前一次迭代权重为99％，本次迭代的权重为1％的方式进行加权输入。

8.一种基于图像先验信息的退化图像修复系统，其特征在于，包括：组合输入模块、迭代训练模块、先验信息获取模块、迭代训练参数设定模块、权重衰减模块、噪声正则化模块、自适应加权输出模块和修复图像输出模块；

9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述基于图像先验信息的退化图像修复方法。

10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-7任一项所述基于图像先验信息的退化图像修复方法。