CN111260552A - 一种基于递进学习的图像超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于递进学习的图像超分辨率方法，该方法包括如下步骤：(1)获取成对的低分辨率和高分辨率图像，生成训练样本；(2)构建图像超分辨率网络，所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像；(3)确定度量高分辨率图像局部细节特征的局部细节度量；(4)确定随训练次数递进增加的难度系数，结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重；(5)基于自适应权重定义图像超分辨率网络的加权损失函数；(6)利用优化器最小化加权损失函数，训练图像超分辨率网络；(7)获得用于图像超分辨率的图像超分辨率网络。与现有技术相比，本发明鲁棒性高，泛化能力强，计算时间短，实现方便。

Description

一种基于递进学习的图像超分辨率方法

技术领域

本发明涉及一种图像超分辨率方法，尤其是涉及一种基于递进学习的图像超分辨率方法。

背景技术

图像超分辨任务旨在根据成像系统中退化的低分辨率图像重建出高分辨率的图像。在自然条件下，成像系统会受到内在和外在等多种因素的干扰，因此图像退化过程会是多种退化情形的组合。此外，图像本身具有很强的非局部相似性，因此我们不仅可以通过额外样本学习图像间的局部相似性，更应该通过模型充分开发图像本身的非局部相似性。传统的非学习方法通过建模图像的退化过程，利用先验知识和优化方法来复原图像。然而这些方法针对不同的任务需要人工设置参数，由于它们的非全自动缺陷，在应用中会产生昂贵的人力成本。此外非学习方法的实现一般是通过一个迭代框架，因此在测试的时候图像超分辨率时间较长。新的基于学习的方法通过构建网络来模拟图像超分辨率过程，并利用大量训练样本来训练网络。基于学习的方法在图像超分辨率任务上产生了非常客观的效果，其一是因为基于学习的方法通过大量的样本可以学习图像的局部相似性特征，因此可以大大提升图像超分辨率质量；其二是因为基于学习的方法可以通过深度学习框架并行实现，所以在测试的时候会大大缩短图像超分辨率时间。然而在实际测试中，基于学习的图像超分辨率方法依然存在着如下两方面的挑战：

(1)针对同一图像超分辨率任务中的不同样本，利用学习方法得到的结果差异很大，这是因为同一图像中不同像素的条件分布各不同，因此学习方法的鲁棒性不够。

(2)针对不同的图像超分辨率任务，基于学习的方法缺乏适应不同任务的灵活性，这是因为不同任务下退化图像像素分布的差异很大，因此学习方法的泛化能力不够。

经过对现有文献的调研发现，通过充分开发图像本身的非局部相似性，可以很大程度上提升图像超分辨率方法的鲁棒性。此外，设计有效的网络结构，可以提高学习方法的泛化能力。然而如何提高学习方法的鲁棒性和泛化能力仍然是一个开放性的挑战。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于递进学习的图像超分辨率方法。

本发明的目的可以通过以下技术方案来实现：

一种基于递进学习的图像超分辨率方法，该方法包括如下步骤：

(1)获取成对的低分辨率和高分辨率图像，生成训练样本；

(2)构建图像超分辨率网络，所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像；

(3)确定度量高分辨率图像局部细节特征的局部细节度量；

(4)确定随训练次数递进增加的难度系数，结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重；

(5)基于自适应权重定义图像超分辨率网络的加权损失函数；

(6)利用优化器最小化加权损失函数，训练图像超分辨率网络；

(7)获得用于图像超分辨率的图像超分辨率网络。

步骤(2)图像超分辨率网络采用神经网络。

步骤(3)高分辨率图像的局部细节度量通过如下方式获得：

m(I^HR)＝||min{|DI^HR|-1/β,0}||，

其中，I^HR为高分辨率图像，m(I^HR)为高分辨率图像的局部细节度量，|DI^HR|为高分辨率图像的差分矩阵，具体地，对于高分辨率图像中的任意一个像素p_c，p_h表示p_c右边的像素，p_v表示p_c下方的像素，则该高分辨率图像在p_c处差分的模为水平方向差分的模和垂直方向差分的模之和，即|p_c-p_h|+|p_c-p_v|，将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模，组成矩阵|DI^HR|，min{|DI^HR|-1/β,0}表示对|DI^HR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵，β为阈值常数。

步骤(4)中难度系数确定为：

c(t)为第t次训练的难度系数，T为设定常数。

步骤(4)训练样本的自适应权重确定为：

w_i(t)为第t次训练第i个训练样本的难度系数，

为训练样本中第i个高分辨率图像，

为第i个高分辨率图像的局部细节度量，sigmoid(x)为基于变量x的函数，sigmoid(x)＝1/(1+e^-x)，e为自然常数。

步骤(5)加权损失函数为：

其中，w_i(t)为第t次训练第i个训练样本的难度系数，N为训练样本的总个数，

为训练样本中第i个高分辨率图像，

为图像超分辨率网络输出的对应于

的高分辨率图像，

表示

和

的感知损失，γ为图像超分辨率网络的超参数。

具体为：

其中，

表示对

通过分类网络VGG19提取的的高阶特征，

表示对

通过分类网络VGG19提取的的高阶特征。

步骤(6)训练图像超分辨率网络过程中判断是否到达最大训练步数，若是则执行步骤(7)，否则返回步骤(4)更新训练样本的自适应权重并继续执行步骤(5)～(6)。

与现有技术相比，本发明具有如下优点：

(1)本发明利用递进学习的思想来训练网络，具体体现在：首先设计了一种度量图像局部细节特征的方法，该方法通过计算图像像素点和相邻像素的差来度量图像的局部细节；

其次，希望网络在训练的初始阶段学习图像的简单信息，随着训练次数的增加，网络递进地学习更加复杂的图像信息，因此定义了一个和训练次数有关的难度系数，通过控制难度系数，网络在初始训练阶段专注于学习图像的全局特征，即图像的光滑信息，随着训练次数的增加和难度系数的逐渐改变，具有更多细节特征的图像其权重逐渐变大，网络渐变为更专注于学习图像的局部细节特征；

由此，将局部细节度量与难度系数结合得到的每一次训练过程中各训练样本的自适应权重使得网络随着训练步数的增加能够更注重学习图像的细节特征，本发明方法训练的图像超分辨率网络鲁棒性高，泛化能力强。

(2)本发明具有全自动、计算时间短、实现方便等优势。

附图说明

图1为本发明基于递进学习的图像超分辨率方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

如图1所示，一种基于递进学习的图像超分辨率方法，该方法包括如下步骤：

步骤1：获取成对的低分辨率和高分辨率图像，生成训练样本，具体地，高分辨率图像首先通过模糊、噪化、下采样等操作生成低分辨率图像，将低分辨率图像和相应的高分辨率图像组合形成一对训练样本；利用数据增广技术將训练图像进行翻转和旋转，生成大量训练样本。这些准备好的样本将用于后续网络训练。

步骤2：构建图像超分辨率网络，所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像，图像超分辨率网络采用神经网络。

步骤3：确定度量高分辨率图像局部细节特征的局部细节度量：

基于递进学习的思想，本发明希望网络在初始训练阶段专注于学习图像的全局特征，即图像的光滑信息。随着学习的推进，网络开始更专注于学习图像的局部细节特征。因此我们设计了一种度量图像局部细节特征的方法，该方法通过计算图像像素点和相邻像素的差来度量图像的局部细节，具体的，高分辨率图像的局部细节度量通过如下方式获得：

m(I^HR)＝||min{|DI^HR|-1/β,0}||，

其中，I^HR为高分辨率图像，m(I^HR)为高分辨率图像的局部细节度量，|DI^HR|为高分辨率图像的差分矩阵，具体地，对于高分辨率图像中的任意一个像素p_c，p_h表示p_c右边的像素，p_v表示p_c下方的像素，则该高分辨率图像在p_c处差分的模为水平方向差分的模和垂直方向差分的模之和，即|p_c-p_h|+|p_c-p_v|，将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模，组成矩阵|DI^HR|，min{|DI^HR|-1/β,0}表示对|DI^HR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵，β为阈值常数。

步骤4：为了使网络在训练的初始阶段学习图像的简单信息，随着训练次数的增加，网络递进地学习更加复杂的图像信息，因此，该步骤首先确定随训练次数递进增加的难度系数，然后，结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重。

上述难度系数确定为：

c(t)为第t次训练的难度系数，T为设定常数。

其次，训练样本的自适应权重确定为：

w_i(t)为第t次训练第i个训练样本的难度系数，

为训练样本中第i个高分辨率图像，

为第i个高分辨率图像的局部细节度量，sigmoid(x)为基于变量x的函数，sigmoid(x)＝1/(1+e^-x)，e为自然常数。

通过上述过程，在训练的初始阶段，难度系数接近0，这时候简单图像的权重很大而复杂图像的权重很小，因此网络更偏向于学习图像的光滑信息。随着训练深入，复杂图像的权重逐渐增大，因此网络更注重学习图像的细节特征。

步骤5：基于自适应权重定义图像超分辨率网络的加权损失函数，具体为：

其中，w_i(t)为第t次训练第i个训练样本的难度系数，N为训练样本的总个数，

为训练样本中第i个高分辨率图像，

为图像超分辨率网络输出的对应于

的高分辨率图像，

表示

和

的感知损失，γ为图像超分辨率网络的超参数。

具体为：

其中，

表示对

通过分类网络VGG19提取的的高阶特征，

表示对

通过分类网络VGG19提取的的高阶特征。

通过优化该损失函数，可以控制网络在不同阶段的注意力。即在早期阶段学习简单信息，随着训练步数的增加，逐渐开始学习复杂信息。

步骤6：利用优化器最小化加权损失函数，训练图像超分辨率网络，训练过程中判断是否到达最大训练步数，若是则执行步骤7，否则返回步骤4更新训练样本的自适应权重并继续执行步骤5～6。

步骤7：获得用于图像超分辨率的图像超分辨率网络，在应用阶段，图像超分辨率网络输入为低分辨率的图像，输出为高分辨率的图像，整个过程是全自动，不需要人工干预，并且执行速度很快。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (8)

1.一种基于递进学习的图像超分辨率方法，其特征在于，该方法包括如下步骤：

(1)获取成对的低分辨率和高分辨率图像，生成训练样本；

(2)构建图像超分辨率网络，所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像；

(3)确定度量高分辨率图像局部细节特征的局部细节度量；

(4)确定随训练次数递进增加的难度系数，结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重；

(5)基于自适应权重定义图像超分辨率网络的加权损失函数；

(6)利用优化器最小化加权损失函数，训练图像超分辨率网络；

(7)获得用于图像超分辨率的图像超分辨率网络。

2.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(2)图像超分辨率网络采用神经网络。

3.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(3)高分辨率图像的局部细节度量通过如下方式获得：

m(I^HR)＝||min{|DI^HR|-1/β,0}||，

其中，I^HR为高分辨率图像，m(I^HR)为高分辨率图像的局部细节度量，|DI^HR|为高分辨率图像的差分矩阵，具体地，对于高分辨率图像中的任意一个像素p_c，p_h表示p_c右边的像素，p_v表示p_c下方的像素，则该高分辨率图像在p_c处差分的模为水平方向差分的模和垂直方向差分的模之和，即|p_c-p_h|+|p_c-p_v|，将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模，组成矩阵|DI^HR|，min{|DI^HR|-1/β,0}表示对|DI^HR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵，β为阈值常数。

4.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(4)中难度系数确定为：

c(t)为第t次训练的难度系数，T为设定常数。

5.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(4)训练样本的自适应权重确定为：

w_i(t)为第t次训练第i个训练样本的难度系数，

为训练样本中第i个高分辨率图像，

为第i个高分辨率图像的局部细节度量，sigmoid(x)为基于变量x的函数，sigmoid(x)＝1/(1+e^-x)，e为自然常数。

6.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(5)加权损失函数为：

其中，w_i(t)为第t次训练第i个训练样本的难度系数，N为训练样本的总个数，

为训练样本中第i个高分辨率图像，

为图像超分辨率网络输出的对应于

的高分辨率图像，

表示

和

的感知损失，γ为图像超分辨率网络的超参数。

7.根据权利要求6所述的一种基于递进学习的图像超分辨率方法，其特征在于，

具体为：

其中，

表示对

通过分类网络VGG19提取的的高阶特征，

表示对

通过分类网络VGG19提取的的高阶特征。

8.根据权利要求1所述的一种基于递进学习的图像超分辨率方法，其特征在于，步骤(6)训练图像超分辨率网络过程中判断是否到达最大训练步数，若是则执行步骤(7)，否则返回步骤(4)更新训练样本的自适应权重并继续执行步骤(5)～(6)。

Images