CN107784628B - 一种基于重建优化和深度神经网络的超分辨率实现方法 - Google Patents

Abstract

本发明公开了一种基于重建优化和深度神经网络的超分辨率实现方法。该方法的具体步骤如下：(1)通过降采样方法，建立高分辨率图像与下采样图像之间的关系；通过最小二乘法建立目标函数：(2)利用共轭梯度下降算法对目标函数进行迭代优化，得到一张基于重建优化算法的高分辨率图像；(3)建立并训练完成一个三层全卷积神经网络；(4)将步骤(2)得到的高分辨率图像输入三层全卷积神经网络中，进一步提高图像的分辨率。利用本发明方法无论是在主观评测还是客观图像质量评价方面，都能取得很好的成果。

Description

一种基于重建优化和深度神经网络的超分辨率实现方法

技术领域

本发明涉及计算摄像学领域，尤其涉及一种基于重建优化和深度神经网络的超分辨率实现方法。

背景技术

图像超分辨率技术旨在从一张(单帧超分辨率)或一系列(多帧超分辨率)低分辨率图像中恢复出具有更多高频细节的高分辨率图像。现有的实现图像超分辨率的算法主要分为两大类：基于重建的方法和基于学习的方法。

基于重建的算法通过模拟下采样的逆过程，从一系列互相具有亚像素偏移的低分辨图像中重建出一张高分辨率图像。然而，这种基于重建的方法因为缺少图像的高频细节信息，所以其求解过程实质上是一个病态过程。通过在目标函数中引入正则化项，如一范数或二范数等，可以在一定程度上解决这个问题。从理论上讲，添加L1范数或L2范数正则化项相当于在目标函数中加入了拉普拉斯分布和高斯分布的先验信息。

基于学习的算法是通过学习图像的内部信息(即图像的相似性)或外部信息(即学习高低分辨率图像对之间的映射函数)来进行重建。目前，基于深度学习的算法在图像超分辨问题上有不错的视觉效果。然而尽管如此，但这些基于学习的方法是根据低分辨率输入图像和学习到的映射函数来直接对丢失的高频细节进行推测，这将很可能会导致错误的结果，即与真实的图像信息不符。

发明内容

针对以上现有方法中存在的缺陷，本发明的目的在于提出一种创新的多帧超分辨率实现方法，该方法通过将基于重建的优化技术和三层全卷积神经网络级联，能够恢复出一张性能优异的高分辨率图像。

为达上述目的，本发明采用的技术方案如下：

一种基于重建优化和深度神经网络的超分辨率实现方法，包括如下步骤：

步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；

其中X代表高分辨率图像，

表示下采样矩阵，

表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s²表示重建所需要的图像数量；

将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：

其中，β是正则化项的权重系数，θ是辅助项的权重系数；

步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：

利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；

步骤3，将目标函数中的X值取步骤2优化后的值，然后只优化目标函数中Q值的大小，目标函数变为：

通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数中Q值的取值；

步骤4，反复执行步骤2和步骤3，迭代优化目标函数中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；

步骤5，建立一个三层全卷积神经网络，第一层网络作用于输入图像，第二层网络包括两层卷积层，这两层卷积层都有128个特征，卷积核分别为9×9和5×5；每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层网络用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中；

步骤6，从图像库中选择N张自然图像，对每张图像进行下采样产生s²张相互具有亚像素偏移的低分辨率图像；选取步长为l像素，将低分辨率图像和高分辨率图像分别都裁剪成k×k的图像块，得到M对高分辨率图像对；利用这些图像对，对步骤5的网络参数进行训练；

步骤7，训练完成之后，将步骤4得到的高分辨率图像作为网络输入，通过所述三层全卷积神经网络的处理，输出一张最终重建得到的超分辨图像。

本发明提出了一种新颖的多帧超分辨率实现方法，通过结合基于重建的超分辨率技术和全卷积层神经网络，能够重建出一张包含高频细节信息的高分辨率图像。与其他先进的超分辨率技术相比，本发明方法在主观和客观的评测中都具有更优异的性能，通过验证比较，本发明方法可以在目前最优的超分辨率技术上再提高7dB左右的PSNR值(峰值信噪比)。

附图说明

图1为本发明方法的流程图；

图2为本发明实施例中三层卷积神经网络结构图；

图3为本发明方法和其他超分辨率方法在PSNR(峰值信噪比)数值和运行时间上的统计比较图；

图4为本发明方法和其他超分辨率方法在具体实现中的主观性能比较图。

具体实施方式

下面将结合附图及具体实施例对本发明进行详细描述。

本发明首先采用基于重建的超分辨率技术，将多个具有亚像素偏移的低分辨率图像序列作为输入。考虑到问题的病态性，在目标函数中加入L1范数对求解过程进行约束。L1正则化项有助于生成一个稀疏权值矩阵，进而可以用于特征选择。通过共轭梯度对目标函数进行快速收敛，从而得到一张高分辨率图像。在基于重建的超分辨率技术中，当放大系数过大或者输入图像不足时，无可避免地会产生振铃现象。本发明中应用了一个三层全卷积神经网络来抑制这种振铃现象，对之前输出的高分辨率图像做进一步优化处理。该方法不仅利用了重建技术中从多张低分辨率图像中获得的信息，而且从神经网络中学到足够信息。因此本发明方法选择性地结合了这两种技术的优点，从而实现了一种性能卓越的超分辨率技术。

参照图1，本实施例的一种基于重建优化和深度神经网络的超分辨率方法，具体步骤如下：

步骤1，假定低分辨率图像大小为M×N，超分辨率放大因子为s＝4，则重建出的高分辨率图像大小为Ms×Ns。令X∈R^M×N表示高清图像，

表示图像的下采样矩阵，

表示经过下采样之后得到的低分辨率图像，则高分辨率图像X和低分辨率图像

之间的关系可以表示为：

超分辨率的目标是为了从输入的多张低分辨率图像

中重建出高分辨率图像X。利用最小二乘法原理，可以建立目标函数(2)。考虑到超分辨率问题存在的病态性，该方法在目标函数中引入了L1范数对函数进行约束。

考虑到不方便对L1范数进行求导，该方法又引入了一个辅助变量Q帮助优化求解。将目标函数构成如下形式：

观察公式(3)的形式，可以方便地利用Lasso特征收敛技术对后两项进行优化。其中，β表示正则化项的权重系数，将其设为β＝0.1；θ是辅助项的权重系数，初始值设为θ＝0.001，之后每迭代一次都会执行θ＝θ×0.99来加速目标函数的收敛。

步骤2，在这一步骤中，初始时，设置目标函数中的Q＝0，之后将Q值大小固定为由步骤3得到的优化Q值。在步骤2中，只优化目标函数中的X变量。此时，目标函数可以简化成：

利用共轭梯度算法可以迅速对目标函数进行收敛，直至找到目前最优的X值。共轭梯度有许多优点，首先其只使用一阶导数，非常简单。另外，由于不需要其他额外的参数，所以共轭梯度算法能够快速稳定地对函数进行收敛。

步骤3，在这一步骤中，只优化目标函数中的Q值，而变量X取步骤2中优化后的X值。在此步骤中，目标函数可以简化成：

因为该函数具有lasso回归模型的性质，只需通过lasso特征收敛技术，就可以得到目前最优的Q值。

步骤4，重复执行步骤2和步骤3，通过迭代地固定X值优化Q值，再固定Q值优化X值，可以不断更新目前最优的X值和Q值。当前后两次迭代过程后重建的X值之差小于所设定的阈值时，停止迭代操作，此时X的值即为基于重建算法的最优重建结果。

步骤5，输出一张基于重建算法的高分辨率图像。该图像从输入的低分辨率图像中获取信息，重建出丢失的高频细节信息。但在基于重建的算法中，当放大系数较大或者输入图像不足时，会无法避免地产生振铃现象，所以后续对该高分辨率图像进行进一步优化处理。

步骤6，搭建一个三层的全卷积神经网络。该神经网络的第一层作用于输入图像，后续两层为卷积层，其卷积核分别为9×9和5×5。卷积核的大小代表着感受野的区域，在这里选取9和5是性能与效率结合考虑的结果；卷积层通过不同的卷积核可以提取出输入图像的不同特征，从而能更好地对图像进行高阶表示。每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中在卷积层之后。用来抑制振铃效应的三层卷积神经网络的层级结构如图2所示。

步骤7，从图像库中选择100张自然图像，对每张图像进行下采样产生16张相互具有亚像素偏移的低分辨率图像；考虑到硬件的处理能力，选取步长为15像素，将低清和高清图像分别裁剪成50×50的图像块，得到95037对高低清图像对，利用这些配对的data和label图像块，对步骤6中的网络参数进行训练。在具体实现中，训练过程总计迭代76029次，在Tesla P100-PCIE-16G的GPU上训练时间约为一小时。

步骤8，网络训练完成之后，将步骤5输出的带有振铃效应的高分辨率图像作为网络输入，通过三层卷积层的处理，输出一张振铃现象得到明显抑制的高分辨图像。从最终输出的高分辨率图像中可以看出，经过神经网络的优化处理，重建质量得到了进一步的提升。比目前领先的超分辨方法的PSNR(峰值信噪比)高出7dB左右。具体性能结果见图3，图4。

在图3中，将本发明与其他先进的超分辨率算法进行比较。这些超分辨率技术包括：SelfExSR(从变换的自数据对中学习的单帧超分辨率技术)、DRCN(深度递归卷积网络图像超分辨率)、SCN(稀疏编码超分辨率)、RFL(随机森林学习超分辨率)、A+(自适应固定临近回归快速超分辨率)、VDSR(使用深度神经网络的准确超分辨率技术)、SRCNN(运用深度神经网络的超分辨算法)、LapSRN(基于深度拉普拉斯金字塔网络的超分辨率)、FSRCNN(加速超分辨卷积神经网络)。可以看出，本发明不仅在PSNR(峰值信噪比)的数值上比目前其他超分辨方法高出很多，而且在运行时间方面也很有优势。

图4是在具体图像中，将本发明与其他先进的超分辨率技术进行对比。其中VDSR为使用深度神经网络的准确超分辨率技术，LapSRN为基于深度拉普拉斯金字塔网络的超分辨率，MFSR(处理运动模糊的多帧超分辨率技术)和VideoSR(深度整体学习的视频超分辨率技术)都是针对视频处理的超分辨技术。下方的数值分别代表了PSNR(峰值信噪比)和SSIM(结构相似性)，这两个都是常用的评价图像质量的数值指标。无论是从图像细节还是质量指标来看，本发明重建出的图像都远远优于其他先进的超分辨率技术。

Claims (1)

1.一种基于重建优化和深度神经网络的超分辨率实现方法，其特征在于，包括如下步骤：

步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；

其中X代表高分辨率图像，

表示下采样矩阵，

表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s²表示重建所需要的图像数量；

将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数J并引入一个辅助求解的变量Q：

其中，i表示计数，取值范围为[1,s²]；D_i表示第i个下采样矩阵，Y_i表示第i个经过下采样之后的低分辨率图像；β是正则化项的权重系数，θ是辅助项的权重系数；

步骤2，将目标函数J中的Q值初始值设置为0，只迭代收敛目标函数J中的X变量，目标函数J写成：

利用共轭梯度算法对目标函数J'进行收敛，直至找到目前最优的X值；

步骤3，将目标函数J'中的X值取步骤2优化后的值，然后只优化目标函数J'中Q值的大小，目标函数J'变为：

通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数J'中Q值的取值；

步骤4，反复执行步骤2和步骤3，迭代优化目标函数J”中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；

步骤5，建立一个三层全卷积神经网络，第一层网络作用于输入图像，第二层网络包括两层卷积层，这两层卷积层都有128个特征，卷积核分别为9×9和5×5；每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层网络用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中；

步骤6，从图像库中选择N张自然图像，对每张图像进行下采样产生s²张相互具有亚像素偏移的低分辨率图像；选取步长为l像素，将低分辨率图像和高分辨率图像分别都裁剪成k×k的图像块，得到M对高分辨率图像对；利用这些图像对，对步骤5的网络参数进行训练；

步骤7，训练完成之后，将步骤4得到的高分辨率图像作为网络输入，通过所述三层全卷积神经网络的处理，输出一张最终重建得到的超分辨图像。

Images