CN109816592A - 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。首先，输入待超分辨率的低分辨率图像和放大尺度因子t；其次，根据输入的放大尺度因子确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍；再而，利用现有的基于卷积神经网络的超分辨率算法的网络模型，放大图像进行特征提取及重建，得到放大了s倍的高分辨率图像；最后，对得到的高分辨率图像，使用双三次插值缩放至目标分辨率，得到最终的放大了t倍的高分辨率图像。本发明能够有效地提高已有基于卷积神经网络的超分辨率算法在连续放大尺度超分辨率上的性能，可应用于图像处理、计算机视觉等领域。

Description

一种基于卷积神经网络的单帧图像连续尺度超分辨率方法

技术领域

本发明涉及图像和视频处理以及计算机视觉技术领域，具体涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。

背景技术

单帧图像超分辨率技术的目的是将一幅低分辨率输入图像重建成对应的高分辨率图像。作为多媒体图像处理领域的一个经典课题，单帧图像超分辨率重建问题本质上是不适定的，并没有唯一解。单帧图像超分辨率重建属于低水平计算机视觉处理任务，为压缩图像、视频增强、图像分析等提供服务。

卷积神经网络已经在单帧图像离散放大尺度超分辨率重建上取得了优越的性能，如SRCNN方法在放大尺度为整数时，重建结果的PSNR值相对于传统的双三次插值至少提升了3dB。由于残差块增强了特征的反向传递并可以避免梯度消失问题，从而在计算机视觉任务中表现出优异的性能。因此VDSR,DRRN等近两年提出的超分辨率网络都相继了采用残差块，其中，VDSR在输入的低分辨率图像和输出的高分辨率重建图像之间进行了一次残差学习，使用可调节的梯度截断策略，训练出一个鲁棒的超分辨率重建模型。DRRN则是将通过建立由多个残差单元堆栈而成的递归模块结构，将递归学习引入残差分支，递归使用残差单元进行运算，递归模块共享权重，而能够在加深结构深度的同时又避免了梯度爆炸或者梯度消失，因此超分辨率性能有所提升。MemNet引入了一个包含递归单元和门控单元的内存块，通过适应性学习来显性地挖掘持续记忆，构成区别于之前短期记忆网络的长期记忆网络，通过利用这样的结构将网络再次加深至80层，密集连接和信息补偿机制最大限度地使信息在不同内存块之间流动。但是这些基于卷积神经网络的超分辨率重建算法都只关注离散的整数放大尺度重建问题。如SRCNN,VDSR,DRRN,MemNet中参与训练的图像的放大倍数为2,3，和4。因此这些模型在非整数倍放大尺度上的超分辨性能仍有待验证。

发明内容

本发明的目的在于提供一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，通过以整数尺度超分辨率重建为中心的多次缩放方法，从而实现基于卷积神经网络的连续尺度超分辨率重建。

为实现上述目的，本发明的技术方案是：一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，包括如下步骤：

步骤S1、输入待超分辨率的低分辨率图像和放大尺度因子t，低分辨率图像的大小为h×w；

步骤S2、根据输入的放大尺度因子t确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍，得到放大图像；

步骤S3、利用基于卷积神经网络的超分辨率算法的网络模型，对由步骤S2得到的放大图像进行特征提取及重建，得到放大s倍的高分辨率图像；

步骤S4、对由步骤S3得到的高分辨率图像，使用双三次插值缩放至目标分辨率，最终得到的放大t倍的高分辨率图像。

在本发明一实施例中，所述步骤S2具体实现如下：

首先，将适用于基于卷积神经网络的放大尺度因子构成整数尺度集合P＝{p₁,p₂,...,p_n}；

然后，从中选择最接近t的放大尺度因子作为最优整数放大尺度因子s，即最优整数放大尺度因子s计算公式如下：

再而，将低分辨率图像从RGB颜色空间转换到Ycbcr颜色空间，使用双三次插值算法分别对Y、cb、cr三个通道的低分辨率图像放大s倍，大小变为sh×sw。

在本发明一实施例中，所述步骤S3具体实现如下：

步骤S31、准备一个适用于离散整数倍超分辨率的模型的基于卷积神经网络算法的网络模型；

步骤S32、将步骤S2得到的放大图像的Y通道图像输入到准备好的网络模型，得到尺度因子s所对应的Y通道高分辨率图像，计算公式如下：

是基于卷积神经网络算法模型搭建的从低分辨率到高分辨率图像的尺度因子为s映射函数，包括由卷积层和线性整流单元激活函数组合而成；所得到的Y通道高分辨率图像大小为sh×sw。

在本发明一实施例中，所述步骤S4中，把由步骤S3得到的Y通道高分辨率图像以及cb、cr两个通道的大小为sh×sw的图像，放缩t/s倍，再合并转换成RGB图像，最终得到的放大t倍的高分辨率图像。

相较于现有技术，本发明具有以下有益效果：本发明考虑到已有的基于卷积神经网络的超分辨率算法在对非整数倍超分辨率重建效果不稳定，为保留其优势，通过一种以整数尺度超分辨率为中心的多次缩放方法，与多个基于卷积神经网络的超分辨率方法进行结合，在连续放大尺度超分辨率的性能得到了有效提高，广泛应用于图像和视频处理、计算机视觉等领域。

附图说明

图1为本发明方法的流程框图。

图2是本发明的一实施例的整体方法的实现流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

请参照图1和图2，本发明提供一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，其特征在于，包括以下步骤：

步骤S1：输入大小为h×w的低分辨率图像和放大尺度因子t。

步骤S2：根据输入的放大尺度因子确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍，大小变为sh×sw。

在本实施例中，将基于卷积神经网络的方法所适用的放大尺度因子构成整数尺度集合P＝{p₁,p₂,...,p_n},从中选择最接近t的尺度因子作为最优整数放大尺度因子s，所以最优整数放大尺度因子s计算公式如下：

那么不同范围放大尺度因子t对应的最优整数放大尺度因子s的取值如下：当1＜t≤2.5时，s取值2；当2.5＜t≤3.5时，s取值3；当3.5＜t≤4时，s取值4。然后将低分辨率图像从RGB颜色空间转换到Ycbcr颜色空间，使用双三次插值算法分别对Y、cb、cr三个通道的低分辨率图像放大s倍，大小变为sh×sw。

步骤S3:利用现有的基于卷积神经网络的超分辨率算法的网络模型，对由步骤S2得到的放大图像输入进行特征提取及重建，得到放大了s倍的高分辨率图像。

在本实施例中，准备一个基于卷积神经网络的算法的网络模型，这是一个已训练好的适用于离散整数倍超分辨率的模型，如VDSR、DRRN以及MemNet，本实施例使用的是VDSR网络模型；

将放大图像的Y通道输入到准备好的网络模型，得到尺度因子s所对应的Y通道高分辨率图像，计算公式如下：

是现有网络模型模型搭建的从低分辨率到高分辨率图像的尺度因子为s映射函数，包括由卷积层和线性整流单元激活函数组合而成；所得到的Y通道高分辨率图像大小为sh×sw。

步骤S4:对由步骤S3得到的高分辨率图像，使用双三次插值缩放至目标分辨率，得到最终放大了t倍的高分辨率图像。

在本实施例中，把由步骤S3得到的Y通道高分辨率图像以及cb、cr两个通道的大小为sh×sw的图像，放缩t/s倍，再合并转换成RGB图像，得到最终的放大了t倍的高分辨率图像。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，其特征在于，包括如下步骤：

步骤S1、输入待超分辨率的低分辨率图像和放大尺度因子t，低分辨率图像的大小为h×w；

步骤S2、根据输入的放大尺度因子t确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍，得到放大图像；

步骤S3、利用基于卷积神经网络的超分辨率算法的网络模型，对由步骤S2得到的放大图像进行特征提取及重建，得到放大s倍的高分辨率图像；

步骤S4、对由步骤S3得到的高分辨率图像，使用双三次插值缩放至目标分辨率，最终得到的放大t倍的高分辨率图像。

2.根据权利要求1所述的一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，其特征在于，所述步骤S2具体实现如下：

首先，将适用于基于卷积神经网络的放大尺度因子构成整数尺度集合P＝{p₁,p₂,...,p_n}；

然后，从中选择最接近t的放大尺度因子作为最优整数放大尺度因子s，即最优整数放大尺度因子s计算公式如下：

再而，将低分辨率图像从RGB颜色空间转换到Ycbcr颜色空间，使用双三次插值算法分别对Y、cb、cr三个通道的低分辨率图像放大s倍，大小变为sh×sw。

3.根据权利要求2所述的一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，其特征在于，所述步骤S3具体实现如下：

步骤S31、准备一个适用于离散整数倍超分辨率的模型的基于卷积神经网络算法的网络模型；

步骤S32、将步骤S2得到的放大图像的Y通道图像输入到准备好的网络模型，得到尺度因子s所对应的Y通道高分辨率图像，计算公式如下：

是基于卷积神经网络算法模型搭建的从低分辨率到高分辨率图像的尺度因子为s映射函数，包括由卷积层和线性整流单元激活函数组合而成；所得到的Y通道高分辨率图像大小为sh×sw。

4.根据权利要求3所述的一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，其特征在于，所述步骤S4中，把由步骤S3得到的Y通道高分辨率图像以及cb、cr两个通道的大小为sh×sw的图像，放缩t/s倍，再合并转换成RGB图像，最终得到的放大t倍的高分辨率图像。