CN109389552B

CN109389552B - 一种基于上下文相关多任务深度学习的图像超分辨算法

Info

Publication number: CN109389552B
Application number: CN201710652936.6A
Authority: CN
Inventors: 林倞; 施煜锴; 陈崇雨; 王可泽; 成慧
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2023-03-28
Anticipated expiration: 2037-08-02
Also published as: CN109389552A

Abstract

本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。

Description

一种基于上下文相关多任务深度学习的图像超分辨算法

技术领域

本发明涉及数字图像处理领域，更具体地，涉及一种基于上下文相关多任务深度学习的图像超分辨算法。

背景技术

图像超分辨是一种通过计算的方式让图像的分辨率得到提升的技术，可以广泛用于视频监控和医学影像分析等领域。单幅图像超分辨算法要解决的问题是，当输入只有单幅图像时，如何提升图像的分辨率。这个问题是图像处理领域中的一个基本问题，也是一个必要问题。

传统的解决方案可以划分为基于重建的算法、基于样例的方法和基于插值的方法。基于重建的方法是把高分辨率(HR)图像和低分辨率(LR)图像之间的关系用一个作用于全图的卷积核进行建模，在给的卷积核估计值的情况下通过求解逆问题得到清晰的HR图像。然而，这些方法通常会由于卷积核估计的不准确而造成HR图像中的环状瑕疵。基于样例的方法想通过引入图像自身或者外部图像中的图像块作为样例，实现了在高放大倍数情况下的图像超分辨。此类方法在图像恢复时需要利用图像块之间的相似信息，当LR图像中不存在足够的相似图像块时，极有可能会由于图像块的不相似而引入一些不必要的虚假细节。基于插值的方法通过精细设计的插值核函数来提升图像的分辨率。然而，无论是预先定义的核函数(例如双线性插值)还是自适应的核函数，都难以应对图像内容的多种变化。当图像的结构与核函数的定义不一致的时候，会造成图像结构的模糊。

近年来，由于深度学习在各种计算机视觉任务重的巨大成功，人们开始将深度神经网络用于图像超分辨问题中。一种常见的做法就是利用全卷积网络建立LR图像和HR图像之间的映射关系，以最小化网络输出图像和真实的HR图像之间的均方误差为目标来训练神经网络。此类方法虽然在图像超分辨的质量上获得了较大的提升，但是也会产生一些结构不一致的瑕疵。其主要原因是以均方误差最小化为代价函数的神经网络难以捕捉人类视觉系统中更敏感的结构变化。近期的图像超分辨算法试图通过引入基于特征的感知误差函数来缓解这一问题，然而此类方法虽然在超分辨图像上得到了更高的视觉感知质量，但是也会引入一些不真实的图像细节。

发明内容

本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法可实现用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。

为了达到上述技术效果，本发明的技术方案如下：

一种基于上下文相关多任务深度学习的图像超分辨算法，包括以下步骤：

S1：收集图像数据；

S2：建立神经网络模型；

S3：利用收集图像数据对所建立的神经网络模型进行训练；

S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。

进一步地，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。

进一步地，所述步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层提高，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图。

进一步地，所述步骤S3的过程如下：

S31：从图像数据中筛选出低分辨率图像，高分辨率图像，边缘图像；

S32：将低分辨率图像输入基本图像估计网络和边缘估计网络，得到对应的超分辨后的图像结果和边缘图像；

S33：将网络输出的结果和高分辨率图像与手工标注边缘图像进行计算，并利用计算结果更新网络的参数；

S34：当基本图像估计网络和边缘估计网络收敛以后，将参数固定；

S35：利用基本图像估计网络估计残差图，并作为残差估计网络的目标更新残差估计网络参数；

S36：当残差估计网络收敛以后，将参数固定；

S37：将残差网络输出与基本图像估计网络输出融合，得到高分辨率图像。

进一步地，所述步骤S 4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。

与现有技术相比，本发明技术方案的有益效果是：

本发明设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。

附图说明

图1为本发明实施例中神经网络结构示意图；

图2为本发明和SRCNN、SCN、ShCNN方法在“蝴蝶”图像上的超分辨视觉效果对比；

其中，图2(a)位SRCNN算法的效果图，图2(b)为SCN算法的效果图，图2(c)为ShCNN算法的效果图，图2(d)为本发明算法的效果图，图2(e)为理想效果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种用于静态图像超分辨的上下文相关多任务深度学习方法，包括以下步骤：

S1：收集图像数据；

S2：建立神经网络模型；

S3：利用收集图像数据对所建立的神经网络模型进行训练；

步骤S1中，训练数据由三部分组成，即HR图像、HR图像对应的边缘图像和HR图像对应的LR图像。其中，HR图像对应的边缘图像是二值图像，可以由边缘检测算法给出，也可以由人工标记给出。边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。假设LR图像的分辨率是h×w，HR图像的分辨率是H×W，则训练好的网络只可用于将分辨率为h×w的输入LR图像的分辨率提升至H×W。

进一步地，所述步骤S2中，神经网络模型的总体结构如附图1所示，主要由三个部分组成。第一个部分由4个卷积层组成，其滤波器数量逐层底层，主要用于提取图像的多尺度特征；第二部分由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出期望的特征图和初步的HR图；第三部分也是由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出残差图。第二部分的网络同时输出边缘图和初步的HR图，这样的设计可以在初步的HR图加入上下文相关的边缘信息，有助于获得保持边缘结构的初步HR图。而第三部分残差上下文相关网络(RCN)的目标是输出初步HR图与理想HR图之间的残差，所得到的残差将与初步的HR图进行融合，得到最终的HR图。由于所设计的神经网络有多个输出，因此可以称之为一个多任务的神经网络。以将128×128的输入LR图像分辨率提升至370×370为例，各层网络的具体设置如下表所示。注意，当输入和输出图像分辨率改变时，只需要修改反卷积层的步长(stride)即可。

表1：所提神经网络各层的参数设置

层类型	卷积	卷积	卷积	卷积	卷积	反卷积	卷积	卷积	反卷积	卷积
											滤波器尺寸	5×5	3×3	3×3	1×1	3×3	11×11	3×3	3×3	11×11	3×3
滤波器数量	16	32	128	8	12	8	2	12	8	1
											特征图边长	128	124	124	124	372	372	370	372	372	370
参数数量	400	4608	36864	1024	864	7744	216	864	7744	108

步骤S3中，利用S1中的训练数据对所建立的神经网络模型进行训练的伪代码如下：

用W来表示所设计网络的所有参数。由于网络结构的特性，我们可以将其划分为四个不重叠的部分分别进行更新，即W＝{Ws,Wh,Wb,Wd}，其中Ws是反卷积层的参数，用于内容自适应的图像插值，Wd代表RCN的网络参数，W_h代表用于产生初步HR图的网络参数，W_b代表用于产生边缘图的网络参数，f_h(·)表示用网络重建初步HR图的非线性过程，f_b(·)表示用网络产生边缘图的非线性过程，f_d(·)表示用网络产生初步HR图和理想HR图之间的残差的过程。算法的参数T为正整数，用于控制从训练集中随机选取子集的次数。

步骤S4中，将训练好的神经网络用于处理新的输入LR图像时，要求输入的LR图像要先经过图像裁剪或者下采样等预处理操作，使得输入的LR图像分辨率与网络训练时所采用的LR图像分辨率一致。LR图像输入本发明所设计的神经网络之后，经过卷积和加权平均等各种操作，会输出HR边缘图I_b＝f_b(W_s,W_b,I'_l ⁱ)、初步的HR图像I_h＝f_h(W_s,W_h,I'_l ⁱ)和HR残差图I_d＝f_d(W_s,W_d,I'_l ⁱ)，其中I_h和I_d将通过线性叠加的方式进行融合，得到最终的HR图像。

以将低分辨率的图像放大3倍为例，并和其他代表性的基于深度神经网络的方法(包括SRCNN、SCN和ShCNN)在标准数据集BSD500、Set5和Set14上进行对比：

1)、将包含500幅图像的BSD500数据集划分为包含300幅图像的训练集BSD300和包含200幅图像的测试集BSD200，将BSD200中的HR图像进行尺度为1/3的下采样，得到对应的LR图像。200幅LR图像、200幅HR图像和对应的200张HR边缘图共同构成了训练数据集。注意其他方法可能不需要HR边缘图作为训练数据。

2)、利用上述训练样本，在所提的上下文相关多任务学习框架下对所提的深度神经网络进行训练，网络参数设计如表1所示。

3)、利用训练好的网络，根据步骤S4对输入的图像进行超分辨实验，分别在Set5、Set14和BSD200数据集上的平均量化结果如表2所示，视觉对比效果如附图2所示。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，包括以下步骤：

S1：收集图像数据；步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘；

S2：建立神经网络模型；步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层提高，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图；

S3：利用收集图像数据对所建立的神经网络模型进行训练；

2.根据权利要求1所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，步骤S3的过程如下：

S36：当残差估计网络收敛以后，将参数固定；

3.根据权利要求2所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，步骤S4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。