CN110599403B - 一种具有良好高频视觉效果的图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种具有良好高频视觉效果的图像超分辨率重建方法，与现有技术相比解决了重建图像高频视觉效果差的缺陷。本发明包括以下步骤：构造并训练图像超分辨率重建网络模型；待处理图像的获取；超分辨率重建结构的获得。本发明提高了图像的质量和视觉效果，解决了现有技术重建图像时得到的图像在高频细节、纹理和在视觉上不够好或者边缘模糊的缺陷。

Description

一种具有良好高频视觉效果的图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，具体来说是一种具有良好高频视觉效果的图像超分辨率重建方法。

背景技术

近年来，随着图像处理技术飞跃式的发展，人们对高质量、高分辨率图像的需求也随之越来越大，图像超分辨率重建技术已然成为图像处理领域中研究的热点方向。目前，商业软件中所提供的重建方法采用的是经典的线性插值方法，如PHOTOSHOP、Firework、Soft等。这些软件所使用的方法简单并且快速，但是由于采用的线性插值技术，所以在重建图像的边缘会出现马赛克、锯齿状等各种失真的现象。

在图像超分辨率重建方面，已有较多不同的策略，但是这些方法仍存在很多待处理问题和缺陷，比如执行时间长、执行条件有限和纹理特征不够突出等各种问题，故不能用于实际的应用中。也有部分技术提出，利用深度学习技术进行图像的超分辨率重建，也取得了一定的效果。但是，这些技术多侧重传统的深度学习技术在超分辨率重建中的直接套用，以此克服插值方法的缺陷，未从图像处理角度考虑如何提高重建效果，以至于重建后的图像在高频部分仍存在细节纹理的偏差，特别是放大倍数更高时，保真度较差。

因此，如何提高超分辨率重建图像的高频视觉效果已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中重建图像高频视觉效果差的缺陷，提供一种具有良好高频视觉效果的图像超分辨率重建方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种具有良好高频视觉效果的图像超分辨率重建方法，包括以下步骤：

构造并训练图像超分辨率重建网络模型：构建图像超分辨率重建网络模型，利用标准训练集中的图像对图像超分辨率重建网络模型进行训练；

待处理图像的获取：获取待处理的图像I；

超分辨率重建结构的获得：将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再送入第二层、第三层、第四层进行重建，得到最终的超分辨率图像O。

所述的构造并训练图像超分辨率重建网络模型包括以下步骤：

设定图像超分辨率重建网络模型为四层结构，第一层为预处理放大层、第二层为特征提取层、第三层为非线性映射层、第四层为融合配对层，其中第二层、第三层、第四层均为卷积层；

对标准图像库{R₁,R₂,…R₉₁}中的图像进行随机裁剪，得到24800幅大小为 32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}；

将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练。

所述超分辨率重建结构的获得包括以下步骤：

获取训练好的卷积神经网络模型中的映射{F₁,F₂,F₃}和对应的偏差{B₁,B₂,B₃}；

将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再经过第二层特征提取、第三层非线性映射和第四层融合配对的执行及相对应每步的映射{F₁,F₂,F₃}和对应的卷积基{B₁,B₂,B₃}来得到一个超分辨率的图像O。

所述的将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练包括以下步骤：

对图像集{R′₁,R′₂,…R′₂₄₈₀₀}进行降采样，缩小k倍后得到图像集 {R″₁,R″₂,…R″₂₄₈₀₀}；

对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍，得到预处理放大的图像集

对预处理放大后的低分辨率图像集

提取图像块，每个图像块表示为一个高维的向量，对于输入的预处理后的图像集

中某一个图像

表示为Y；计算映射F₁＝max(0,W1*Y+B1)，这里W1、B1分别表示滤波器、偏差，Y表示输入的低分辨率图像，W1的大小为9×9，滤波器个数为64，滤波器空域尺寸为9×9，B1是一个64维的向量；

将抽取出的64维向量映射到32维，即计算F₂＝max(0,W2*F₁+B2)，这里 W2为滤波器，B2为偏差，其中W2的大小为1×1，滤波器个数为32，B2是一个32维的向量；

将得到的32维向量卷积处理得到第四层的映射结果，

即计算F₃＝W3*F₂+B3，这里W3为滤波器，B3是一个偏差，其中W3的大小为5×5，滤波器个数为1，B3是一个1维向量；

获取最优值，将重建后的图像

和原始高分辨率图像集 {R′₁,R′₂,…R′₂₄₈₀₀}进行评估，当重建后的图像最接近原始图像时，对应的滤波和偏差为最优，即采用最小化损失函数和Nadam方法来得到最优的滤波 {W1,W2,W3}和卷积基{B1,B2,B3}。

所述的最小化损失函数包括以下步骤：

其中

是重建后的图像集

中的任意一个，R′_i是原始高分辨率图像集{R′₁,R′₂,…R′₂₄₈₀₀},Θ＝{W₁,W₂,W₃,B1,B2,B3}。

所述的Nadam方法计算过程如下：

m_t＝μm_t-1+(1-μ)g_t，

其中，

为全微分，f(Θ_t-1)为F函数关于卷积网络参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的一部分，

t＝1,2,3μ₁＝0.0001，μ₂＝0.001，μ₃＝0.01，v为{v₁,v₂,v₃}的平均值， v₁＝0.005，v₂＝0.02，v₃＝0.23，m_t和n_t分别是对梯度的一阶矩估计和二阶矩估计，

和

是对m_t和n_t的校正，{B1,B2,B3}初始值为0,{W1,W2,W3}初始值取0均值，偏差为0.001的高斯分布或者初始值为单位矩阵。

使用连分式插值技术对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍，其具体步骤如下：

求出输入图像I(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将I(x,y)扩展为(m+1)×(n+1)的图像I₁(x,y)，保证放大的图像边界保持良好；

根据图像的块特征，按照从上到下，从左到右的顺序，将图像分块处理，分别构造出3×3的向量控制网格V^m×n，矩阵大小为m×n；

用

表示拓展后图像的第i行第j列像素的灰度值向量；

构造一个二元向量有理函数

满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面；

根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。

有益效果

本发明的一种具有良好高频视觉效果的图像超分辨率重建方法，与现有技术相比提高了图像的质量和视觉效果，解决了现有技术重建图像时得到的图像在高频细节、纹理和在视觉上不够好或者边缘模糊的缺陷。

本发明利用神经网络模型能得到很好的图像重建效果；利用连分式插值可以保留图像更多的高频细节和纹理，更符合人类眼睛的视觉机制；整个超分辨率重建过程，先利用连分式插值做了放大处理，然后采用神经网络模型进行训练，可以让卷积神经网络学习到更多的纹理细节，从而产生了更优的重建效果。

附图说明

图1为本发明的方法顺序图；

图2a为现有技术中的待处理图像；

图2b为图2a利用传统的SRCNN方法重建后的图像；

图2c为图2a利用本发明所述方法重建后的图像；

图3a为现有技术中的待处理图像；

图3b为图3a利用利用传统的SRCNN方法重建后的图像；

图3c为图3a利用本发明所述方法重建后的图像。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种具有良好高频视觉效果的图像超分辨率重建方法，包括以下步骤：

第一步，构造并训练图像超分辨率重建网络模型。构建图像超分辨率重建网络模型，利用标准训练集中的图像对图像超分辨率重建网络模型进行训练。

为了能够实现较好的高频视觉效果，首先在图像训练源头上考虑获得高纹理图像。鉴于连分式插值技术在处理图像方面具有良好的视觉效果，同时能很好的保留图像的纹理细节，因而采用了连分式插值技术来对训练图像进行高采样处理。由于连分式理论作为一种插值技术，跟卷积神经网络模型有很大的差异性，在此将连分式理论融合进卷积神经网络框架中存在一定的技术难度，其并不是简单的处理叠加，要将连分式技术融入到网络模型中，这种模型的结合在图像超分辨率处理中具有很大的创新性。其具体步骤如下：

(1)设定图像超分辨率重建网络模型为四层结构，第一层为预处理放大层、第二层为特征提取层、第三层为非线性映射层、第四层为融合配对层，其中第二层、第三层、第四层均为卷积层。将图像超分辨率重建网络模型设为四层，不仅避免了因为网络层数多、速度慢的问题；还巧妙地实现了将连分式理论与卷积神经网络相融合。

(2)为了保障图像重建算法的实用性和鲁棒性，同时加快算法的运行效率，采用了图像块进行处理，因而对标准图像库{R₁,R₂,…R₉₁}中的图像进行了随机裁剪，得到24800幅大小为32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}。

(3)将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练。在训练过程中，首先采用了连分式插值技术进行了放大处理，再对放大处理后的图像集采用三层卷积操作进行重建。为了将连分式插值技术跟神经网络卷积模型结合起来获得最优的滤波器和卷积基，采用了最小化损失函数和Nadam方法相结合来获取最优值。

将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练包括以下步骤：

A1)为了对最终获得的重建图像跟原始图像有个比对和参考，对图像集 {R′₁,R′₂,…R′₂₄₈₀₀}进行降采样，缩小k倍(k一般取2或3或4)后得到图像集 {R″₁,R″₂,…R″₂₄₈₀₀}。

A2)对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍(k 一般取2或3或4)，得到预处理放大的图像集

图像放大的技术较多，目前用于深度学习技术中的都采用三次插值技术，通过大量的实验验证，三次插值技术用于图像训练后丢失了图像的大量细节，从而造成最后重建的图像效果较差，而图像的纹理细节对图像的质量和整体的视觉效果影响很大。虽然目前有很多其他的技术方法，但是大部分对图像不具有普适性，或者运行效率低等缺陷，因而在此优选采用连分式插值技术对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍。

为了达到最优的重建效果，需要从众多的连分式插值函数中选择一个适用于神经网络框架的并且能保留图像纹理细节的插值函数，经过了多项实验验证和比对，最终选取了二元Newton-Thiele有理插值函数，该二元有理插值函数符合图像二维处理，也适用于神经网络架构中卷积核的二维操作。其具体步骤如下：

A21)求出输入图像I(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行， y(1≤y≤n)为列；将I(x,y)扩展为(m+1)×(n+1)的图像I₁(x,y)，保证放大的图像边界保持良好；

A22)根据图像的块特征，按照从上到下，从左到右的顺序，将图像分块处理，分别构造出3×3的向量控制网格V^m×n，矩阵大小为m×n；

用

表示拓展后图像的第i行第j列像素的灰度值向量；

A23)构造一个二元向量有理函数

满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面；

A24)根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。

A3)对预处理放大后的低分辨率图像集

提取图像块，每个图像块表示为一个高维的向量。每个图像块表示为一个高维的向量，每一个向量包含了一系列特征地图，这些特征地图由滤波器W1作用在图像块上而得到。

对于输入的预处理后的图像集

中某一个图像

表示为Y；计算映射F₁＝max(0,W1*Y+B1)，这里W1、B1分别表示滤波器、偏差，Y表示输入的低分辨率图像，W1的大小为9×9，滤波器个数为64，滤波器空域尺寸为 9×9，B1是一个64维的向量。

A4)进行非线性映射，将一个高维向量映射到另一个高维向量中，这些向量组成了另一个特征图的集合，由第一层的结果结合滤波器W2而得到。

将抽取出的64维向量映射到32维，即计算F₂＝max(0,W2*F₁+B2)，这里 W2为滤波器，B2为偏差，其中W2的大小为1×1，滤波器个数为32，B2是一个32维的向量。

A5)进行融合配对(称为第三层卷积层)，将高维向量对应的图像块融合在一起，做一个基准配对。将得到的32维向量卷积处理得到第四层的映射结果，即计算F₃＝W3*F₂+B3，这里W3为滤波器，B3是一个偏差，其中W3的大小为5×5，滤波器个数为1，B3是一个1维向量。

A6)获取最优值，将重建后的图像

和原始高分辨率图像集 {R′₁,R′₂,…R′₂₄₈₀₀}进行评估，当重建后的图像最接近原始图像时，对应的滤波和偏差为最优，即采用最小化损失函数和Nadam方法来得到最优的滤波 {W1,W2,W3}和卷积基{B1,B2,B3}。

机器学习、神经网络领域的关键技术创新在于模型构造和训练过程，主要在于训练过程的创新。好的训练过程方法能够训练出鲁棒性强、性能优势的模型，其也基于模型的属性而言的特殊技术设计。在此，为了将连分式插值技术跟神经网络卷积模型有效结合起来，其并不是简单联想出连分式插值技术输出结果后直接输入神经网络卷积模型的技术思路，而是需要通过最小化损失函数和Nadam方法的结合获得最优的滤波器和卷积基。

最小化损失函数包括以下步骤：

其中

是重建后的图像集

中的任意一个，R′_i是原始高分辨率图像集{R′₁,R′₂,…R′₂₄₈₀₀},Θ＝{W₁,W₂,W₃,B1,B2,B3}。

Nadam方法计算过程如下：

m_t＝μm_t-1+(1-μ)g_t，

其中，

为全微分，f(Θ_t-1)为F函数关于卷积网络参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的一部分，

t＝1,2,3μ₁＝0.0001，μ₂＝0.001，μ₃＝0.01，v为{v₁,v₂,v₃}的平均值， v₁＝0.005，v₂＝0.02，v₃＝0.23，m_t和n_t分别是对梯度的一阶矩估计和二阶矩估计，

和

是对m_t和n_t的校正，{B1,B2,B3}初始值为0,{W1,W2,W3}初始值取0均值，偏差为0.001的高斯分布或者初始值为单位矩阵。

第二步，待处理图像的获取：获取待处理的图像I。

第三步，超分辨率重建结构的获得：将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再送入第二层、第三层、第四层进行重建，得到最终的超分辨率图像O。其具体步骤如下：

(1)获取训练好的卷积神经网络模型中的映射{F₁,F₂,F₃}和对应的偏差 {B₁,B₂,B₃}；

(2)将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再经过第二层特征提取、第三层非线性映射和第四层融合配对的执行及相对应每步的映射{F₁,F₂,F₃}和对应的卷积基 {B₁,B₂,B₃}来得到一个超分辨率的图像O。

如图2a、3a所示，分别为输入的低分辨率图像，图2b、3b分别为采用 SRCNN方法放大3倍和2倍后的图像(即经典的深层卷积网络的图像超分辨率方法，具体详见文献[1]([1]Chao Dong,Chen Change Loy,Kaiming He,and Xiaoou Tang,Learning a DeepConvolutional Network for Image Super-resolution,ECCV 2014,1-16,2014.)图2c、3c分别为采用本发明的方法放大3倍和2倍后的图像。

从图2b、3b可以看到使用SRCNN方法放大后的图像基本能保持图像的视觉效果，但是图像的纹理保持的不够好，而从图2c、3c可以看到本发明的方法能更好的处理细节和边界部分，保持更好的视觉效果。比如图2c中帽子的纹理细节相比于图2b要清晰，图3c中小女孩头发卷曲的纹理和边界以及脸上的斑点都比图3b中呈现的细节更明显，这就是因为本发明采用了连分式和神经网络相融合之后，使得图像的纹理保持的更好，边界更清晰的结果。

从客观角度出发进行比较可以发现，

根据公式

这里m×n为矩阵的大小，max＝255，f(i,j)为原始图像，

为放大后的图像，利用此公式计算出峰值信噪比PSNR的值。峰值信噪比越大，表明重建后的图像和原始图像越接近，即重建的图像视觉效果越好，分辨率越高。

表1图2a、图3a使用SRCNN方法和本发明方法的峰值信噪比的对比表

表1为图2a、图3a使用SRCNN方法和本发明方法的峰值信噪比的对比表，如表1所示，从放大后的图像的峰值信噪比的比较可以发现，本发明的方法相比现有技术的方法在处理不同尺度放大物体时都能保证峰值信噪比要高的多，图像的分辨率和质量更高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种具有良好高频视觉效果的图像超分辨率重建方法，其特征在于，包括以下步骤：

11)构造并训练图像超分辨率重建网络模型：构建图像超分辨率重建网络模型，利用标准训练集中的图像对图像超分辨率重建网络模型进行训练；

所述的构造并训练图像超分辨率重建网络模型包括以下步骤：

121)设定图像超分辨率重建网络模型为四层结构，第一层为预处理放大层、第二层为特征提取层、第三层为非线性映射层、第四层为融合配对层，其中第二层、第三层、第四层均为卷积层；

122)对标准图像库{R₁,R₂,…R₉₁}中的图像进行随机裁剪，得到24800幅大小为32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}；

123)将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练；

12)待处理图像的获取：获取待处理的图像I；

13)超分辨率重建结构的获得：将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再送入第二层、第三层、第四层进行重建，得到最终的超分辨率图像O；所述超分辨率重建结构的获得包括以下步骤：

131)获取训练好的卷积神经网络模型中的映射{F₁,F₂,F₃}和对应的偏差{B₁,B₂,B₃}；

132)将待处理的图像I输入训练后的图像超分辨率重建网络模型，经过第一层放大k倍后得到中间图像I′，再经过第二层特征提取、第三层非线性映射和第四层融合配对的执行及相对应每步的映射{F₁,F₂,F₃}和对应的卷积基{B₁,B₂,B₃}来得到一个超分辨率的图像O。

2.根据权利要求1所述的一种具有良好高频视觉效果的图像超分辨率重建方法，其特征在于，所述的将32×32的图像集{R′₁,R′₂,…R′₂₄₈₀₀}输入图像超分辨率重建网络模型进行训练包括以下步骤：

21)对图像集{R′₁,R′₂,…R′₂₄₈₀₀}进行降采样，缩小k倍后得到图像集{R″₁,R″₂,…R″₂₄₈₀₀}；

22)对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍，得到预处理放大的图像集

23)对预处理放大后的低分辨率图像集

提取图像块，每个图像块表示为一个高维的向量，对于输入的预处理后的图像集

中某一个图像

表示为Y；计算映射F₁＝max(0,W1*Y+B1)，这里W1、B1分别表示滤波器、偏差，Y表示输入的低分辨率图像，W1的大小为9×9，滤波器个数为64，滤波器空域尺寸为9×9，B1是一个64维的向量；

24)将抽取出的64维向量映射到32维，即计算F₂＝max(0,W2*F₁+B2)，这里W2为滤波器，B2为偏差，其中W2的大小为1×1，滤波器个数为32，B2是一个32维的向量；

25)将得到的32维向量卷积处理得到第四层的映射结果，

即计算F₃＝W3*F₂+B3，这里W3为滤波器，B3是一个偏差，其中W3的大小为5×5，滤波器个数为1，B3是一个1维向量；

26)获取最优值，将重建后的图像

和原始高分辨率图像集{R′₁,R′₂,…R′₂₄₈₀₀}进行评估，当重建后的图像最接近原始图像时，对应的滤波和偏差为最优，即采用最小化损失函数和Nadam方法来得到最优的滤波{W1,W2,W3}和卷积基{B1,B2,B3}。

3.根据权利要求2所述的一种具有良好高频视觉效果的图像超分辨率重建方法，其特征在于，所述的最小化损失函数包括以下步骤：

其中

是重建后的图像集

中的任意一个，R′_i是原始高分辨率图像集{R′₁,R′₂,…R′₂₄₈₀₀},Θ＝{W₁,W₂,W₃,B1,B2,B3}。

4.根据权利要求2所述的一种具有良好高频视觉效果的图像超分辨率重建方法，其特征在于，所述的Nadam方法计算过程如下：

m_t＝μm_t-1+(1-μ)g_t，

其中，

为全微分，f(Θ_t-1)为F函数关于卷积网络参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的一部分，

t＝1,2,3μ₁＝0.0001，μ₂＝0.001，μ₃＝0.01，v为{v₁,v₂,v₃}的平均值，v₁＝0.005，v₂＝0.02，v₃＝0.23，m_t和n_t分别是对梯度的一阶矩估计和二阶矩估计，

和

是对m_t和n_t的校正，{B1,B2,B3}初始值为0,{W1,W2,W3}初始值取0均值，偏差为0.001的高斯分布或者初始值为单位矩阵。

5.根据权利要求2所述的一种具有良好高频视觉效果的图像超分辨率重建方法，其特征在于：使用连分式插值技术对降采样的图像系列{R″₁,R″₂,…R″₂₄₈₀₀}中的每一个图像依次放大k倍，其具体步骤如下：

51)求出输入图像I(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将I(x,y)扩展为(m+1)×(n+1)的图像I₁(x,y)，保证放大的图像边界保持良好；

52)根据图像的块特征，按照从上到下，从左到右的顺序，将图像分块处理，分别构造出3×3的向量控制网格V^m×n，矩阵大小为m×n；

用

表示拓展后图像的第i行第j列像素的灰度值向量；

53)构造一个二元向量有理函数

满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面；

54)根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。

Images