CN115082307A - 一种基于分数阶微分方程的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于分数阶微分方程的图像超分辨率方法，首先，将深度神经网络的变换看做分数阶动力学系统，基于系统解决方案自动构建两个相互依赖的密集连接模块；其次，借助两个模块各自的功能，即控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建，完成神经分数阶微分方程网络模型的结构设计，重建超分辨率图像；然后，迭代两个密集连接的模块的循环结构，具有内存效率并且可用于低功耗实际应用；最后，通过分析分数阶微分方程的解决方案的存在性和唯一性，从理论上保证了超分辨率神经分数阶微分方程网络模型的可行性，获得细节更加生动的图像超分辨结果。

Description

一种基于分数阶微分方程的图像超分辨率方法

技术领域

本发明属于图像处理技术领域，具体涉及一种图像超分辨率方法。

背景技术

图像超分辨率已经被广泛应用于医学图像、遥感以及电子消费等领域。单张图像超分辨是其中的一项重要应用。基于深度神经网络的方法因其强大的表达能力而主导了单张图像超分辨的最新进展，该方法专注于使用不同结构的网络对低分辨率图像与其高分辨率图像对应关系(即映射函数)进行建模。文献“Chao Dong,Chen Change Loy, KaimingHe,and Xiaoou Tang.Learning a deep convolutional network for image super-resolution.In Proceedings of the European Conference on Computer Vision(ECCV),pages 184-199.Springer,2014.”和“Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun. Deep residual learning for image recognition.In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pages770-778,June 2016.”是两种具有代表性的结构，它们通常通过逐层顺序变换输入的低分辨率图像来重建所需的高分辨率图像。然而，这两个模型都是瞬态的，即仅根据最后一层的特征图计算当前层的特征图，而没有综合考虑其前一层的信息。受此启发，“Tong Tong,GenLi,Xiejie Liu,and Qinquan Gao.Image super-resolution using dense skipconnections.In Proceedings of the IEEE International Conference on ComputerVision(ICCV),pages 4799-4807,2017.”被提出并用于提高单张图像超分辨性能。通过重用从前一层提取的中间特征和恒等映射，这些方法明显提高了它们的表达能力，并取得了最先进的单张图像超分辨性能。然而，大多数现有的密集连接网络是手动设计的，并且过度依赖实践经验，在数学或物理领域没有理论上的保证，从而导致性能次优。此外，由于深层结构和密集连接，这些方法存在昂贵的内存消耗、缺乏系统理论指导，并且无法扩展到低功耗的实际应用程序。

发明内容

为了克服现有技术的不足，本发明提供了一种基于分数阶微分方程的图像超分辨率方法，首先，将深度神经网络的变换看做分数阶动力学系统，它能够基于系统解决方案自动构建两个相互依赖的密集连接模块，而不是手动设计；其次，借助两个模块各自的功能，即控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建，完成神经分数阶微分方程网络模型的结构设计，重建超分辨率图像；然后，由于迭代计算方式要求两个密集连接的模块都具有循环结构，因此神经分数阶微分方程网络具有内存效率并且可用于低功耗实际应用；最后，通过分析分数阶微分方程的解决方案的存在性和唯一性，从理论上保证了超分辨率神经分数阶微分方程网络模型的可行性，获得细节更加生动的图像超分辨结果。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：对于给定的单张低分辨率图像，用卷积操作对其进行处理，得到特征图p1；

步骤2：给出带有初值条件y₀的连续时间的Caputo导数动力学系统表达式：

其中，y₀表示由低分辨率图像处理得到的特征图p1，α∈(0,1)代表分数阶次；

表示Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别表示Caputo 系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间；

为了离散求解方程(1)，首先给出(1)式对应的分数阶积分方程：

其中Γ(α)是Gamma函数，s表示时间；

步骤3：构建神经分数阶微分方程网络模型，包括粗重建子网络和细重建子网络，对应的网络堆叠方式用数学形式表达为：

粗重建子网络堆叠方式：

其中f(t_j,y_j；θ_f)是由“Conv+PReLU”组成的带有参数θ_f的动力学形式；t_j∈{0...T}，y_j代表在时间j时的系统状态，

代表在时间k+1时的预估状态，b_j,k+1，0<j<k为：

其中，h表示时间步长，大小等于t_j-t_j-1；

细重建子网络堆叠方式：

其中a_j,k+1为：

用粗重建子网络(3)对p1进行特征提取，输出特征p2；再对p2用细重建子网络(4)细化重建粗重建的特征信息结果，输出特征p3；

步骤4：建立由三个卷积层、神经分数阶微分方程网络模型和一个上采样操作组成的超分辨率卷积神经网络，并利用反向传播算法求解L₁范数进行网络优化训练；

所建立的超分辨率卷积神经网络的结构依次为：

第一层卷积层，输出空间的维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p1；

神经分数阶微分方程网络由粗重建子网络和细重建子网络组成，输出结果为p3；

第二层卷积层，输出空间维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p4；

将第一层卷积的输出与第二层卷积的输出进行跳跃连接，输出结果为p5；

再进行上采样操作，采用的是双线性插值，输出结果为p6；

最后是第三层卷积层，输出空间维度为输入数据的空间维度，得到复原的高分辨率图像p7。

本发明的有益效果如下：

本发明方法将超分辨率深度神经网络模型变换看作一种分数阶动态系统的状态演化，这使能够基于系统解决方案自动构建两个相互依赖的密集连接模块，而不是手动设计。上述两个模块分别是控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建。以这两个模块为骨干，本发明方法为单张图像超分辨建立了一个基于分数阶微分方程的网络模型。由于迭代计算方式需要两个密集连接的模块作为循环结构，神经分数阶微分方程网络具有内存效率和可扩展到低功耗实际应用程序。此外，本发明方法分析了分数阶微分方程解的存在性和唯一性，从理论上保证了超分辨率神经分数阶微分方程网络模型的可行性。最后，本发明为单张图像超分辨的网络模型提供了系统理论指导。

具体实施方式

下面结合和实施例对本发明进一步说明。

一种基于分数阶微分方程的图像超分辨率方法，包括如下步骤：

步骤1：对于给定的单张低分辨率图像，用卷积操作对其进行处理，得到特征图p1；

步骤2：给出带有初值条件y₀的连续时间的Caputo导数动力学系统表达式：

其中，y₀表示由低分辨率图像处理得到的特征图p1，α∈(0,1)代表分数阶次；

表示Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别表示Caputo 系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间；

为了离散求解方程(1)，首先给出(1)式对应的分数阶积分方程：

其中Γ(α)是Gamma函数；

步骤3：构建神经分数阶微分方程网络模型，超分辨率卷积神经网络的核心部分是神经分数阶微分方程模块，包括粗重建子网络和细重建子网络，对应的网络堆叠方式用数学形式表达为：

粗重建子网络堆叠方式：

其中f(t_j,y_j；θ_f)是由“Conv+PReLU”组成的带有参数θ_f的动力学形式；t_j∈{0...T}，y_j代表在时间j时的系统状态，

代表在时间k+1时的预估状态，b_j,k+1，0<j<k为：

细重建子网络堆叠方式：

其中a_j,k+1为：

用粗重建子网络(3)对p1进行特征提取，输出特征p2；再对p2用细重建子网络(4)细化重建粗重建的特征信息结果，输出特征p3；

步骤4：建立由三个卷积层、神经分数阶微分方程网络模型和一个上采样操作组成的超分辨率卷积神经网络，并利用反向传播算法求解L₁范数进行网络优化训练；

所建立的超分辨率卷积神经网络的结构依次为：

第一层卷积层，输出空间的维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p1；

神经分数阶微分方程网络由粗重建子网络和细重建子网络组成，输出结果为p3；

第二层卷积层，输出空间维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p4；

将第一层卷积的输出与第二层卷积的输出进行跳跃连接，输出结果为p5；

再进行上采样操作，采用的是双线性插值，输出结果为p6；

最后是第三层卷积层，输出空间维度为输入数据的空间维度，得到复原的高分辨率图像p7。

具体实施例：

1、数据集设置

对于给定的低分辨率图像(以DIV2K数据集为例)，该发明方法在不同上采样因子上将DIV2K数据集的第1-800张图像输入到网络中进行训练，在相应上采样因子上对四个基准数据集(Set5，Set14，B100和Urban100)进行测试。

2、分数阶动力学系统

神经分数阶微分方程网络的核心内容是分数阶微分方程的引用以及设计，因此，首先给出带有初值条件y₀(这里指代由低分辨率图像处理得到的特征图p1)的连续时间的Caputo导数动力学系统表达式：

其中α∈(0,1)是分数阶次，取值取决于任务；

代表Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别代表Caputo系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间。为了离散求解方程(7)，我们首先给出(7)式对应的分数阶积分方程

3、分数阶微分方程耦合深度学习的思想

为了将分数阶微分方程(8)融合到卷积神经网络进行超分辨率应用，需要将方程(2)数学上的求解分为方程(9)和(11)两式进行网络设计。神经分数阶微分方程网络模型的核心部分神经分数阶微分方程网络模块：粗重建子网络(9)和细重建子网络(11)，这两个子网络对应的网络堆叠方式可用数学形式表达为：

粗重建子网络堆叠形式：

其中f(t_j,y_j；θ_f)是由“Conv+PReLU”组成的带有参数θ_f的动力学形式；t_j∈{0...T}，y_k,

分别代表在时间k时的系统状态和预估状态，b_j,k+1为

细重建子网络堆叠方式：

其中a_j,k+1分别为

借助两个模块各自的功能，即控制系统迭代预测下一个状态的粗重建模块，以及迭代细化预测状态以提高预测精度的细重建模块，进行图像超分辨神经分数阶微分方程网络结构的设计。

4、单张图像超分辨的分数阶微分方程网络结构

给定卷积神经网络耦合分数阶动力学系统的思想后，需要设计特定的超分辨模型，进行训练。由于卷积神经网络将特征提取和图像超分辨上采样操作融合到一个框架，具有较好的超分辨性能，而分数阶微分方程能够为网络结构设计提供系统理论指导。因此，本发明建立基于分数阶微分方程的密集神经网络结构进行单张图像超分辨，第一层卷积层，输出空间的维度为64，卷积窗口的大小为3，卷积步长为1， padding设置为0，输出结果为p1；神经分数阶微分方程网络由预估子网络和校正子网络组成，见步骤3，输出结果为p3；第二层卷积层，输出空间维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p4；将第一层卷积的输出与第二层卷积的输出进行跳跃连接，输出结果为p5；上采样操作采用的是双线性插值，输出结果为p6；第三层卷积层，输出空间维度为输入数据的空间维度，得到复原图像 p7。

在四个单张图像超分辨基准数据集上的实验证明了神经分数阶微分方程网络在泛化能力方面优于现有的密集连接和其他基线模型。本发明方法在参数量小于0.5M(单位：百万)的情况下，上采样因子为2时，峰值信噪比指标可提高0.5dB；上采样因子为3时，峰值信噪比指标可提高0.3dB；上采样因子为4时，峰值信噪比指标可提高 0.3dB。

Claims (1)

1.一种基于分数阶微分方程的图像超分辨率方法，其特征在于，包括如下步骤：

步骤1：对于给定的单张低分辨率图像，用卷积操作对其进行处理，得到特征图p1；

步骤2：给出带有初值条件y₀的连续时间的Caputo导数动力学系统表达式：

其中，y₀表示由低分辨率图像处理得到的特征图p1，α∈(0,1)代表分数阶次；

表示Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别表示Caputo系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间；

为了离散求解方程(1)，首先给出(1)式对应的分数阶积分方程：

其中Γ(α)是Gamma函数，s表示时间；

步骤3：构建神经分数阶微分方程网络模型，包括粗重建子网络和细重建子网络，对应的网络堆叠方式用数学形式表达为：

粗重建子网络堆叠方式：

其中f(t_j,y_j；θ_f)是由“Conv+PReLU”组成的带有参数θ_f的动力学形式；t_j∈{0...T}，y_j代表在时间j时的系统状态，

代表在时间k+1时的预估状态，b_j,k+1，0<j<k为：

其中，h表示时间步长，大小等于t_j-t_j-1；

细重建子网络堆叠方式：

其中a_j,k+1为：

用粗重建子网络(3)对p1进行特征提取，输出特征p2；再对p2用细重建子网络(4)细化重建粗重建的特征信息结果，输出特征p3；

步骤4：建立由三个卷积层、神经分数阶微分方程网络模型和一个上采样操作组成的超分辨率卷积神经网络，并利用反向传播算法求解L₁范数进行网络优化训练；

所建立的超分辨率卷积神经网络的结构依次为：

第一层卷积层，输出空间的维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p1；

神经分数阶微分方程网络由粗重建子网络和细重建子网络组成，输出结果为p3；

第二层卷积层，输出空间维度为64，卷积窗口的大小为3，卷积步长为1，padding设置为0，输出结果为p4；

将第一层卷积的输出与第二层卷积的输出进行跳跃连接，输出结果为p5；

再进行上采样操作，采用的是双线性插值，输出结果为p6；

最后是第三层卷积层，输出空间维度为输入数据的空间维度，得到复原的高分辨率图像p7。