CN115829834A - 基于半耦合深度卷积字典学习的图像超分辨率重建方法 - Google Patents

基于半耦合深度卷积字典学习的图像超分辨率重建方法 Download PDF

Info

Publication number
CN115829834A
CN115829834A CN202211133791.6A CN202211133791A CN115829834A CN 115829834 A CN115829834 A CN 115829834A CN 202211133791 A CN202211133791 A CN 202211133791A CN 115829834 A CN115829834 A CN 115829834A
Authority
CN
China
Prior art keywords
image
net
dictionary
coefficient
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211133791.6A
Other languages
English (en)
Inventor
王力谦
李东升
邵文泽
葛琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211133791.6A priority Critical patent/CN115829834A/zh
Publication of CN115829834A publication Critical patent/CN115829834A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半耦合深度卷积字典学习的图像超分辨率重建方法，包括：准备输入的训练集数据；构建半耦合深度卷积字典学习模型；构建和训练求解该模型的深度神经网络，得到训练好的系数映射网络、字典和系数；利用训练好的系数映射网络、字典和系数重建低分辨率图像得到高分辨率图像。本发明充分利用深度学习的学习能力和字典学习的可解释性，对低分辨率图像进行超分辨率重建，提升图像的分辨率，进而增强图像的显示效果。

Description

基于半耦合深度卷积字典学习的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于半耦合深度卷积字典学习的图像超分辨率重建方法。
背景技术
研究表明，人类活动中绝大部分的信息是通过视觉系统进行感知的。图像作为记录和传递视觉信息的载体，具有形象直观、信息量大、通俗易懂等优点，在天文观测、定位跟踪、医学成像、交通监控等诸多领域均有着极为重要的应用。随着移动互联网时代的到来以及信息技术的推陈出新，人们对图像质量和分辨率的需求日益增长，这使图像的数据量也呈指数式上升。一方面，拍摄图像的分辨率越来越高，若不采用高效的图像压缩技术，将大大加重存储空间和带宽的压力，导致可存储的图像数量急剧下降。另一方面，在图像采集与传输过程中，压缩后的图像可能存在压缩失真、分辨率低等问题，不利于图像的后续处理，达不到实际应用的要求，使现有的技术和设备面临着巨大的挑战。
超分辨率(Super Resolution，SR)重建通过软件技术将已有的低分辨率图像进行重建处理，在提升图像分辨率的同时恢复图像丢失的高频细节，具有成本低、实用性强的特点，成为图像处理领域的研究热点。
目前的深度神经网络已经在图像超分辨率的任务上取得了良好的效果，研究人员提出了ESRGAN方法(Enhanced super-resolution generative adversarial networks)，但由于深度神经网络自身的黑盒特性，很多深度学习的模型并不具备可靠的理论保证。而传统的基于模型的方法，如基于稀疏表示的图像超分辨率重建法(Image super-resolution via sparse representation)，具有很好的灵活性和可解释性。深度展开模型结合了基于模型方法和基于深度学习方法两者的优点，现有的深度展开网络已经证明了该方法的可行性，甚至某些网络在图像处理任务上的性能超越了深度神经网络，具有一定的优越性，还有人提出了DCDicL方法用于图像去噪(Deep convolutional dictionarylearning for image denoising)。与此同时，现有的基于卷积字典学习的超分辨率任务的先验项是人为设定的，然而，利用这些直观的先验信息可能会忽略一些表征图像结构的潜在信息。
发明内容
解决的技术问题：本发明提出一种基于半耦合深度卷积字典学习的图像超分辨率重建方法，充分利用深度学习的学习能力和字典学习的可解释性，对低分辨率图像进行超分辨率重建，提升图像的分辨率，进而增强图像的显示效果。
技术方案：
一种基于半耦合深度卷积字典学习的图像超分辨率重建方法，所述图像超分辨率重建方法包括以下步骤：
S1，准备输入的训练集数据：对HR图像进行降质退化处理得到对应的LR图像，构建训练集{Xi，Yi}，其中Xi为LR图像，Yi为HR图像，下标i表示LR图像或HR图像中的第i个；LR表示低分辨率，HR表示高分辨率；
S2，构建半耦合深度卷积字典学习模型：
Figure BDA0003849522990000021
式(1)中，X和Y表示LR图像和HR图像，Dx和Dy分别是LR图像和HR图像的字典，Ax、Ay是LR图像和HR图像对应的表示系数，
Figure BDA0003849522990000022
为表示系数的先验信息，φ(·)为字典的先验信息，*表示卷积，λ表示正则化参数，σx、σy、
Figure BDA0003849522990000023
为各项系数，fy(·)为LR图像和HR图像表示系数之间的系数映射函数；
S3，构建和训练求解半耦合深度卷积字典学习模型的深度神经网络，深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块，其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx，Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy，Net-F用于训练学习Ax到Ay的系数映射函数fy(·)，Hyper-Net用于在每个迭代阶段学习模型中的超参数，利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异，并利用重建损失函数约束预测的重建图像和原始HR图像之间的差异，不断调整网络模型参数，直到T个迭代阶段后模型收敛，完成模型的训练，得到训练好的系数映射网络、字典和系数；
S4，将一幅待超分辨率的LR图像输入到训练好的模型中得到第T个迭代阶段LR图像的表示系数
Figure BDA0003849522990000024
再经过训练好的系数映射函数
Figure BDA0003849522990000025
映射后与训练好的
Figure BDA0003849522990000026
进行卷积，得到最终重建的高分辨率图像为
Figure BDA0003849522990000027
进一步地，步骤S1中，准备输入数据的过程包括以下子步骤：
S11，采用下述公式对HR图像进行降质退化处理得到对应的LR图像：
X＝(Y*k)↓s+n
其中，X为LR图像，Y为HR图像，*为卷积运算，k为模糊核，↓s表示s倍的下采样，n为加性高斯白噪声；
S12，将降质退化处理得到的LR图像进行空值上采样，使其与对应HR图的大小一致；
S13，将HR图像和LR图像分割为大小为预设大小的图像块，将分割后的图像进行集合，得到训练集，利用训练集训练网络，图像块大小和批次样本数量与网络载体的设备性能相关。
进一步地，引入辅助变量
Figure BDA0003849522990000031
并利用半二次分裂算法迭代求解式(1)，在第t个迭代阶段中，式(1)的求解过程为按顺序依次计算式(2)至式(10)：
Figure BDA0003849522990000032
其中
Figure BDA0003849522990000033
Figure BDA0003849522990000034
Figure BDA0003849522990000035
其中
Figure BDA0003849522990000036
Figure BDA0003849522990000037
Figure BDA0003849522990000038
Figure BDA0003849522990000039
Figure BDA00038495229900000310
Figure BDA00038495229900000311
构建深度神经网络Net-F，并根据式(3)和式(5)求出的Ax和Ay训练学习映射函数
Figure BDA00038495229900000312
使得
Figure BDA00038495229900000313
其中，αx，αy，
Figure BDA0003849522990000041
βx，βy，
Figure BDA0003849522990000042
为通过网络Hyper-Net学习得到的超参数，vec表示向量化操作，即把矩阵转换为列向量，vec-1表示反向量化操作，unf表示将卷积运算中的矩阵展开成乘积运算的矩阵形式，F(·)和F-1(·)分别表示2D傅里叶变换和反变换，
Figure BDA0003849522990000043
表示2D傅立叶变换的复共轭，
Figure BDA0003849522990000044
表示逐元素相乘，涉及的除法也为逐元素相除，式(3)、式(5)中的
Figure BDA0003849522990000045
Figure BDA0003849522990000046
表示通过构建深度神经网络Net-A来求解
Figure BDA0003849522990000047
式(7)、式(9)中的
Figure BDA0003849522990000048
表示通过构建深度神经网络Net-D来求解
Figure BDA0003849522990000049
上标(t)表示第t个迭代阶段，上标T为矩阵转置。
进一步地，所述Net-X包括Head-Net-X、
Figure BDA00038495229900000410
三个模块；
Head-Net-X采用Head-Net网络结构，Head-Net网络结构为：至少包括2个卷积层，在每2个卷积层之间含有1个ReLu激活函数，每个卷积层至少含有64个通道；在第0个迭代阶段，输入LR图像、退化模型的模糊核k、噪声标准差σ至Head-Net-X，得到初始化的表示系数
Figure BDA00038495229900000411
和用0初始化的字典
Figure BDA00038495229900000412
Figure BDA00038495229900000413
采用Net-A网络结构，Net-A网络结构为：包括7个模块，每一个模块包含nr个残差单元，每个残差单元至少包含2个卷积层和跳跃连接，在每2个卷积层之间含有1个ReLu激活函数，在前3个模块的卷积层中使用步长卷积下采样特征图谱，在后3个模块的卷积层中使用转置卷积上采样特征图谱，前4个模块的卷积层分别有64，128，256，512个通道；
Figure BDA00038495229900000414
在第t个迭代阶段处理数据的过程为：输入式(2)求出的辅助变量
Figure BDA00038495229900000415
超参数，得到表示系数
Figure BDA00038495229900000416
Figure BDA00038495229900000417
采用Net-D网络结构，Net-D网络结构为：至少包括6个卷积层，在每2个卷积层之间含有1个ReLu激活函数，每一个卷积层至少包含16个通道，在第一个卷积层的输入和最后一个卷积层的输出之间设置跳跃连接；
Figure BDA00038495229900000418
在第t个迭代阶段处理数据的过程为：输入式(6)求出的辅助变量
Figure BDA00038495229900000419
超参数，得到字典
Figure BDA00038495229900000420
进一步地，Net-Y包括Head-Net-Y、
Figure BDA00038495229900000421
三部分，在第0个迭代阶段利用Head-Net-Y得到初始化的表示系数
Figure BDA00038495229900000422
和字典
Figure BDA00038495229900000423
在第t个迭代阶段，通过
Figure BDA00038495229900000424
得到
Figure BDA00038495229900000425
通过
Figure BDA00038495229900000426
得到
Figure BDA00038495229900000427
Head-Net-Y采用Head-Net网络结构；Head-Net-Y处理数据的过程为：输入HR图像，得到初始化的表示系数
Figure BDA0003849522990000051
和用0初始化的字典
Figure BDA0003849522990000052
Figure BDA0003849522990000053
采用Net-A网络结构；
Figure BDA0003849522990000054
在第t个迭代阶段处理数据的过程为：输入式(4)求出的辅助变量
Figure BDA0003849522990000055
超参数，得到表示系数
Figure BDA0003849522990000056
Figure BDA0003849522990000057
采用Net-D网络结构；
Figure BDA0003849522990000058
在第t个迭代阶段处理数据的过程为：输入式(8)求解的辅助变量
Figure BDA0003849522990000059
超参数，得到
Figure BDA00038495229900000510
进一步地，Net-F采用Net-A网络结构；Net-F在第t个迭代阶段处理数据的过程为：输入
Figure BDA00038495229900000511
得到
Figure BDA00038495229900000512
并通过系数映射损失函数约束
Figure BDA00038495229900000513
与
Figure BDA00038495229900000514
之间的差异，以此将
Figure BDA00038495229900000515
更新为
Figure BDA00038495229900000516
进一步地，系数映射损失函数为：
Figure BDA00038495229900000517
其中θF表示Net-F网络的参数，
Figure BDA00038495229900000518
为第t个迭代阶段LR图像的表示系数，
Figure BDA00038495229900000519
为第t个迭代阶段HR图像的表示系数，
Figure BDA00038495229900000520
为第t-1个迭代阶段的系数映射函数，N为批处理样本的数量，下标i表示LR图像或HR图像中的第i个。
进一步地，Hyper-Net网络结构为：至少包括4个卷积层，在每2个卷积层之间含有1个ReLu激活函数，在最后1个卷积层后有1个SoftPlus层；Hyper-Net在第t个迭代阶段处理数据的过程为：输入噪声标准差σ，得到超参数。
进一步地，所述重建损失函数为：
Figure BDA00038495229900000521
其中θ表示网络的参数，
Figure BDA00038495229900000522
为第t个迭代阶段HR图像的字典，
Figure BDA00038495229900000523
和
Figure BDA00038495229900000524
为第t个阶段LR图像和HR图像的表示系数，*表示卷积，
Figure BDA00038495229900000525
为系数映射函数，Yi为第i个HR图像，N为批处理样本的数量。
有益效果：
第一，本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法，充分利用了深度神经网络的学习能力，学习表示系数和字典的先验信息，同时还通过网络提取表示系数特征，学习系数映射函数，能够较好地保持图像中的结构和纹理要素，有效提高图像的重建质量。
第二，本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法，由于深度神经网络自身的黑盒特性，很多深度学习的模型并不具备可靠的理论保证，本发明除了利用深度的学习能力外，还充分利用传统字典学习方法的可解释性，使得本发明中设计的网络结构在理论上也是可解释的。
第三，本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法，在主网络的核心模块融合了U-Net网络和Residual残差网络，使得该模型能学习更丰富的全局特征，有着更强的学习能力。
附图说明
图1为本发明实施例的图像超分辨率重建模型整体结构图。
图2为本发明实施例的Head-Net网络结构图。
图3为本发明实施例的Net-A网络结构图。
图4为本发明实施例的Net-D网络结构图。
图5为本发明实施例的Hyper-Net网络结构图。
图6为原始高分辨率图像示意图。
图7为bicubic方法处理后所得的图像示意图。
图8为SRMD方法处理后所得的图像示意图。
图9为USRNet方法处理后所得的图像示意图。
图10为SwinIR方法处理后所得的图像示意图。
图11为本发明实施例处理后所得的图像示意图。
具体实施方式
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
本实施例公开了一种基于半耦合深度卷积字典学习的图像超分辨率重建方法，具体包括以下步骤：
步骤一：准备输入的训练集数据。
获取用于训练和测试的公用数据集；本实施例中使用DIV2K、Flickr2K、CBSD68三个公用数据集，其中DIV2K和Flickr2K分别包含800幅和2650幅图像用作训练，CBSD68中包含68幅图像用作测试；对HR图像进行降质退化处理得到对应的LR图像，以此构建训练集{Xi，Yi}，其中Xi为LR图像，Yi为HR图像，下标i表示LR或HR图像中的第i个。
降质退化处理的退化模型公式为：X＝(Y*k)↓s+n；其中，X为LR图像，Y为HR图像，*为卷积运算，k为模糊核，↓s表示s倍的下采样，n为加性高斯白噪声。
在本实施例中，模糊核k设置为各同向性的高斯模糊核，下采样倍数s设置为2，噪声标准差设置为0到5之间的随机数。
在本实施例中，将降质退化处理得到的LR图像进行空值上采样(即对LR图像进行0值填充)，使其与对应HR图的大小一致；将HR图像和LR图像分割为大小为64×64的图像块，将分割后的图像进行集合，得到训练集；利用训练集训练网络时，批处理样本的数量N设置为32。
步骤二：构建并求解半耦合深度卷积字典学习模型。
构建的半耦合深度卷积字典学习模型为式(1)，通过引入辅助变量
Figure BDA0003849522990000071
并利用半二次分裂算法迭代求解式(1)，在第t个迭代阶段(Stage-t)中，式(1)的求解过程为按顺序依次计算式(2)至式(10)。
步骤三：构建和训练求解半耦合深度卷积字典学习模型的深度神经网络，得到训练好的系数映射函数、字典和表示系数。
如图1所示，求解半耦合深度卷积字典学习模型的深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块，其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx，Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy，Net-F用于训练学习Ax到Ay的系数映射函数fy(·)，Hyper-Net用于在每个迭代阶段学习模型中的超参数，利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异，并利用重建损失函数约束重建图像和原始HR图像之间的差异，不断调整网络模型参数，直到T个迭代阶段后模型收敛，完成模型的训练。
Net-X包括Head-Net-X、
Figure BDA0003849522990000072
三个模块，在第0个迭代阶段利用Head-Net-X得到初始化的表示系数
Figure BDA0003849522990000073
和字典
Figure BDA0003849522990000074
在第t个迭代阶段，通过
Figure BDA0003849522990000075
得到
Figure BDA0003849522990000076
通过
Figure BDA0003849522990000077
得到
Figure BDA0003849522990000078
Head-Net-X采用Head-Net网络结构；该模块处理数据的过程为：输入LR图像、退化模型的模糊核k、噪声标准差σ，得到初始化的表示系数
Figure BDA0003849522990000079
和用0初始化的字典
Figure BDA00038495229900000710
如图2所示，Head-Net网络结构为：包括2个卷积层，在这2个卷积层之间含有1个ReLu激活函数，每个卷积层含有64个通道。
Figure BDA0003849522990000081
采用Net-A网络结构；该模块在第t个迭代阶段处理数据的过程为：输入式(2)求出的辅助变量
Figure BDA0003849522990000082
超参数，得到表示系数
Figure BDA0003849522990000083
即式(3)的解。
如图3所示，Net-A网络结构为：包括7个模块，每一个模块包含4个残差单元，每个残差单元包含2个卷积层和跳跃连接，在这2个卷积层之间含有1个ReLu激活函数，在前3个模块的卷积层中使用步长卷积下采样特征图谱，在后3个模块的卷积层中使用转置卷积上采样特征图谱，前4个模块的卷积层分别有64，128，256，512个通道.
Figure BDA0003849522990000084
采用Net-D网络结构；该模块在第t个迭代阶段处理数据的过程为：输入式(6)求出的辅助变量
Figure BDA0003849522990000085
超参数，得到字典
Figure BDA0003849522990000086
即式(7)的解。
如图4所示，Net-D网络结构为：包括6个卷积层，在每2个卷积层之间含有1个ReLu激活函数，每一个卷积层包含16个通道，在第一个卷积层的输入和最后一个卷积层的输出之间设置跳跃连接。
Net-Y包括Head-Net-Y、
Figure BDA0003849522990000087
三部分，在第0个迭代阶段利用Head-Net-Y得到初始化的表示系数
Figure BDA0003849522990000088
和字典
Figure BDA0003849522990000089
在第t个迭代阶段，通过
Figure BDA00038495229900000810
得到
Figure BDA00038495229900000811
通过
Figure BDA00038495229900000812
得到
Figure BDA00038495229900000813
Head-Net-Y采用Head-Net网络结构；该模块处理数据的过程为：输入HR图像，得到初始化的表示系数
Figure BDA00038495229900000814
和用0初始化的字典
Figure BDA00038495229900000815
Figure BDA00038495229900000816
采用Net-A网络结构；该模块在第t个迭代阶段处理数据的过程为：输入式(4)求出的辅助变量
Figure BDA00038495229900000817
超参数，得到表示系数
Figure BDA00038495229900000818
即式(5)的解。
Figure BDA00038495229900000819
采用Net-D网络结构；该模块在第t个迭代阶段处理数据的过程为：输入式(8)求解的辅助变量
Figure BDA00038495229900000820
超参数，得到
Figure BDA00038495229900000821
即式(9)的解。
Net-F采用Net-A网络结构；该模块在第t个迭代阶段处理数据的过程为：输入
Figure BDA00038495229900000822
得到
Figure BDA00038495229900000823
并通过系数映射损失函数约束
Figure BDA00038495229900000824
与
Figure BDA00038495229900000825
之间的差异，以此将
Figure BDA00038495229900000826
更新为
Figure BDA00038495229900000827
系数映射损失函数为：
Figure BDA00038495229900000828
其中θF表示Net-F网络的参数，
Figure BDA00038495229900000829
为第t个迭代阶段LR图像的表示系数，
Figure BDA00038495229900000830
为第t个迭代阶段HR图像的表示系数，
Figure BDA00038495229900000831
为第t-1个迭代阶段的系数映射函数，N为批处理样本的数量，下标i表示LR或HR图像中的第i个。
如图5所示，Hyper-Net网络结构为：包括4个卷积层，在每2个卷积层之间含有1个ReLu激活函数，在最后1个卷积层后有1个SoftPlus层，每个卷积层包含个256通道；该模块在第t个迭代阶段处理数据的过程为：输入噪声标准差σ，得到超参数。
利用重建损失函数
Figure BDA0003849522990000091
约束重建图像和原始HR图像之间的差异；其中θ表示网络的参数，
Figure BDA0003849522990000092
为第t个迭代阶段HR图像的字典，
Figure BDA0003849522990000093
和
Figure BDA0003849522990000094
为第t个阶段LR图像和HR图像的表示系数，*表示卷积，
Figure BDA0003849522990000095
为系数映射函数，Yi为HR图像，N为批处理样本的数量，下标i表示LR或HR图像中的第i个；
在本实施例中，在训练求解半耦合深度卷积字典学习模型的深度神经网络时，使用ADAM优化方法与反向传播来优化调整网络中的参数，初始学习率为10-4，学习率衰减周期为20000次，训练迭代次数为40000次。
步骤四：利用训练好的系数映射函数、字典和表示系数重建低分辨率图像得到高分辨率图像。
将一幅待超分辨率的LR图像输入到训练好的模型中得到第T个迭代阶段LR图像的表示系数
Figure BDA0003849522990000096
再经过训练好的系数映射函数
Figure BDA0003849522990000097
映射后与训练好的
Figure BDA0003849522990000098
进行卷积，得到重建的高分辨率图像为
Figure BDA0003849522990000099
下面结合表1和图6至图11，通过实施例的效果评价来进一步说明本发明。
在本实施例中，使用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(Structure Similarity，SSIM)作为结果的客观评价指标；
在本实施例中，使用CBSD68数据集中的图像作为测试图像，表1列出了本实施例和其他先进的图像超分辨率方法得到的结果图像的平均PSNR和SSIM。从表1可以看出，本实施例方法得到的结果与其他方法的结果相比有显著提升。
表1
客观评价指标 Bicubic SRMD USRNet SwinIR 本实施例方法
PSNR 23.53 26.21 28.47 23.69 29.41
SSIM 0.6145 0.7693 0.8096 0.6084 0.8553
图6至图11分别为一幅原始HR图像和用Bicubic、SRMD、USRNet、SwinIR和本实施例方法处理得到的超分辨率结果图像。从图中可以看出，Bicubic和SwinIR方法的结果图像明显存在细节模糊，SRMD和USRnet方法的结果图像中细节较清晰，但某些局部区域存在细节模糊，本实施例方法得到的结果图像中高频细节更加丰富。本实施例方法结果的视觉效果和客观评价指标均表明本发明方法在兼顾网络可解释性的同时，可以获得更好的图像超分辨率重建质量。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.一种基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，所述图像超分辨率重建方法包括以下步骤：
S1，准备输入的训练集数据：对HR图像进行降质退化处理得到对应的LR图像，构建训练集{Xi，Yi}，其中Xi为LR图像，Yi为HR图像，下标i表示LR图像或HR图像中的第i个；LR表示低分辨率，HR表示高分辨率；
S2，构建半耦合深度卷积字典学习模型：
Figure QLYQS_1
式(1)中，X和Y表示LR图像和HR图像，Dx和Dy分别是LR图像和HR图像的字典，Ax、Ay是LR图像和HR图像对应的表示系数，
Figure QLYQS_2
为表示系数的先验信息，φ(·)为字典的先验信息，*表示卷积，λ表示正则化参数，σx、σy、
Figure QLYQS_3
为各项系数，fy(·)为LR图像和HR图像表示系数之间的系数映射函数；
S3，构建和训练求解半耦合深度卷积字典学习模型的深度神经网络，深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块，其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx，Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy，Net-F用于训练学习Ax到Ay的系数映射函数fy(·)，Hyper-Net用于在每个迭代阶段学习模型中的超参数，利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异，并利用重建损失函数约束预测的重建图像和原始HR图像之间的差异，不断调整网络模型参数，直到T个迭代阶段后模型收敛，完成模型的训练，得到训练好的系数映射网络、字典和系数；
S4，将一幅待超分辨率的LR图像输入到训练好的模型中得到第T个迭代阶段LR图像的表示系数
Figure QLYQS_4
再经过训练好的系数映射函数
Figure QLYQS_5
映射后与训练好的
Figure QLYQS_6
进行卷积，得到最终重建的高分辨率图像为
Figure QLYQS_7
2.根据权利要求1所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，步骤S1中，准备输入数据的过程包括以下子步骤：
S11，采用下述公式对HR图像进行降质退化处理得到对应的LR图像：
X＝(Y*k)↓s+n
其中，X为LR图像，Y为HR图像，*为卷积运算，k为模糊核，↓s表示s倍的下采样，n为加性高斯白噪声；
S12，将降质退化处理得到的LR图像进行空值上采样，使其与对应HR图的大小一致；
S13，将HR图像和LR图像分割为大小为预设大小的图像块，将分割后的图像进行集合，得到训练集，利用训练集分批次训练网络，图像块大小和批次样本数量与网络载体的设备性能相关。
3.根据权利要求1所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，引入辅助变量
Figure QLYQS_8
并利用半二次分裂算法迭代求解式(1)，在第t个迭代阶段中，式(1)的求解过程为按顺序依次计算式(2)至式(10)：
Figure QLYQS_9
其中
Figure QLYQS_10
Figure QLYQS_11
Figure QLYQS_12
其中
Figure QLYQS_13
Figure QLYQS_14
Figure QLYQS_15
Figure QLYQS_16
Figure QLYQS_17
Figure QLYQS_18
构建深度神经网络Net-F，并根据式(3)和式(5)求出的Ax和Ay训练学习映射函数
Figure QLYQS_19
使得
Figure QLYQS_20
其中，αx，αy，
Figure QLYQS_22
βx，βy，
Figure QLYQS_25
为通过网络Hyper-Net学习得到的超参数，vec表示向量化操作，即把矩阵转换为列向量，vec-1表示反向量化操作，unf表示将卷积运算中的矩阵展开成乘积运算的矩阵形式，F(·)和F-1(·)分别表示2D傅里叶变换和反变换，
Figure QLYQS_27
表示2D傅立叶变换的复共轭，
Figure QLYQS_23
表示逐元素相乘，涉及的除法也为逐元素相除，式(3)、式(5)中的
Figure QLYQS_26
Figure QLYQS_28
表示通过构建深度神经网络Net-A来求解
Figure QLYQS_29
式(7)、式(9)中的
Figure QLYQS_21
表示通过构建深度神经网络Net-D来求解
Figure QLYQS_24
上标(t)表示第t个迭代阶段，上标T为矩阵转置。
4.根据权利要求3所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，所述Net-X包括Head-Net-X、
Figure QLYQS_30
三个模块；
Head-Net-X采用Head-Net网络结构，Head-Net网络结构为：至少包括2个卷积层，在每2个卷积层之间含有1个ReLu激活函数，每个卷积层至少含有64个通道；在第0个迭代阶段，输入LR图像、退化模型的模糊核k、噪声标准差σ至Head-Net-X，得到初始化的表示系数
Figure QLYQS_31
和用0初始化的字典
Figure QLYQS_32
Figure QLYQS_33
采用Net-A网络结构，Net-A网络结构为：包括7个模块，每一个模块包含nr个残差单元，每个残差单元至少包含2个卷积层和跳跃连接，在每2个卷积层之间含有1个ReLu激活函数，在前3个模块的卷积层中使用步长卷积下采样特征图谱，在后3个模块的卷积层中使用转置卷积上采样特征图谱，前4个模块的卷积层分别有64，128，256，512个通道；
Figure QLYQS_34
在第t个迭代阶段处理数据的过程为：输入式(2)求出的辅助变量
Figure QLYQS_35
超参数，得到表示系数
Figure QLYQS_36
Figure QLYQS_37
采用Net-D网络结构，Net-D网络结构为：至少包括6个卷积层，在每2个卷积层之间含有1个ReLu激活函数，每一个卷积层至少包含16个通道，在第一个卷积层的输入和最后一个卷积层的输出之间设置跳跃连接；
Figure QLYQS_38
在第t个迭代阶段处理数据的过程为：输入式(6)求出的辅助变量
Figure QLYQS_39
超参数，得到字典
Figure QLYQS_40
5.根据权利要求3所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，Net-Y包括Head-Net-Y、
Figure QLYQS_41
三部分，在第0个迭代阶段利用Head-Net-Y得到初始化的表示系数
Figure QLYQS_42
和字典
Figure QLYQS_43
在第t个迭代阶段，通过
Figure QLYQS_44
得到
Figure QLYQS_45
通过
Figure QLYQS_46
得到
Figure QLYQS_47
Head-Net-Y采用Head-Net网络结构；Head-Net-Y处理数据的过程为：输入HR图像，得到初始化的表示系数
Figure QLYQS_48
和用0初始化的字典
Figure QLYQS_49
Figure QLYQS_50
采用Net-A网络结构；
Figure QLYQS_51
在第t个迭代阶段处理数据的过程为：输入式(4)求出的辅助变量
Figure QLYQS_52
超参数，得到表示系数
Figure QLYQS_53
Figure QLYQS_54
采用Net-D网络结构；
Figure QLYQS_55
在第t个迭代阶段处理数据的过程为：输入式(8)求解的辅助变量
Figure QLYQS_56
超参数，得到
Figure QLYQS_57
6.根据权利要求3所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，Net-F采用Net-A网络结构；Net-F在第t个迭代阶段处理数据的过程为：输入
Figure QLYQS_58
得到
Figure QLYQS_59
并通过系数映射损失函数约束
Figure QLYQS_60
与
Figure QLYQS_61
之间的差异，以此将
Figure QLYQS_62
更新为
Figure QLYQS_63
7.根据权利要求6所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，系数映射损失函数为：
Figure QLYQS_64
其中θF表示Net-F网络的参数，
Figure QLYQS_65
为第t个迭代阶段LR图像的表示系数，
Figure QLYQS_66
为第t个迭代阶段HR图像的表示系数，
Figure QLYQS_67
为第t-1个迭代阶段的系数映射函数，N为批处理样本的数量，下标i表示LR图像或HR图像中的第i个。
8.根据权利要求3所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，Hyper-Net网络结构为：至少包括4个卷积层，在每2个卷积层之间含有1个ReLu激活函数，在最后1个卷积层后有1个SoftPlus层；Hyper-Net在第t个迭代阶段处理数据的过程为：输入噪声标准差σ，得到超参数。
9.根据权利要求1所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法，其特征在于，所述重建损失函数为：
Figure QLYQS_68
其中θ表示网络的参数，
Figure QLYQS_69
为第t个迭代阶段HR图像的字典，
Figure QLYQS_70
和
Figure QLYQS_71
为第t个阶段LR图像和HR图像的表示系数，*表示卷积，
Figure QLYQS_72
为系数映射函数，Yi为第i个HR图像，N为批处理样本的数量。
CN202211133791.6A 2022-09-16 2022-09-16 基于半耦合深度卷积字典学习的图像超分辨率重建方法 Pending CN115829834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211133791.6A CN115829834A (zh) 2022-09-16 2022-09-16 基于半耦合深度卷积字典学习的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211133791.6A CN115829834A (zh) 2022-09-16 2022-09-16 基于半耦合深度卷积字典学习的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115829834A true CN115829834A (zh) 2023-03-21

Family

ID=85523705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211133791.6A Pending CN115829834A (zh) 2022-09-16 2022-09-16 基于半耦合深度卷积字典学习的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115829834A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611995A (zh) * 2023-04-06 2023-08-18 江苏大学 一种基于深度展开网络的手写文本图像超分辨率重建方法
CN117877686A (zh) * 2024-03-13 2024-04-12 自贡市第一人民医院 一种中医护理数据智能管理方法及系统
CN118229528A (zh) * 2024-03-27 2024-06-21 江苏大学 一种基于边缘约束的深度展开图像超分辨率重构方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611995A (zh) * 2023-04-06 2023-08-18 江苏大学 一种基于深度展开网络的手写文本图像超分辨率重建方法
CN117877686A (zh) * 2024-03-13 2024-04-12 自贡市第一人民医院 一种中医护理数据智能管理方法及系统
CN117877686B (zh) * 2024-03-13 2024-05-07 自贡市第一人民医院 一种中医护理数据智能管理方法及系统
CN118229528A (zh) * 2024-03-27 2024-06-21 江苏大学 一种基于边缘约束的深度展开图像超分辨率重构方法

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN115456918B (zh) 一种基于小波高频通道合成的图像去噪方法及装置
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN101976435A (zh) 基于对偶约束的联合学习超分辨方法
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN114202459B (zh) 一种基于深度先验的盲图像超分辨率方法
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN106097253A (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Li et al. Single image super-resolution reconstruction based on genetic algorithm and regularization prior model
CN116797456B (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN115496663A (zh) 基于d3d卷积组内融合网络的视频超分辨率重建方法
CN116596949A (zh) 一种基于条件扩散模型的医学图像分割方法
Sharma et al. An efficient image super resolution model with dense skip connections between complex filter structures in Generative Adversarial Networks
Mikaeli et al. Single-image super-resolution via patch-based and group-based local smoothness modeling
CN111461976A (zh) 基于高效轻量级坐标神经网络的图像超分辨率方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN111489305A (zh) 基于强化学习的图像增强方法
CN110211059A (zh) 一种基于深度学习的图像重建方法
WO2024227444A1 (zh) 内窥镜图像的画质增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination