CN115797176A - 一种图像超分辨率重建方法 - Google Patents
一种图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN115797176A CN115797176A CN202211529992.8A CN202211529992A CN115797176A CN 115797176 A CN115797176 A CN 115797176A CN 202211529992 A CN202211529992 A CN 202211529992A CN 115797176 A CN115797176 A CN 115797176A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- super
- resolution reconstruction
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种图像超分辨率重建方法,包括:获取训练数据集并对训练数据集进行增广处理;构建图像超分辨率重建网络模型;通过增广处理后的训练数据集对构建好的图像超分辨率重建网络模型进行训练;将待重建的图像输入训练好的图像超分辨率重建网络模型得到重建的超分辨率图像,本发明在不改变成像系统硬件设备的前提下,能够有效提升获取图像的边缘清晰度。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种图像超分辨率重建方法。
背景技术
图像超分辨率重建技术是计算机视觉领域的热点研究方向之一,在视频监控、医学图像、视频感知等诸多领域有着广泛的应用价值。其概念是将低分辨率图像经过特定的算法重建为所需的高分辨率图像。在许多其他计算机视觉任务,如图像分割、目标检测等均可通过图像超分辨率重建技术进一步提升识别能力和识别精度。随着近年来深度学习技术的发展,使用卷积神经网络方法对图像特征的提取具有显著优势,对图像超分辨率重建任务中也取得了长足的进步,提出了很多高效算法以解决不同尺度图像的重建问题,但现有网络模型仍然存在模型参数量大、重建图像伪影严重、局部细节分辨率低等问题,因此图像超分辨率重建技术的研究仍然是一项艰巨的任务。
发明内容
为了解决现有技术存在的问题,本发明提供一种图像超分辨率重建方法,能够进行图像超分辨率重建。
本发明所要解决的技术问题是通过以下技术方案实现的:
第一方面,提供了一种图像超分辨率重建方法,包括:
获取训练数据集并对训练数据集进行增广处理;
构建图像超分辨率重建网络模型;
通过增广处理后的训练数据集对构建好的图像超分辨率重建网络模型进行训练;
将待重建的图像输入训练好的图像超分辨率重建网络模型f得到重建的超分辨率图像;
其中,所述图像超分辨率重建网络模型包括浅层特征提取模块、非局部对比增强残差组模块、上采样模块以及重构模块;
所述浅层特征提取模块用于对增广后的训练数据集进行浅层特征提取,得到浅层图像特征图F0;
所述非局部对比增强残差组模块用于根据浅层图像特征图F0得到图像深度特征输出FDF;
所述上采样模块用于对图像深度特征输出FDF进行上采样,得到上采样特征图,记作F↑;
所述重构模块用于根据对上采样特征图F↑进行重构,得到重建的高分辨率图像,记作xSR。
结合第一方面,进一步的,所述图像超分辨率重建网络模型还包括自适应目标生成模块,用于生成自适应目标对训练好的图像超分辨率重建网络模型f继续训练得到最终的图像超分辨率重建网络模型F;
将待重构的图像输入最终的图像超分辨率重建网络模型F得到最终的高分辨率重建图像,记作F(xLR)。
结合第一方面,进一步的,所述非局部对比增强残差组模块包括两个非局部对比注意力模块和一个二阶注意力共享源残差组模块;
其中,q为放大因子,Q、K和V分别表示对浅层图像特征图F0上的三种不同的映射,θ、δ和g分别为相应的特征变换函数,Qi和Kj分别为特征图经过Q映射的位置i和经过K映射的位置j的像素特征,φ为无偏近似函数,D为softmax函数中的归一化项;
其中,二阶注意力共享源残差组模块由若干二阶注意力共享源残差模块串联而成,WSSC表示卷积层的权重,Fg为第g个二阶注意力共享源残差模块的输出;
其中,Hg表示第g个二阶注意力共享源残差模块的函数,Fg-1为第g个二阶注意力共享源残差模块的输入;
另一个非局部对比注意力模块用于根据图像的深度特征FG得到更深的图像深度特征FDF。
结合第一方面,进一步的,所述图像超分辨率重建网络模型训练过程中的L1损失函数L(Θ)为:
结合第一方面,进一步的,所述生成自适应目标对训练好的图像超分辨率重建网络模型f继续训练得到最终的图像超分辨率重建网络模型F包括:
其中,l为L2损失函数,i表示图像中像素的序。
第二方面,提供了一种图像超分辨率重建装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行第一方面任一项所述方法的步骤。
第三方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。
本发明有益效果主要如下:
首先,相比于传统的非局部注意力机制网络模型,相比于传统非局部模块,本发明引入的非局部对比注意力机制通过高斯随机特征逼近的方法,能够以线性复杂度的输入实现图像重要高频信息的聚合。以更少的计算开销实现的卓越的性能。
其次,通过自适应目标训练策略ATG与RGB permute数据增广方式有效的解决了重建图像伪影严重的问题。
附图说明
图1为本发明中图像超分辨率重建网络模型架构图;
图2为本发明中二阶注意力共享源残差模块(LSRAG)的结构示意图;
图3为本发明中二阶通道注意力模块(SOCA)结构示意图;
图4为本发明中非局部对比注意力模块(ENLCA)结构示意图;
图5为本发明中自适应目标生成模块结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更好地理解本发明,下面对本发明技术方案中的相关技术进行说明。
实施例1
如图1-5所示,本发明公开了一种图像超分辨率重建方法,包括以下步骤:
步骤一、数据处理
准备训练模型用的数据集,我们将原始的高分辨率图像记作xHR,超分辨率重建任务的本质是增添低分辨率图像的像素与纹理,因此,我们首先对原始的高分辨率图像xHR进行s倍因子下采样得到对应的低分辨率图像,记作
具体地,为了模拟实际图像退化过程,我们取标准的下采样因子s={2、3、4、8}对原始高分辨率图像xHR进行相应尺度的双三次下采样,得到对应尺度缩放的低分辨率图像这些图像构成的低分辨率图像集,作为训练数据集。
为了达到更好的训练效果,我们需要对图像进行増广处理,主要对数据集图像进行旋转、翻转以及RGB permute数据增广的组合方法对数据集图像对进行增广处理,其目的是为了将増广后的低分辨率图像xLR输入到构建好的图像超分辨率重建网络模型以探究xLR图像和对应的xHR图像之间的映射。具体的,对低分辨率图像训练集进行随机旋转90°,180°,270°和水平翻转来增强训练图像,利用RGB permute图像增广方法随机排列训练图像的RGB通道,增广增强图像通道特性,将增广后的训练样本xLR输入至图像超分辨率重建网络模型进行训练。
步骤二、模型构建及训练
为了重构超分辨率图像,我们需要构建图像超分辨率重建网络模型。
当训练集准备完毕后,接下来就需要对构建好的图像超分辨率重建网络模型进行训练,该图像超分辨率重建网络模型主要包括:浅层特征提取模块、非局部对比增强残差组模块、上采样模块、重构模块以及自适应目标生成模块。
其中,浅层特征提取模块用于浅层特征的提取,包含一浅层特征提取层,将増广后得到的训练数据图像xLR输入到浅层特征提取模块得到浅层图像特征,记作F0,具体地,通过一层卷积层从输入训练样本xLR中提取浅层特征,如下式所示:
F0=HSL(xLR)(1)
其中,HSL表示浅层特征提取层的卷积运算。
接下来,将浅层图像特征F0输入到非局部对比增强残差组模块(ENLRG),获得图像的深度特征输出,记作FDF。其中,非局部对比增强残差组模块包括两个非局部对比注意力模块(ENLCA)和一个二阶注意力共享源残差组模块(SSRG),其中的二阶注意力共享源残差组模块(SSRG)又是由若干块二阶注意力共享源残差模块(LSRAG))组成的。
具体地,如图1所示,将浅层图像特征F0输入到第一个非局部对比注意力模块(ENLCA)得到非局部注意力特征图该非局部对比注意力模块能够对输入的信息乘以放大因子q的方式扩大相关信息的权重,以赋予相关信息更高的聚合权重并保持非局部模块的稀疏性,对浅层图像特征F0以Q、K、V三种方式进行映射,其中
θ、δ和g分别为相应的特征变换函数,Qi和Kj分别为特征图经过Q映射的位置i和经过K映射的位置j的像素特征,φ为无偏近似函数。
D=diag[φ(Q)T(φ(K)1 N)](5)
其中,diag代表求取对角矩阵,N代表输入大小。
接下来,将非局部注意力特征图输入到二阶注意力共享源残差组模块(SSRG)进行特征提取,其中二阶注意力共享源残差组模块(SSRG)由g=20(数目可以变化)个二阶注意力共享源残差模块((LSRAG))串联构成,每个LSRAG模块包含10个简化的残差快,在每个LSRAG模块的尾部嵌入一个二阶通道注意力模块(SOCA)以获取网络通道之间的相关性,(LSRAG模块结构具体如图3所示),不同LSRAG模块之间使用共享源残差跳跃方式(SSC)连接(一种残差网络连接的方式),这保证网络最大程度的绕过图像低频信息,从而专注于高频特征的训练。其中,第g个LSRAG模块的输出可表示为:
其中,WSSC表示卷积层的权重,初始时设置为0,之后通过网络层的迭代更新其权重。Hg表示第g个二阶注意力共享源残差模块的函数,Fg-1为第g个二阶注意力共享源残差模块(LSRAG)的输入(第一层的输入就是),非局部注意力特征图经过数个二阶注意力共享源残差模块(LSRAG)后我们能获得图像的深度特征FG。
再接下来,我们将经过二阶注意力共享源残差组模块(SSRG)得到的深度特征输入至最后一个非局部对比注意力模块(ENLCA)得到更深的深度特征FDF。(此处的非局部对比注意力操作与之前一样)
然后,我们将FDF输入至上采样模块,得到与xHR相同尺寸的图像,记作F↑;
具体地,通过一层亚像素卷积层对深度特征图进行s倍大小上采样至合适的大小,如式(8)所示。
F↑=H↑(FDF)(8)
其中,H↑和F↑分别代表上采样函数和上采样后的图像特征。
紧接着,我们将上采样后的特征F↑输入至重构模块,得到图像超分辨率重建网络模型的预测输出,记作xSR。
具体地,通过一层卷积层将放大后的图像映射为具有三颜色通道的重建图像,如式(9)所示。
f(xLR)=xSR=HR(F↑) (9)
其中,HR表示重构曾的函数。
接下来再通过损失函数再对图像超分辨率重建网络模型进行优化,得到预训练好的模型f。具体地,根据L1损失对图像超分辨率重建网络模型进行优化,迭代过程中损失函数通过ADAM算法进行优化,L1损失函数如式(10)所示。
此时,我们将待重建的低分辨率图像输入到模型f即可得到重建的超分辨率图像xSR。
通过模型f得到的图像xSR已经满足要求,但是还不够优秀,因此,我们需要对模型f继续进行训练,我们通过在重构模块之后增加自适应目标生成模块(ATG,Adaptive TargetGeneration)继续完善模型训练。
其中,l为L2损失函数,i表示图像中像素的序号,ATG网络的新目标是在每次迭代中根据当前输出自适应生成的,因此我们不必准备额外的训练数据,也无需耗费很长的时间。
步骤三、图像重建
将待重建的图像xLR输入训练好的最终模型F即可得到最终的重建超分辨率图像F(xLR)。
实施例2
本发明还提供了一种图像超分辨率重建装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行图像超分辨率重建方法的步骤。
实施例3
提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现图像超分辨率重建方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (7)
1.一种图像超分辨率重建方法,其特征在于,包括:
获取训练数据集并对训练数据集进行增广处理;
构建图像超分辨率重建网络模型;
通过增广处理后的训练数据集对构建好的图像超分辨率重建网络模型进行训练;
将待重建的图像输入训练好的图像超分辨率重建网络模型f得到重建的超分辨率图像;
其中,所述图像超分辨率重建网络模型包括浅层特征提取模块、非局部对比增强残差组模块、上采样模块以及重构模块;
所述浅层特征提取模块用于对增广后的训练数据集进行浅层特征提取,得到浅层图像特征图F0;
所述非局部对比增强残差组模块用于根据浅层图像特征图F0得到图像深度特征输出FDF;
所述上采样模块用于对图像深度特征输出FDF进行上采样,得到上采样特征图,记作F↑;
所述重构模块用于根据对上采样特征图F↑进行重构,得到重建的高分辨率图像,记作xSR。
2.根据权利要求1所述的一种图像超分辨率重建方法,其特征在于,所述图像超分辨率重建网络模型还包括自适应目标生成模块,用于生成自适应目标对训练好的图像超分辨率重建网络模型f继续训练得到最终的图像超分辨率重建网络模型F;
将待重构的图像输入最终的图像超分辨率重建网络模型F得到最终的高分辨率重建图像,记作F(xLR)。
3.根据权利要求1所述的一种图像超分辨率重建方法,其特征在于,所述非局部对比增强残差组模块包括两个非局部对比注意力模块和一个二阶注意力共享源残差组模块;
其中,q为放大因子,Q、K和V分别表示对浅层图像特征图F0上的三种不同的映射,θ、δ和g分别为相应的特征变换函数,Qi和Kj分别为特征图经过Q映射的位置i和经过K映射的位置j的像素特征,φ为无偏近似函数,D为softmax函数中的归一化项;
其中,二阶注意力共享源残差组模块由若干二阶注意力共享源残差模块串联而成,WSSC表示卷积层的权重,Fg为第g个二阶注意力共享源残差模块的输出;
其中,Hg表示第g个二阶注意力共享源残差模块的函数,Fg-1为第g个二阶注意力共享源残差模块的输入;
另一个非局部对比注意力模块用于根据图像的深度特征FG得到更深的图像深度特征FDF。
6.一种图像超分辨率重建装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1至5任一项所述方法的步骤。
7.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211529992.8A CN115797176A (zh) | 2022-11-30 | 2022-11-30 | 一种图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211529992.8A CN115797176A (zh) | 2022-11-30 | 2022-11-30 | 一种图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797176A true CN115797176A (zh) | 2023-03-14 |
Family
ID=85444526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211529992.8A Pending CN115797176A (zh) | 2022-11-30 | 2022-11-30 | 一种图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797176A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342393A (zh) * | 2023-04-11 | 2023-06-27 | 广州极点三维信息科技有限公司 | 一种基于图像噪声预测机制的图像超分辨率方法及系统 |
CN117745725A (zh) * | 2024-02-20 | 2024-03-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
CN117745725B (zh) * | 2024-02-20 | 2024-05-14 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
-
2022
- 2022-11-30 CN CN202211529992.8A patent/CN115797176A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342393A (zh) * | 2023-04-11 | 2023-06-27 | 广州极点三维信息科技有限公司 | 一种基于图像噪声预测机制的图像超分辨率方法及系统 |
CN116342393B (zh) * | 2023-04-11 | 2023-09-26 | 广州极点三维信息科技有限公司 | 一种基于图像噪声预测机制的图像超分辨率方法及系统 |
CN117745725A (zh) * | 2024-02-20 | 2024-03-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
CN117745725B (zh) * | 2024-02-20 | 2024-05-14 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lim et al. | Enhanced deep residual networks for single image super-resolution | |
US10853916B2 (en) | Convolution deconvolution neural network method and system | |
Yuan et al. | Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks | |
CN111105352B (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
CN113837946B (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
Liu et al. | Multi-scale residual hierarchical dense networks for single image super-resolution | |
CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
CN112070752A (zh) | 一种医学图像的心耳分割方法、装置及存储介质 | |
Xing et al. | Residual swin transformer channel attention network for image demosaicing | |
CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
Wang et al. | Underwater image super-resolution and enhancement via progressive frequency-interleaved network | |
CN115797176A (zh) | 一种图像超分辨率重建方法 | |
Zhou et al. | Image super-resolution based on adaptive cascading attention network | |
Chen et al. | Attention-based Broad Self-guided Network for Low-light Image Enhancement | |
Liu et al. | Facial image inpainting using multi-level generative network | |
Esmaeilzehi et al. | MuRNet: A deep recursive network for super resolution of bicubically interpolated images | |
CN116957964A (zh) | 一种基于扩散模型的小样本图像生成方法及系统 | |
KR102488037B1 (ko) | 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치 | |
Cheng et al. | Self-calibrated attention neural network for real-world super resolution | |
CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 | |
Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |