CN117455770A - 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 - Google Patents

基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 Download PDF

Info

Publication number
CN117455770A
CN117455770A CN202311270151.4A CN202311270151A CN117455770A CN 117455770 A CN117455770 A CN 117455770A CN 202311270151 A CN202311270151 A CN 202311270151A CN 117455770 A CN117455770 A CN 117455770A
Authority
CN
China
Prior art keywords
layer
image
context information
aggregation network
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311270151.4A
Other languages
English (en)
Inventor
侯芷萌
李士昌
沈瓒骏
张寒苏
乐爱莲
刘天乐
张子茜
方淑娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202311270151.4A priority Critical patent/CN117455770A/zh
Publication of CN117455770A publication Critical patent/CN117455770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，包括：获取图像对作为训练样本，图像对由图像ILR和图像IHR组成；搭建逐层上下文信息聚合网络模型，利用训练样本对逐层上下文信息聚合网络模型进行训练，得到训练后的逐层上下文信息聚合网络模型；将待处理图像输入到训练后的逐层上下文信息聚合网络模型中，训练后的逐层上下文信息聚合网络模型输出超分辨率预测结果。本发明利用图像各个层次的多尺度信息构建网络，它不仅解决了显卡内存占用大、计算时间长的问题，还能够实现更高质量的超分任务；通过高分辨率图像重建单元将重参数化技术引入部分卷积，连接这两种信息，进行图像重建，实现了在多种超分辨率任务下的优异表现。

Description

基于逐层上下文信息聚合网络的轻量级图像超分辨率方法
技术领域
本发明涉及单图像超分辨率技术领域，尤其是一种基于逐层上下文信息聚合网络的轻量级图像超分辨率方法。
背景技术
大数据时代，图像在环境监测、资源勘探、医学诊断等诸多领域中起着关键性的作用。然而，设备成本、自然环境、传输条件的限制往往会导致采集到的图像分辨率较低、质量较差且纹理模糊。而单图像超分辨率(Single Image Super-Resolution，SISR)可以根据低分辨率(Low-Resolution，LR)图像生成高分辨率(High-Resolution，HR)图像。因此，SISR技术对各个领域都有重要的研究意义。
近年来，许多SISR方法被提出，如深度记忆连接网络、基于通道注意的超分辨率网络、增强深度反向投影网络和密集采样超分辨率网络等方法，通过普通卷积层和跳跃连接，获取不同层次特征信息和多尺度特征信息，为超分任务提供支撑。然而，虽然这些方法取得了较好的性能，但大尺寸卷积引入了大量参数，网络的计算量剧增，在内存消耗和推理速度方面劣势明显。而二阶多尺度网络仅使用小尺度卷积实现多尺度学习，虽然参数少，占内存小，但结构和性能都会受到限制。
针对以上问题，如何设计出拥有参数量少、显卡内存占用小、计算时间短、模型简单并且能够实现更高质量的SISR方法已经成为了一个急待解决的问题。
发明内容
为了解决现有技术无法处理计算时间和质量之间的权衡问题，本发明的目的在于提供一种可以在更短时间内得到质量更佳的超分辨率图像的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法。
为实现上述目的，本发明采用了以下技术方案：一种基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，该方法包括下列顺序的步骤：
(1)获取图像对作为训练样本，图像对由图像ILR和图像IHR组成；
(2)搭建逐层上下文信息聚合网络模型，利用训练样本对逐层上下文信息聚合网络模型进行训练，得到训练后的逐层上下文信息聚合网络模型；
(3)将待处理图像输入到训练后的逐层上下文信息聚合网络模型中，训练后的逐层上下文信息聚合网络模型输出超分辨率预测结果。
所述步骤(1)具体包括以下步骤：
(1a)获取高分辨率图像HR；
(1b)对高分辨率图像HR进行剪裁，得到剪裁后的图像IHR；
(1c)对剪裁后的图像IHR进行下采样得到图像ILR：
ILR＝imresize(crop(IHR,S),method＝'bicuic')
其中，imresize(·)为imresize函数，crop(IHR,k)为将图像IHR的高度h和宽度w调整为下采样倍数S的整数倍，method为下采样所使用的插值函数，'bicuic'为双三次插值函数；
(1d)将图像ILR和IHR组成图像对，并转换为张量形式的图像对；
(1e)将张量形式的图像对进行封装得到训练样本。
在步骤(2)中，所述逐层上下文信息聚合网络模型包括浅层特征提取单元、深层特征提取单元和高分辨率重建单元，逐层上下文信息聚合网络模型的公式如下：
XSR＝HRC(HSF(ILR)+HDF(HSF(ILR)))
其中，图像ILR作为逐层上下文信息聚合网路模型的输入；XSR为逐层上下文信息聚合网络模型输出的超分辨率预测结果；HSF、HDF与HRC分别为浅层特征提取单元、深层特征提取单元和高分辨率重建单元。
在步骤(2)中，所述利用训练样本对逐层上下文信息聚合网络模型进行训练具体包括如下步骤：
(2a)将图像ILR输入逐层上下文信息聚合网络模型中，得到超分辨率预测结果XSR；
(2b)根据超分辨率预测结果XSR、图像IHR和以下损失函数计算公式计算损失loss：
其中，N为每一批次的总样本数；
(2c)若损失函数loss的值达不到设定阈值，则说明图像IHR与超分辨率预测结果XSR相差较大，此时需要根据损失函数的导数，将图像IHR与超分辨率预测结果XSR之间的误差沿梯度最小方向进行回传，修正逐层上下文信息聚合网络模型的各个权重值，将训练样本重新输入逐层上下文信息聚合网络模型再进行训练，直到达到设定阈值为止。
所述浅层特征提取单元使用单个3×3卷积来提取局部特征
XS＝HSF(ILR)
其中，C为中间特征的通道数，H1为图像ILR的高度，W1为图像ILR的宽度，为图像ILR的张量形式的表示，R为实数域。
所述的深层特征提取单元由M个级联无归一化层Transformer模块组成：
XD＝HDF(XS)
其中，XS为局部特征，为深层特征提取单元的输出结果；H2为XD的高度，W2为XD的宽度，C为中间特征的通道数，R为实数域；
所述无归一化层Transformer模块由逐层上下文聚合注意力模块和局部信息增强的通道混合模块组成：
Xa＝HCAA(XS)+XS
Xm＝LECM(Xa)+Xa
其中，HCAA为逐层上下文聚合注意力模块，Xa为逐层上下文聚合注意力模块的输出结果；LECM为局部信息增强的通道混合模块，Xm为局部信息增强的通道混合模块的输出结果；
所述逐层上下文聚合注意力模块为：
HCAA(XS)＝PWConv(X1*Sigmoid(HCA*X2)))
X1,X2＝Split(Xv)
Xv＝PWConv(XS)
其中，Split(·)为通道分割，X1、X2为RGB图像经过通道分割后的图像结果，PWConv为点卷积，*为逐元素乘法，Sigmoid为激活函数，HCA为逐层上下文聚合操作；Xv为局部特征XS经过点卷积操作后的输出结果；DWConv为分层的深度卷积，X2 l为X2经过l次分层深度卷积和激活后的结果；L为X2总共需要经过分层深度卷积和激活操作的次数；GELU为激活函数；
所述局部信息增强的通道混合模块为：
LECM(Xa)＝MLP(RePConv(Xa))
MLP(X)＝PWConv(GELU(PWConv(X)))
其中，MLP为通道间信息交互的模块，RePConv为重参数化的部分卷积函数。
所述高分辨率图像重建单元以浅层特征提取单元提取的局部特征XS、深层特征提取单元的输出结果XD为输入，得到超分辨率预测结果XSR：
XSR＝HRC(XS+XD)
其中，高分辨率图像重建单元HRC由一个3×3卷积和一组亚像素卷积组成。
由上述技术方案可知，本发明的有益效果为：第一，本发明通过构建逐层上下文信息聚合网络模型，其中，浅层特征提取单元提取浅层特征，深层特征提取单元在不断提取多尺度信息的同时，进一步提高特征表示能力；第二，最后通过高分辨率图像重建单元将重参数化技术引入部分卷积，连接这两种信息，进行图像重建，实现了在多种超分辨率任务下的优异表现。
附图说明
图1是本发明的方法流程图；
图2是本发明中逐层上下文信息聚合网络模型的架构图；
图3是本发明提出的模型超分效果对比图。
具体实施方式
如图1所示，一种基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，该方法包括下列顺序的步骤：
(1)获取图像对作为训练样本，图像对由图像ILR和图像IHR组成；
(2)搭建逐层上下文信息聚合网络模型，利用训练样本对逐层上下文信息聚合网络模型进行训练，得到训练后的逐层上下文信息聚合网络模型；
(3)将待处理图像输入到训练后的逐层上下文信息聚合网络模型中，训练后的逐层上下文信息聚合网络模型输出超分辨率预测结果。
所述步骤(1)具体包括以下步骤：
(1a)获取高分辨率图像HR；
(1b)对高分辨率图像HR进行剪裁，得到剪裁后的图像IHR；
(1c)对剪裁后的图像IHR进行下采样得到图像ILR：
ILR＝imresize(crop(IHR,S),method＝'bicuic')
其中，imresize(·)为imresize函数，crop(IHR,k)为将图像IHR的高度h和宽度w调整为下采样倍数S的整数倍，method为下采样所使用的插值函数，'bicuic'为双三次插值函数；
(1d)将图像ILR和IHR组成图像对，并转换为张量形式的图像对；
(1e)将张量形式的图像对进行封装得到训练样本。
如图2所示，在步骤(2)中，所述逐层上下文信息聚合网络模型包括浅层特征提取单元、深层特征提取单元和高分辨率重建单元，逐层上下文信息聚合网络模型的公式如下：
XSR＝HRC(HSF(ILR)+HDF(HSF(ILR)))
其中，图像ILR作为逐层上下文信息聚合网路模型的输入；XSR为逐层上下文信息聚合网络模型输出的超分辨率预测结果；HSF、HDF与HRC分别为浅层特征提取单元、深层特征提取单元和高分辨率重建单元。
在步骤(2)中，所述利用训练样本对逐层上下文信息聚合网络模型进行训练具体包括如下步骤：
(2a)将图像ILR输入逐层上下文信息聚合网络模型中，得到超分辨率预测结果XSR；
(2b)根据超分辨率预测结果XSR、图像IHR和以下损失函数计算公式计算损失loss：
其中，N为每一批次的总样本数；
(2c)若损失函数loss的值达不到设定阈值，则说明图像IHR与超分辨率预测结果XSR相差较大，此时需要根据损失函数的导数，将图像IHR与超分辨率预测结果XSR之间的误差沿梯度最小方向进行回传，修正逐层上下文信息聚合网络模型的各个权重值，将训练样本重新输入逐层上下文信息聚合网络模型再进行训练，直到达到设定阈值为止。
所述浅层特征提取单元使用单个3×3卷积来提取局部特征
XS＝HSF(ILR)
其中，C为中间特征的通道数，H1为图像ILR的高度，W1为图像ILR的宽度，为图像ILR的张量形式的表示，R为实数域。
所述的深层特征提取单元由M个级联无归一化层Transformer模块组成：
XD＝HDF(XS)
其中，XS为局部特征，为深层特征提取单元的输出结果；H2为XD的高度，W2为XD的宽度，C为中间特征的通道数，R为实数域；
所述无归一化层Transformer模块由逐层上下文聚合注意力模块和局部信息增强的通道混合模块组成：
Xa＝HCAA(XS)+XS
Xm＝LECM(Xa)+Xa
其中，HCAA为逐层上下文聚合注意力模块，Xa为逐层上下文聚合注意力模块的输出结果；LECM为局部信息增强的通道混合模块，Xm为局部信息增强的通道混合模块的输出结果；
所述逐层上下文聚合注意力模块为：
HCAA(XS)＝PWConv(X1*Sigmoid(HCA(X2)))
X1,X2＝Split(Xv)
Xv＝PWConv(XS)
其中，Split(·)为通道分割，X1、X2为RGB图像经过通道分割后的图像结果，PWConv为点卷积，*为逐元素乘法，Sigmoid为激活函数，HCA为逐层上下文聚合操作；Xv为局部特征XS经过点卷积操作后的输出结果；DWConv为分层的深度卷积，X2 l为X2经过l次分层深度卷积和激活后的结果；L为X2总共需要经过分层深度卷积和激活操作的次数；GELU为激活函数；
所述局部信息增强的通道混合模块为：
LECM(Xa)＝MLP(RePConv(Xa))
MLP(X)＝PWConv(GELU(PWConv(X)))
其中，MLP为通道间信息交互的模块，RePConv为重参数化的部分卷积函数。
所述高分辨率图像重建单元以浅层特征提取单元提取的局部特征XS、深层特征提取单元的输出结果XD为输入，得到超分辨率预测结果XSR：
XSR＝HRC(XS+XD)
其中，高分辨率图像重建单元HRC由一个3×3卷积和一组亚像素卷积组成。
本发明实验的计算机硬件环境为Intel Corei9-10980XECPU和GTX3090GPU，软件环境为Centos 7.6操作系统，编译环境为PyCharm，深度学习框架为PyTorch；后续所有的训练和测试均基于该平台。本发明使用AID数据集作为训练集和验证集，还使用了GeoEye-1卫星和Google Earth提供的遥感图像来验证所提出方法的有效性。在遥感图像方面分别选出15张分辨率为0.41m、尺寸为512×512的多光谱图像和15张分辨率为1m，尺寸为512×512的光学遥感图像。在自然图像超分辨率方面，本发明选取了Set5、Set14、BSD100、Urban100和Manga109五个常用的基准数据集作为测试集，全面测试模型性能。
超分辨率评价指标：
为评估本发明超分辨率方法的超分辨率性能，本发明使用峰值信噪比(PeakSignal to Noise Ratio，PSNR)与结构相似性(Structural Similarity，SSIM)两种评价指标对超分辨率结果进行评估。
PSNR是一种评价图像的客观的评价指标，其表达式如下：
其中，MAX指表示图像点颜色的最大数值，MSE代表XSR与其对应的IHR的均方误差。然而，PSNR数值高低和肉眼的视觉品质好坏并不一致。为了克服这一缺点，使用SSIM对超分辨率结果进行评估，SSIM将失真建模分为亮度、对比度和结构三个不同因素的组合，比PSNR更能反应图像质量。
实验内容及结果分析：在遥感图像超分任务上与最先进的方法比较。以双三次插值(bicubic)为基准，将提出的逐层上下文信息聚合网络模型即HCAN与其他八个轻量级的超分辨率模型(CARN、IMDN、CTN、LatticeNet、PAN、CFSRCNN和FeNet、SalDRN)在×2和×4超分辨率尺寸上进行比较，比较结果见表1，其中，最好的结果用粗体表示，次好的用下划线表示。
表1：在遥感图像超分任务上与最先进的方法的比较
从表1的定量比较结果中看出，本发明由于使用了更加灵活的方法处理图像中不同层次的信息，在所有的情况下都取得了最优的超分辨率结果。
在自然图像超分任务上与最先进的方法比较，为验证本发明所提出方法的泛化性能，将本发明的模型HCAN与十三个轻量级的超分辨率模型(VDSR、EDSR、CARN、IMDN、RFDN、LatticeNet和SCET、ShuffleMixer、FDIWN、RLFN、BSRN、SwinIR、ELAN)在×4超分尺度上进行比较，比较结果见表2。
表2：在自然图像超分任务上与最先进的方法的比较
从表2可以看出，本发明的模型HCAN在所有测试集上都取得了最佳或者次佳的结果，这可以体现出本发明的模型在自然图像的超分任务上体现出良好的性能。
为展现本发明的的模型在有效性和高效性之间有着更好的权衡，定性对比各个方法在推理×4超分尺度的数据集时的任务表现。如图3所示，图像的横轴表示在推理×4超分尺度的Set14时的最大显存占用，纵轴表示在×4超分尺度的Urban100上的SSIM性能。方法对应的模型大小表示每秒浮点运算次数(Floating Point Operations，FLOPs)的大小，在图中标注了参数量。从图中可以看出，本发明在性能、显存占用、浮点运算次数和参数量之间取得了最优的权衡，尤其在显存占用上取得了优异表现。
为了进一步展现模型的优点，本发明又定量地展现了模型有效性与高效性之间的权衡，结果如表3所示。
表3：模型的有效性与高效性之间的定量权衡
在这个任务中，选取了目前性能表现较好的两种基于Transformer的方法，并比较各自在推理×4超分尺度的Set14时的PSNR和SSIM、FLOPs、参数量(Params)、最大显存占用(Memory)以及推理时间(Latency)。从结果上看，相较于基于其他方法，本发明在推理时间上有着非常显著的优势。
综上所述，本发明利用图像各个层次的多尺度信息构建网络，它不仅解决了显卡内存占用大、计算时间长的问题，还能够实现更高质量的超分任务。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取图像对作为训练样本，图像对由图像ILR和图像IHR组成；
(2)搭建逐层上下文信息聚合网络模型，利用训练样本对逐层上下文信息聚合网络模型进行训练，得到训练后的逐层上下文信息聚合网络模型；
(3)将待处理图像输入到训练后的逐层上下文信息聚合网络模型中，训练后的逐层上下文信息聚合网络模型输出超分辨率预测结果。
2.根据权利要求1所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：所述步骤(1)具体包括以下步骤：
(1a)获取高分辨率图像HR；
(1b)对高分辨率图像HR进行剪裁，得到剪裁后的图像IHR；
(1c)对剪裁后的图像IHR进行下采样得到图像ILR：
ILR＝imresize(crop(IHR，S)，method＝′bicuic′)
其中，imresize(·)为imresize函数，crop(IHR，k)为将图像IHR的高度h和宽度w调整为下采样倍数S的整数倍，method为下采样所使用的插值函数，′bicuic′为双三次插值函数；
(1d)将图像ILR和IHR组成图像对，并转换为张量形式的图像对；
(1e)将张量形式的图像对进行封装得到训练样本。
3.根据权利要求1所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：在步骤(2)中，所述逐层上下文信息聚合网络模型包括浅层特征提取单元、深层特征提取单元和高分辨率重建单元，逐层上下文信息聚合网络模型的公式如下：
XSR＝HRC(HSF(ILR)+HDF(HSF(ILR)))
其中，图像ILR作为逐层上下文信息聚合网路模型的输入；XSR为逐层上下文信息聚合网络模型输出的超分辨率预测结果；HSF、HDF与HRC分别为浅层特征提取单元、深层特征提取单元和高分辨率重建单元。
4.根据权利要求1所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：在步骤(2)中，所述利用训练样本对逐层上下文信息聚合网络模型进行训练具体包括如下步骤：
(2a)将图像ILR输入逐层上下文信息聚合网络模型中，得到超分辨率预测结果XSR；
(2b)根据超分辨率预测结果XSR、图像IHR和以下损失函数计算公式计算损失loss：
其中，N为每一批次的总样本数；
(2c)若损失函数loss的值达不到设定阈值，则说明图像IHR与超分辨率预测结果XSR相差较大，此时需要根据损失函数的导数，将图像IHR与超分辨率预测结果XSR之间的误差沿梯度最小方向进行回传，修正逐层上下文信息聚合网络模型的各个权重值，将训练样本重新输入逐层上下文信息聚合网络模型再进行训练，直到达到设定阈值为止。
5.根据权利要求3所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：所述浅层特征提取单元使用单个3×3卷积来提取局部特征
XS＝HSF(ILR)
其中，C为中间特征的通道数，H1为图像ILR的高度，W1为图像ILR的宽度，为图像ILR的张量形式的表示，R为实数域。
6.根据权利要求3所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：所述的深层特征提取单元由M个级联无归一化层Transformer模块组成：
XD＝HDF(XS)
其中，XS为局部特征，为深层特征提取单元的输出结果；H2为XD的高度，W2为XD的宽度，C为中间特征的通道数，R为实数域；
所述无归一化层Transformer模块由逐层上下文聚合注意力模块和局部信息增强的通道混合模块组成：
Xa＝HCAA(XS)+XS
Xm＝LECM(Xa)+Xa
其中，HCAA为逐层上下文聚合注意力模块，Xa为逐层上下文聚合注意力模块的输出结果；LECM为局部信息增强的通道混合模块，Xm为局部信息增强的通道混合模块的输出结果；
所述逐层上下文聚合注意力模块为：
HCAA(XS)＝PWConv(X1*Sigmoid(HCA(X2)))
X1，X2＝Split(Xv)
Xv＝PWConv(XS)
其中，Split(·)为通道分割，X1、X2为RGB图像经过通道分割后的图像结果，PWConv为点卷积，*为逐元素乘法，Sigmoid为激活函数，HCA为逐层上下文聚合操作；Xv为局部特征XS经过点卷积操作后的输出结果；DWConv为分层的深度卷积，X2 l为X2经过l次分层深度卷积和激活后的结果；L为X2总共需要经过分层深度卷积和激活操作的次数；GELU为激活函数；
所述局部信息增强的通道混合模块为：
LECM(Xa)＝MLP(RePConv(Xa))
MLP(X)＝PWConv(GELU(PWConv(X)))
其中，MLP为通道间信息交互的模块，RePConv为重参数化的部分卷积函数。
7.根据权利要求3所述的基于逐层上下文信息聚合网络的轻量级图像超分辨率方法，其特征在于：所述高分辨率图像重建单元以浅层特征提取单元提取的局部特征XS、深层特征提取单元的输出结果XD为输入，得到超分辨率预测结果XSR：
XSR＝HRC(XS+XD)
其中，高分辨率图像重建单元HRC由一个3×3卷积和一组亚像素卷积组成。
CN202311270151.4A 2023-09-28 2023-09-28 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 Pending CN117455770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311270151.4A CN117455770A (zh) 2023-09-28 2023-09-28 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311270151.4A CN117455770A (zh) 2023-09-28 2023-09-28 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法

Publications (1)

Publication Number Publication Date
CN117455770A true CN117455770A (zh) 2024-01-26

Family

ID=89590024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311270151.4A Pending CN117455770A (zh) 2023-09-28 2023-09-28 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN117455770A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786823A (zh) * 2024-02-26 2024-03-29 陕西天润科技股份有限公司 一种基于建筑物单体化模型轻量化处理的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786823A (zh) * 2024-02-26 2024-03-29 陕西天润科技股份有限公司 一种基于建筑物单体化模型轻量化处理的方法
CN117786823B (zh) * 2024-02-26 2024-05-03 陕西天润科技股份有限公司 一种基于建筑物单体化模型轻量化处理的方法

Similar Documents

Publication Publication Date Title
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
WO2021056969A1 (zh) 超分辨率图像重构方法和装置
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN110675321B (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
Hui et al. Progressive perception-oriented network for single image super-resolution
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
Fu et al. Image super-resolution based on generative adversarial networks: A brief review
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN117455770A (zh) 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法
CN111640067B (zh) 基于三通道卷积神经网络的单幅图像超分辨率重建方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN117635428A (zh) 一种肺部ct图像超分辨重建方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN117333365A (zh) 基于混合Transformer超分辨率网络的图像超分辨率方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Wang et al. Image super-resolution using multi-granularity perception and pyramid attention networks
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
Chudasama et al. Computationally efficient progressive approach for single-image super-resolution using generative adversarial network
CN113298714B (zh) 一种基于深度学习的图像跨尺度超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination