CN116152062A - 一种轻量化超分辨率重建方法 - Google Patents

一种轻量化超分辨率重建方法 Download PDF

Info

Publication number
CN116152062A
CN116152062A CN202211678239.5A CN202211678239A CN116152062A CN 116152062 A CN116152062 A CN 116152062A CN 202211678239 A CN202211678239 A CN 202211678239A CN 116152062 A CN116152062 A CN 116152062A
Authority
CN
China
Prior art keywords
image
features
depth
feature
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211678239.5A
Other languages
English (en)
Inventor
周明亮
杨燕杰
蒲华燕
罗均
张太平
尚赵伟
向涛
房斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202211678239.5A priority Critical patent/CN116152062A/zh
Publication of CN116152062A publication Critical patent/CN116152062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轻量化超分辨率重建方法，通过将待处理图像输入至深度特征提取网络，得到图像深度特征；并根据图像深度特征和待处理图像，得到超分辨率重建图像；其中，深度特征提取网络包括n个深度特征转换块，每个深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取待处理图像的多尺度特征信息；本发明提供的超分辨率重建方法，在提升模型性能的同时，利用深度可分离卷积和线性变换模块大幅度降低模型参数量。

Description

一种轻量化超分辨率重建方法
技术领域
本发明涉及深度学习与计算机视觉技术领域，更具体的说是涉及一种轻量化超分辨率重建方法。
背景技术
图像超分辨率重建(Super-Resolution,SR)的根本任务是将低分辨率图像恢复到期望的高分辨率图像。
随着卷积神经网络的兴起和图形处理单元的空前改进，越来越多基于深度学习的SR模型被提出，这种方法可以通过组合多种功能块提高特征提取模块的映射能力，可以通过组合更多的特征提取模块提高网络的重建性能，但是模块的堆砌会带来较高的计算复杂度和高量级的参数量，导致网络的实时性和适用性不足。
同时，由于图像超分辨率重建任务的根本目的是图像尺寸的放大，图像上采样部分在重建过程中极为重要，当前常用的上采样方法有基于插值的上采样、转置卷积和亚像素卷积三种方法。由于亚像素卷积使用的重建信息完全由原图像获得，有利于图像的细节恢复，目前该方法在SR任务中最常使用，但是这种上采样方法仍有一个尚未解决的问题，重建结果中存在明显的不平滑。因此，解决当前上采样问题，对于提升SR的重建效果也极为重要。
因此，针对现有技术中的上述缺陷，如何提供一种轻量化的超分辨率重建方法，以至少部分解决上述问题，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种轻量化的超分辨率重建方法，旨在提升模型性能的同时，利用深度可分离卷积和线性变换模块减少模型参数量。
为了实现上述目的，本发明采用如下技术方案：
一种轻量化超分辨率重建方法，包括，
将待处理图像输入至深度特征提取网络，得到图像深度特征；所述深度特征提取网络包括n个深度特征转换块，每个所述深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取所述待处理图像的多尺度特征信息即图像深度特征；
根据所述图像深度特征和所述待处理图像，得到超分辨率重建图像。
优选的，所述待处理图像输入至所述深度特征提取网络前，先进入浅层特征提取网络，提取所述待处理图像的浅层特征。
优选的，所述浅层特征提取网络包括一层3×3卷积和一层1×1卷积。
优选的，所述深度图像特征的提取步骤包括：
所述待处理图像进入所述渐进式细化模块后，经通道分离得到精细特征和粗糙特征，所述精细特征进入所述线性变换模块，得到变换后的精细特征；所述粗糙特征进行卷积下采样，得到多尺度深度特征；
变换后的所述精细特征和对应的所述多尺度深度特征，共同进入所述多尺度特征融合模块进行拼接融合，得到融合后的图像深度特征。
优选的，所述融合，是从尺度最小的深度特征开始，依次进行上采样并与对应的变换后的所述精细特征拼接融合，逐层向上传递，直至每个分支的特征全部拼接后进行通道混洗，输出融合后的所述图像深度特征。
优选的，所述线性变换模块的数量取决于不同尺度的精细特征的分支数量；即分支中的图像尺寸越小，使用的线性变换越多，以充分利用渐进细化模块和多尺度特征融合模块之间的时间差；对不同分支的精细特征分别进行对应的线性变换，可有效提高网络的特征映射能力；
优选的，所述图像深度特征在进行超分辨率重建之前，依次经过多个基本transformer块进行注意力计算。基于transformer块进行通道层面的注意力计算，可根据信道级的全局信息共享获得更多相关的特征图，从而减少亚像素重建图像中的不光滑现象，同时减小注意力图的大小、降低计算复杂度。
优选的，每两个所述基本transformer块之间设有非线性转换层，用于共享参数进行注意力计算，在减少计算量的同时保证每次的参数不完全一致，进而保证模型的表达能力。
优选的，所述基本transformer块进行注意力计算的过程包括：
所述图像深度特征增加通道数量后，使用通道分离计算注意力分量Q、分量K和分量V，
所述分量K转置后依次与所述分量Q和所述分量V相乘，得到经注意力计算的特征信息。
优选的，根据所述深度图像特征和所述待处理图像，得到超分辨率重建图像的过程，包括：
所述深度图像特征经亚像素卷积上采样层放大，得到深层语义特征；所述待处理图像经双线性插值上采样，得到原始结构信息，将所述深层语义特征和所述原始结构信息相加，得到所述待处理图像的超分辨率重建图像。本申请使用拼接操作代替相加操作，可减少计算量；同时，应用逐点卷积，可充分混合特征信息。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种轻量化的超分辨率重建方法，通过结合不同的线性变化模块提高网络的特征映射能力，并使用U型特征蒸馏提取多尺度特征信息，利用深度可分离卷积和线性变换模块大幅度降低超分辨率重建网络的参数量；
另一方面，本发明利用轻量化的递归transformer块在通道层面上的注意力计算，可根据信道级的全局信息共享获得更多相关的特征图，从而保证已提取特征的高效利用，进而通过捕捉不同图像块之间的长距离信息弥补亚像素上采样中不同图像块之间不平滑的问题，并减小注意力图的大小、降低计算复杂度、有效保证网络的重建性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的轻量化超分辨率重建网络结构示意图；
图2为本发明提供的深层特征转换块结构的示意图；
图3为本发明提供的递归transformer模块结构的示意图；
图4为本发明提供的轻量化超分辨率重建方法总体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种轻量化超分辨率重建方法，主要包括如下步骤：
将待处理图像输入至深度特征提取网络，得到图像深度特征；深度特征提取网络包括n个深度特征转换块，每个深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取待处理图像的多尺度特征信息，即图像深度特征；
根据图像深度特征和待处理图像，得到超分辨率重建图像。
下面对图像深度特征的提取步骤进行说明：
首先，待处理图像进入渐进式细化模块后，经通道分离得到精细特征和粗糙特征，精细特征进入线性变换模块，得到变换后的精细特征；而粗糙特征进行卷积下采样，得到多尺度深度特征；
之后，变换后的精细特征和对应的多尺度深度特征，共同进入多尺度特征融合模块进行拼接融合，得到融合后的图像深度特征。
需要说明的是，在融合过程中，先从尺度最小的深度特征开始，依次进行上采样并与对应的变换后的精细特征拼接融合，逐层向上传递，直至每个分支的特征全部拼接后进行通道混洗，最后，输出融合后的图像深度特征。
而对于线性变换模块的数量，则取决于不同尺度的精细特征的分支数量，即分支中的图像尺寸越小，使用的线性变换越多，充分利用渐进式细化模块和多尺度特征融合模块之间的时间差，且对不同分支的精细特征分别进行对应的线性变换，可有效提高网络的特征映射能力。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
一种实施例中，如图1，待处理图像在进入深度特征提取网络之前，先进入浅层特征提取网络，进行浅层特征的提取，其中，浅层特征网络包括一层3×3卷积和一层1×1卷积，具体通过如下公式对待处理图像进行浅层特征提取：
F0＝fPW(fDW(ILR))
式中，ILR表示输入的待处理图像；fDW表示使用3×3卷积对待处理图像进行非线性映射的卷积计算；fPW表示使用1×1卷积改变特征通道数的逐点卷积计算；F0是提取的待处理图像的浅层特征。
然后，提取的浅层特征进入深度特征提取网络，进一步进行深度特征提取，本申请中，深度特征提取网络包括n个深度特征转换块，且每个深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，三个模块通过U型特征蒸馏提取待处理图像的多尺度特征信息，
为了便于理解，其提取过程可用如下公式表示：
Figure BDA0004017963850000051
Fout＝Fn+Fn-1+Fn-2+…+F0
其中，Fn表示第n个深度特征转换块提取的深层特征输出；
Figure BDA0004017963850000052
表示第n个深度特征转换块的处理函数；Fout表示由n个深度特征转换块组成的深层特征提取网络的输出。
进一步，深度特征提取网络通过U型特征蒸馏提取待处理图像的多尺度特征信息的过程，包括：
提取的浅层特征，进入渐进式细化模块后，经通道分离得到精细特征和粗糙特征，精细特征进入线性变换模块，得到变换后的精细特征；不同分支的精细特征分别进行对应的线性变换，以提高网络的特征映射能力；而粗糙特征使用卷积运算进行下采样，得到多尺度深度特征；
之后，变换后的精细特征和对应的多尺度深度特征，共同进入多尺度特征融合模块，从尺度最小的深度特征开始，依次进行上采样并与对应的变换后的精细特征拼接融合，逐层向上传递，直至每个分支的特征全部拼接后进行通道混洗，输出融合后的所述深度图像特征；然后输入至下一个深度特征转换块，继续进行深度特征提取。
具体过程可参照图2，令深度特征转换块输入输出的特征信息通道数统一为64，输入输出的特征图尺寸为C*H*W(通道数*高度*宽度)，以三层特征通道分离为例。
经过第一层通道分离得到的第一层精细特征大小为32*H*W，第一层粗糙特征大小为32*H*W，进一步，第一层粗糙特征经过Conv2d(3,3,3)卷积层下采样后的大小为32*H/2*W/2，此过程不仅进行尺度变换，也同时进行对应尺度上的特征提取，之后经过一个批正规化层使网络训练过程更加稳定；
进一步，第一层粗糙特征经过第二层通道分离，得到大小都为16*H/2*W/2的第二层精细特征和粗糙特征；然后，第二层的粗糙特征继续经过Conv2d(3,3,3)卷积层，下采样后的大小为16*H/4*W/4，同样经过批正规化层使网络训练过程更加稳定；
再次，第二层粗糙特征经过第三层通道分离，得到大小都为8*H/4*W/4的第三层精细特征和粗糙特征，第三层粗糙特征继续经过Conv2d(3,3,3)卷积层，下采样后的特征图大小为8*H/8*W/8，同样经过批正规化层进行数据归一化。
在第i个深度特征转换块的渐进细化模块中，通过如下公式对输入特征进行通道分离和尺度变换：
Figure BDA0004017963850000061
Figure BDA0004017963850000062
/>
Figure BDA0004017963850000063
Figure BDA0004017963850000064
式中，
Figure BDA0004017963850000065
表示输入特征；fDW表示对特征图进行下采样的深度卷积计算；Split表示通道拆分操作；/>
Figure BDA0004017963850000066
表示第j个精细特征；/>
Figure BDA0004017963850000067
是要进一步处理的第j个粗糙特征；frelu和fbn分别表示激活函数和批正规化操作。
在对应尺度上的提取特征的同时，三个分支中保留的精细特征分别进行对应的线性变换，以丰富模块的特征映射能力，得到三个不同尺度的精细特征，以便于进行多分支多尺度粗糙特征和精细特征的融合。
具体的，在第i个深度特征转换块中，精细特征转换可按如下公式进行，
Figure BDA0004017963850000071
Figure BDA0004017963850000072
Figure BDA0004017963850000073
Figure BDA0004017963850000074
其中，
Figure BDA0004017963850000075
表示第j个线性变换块；/>
Figure BDA0004017963850000076
表示第j个线性变换块输入的精细特征；
Figure BDA0004017963850000077
表示第j个线性变换块输出的精细特征。
最后，多分支的多尺度粗糙特征和精细特征进入多尺度特征融合模块进行融合。具体过程为：计算第三层粗糙特征的局部上下文信息，包括Conv2d(8,8,1)的逐点卷积-->批正规化-->RELU激活。
然后使用亚像素卷积进行特征图上采样，获得的特征图大小为8*H/4*W/4；并与第三个分支的精细特征拼接并计算局部上下文，计算过程为：Conv2d(16,16,1)的逐点卷积-->批正规化-->RELU激活，至此，实现第三个尺度上粗糙特征和精细特征的信息融合，融合后的特征信息大小为16*H/4*W/4；
进一步，使用亚像素卷积进行特征图上采样，获得的特征图大小为16*H/2*W/2，之后与第二个分支的精细特征拼接并计算局部上下文，计算过程包括Conv2d(32,32,1)的逐点卷积-->批正规化-->RELU激活，从而实现第二个尺度上的信息融合，融合后的特征信息大小为32*H/2*W/2；
最后，使用亚像素卷积进行特征图上采样，获得32*H*W大小的特征信息，并与第一个分支的精细特征拼接后进行通道混洗操作，至此得到三个尺度特征融合的深层特征信息。
本申请使用亚像素重排来放大粗糙特征分支中特征图的大小，使用拼接操作代替相加操作来减少计算量，然后应用逐点卷积来充分混合特征信息，并保证每个分支的输入和输出特征图的数量一致。
以上融合过程，可用如下公式进行表示：
Figure BDA0004017963850000081
Figure BDA0004017963850000082
Figure BDA0004017963850000083
Figure BDA0004017963850000084
式中，
Figure BDA0004017963850000085
表示第j个亚像素重排操作；/>
Figure BDA0004017963850000086
表示第j个上采样后的输出；fPW表示逐点卷积计算；Concat表示沿通道维度的拼接操作；CS表示信道混洗操作。
至此，图像深度特征提取完成，之后可进入特征重建网络，根据深度图像特征和待处理图像，得到超分辨率重建图像。具体过程包括：
深度图像特征经亚像素卷积上采样层放大，得到深层语义特征；待处理图像经双线性插值上采样，得到原始结构信息，将深层语义特征和原始结构信息相加，得到待处理图像的超分辨率重建图像。
在一种实施例中，如图1所示，特征重组部分中使用亚像素上采样层放大语义特征图，经过一个3×3卷积和一个1×1卷积组成的深度可分离卷积层，得到深层语义特征；而原始图像经过双线性插值上采样后，同样经过深度可分离卷积层得到原始结构信息；进一步，将原始结构信息与深层语义信息相加后获得重建后的高分辨率图像。
具体的，其表达式如下：
ISR＝fPW(fDW(fSPC(Fk)))+fPW(fDW(Rbic(ILR)))
其中，ILR表示输入的低分辨率图像；ISR表示重建后的高分辨率图像；fSPC表示亚像素上采样操作；Rbic表示双插值上采样操作。
另一方面，本申请考虑亚像素上采样中的不平滑问题一定程度上是因为通道层面特征之间的信息共享不足，故提出使用transformer来解决此问题。自从引入transformer以来，由于其中的自注意力机制可以获得长距离的特征信息，计算机视觉领域已经有许多代表性transformer结构被提出。其中，SwinIR是将transformer应用于SR任务的最具代表性的工作，其性能明显优于其他最先进方法，但是存在计算复杂度较高的问题。而ESRT设计了一种使用分组策略来降低计算复杂度并减少GPU资源使用的高效transformer，并将其应用于SR任务，但是该方法使transformer的全局信息获取能力下降。
对此，本发明公开了一种新的递归transformer网络，用以优化现有的亚像素上采样方法。
具体的，深层特征提取网络输出的深度图像特征，在进行超分辨率重建之前，先经过递归transformer网络对已获得的深层特征进行注意力计算，进一步转换能更有效利用已提取特征，从而在一定程度上解决亚像素上采样结果的不平滑问题。
在一种实施例中，递归transformer网络包括多个串联的轻量化递归transformer模块，可以在提高网络性能的同时保证轻量化，同时，对已获得的深层特征进行注意力计算，进一步转换能更有效利用已提取特征，一定程度上解决亚像素上采样结果的不平滑问题。而递归transformer模块又包括多个轻量化的基本transformer块，如图3所示，其中，每两个所述基本transformer块之间设有非线性转换层，用于共享参数进行注意力计算；即在每两次递归运算之间引入非线性转换层，以较少的计算量保证每次特征映射的参数不完全一致，从而保证模型的表达能力。
基本transformer块进行通道层面的注意力计算，能够根据信道级的全局信息共享获得更多相关的特征图，以减少亚像素重建图像中的不光滑现象，减小注意力图的大小和降低计算复杂度。
进一步，在一种实施例中，每个递归transformer模块的具体流程为：如图3所示，输入输出的特征图数量同样为64，进入递归transformer模块的深层特征首先进入第一个基本transformer块，进行归一化处理后使用Conv2d(64,64*3,1)卷积层增加通道数量，并使用通道分离获得计算全局注意力的三个分量Q、K、V，三个分量分别经过Conv3d(64,64,3)卷积层提取特征图的局部上下文，并将三个分量的形状变换为HW*C。
由于亚像素上采样结果的不平滑问题与通道层面的特征差异性相关，多头注意力计算中全部使用通道层面的转置注意力，可以使特征图之间实现全局信息共享。
具体的，转置注意力计算的具体过程为：如图3所示，对分量K的形状变换包括对其进行转置，转置后的分量KT∈RC*HW，进一步，KT与形状变换后的分量Q∈RHW*C进行矩阵乘法运算，得到大小为C*C的注意力图，相较于自注意力计算尺寸为HW*HW的注意力图，可有效降低自注意力的计算复杂度；之后，分量V∈RHW*C与C*C大小的注意力图进行矩阵乘法运算，得到尺寸为HW*C的特征信息。
进一步，尺寸为HW*C的特征信息变换为原形状H*W*C，其中，该变换过程通过调用代码实现，代码为：from einops importrearrange；实现过程包括：
rearrange(out,'b head c(h w)->b(head c)h w',
head＝self.num_heads,h＝h,w＝w)，
与注意力计算前的特征信息相加，一定程度上保留原始信息；之后，经过层正则化和全连接层，进一步丰富该模块的特征转换能力，并得到基本transformer的输出特征。
在一种实施例中，输出基本transformer的特征前，将经过层正则化与全连接层前后的特征再次相加，以防止梯度消失，帮助深层网络训练，同时，在特征转换的同时充分保留原始信息。
上一个基本transformer块的输出继续在相同结构中进行处理，此时，模块的参数为已有参数进行非线性变换层计算后的结果，直到最后一个基本transformer块执行完毕，获得一个递归transformer模块的输出。
为了便于理解，下面对轻量化递归transformer网络的计算过程进行进一步说明。
在基本transformer块中，通过如下公式进行基于互协方差矩阵的自注意力计算：
Figure BDA0004017963850000101
Attention(Q,K,V)＝V·Softmax(KT·Q/τ)
式中，
Figure BDA0004017963850000102
表示第k个递归transformer模块的输入；Re表示形状变换操作；Q、K、V∈RHW×C，H、W、C分别表示特征图的长、宽和通道数；τ是一个可学习的缩放参数，用于控制K和Q的点积。
进一步，基本transformer块和递归transformer模块的计算过程如下：
Figure BDA0004017963850000103
Figure BDA0004017963850000104
Figure BDA0004017963850000105
其中，
Figure BDA0004017963850000111
是第s个基本transformer块的输出；/>
Figure BDA0004017963850000112
定义第s个基本transformer块的执行函数；NLLs表示第s个非线性变换层；FFNs表示第s个基本transformer块中进行非线性特征映射的全连接层；/>
Figure BDA0004017963850000113
表示第k个递归transformer模块的输出。
此外，多个串联的递归transformer模块，可按如下公式进行计算：
Figure BDA0004017963850000114
式中，Fk表示第k个递归transformer模块的输出特征；
Figure BDA0004017963850000115
表示第k个递归transformer模块的执行函数；Fout表示深层特征提取网络输出的深度特征信息。
输入的特征图顺序经过多个递归transformer模块，获得递归transformer网络输出的深层语义信息，以充分有效利用已提取特征，最终用于重建出高分辨率图像中的细节和纹理。
一种实施例中，本发明公开的轻量化超分辨率重建方法的总体流程，如图4所示，即：
S1、获取待处理图像块，
S2、使用浅层卷积提取图像的浅层特征，
S3、经过深度特征提取网络提取图像深度特征，
S4、深度特征提取网络的输出进入特征重建部分，经过递归transformer网络进行注意力计算，保证已提取特征的高效利用，
S5、经过特征重组部分，获得重建后的高分辨率图像。
另外，在一种实施例中，本申请在搭建完如上所述的超分辨率重建网络后，在使用之前，需先进行训练。且本发明在训练时使用Charbonnier损失作为损失函数。
此外，在训练过程中，待处理的低分辨率图像被切分为固定尺寸的图像块，而参考的高分辨率图像尺寸为低分辨率图像尺寸乘对应的放大尺度；需要说明的是在测试过程中，待处理图像无需进行尺寸调整。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种轻量化超分辨率重建方法，其特征在于，包括，
将待处理图像输入至深度特征提取网络，得到图像深度特征；所述深度特征提取网络包括n个深度特征转换块，每个所述深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取所述待处理图像的图像深度特征；
根据所述图像深度特征和所述待处理图像，得到超分辨率重建图像。
2.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述待处理图像输入至所述深度特征提取网络前，先输入至浅层特征提取网络，提取所述待处理图像的浅层特征，然后将所述浅层特征输入至所述深度特征提取网络。
3.根据权利要求2所述的一种轻量化超分辨率重建方法，其特征在于，所述浅层特征提取网络包括一层3×3卷积和一层1×1卷积。
4.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述深度图像特征的提取步骤包括：
所述待处理图像进入所述渐进式细化模块后，经通道分离得到精细特征和粗糙特征，所述精细特征进入所述线性变换模块，得到变换后的精细特征；所述粗糙特征进行卷积下采样，得到多尺度深度特征；
变换后的所述精细特征和对应的所述多尺度深度特征，共同进入所述多尺度特征融合模块进行拼接融合，融合后得到所述图像深度特征。
5.根据权利要求4所述的一种轻量化超分辨率重建方法，其特征在于，所述融合，是从尺度最小的深度特征开始，依次进行上采样并与对应的变换后的所述精细特征拼接融合，逐层向上传递，直至每个分支的特征全部拼接后进行通道混洗，输出融合后的所述图像深度特征。
6.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述线性变换模块的数量取决于不同尺度精细特征的分支数量。
7.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述图像深度特征在进行超分辨率重建之前，依次经过多个基本transformer块进行注意力计算。
8.根据权利要求7所述的一种轻量化超分辨率重建方法，其特征在于，每两个所述基本transformer块之间设有非线性转换层，用于共享参数进行注意力计算。
9.根据权利要求7所述的一种轻量化超分辨率重建方法，其特征在于，所述基本transformer块进行注意力计算的过程包括：
所述图像深度特征增加通道数量后，使用通道分离计算注意力分量Q、分量K和分量V，
所述分量K转置后依次与所述分量Q和所述分量V相乘，得到经注意力计算的特征信息。
10.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，根据所述图像深度特征和所述待处理图像，得到超分辨率重建图像的过程，包括：
所述图像深度特征经亚像素卷积上采样层放大，得到深层语义特征；所述待处理图像经双线性插值上采样，得到原始结构信息，将所述深层语义特征和所述原始结构信息相加，得到所述待处理图像的超分辨率重建图像。
CN202211678239.5A 2022-12-26 2022-12-26 一种轻量化超分辨率重建方法 Pending CN116152062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211678239.5A CN116152062A (zh) 2022-12-26 2022-12-26 一种轻量化超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211678239.5A CN116152062A (zh) 2022-12-26 2022-12-26 一种轻量化超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN116152062A true CN116152062A (zh) 2023-05-23

Family

ID=86353559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211678239.5A Pending CN116152062A (zh) 2022-12-26 2022-12-26 一种轻量化超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN116152062A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117196960A (zh) * 2023-11-08 2023-12-08 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN116596764B (zh) * 2023-07-17 2023-10-31 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117132472B (zh) * 2023-10-08 2024-05-31 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117196960A (zh) * 2023-11-08 2023-12-08 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置
CN117196960B (zh) * 2023-11-08 2024-03-01 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置

Similar Documents

Publication Publication Date Title
CN116152062A (zh) 一种轻量化超分辨率重建方法
CN111275618B (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN101477684B (zh) 一种利用位置图像块重建的人脸图像超分辨率方法
CN110930306B (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN114972746B (zh) 一种基于多分辨率重叠注意力机制的医学影像分割方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN103020940B (zh) 一种基于局部特征转换的人脸超分辨率重建方法
CN114463341A (zh) 一种基于长短距离特征的医学图像分割方法
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN114841859A (zh) 基于轻量神经网络和Transformer的单图像超分辨率重建方法
CN113763251A (zh) 一种图像超分辨率放大模型及其方法
CN114241218A (zh) 一种基于逐级注意力机制的目标显著性检测方法
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
CN114550305B (zh) 一种基于Transformer的人体姿态估计方法及系统
CN114359039A (zh) 基于知识蒸馏的图像超分方法
CN114119627A (zh) 基于深度学习的高温合金微观组织图像分割方法及装置
CN114283069A (zh) 一种脑部磁共振图像超分辨率重建方法
CN113139904A (zh) 一种图像盲超分辨率方法及系统
Liu et al. Frequency separation-based multi-scale cascading residual block network for image super resolution
CN116434039A (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN114898110A (zh) 一种基于全分辨率表示网络的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination