CN112862688A - 基于跨尺度注意力网络的图像超分辨率重建模型及方法 - Google Patents
基于跨尺度注意力网络的图像超分辨率重建模型及方法 Download PDFInfo
- Publication number
- CN112862688A CN112862688A CN202110251817.6A CN202110251817A CN112862688A CN 112862688 A CN112862688 A CN 112862688A CN 202110251817 A CN202110251817 A CN 202110251817A CN 112862688 A CN112862688 A CN 112862688A
- Authority
- CN
- China
- Prior art keywords
- scale
- module
- layer
- cross
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，包括浅层特征提取模块、多尺度残差模块和重建模块；浅层特征提取模块用于提取低分辨率图像的浅层特征；多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；高阶跨尺度注意力组与特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入。通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现了多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于跨尺度注意力网络的图像超分辨率重建模型及方法。
背景技术
图像超分辨率重建技术作为一种后处理手段，能够在不增加硬件成本的情况下增强图像的分辨率，近年来成为图像处理、计算机视觉领域的研究热点。传统的超分辨率重建方法主要分为基于插值的方法、基于重建的方法和基于学习的方法三类。基于学习的方法由于在运算速度和重建质量方面明显优于其它两类方法，获得了学术界和工业界更多的关注。目前很多的超分辨率重建方案都利用了多尺度特征来提高图像重建的质量。例如，公开号为CN110415170A的专利提供了一种基于多尺度注意力卷积神经网络的图像超分辨率方法；公开号为CN111754404A的专利提供了一种基于多尺度机制和注意力机制的遥感图像时空融合方法；公开号为CN110992270A的专利提供了一种基于注意力的多尺度残差注意网络图像超分辨率重建方法。但是这些方案都未考虑多尺度特征跨尺度和尺度内的通道相关性，图像重建质量仍有待提高。
发明内容
本发明的目的在于提供一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，用以实现提高图像超分辨率重建质量的技术效果。
第一方面，本发明提供了一种基于跨尺度注意力网络的图像超分辨率重建模型，包括；浅层特征提取模块、多尺度残差模块和重建模块；所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；所述高阶跨尺度注意力组与所述特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入；所述多尺度残差模块通过所述高阶跨尺度注意力组从所述浅层特征中提取不同深度的残差特征，然后通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征，并通过所述全局残差加法器将所述浅层特征与该融合特征相加得到对应的深层特征；所述重建模块用于根据所述深层特征进行上采样和特征重构，输出最终的高分辨率图像。
进一步地，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块；所述密集特征融合模块用于对获取到的特征进行融合；所述残差嵌套模块包括第一残差学习模块和第二残差学习模块；所述第一残差学习模块包括并联的基本残差块和宽激活残差块，所述基本残差块和宽激活残差块均为“卷积层-ReLU层-卷积层”结构，区别在于所述宽激活残差块在ReLU层激活之前进行了通道扩展处理，在ReLU层激活之后进行通道压缩处理；所述第二残差学习模块包括一个n×n卷积层，其中n为大于1的奇数；所述基本残差块的输出与所述宽激活残差块的输出相减后作为所述第二残差学习模块的输入；所述第二残差学习模块的输出与所述基本残差块的输出相加并经一个n×n卷积层学习后，与当前获取到的特征相加并输出至下一个模块；所述高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征，并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重，根据所述跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合。
进一步地，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成，且每个卷积层具有不同的感知域；所述跨尺度注意力生成子网络用于根据所述多尺度特征分析对应的跨尺度注意力权重；所述尺度内注意力生成子网络用于根据所述多尺度特征分析对应的尺度内注意力权重；所述多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入一个n×n卷积层进行特征融合。
进一步地，所述跨尺度注意力生成子网络包括若干个与所述多尺度特征提取子网络中的各个卷积层一一对应连接的CONV-CC层和若干个跨尺度注意力权重分析单元；所述CONV-CC层是输出通道为1的1×1卷积层，且各个所述CONV-CC层并列设置；所述多尺度特征提取子网络中各个卷积层的输出并列输入各个所述CONV-CC层；所述跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层，负责为对应尺度获取跨尺度注意力权重；所述计算层将除对应尺度外其余尺度相同位置上的CONV-CC层的输出相乘并进行累加后，再与所述多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘；然后通过所述全局池化层和所述Sigmoid层得到对应尺度的跨尺度注意力权重。
进一步地，所述尺度内注意力生成子网络包括一个全局池化层；与该全局池化层连接的一个“卷积层-ReLU层-卷积层”结构；与该“卷积层-ReLU层-卷积层”结构连接的Sigmoid层。
进一步地，所述多尺度特性调整与融合子网络包括与所述多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器；与各个乘法器连接的一个Concat层；以及与该Concat层连接的一个n×n卷积层；所述多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘；然后由Concat层进行拼接；最后输入n×n卷积层进行特征融合。
第二方面，本发明提供了一种基于跨尺度注意力网络的图像超分辨率重建方法，应用于上述的图像超分辨率重建模型，包括：
S1.根据图像退化模型建立训练集，得到N个低分辨率图像ILR和与N个低分辨率图像ILR对应的真实高分辨率图像IHR；其中，N为大于1的整数；
S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征；
S3.将浅层特征输入多尺度残差模块提取深层特征；
S4.将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理，并重建出最后的高分辨率图像；
S5.通过损失函数对所述图像超分辨率重建模型进行优化，所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差，表达式为：
式中，L(Θ)表示损失函数，fHOCSANet表示所述图像超分辨率重建模型的功能函数。
进一步地，所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器，所述S3包括：
S31.通过若干个级联的高阶跨尺度注意力组对所述浅层特征进行分析，得到不同深度的残差特征；
S32.通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征；
S33.通过全局残差加法器将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。
进一步地，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块，所述S31包括：
通过所述密集特征融合模块对获取到的特征进行融合；
通过若干个级联的残差嵌套模块对融合后的特征获取不同深度的残差特征，并通过高阶跨尺度注意力模块进行局部残差学习。
进一步地，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述通过高阶跨尺度注意力模块进行局部残差学习的步骤包括：
通过所述多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取，获取若干个多尺度特征；
通过跨尺度注意力生成子网络分析所述多尺度特征的跨尺度注意力权重；
通过尺度内注意力生成子网络分析所述多尺度特征的尺度内注意力权重；
通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入n×n卷积层进行特征融合。
本发明能够实现的有益效果是：本发明将多尺度特征与注意力机制结合起来，通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现了多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种图像超分辨率重建模型的拓扑结构示意图；
图2为本发明实施例提供的一种高阶跨尺度注意力组的拓扑结构示意图；
图3为本发明实施例提供的一种残差嵌套模块拓扑结构示意图；
图4为本发明实施例提供的一种高阶跨尺度注意力模块的拓扑结构示意图；
图5为本发明实施例提供的一种跨尺度注意力生成子网络的拓扑结构示意图；
图6为本发明实施例提供的一种尺度内注意力生成子网络的拓扑结构示意图；
图7为本发明实施例提供的一种图像超分辨率重建方法的流程示意图。
图标：10-图像超分辨率重建模型；100-浅层特征提取模块；200-多尺度残差模块；210-高阶跨尺度注意力组；211-密集特征融合模块；212-残差嵌套模块；213-高阶跨尺度注意力模块；2131-多尺度特征提取子网络；2132-跨尺度注意力生成子网络；2133-尺度内注意力生成子网络；2134-多尺度特性调整与融合子网络；220-特征融合模块；230-全局残差加法器；300-重建模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1，图1为本发明实施例提供的一种图像超分辨率重建模型的拓扑结构示意图。
经申请人研究发现，现有的很多图像超分辨率重建方法都倾向于采用注意力机制来提高网络的表达能力，获取更高的评价指标，但是现有的方法都未考虑通过学习跨尺度和尺度内的通道相关性来自适应调整多尺度特征注意力权重的问题，所以图像重建时细节特征处理结果还有待提高，因此本发明实施例提供了一种基于跨尺度注意力网络的图像超分辨率重建模型，以解决上述问题。
在一种实施方式中，本发明实施例提供的图像超分辨率重建模型包括浅层特征提取模块、多尺度残差模块和重建模块；浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；高阶跨尺度注意力组与特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入；多尺度残差模块通过高阶跨尺度注意力组从浅层特征中提取不同深度的残差特征，然后通过特征融合模块对残差特征进行融合，得到对应的融合特征，并通过全局残差加法器将浅层特征与该融合特征相加得到对应的深层特征；重建模块用于根据深层特征进行上采样和特征重构，输出最终的高分辨率图像。
如图1所示，在上述实现过程中，高阶跨尺度注意力组可以设为G个(G为大于2的整数)；浅层特征提取模块包括一个n×n卷积层(n×n CONV)，其中n为大于1的奇数；各个高阶跨尺度注意力组之间采用密集跳线连接，特征融合模块包括一个1×1卷积层(1×1CONV)和一个n×n卷积层(n×n CONV)，以融合来自前序多个高阶跨尺度注意力组的不同深度的特征；全局残差加法器将浅层特征与融合后的深层残差特征相加，确保网络专注于学习高频的残差特征。重建模块包括一个亚像素卷积层(UPSAMPLE)和一个n×n卷积层(n×n CONV)，用于将多尺度残差模块所输出的深层特征进行上采样和特征重构，输出最终的高分辨率图像。
请参看图2和图3，图2为本发明实施例提供的一种高阶跨尺度注意力组的拓扑结构示意图；图3为本发明实施例提供的一种残差嵌套模块拓扑结构示意图。
在一种实施方式中，高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块；密集特征融合模块用于对获取到的特征进行融合；残差嵌套模块包括第一残差学习模块和第二残差学习模块；第一残差学习模块包括并联的基本残差块和宽激活残差块，基本残差块和宽激活残差块均为“卷积层-ReLU层-卷积层”结构，区别在于宽激活残差块在ReLU层激活之前进行了通道扩展处理，在ReLU层激活之后进行通道压缩处理；第二残差学习模块包括一个n×n卷积层；基本残差块的输出与宽激活残差块的输出相减后作为第二残差学习模块的输入；第二残差学习模块的输出与基本残差块的输出相加并经一个n×n卷积层学习后，与当前获取到的特征相加并输出至下一个模块；高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征，并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重，根据跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合。
如图3所示，在上述实现过程中，每个残差嵌套模块进行两阶残差学习，具体地：第一阶残差学习通过第一残差学习模块进行，第二阶残差学习通过第二残差学习模块进行；第一残差学习模块并联了一个基本残差块和一个宽激活残差块，基本残差块从输入特征x中学习到残差FP，宽激活残差块从输入特征x中学习到残差FWA；将FP与FWA的差值RI作为第二残差学习模块的输入；第二阶残差学习完成后与FP相加，经一个n×n卷积层融合学习，再与x相加；该过程可表示为：
RI＝FP-FWA
RO＝fI(RI)+FP
z＝fO(RO)+x
fI和fO分别表示内层和外层的n×n卷积层的功能函数，z表示输出的特征。
请参看图4，图4为本发明实施例提供的一种高阶跨尺度注意力模块的拓扑结构示意图。
在一种实施方式中，高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成，且每个卷积层具有不同的感知域；跨尺度注意力生成子网络用于根据多尺度特征分析对应的跨尺度注意力权重；尺度内注意力生成子网络用于根据多尺度特征分析对应的尺度内注意力权重；多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入一个n×n卷积层进行特征融合。
在上述实现过程中，多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔(Dilation rate,d)的空洞卷积层并联组成，每个卷积层具有不同的感知域，因此能提取多个不同尺度的特征。
在上述实现过程中，多尺度特性调整与融合子网络包括与多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器；与各个乘法器连接的一个Concat层；以及与该Concat层连接的一个n×n卷积层；多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘；然后由Concat层进行拼接；最后输入n×n卷积层进行特征融合。
具体地，假设高阶跨尺度注意力模块使用多尺度特征提取子网络提取出S个多尺度特征Ml(1≤l≤S)，再分别由跨尺度注意力生成子网络和尺度内注意力生成子网络为第l个尺度特征Ml学习跨尺度注意力权重αl和尺度内注意力权重βl，结合αl和βl实现多尺度特征的自适应调整，以强调更重要的多尺度信息，表达式为：
式中，
表示逐像素相乘。随后，采用Concat层和CONV层融合调整后的多尺度特征
并将融合特征与高阶跨尺度注意力模块的输入相加，实现局部残差学习。
请参看图5和图6，图5为本发明实施例提供的一种跨尺度注意力生成子网络的拓扑结构示意图；图6为本发明实施例提供的一种尺度内注意力生成子网络的拓扑结构示意图。
如图5所示，在一种实施方式中，跨尺度注意力生成子网络包括若干个与多尺度特征提取子网络中的各个卷积层一一对应连接的CONV-CC层以及若干个跨尺度注意力权重分析单元；CONV-CC层是输出通道为1的1×1卷积层，且各个CONV-CC层并列设置；多尺度特征提取子网络中各个卷积层的输出并列输入各个CONV-CC层；跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层，负责为对应尺度获取跨尺度注意力权重；计算层将除对应尺度外其余尺度相同位置上的CONV-CC层的输出相乘并进行累加后，再与多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘；然后通过全局池化层(Global pooling)和Sigmoid层得到对应尺度的跨尺度注意力权重。
具体地，跨尺度注意力生成子网络可以通过低秩近似(k阶近似)的方法推导出相应的神经网络结构，来近似实现多尺度特征跨尺度的S阶通道相关性张量。具体地，将每一个尺度特征，并列输入k个CONV-CC层，CONV-CC层是输出通道为1的1×1卷积层。以第一个尺度(M1)为例，将其余各个尺度相同位置上的CONV-CC层输出相乘，并将k个乘积结果相加后，与第一个尺度特征相乘，然后输入一个全局池化层(Global pooling)和一个Sigmoid层，得到第一个尺度特征M1的跨尺度注意力权重。
需要说明的是，上述实现过程中，S和k均为大于1的整数，可以根据实际情况进行设置。
示例性的，跨尺度注意力生成子网络可按照以下方式构建：
本发明用一个高阶张量T来模型化表示多尺度特征跨尺度的通道相关性，令(Ml)c表示第l个尺度特征Ml的第c个通道，则高阶张量T的第(c1,c2,…,cS)个分量等于
的内积，表达式为：
其中，1H×W[·]表示沿高、宽方向进行2维求和。进一步地，T可用张量乘积
表示为：
给定尺度l和它的第cl个通道，可用T(:,…,cl,…,:)(简写为T(cl))表示Ml的通道
与其余S-1个尺度间的相关量，表达式为：
其中，
其余的
(i≠1且i≠l)。为了强调更重要的特征，本发明采用跨尺度通道注意力权重来调节多尺度特征，与其它尺度相关度越高的通道应赋予更高的注意力权重，因此根据T(cl)来计算通道
对应的权重
表达式为：
其中，Wl是与T(cl)同阶的权重张量；Σ为高阶张量求和算子；σ(·)为Sigmoid激活函数。由于T的计算需要较大的运算量，本发明使用低秩近似的方法来降低运算复杂度。设张量Wl的秩为k，则Wl可低秩分解为：
其中，wi j∈RC×1×1，则在相应推导的基础上，权重
的表达式可更新为：
其中，1C[·]表示沿通道方向求和。依据上式可设计出一个由常规卷积神经网络层构成的跨尺度注意力生成子网络，
用输出通道数为1的1×1CONV层(CONV-CC)实现，wi j对应了CONV-CC层的权重参数。秩为k的低秩分解意味着在每个尺度特征Mi上需要并列运行k个CONV-CC层。为了计算给定尺度l所对应的跨尺度注意力权重αl，将其余S-1个尺度上相同秩位置的CONV-CC层输出进行逐像素相乘，将得到的k个矩阵相加，然后乘以Ml，接着用一个全局平均池化层完成2维求和1H×W[·]，最后用一个Sigmoid层完成上式中σ(·)运算。
如图6所示，在一种实施方式中，尺度内注意力生成子网络包括一个全局池化层；与该全局池化层连接的一个“卷积层-ReLU层-卷积层”结构；与该“卷积层-ReLU层-卷积层”结构连接的Sigmoid层。
在给定尺度l的情况下，对多尺度特征Ml进行全局平均池化，得到Ml的通道统计特征zl∈RC×1×1，表达式为：
接着采用通道压缩-通道扩展方式从zl中学习尺度内的特征通道依赖关系：
βl＝σ(Wl Eδ(Wl Szl))
其中，δ(·)为ReLU激活函数，
表示通道压缩CONV层的权重参数，Wl E表示通道扩展CONV层的权重参数。请参看图7，图7为本发明实施例提供的一种图像超分辨率重建方法的流程示意图。
在一种实施方式中，本发明实施例还提供了一种应用于上述图像超分辨率重建模型上的图像超分辨率重建方法，其具体内容如下所述。
S1.根据图像退化模型建立训练集，得到N个低分辨率图像ILR和与N个低分辨率图像ILR对应的真实高分辨率图像IHR；其中，N为大于1的整数。
具体地，训练集可以表示为
i表示第i个高低分辨率图像对。
S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征，表达式如下：
F0＝fSF(ILR)
其中，ILR表示输入的低分辨率图像，F0表示低分辨率图像ILR的浅层特征，fSF表示浅层特征提取模块的功能函数。
S3.将浅层特征输入多尺度残差模块提取深层特征，表达式如下：
FD＝fMSRB(F0)
其中，FD表示图像的深层特征，fMSRB表示多尺度残差模块的功能函数。
S4.将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理，并重建出最后的高分辨率图像，表达式为：
ISR＝fREC(FD)＝fHOCSANet(ILR)
其中ISR表示重建得到的高分辨率图像，fREC表示重建模块的功能函数，fHOCSANet表示图像超分辨率重建模型的功能函数。
S5.通过损失函数对所述图像超分辨率重建模型进行优化，所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差，表达式为：
式中，L(Θ)表示损失函数。
在一种实施方式中，多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器，S3包括：
S31.通过若干个级联的高阶跨尺度注意力组对浅层特征进行分析，得到不同深度的残差特征；
S32.通过特征融合模块对残差特征进行融合，得到对应的融合特征；
S33.通过全局残差加法器将浅层特征和融合特征进行相加，得到对应的深层特征。
具体地，多尺度残差模块的处理流程包括：将浅层特征F0分为两路，一路直接通过跳线传递到多尺度残差模块末端的全局残差加法器，另一路作为全局残差学习的输入，传入高阶跨尺度注意力组；将浅层特征F0以及前g-1个高阶跨尺度注意力组的输出拼接起来，得到[F0,L1,…,Lg-1]，作为第g个高阶跨尺度注意力组的输入，第g个高阶跨尺度注意力组的处理可表示为：
Lg＝fHOCSAG,g([F0,L1,…,Lg-1])
其中，Lg表示第g个高阶跨尺度注意力组的输出，fHOCSAG,g表示第g个高阶跨尺度注意力组的功能函数；[F0,L1,…,LG]经特征融合模块融合后，与跳线传递来的F0相加，得到深层特征FD。
在一种实施方式中，高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块，S31包括：
通过密集特征融合模块对获取到的特征进行融合；
通过若干个级联的残差嵌套模块从融合后的特征中获取不同深度的残差特征，并通过高阶跨尺度注意力模块进行局部残差学习。
在一种实施方式中，高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；通过高阶跨尺度注意力模块进行局部残差学习的步骤包括：
通过多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取，获取若干个多尺度特征；
通过跨尺度注意力生成子网络分析多尺度特征的跨尺度注意力权重；
通过尺度内注意力生成子网络分析多尺度特征的尺度内注意力权重；
通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入n×n卷积层进行特征融合。
为了更好地说明本发明的有效性，本发明实施例还采用对比实验的方式进行重建效果的比较。
具体地，本发明实施例使用DIV2K中800幅高分辨率图像作为训练集，测试集分别使用Set5，Set14，B100，Urban100，Manga109。对原始高分辨率图像进行双三次下采样，得到相应的低分辨率图像。
当构建好训练集后，可以在pytorch框架上进行模型的训练和测试。将训练集中低分辨率图像裁剪成48×48的图像块，每次随机输入16个48×48的图像块组。使用Adam梯度下降法实现网络参数Θ的优化，其中Adam优化器的参数设置为β1＝0.9，β2＝0.999，ε＝10-8。学习率的初始设置为10-4，每200个epoch乘以0.6。高阶跨尺度注意力组的数量为G＝10；每个高阶跨尺度注意力组中残差嵌套模块数量为B＝10；残差嵌套模块中宽激活残差的通道扩张因子为1.5；高阶跨尺度注意力模块的多尺度数量为4，低秩近似时秩k取3。使用峰值信噪比(PSNR)和结构相似性(SSIM)来评估模型性能。
本发明使用Set5，Set14，B100，Urban100，Manga109五个数据集来测试模型性能，对比实验选取了双三次插值Bicubic和11个具有代表性的图像超分辨率重建方法与本发明的实验结果进行比较，实验结果如表1所示，其中HOCSANet为本发明提出的方法。11个具有代表性的图像超分辨率重建方法包括：
LapSRN：Lai等人提出的方法，参考文献“W.S.Lai,J.B.Huang,N.Ahuja,andM.H.Yang,Deep laplacian pyramid networks for fast and accurate super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2017,pp.624-632.”。
EDSR：Lim等人提出的方法，参考文献“B.Lim,S.Son,H.Kim,S.Nah,and K.M.Lee,Enhanced deep residual networks for single image super-resolution,in:CVPRW,2017,pp.136-144.”。
MemNet：Tai等人提出的方法，参考文献“Y.Tai,J.Yang,X.Liu,and C.Xu,Memnet:A persistent memory network for image restoration,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2017,pp.4539-4547.”。
RDN：Zhang等人提出的方法，参考文献“Y.Zhang,Y.Tian,Y.Kong,B.Zhong,andY.Fu,Residual dense network for image super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2018,pp.2472-2481.”。
DBPN：Haris等人提出的方法，参考文献“M.Haris,G.Shakhnarovich,andN.Ukita,Deep back-projection networks for super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2018,pp.1664-1673.”。
NLRN：Liu等人提出的方法，参考文献“D.Liu,B.Wen,Y.Fan,C.C.Loy,andT.S.Huang,Non-local recurrent network for image restoration,in:NeurIPS,2018,pp.1673-1682.”。
RCAN：Zhang等人提出的方法，参考文献“Y.Zhang,K.Li,K.Li,L.Wang,B.Zhong,and Y.Fu,Image super-resolution using very deep residual channel attentionnetworks,in:Proc.Eur.Conf.Comp.Vis.,2018,pp.286-301.”。
SRFBN：Li等人提出的方法，参考文献“Z.Li,J.Yang,Z.Liu,X.Yang,G.Jeon,andW.Wu,Feedback network for image super-resolution,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2019,pp.3867-3876.”。
OISR：He等人提出的方法，参考文献“X.He,Z.Mo,P.Wang,Y.Liu,M.Yang,andJ.Cheng,ODE-inspired network design for single image super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2019,pp.1732-1741.”。
SAN：Dai等人提出的方法，参考文献“T.Dai,J.Cai,Y.Zhang,S.T.Xia,andL.Zhang,Second-order attention network for single image super-resolution,in:Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2019,pp.11065-11074.”。
CSNLN：Mei等人提出的方法，参考文献“Y.Mei,Y.Fan,Y.Zhou,L.Huang,T.S.Huang,and H.Shi,Image super-resolution with cross-scale non-localattention and exhaustive self-exemplars mining,in:Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2020,pp.5690-5699.”。
从表1可以看出(最优的值和排名第二优的值分别用黑色加粗和下划线表示)，在大多数情况下，本发明的PSNR和SSIM是最高的，重建效果显著优于目前具有代表性的一些图像超分辨率重建方法。
表1在5个测试集上的平均PSNR和SSIM值比较
综上所述，本发明实施例提供了一种基于跨尺度注意力网络的图像超分辨率重建模型及方法，通过构建的图像超分辨率重建模型学习多尺度特征在跨尺度及尺度内的通道相关性，并根据相关性调整注意力权重，实现多尺度特征的自适应调整，从而提高网络对特征的辨析学习能力，进而提高了图像超分辨率重建质量。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于跨尺度注意力网络的图像超分辨率重建模型，其特征在于，包括：浅层特征提取模块、多尺度残差模块和重建模块；所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块和一个全局残差加法器；所述高阶跨尺度注意力组与所述特征融合模块以级联方式连接，同时各个高阶跨尺度注意力组以其前一个高阶跨尺度注意力组的输入特征和输出特征作为输入；所述多尺度残差模块通过所述高阶跨尺度注意力组从所述浅层特征中提取不同深度的残差特征，然后通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征，并通过所述全局残差加法器将所述浅层特征与该融合特征相加得到对应的深层特征；所述重建模块用于根据所述深层特征进行上采样和特征重构，输出最终的高分辨率图像。
2.根据权利要求1所述的图像超分辨率重建模型，其特征在于，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块；所述密集特征融合模块用于对获取到的特征进行融合；所述残差嵌套模块包括第一残差学习模块和第二残差学习模块；所述第一残差学习模块包括并联的基本残差块和宽激活残差块，所述基本残差块和宽激活残差块均为“卷积层-ReLU层-卷积层”结构，区别在于所述宽激活残差块在ReLU层激活之前进行了通道扩展处理，在ReLU层激活之后进行通道压缩处理；所述第二残差学习模块包括一个n×n卷积层，其中n为大于1的奇数；所述基本残差块的输出与所述宽激活残差块的输出相减后作为所述第二残差学习模块的输入；所述第二残差学习模块的输出与所述基本残差块的输出相加并经一个n×n卷积层学习后，与当前获取到的特征相加并输出至下一个模块；所述高阶跨尺度注意力模块用于根据最后一个残差嵌套模块的输出结果提取若干个多尺度特征，并分析各个多尺度特征的跨尺度注意力权重和尺度内注意力权重，根据所述跨尺度注意力权重和尺度内注意力权重调整多尺度特征并进行特征融合。
3.根据权利要求2所述的图像超分辨率重建模型，其特征在于，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述多尺度特征提取子网络由一个1×1卷积层和若干个具有不同间隔的空洞卷积层并联组成，且每个卷积层具有不同的感知域；所述跨尺度注意力生成子网络用于根据所述多尺度特征分析对应的跨尺度注意力权重；所述尺度内注意力生成子网络用于根据所述多尺度特征分析对应的尺度内注意力权重；所述多尺度特性调整与融合子网络用于将各个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入一个n×n卷积层进行特征融合。
4.根据权利要求3所述的图像超分辨率重建模型，其特征在于，所述跨尺度注意力生成子网络包括若干个与所述多尺度特征提取子网络中的各个卷积层一一对应连接的CONV-CC层和若干个跨尺度注意力权重分析单元；所述CONV-CC层是输出通道为1的1×1卷积层，且各个所述CONV-CC层并列设置；所述多尺度特征提取子网络中各个卷积层的输出并列输入各个所述CONV-CC层；所述跨尺度注意力权重分析单元包括一个计算层、一个全局池化层和一个Sigmoid层，负责为对应尺度获取跨尺度注意力权重；所述计算层将除对应尺度外其余尺度相同位置上的CONV-CC层的输出相乘并进行累加后，再与所述多尺度特征提取子网络中的对应尺度卷积层的输出进行相乘；然后通过所述全局池化层和所述Sigmoid层得到对应尺度的跨尺度注意力权重。
5.根据权利要求3所述的图像超分辨率重建模型，其特征在于，所述尺度内注意力生成子网络包括一个全局池化层；与该全局池化层连接的一个“卷积层-ReLU层-卷积层”结构；与该“卷积层-ReLU层-卷积层”结构连接的Sigmoid层。
6.根据权利要求3所述的图像超分辨率重建模型，其特征在于，所述多尺度特性调整与融合子网络包括与所述多尺度特征提取子网络中的卷积层一一对应连接的若干个乘法器；与各个乘法器连接的一个Concat层；以及与该Concat层连接的一个n×n卷积层；所述多尺度特征提取子网络中各个卷积层的输出与对应的跨尺度注意力权重和尺度内注意力权重通过各个乘法器进行相乘；然后由Concat层进行拼接；最后输入n×n卷积层进行特征融合。
7.一种基于跨尺度注意力网络的图像超分辨率重建方法，应用于权利要求1-6任一项所述的图像超分辨率重建模型，其特征在于，包括：
S1.根据图像退化模型建立训练集，得到N个低分辨率图像ILR和与N个低分辨率图像ILR对应的真实高分辨率图像IHR；其中，N为大于1的整数；
S2.将所述低分辨率图像输入到浅层特征提取模块以提取图像的浅层特征；
S3.将浅层特征输入多尺度残差模块提取深层特征；
S4.将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理，并重建出最后的高分辨率图像；
S5.通过损失函数对所述图像超分辨率重建模型进行优化，所述损失函数使用N个重建高分辨率图像与对应真实高分辨率图像间的平均L1误差，表达式为：
式中，L(Θ)表示损失函数，fHOCSANet表示所述图像超分辨率重建模型的功能函数。
8.根据权利要求7所述的方法，其特征在于，所述多尺度残差模块包括若干个级联的高阶跨尺度注意力组、一个特征融合模块以及一个全局残差加法器，所述S3包括：
S31.通过若干个级联的高阶跨尺度注意力组对所述浅层特征进行分析，得到不同深度的残差特征；
S32.通过所述特征融合模块对所述残差特征进行融合，得到对应的融合特征；
S33.通过全局残差加法器将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。
9.根据权利要求8所述的方法，其特征在于，所述高阶跨尺度注意力组包括一个密集特征融合模块、若干个级联的残差嵌套模块以及一个高阶跨尺度注意力模块，所述S31包括：
通过所述密集特征融合模块对获取到的特征进行融合；
通过若干个级联的残差嵌套模块对融合后的特征获取不同深度的残差特征，并通过高阶跨尺度注意力模块进行局部残差学习。
10.根据权利要求9所述的方法，其特征在于，所述高阶跨尺度注意力模块包括多尺度特征提取子网络、跨尺度注意力生成子网络、尺度内注意力生成子网络以及多尺度特性调整与融合子网络；所述通过高阶跨尺度注意力模块进行局部残差学习的步骤包括：
通过所述多尺度特征提取子网络对最后一个残差嵌套模块输出的特征进行提取，获取若干个多尺度特征；
通过跨尺度注意力生成子网络分析所述多尺度特征的跨尺度注意力权重；通过尺度内注意力生成子网络分析所述多尺度特征的尺度内注意力权重；
通过多尺度特性调整与融合子网络将每一个多尺度特征与其对应的跨尺度注意力权重和尺度内注意力权重相乘，并由Concat层拼接后，输入n×n卷积层进行特征融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110251817.6A CN112862688B (zh) | 2021-03-08 | 2021-03-08 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110251817.6A CN112862688B (zh) | 2021-03-08 | 2021-03-08 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862688A true CN112862688A (zh) | 2021-05-28 |
| CN112862688B CN112862688B (zh) | 2021-11-23 |
Family
ID=75994860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110251817.6A Active CN112862688B (zh) | 2021-03-08 | 2021-03-08 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862688B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256528A (zh) * | 2021-06-03 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114529464A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像恢复方法 |
| CN114820324A (zh) * | 2022-05-19 | 2022-07-29 | 河南垂天科技有限公司 | 一种基于三并行残差网络的图像超分辨率重建系统 |
| CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
| CN115083016A (zh) * | 2022-06-09 | 2022-09-20 | 广州紫为云科技有限公司 | 一种基于单目摄像机的面向小目标手部隔空交互方法与装置 |
| CN115546032A (zh) * | 2022-12-01 | 2022-12-30 | 泉州市蓝领物联科技有限公司 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN113706388B (zh) * | 2021-09-24 | 2023-06-27 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| US20230262259A1 (en) * | 2022-02-14 | 2023-08-17 | Microsoft Technology Licensing, Llc | Unified Space-Time Interpolation of Video Information |
| CN116977651A (zh) * | 2023-08-28 | 2023-10-31 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN117257308A (zh) * | 2023-10-30 | 2023-12-22 | 济南大学 | 基于驾驶员眼动信息的驾驶员认知分心检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537734A (zh) * | 2018-04-16 | 2018-09-14 | 西华大学 | 基于梯度轮廓例子字典和加权自适应p范数的单幅图像超分辨率重建方法 |
| US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
| CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
| CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
| CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN111754404A (zh) * | 2020-06-18 | 2020-10-09 | 重庆邮电大学 | 基于多尺度机制和注意力机制的遥感图像时空融合方法 |
| US20210012146A1 (en) * | 2019-07-12 | 2021-01-14 | Wuyi University | Method and apparatus for multi-scale sar image recognition based on attention mechanism |
-
2021
- 2021-03-08 CN CN202110251817.6A patent/CN112862688B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
| CN108537734A (zh) * | 2018-04-16 | 2018-09-14 | 西华大学 | 基于梯度轮廓例子字典和加权自适应p范数的单幅图像超分辨率重建方法 |
| CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
| US20210012146A1 (en) * | 2019-07-12 | 2021-01-14 | Wuyi University | Method and apparatus for multi-scale sar image recognition based on attention mechanism |
| CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
| CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN111754404A (zh) * | 2020-06-18 | 2020-10-09 | 重庆邮电大学 | 基于多尺度机制和注意力机制的遥感图像时空融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| TAO LI: "Single image super-resolution incorporating example-based gradient profile estimation and weighted adaptive p-norm", 《NEUROCOMPUTING》 * |
| YING FU: "Residual scale attention network for arbitrary scale image super-resolution", 《NEUROCOMPUTING》 * |
| 刘锡泽: "基于密集反馈网络的单幅图像超分辨率重建", 《计算机工程》 * |
| 范佩佩: "基于非局部均值约束的深度图像超分辨率重建", 《计算机辅助设计与图形学学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256528B (zh) * | 2021-06-03 | 2022-05-27 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN113256528A (zh) * | 2021-06-03 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN113706388B (zh) * | 2021-09-24 | 2023-06-27 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| CN113888412A (zh) * | 2021-11-23 | 2022-01-04 | 钟家兴 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114529464A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像恢复方法 |
| US20230262259A1 (en) * | 2022-02-14 | 2023-08-17 | Microsoft Technology Licensing, Llc | Unified Space-Time Interpolation of Video Information |
| CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
| CN114820324A (zh) * | 2022-05-19 | 2022-07-29 | 河南垂天科技有限公司 | 一种基于三并行残差网络的图像超分辨率重建系统 |
| CN115083016A (zh) * | 2022-06-09 | 2022-09-20 | 广州紫为云科技有限公司 | 一种基于单目摄像机的面向小目标手部隔空交互方法与装置 |
| CN115546032A (zh) * | 2022-12-01 | 2022-12-30 | 泉州市蓝领物联科技有限公司 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
| CN115546032B (zh) * | 2022-12-01 | 2023-04-21 | 泉州市蓝领物联科技有限公司 | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 |
| CN116977651A (zh) * | 2023-08-28 | 2023-10-31 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN116977651B (zh) * | 2023-08-28 | 2024-02-23 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN117257308A (zh) * | 2023-10-30 | 2023-12-22 | 济南大学 | 基于驾驶员眼动信息的驾驶员认知分心检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862688B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862688B (zh) | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 | |
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| Hu et al. | Channel-wise and spatial feature modulation network for single image super-resolution | |
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| CN110852948A (zh) | 基于特征相关性的图像超分辨方法、存储介质及终端设备 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN112734645A (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
| CN114529456A (zh) | 一种视频的超分辨率处理方法、装置、设备及介质 | |
| CN113096013A (zh) | 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN118134764A (zh) | 一种基于统一网络的高光谱图像融合方法 | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN117834852A (zh) | 基于跨注意力多尺度视觉变压器的时空视频质量评价方法 | |
| CN117036171A (zh) | 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法 | |
| CN114998104B (zh) | 一种基于分层学习与特征分离的超分辨率图像重建方法及系统 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN115797646A (zh) | 多尺度特征融合的视频去噪方法、系统、设备及存储介质 | |
| Zhang et al. | Image super-resolution via RL-CSC: when residual learning meets convolutional sparse coding | |
| CN114972062A (zh) | 一种基于平行自适应引导网络的图像修复模型及其方法 | |
| CN114972072A (zh) | 基于注意力机制的图像去马赛克方法 | |
| Kasem et al. | DRCS-SR: Deep robust compressed sensing for single image super-resolution | |
| Wang et al. | Adaptive cross-layer attention for image restoration | |
| CN113837935A (zh) | 基于增强注意力网络的压缩图像超分辨率重建方法 | |
| Zhang et al. | Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |