CN112330542B - 基于crcsan网络的图像重建系统及方法 - Google Patents

基于crcsan网络的图像重建系统及方法 Download PDF

Info

Publication number
CN112330542B
CN112330542B CN202011292962.0A CN202011292962A CN112330542B CN 112330542 B CN112330542 B CN 112330542B CN 202011292962 A CN202011292962 A CN 202011292962A CN 112330542 B CN112330542 B CN 112330542B
Authority
CN
China
Prior art keywords
module
residual
image
deep
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011292962.0A
Other languages
English (en)
Other versions
CN112330542A (zh
Inventor
唐述
杨书丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Qiciwei Innovation Technology Co ltd
Chongqing Santi Deep Mold Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011292962.0A priority Critical patent/CN112330542B/zh
Publication of CN112330542A publication Critical patent/CN112330542A/zh
Application granted granted Critical
Publication of CN112330542B publication Critical patent/CN112330542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像超分辨率重建技术领域，具体涉及基于交叉残差信道‑空间注意力网络的图像重建系统及方法。包括：浅层特征提取模块、深层特征提取模块、上采样模块和重构层，浅层特征模块的输入为低分辨率图像，用于提取浅层特征；深层特征提取模块包括分频模块、交叉残差组，深层特征提取模块的输入为浅层特征模块的输出，用于提取深层特征；所述上采样模块的输入为深层特征，用于上采样；所述重构层用于重构特征，得到高分辨率图像。本发明的重建网络能够具有更强大的特征表达能力和区别学习的能力，能够重建出更高质量的高分辨率图像。

Description

基于CRCSAN网络的图像重建系统及方法
技术领域
本发明涉及图像超分辨率重建技术领域，具体涉及一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统及方法。
背景技术
单图像超分辨率重建表示对低分辨率图像进行相应尺度上采样，得到高分辨率图像。
单幅图像超分辨率重建是一个严重的病态问题，因为对单幅低分辨率图像在分辨率增加的过程中可能会存在多个不同的高分辨率图像与之对应，换句话说，会存在有多个解。因此，为了解决上述问题，大量的基于卷积神经网络的单幅图像超分辨率重建方法被提了出来。然而在现存的基于卷积神经网络的单幅图像超分辨率重建方法中，绝大多数方法都忽略了图像中不同成分之间特征的差异性，而是平等地对待图像中不同成分的特征，导致网络缺乏区别学习的能力，阻碍了卷积神经网络性能的提升。因此现存的基于卷积神经网络的单幅图像超分辨率方法的性能仍具有较大的提升空间。
发明内容
为了解决上述问题，本发明提出了一种交叉残差信道-空间注意力CRCSAN网络的图像重建系统及方法用于单幅图像超分辨率重建。
一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，包括：浅层特征提取模块、深度特征提取模块、上采样模块和重构模块，所述深层特征提取模块包括分频模块和交叉残差组。浅层特征提取模块中包括一个卷积层，用于提取低分辨率输入图像的浅层特征。
深度特征提取模块中包括G个分频模块和G个交叉残差组，分频模块和交叉残差组交错级联，深度特征提取模块用于对浅层特征模块的输出的浅层特征进行深层特征提取，输出深层特征。分频模块用于将图像特征分为高频信息和低频信息，所述分频模块包括卷积层和反卷积层，反卷积层用于上采样，将上采样的输出结果视为低频信息；卷积层用于下采样，将上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息。所述交叉残差组包括B个残差通道-空间注意力模块，所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征；残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中，用于学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征。
上采样模块中包括亚像素卷积层，上采样模块用于对输入的深层特征进行上采样；
重构模块中包括亚像素卷积层，用于对经过上采样后的特征进行特征重构，输出高分辨率图像。
进一步的，深度特征提取模块中包括低频信息融合模块和高频信息融合模块，所述低频信息融合模块包括第一连接模块和第一卷积模块；所述高频信息融合模块包括第二连接模块和第二卷积模块；所述第一连接模块用于拼接图像特征的低频信息；所述第二连接模块用于拼接图像特征的高频信息；所述第一卷积模块与所述第一连接模块连接，所述第一卷积模块用于压缩拼接的低频特征图的通道数量，增强图像低频信息的特征；所述第二卷积模块与所述第二连接模块连接，所述第二连接模块用于压缩拼接的高频特征图的通道数量，增强图像高频信息的特征。
进一步的，所述分频模块采用一个n×n反卷积进行上采样，采用一个n×n的卷积进行下采样，上采样的输出结果UPg视为低频信息，被直接传到低频信息融合模块；上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，作为第g个交叉残差组的输入进行深层学习，交叉残差组的输出输入高频信息融合模块中进行融合。
进一步的，所述交叉残差组中还包括两个3×3的卷积层，所述卷积层用于对每一个残差通道-空间注意力模块的输出进行交叉连接，使得浅层特征被无损传输到深层模块中。
进一步的，去除残差块中的批量归一化层，用于减少参数。
一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，包括以下步骤：
S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取，得到图像的浅层特征；在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征，表达式如下：
F0＝HFM(ILR)
其中，F0表示低分辨率图像的浅层特征，HFM代表浅层特征提取模块，也即是一个卷积层的卷积操作；ILR作为低分辨率的输入图像；
S2、将浅层特征F0输入到深度特征提取模块进行深度特征提取，得到图像的深层特征，深度特征提取表达式如下：
FDF＝HFDRL(F0)
其中，FDF表示图像的深层特征，HFDRL表示深层特征提取模块；
S3、将学习到的深层特征FDF输入上采样模块，上采样模块中进行亚像素卷积处理，得到经过上采样后的特征：
FUP＝HUP(FDF)
其中，HUP表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，FUP是经过上采样之后得到的特征；
S4、将经过上采样后的特征FUP输入到重构层，重构层利用亚像素卷积进行处理，生成最终的超分辨率图像：
ISR＝HR(FUP)＝HCRCSAN(ILR)
其中，ISR表示最终重建的高分辨率图像，HR表示重建层的卷积操作函数，HCRCSAN表示本发明提出的交叉残差信道-空间注意力CRCSAN网络的处理函数；
S5、使用损失函数对CRCSAN网络进行优化，包括：先输入N个低分辨率图像，重建N个超分辨率图像之后，然后计算这N个输出的超分辨率图像块和真实的高分辨率图像块的绝对平均误差，并采用反向传播策略和随机梯度下降算法对CRCSAN网络的参数Θ进行优化，最终得到训练好的CRCSAN。
进一步的，使用的损失函数是平均绝对误差MAE，损失函数L(Θ)的表达式如下：
Figure BDA0002784368060000041
其中，Θ表示本发明提出的网络的参数，ISR表示经过CRCSAN网络重建的超分辨率图像，IHR表示真实的高分辨率图像，
Figure BDA0002784368060000042
表示给定含有N个低分辨率和真实的高分辨率图像块的训练图像对。
进一步的，步骤S2中，深层特征提取模块由G个分频模块和G个交叉残差组组成，浅层特征经过G个分频模块和G个交叉残差组，最终得到深层特征，具体地，在深度特征提取模块中的处理过程包括：使用分频模块将浅层特征F0分为高频信息和低频信息，将低频信息传输到深度特征提取模块的低频信息融合模块中，将高频信息输入到交叉残差组中进行深层学习，得到深层特征。
进一步的，使用分频模块将浅层特征F0分为高频信息和低频信息，具体包括：分频模块采用一个n×n反卷积进行上采样，将上采样的输出结果UPg视为低频信息；采用一个n×n的卷积进行下采样，下采样的输出为DOWNg，上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，计算公式如下：
UPg＝H↑(Fg-1)
DOWNg＝H↓(UPg)
FFSM,g＝Fg-1-DOWNg
其中，H↑表示上采样的反卷积操作，H↑表示下采样卷积操作，FFSM,g表示第g个分频模块的输出，也是第g个交叉残差组的输入,Fg-1表示第g-1个交叉残差的输出，也是第g个分频模块的输入。
进一步的，将高频信息输入到交叉残差组中进行深层学习，得到深层特征，具体包括：使用残差通道-空间注意力模块自适应的调整通道和空间维度上的像素特征，过滤掉冗余信息的特征，得到通道维度和空间维度上更具有丰富信息的特征；再利用两个堆叠的卷积层将每一个残差通道-空间注意力块的输出进行交叉连接，并将交叉连接的结果作为下一个残差通道-空间注意力模块的输入，最终得到深层特征，表达式如下：
Figure BDA0002784368060000051
Figure BDA0002784368060000052
其中，Xg,b表示残差分量，
Figure BDA0002784368060000053
表示第g个交叉残差组中第b个残差注意力块中第一个3×3卷积的权重，δ(·)表示ReLU激活函数，
Figure BDA0002784368060000054
表示第g个交叉残差组中第b个残差注意力块中第二个3×3卷积的权重；Fg,b-1表示第g个交叉残差组中第b-1个使用交叉连接的残差注意力块输出，Fg.,b-2表示第g个交叉残差组中第b-2个使用交叉连接的残差注意力块输出；Fg,0表示深层特征提取模块中第一个3×3卷积层的输出，该卷积操作层进一步提取低分辨率特征。
本发明的有益效果：
1.首先，本发明提出的交叉残差信道-空间注意力CRCSAN采用多个上下采样的分频模块将输入的图像特征分为高频信息和低频信息，针对不同频率的信息采用具有不同处理能力的模块分别进行复原处理：低频信息仅在较浅的层中进行复原处理，而越高频率的信息将会被越深的层复原，能够较好地解决现有方法中“忽略了不同图像成分之间特征差异性，平等对待图像中不同成分”的缺陷，极大地提升了网络区别学习的能力，能够较大提升单幅图像超分辨率重建的性能。
2.本发明提出了一种新的空间注意力(Spatial Attention，SA)策略，该策略将特征图中行和列的特征同时引入到残差块中，同时考虑了图像的全局和局部特征统计，显式地开发了每幅特征图上每个像素点的特征相互依赖性，实现了每个像素特征的自适应调节，因此，再一次提升了网络区别学习的能力，进一步提升了单幅图像超分辨率重建的性能。
3.为了防止浅层的特征在信息传递过程被弱化或者丢失，本发明提出了一种交叉的残差结构来实现浅层特征能够被无损的传递到更深的层，保证信息的完整性，具有更强的特征表达能力。与现有的技术相比，本发明提出的网络具有更强大的特征表达能力和区别学习的能力，能够重建出更高质量的高分辨率图像。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本发明实施例提供的交叉残差信道-空间注意力网络结构示意图；
图2为本发明实施例提供的一种交叉残差组结构示意图；
图3为本发明实施例提供的的一种通道关注机制；
图4为本发明实施例提供的一种空间注意力机制；
图5为本发明实施例提供的一种残差通道-空间注意力模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的交叉残差信道-空间注意力网络结构示意图，图中CRG表示交叉残差组结构(CRG结构如图2所示)，其中，3x3Conv表示一个3×3的卷积操作，1x1Conv表示一个1×1的卷积操作，nxnDeConv表示一个n×n反卷积操作，nxnConv表示一个n×n卷积操作，其中，当上采样2倍时，卷积和反卷积的核大小n为6×6；当上采样3倍时，卷积和反卷积的核大小n为7×7；当上采样4倍时，卷积和反卷积的核大小n为8×8，Concat表示拼接操作。如图1所示，本发明实施例的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，结构包括：浅层特征提取模块、深度特征提取模块、上采样模块和重构模块，所述深层特征提取模块包括分频模块和交叉残差组，深层特征提取模块的结构为本系统的主要创新点。
浅层特征提取模块的输入为低分辨率图像，浅层特征提取模块中包括一个或多个卷积层，用于提取低分辨率输入图像的浅层特征。
深度特征提取模块中包括G个分频模块、G个交叉残差组、连接模块和卷积模块，分频模块和交叉残差组交错级联。深度特征提取模块主要用于对浅层特征模块的输出的浅层特征进行深层特征提取，输出深层特征。深
进一步的，所述分频模块(frequency-splitting module，FSM)包括卷积层和反卷积层，反卷积层用于上采样，将上采样的输出结果作为低频信息，低频信息被直接传输到深度特征提取模块的低频信息融合模块中，如图1所示；卷积层用于下采样，上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，将高频信息作为第g个交叉残差组的输入进行深层学习。分频模块的作用是将图像特征分为高频信息和低频信息。优选地，分频模块采用一个n×n反卷积进行上采样，采用一个n×n的卷积进行下采样。
进一步的，所述交叉残差组由B个残差通道-空间注意力模块(图2中的一个“RCSAB”表示一个残差通道-空间注意力模块)和两个3×3的卷积层组成，B个残差通道-空间注意力模块级联在两个3×3卷积层之间。所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征；残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块(本发明的创新点)，通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中，用于学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征；为了减少参数，去除残差块中的批量归一化层。所述卷积层用于对所有残差通道-空间注意力模块的输出进行交叉连接，使得浅层特征被无损传输到深层模块中。
进一步的，深度特征提取模块中包括低频信息融合模块和高频信息融合模块，所述低频信息融合模块包括第一连接模块和第一卷积模块；所述高频信息融合模块包括第二连接模块和第二卷积模块；所述第一连接模块用于拼接图像特征的低频信息；所述第二连接模块用于拼接图像特征的高频信息；所述第一卷积模块与所述第一连接模块连接，所述第一卷积模块用于压缩拼接的低频特征图的通道数量，增强图像低频信息的特征；所述第二卷积模块与所述第二连接模块连接，所述第二连接模块用于压缩拼接的高频特征图的通道数量，增强图像高频信息的特征。
进一步的，在一个优选实施例中，低频信息融合模块中的第一卷积模块为1×1卷积层，第一卷积模块不仅能够有效压缩拼接的低频特征图的通道数量，同时还能进一步增强图像低频信息的特征；高频信息模块中的第二卷积模块包括1×1卷积层和3×3卷积层，第二卷积模块不仅能够有效压缩拼接的高频特征图的通道数量，同时还能进一步增强图像高频信息的特征。
上采样模块中包括亚像素卷积层和一个拼接层，亚像素卷积用于对输入的深层特征进行上采样，拼接层用于拼接低频信息融合模块的输出和亚像素卷积层的输出，进一步融合低频信息和高频信息。
重构模块中包括亚像素卷积层，用于对经过上采样后的特征进行特征重构，输出高分辨率图像。
本发明的基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统能够实现将输入的低分辨率图像恢复成高分辨率图像，本实施例的图像重建系统工作时的处理流程具体包括以下过程：
设ILR作为低分辨率的输入图像，ISR为经过网络重建的输出的高分辨率图像，在浅层特征提取模块中使用一个或多个卷积层来提取低分辨率图像的浅层特征F0：
F0＝HFM(ILR) (1)
其中，HFM代表浅层特征提取模块，也即是一个卷积层的卷积操作。
然后将浅层特征通过深度特征提取模块进行深度特征提取，得到深层特征：
FDF＝HFDRL(F0) (2)
其中，HFDRL表示深层特征提取模块，该模块由G个分频模块和G个交叉残差组组成。
然后将深层特征提取模块学习到的深层特征FDF输入到上采样模块，得到：
FUP＝HUP(FDF) (3)
其中，HUP表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，FUP是经过上采样之后得到的特征。
然后再将FUP输入到重构层的亚像素卷积中，生成最终的超分辨率图像：
ISR＝HR(FUP)＝HCRCSAN(ILR) (4)
其中，HR表示重建层的卷积操作，HCRCSAN表示本发明提出的基于交叉残差信道-空间注意力(CRCSAN)的网络处理操作。
一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，包括但不限于如下步骤：
S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取，得到图像的浅层特征；在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征，表达式如下：
F0＝HFM(ILR) (5)
其中，F0表示低分辨率图像的浅层特征，HFM代表浅层特征提取模块，也即是一个卷积层的卷积操作；ILR作为低分辨率的输入图像。
S2、将浅层特征F0输入到深度特征提取模块进行深度特征提取，得到图像的深层特征，深度特征提取表达式如下：
FDF＝HFDRL(F0) (6)
其中，FDF表示图像的深层特征，HFDRL表示深层特征提取模块，该深层特征提取模块由G个分频模块和G个交叉残差组组成。
S3、将学习到的深层特征FDF输入上采样模块，上采样模块中进行亚像素卷积处理，得到经过上采样后的特征：
FUP＝HUP(FDF) (7)
其中，HUP表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，FUP是经过上采样之后得到的特征。
S4、将经过上采样后的特征FUP输入到重构层，重构层利用亚像素卷积进行处理，生成最终的超分辨率图像：
ISR＝HR(FUP)＝HCRCSAN(ILR) (8)
其中，ISR表示最终重建的高分辨率图像，HR表示重建层的卷积操作函数，HCRCSAN表示本发明提出的交叉残差信道-空间注意力CRCSAN网络的处理函数。
S5、使用损失函数对CRCSAN网络进行优化，包括：先输入N个低分辨率图像，重建N个超分辨率图像之后，然后计算这N个输出的超分辨率图像块和真实的高分辨率图像块的绝对平均误差，并采用反向传播策略和随机梯度下降算法对CRCSAN网络的参数Θ进行优化，最终得到训练好的CRCSAN。
使用的损失函数是绝对平均误差(MAE)，设ISR表示重建的图像，即最终的超分辨率图像，IHR表示真实的高分辨率图像，给定含有N个低分辨率和真实的高分辨率图像块的训练图像对
Figure BDA0002784368060000101
得到损失函数L(Θ)的表达式如下：
Figure BDA0002784368060000111
其中，Θ表示本发明提出的网络的参数。
具体地，在深度特征提取模块中的处理过程包括以下步骤：
S21、使用分频模块将浅层特征F0分为高频信息和低频信息，将低频信息传输到深度特征提取模块中的低频信息融合模块，如图1所示，将高频信息输入到交叉残差组中进行深层学习，得到深层特征。
进一步的，使用分频模块将浅层特征F0分为高频信息和低频信息，具体包括：分频模块采用一个n×n反卷积进行上采样，将上采样的输出结果UPg视为低频信息；采用一个n×n的卷积进行下采样，下采样的输出为DOWNg，上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，如图1所示,计算公式如下：
UPg＝H↑(Fg-1) (10)
DOWNg＝H↓(UPg) (11)
FFSM,g＝Fg-1-DOWNg (12)
其中，H↑表示上采样的反卷积操作，H↓表示下采样卷积操作，FFSM,g表示第g个分频模块的输出，也是第g个交叉残差组的输入,Fg-1表示第g-1个交叉残差的输出，也是第g个分频模块的输入。
该分频模块将图像特征分为高频信息和低频信息。本发明将上采样的输出结果UPg视为低频信息，被直接传到网络的最后；上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，作为第g个交叉残差组的输入，被传入到深层进行学习。由公式(6)、公式(7)、公式(8)和图1可知，随着分频模块和残差组的增加，图像特征中的高频信息将会被不断的划分出来，且频率较低的信息会被上采样后逐一直接传到深层特征提取模块的尾部，而越高频率的信息则会经过越多的残差组，在更深的层中复原。由此可见，本发明提出的深层特征提取模块实现了图像特征中不同频率信息的准确分离，以及使用不同处理能力的模块对不同频率信息分别进行复原处理的目的，有效解决了现有方法中“忽略了不同图像成分之间特征差异性，平等对待图像中不同成分”的缺陷，极大地提升了网络区别学习的能力，因此能够较大提升单幅图像超分辨率重建的性能。
进一步的，将高频信息输入到交叉残差组中进行深层学习，得到深层特征，具体包括：使用残差通道-空间注意力模块自适应的调整通道和空间维度上的像素特征，过滤掉冗余信息的特征，得到通道维度和空间维度上更具有丰富信息的特征；再利用两个堆叠的卷积层将每一个残差通道-空间注意力块的输出进行交叉连接，并将交叉连接的结果作为下一个残差通道-空间注意力模块的输入，最终得到深层特征。
深层特征提取模块中的交叉残差组是由B个残差通道-空间注意力模块和两个3×3的卷积层组成。图2为本发明实施例提供的一种交叉残差组结构示意图，图中RCSAB表示残差通道-空间注意力块(RCSAB的结构详见图5)，如图2所示，第g个交叉残差组可以表示为：
Fg＝HCRG,g(FFSM,g) (13)
其中，Fg表示第g个交叉残差的输出，也是第g+1个分频模块的输入，FFSM,g表示第g个分频模块的输出，也是第g个交叉残差组的输入，HCRG,g(·)表示第g个交叉残差组操作。
所述残差通道-空间注意力模块将现有的通道注意力机制模块和本发明提出的空间注意力机制模块并联集成到残差块中，不仅考虑了通道维度上通道之间的相互依赖性，还考虑了空间维度上每个像素之间的相互依赖性，从而有效地学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征。其中为了减少参数，残差块中去除批量归一化层，如图5所示，图5为本发明实施例提供的一种残差通道-空间注意力模块示意图，图中，SA表示空间注意力机制(详见图3)，CA表示空间注意力机制(详见图4)。对于第g个残差组中的第b个残差通道-空间注意力块有：
Figure BDA0002784368060000131
其中，RSA(·)代表本发明提出的空间注意力机制操作，RCA(·)代表现存的通道注意力机制操作，[·]表示拼接操作，Hconv(·)表示一个1×1的卷积操作，Fg,b表示第g个交叉残差组中第b个残差通道-空间注意力块的输出，
Figure BDA0002784368060000132
表示第g个交叉残差组中第b-1个使用交叉连接的残差注意力块输出，即本发明将每一个残差通道-空间注意力块的输出使用交叉连接，作为下一个残差通道-空间注意力模块的输入，Xg,b表示残差分量，如图5所示，残差分量可以通过两个堆叠的卷积层获得：
Figure BDA0002784368060000133
Figure BDA0002784368060000134
其中，Xg,b表示残差分量，
Figure BDA0002784368060000135
表示第g个交叉残差组中第b个残差注意力块中第一个3×3卷积的权重，δ(·)表示ReLU激活函数，
Figure BDA0002784368060000136
表示第g个交叉残差组中第b个残差注意力块中第二个3×3卷积的权重；Fg.,b-2表示第g个交叉残差组中第b-2个使用交叉连接的残差注意力块输出；Fg,0表示深层特征提取模块中第一个3×3卷积层的输出，该卷积层进一步提取浅层特征提取模块输出的信息。
本发明使用交叉连接学习长远记忆，在不增加参数的情况下，交叉连接实现了浅层特征能够被无损的传递到更深的层，保证信息的完整性，具有更强的特征表达能力。
所述通道-空间注意力机制能够自适应的调整通道和空间维度上的像素特征，如图3所示，图3为本发明实施例提供的的一种通道关注机制，其中ReLU表示激活函数，1x1Conv表示1x1的卷积操作。现有的一些单图像超分辨率方法虽然也使用了注意力机制，但是并没有考虑同一幅特征图中各个像素值之间的特征相关性。所以本发明提出利用特征图中的行与列之间的关系构造考虑了像素值之间相关性的空间注意力机制。在空间注意力机制方面，设输入为X，大小为H×W×C，使用特征图中行的平均池化来表示，如下：
Xrow＝HRP(X) (17)
其中，HRP表示图像特征图中每一行的平均值计算的操作，从而得到的H×1×C大小的特征图Xrow。
为了充分利用行方向上的聚合特征的相关性，本发明使用缩放机制来自适应的调整特征，如图3所示，计算公式如下：
Srow＝f(WUδ(WDXrow)) (18)
其中，Srow大小为H×1×C，f(·)和δ(·)分别代表sigmoid函数和线性整流函数ReLU操作，本发明使用sigmoid函数将特征值归一化到0到1之间，从而更好地计算空间维度上特征的重要程度。WD表示一个1×1卷积层的权重，即通道下采样层，其将通道的个数减少r倍，后面跟一个激活函数ReLU，WU表示一个1×1卷积层的权重，即通道上采样层，其将通道的个数增加r倍。通过公式(11)获得最终的空间统计Srow，然后用该统计调整输入X：
Figure BDA0002784368060000141
最终得到行方向上调整后的特征图
Figure BDA0002784368060000142
然后并行计算特征图中列的平均池化，如下：
Xcolumn＝HCP(X) (20)
其中，HCP表示图像特征图中每一列的平均值计算操作，从而得到的1×W×C大小的特征图Xcolumn。为了充分利用列方向上的聚合特征的相关性，本发明使用缩放机制来自适应的调整特征，如图3所示，计算公式如下：
Scolumn＝f(WUδ(WDXcolumn)) (21)通过公式(17)获得最终的空间统计Scolumn，然后用该统计调整输入X：
Figure BDA0002784368060000151
最终得到列方向上调整后的特征图
Figure BDA0002784368060000152
本发明提出的空间注意力机制是将特征图上行方向上和列方向上调整后的特征图拼接起来，如下：
Figure BDA0002784368060000153
其中，
Figure BDA0002784368060000154
就是空间注意力机制的输出，[·]表示拼接操作，Hconv(·)表示1×1的卷积操作。
将空间注意力机制将特征图中行和列的特征同时引入到残差块中，同时考虑了图像的全局和局部特征统计，显式地开发了每幅特征图上每个像素点的特征相互依赖性，实现了每个像素特征的自适应调节，因此，再一次提升了网络区别学习的能力，进一步提升了单幅图像超分辨率重建的性能。
如前所述，在通道注意力机制方面，本发明采用了现有的通道注意力机制来自适应的调整通道维度上的特征，如图4所示，图4为本发明实施例提供的一种空间注意力机制；图中HGP表示全局平均池化。WD和WU分别表示两个1x1卷积的权重，f表示sigmoid函数。设X＝[x1,x2,...,xc,...,xC]作为输入，其包含C个大小为H×W特征图，通道统计量z∈Rc可以通过收缩X获得，然后第c个z的元素为：
Figure BDA0002784368060000155
其中，xc(i,j)代表第c个特征xc在位置(i,j)的值，HGP(·)表示全局平均池化函数，然后使用缩放机制调整特征：
s＝f(WUδ(WDz)) (25)
Figure BDA0002784368060000161
其中，sc和xc分别代表第c个通道的缩放因子和特征图，由公式(20)，(21)，(22)可以得到通道注意力机制的最终输出
Figure BDA0002784368060000162
得到了特征图的空间注意力和通道注意力之后，采用并联的方式将特征图的空间注意力和通道注意力融合到一起，并将其引入到残差块中。本发明提出的网络不仅考虑了特征图通道维度上通道之间的相互依赖性，还考虑了特征图空间维度上每个像素之间的相互依赖性，实现了每个像素特征的自适应调节，因此，再一次提升了网络区别学习的能力，进一步提升了单幅图像超分辨率重建的性能。
本发明提出了一种新的交叉残差通道-空间注意网络，与现有的基于卷积神经网络(Convolutional Neural Network：CNN)的SISR方法不同，在本发明提出的网络中，图像的特征将首先被分割为不同频率的信息，不同频率的信息将会被具有不同学习能力的模块分别进行重建：低频信息仅在较浅的层中复原，而越高频率的信息将会被越深的层复原，从而有效解决了现有方法中“忽略了不同图像成分之间特征差异性，平等对待图像中不同成分”的缺陷，极大地提升了网络区别学习的能力和单幅图像超分辨率重建的性能；然后，因为图像的浅特性主要反映了图像的纹理细节信息，然而浅层的特征在信息传递过程容易被弱化或者丢失，因此本发明提出了一种交叉的残差结构来实现浅层特征无损的向深层传递，保证了信息的完整性，增强了网络的特征表达能力；最后，本发明还提出了一种新的空间注意力(Spatial Attention：SA)策略。该策略将特征图中行和列的特征同时引入到残差块中，同时考虑了图像的全局和局部特征统计，显示地开发了每幅特征图上每个像素点的特征相互依赖性，实现了每个像素特征的自适应调节，因此，再一次提升了网络区别学习的能力，进一步提升了单幅图像超分辨率重建的性能。
实验实施例：
获取训练数据集：本发明使用Berkeley Segmentation Dataset中的200张图像和Yang et al.论文中的91张图像作为一个训练集，DIV2K作为另一个训练集，训练出两个网络模型。测试集分别使用Set5，Set14，B100，Urban100，Manga109。
利用双三次插值对原始高分辨率图像进行下采样，得到相应的低分辨率图像。
对于使用含有291张图像的训练集训练的模型，根据不同的放大因子分别将训练图像裁剪成31×31(x2),26×26(x3),19×19(x4)大小的图像块。将DIV2K训练集中低分辨率的图像裁剪成48×48的图像块，每次随机输入N＝16个48×48的图像块。使用ADAM优化器，即反向传播策略和随机梯度下降算法对网络的参数Θ进行最优化，其中ADAM优化器的参数设置为β1＝0.9,β2＝0.999,ε＝10-8。学习率的初始值为10-4，每500个epoch降一半，其中每个epoch表示对16个48×48的图像块进行5×105次迭代迭代。在注意力机制中，设置r＝16，滤波器的数量是64。我们使用峰值信噪比(PSNR)和结构相似性(SSIM)来评价提出的模型用pytorch框架来训练和测试模型。
本发明的实验结果如表1所示，我们使用五个数据集来测试我们的模型，分别是Set5，Set14，B100，Urban100，Manga109。其中，Bicubic表示插值上采样方法，IDN表示2018年Hui et al.提出的信息蒸馏的方法，our-291表示本发明使用含有291张图像作为训练集训练的模型测出来的结果，OISR-RK2-s表示2019年He et al.提出来的方法，SRFBN-s表示2019年Li et al.提出地反馈的方法，our-DIV2K表示本发明使用DIV2K训练的模型测出来的结果。本发明的测试结果使用PSNR和SSIM度量，从表1中可以看出(黑色加粗表示最高的值)，在大多数情况下，本发明的PSNR和SSIM最高的，重建效果明显优于一些现存的极具代表性的单幅图像超分辨率方法。
表1在5个测试集上放大率分别为2倍,3倍,4倍的平均PSNR/SSIM值
Figure BDA0002784368060000171
Figure BDA0002784368060000181
当介绍本申请的各种实施例时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，包括：浅层特征提取模块、深层特征提取模块、上采样模块和重构模块，其特征在于，所述深层特征提取模块包括分频模块和交叉残差组；
浅层特征提取模块中包括一个卷积层，用于提取低分辨率输入图像的浅层特征；
深层特征提取模块中包括G个分频模块和G个交叉残差组，分频模块和交叉残差组交错级联，深层特征提取模块用于对浅层特征模块的输出的浅层特征进行深层特征提取，输出深层特征；
分频模块用于将图像特征分为高频信息和低频信息，所述分频模块包括卷积层和反卷积层，反卷积层用于上采样，将上采样的输出结果视为低频信息；卷积层用于下采样，将上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息；
所述交叉残差组包括B个残差通道-空间注意力模块，所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征；残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中，用于学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征；
上采样模块中包括亚像素卷积层，上采样模块用于对输入的深层特征进行上采样；
重构模块中包括亚像素卷积层，用于对经过上采样后的特征进行特征重构，输出高分辨率图像。
2.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，深层特征提取模块中包括低频信息融合模块和高频信息融合模块，所述低频信息融合模块包括第一连接模块和第一卷积模块；所述高频信息融合模块包括第二连接模块和第二卷积模块；所述第一连接模块用于拼接图像特征的低频信息；所述第二连接模块用于拼接图像特征的高频信息；所述第一卷积模块与所述第一连接模块连接，所述第一卷积模块用于压缩拼接的低频特征图的通道数量，增强图像低频信息的特征；所述第二卷积模块与所述第二连接模块连接，所述第二连接模块用于压缩拼接的高频特征图的通道数量，增强图像高频信息的特征。
3.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，所述分频模块采用一个n×n反卷积进行上采样，采用一个n×n的卷积进行下采样，上采样的输出结果UPg视为低频信息，被直接传到低频信息融合模块；上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，作为第g个交叉残差组的输入进行深层学习。
4.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，所述交叉残差组中还包括两个3×3的卷积层，所述卷积层用于对每一个残差通道-空间注意力模块的输出进行交叉连接，使得浅层特征被无损传输到深层模块中。
5.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，去除残差块中的批量归一化层，用于减少参数。
6.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，其特征在于，包括以下步骤：
S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取，得到图像的浅层特征；在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征，表达式如下：
F0＝HFM(ILR)
其中，F0表示低分辨率图像的浅层特征，HFM代表浅层特征提取模块，也即是一个卷积层的卷积操作；ILR作为低分辨率的输入图像；
S2、将浅层特征F0输入到深层特征提取模块进行深层特征提取，得到图像的深层特征，深层特征提取表达式如下：
FDF＝HFDRL(F0)
其中，FDF表示图像的深层特征，HFDRL表示深层特征提取模块；
S3、将学习到的深层特征FDF输入上采样模块，上采样模块中进行亚像素卷积处理，得到经过上采样后的特征：
FUP＝HUP(FDF)
其中，HUP表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，FUP是经过上采样之后得到的特征；
S4、将经过上采样后的特征FUP输入到重构层，重构层利用亚像素卷积进行处理，生成最终的超分辨率图像：
ISR＝HR(FUP)＝HCRCSAN(ILR)
其中，ISR表示最终重建的高分辨率图像，HR表示重建层的卷积操作函数，HCRCSAN表示交叉残差信道-空间注意力CRCSAN网络的处理函数；
S5、使用损失函数对CRCSAN网络进行优化，包括：先输入N个低分辨率图像，重建N个超分辨率图像之后，然后计算这N个输出的超分辨率图像块和真实的高分辨率图像块的绝对平均误差，并采用反向传播策略和随机梯度下降算法对CRCSAN网络的参数Θ进行优化，最终得到训练好的CRCSAN；
步骤S2中，深层特征提取模块由G个分频模块和G个交叉残差组组成，浅层特征经过G个分频模块和G个交叉残差组，最终得到深层特征，具体地，在深层特征提取模块中的处理过程包括：使用分频模块将浅层特征F0分为高频信息和低频信息，将低频信息传输到深层特征提取模块的低频信息融合模块中，将高频信息输入到交叉残差组中进行深层学习，得到深层特征。
7.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，其特征在于，使用的损失函数是平均绝对误差MAE，损失函数L(Θ)的表达式如下：
Figure FDA0003522511940000041
其中，Θ表示交叉残差信道- 空间注意力CRCSAN 网络的参数，ISR表示经过CRCSAN网络重建的超分辨率图像，IHR表示真实的高分辨率图像，
Figure FDA0003522511940000042
表示给定含有N个低分辨率和真实的高分辨率图像块的训练图像对。
8.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，其特征在于，使用分频模块将浅层特征F0分为高频信息和低频信息，具体包括：分频模块采用一个n×n反卷积进行上采样，将上采样的输出结果UPg视为低频信息；采用一个n×n的卷积进行下采样，下采样的输出为DOWNg，上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息，计算公式如下：
UPg＝H↑(Fg-1)
DOWNg＝H↓(UPg)
FFSM,g＝Fg-1-DOWNg
其中，H↑表示上采样的反卷积操作，H↓表示下采样卷积操作，FFSM,g表示第g个分频模块的输出，也是第g个交叉残差组的输入,Fg-1表示第g-1个交叉残差的输出，也是第g个分频模块的输入。
9.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，其特征在于，将高频信息输入到交叉残差组中进行深层学习，得到深层特征，具体包括：使用残差通道-空间注意力模块自适应的调整通道和空间维度上的像素特征，过滤掉冗余信息的特征，得到通道维度和空间维度上更具有丰富信息的特征；再利用两个堆叠的卷积层将每一个残差通道-空间注意力块的输出进行交叉连接，并将交叉连接的结果作为下一个残差通道-空间注意力模块的输入，最终得到深层特征，表达式如下：
Figure FDA0003522511940000051
Figure FDA0003522511940000052
其中，Xg,b表示残差分量，
Figure FDA0003522511940000053
表示第g个交叉残差组中第b个残差注意力块中第一个3×3卷积的权重，δ(·)表示ReLU激活函数，
Figure FDA0003522511940000054
表示第g个交叉残差组中第b个残差注意力块中第二个3×3卷积的权重；Fg,b-1表示第g个交叉残差组中第b-1个使用交叉连接的残差注意力块输出，Fg,b-2表示第g个交叉残差组中第b-2个使用交叉连接的残差注意力块输出；Fg,0表示深层特征提取模块中第一个3×3卷积层的输出，该卷积操作层进一步提取低分辨率特征。
CN202011292962.0A 2020-11-18 2020-11-18 基于crcsan网络的图像重建系统及方法 Active CN112330542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292962.0A CN112330542B (zh) 2020-11-18 2020-11-18 基于crcsan网络的图像重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292962.0A CN112330542B (zh) 2020-11-18 2020-11-18 基于crcsan网络的图像重建系统及方法

Publications (2)

Publication Number Publication Date
CN112330542A CN112330542A (zh) 2021-02-05
CN112330542B true CN112330542B (zh) 2022-05-03

Family

ID=74322661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292962.0A Active CN112330542B (zh) 2020-11-18 2020-11-18 基于crcsan网络的图像重建系统及方法

Country Status (1)

Country Link
CN (1) CN112330542B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014927B (zh) * 2021-03-02 2024-01-09 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置
CN112767255B (zh) * 2021-03-04 2022-11-29 山东大学 基于特征分离融合网络的图像超分辨率重构方法及系统
CN112862689B (zh) * 2021-03-09 2023-02-28 南京邮电大学 一种图像超分辨率重建方法及系统
CN113066013B (zh) * 2021-05-18 2023-02-10 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN113222818A (zh) * 2021-05-18 2021-08-06 浙江师范大学 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN113393449A (zh) * 2021-06-25 2021-09-14 上海市第一人民医院 基于人工智能的内窥镜视频图像自动存储方法
CN113627487B (zh) * 2021-07-13 2023-09-05 西安理工大学 一种基于深层注意力机制的超分辨率重建方法
CN114066727B (zh) * 2021-07-28 2024-09-06 华侨大学 一种多阶段渐进式图像超分辨率方法
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113888412B (zh) * 2021-11-23 2022-04-05 南京云上数融技术有限公司 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114222123B (zh) * 2021-12-15 2022-11-15 华南农业大学 一种任意压缩率的加密图像有损压缩与重构系统及方法
CN114187181B (zh) * 2021-12-17 2024-06-07 福州大学 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN114445426B (zh) * 2022-01-28 2022-08-26 深圳大学 内窥镜图像中息肉区域的分割方法、装置及相关组件
CN114422787B (zh) * 2022-01-29 2023-07-04 重庆邮电大学 一种基于残差层分块dct变换的图像伪模拟无线传输方法
CN114332592B (zh) * 2022-03-11 2022-06-21 中国海洋大学 一种基于注意力机制的海洋环境数据融合方法及系统
CN114943650A (zh) * 2022-04-14 2022-08-26 北京东软医疗设备有限公司 一种图像去模糊方法、装置、计算机设备和存储介质
CN115358954B (zh) * 2022-10-21 2022-12-23 电子科技大学 一种注意力引导的特征压缩方法
CN115761248B (zh) * 2022-12-22 2023-08-01 深圳大学 图像处理方法、装置、设备及存储介质
CN116071243B (zh) * 2023-03-27 2023-06-16 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法
CN116029943B (zh) * 2023-03-28 2023-06-16 国科天成科技股份有限公司 基于深度学习的红外图像超分辨率增强方法
CN116402692B (zh) * 2023-06-07 2023-08-18 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统
CN116523759B (zh) * 2023-07-04 2023-09-05 江西财经大学 基于频率分解与重启机制的图像超分辨率重建方法与系统
CN117237190B (zh) * 2023-09-15 2024-03-15 中国矿业大学 用于边缘移动设备的轻量化图像超分辨率重建系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495128A (zh) * 2018-03-09 2018-09-04 罗雷 基于超分辨率重建技术的视频传输系统及传输方法
CN109166102A (zh) * 2018-07-24 2019-01-08 中国海洋大学 一种基于判别区域候选对抗网络的图像转图像翻译方法
CN110490796A (zh) * 2019-04-11 2019-11-22 福建师范大学 一种高低频成分融合的人脸超分辨率处理方法及系统
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2510201B (en) * 2013-01-29 2017-05-03 Toshiba Res Europe Ltd A computer generated head
CN111179167B (zh) * 2019-12-12 2023-05-16 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495128A (zh) * 2018-03-09 2018-09-04 罗雷 基于超分辨率重建技术的视频传输系统及传输方法
CN109166102A (zh) * 2018-07-24 2019-01-08 中国海洋大学 一种基于判别区域候选对抗网络的图像转图像翻译方法
CN110490796A (zh) * 2019-04-11 2019-11-22 福建师范大学 一种高低频成分融合的人脸超分辨率处理方法及系统
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lightweight multi-scale residual networks with attention for image super-resolution;Huan Liu et al;《Knowledge-Based Systems》;20200905;第1-14页 *
Wavelet-based residual attention network for image super-resolution;Shengke Xue et al;《Neurocomputing》;20200321;第116-126页 *
残差神经网络及其在医学图像处理中的应用研究;周涛等;《电子学报》;20200715(第07期);第195-206页 *

Also Published As

Publication number Publication date
CN112330542A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112330542B (zh) 基于crcsan网络的图像重建系统及方法
US10769757B2 (en) Image processing apparatuses and methods, image processing systems and training methods
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN112862689B (zh) 一种图像超分辨率重建方法及系统
US11216913B2 (en) Convolutional neural network processor, image processing method and electronic device
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN111652804A (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113298716A (zh) 基于卷积神经网络的图像超分辨率重建方法
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN115170392A (zh) 一种基于注意力机制的单图像超分辨率算法
CN115115514A (zh) 基于高频信息特征融合的图像超分辨率重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN114331830A (zh) 一种基于多尺度残差注意力的超分辨率重建方法
CN115187455A (zh) 一种用于压缩图像的轻量级超分辨率重建模型及系统
CN111951203A (zh) 视点合成方法、装置、设备及计算机可读存储介质
CN111091515B (zh) 图像复原方法及装置、计算机可读存储介质
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN116309072A (zh) 一种特征通道分离与融合的双目图像超分辨率方法
WO2022267046A1 (zh) 非抽取的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231109

Address after: Building 2, No. 19 Zhuoyue Road, Longxing Town, Liangjiang New District, Chongqing, 401135 (Room 102, 1st Floor, Digital Innovation Park)

Patentee after: Chongqing Santi Deep Mold Technology Co.,Ltd.

Address before: 401307 No.8, Huandao East Road, NANPENG highway logistics base, Banan District, Chongqing

Patentee before: Chongqing Qiciwei Innovation Technology Co.,Ltd.

Effective date of registration: 20231109

Address after: 401307 No.8, Huandao East Road, NANPENG highway logistics base, Banan District, Chongqing

Patentee after: Chongqing Qiciwei Innovation Technology Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS