CN115578260B - 针对图像超分辨率的方向解耦的注意力方法和系统 - Google Patents
针对图像超分辨率的方向解耦的注意力方法和系统 Download PDFInfo
- Publication number
- CN115578260B CN115578260B CN202211222173.9A CN202211222173A CN115578260B CN 115578260 B CN115578260 B CN 115578260B CN 202211222173 A CN202211222173 A CN 202211222173A CN 115578260 B CN115578260 B CN 115578260B
- Authority
- CN
- China
- Prior art keywords
- attention
- feature map
- decoupled
- super
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 110
- 238000010586 diagram Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000012545 processing Methods 0.000 abstract description 6
- 230000005012 migration Effects 0.000 abstract description 2
- 238000013508 migration Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域，公开一种针对图像超分辨率的方向解耦的注意力方法和系统，方法包括：获取输入图像并提取特征得到初始特征图，构建包括多个方向解耦的注意力机制的超分辨率重建网络；将初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络，在每个方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图；结合初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像；系统包括数据获取模块、超分辨率重建网络模块和图像输出模块。本发明可以在提升信息捕获能力的同时降低计算复杂度，实现对低分辨率图像的高清还原，并且方便迁移扩展。
Description
技术领域
本发明涉及图像处理技术领域，尤其是指一种针对图像超分辨率的方向解耦的注意力方法和系统。
背景技术
计算机视觉中的low level任务包括去噪、超分、增强、去雾、去模糊、修复等，是一种把特定降质下的图片还原成高清图像的过程，超分辨率也是计算机视觉中的一个lowlevel任务。超分辨率的主要目的是：针对输入的低分辨率图像，通过神经网络等方法进行特征提取，然后输出高分辨率的图像。超分辨率广泛应用于图像、视频高清化，信息复原等任务中，是计算机视觉领域中非常重要的一环。SISR(Single Image Super Resolution，SISR，单图像超分辨率)是指针对单幅图像的超分辨率任务，是超分辨率中最基础最重要的任务方向。
Non-local机制(计算机视觉中的一种注意力机制)的核心是旨在通过 self-attention(注意力机制)来获取图中长距离间的相似度和依赖关系，已经在各个计算机视觉领域展现出了优异的性能。但是原始的non-local神经网络在计算全局相似的时候，每个像素点都需要和全部其他的像素点进行相似度计算来获取长距离关系，因此造成了很高的计算量，这也严重地制约了该方法的发展。
现有技术中，CCNet(十字注意力机制的神经网络)采用十字路径的方法来模拟全局的相似度依赖关系，通过叠加两个十字路径计算的注意力操作来建立全图中任意两点的依赖关系。然而，CCNet存在两个问题：一是复杂度虽然相比原始的non-local网络得到了降低，但是降低的不够多，导致使用场景还是会受到硬件资源的限制。二是对于每一个计算的当前点，会和同一行或者同一列的所有点进行相似度计算，在此过程中不管是行还是列的点都会被杂糅在一起，导致边缘的信息提取效果差。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种针对图像超分辨率的方向解耦的注意力方法和系统，可以在提升信息捕获能力的同时降低计算复杂度，实现对低分辨率图像的高清还原，并且方便迁移扩展。
为解决上述技术问题，本发明提供了一种针对图像超分辨率的方向解耦的注意力方法，包括：
获取输入图像并提取特征得到初始特征图，构建包括多个方向解耦的注意力机制的超分辨率重建网络；
将所述初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图；
结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像。
作为优选的，所述包括多个方向解耦的注意力机制的超分辨率重建网络的主干网络为增强的深度学习超分辨率重建网络。
作为优选的，所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后。
作为优选的，所述包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制。
作为优选的，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，具体为：
将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入，所述方向解耦的注意力机制包括两个注意力模块；
特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1。
作为优选的，所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，具体为：
所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″。
作为优选的，所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，具体为：
构建特征图Fi对应的初始三维注意力图，将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第i行的其他点进行点积得到S(i,j)，S(i,j)经过softmax 层得到得分Score(i,j)；
计算三维注意力图中所有点的得分得到三维权重矩阵，将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和作为点(i,j)的输出值；
使用所有点的输出值更新特征图Fi得到特征图Fi′。
作为优选的，结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像，具体为：
将所述初始特征图和最终的输出特征图按通道相加后输入残差网络，将残差网络的输出作为输入图像对应的高分辨率图像。
本发明还提供了一种针对图像超分辨率的方向解耦的注意力系统，包括数据获取模块、超分辨率重建网络模块和图像输出模块，
所述数据获取模块获取输入图像并提取特征得到初始特征图，将所述初始特征图分别传送给所述超分辨率重建网络模块和所述图像输出模块；
所述超分辨率重建网络模块包括多个方向解耦的注意力机制，所述超分辨率重建网络模块将所述初始特征图输入所述包括多个方向解耦的注意力机制，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图，将所述最终的输出特征图传送给所述图像输出模块；
所述图像输出模块结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像。
作为优选的，所述超分辨率重建网络模块还包括多个残差模块，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后；
所述初始特征图依次经过多个所述残差模块和方向解耦的注意力机制后得到最终的输出特征图。
本发明的上述技术方案相比现有技术具有以下优点：
(1)本发明通过方向解耦的注意力机制将对特征图的特征提取分为水平和垂直两个单独过程，可以加强对于边缘信息的重建，提高边缘信息的提取效果从而进行全局依赖特征提取、提升信息捕获能力，实现对低分辨率图像的高清还原。
(2)本发明中的方向解耦的注意力机制有良好的拓展性和封装性，可以被自由迁移，方便根据实际情况重定义模块使用的位置和数量，满足不同的图像超分辨率重建需求，可以应用在单图像或者多图像的超分辨率任务上。
(3)本发明中方向解耦的注意力机制进行水平方向的信息提取或垂直方向的信息提取时，只需要分别进行水平方向的信息提取和垂直方向的信息提取，因此本发明有效降低了计算成本，提高了计算效率。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明的流程图，
图2是本发明的流程结构示意图，
图3是本发明中方向解耦的注意力机制的示意图，
图4是本发明中方向解耦的注意力机制中的注意力模块的示意图，
图5是本发明中注意力图的构建过程示意图，
图6是本发明中在水平和垂直方向对任意两点建立依赖关系的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第二”、“第一”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
参照图1流程图所示，本发明公开了一种针对图像超分辨率的方向解耦的注意力方法，包括以下步骤：
S1：获取输入图像X并提取特征得到初始特征图，构建包括多个方向解耦的注意力机制的超分辨率重建网络；
S1-1：获取输入图像后，提取初始特征图的方法为对输入图像X进行3×3 的卷积进行初步特征提取得到初始特征图F0。
S1-2：构建包括多个方向解耦的注意力机制的超分辨率重建网络。
本实施例中包括多个方向解耦的注意力机制的超分辨率重建网络的主干网络为增强的深度学习超分辨率重建网络(enhanced deep super-resolution network,EDSR)。使用EDSR的深度残差网络在超分辨率任务上优秀的信息提取能力，使得神经网络可以很好的提取原始图像的特征信息，以便方向解耦的注意力机制可以更好的重建出高分辨率图像。
所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后。如图2所示，本实施例中的包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制，在第8、16、20个残差模块后面添加了的方向解耦的注意力机制。残差模块和方向解耦的注意力机制的数量是根据大量仿真实验得出的，选择此数量可以在保留残差模块提取信息的同时，有效地进行水平方向和垂直方向的信息提取。
现有的CCNet提取信息时会融合所有同一行和同一列的关联的计算点，导致水平和垂直点的结构化信息被杂糅在一起而无法分辨，所以只能获得当前点和对应点的相似度分数而无法获得结构化的信息，因此对于边缘的重建能力不强。而本发明中方向解耦后的注意力，每次计算会有一个对应的路径方向，这样就使得神经网络对于图像的边缘特别敏感，并且拥有很强的边缘重建能力。
S2：将所述初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图。
S2-1：将所述初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取。具体为：将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入，所述方向解耦的注意力机制包括两个注意力模块；特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1。Fi+1作为当前方向解耦的注意力机制的后一个残差模块的输入。
所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″时，可以是如图3所示的，特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″。水平方向的信息提取和垂直方向的信息提取先后顺序不限，还可以是第一个注意力模块进行垂直方向的信息提取，第二个注意力模块进行水平方向的信息提取。
本实施例中，以图4和图5注意力模块进行水平方向的信息提取为例，图4中表示点积，图4中⊕表示按通道相加。特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，具体过程为：
S2-1-1：构建特征图Fi对应的初始三维注意力图，三维注意力图的三个维度分别为H、W、W；将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第 i行的其他点进行点积得到S(i,j)(即图4、图5中1号卷积、2号卷积实现的功能)，S(i,j)经过softmax层得到值在0～1之间的得分Score(i,j)；
S2-1-2：计算三维注意力图中所有点的得分得到三维权重矩阵，将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和(即图4中3号卷积实现的功能)作为点(i,j)的输出值；三维权重矩阵用来表示每个像素点与当前计算的像素点之间的相似度关系。
S2-1-3：使用所有点的输出值更新特征图Fi得到特征图Fi′。输出特征图和输入特征图在形状上是一样的，但更新后的特征图已经包含了水平信息特征。
S2-1-4：在第二个注意力模块中，对垂直方向的点(s,j)进行相同的操作，在点(i,j)和点(s,j)间形成如图6所示的依赖关系。
S2-2：在每个方向解耦的注意力机制中都进行一次水平方向和垂直方向的信息提取，本实施例中初始特征图经过8个残差模块后进入第一个方向解耦的注意力机制，接着再经过8个残差模块后进入第二个方向解耦的注意力机制，最后经过4个残差模块后进入第三个方向解耦的注意力机制得到最终的输出特征图FK。
在本发明中，对于任何一个点都会进行水平和垂直两次操作。可以理解为两次特征学习，第一次学习该像素点水平的特征信息，第二次学习垂直的特征信息。如果当前像素如果是水平的边缘，在水平操作的时候会更容易找到其他相关的像素，然后给他们建立比较高的依赖关系，也就是会使水平的特征信息比较明显。当再进行垂直操作的时候，无法找到相似度高的像素，那么垂直的像素相比水平的像素就不是那么明显。在CCNet中，因为每次都是进行十字架的路径，所以每次都需要在当前点的同一行和同一列的像素中寻找相关的像素，那么CCNet查找的范围就比本发明大很多，也就导致了查找到相关像素的难度变大；同时，CCNet同时学习垂直和水平的像素特征使得情况变得更加复杂，对于神经网络来说也变得更难学习特征情况，所以最后性能不如本发明。
S3：结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像。
将所述初始特征图F0和最终的输出特征图FK按通道相加后输入残差网络(Residual Network,ResNet)，将残差网络的输出作为输入图像对应的高分辨率图像Y。本实施例中执行的残差操作具体为：Y＝Conv3×3(U(F0+FK))，Y为输出的高分辨率图像，U()是上采样函数，Conv3×3()是3×3的卷积层。
本发明还公开了一种针对图像超分辨率的方向解耦的注意力系统，包括数据获取模块、超分辨率重建网络模块和图像输出模块。所述数据获取模块获取输入图像并提取特征得到初始特征图，将所述初始特征图分别传送给所述超分辨率重建网络模块和所述图像输出模块。所述超分辨率重建网络模块包括多个方向解耦的注意力机制，所述超分辨率重建网络模块将所述初始特征图输入所述包括多个方向解耦的注意力机制，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图，将所述最终的输出特征图传送给所述图像输出模块。所述图像输出模块结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像。
本实施例中，所述超分辨率重建网络模块还包括多个残差模块，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后。所述初始特征图依次经过多个所述残差模块和方向解耦的注意力机制后得到最终的输出特征图。
本发明与现有的CCNet等现有技术相比，有益效果有：
(1)本发明通过方向解耦的注意力机制将对特征图的特征提取分为水平和垂直两个单独过程，将现有技术中所有信息混杂在一起的模块沿着水平和垂直两个方向进行解耦计算，每次计算会有一个对应的路径方向，使得神经网络对于图像的边缘特别敏感、并且拥有很强的边缘重建能力，因此可以加强对于边缘信息的重建，提高边缘信息的提取效果从而进行全局依赖特征提取、提升信息捕获能力，实现对低分辨率图像的高清还原，为图像放大、旧照片高清化、视频增强等提供了很好的工具和方法。
(2)本发明中的方向解耦的注意力机制因为模块有良好的拓展性和封装性，可以被自由迁移，方便根据实际情况重定义模块使用的位置和数量，满足不同的图像超分辨率重建需求，可以应用在单图像或者多图像的超分辨率任务上。特别的，针对于水平和垂直的线段(特别是边缘信息)，方向解耦后针对水平或者垂直的线段重建效果最好。但是非水平和垂直的线段(如 20°的斜线)在数字化图像存储中也是由一段段直线像素拼接而成，所以针对非水平和非垂直的线段，方向解耦也有更大的优势。另外，在图像中，特别是在人造的图片对象中，存在大量的直线，因此方向解耦的注意力方法有着较强的拓展性。
(3)本发明中方向解耦的注意力机制进行水平方向的信息提取或垂直方向的信息提取时，计算复杂度和CCNet中的单个十字路径相同，但是可以从整幅图获取依赖信息；也就是只需要单独的两个子模块分别进行水平方向的信息提取和垂直方向的信息提取，而不需要像CCNet那样进行重复两次的操作，因此本发明最复杂度和计算成本只有CCNet的一半，本发明有效降低了计算成本，提高了计算效率。
本发明对注意力机制进行方向上的解耦操作，可以将复杂度从O(N2)降低到O(N1.5)，使得原本不做下采样的信息融合完全无法在原图上进行的全局注意力操作变成了可行，大大降低了神经网络训练的时候对计算资源的严重依赖，可以使用更少的计算资源来计算全局的信息。
为了进一步说明本发明的有益效果，本实施例中在urban100数据集上进行仿真实验，通过峰值信噪比和增加的浮点计算量两个方面来衡量实验效果。其中，峰值信噪比用来衡量重建效果，峰值信噪比越大表示高分辨率图像重建效果越好；增加的浮点计算量用来衡量计算复杂度，表示相较于不设置方向解耦的注意力机制增加的计算量，增加的浮点计算量越小表示计算复杂度越低，计算效率越高。
首先，在使用本发明方法的基础上，设置不同的方向解耦的注意力机制个数和残差模块个数进行仿真实验，结果如表1所示：
表1本发明中不同方向解耦的注意力机制和残差模块个数的实验结果表
从表1可以看出，在第四组中，当残差模块为20个、方向解耦的注意力机制为3个时，本发明的重建效果趋于饱和，因此选择残差模块为20个、方向解耦的注意力机制为3个作为最好的重建效果设置组。
接着，在使用CCNet的基础上，分别设置相同的第二组～第四组的方向解耦的注意力机制和残差模块的个数进行仿真实验，结果如表2所示：
表2 CCNet中不同方向解耦的注意力机制和残差模块个数的实验结果表
从表2可以看出，在相同的设置条件下，本发明的重建效果相较于CCNet都得到了提高，并且计算量只有CCNet的一半，因此本发明在提高重建效果的同时大大降低了计算复杂度，从而证明了本发明的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (5)
1.一种针对图像超分辨率的方向解耦的注意力方法，其特征在于，包括：
获取输入图像并提取特征得到初始特征图，构建包括多个方向解耦的注意力机制的超分辨率重建网络；
将所述初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图；
结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像；
所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后；所述包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制，在第8、16、20个残差模块后面添加了的方向解耦的注意力机制；
在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，具体为：将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入，所述方向解耦的注意力机制包括两个注意力模块；特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1；
所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，具体为：所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″；
所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，具体为：构建特征图Fi对应的初始三维注意力图，将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第i行的其他点进行点积得到S(i,j)，S(i,j)经过softmax层得到得分Score(i,j)；计算三维注意力图中所有点的得分得到三维权重矩阵，将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和作为点(i,j)的输出值；使用所有点的输出值更新特征图Fi得到特征图Fi′。
2.根据权利要求1所述的针对图像超分辨率的方向解耦的注意力方法，其特征在于：所述包括多个方向解耦的注意力机制的超分辨率重建网络的主干网络为增强的深度学习超分辨率重建网络。
3.根据权利要求1-2任一项所述的针对图像超分辨率的方向解耦的注意力方法，其特征在于：结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像，具体为：
将所述初始特征图和最终的输出特征图按通道相加后输入残差网络，将残差网络的输出作为输入图像对应的高分辨率图像。
4.一种针对图像超分辨率的方向解耦的注意力系统，其特征在于：包括数据获取模块、超分辨率重建网络模块和图像输出模块，
所述数据获取模块获取输入图像并提取特征得到初始特征图，将所述初始特征图分别传送给所述超分辨率重建网络模块和所述图像输出模块；
所述超分辨率重建网络模块包括多个方向解耦的注意力机制，所述超分辨率重建网络模块将所述初始特征图输入所述包括多个方向解耦的注意力机制，在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图，将所述最终的输出特征图传送给所述图像输出模块；
所述图像输出模块结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像；
所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后；所述包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制，在第8、16、20个残差模块后面添加了的方向解耦的注意力机制；
在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取，具体为：将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入，所述方向解耦的注意力机制包括两个注意力模块；特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1；
所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″，具体为：所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″；
所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′，具体为：构建特征图Fi对应的初始三维注意力图，将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第i行的其他点进行点积得到S(i,j)，S(i,j)经过softmax层得到得分Score(i,j)；计算三维注意力图中所有点的得分得到三维权重矩阵，将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和作为点(i,j)的输出值；使用所有点的输出值更新特征图Fi得到特征图Fi′。
5.根据权利要求4所述的针对图像超分辨率的方向解耦的注意力系统，其特征在于：所述超分辨率重建网络模块还包括多个残差模块，所述残差模块的数量大于所述方向解耦的注意力机制的数量，每个所述方向解耦的注意力机制位于所述残差模块后；
所述初始特征图依次经过多个所述残差模块和方向解耦的注意力机制后得到最终的输出特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211222173.9A CN115578260B (zh) | 2022-10-08 | 2022-10-08 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211222173.9A CN115578260B (zh) | 2022-10-08 | 2022-10-08 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115578260A CN115578260A (zh) | 2023-01-06 |
| CN115578260B true CN115578260B (zh) | 2023-07-25 |
Family
ID=84585827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211222173.9A Active CN115578260B (zh) | 2022-10-08 | 2022-10-08 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578260B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315065B (zh) * | 2023-09-26 | 2024-03-12 | 烟台大学 | 一种核磁共振成像精准加速重建方法以及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN114677412A (zh) * | 2022-03-18 | 2022-06-28 | 苏州大学 | 一种光流估计的方法、装置以及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5837572B2 (ja) * | 2011-03-28 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体 |
| CN111445390B (zh) * | 2020-02-28 | 2022-03-25 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN113409191B (zh) * | 2021-06-02 | 2023-04-07 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
| CN113436076B (zh) * | 2021-07-26 | 2022-01-28 | 深圳赛陆医疗科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
| CN113674156B (zh) * | 2021-09-06 | 2022-12-30 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
| CN114254715B (zh) * | 2022-03-02 | 2022-06-03 | 自然资源部第一海洋研究所 | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 |
| CN115147271A (zh) * | 2022-04-22 | 2022-10-04 | 华南师范大学 | 一种用于光场超分辨率的多视图信息注意力交互网络 |
-
2022
- 2022-10-08 CN CN202211222173.9A patent/CN115578260B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN114677412A (zh) * | 2022-03-18 | 2022-06-28 | 苏州大学 | 一种光流估计的方法、装置以及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115578260A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Multi-level fusion and attention-guided CNN for image dehazing | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111968123B (zh) | 一种半监督视频目标分割方法 | |
| CN110782490A (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN112287931B (zh) | 一种场景文本检测方法及系统 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN113449735B (zh) | 一种超像素分割的语义分割方法及装置 | |
| CN114663509B (zh) | 一种关键点热力图引导的自监督单目视觉里程计方法 | |
| Ye et al. | Depth super-resolution with deep edge-inference network and edge-guided depth filling | |
| CN112422870B (zh) | 一种基于知识蒸馏的深度学习视频插帧方法 | |
| CN109191511A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
| CN115578260B (zh) | 针对图像超分辨率的方向解耦的注意力方法和系统 | |
| CN114140623A (zh) | 一种图像特征点提取方法及系统 | |
| Zhang et al. | Removing Foreground Occlusions in Light Field using Micro-lens Dynamic Filter. | |
| CN116563916A (zh) | 基于注意力融合的循环人脸超分辨率方法及系统 | |
| CN111105354A (zh) | 基于多源深度残差网络的深度图像超分辨率方法及装置 | |
| CN113240584B (zh) | 一种基于图片边缘信息的多任务手势图片超分辨率方法 | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN116934972A (zh) | 一种基于双流网络的三维人体重建方法 | |
| CN116309076A (zh) | 一种管道内窥场景下的图像超分辨率方法 | |
| CN113538241B (zh) | 面向场景文本识别的超分辨率图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231031 Address after: Room 4908, building 2, dongfangzhimen building, 199 Xinggang street, Suzhou Industrial Park, Suzhou, Jiangsu 215000 Patentee after: Suzhou tengshuicheng Technology Co.,Ltd. Address before: No. 188, Shihu West Road, Wuzhong District, Suzhou City, Jiangsu Province Patentee before: SOOCHOW University |