CN113706388A - 图像超分辨率重建方法及装置 - Google Patents
图像超分辨率重建方法及装置 Download PDFInfo
- Publication number
- CN113706388A CN113706388A CN202111123791.3A CN202111123791A CN113706388A CN 113706388 A CN113706388 A CN 113706388A CN 202111123791 A CN202111123791 A CN 202111123791A CN 113706388 A CN113706388 A CN 113706388A
- Authority
- CN
- China
- Prior art keywords
- attention
- image
- feature
- sub
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 25
- 238000003709 image segmentation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像超分辨率重建方法及装置，所述方法包括：将待重建图像输入至图像重建模型，得到图像重建模型输出的超分辨率图像。其中，图像重建模型的注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前模块的当前注意力特征，并将当前模块的当前注意力特征作为下一注意力模块的上一注意力特征。首个注意力模块的上一注意力特征为待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。本发明不仅能够使得超分辨率图像准确保留待重建图像的细节信息，而且减小了图像重建过程的计算量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法及装置。
背景技术
高分辨率图像在医学治疗、视频监控、遥感卫星成像等领域发挥着重要的作用。然而，由于成像设备在获取图像过程中会受到系统噪声、成像环境等影响，导致采集到的图像分辨率较低。因此，需要对采集到的图像进行超分辨率重建，但若采用改进硬件设备来进行超分辨率重建，会增加制造成本。
目前，多通过训练完成的卷积神经网络来对图像进行超分辨重建，以提高图像的分辨率。然而，卷积神经网络需要学习图像的大规模特征，使得网络参数数量增大。若采用单一尺度的卷积算子将极大限制网络的学习能力，使得重建后的图像无法准确保留原始图像的细节信息；若采用多尺度的卷积算子，则会带来降低运算效率和过拟合的缺陷。
发明内容
本发明提供一种图像超分辨率重建方法及装置，用以解决现有技术中图像超分辨率重建效率较低且重建后的图像无法准确保留原始图像的细节信息的缺陷。
本发明提供一种图像超分辨率重建方法，包括：
确定待重建图像；
将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；
其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
据本发明提供的一种图像超分辨率重建方法，所述将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的所述待重建图像的超分辨率图像，包括：
将所述待重建图像输入至所述图像重建模型的图像分割层，由所述图像分割层对所述待重建图像进行切分，得到所述图像分割层输出的所述待重建图像的多个子图像；
将各子图像输入至所述图像重建模型的特征嵌入层，由所述特征嵌入层将各子图像的RGB值按顺序展开为多个嵌入向量，得到所述特征嵌入层输出的多个嵌入向量；
将多个嵌入向量输入至所述图像重建模型的特征提取层，由所述特征提取层对多个嵌入向量进行注意力特征提取，得到所述特征提取层输出的各子图像的初始特征；
将各子图像的初始特征输入至所述注意力层，得到所述注意力层输出的各子图像的注意力特征；
将各子图像的注意力特征输入至所述图像重建模型的图像重建层，由所述图像重建层对各子图像的注意力特征进行卷积处理，得到所述图像重建层输出的所述待重建图像的超分辨率图像。
根据本发明提供的一种图像超分辨率重建方法，所述将各子图像的初始特征输入至所述注意力层，得到所述注意力层输出的各子图像的注意力特征，包括：
将所述上一注意力特征输入至所述当前注意力模块，得到所述当前注意力模块输出的所述当前注意力特征，并将所述当前注意力特征作为所述下一注意力模块的上一注意力特征。
根据本发明提供的一种图像超分辨率重建方法，所述当前注意力模块包括上采样子层和注意力子模块；所述注意力子模块包括一个第一注意力子层，或包括至少一个第一注意力子层和至少一个第二注意力子层；所述第一注意力子层与所述第二注意力子层交替排列；
所述上采样子层用于对所述上一注意力特征进行上采样，得到所述上采样特征，并将所述上采样特征作为首个第一注意力子层的输入；
所述第一注意力子层用于对上一子层输出的特征进行多头注意力特征提取，所述第二注意力子层用于基于移位窗口对上一子层输出的特征进行多头注意力特征计算。
根据本发明提供的一种图像超分辨率重建方法，所述特征提取层至少包括一个第一子层和一个第二子层，所述第一子层与所述第二子层交替排列；
所述第一子层用于对多个嵌入向量进行注意力特征提取，得到初始子图像注意力特征；所述第二子层用于基于移位窗口对所述初始子图像注意力特征进行多头注意力特征计算，得到各子图像的初始特征。
根据本发明提供的一种图像超分辨率重建方法，各注意力模块是基于目标算法对上一注意力特征进行上采样的，所述目标算法为双线性插值法、最近邻插值法以及双立方插值法中的任一种。
本发明还提供一种图像超分辨率重建装置，包括：
确定单元，用于确定待重建图像；
重建单元，用于将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；
其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像超分辨率重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像超分辨率重建方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像超分辨率重建方法的步骤。
本发明提供的图像超分辨率重建方法、装置、电子设备和存储介质，通过图像重建模型中的各注意力模块对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将当前注意力特征作为下一注意力模块的上一注意力特征，实现逐层对上一注意力特征进行上采样，从而各注意力模块可以结合上一注意力模块中注意力特征提取得到的上一注意力特征，关注上采样后的上一注意力特征中的细节信息，不仅能够准确将上采样后的上一注意力特征中的细节信息迁移至当前注意力特征，而且各注意力模块是对维度较小的上采样后的上一注意力特征进行计算，减少了各注意力模块的注意力特征提取计算量，避免一次性对整张待重建图像上采样至超分辨率图像的维度导致无法全面关注整张待重建图像中的各区域细节信息的问题，以及避免在对整张待重建图像进行学习时导致计算量大且效率较低的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像超分辨率重建方法的流程示意图；
图2是本发明提供的双线性插值的原理示意图；
图3为本发明提供的图像重建模型的结构示意图；
图4是本发明提供的图像超分辨率重建装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，多通过基于卷积神经网络(Convolutional Neural Networks,CNN)构建模型，并基于训练完成的模型进行图像超分辨率重建，其中模型是采用大量的高分辨率图像数据集进行训练得到的。
然而，由于大多数模型是基于多重卷积神经网络构建的，需要学习图像的大规模特征，使得网络参数数量增大。若采用单一尺度的卷积算子将极大限制网络的学习能力，使得重建后的图像无法准确保留原始图像的细节信息；若采用多尺度的卷积算子，则会带来降低运算效率和过拟合的缺陷。
对此，本发明提供一种图像超分辨率重建方法。图1是本发明提供的图像超分辨率重建方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、确定待重建图像。
此处，待重建图像指需要提高分辨率的图像，如医学图像，卫星图像等。由于成像设备在获取图像过程中会受到系统噪声、成像环境等影响，导致采集到的图像分辨率较低。例如，对于通过成像设备采集得到的医学图像，由于噪声影响会使得图像中的细胞轮廓模糊，进而导致无法准确对图像中的细胞进行分类。
步骤120、将待重建图像输入至图像重建模型，得到图像重建模型输出的超分辨率图像；
其中，图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；图像重建模型通过注意力层对待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征，用于生成对应子图像的超分辨率图像，所有子图像的超分辨率图像构成待重建图像的超分辨率图像。
具体地，在确定待重建图像后，将待重建图像输入图像重建模型后，图像重建模型将待重建图像分割为多个子图像并提取各子图像的初始特征，然后将各子图像的初始特征分别输入至首个注意力模块，由首个注意力模块对各子图像的初始特征进行上采样，并对上采样后的各子图像的初始特征进行注意力特征提取，关注上采样后的各子图像的初始特征中的细节信息，从而得到首个注意力模块的当前注意力特征，进而将当前注意力特征作为下一注意力模块的输入，即下一注意力模块的上一注意力特征。
以此类推，下一注意力模块对上一注意力特征依次进行上采样和注意力特征提取，从而下一注意力模块可以关注上采样后的上一注意力特征中的细节信息，并得到下一注意力模块的当前注意力特征。
由此可见，下一注意力模块对上一注意力特征进行上采样后，可以得到维度大于上一注意力特征的上采样特征，然后通过注意力特征提取将上一注意力特征中的细节信息(如纹理信息)迁移到维度较大的上采样特征中，使得得到的当前注意力特征能够保留上一注意力特征中的细节信息。
此外，由于图像重建模型的注意力层包括多个连续的注意力模块，各注意力模块对上一注意力特征依次进行上采样和注意力特征提取，即通过多个注意力模块逐步进行上采样，即可以理解为各注意力模块进行上采样后得到的上采样特征的维度是逐步增大的，其中末个注意力模块对应的上采样特征的维度为目标维度，从而各注意力模块可以结合上一注意力模块中注意力特征提取得到的上一注意力特征，关注对应维度上采样特征中的细节信息，不仅能够准确将上采样特征中的细节信息迁移至当前注意力特征，而且减少了各注意力模块的注意力特征提取计算量，避免一次性将待重建图像上采样至目标维度导致无法全面关注整张待重建图像中的各区域细节信息的问题，以及避免在对整张待重建图像进行学习时导致计算量大且效率较低的问题。
再有，图像重建模型中首个注意力模块的上一注意力特征为待重建图像的各子图像的初始特征，由于各子图像的初始特征的维度小于待重建图像，且注意力层是以维度较小的各子图像的初始特征作为输入的，从而进一步减小了注意力层中各注意力模块的计算量。
在各子图像的初始特征输入至注意力层后，注意力层的末个注意力模块输出迁移有各子图像的初始特征细节信息的各子图像的注意力特征，从而可以将各子图像的注意力特征输入至图像重建层，由图像重建层进行卷积处理，得到待重建图像的超分辨率图像。
另外，在执行步骤120之前，还可以预先训练得到图像重建模型，具体可通过如下方式训练得到图像重建模型：首先，收集大量样本图像，并对样本图像进行降质处理，得到样本图像对应的低分辨率图像。随即，采用样本图像以及样本图像对应的低分辨率图像对初始模型进行训练，从而得到图像重建模型。
本发明实施例提供的图像超分辨率重建方法，通过图像重建模型中的各注意力模块对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将当前注意力特征作为下一注意力模块的上一注意力特征，实现逐层对上一注意力特征进行上采样，从而各注意力模块可以结合上一注意力模块中注意力特征提取得到的上一注意力特征，关注上采样后的上一注意力特征中的细节信息，不仅能够准确将上采样后的上一注意力特征中的细节信息迁移至当前注意力特征，而且各注意力模块是对维度较小的上采样后的上一注意力特征进行计算，减少了各注意力模块的注意力特征提取计算量，避免一次性对整张待重建图像上采样至超分辨率图像的维度导致无法全面关注整张待重建图像中的各区域细节信息的问题，以及避免在对整张待重建图像进行学习时导致计算量大且效率较低的问题。
基于上述实施例，将待重建图像输入至图像重建模型，得到图像重建模型输出的待重建图像的超分辨率图像，包括：
将待重建图像输入至图像重建模型的图像分割层，由图像分割层对待重建图像进行切分，得到图像分割层输出的待重建图像的多个子图像；
将各子图像输入至图像重建模型的特征嵌入层，由特征嵌入层将各子图像的RGB值按顺序展开为多个嵌入向量，得到特征嵌入层输出的多个嵌入向量；
将多个嵌入向量输入至图像重建模型的特征提取层，由特征提取层对多个嵌入向量进行注意力特征提取，得到特征提取层输出的各子图像的初始特征；
将各子图像的初始特征输入至注意力层，得到注意力层输出的各子图像的注意力特征；
将各子图像的注意力特征输入至图像重建模型的图像重建层，由图像重建层对各子图像的注意力特征进行卷积处理，得到图像重建层输出的待重建图像的超分辨率图像。
具体地，将待重建图像输入至图像分割层，由图像分割层将待重建图像切分为多个子图像，例如可以设置目标尺寸(如4×4)对待重建图像进行切割，得到多个子图像。
在获取多个子图像后，由特征嵌入层将各子图像的RGB值按顺序展开为多个嵌入向量，并将多个嵌入向量输入至特征提取层，由特征提取层对多个嵌入向量进行注意力特征提取，从而使得输出得到各子图像的初始特征。
在得到各子图像的初始特征后，由注意力层中的各注意力模块对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将当前注意力特征作为下一注意力模块的上一注意力特征；其中，以末个注意力模块的当前注意力特征作为各子图像的注意力特征。
需要说明的是，注意力层中的注意力模块数量可以根据实际情况具体设置，如根据待重建图像的维度进行设置，本发明实施例对此不作具体限定。
由于各子图像的注意力特征迁移有各子图像的初始特征细节信息，从而图像重建层输出保留有待重建图像细节信息的超分辨率图像。
基于上述任一实施例，将各子图像的初始特征输入至注意力层，得到注意力层输出的各子图像的注意力特征，包括：
将上一注意力特征输入至当前注意力模块，得到当前注意力模块输出的当前注意力特征，并将当前注意力特征作为下一注意力模块的上一注意力特征。
具体地，将各子图像的初始特征分别输入至首个注意力模块，由首个注意力模块对各子图像的初始特征进行上采样，并对上采样后的各子图像的初始特征进行注意力特征提取，关注上采样后的各子图像的初始特征中的细节信息，从而得到首个注意力模块的当前注意力特征，进而将当前注意力特征作为下一注意力模块的输入，即下一注意力模块的上一注意力特征。
以此类推，下一注意力模块对上一注意力特征依次进行上采样和注意力特征提取，从而下一注意力模块可以关注上采样后的上一注意力特征中的细节信息，并得到下一注意力模块的当前注意力特征。
由此可见，下一注意力模块对上一注意力特征进行上采样后，可以得到维度大于上一注意力特征的上采样特征，然后通过注意力特征提取将上一注意力特征中的细节信息(如纹理信息)迁移到维度较大的上采样特征中，使得得到的当前注意力特征能够保留上一注意力特征中的细节信息。
基于上述任一实施例，当前注意力模块包括上采样子层和注意力子模块；注意力子模块包括一个第一注意力子层，或包括至少一个第一注意力子层和至少一个第二注意力子层；第一注意力子层与第二注意力子层交替排列，这样在网络深层中，根据实际任务适当减少第二注意力子层以降低整体模型参数和计算复杂度；
上采样子层用于对上一注意力特征进行上采样，得到上采样特征，并将上采样特征作为首个第一注意力子层的输入；
第一注意力子层用于对上一子层输出的特征进行多头注意力特征提取，第二注意力子层用于基于移位窗口对上一子层输出的特征进行多头注意力特征计算。
具体地，当前注意力模块包括上采样子层和注意力子模块，注意力子模块包括一个第一注意力子层，或者包括至少一个第一注意力子层和至少一个第二注意力子层，第一注意力子层与第二注意力子层交替排列。例如，若注意力子模块包括2个第一注意力子层和1个第二注意力子层，则排列顺序为“第一注意力子层+第二注意力子层+第一注意力子层”。若注意力子模块包括2个第一注意力子层和2个第二注意力子层，则排列顺序为“第一注意力子层+第二注意力子层+第一注意力子层+第二注意力子层”。
上采样子层用于对上一注意力特征进行上采样，以扩大上一注意力特征的维度，得到上采样子层输出的上采样特征。
第一注意力子层用于对上一子层输出的特征进行多头注意力特征提取，关注上一子层输出的特征本身的细节信息，第二注意力子层基于移位窗口对上一子层输出的特征进行多头注意力特征计算，第二注意力子层提供了与第一子层不同的窗口切分方式，从而实现跨窗口通信。例如，该切分方式为循环移位，即将图像各循环上移和循环左移半个窗口的大小。
其中，首个第一注意力子层对应的上一子层为上采样子层，从而首个第一注意力子层用于对上采样特征进行多头注意力特征提取，并将提取得到的特征输入至首个第二注意力子层，由该第二注意力子层基于移位窗口进行多头注意力特征计算。
依次类推，首个第二注意力子层输出的特征可以作为第2个第一注意力子层的输入。
基于上述任一实施例，特征提取层至少包括一个第一子层和一个第二子层，第一子层与第二子层交替排列；
第一子层用于对多个嵌入向量进行注意力特征提取，得到初始子图像注意力特征；第二子层用于基于移位窗口对初始子图像注意力特征进行多头注意力特征计算，得到各子图像的初始特征。
具体地，特征提取层包括至少包括一个第一子层和一个第二子层，第一子层与第二子层交替排列。第一子层用于对多个嵌入向量进行多头注意力特征提取，得到初始子图像注意力特征，第二子层用于基于移位窗口对初始子图像注意力特征进行多头注意力特征计算，得到各子图像的初始特征。
需要说明的是，特征提取层中可以包括多个第一子层和第二子层，且各第一子层和第二子层采用交替排列的方式设置。例如，特征提取层包括2个第一子层和2个第二子层，则特征提取层按照“第一子层+第二子层+第一子层+第二子层”的排列方式进行设置。特征提取层还可以包括2个第一子层和1个第二子层，则特征提取层按照“第一子层+第二子层+第一子层”的排列方式进行设置。
基于上述任一实施例，各注意力模块是基于目标算法对上一注意力特征进行上采样的，目标算法为双线性插值法、最近邻插值法以及双立方插值法中的任一种。
具体地，各注意力模块可以基于目标算法对上一注意力特征进行上采样，其中，目标算法包括但不限于双线性插值法、最近邻插值法以及双立方插值法中的任一种。
以双线性插值法为例进行说明，双线性插值定义为有两个变量的插值函数的线性插值扩展，如图2所示，其核心思想是在x,y两个方向分别进行1次线性插值。
如欲求得未知函数f在点P＝(x，y)的值，已知函数f在Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)以及Q22＝(x2，y2)四个点的值。若f为某一点的像素值，可先在x反向进行线性插值，再在y方向进行线性插值得到。
首先在x方向进行插值可得到式(1)和式(2)：
再在y方向进行线性插值可得到式(3)：
综合起来得到双线性插值最后的结果：
基于上述任一实施例，本发明还提供一种图像超分辨率重建方法，该方法基于图像重建模型进行图像超分辨率重建，图3为本发明提供的图像重建模型的结构示意图，该方法包括：
(1)将待重建的RGB图像以4×4尺寸大小的块(patch)切分，并嵌入embedding张量，具体包括：
输入大小为(1，112，112，3)的RGB图像，经过切块模块(Patch Partition)将图像切成一个个图像块(token)后，通过线性嵌入张量(Linear Embedding)嵌入大小为(1，784，192)的嵌入张量(Embedding张量)，并将Embedding张量作为移位窗口注意力机制模块(Swin Transformer Block1)模块的输入进行特征计算。
(2)将Embedding张量作为连续的Swin Transformer Block1模块的输入进行窗口的注意力特征计算，具体包括：
将Embedding张量(1，784，192)依次经过窗口多头自注意力模块及移位窗口多头自注意力模块得到(1，784，192)大小的注意力特征。
其中，窗口注意力特征和移位窗口注意力特征可以采用如下公式计算：
式中Q表示Q(Query)矩阵，K表示K(Key)矩阵，V表示V(Value)矩阵，d表示一个query和key向量的维度，B表示偏置。
(3)将Swin Transformer Block1模块的输出作为上采样(Upsampling)模块的输入，实现上采样，扩大注意力特征尺寸，具体包括：
Upsampling模块通过对注意力特征进行双线性插值实现上采样，使得注意力特征尺寸调整为上采样前的2倍，通道数不变，经过该模块的注意力特征张量大小为(1，3136，192)。
(4)将Upsampling模块输出的张量作为Swin Transformer Block1模块输入进行基于窗口的注意力特征计算和移位窗口的注意力特征计算，具体包括：
将Upsampling模块输出的张量作为连续的Swin Transformer Block1模块的输入，进行窗口多头自注意力模块及移位窗口多头自注意力模块的注意力特征计算，得到(1，12544，192)大小的注意力特征。
(5)采用Swin Transformer Block2进行窗口的注意力特征计算，具体包括：
将Upsampling模块的输出作为Swin Transformer Block2的输入得到张量大小为(1，12544，192)大小的注意力特征，采用如图3所示的连续的Swin Transformer Block2进行窗口的注意力特征计算。此连续的Swin Transformer Block包括2个窗口多头自注意力模块和1个移位窗口多头自注意力模块，并采用交替排列的方式。
(6)将Swin Transformer Block2的输出作为Upsampling模块的输入，随后经过Swin Transformer Block3模块输入进行窗口的注意力特征计算，具体包括：
将Swin Transformer Block2的输出作为Upsampling模块的输入得到张量大小为(1,50176,192)大小的注意力特征，采用如图3所示的Swin Transformer Block3进行窗口的注意力特征计算。该Swin Transformer Block3仅包括窗口多头自注意力模块。
(7)Swin Transformer Block3的输出经过卷积(如，conv2d)层得到输出张量，实现图像超分辨率重建，具体包括：
将Swin Transformer Block3的输出张量reshape成(1,192,224,224)，经过conv2d层得到大小为(1,3,224,224)的输出张量，实现图像超分辨率重建。
其中，图3中MLP(Multilayer Perceptron)表示多层感知机器，LN(layernorm)表示层归一化。
下面对本发明提供的图像超分辨率重建装置进行描述，下文描述的图像超分辨率重建装置与上文描述的图像超分辨率重建方法可相互对应参照。
基于上述任一实施例，本发明提供一种图像超分辨率重建装置，如图4所示，该装置包括：
确定单元410，用于确定待重建图像；
重建单元420，用于将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；
其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
基于上述任一实施例，所述重建单元420，包括：
图像分割单元，用于将所述待重建图像输入至所述图像重建模型的图像分割层，由所述图像分割层对所述待重建图像进行切分，得到所述图像分割层输出的所述待重建图像的多个子图像；
特征嵌入单元，用于将各子图像输入至所述图像重建模型的特征嵌入层，由所述特征嵌入层将各子图像的RGB值按顺序展开为多个嵌入向量，得到所述特征嵌入层输出的多个嵌入向量；
特征提取单元，用于将多个嵌入向量输入至所述图像重建模型的特征提取层，由所述特征提取层对多个嵌入向量进行注意力特征提取，得到所述特征提取层输出的各子图像的初始特征；
注意力单元，用于将各子图像的初始特征输入至所述注意力层，得到所述注意力层输出的各子图像的注意力特征；
重建单元，用于将各子图像的注意力特征输入至所述图像重建模型的图像重建层，由所述图像重建层对各子图像的注意力特征进行卷积处理，得到所述图像重建层输出的所述待重建图像的超分辨率图像。
基于上述任一实施例，所述注意力单元，用于：
将所述上一注意力特征输入至所述当前注意力模块，得到所述当前注意力模块输出的所述当前注意力特征，并将所述当前注意力特征作为所述下一注意力模块的上一注意力特征。
基于上述任一实施例，所述当前注意力模块包括上采样子层和注意力子模块；所述注意力子模块包括一个第一注意力子层，或包括至少一个第一注意力子层和至少一个第二注意力子层；所述第一注意力子层与所述第二注意力子层交替排列；
所述上采样子层用于对所述上一注意力特征进行上采样，得到所述上采样特征，并将所述上采样特征作为首个第一注意力子层的输入；
所述第一注意力子层用于对上一子层输出的特征进行多头注意力特征提取，所述第二注意力子层用于基于移位窗口对上一子层输出的特征进行多头注意力特征计算。
基于上述任一实施例，所述特征提取层至少包括一个第一子层和一个第二子层，所述第一子层与所述第二子层交替排列；
所述第一子层用于对多个嵌入向量进行注意力特征提取，得到初始子图像注意力特征；所述第二子层用于基于移位窗口对所述初始子图像注意力特征进行多头注意力特征计算，得到各子图像的初始特征。
基于上述任一实施例，各注意力模块是基于目标算法对上一注意力特征进行上采样的，所述目标算法为双线性插值法、最近邻插值法以及双立方插值法中的任一种。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540，其中，处理器510，存储器520，通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令，以执行图像超分辨率重建方法，该方法包括：确定待重建图像；将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
此外，上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像超分辨率重建方法，该方法包括：确定待重建图像；将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像超分辨率重建方法，该方法包括：确定待重建图像；将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像超分辨率重建方法，其特征在于，包括：
确定待重建图像；
将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；
其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的所述待重建图像的超分辨率图像，包括：
将所述待重建图像输入至所述图像重建模型的图像分割层，由所述图像分割层对所述待重建图像进行切分，得到所述图像分割层输出的所述待重建图像的多个子图像；
将各子图像输入至所述图像重建模型的特征嵌入层，由所述特征嵌入层将各子图像的RGB值按顺序展开为多个嵌入向量，得到所述特征嵌入层输出的多个嵌入向量；
将多个嵌入向量输入至所述图像重建模型的特征提取层，由所述特征提取层对多个嵌入向量进行注意力特征提取，得到所述特征提取层输出的各子图像的初始特征；
将各子图像的初始特征输入至所述注意力层，得到所述注意力层输出的各子图像的注意力特征；
将各子图像的注意力特征输入至所述图像重建模型的图像重建层，由所述图像重建层对各子图像的注意力特征进行卷积处理，得到所述图像重建层输出的所述待重建图像的超分辨率图像。
3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述将各子图像的初始特征输入至所述注意力层，得到所述注意力层输出的各子图像的注意力特征，包括：
将所述上一注意力特征输入至所述当前注意力模块，得到所述当前注意力模块输出的所述当前注意力特征，并将所述当前注意力特征作为所述下一注意力模块的上一注意力特征。
4.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述当前注意力模块包括上采样子层和注意力子模块；所述注意力子模块包括一个第一注意力子层，或包括至少一个第一注意力子层和至少一个第二注意力子层；所述第一注意力子层与所述第二注意力子层交替排列；
所述上采样子层用于对所述上一注意力特征进行上采样，得到所述上采样特征，并将所述上采样特征作为首个第一注意力子层的输入；
所述第一注意力子层用于对上一子层输出的特征进行多头注意力特征提取，所述第二注意力子层用于基于移位窗口对上一子层输出的特征进行多头注意力特征计算。
5.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述特征提取层至少包括一个第一子层和一个第二子层，所述第一子层与所述第二子层交替排列；
所述第一子层用于对多个嵌入向量进行注意力特征提取，得到初始子图像注意力特征；所述第二子层用于基于移位窗口对所述初始子图像注意力特征进行多头注意力特征计算，得到各子图像的初始特征。
6.根据权利要求1至5任一项所述的图像超分辨率重建方法，其特征在于，各注意力模块是基于目标算法对上一注意力特征进行上采样的，所述目标算法为双线性插值法、最近邻插值法以及双立方插值法中的任一种。
7.一种图像超分辨率重建装置，其特征在于，包括：
确定单元，用于确定待重建图像；
重建单元，用于将所述待重建图像输入至图像重建模型，得到所述图像重建模型输出的超分辨率图像；
其中，所述图像重建模型是基于样本图像以及样本图像对应的低分辨率图像训练得到的；所述图像重建模型通过注意力层对所述待重建图像的各子图像的初始特征进行注意力特征提取，并基于各子图像的注意力特征进行超分辨率重建，所述注意力层包括多个注意力模块，各注意力模块用于对上一注意力特征依次进行上采样和注意力特征提取，得到当前注意力特征，并将所述当前注意力特征作为下一注意力模块的上一注意力特征；首个注意力模块的上一注意力特征为所述待重建图像的各子图像的初始特征，末个注意力模块的当前注意力特征作为各子图像的注意力特征。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图像超分辨率重建方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像超分辨率重建方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像超分辨率重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123791.3A CN113706388B (zh) | 2021-09-24 | 2021-09-24 | 图像超分辨率重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123791.3A CN113706388B (zh) | 2021-09-24 | 2021-09-24 | 图像超分辨率重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706388A true CN113706388A (zh) | 2021-11-26 |
| CN113706388B CN113706388B (zh) | 2023-06-27 |
Family
ID=78661902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111123791.3A Active CN113706388B (zh) | 2021-09-24 | 2021-09-24 | 图像超分辨率重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706388B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114052762A (zh) * | 2021-11-30 | 2022-02-18 | 燕山大学 | 基于Swin-T预测狭窄血管尺寸和器械尺寸的方法 |
| CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
| CN116109966A (zh) * | 2022-12-19 | 2023-05-12 | 中国科学院空天信息创新研究院 | 一种面向遥感场景的视频大模型构建方法 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
| WO2024011797A1 (zh) * | 2022-07-11 | 2024-01-18 | 浙江大学 | 基于swin-transformer正则化的pet图像重建方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492273A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市唯特视科技有限公司 | 一种基于自注意力模型的图像生成方法 |
| CN110135567A (zh) * | 2019-05-27 | 2019-08-16 | 中国石油大学(华东) | 基于多注意力生成对抗网络的图像字幕生成方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111461973A (zh) * | 2020-01-17 | 2020-07-28 | 华中科技大学 | 一种图像的超分辨率重建方法及系统 |
| WO2020238558A1 (zh) * | 2019-05-24 | 2020-12-03 | 鹏城实验室 | 一种图像超分辨方法和系统 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| US20220028031A1 (en) * | 2019-11-05 | 2022-01-27 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, device, and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862688B (zh) * | 2021-03-08 | 2021-11-23 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
| CN113298716B (zh) * | 2021-05-31 | 2023-09-12 | 重庆师范大学 | 基于卷积神经网络的图像超分辨率重建方法 |
-
2021
- 2021-09-24 CN CN202111123791.3A patent/CN113706388B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492273A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市唯特视科技有限公司 | 一种基于自注意力模型的图像生成方法 |
| WO2020238558A1 (zh) * | 2019-05-24 | 2020-12-03 | 鹏城实验室 | 一种图像超分辨方法和系统 |
| CN110135567A (zh) * | 2019-05-27 | 2019-08-16 | 中国石油大学(华东) | 基于多注意力生成对抗网络的图像字幕生成方法 |
| US20220028031A1 (en) * | 2019-11-05 | 2022-01-27 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, device, and storage medium |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111461973A (zh) * | 2020-01-17 | 2020-07-28 | 华中科技大学 | 一种图像的超分辨率重建方法及系统 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHU B .等: "Image reconstruction by domain-transform manifold learning" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114052762A (zh) * | 2021-11-30 | 2022-02-18 | 燕山大学 | 基于Swin-T预测狭窄血管尺寸和器械尺寸的方法 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
| CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
| WO2024011797A1 (zh) * | 2022-07-11 | 2024-01-18 | 浙江大学 | 基于swin-transformer正则化的pet图像重建方法 |
| CN116109966A (zh) * | 2022-12-19 | 2023-05-12 | 中国科学院空天信息创新研究院 | 一种面向遥感场景的视频大模型构建方法 |
| CN116109966B (zh) * | 2022-12-19 | 2023-06-27 | 中国科学院空天信息创新研究院 | 一种面向遥感场景的视频大模型构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706388B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706388B (zh) | 图像超分辨率重建方法及装置 | |
| CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
| CN111179177B (zh) | 图像重建模型训练方法、图像重建方法、设备及介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110992270A (zh) | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 | |
| Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
| EP3427195B1 (en) | Convolutional neural networks, particularly for image analysis | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN109325915B (zh) | 一种用于低分辨率监控视频的超分辨率重建方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| Prajapati et al. | Direct unsupervised super-resolution using generative adversarial network (DUS-GAN) for real-world data | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| Alvarez-Ramos et al. | Image super-resolution via two coupled dictionaries and sparse representation | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及系统 | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
| CN111382845B (zh) | 一种基于自注意力机制的模板重建方法 | |
| Nguyen-Truong et al. | Srgan with total variation loss in face super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Patentee after: Shanghai Bi Ren Technology Co.,Ltd. Country or region after: China Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Patentee before: Shanghai Bilin Intelligent Technology Co.,Ltd. Country or region before: China |