CN117218005A - 基于全距离特征聚合的单帧图像超分辨率方法及系统 - Google Patents
基于全距离特征聚合的单帧图像超分辨率方法及系统 Download PDFInfo
- Publication number
- CN117218005A CN117218005A CN202311476526.2A CN202311476526A CN117218005A CN 117218005 A CN117218005 A CN 117218005A CN 202311476526 A CN202311476526 A CN 202311476526A CN 117218005 A CN117218005 A CN 117218005A
- Authority
- CN
- China
- Prior art keywords
- distance
- full
- representing
- feature map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002776 aggregation Effects 0.000 title claims abstract description 32
- 238000004220 aggregation Methods 0.000 title claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 230000004931 aggregating effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 230000008707 rearrangement Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像超分辨率的技术领域，公开了一种基于全距离特征聚合的单帧图像超分辨率方法及系统，包括以下步骤：利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；利用基于亚像素卷积的通道下采样卷积层，将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。本发明提供的超分辨率方法克服了原有经典超分辨率模型提取的特征信息尺度单一的问题，充分利用多尺度特征信息以复原精细的细节，同时抑制冗余噪声对图像重建的干扰。
Description
技术领域
本发明涉及图像超分辨率技术领域，尤其涉及基于全距离特征聚合的单帧图像超分辨率方法及系统。
背景技术
作为计算机视觉最关键的任务之一，图像超分辨(Super-Resolution, SR)能够通过已有的单幅或多幅低分辨率(Low Resolution, LR)图像重建出具有丰富细节的高分辨率(High Resolution, HR)图像。由于SR可以突破成像器件自身固有分辨率的限制，成为了一种实现高质量图像重建的有效方法，并被广泛应用于医学诊断、遥感成像、视频监控、人脸识别、机器视觉、模式识别等领域。例如，高分辨率的医学影像能有效辅助医生进行医疗疾病的诊断；高分辨率的遥感图像在军事侦察、资源开发、环境检测、灾害研究等领域具有非常重要的应用价值；高分辨率的监控视频有助于提高目标检测与识别的精度，为公安民警提供可靠的线索或罪证，从而提高案件侦察速度。
然而，SR本质上是一个典型的高度不适定问题，这是由于图像降质模型的不确定性与重建约束的不唯一性，大量不同的HR图像都可能映射为一幅相同的LR图像，或者一幅LR图像可能被逆映射为大量不同的HR图像，这使得SR的求解成为了机器视觉领域极具挑战性的问题之一。目前，深度学习由于其强大的特征表达能力，在SR任务中展现了出色的性能。同时，基于深度学习的SR方法由于其没有涉及到传统方法中的图像配准问题，仅使用单幅图像就可以实现HR图像的重建，受到了越来越多研究者的青睐。
现有的基于深度学习的SR方法大多采用均匀特征聚合策略（即通过单一算子的简单堆叠，如卷积层、自注意力模块），仅利用单一尺度的特征来重建图像，却忽略了多尺度特征之间的互补关系，不利于保持重建图像的结构信息并阻碍锐利且自然的细节复原。中国发明专利CN116823610A公开了一种基于深度学习的水下图像超分辨率生成方法，通过简单地利用卷积结构学习短距离依赖关系不同，因为普通的Transformer模块中的Softmax计算会放大噪声信息，因此难以有效避免冗余噪声干扰图像重建，且因为复杂而密集的自注意力计算，复杂度随着窗口尺寸的增加而呈二次方增加，该方法仅能在小尺寸窗口内建模长距离依赖关系。
发明内容
本发明的目的在于解决现有技术中仅利用单一尺度的特征，导致重建图像的结构信息有损且细节还原不足的技术问题，提供一种基于全距离特征聚合的单帧图像超分辨率方法，充分考虑待重建图像在不同尺度上（即，短距离、中距离、长距离）的特征关联，实现高质量且高效的图像复原。
本发明解决其技术问题所采用的技术方案是：一种基于全距离特征聚合的单帧图像超分辨率方法，包括以下步骤：
利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；
将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
优选的，所述对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图，包括以下步骤：
利用短距离混合注意力模块，建立相邻位置的特征关联；
利用中距离稀疏Transformer模块，建立局部区域的特征关联；
利用长距离跨维度Transformer模块，建立全局的特征关联；
串联短距离混合注意力模块、中距离稀疏Transformer模块和长距离跨维度Transformer模块成为全距离特征聚合组，利用多个全距离特征聚合组获得全距离特征图。
优选的，短距离混合注意力模块由局部特征提取单元、通道注意力单元、空间注意力单元和坐标注意力单元构成，所述短距离混合注意力模块表示为：
其中，X1和Y1表示输入和输出，表示中间计算结果；/>表示空间注意力单元的函数，/>表示通道注意力单元的函数；/>表示坐标注意力单元的函数，用于强调输入特征图中有价值的区域；/>表示局部特征提取单元的函数，用于建立通道关联性并实现局部特征提取。
优选的，局部特征提取单元表示如下：
其中，表示缩放因子为2的通道下采样卷积的函数，其将输入特征图的通道数缩小为原来的2倍，/>表示缩放因子为2的通道上采样卷积的函数，其将输入特征图的通道数放大为原来的2倍，/>表示深度卷积的函数，/>表示GELU激活函数。
优选的，坐标注意力单元的处理过程为：
首先，对输入特征图分别执行一维水平平均池化计算和一维垂直平均池化计算，得到水平坐标向量/>和垂直坐标向量/>，其中C表示通道数，H表示特征图的长，W表示特征图的宽；
其次，将和/>拼接，依次经过缩放因子为2的通道下采样卷积层、批标准化层和全连接层得到全坐标向量/>，将/>拆分成中间水平坐标向量和中间垂直坐标向量/>，分别经过缩放因子为2的通道上采样卷积层，转化为水平坐标响应/>和垂直坐标响应/>；
再次，将和/>分别沿着垂直和水平方向复制W倍和H倍，得到水平坐标响应图和垂直坐标响应图/>；
最后，令和/>与/>作像素级相乘，以根据重要性逐像素地为/>赋值不同的权重，输出赋予像素不同权重的特征图。
优选的，中距离稀疏Transformer模块由层标准化单元、稀疏自注意力单元和多层感知单位构成，中距离稀疏Transformer模块表示如下：
其中，X2和Y2表示中距离稀疏Transformer模块的输入和输出，表示中间计算结果；/>表示层标准化层的函数，/>表示多层感知单元的函数，多层感知单位由全连接层-GELU激活函数单元-全连接层构成；/>表示稀疏自注意力单元的函数，用于抑制冗余特征对图像重建的干扰。
优选的，稀疏自注意力单元的处理过程具体为：
首先，将给定输入特征图X2分割为N个尺寸为S×S的非重叠窗口；利用三个全连接层和重排列，将/>转换为查询/>、键/>、值/>；
然后，执行基于Top-K的自注意力计算，表示如下：
其中，T表示转置操作，表示Softmax函数，/>表示关联矩阵；/>表示Top-K特征筛选操作，保留/>每列中数值最大的前K项，其余项均置为概率0；/>表示中间计算结果，/>表示重排列操作，其将/>的数据格式由/>转换为/>，/>表示输出的转换结果。
优选的，所述长距离跨维度Transformer模块由层标准化单元、跨维度自注意力单元和多层感知单位组成，表示如下：
其中，X3和Y3表示长距离跨维度Transformer模块的输入和输出，表示中间计算结果；/>表示层标准化层的函数；/>表示跨维度自注意力单元的函数，用于提取混合特征；/>为多层感知单元的函数，多层感知单元由全连接层-GELU激活函数单元-全连接层构成。
优选的，所述跨维度自注意力单元的执行过程具体为：
首先，以步长为2的方式对给定输入特征图执行稀疏采样，得到4幅尺寸为/>的非重叠网络/>；
其次，通过三个全连接层和重排列，生成查询/>、键/>、值；
再次，压缩K和V的通道维度至，并步长为2的方式对K和V执行空间-通道信息迁移操作，以将2×2非重叠局部区域内的标志的信息由空间维度转移至通道维度，从而获得和/>；
最后，执行自注意力计算如下：
其中，表示中间计算结果，/>表示重排列操作，将/>的数据格式转换为/>，/>为对应的转换结果。
本发明还提供一种基于全距离特征聚合的单帧图像超分辨率系统，用于上述任一方法，包括：
上采样模块，利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
若干全距离特征聚合组，用于对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；
下采样模块，用于将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
本发明具有以下有益效果：
（1）在基于Transformer的单帧图像超分辨率方法的基础上，引入了全距离特征聚合策略，充分考虑待重建图像在不同尺度上（即短距离、中距离、长距离）的特征关联，实现对不同尺度信息的定制化编码，以增强模型的多尺度特征编码能力。与现有的单帧图像超分辨率方法相比，该方法大大提升了网络的多尺度特征提取能力，能够精细地复原重建图像的边缘纹理细节，同时能够抑制冗余噪声对图像重建的干扰。
（2）短距离混合注意力模块通过联合空间、通道和坐标注意力，充分考虑了局部特征在空间、通道维度上的关联性，能够有效抑制冗余的噪声信息并强调有价值的特征，从而有效提升超分辨率方法的局部建模能力。
（3）中距离稀疏Transformer模块在执行Softmax计算之前，通过Top-K特征筛选操作保留关键信息而去除冗余信息，从而缓解Softmax计算的缺陷。
（4）长距离跨维度Transformer模块应用了稀疏采样策略和跨维度自注意力技术，能够避免复杂而密集的自注意力计算，从而在大尺寸窗口内建模长距离依赖关系，捕捉到更多的全局信息。
以下结合附图及实施例对本发明作进一步详细说明，但本发明不局限于实施例。
附图说明
图1为本发明实施例的方法步骤图；
图2为本发明实施例的短距离混合注意力模块示意图；
图3为本发明实施例的坐标注意力单元示意图；
图4为本发明实施例的中距离稀疏Transformer模块示意图；
图5为本发明实施例的长距离跨维度Transformer模块示意图；
图6为本发明实施例的系统结构图。
具体实施方式
参见图1所示，为本发明实施例的方法步骤图，包括：
S101，利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
S102，对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；
S103，将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
具体的，所述S102包括以下步骤：
S1021，利用短距离混合注意力模块，建立相邻位置的特征关联；
S1022，利用中距离稀疏Transformer模块，建立局部区域的特征关联；
S1023，利用长距离跨维度Transformer模块，建立全局的特征关联；
S1024，串联短距离混合注意力模块、中距离稀疏Transformer模块和长距离跨维度Transformer模块成为全距离特征聚合组，利用多个全距离特征聚合组获得全距离特征图；本实施例采用10个全距离特征聚合组获得全距离特征图。
参见图2所示，为本发明实施例的短距离混合注意力模块示意图，由局部特征提取单元、通道注意力单元、空间注意力单元和坐标注意力单元构成，所述短距离混合注意力模块表示为：
其中，X1和Y1表示输入和输出，表示中间计算结果；/>表示空间注意力单元的函数，/>表示通道注意力单元的函数；/>表示坐标注意力单元的函数，用于强调输入特征图中有价值的区域；/>表示局部特征提取单元的函数，用于建立通道关联性并实现局部特征提取，表示如下：
其中，表示缩放因子为2的通道下采样卷积的函数，其将输入特征图的通道数缩小为原来的2倍，/>表示缩放因子为2的通道上采样卷积的函数，其将输入特征图的通道数放大为原来的2倍，/>表示深度卷积的函数，/>表示GELU激活函数。
具体的，参见图3所示，为本发明实施例的坐标注意力单元示意图，处理过程为：
首先，对输入特征图分别执行一维水平平均池化计算和一维垂直平均池化计算，得到水平坐标向量/>和垂直坐标向量/>，其中C表示通道数，H表示特征图的长，W表示特征图的宽；
其次，将和/>拼接，依次经过缩放因子为2的通道下采样卷积层、批标准化层和全连接层得到全坐标向量/>，将/>拆分成中间水平坐标向量和中间垂直坐标向量/>，分别经过缩放因子为2的通道上采样卷积层，转化为水平坐标响应/>和垂直坐标响应/>；
再次，将和/>分别沿着垂直和水平方向复制W倍和H倍，得到水平坐标响应图和垂直坐标响应图/>；
最后，令和/>与/>作像素级相乘，以根据重要性逐像素地为/>赋值不同的权重，输出赋予像素不同权重的特征图。
参见图4所示，为本发明实施例的中距离稀疏Transformer模块示意图，由层标准化单元、稀疏自注意力单元和多层感知单位构成，中距离稀疏Transformer模块表示如下：
其中，X2和Y2表示中距离稀疏Transformer模块的输入和输出，表示中间计算结果；/>表示层标准化层的函数，/>表示多层感知单元的函数，多层感知单位由全连接层-GELU激活函数单元-全连接层构成；/>表示稀疏自注意力单元的函数，用于抑制冗余特征对图像重建的干扰。
具体的，稀疏自注意力单元的处理过程具体为：
首先，将给定输入特征图X2分割为N个尺寸为S×S的非重叠窗口；利用三个全连接层和重排列，将/>转换为查询/>、键/>、值/>；本实施例中，S设置为16；
然后，执行基于Top-K的自注意力计算，表示如下：
其中，T表示转置操作，表示Softmax函数，/>表示关联矩阵；/>表示Top-K特征筛选操作，保留/>每列中数值最大的前K项，其余项均置为概率0；表示中间计算结果，/>表示重排列操作，其将/>的数据格式由/>转换为/>，/>表示输出的转换结果。
参见图5所示，为本发明实施例的长距离跨维度Transformer模块示意图，由层标准化单元、跨维度自注意力单元和多层感知单位组成，表示如下：
其中，X3和Y3表示长距离跨维度Transformer模块的输入和输出，表示中间计算结果；/>表示层标准化层的函数；/>表示跨维度自注意力单元的函数，用于提取混合特征；/>为多层感知单元的函数，多层感知单元由全连接层-GELU激活函数单元-全连接层构成。
具体的，所述跨维度自注意力单元的执行过程具体为：
首先，以步长为2的方式对给定输入特征图执行稀疏采样，得到4幅尺寸为/>的非重叠网络/>；
其次，通过三个全连接层和重排列，生成查询/>、键/>、值；
再次，压缩K和V的通道维度至，并步长为2的方式对K和V执行空间-通道信息迁移操作，以将2×2非重叠局部区域内的标志的信息由空间维度转移至通道维度，从而获得和/>；
最后，执行自注意力计算如下：
其中，表示中间计算结果，/>表示重排列操作，将/>的数据格式转换为/>，/>为对应的转换结果。
参见图6所示，为本发明实施例的系统结构图，包括：
上采样模块601，利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
若干全距离特征聚合组602，用于对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；本实施例设置10个全距离特征聚合组602-1至602-10；
下采样模块601，用于将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
具体的，每个全距离特征聚合组包括串联起来的三个模块，分别为：
短距离混合注意力模块6021，用于建立相邻位置的特征关联；
中距离稀疏Transformer模块6022，用于建立局部区域的特征关联；
长距离跨维度Transformer模块6023，用于建立全局的特征关联。
本实施例中，将一幅尺寸大小为3×H×W的低分辨率图像输入所述基于全距离特征聚合的单帧图像超分辨率系统，其得到的输出是一幅尺寸大小为3×（H×scale）×（W×scale）的高分辨率图像，其中，scale的值为目标放大倍数，一般设置为2、3、4、8或16，通过设置亚像素卷积层的倍数参数来确定scale值。
可见，本发明提出基于全距离特征聚合的单帧图像超分辨率方法及系统，其通过充分考虑待重建图像在不同尺度上（即，短距离、中距离、长距离）的特征关联，实现高质量且高效的图像复原。本发明通过考虑输入特征图在空间、空间维度上的相互依赖关系，有效提升了超分辨率方法的局部建模能力；同时，中距离稀疏Transformer模块的应用有效抑制了冗余噪声对图像重建的不良影响，而长距离跨维度Transformer模块能够有效扩大感受野，从而显著提升长距离依赖关系的学习能力。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，包括以下步骤：
利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；
将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
2.根据权利要求1所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，所述对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图，包括以下步骤：
利用短距离混合注意力模块，建立相邻位置的特征关联；
利用中距离稀疏Transformer模块，建立局部区域的特征关联；
利用长距离跨维度Transformer模块，建立全局的特征关联；
串联短距离混合注意力模块、中距离稀疏Transformer模块和长距离跨维度Transformer模块成为全距离特征聚合组，利用多个全距离特征聚合组获得全距离特征图。
3.根据权利要求2所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，短距离混合注意力模块由局部特征提取单元、通道注意力单元、空间注意力单元和坐标注意力单元构成，所述短距离混合注意力模块表示为：
；
其中，X1和Y1表示输入和输出，表示中间计算结果；/>表示空间注意力单元的函数，/>表示通道注意力单元的函数；/>表示坐标注意力单元的函数，用于强调输入特征图中有价值的区域；/>表示局部特征提取单元的函数，用于建立通道关联性并实现局部特征提取。
4.根据权利要求3所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，局部特征提取单元表示如下：
；
其中，表示缩放因子为2的通道下采样卷积的函数，其将输入特征图的通道数缩小为原来的2倍，/>表示缩放因子为2的通道上采样卷积的函数，其将输入特征图的通道数放大为原来的2倍，/>表示深度卷积的函数，/>表示GELU激活函数。
5.根据权利要求3所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，坐标注意力单元的处理过程为：
首先，对输入特征图分别执行一维水平平均池化计算和一维垂直平均池化计算，得到水平坐标向量/>和垂直坐标向量/>，其中C表示通道数，H表示特征图的长，W表示特征图的宽；
其次，将和/>拼接，依次经过缩放因子为2的通道下采样卷积层、批标准化层和全连接层得到全坐标向量/>，将/>拆分成中间水平坐标向量/>和中间垂直坐标向量/>，分别经过缩放因子为2的通道上采样卷积层，转化为水平坐标响应/>和垂直坐标响应/>；
再次，将和/>分别沿着垂直和水平方向复制W倍和H倍，得到水平坐标响应图和垂直坐标响应图/>；
最后，令和/>与/>作像素级相乘，以根据重要性逐像素地为/>赋值不同的权重，输出赋予像素不同权重的特征图。
6.根据权利要求2所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，中距离稀疏Transformer模块由层标准化单元、稀疏自注意力单元和多层感知单位构成，中距离稀疏Transformer模块表示如下：
；
其中，X2和Y2表示中距离稀疏Transformer模块的输入和输出，表示中间计算结果；表示层标准化层的函数，/>表示多层感知单元的函数，多层感知单位由全连接层-GELU激活函数单元-全连接层构成；/>表示稀疏自注意力单元的函数，用于抑制冗余特征对图像重建的干扰。
7.根据权利要求6所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，稀疏自注意力单元的处理过程具体为：
首先，将给定输入特征图X2分割为N个尺寸为S×S的非重叠窗口；利用三个全连接层和重排列，将/>转换为查询/>、键/>、值/>；
然后，执行基于Top-K的自注意力计算，表示如下：
；
其中，T表示转置操作，表示Softmax函数，/>表示关联矩阵；表示Top-K特征筛选操作，保留/>每列中数值最大的前K项，其余项均置为概率0；表示中间计算结果，/>表示重排列操作，其将/>的数据格式由/>转换为/>，/>表示输出的转换结果。
8.根据权利要求2所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，所述长距离跨维度Transformer模块由层标准化单元、跨维度自注意力单元和多层感知单位组成，表示如下：
；
其中，X3和Y3表示长距离跨维度Transformer模块的输入和输出，表示中间计算结果；/>表示层标准化层的函数；/>表示跨维度自注意力单元的函数，用于提取混合特征；/>为多层感知单元的函数，多层感知单元由全连接层-GELU激活函数单元-全连接层构成。
9.根据权利要求8所述的基于全距离特征聚合的单帧图像超分辨率方法，其特征在于，所述跨维度自注意力单元的执行过程具体为：
首先，以步长为2的方式对给定输入特征图执行稀疏采样，得到4幅尺寸为的非重叠网络/>；
其次，通过三个全连接层和重排列，生成查询/>、键/>、值；
再次，压缩K和V的通道维度至，并步长为2的方式对K和V执行空间-通道信息迁移操作，以将2×2非重叠局部区域内的标志的信息由空间维度转移至通道维度，从而获得和/>；
最后，执行自注意力计算如下：
；
其中，表示中间计算结果，/>表示重排列操作，将/>的数据格式转换为/>，/>为对应的转换结果。
10.一种基于全距离特征聚合的单帧图像超分辨率系统，用于实现权利要求1至9任一所述的方法，其特征在于，包括：
上采样模块，利用通道上采样卷积层，将输入的低分辨率图像转换为通道数为C的浅层特征图；
若干全距离特征聚合组，用于对浅层特征图进行短距离、中距离和长距离的特征提取，并聚合成为全距离特征图；
下采样模块，用于将全距离特征图转换为高分辨率图像，其中，亚像素卷积层确定图像放大倍数，通道下采样卷积层将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476526.2A CN117218005B (zh) | 2023-11-08 | 2023-11-08 | 基于全距离特征聚合的单帧图像超分辨率方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476526.2A CN117218005B (zh) | 2023-11-08 | 2023-11-08 | 基于全距离特征聚合的单帧图像超分辨率方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218005A true CN117218005A (zh) | 2023-12-12 |
| CN117218005B CN117218005B (zh) | 2024-03-01 |
Family
ID=89046605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311476526.2A Active CN117218005B (zh) | 2023-11-08 | 2023-11-08 | 基于全距离特征聚合的单帧图像超分辨率方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218005B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080068456A1 (en) * | 2006-09-14 | 2008-03-20 | Olympus Imaging Corp. | Camera |
| US20220003876A1 (en) * | 2019-03-26 | 2022-01-06 | Panasonic Intellectual Property Management Co., Ltd. | Distance image obtaining method and distance detection device |
| CN115018708A (zh) * | 2022-06-21 | 2022-09-06 | 南京航空航天大学 | 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 |
| CN115953294A (zh) * | 2022-11-22 | 2023-04-11 | 湘潭大学 | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 |
| CN116681592A (zh) * | 2023-06-13 | 2023-09-01 | 杭州电子科技大学 | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 |
-
2023
- 2023-11-08 CN CN202311476526.2A patent/CN117218005B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080068456A1 (en) * | 2006-09-14 | 2008-03-20 | Olympus Imaging Corp. | Camera |
| US20220003876A1 (en) * | 2019-03-26 | 2022-01-06 | Panasonic Intellectual Property Management Co., Ltd. | Distance image obtaining method and distance detection device |
| CN115018708A (zh) * | 2022-06-21 | 2022-09-06 | 南京航空航天大学 | 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 |
| CN115953294A (zh) * | 2022-11-22 | 2023-04-11 | 湘潭大学 | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 |
| CN116681592A (zh) * | 2023-06-13 | 2023-09-01 | 杭州电子科技大学 | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| WENLONG CHEN: "Multi-scale feature aggregation network for Image super-resolution", SPRINGLINK * |
| 陈剑涛;黄德天 等: "改进的二阶龙格-库塔超分辨率算法", 华侨大学学报(自然科学版) * |
| 陶状;廖晓东;沈江红;: "双路径反馈网络的图像超分辨重建算法", 计算机系统应用, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218005B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| CN112767251B (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
| CN109544448B (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN109685716B (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| Hayat | Super-resolution via deep learning | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| Xie et al. | Deep coordinate attention network for single image super‐resolution | |
| CN102722865A (zh) | 一种超分辨率稀疏重建方法 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| Yanshan et al. | OGSRN: Optical-guided super-resolution network for SAR image | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| Yang et al. | Variation learning guided convolutional network for image interpolation | |
| CN117173025B (zh) | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 | |
| CN104463822A (zh) | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN117218005B (zh) | 基于全距离特征聚合的单帧图像超分辨率方法及系统 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN116452930A (zh) | 降质环境下基于频域增强的多光谱图像融合方法与系统 | |
| Zhang et al. | Image super-resolution via RL-CSC: when residual learning meets convolutional sparse coding | |
| Yang et al. | Hyperspectral image super-resolution based on multi-scale wavelet 3D convolutional neural network | |
| CN117291855B (zh) | 高分辨率图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |