CN113096017B - 基于深度坐标注意力网络模型的图像超分辨率重建方法 - Google Patents

基于深度坐标注意力网络模型的图像超分辨率重建方法 Download PDF

Info

Publication number
CN113096017B
CN113096017B CN202110399796.2A CN202110399796A CN113096017B CN 113096017 B CN113096017 B CN 113096017B CN 202110399796 A CN202110399796 A CN 202110399796A CN 113096017 B CN113096017 B CN 113096017B
Authority
CN
China
Prior art keywords
image
resolution
resolution image
feature extraction
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399796.2A
Other languages
English (en)
Other versions
CN113096017A (zh
Inventor
谢超
朱泓宇
鄢小安
费叶琦
刘�英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202110399796.2A priority Critical patent/CN113096017B/zh
Publication of CN113096017A publication Critical patent/CN113096017A/zh
Application granted granted Critical
Publication of CN113096017B publication Critical patent/CN113096017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度坐标注意力网络模型的图像超分辨率重建方法，涉及图像的增强或复原，包括：对已有的样本图像进行变换操作，并进行降采样，得到对应的高分辨率图像与低分辨率图像的训练集；初始化基于深度坐标注意力机制的卷积神经网络，该网络将低分辨率图像作为输入，并输出高分辨率图像；在训练集上采用梯度下降法和反向传播算法，对构建的卷积神经网络进行迭代训练，得到参数优化后的卷积神经网络；利用训练好的卷积神经网络对输入的低分辨率图像进行超分辨率重建，得到高分辨率图像的最终输出。本发明相对于现有方法，充分利用低分辨率图像与特征图像所包含的信息，对低分辨率图像进行超分辨率重建，拥有更好的超分辨率重建质量。

Description

基于深度坐标注意力网络模型的图像超分辨率重建方法
技术领域
本发明属于图像处理的技术领域，具体涉及一种基于深度坐标注意力网络模型的单幅图像超分辨率重建方法。
背景技术
图像超分辨率，是将低分辨率图像通过计算机算法，转换成为高分辨率图像的技术。随着数字成像技术在卫星遥感、公共安全等领域的运用越来越广泛，人们越来越需要获得高质量的图像。然而，在实际情况下，由于成像系统的物理分辨率低、拍摄环境对成像具有干扰等原因，人们往往得到画面模糊、分辨率低的低质量的图像，给后续的图像处理、分析造成一些困难。图像超分辨率重建技术能够在不更换更好的成像设备的前提下，仅使用数字信号处理方法即可提升图像的分辨率，在成本和易用性上具有很大的优势。
图像超分辨率重建技术由Harris在上世纪60年代首次提出，传统超分辨率方法多为基于插值的方法、基于重建的方法和基于学习的方法等。其中，基于插值的方法具有最少的计算复杂度，被广泛运用于对图像质量要求较低的场合；基于重建的方法通常由建模部分和重建部分组成，其中迭代反投影法、最大后验概率估计法等方法较为著名。Dong于2014年最早提出基于深度学习的超分辨率重建方法，此方法相较于之前基于其他技术的方法，具有较大的提升，之后不断有学者对其进行改进优化。
然而，现有的图像超分辨率方法并没有对其中的特征图信息进行充分的挖掘利用，一定程度上降低了学习的效率，影响了重建的效果。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于深度坐标注意力网络模型的图像超分辨率重建方法，本基于深度坐标注意力网络模型的图像超分辨率重建方法充分利用低分辨率图像与特征图像所包含的信息，对低分辨率图像进行超分辨率重建，提升了图像的分辨率，进而增强图像的显示效果。
为实现上述技术目的，本发明采取的技术方案为：
一种基于深度坐标注意力网络模型的图像超分辨率重建方法，包括以下步骤：
(1)、构建训练集：
对训练样本图像集中已有的样本图像进行变换操作进而增加训练样本的容量与多样性，并对这些样本图像进行降采样从而缩小图像尺寸，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构建训练集
Figure BDA0003019988770000021
其中N代表训练集容量；
(2)、初始化基于深度坐标注意力机制的卷积神经网络，具体包括：
(2.1)、采用浅层特征提取模块对网络输入的原始低分辨率图像Y进行浅层特征提取，假设所述浅层特征提取模块表示为HS，输入为低分辨率图像Y，输出为初始特征图像F0，则所述浅层特征提取模块的处理过程为：
F0＝HS(Y)；
所述浅层特征提取模块用于对输入的低分辨率图像Y进行卷积运算，产生新的初始特征图像F0；
(2.2)、采用残差深层特征提取模块对浅层特征提取模块输出的初始特征图像F0进行深层特征提取，假设所述残差深层特征提取模块表示为HL，输入为初始特征图像F0，输出为深层特征图像F1，则所述残差深层特征提取模块的处理过程为：
F1＝HL(F0)+F0；
所述残差深层特征提取模块包括多个大型残差块和卷积层，每个大型残差块均包括多个小型残差块和卷积层，每个小型残差块依次包括卷积层、ReLU激活函数层、卷积层和坐标注意力机制模块；
(2.3)、采用上采样重建模块对残差深层特征提取模块输出的深层特征图像F1进行上采样重建，生成高分辨率图像并输出，假设所述上采样重建模块表示为HU，输入为深层特征图像F1，输出为高分辨率图像XSR，则所述上采样重建模块的处理过程为：
XSR＝HU(F1)；
(3)、训练基于深度坐标注意力机制的卷积神经网络：
利用步骤(1)中的训练集
Figure BDA0003019988770000022
对步骤(2)中初始化后的基于深度坐标注意力机制的卷积神经网络进行训练，所述卷积神经网络的损失函数L为：
Figure BDA0003019988770000023
其中XSRi为预测的高分辨率图像，Xi为真实的高分辨率图像，Num为批处理样本的大小，M为输出的超分辨率后的图像的像素点总数；
随后，利用梯度下降法与误差的反向传播来优化调整权重，最终，得到训练优化后的卷积神经网络；
(4)、利用训练好的卷积神经网络重建低分辨率图像：
首先，读入一副低分辨率图像，将该低分辨率图像输入步骤(3)训练好的卷积神经网络中，预测输出高分辨率图像。
作为本发明进一步改进的技术方案，假设所述的坐标注意力机制模块的输入为特征图像FI，输出为特征图像FO，则所述的坐标注意力机制模块的处理过程具体包括：
(a)、将FI进行X方向的平均池化运算，得到FX；将FI进行Y方向的平均池化运算，得到FY；
(b)、将FX和FY进行连接，然后进行卷积运算，将维度缩小为原来16倍，得到FXY；
(c)、将步骤(b)的结果依次进行批规范化和非线性激活运算，再进行分离，得到FX'和FY'；
(d)、将FX'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FX”；将FY'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FY”；
(e)、将FI中每一个像素的值乘以像素所在坐标(x、y)在方向权重FX”和FY”中所对应的权重值，得到输出FO。
作为本发明进一步改进的技术方案，所述残差深层特征提取模块包括10个大型残差块和1个卷积层，每个大型残差块均包括20个小型残差块和1个卷积层。
作为本发明进一步改进的技术方案，在所述步骤(3)中，梯度下降法的优化器采用Adam；与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；采用可变学习率的学习策略，初始学习率设为0.0001，每200个训练阶段学习率衰减为之前的50％。
本发明的有益效果为：
(1)本发明采用基于深度坐标注意力网络模型的单幅图像超分辨率重建方法，对低分辨率图像进行超分辨率重建，可以在大幅提升分辨率的同时，保障图像的清晰程度，增加图像的纹理与细节；
(2)本发明采用基于深度坐标注意力网络模型的单幅图像超分辨率重建方法，可以充分利用特征图在X、Y方向上的位置信息，对特征图各个通道进行加权，增加训练的有效性，使从输入的低分辨率图像生成的图像更加接近高分辨率的原始图像；
(3)本发明采用大规模的残差连接，降低训练的难度，使其更有利于神经网络的收敛，充分利用低分辨率图像与低分辨率特征图像所包含的信息。
附图说明
图1为基于深度坐标注意力网络模型的单幅图像超分辨率重建方法整体设计流程图。
图2是大型残差块结构图。
图3为小型残差块结构图。
图4为坐标注意力机制模块结构图。
具体实施方式
下面结合说明书附图和实施例，清楚、完整地描述本发明方法的详细过程。
一种基于深度坐标注意力网络模型的图像超分辨率重建方法，包括以下步骤：
步骤(1)、构建训练集：
首先对训练图像集中已有的样本图像进行旋转、翻转等变换操作，来增加训练样本的容量与多样性。再对这些样本图像进行双三次降采样缩小图像尺寸，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构建训练集
Figure BDA0003019988770000041
其中N代表训练集容量。
步骤(2)、初始化基于深度坐标注意力机制的卷积神经网络，如图1所示，本实施例设计的深度坐标注意力网络模型包括以下三个主要的模块：(1)浅层特征提取模块；(2)基于坐标注意力的残差深层特征提取模块；(3)上采样重建模块。下面分别对以上模块进行详细说明。
步骤(2.1)、浅层特征提取模块：该模块主要用于对网络输入的原始低分辨率图像Y进行浅层特征提取，假设所述浅层特征提取模块表示为HS，输入为低分辨率图像Y，输出为初始特征图像F0，则所述浅层特征提取模块的处理过程可由如下表示：
F0＝HS(Y)。
所述浅层特征提取模块用于对输入的低分辨率图像Y进行卷积运算，产生新的初始特征图像F0。
步骤(2.2)、基于坐标注意力的残差深层特征提取模块：该模块的任务是将对浅层特征提取模块输出的初始特征图像F0进行深层特征提取，假设所述残差深层特征提取模块表示为HL，输入为初始特征图像F0，输出为深层特征图像F1，则所述残差深层特征提取模块的处理过程可由如下表示：
F1＝HL(F0)+F0。
如图1所示，所述残差深层特征提取模块(可简称深层特征提取模块)包含10个大型残差块(即图1中的大型残差块1至大型残差块10)和1个卷积层，如图2所示，每个大型残差块均包括20个小型残差块(即图2中的小型残差块1至小型残差块20)和1个卷积层，如图3所示，每个小型残差块依次包括1个卷积层、1个ReLU激活函数层、1个卷积层和坐标注意力机制模块。
假设大型残差块表示为S1，大型残差块的输入为特征图像F11，输出为特征图像F12，则所述大型残差块的处理过程可由如下表示：F12＝S1(F11)+F11；假设小型残差块表示为S2，小型残差块的输入为特征图像F13，输出为特征图像F14，则小型残差块的处理过程可由如下表示：F14＝S2(F13)+F13。
假设所述的坐标注意力机制模块的输入为特征图像FI，输出为特征图像FO，则所述的坐标注意力机制模块的处理过程如图4所示，具体为：
步骤(2.2.1)、将FI进行X方向的平均池化运算，得到FX；将FI进行Y方向的平均池化运算，得到FY；
步骤(2.2.2)、将FX和FY进行连接，然后进行卷积运算，将维度缩小为原来16倍，得到FXY；
步骤(2.2.3)、将步骤(2.2.2)的结果依次进行批规范化和非线性激活运算，再进行分离(分离为步骤(2.2.2)中连接的反向操作，按照之前连接前的FX和FY的比例，进行分离)，得到FX'和FY'；
步骤(2.2.4)、将FX'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FX”；将FY'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FY”；
步骤(2.2.5)、将FI中每一个像素的值乘以像素所在坐标(x、y)在方向权重FX”和FY”中所对应的权重值，得到输出FO。
步骤(2.3)、上采样重建模块：该模块的任务是对残差深层特征提取模块输出的深层特征图像F1进行上采样重建，生成高分辨率图像并输出，假设所述上采样重建模块表示为HU，输入为深层特征图像F1，输出为高分辨率图像XSR，则所述上采样重建模块的处理过程可由如下表示：
XSR＝HU(F1)。
上采样重建模块包括Pixel-Shuffle层和卷积层。
步骤(3)、训练基于深度坐标注意力机制的卷积神经网络：
利用步骤(1)中的训练集
Figure BDA0003019988770000061
对步骤(2)中初始化后的基于深度坐标注意力机制的卷积神经网络进行训练，本发明采用L1损失函数作为神经网络的损失函数：
Figure BDA0003019988770000062
其中XSRi为预测的高分辨率图像，Xi为真实的高分辨率图像，Num为批处理样本的大小，M为输出的超分辨率后的图像的像素点总数；
随后，利用梯度下降法与误差的反向传播来优化调整权重，达到最小化损失函数的目的。最终，得到训练优化后的卷积神经网络，即为深度坐标注意力网络模型。
步骤(4)、利用训练好的卷积神经网络重建低分辨率图像：
首先，读入一副低分辨率图像，将该低分辨率图像输入步骤(3)训练好的卷积神经网络中，预测输出高分辨率图像。
在所述步骤(3)中，梯度下降法的优化器采用Adam；与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；同时，采用可变学习率的学习策略，初始学习率设为0.0001，每200个训练阶段学习率衰减为之前的50％。最终，得到训练优化后的网络。
本实施例中的神经网络、深度学习、梯度下降法、Adam优化器均为本领域的专用术语，为现有技术且不是本发明的主要改进点，故不再赘述。
本实施例通过搭建基于深度坐标注意力网络模型的单幅图像超分辨率重建神经网络，实现了图像超分辨，使得生成的图像在分辨率、尺寸增加的同时，保持了基本的纹理、形状等细节要素。本实施例采用基于深度坐标注意力网络模型的图像超分辨重建方法，可以充分利用特征图在X、Y方向上的位置信息，对特征图各个通道进行加权，增加训练的有效性，使从输入的低分辨率图像生成的图像更加接近高分辨率的原始图像。本实施例采用大规模的残差连接，降低训练的难度，使其更有利于神经网络的收敛，充分利用低分辨率图像与低分辨率特征图所包含的信息。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (3)

1.一种基于深度坐标注意力网络模型的图像超分辨率重建方法，其特征在于：包括以下步骤：
(1)、构建训练集：
对训练样本图像集中已有的样本图像进行变换操作进而增加训练样本的容量与多样性，并对这些样本图像进行降采样从而缩小图像尺寸，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构建训练集
Figure FDA0003285708430000011
其中N代表训练集容量；
(2)、初始化基于深度坐标注意力机制的卷积神经网络，具体包括：
(2.1)、采用浅层特征提取模块对网络输入的原始低分辨率图像Y进行浅层特征提取，假设所述浅层特征提取模块表示为HS，输入为低分辨率图像Y，输出为初始特征图像F0，则所述浅层特征提取模块的处理过程为：
F0＝HS(Y)；
所述浅层特征提取模块用于对输入的低分辨率图像Y进行卷积运算，产生新的初始特征图像F0；
(2.2)、采用残差深层特征提取模块对浅层特征提取模块输出的初始特征图像F0进行深层特征提取，假设所述残差深层特征提取模块表示为HL，输入为初始特征图像F0，输出为深层特征图像F1，则所述残差深层特征提取模块的处理过程为：
F1＝HL(F0)+F0；
所述残差深层特征提取模块包括多个大型残差块和卷积层，每个大型残差块均包括多个小型残差块和卷积层，每个小型残差块依次包括卷积层、ReLU激活函数层、卷积层和坐标注意力机制模块；
(2.3)、采用上采样重建模块对残差深层特征提取模块输出的深层特征图像F1进行上采样重建，生成高分辨率图像并输出，假设所述上采样重建模块表示为HU，输入为深层特征图像F1，输出为高分辨率图像XSR，则所述上采样重建模块的处理过程为：
XSR＝HU(F1)；
(3)、训练基于深度坐标注意力机制的卷积神经网络：
利用步骤(1)中的训练集
Figure FDA0003285708430000021
对步骤(2)中初始化后的基于深度坐标注意力机制的卷积神经网络进行训练，所述卷积神经网络的损失函数L为：
Figure FDA0003285708430000022
其中XSRi为预测的高分辨率图像，Xi为真实的高分辨率图像，Num为批处理样本的大小，M为输出的超分辨率后的图像的像素点总数；
随后，利用梯度下降法与误差的反向传播来优化调整权重，最终，得到训练优化后的卷积神经网络；
(4)、利用训练好的卷积神经网络重建低分辨率图像：
首先，读入一副低分辨率图像，将该低分辨率图像输入步骤(3)训练好的卷积神经网络中，预测输出高分辨率图像；
假设所述的坐标注意力机制模块的输入为特征图像FI，输出为特征图像FO，则所述的坐标注意力机制模块的处理过程具体包括：
(a)、将FI进行X方向的平均池化运算，得到FX；将FI进行Y方向的平均池化运算，得到FY；
(b)、将FX和FY进行连接，然后进行卷积运算，将维度缩小为原来16倍，得到FXY；
(c)、将步骤(b)的结果依次进行批规范化和非线性激活运算，再进行分离，得到FX'和FY'；
(d)、将FX'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FX”；将FY'进行二维卷积运算，将维度扩大16倍，并进行Sigmoid激活运算，得到X方向的权重FY”；
(e)、将FI中每一个像素的值乘以像素所在坐标(x、y)在方向权重FX”和FY”中所对应的权重值，得到输出FO。
2.根据权利要求1所述的基于深度坐标注意力网络模型的图像超分辨率重建方法，其特征在于：所述残差深层特征提取模块包括10个大型残差块和1个卷积层，每个大型残差块均包括20个小型残差块和1个卷积层。
3.根据权利要求1所述的基于深度坐标注意力网络模型的图像超分辨率重建方法，其特征在于：在所述步骤(3)中，梯度下降法的优化器采用Adam；与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；采用可变学习率的学习策略，初始学习率设为0.0001，每200个训练阶段学习率衰减为之前的50％。
CN202110399796.2A 2021-04-14 2021-04-14 基于深度坐标注意力网络模型的图像超分辨率重建方法 Active CN113096017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399796.2A CN113096017B (zh) 2021-04-14 2021-04-14 基于深度坐标注意力网络模型的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399796.2A CN113096017B (zh) 2021-04-14 2021-04-14 基于深度坐标注意力网络模型的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN113096017A CN113096017A (zh) 2021-07-09
CN113096017B true CN113096017B (zh) 2022-01-25

Family

ID=76677660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399796.2A Active CN113096017B (zh) 2021-04-14 2021-04-14 基于深度坐标注意力网络模型的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113096017B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506222B (zh) * 2021-07-30 2024-03-01 合肥工业大学 一种基于卷积神经网络的多模态图像超分辨方法
CN113781298B (zh) * 2021-08-05 2023-09-15 中国科学院生物物理研究所 超分辨率图像的处理方法及装置、电子设备、存储介质
CN113807395A (zh) * 2021-08-10 2021-12-17 深延科技(北京)有限公司 模型训练方法、超分辨率感知方法及相关装置
CN114022355B (zh) * 2021-09-26 2024-02-20 陕西师范大学 基于递归注意力机制的图像超分辨率方法
CN113807315B (zh) * 2021-10-08 2024-06-04 文思海辉智科科技有限公司 一种构建待识别对象识别模型的方法、装置、设备及介质
CN114418853B (zh) * 2022-01-21 2022-09-20 杭州碧游信息技术有限公司 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN114708163A (zh) * 2022-04-01 2022-07-05 桂林电子科技大学 一种基于线性注意力机制的低照度图像增强模型
CN115147279B (zh) * 2022-07-05 2023-04-07 南京林业大学 基于选择性通道处理机制的轻量级遥感图像超分辨率方法
CN114972041B (zh) * 2022-07-28 2022-10-21 中国人民解放军国防科技大学 基于残差网络的极化雷达图像超分辨率重建方法和装置
CN117313818A (zh) * 2023-09-28 2023-12-29 四川大学 对轻量级卷积神经网络训练的方法及终端设备
CN117132472B (zh) * 2023-10-08 2024-05-31 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
CN106846253A (zh) * 2017-02-14 2017-06-13 深圳市唯特视科技有限公司 一种基于反向传播神经网络的图像超分辨率重建方法
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111369433A (zh) * 2019-11-12 2020-07-03 天津大学 基于可分离卷积和注意力的三维图像超分辨率重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法
CN111476717B (zh) * 2020-04-07 2023-03-24 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
CN106846253A (zh) * 2017-02-14 2017-06-13 深圳市唯特视科技有限公司 一种基于反向传播神经网络的图像超分辨率重建方法
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111369433A (zh) * 2019-11-12 2020-07-03 天津大学 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN113096017A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111899168B (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN111402128A (zh) 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112364838B (zh) 一种利用合成的联机文本图像改进手写ocr性能的方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN116188509A (zh) 一种高效率三维图像分割方法
CN117173024A (zh) 一种基于整体注意力的矿井图像超分辨率重建系统及方法
CN115936992A (zh) 一种轻量级Transformer的垃圾图像超分辨方法及系统
CN117095277A (zh) 一种边缘引导的多注意力rgbd水下显著目标检测方法
CN116152374A (zh) 一种汉字字体生成方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN116385265B (zh) 一种图像超分辨率网络的训练方法及装置
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN116823610A (zh) 一种基于深度学习的水下图像超分辨率生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant