CN112419152A - 一种图像超分辨率方法、装置、终端设备和存储介质 - Google Patents
一种图像超分辨率方法、装置、终端设备和存储介质 Download PDFInfo
- Publication number
- CN112419152A CN112419152A CN202011319016.0A CN202011319016A CN112419152A CN 112419152 A CN112419152 A CN 112419152A CN 202011319016 A CN202011319016 A CN 202011319016A CN 112419152 A CN112419152 A CN 112419152A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- super
- resolution
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims description 36
- 230000007246 mechanism Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 12
- 238000005070 sampling Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理技术领域，提出一种图像超分辨率方法、装置、终端设备及计算机存储介质。本申请先从待处理图像中提取图像特征，然后将图像特征输入纹理特征提取模块以提取图像的纹理特征，接着采用多个卷积层对纹理特征进行处理得到图像的结构特征，再把图像的纹理特征和结构特征相融合，最后恢复到上采样图像中，从而获得相应的超分辨率图像。与传统的图像超分辨率方法相比，本申请通过融合图像的纹理特征和结构特征，能够获得更丰富的图像细节，从而提高图像超分辨率的效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像超分辨率方法、装置、终端设备和存储介质。
背景技术
图像的超分辨率是指通过硬件或软件的方法提高原有图像的分辨率，以获得更多的图像细节。传统的图像超分辨率方法主要采用图像插值或者重构的方法，该方法运算速度较快，然而由于不具备参数学习的机制，不具备自适应性，重建的图像效果往往带有锯齿，伪影等不良效果。
发明内容
有鉴于此，本申请实施例提供了一种图像超分辨率方法、装置、终端设备和存储介质，能够提高图像超分辨率的效果。
本申请实施例的第一方面提供了一种图像超分辨率方法，包括：
获取待处理图像；
提取所述待处理图像的初始图像特征；
将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
将所述纹理特征和所述结构特征融合，得到目标图像特征；
根据所述目标图像特征构建第一超分辨率图像；
将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，所述第二超分辨率图像为所述待处理图像经过插值处理后获得的图像。
本申请先从待处理图像中提取图像特征，然后将图像特征输入纹理特征提取模块以提取图像的纹理特征，接着采用多个卷积层对纹理特征进行处理得到图像的结构特征，再把图像的纹理特征和结构特征相融合，最后恢复到上采样图像中，从而获得相应的超分辨率图像。与传统的图像超分辨率方法相比，本申请通过融合图像的纹理特征和结构特征，能够获得更丰富的图像细节，从而提高图像超分辨率的效果。
在本申请的一个实施例中，提取所述待处理图像的初始图像特征，可以包括：
将所述待处理图像输入1*1卷积核的卷积层，得到第一图像特征；
采用预设的激活函数对所述第一图像特征进行处理，得到第二图像特征；
采用预设尺寸卷积核的分组卷积层对所述第二图像特征进行处理，得到第三图像特征；
采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征；
将所述第一图像特征和所述第四图像特征叠加，得到所述待处理图像的初始图像特征。
将低分辨率图像作为输入，经过卷积核大小为1*1的卷积层，能够得到维度更高的图像特征；然后，采用预设的激活函数对该图像特征进行处理，激活函数是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端；接着，将经激活函数处理后得到的多维图像特征，再输入预设尺寸卷积核的一个分组卷积层，进行多维图像特征的分组卷积处理；然后，将卷积处理后的图像特征输入1*1卷积核的分组卷积层，以将图像特征的维度继续提升；最后，采用获取残差图像进行特征叠加的方式，得到最终提取到的图像特征。
进一步的，采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征，可以包括：
将所述第二图像特征和所述第三图像特征叠加，得到第五图像特征；
采用1*1卷积核的分组卷积层对所述第五图像特征进行处理，得到所述第四图像特征。
这是在分组卷积层前后添加越层连接的方式，也即越过多个卷积层，对跨层的特征进行叠加或堆叠的操作方式。采用添加越层连接的方式，能够弥补分组卷积中为了降低计算量而损失的全局信息，通过简单的加和操作能够以增加极少计算量的代价，得到更加丰富的图像特征。
在本申请的一个实施例中，将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征，可以包括：
将所述初始图像特征分别输入多个预先构建的纹理特征提取模块，并将每个所述纹理特征提取模块输出的纹理特征叠加，得到第一纹理特征，其中，各个所述纹理特征提取模块分别由不同感受野大小的卷积神经网络构成；
采用注意力机制模块对所述第一纹理特征进行处理，得到所述待处理图像的纹理特征。
与结构特征相比，纹理特征具有更丰富的信息，并且需要具有更好非线性能力的学习单元进行学习。因此，本申请根据卷积网络的不同感受野大小设计了多尺度的纹理特征提取模块。
在本申请的一个实施例中，将所述纹理特征和所述结构特征融合，得到目标图像特征，可以包括：
将所述纹理特征和所述初始图像特征进行堆叠，并将堆叠得到的特征和所述结构特征相加，得到所述目标图像特征。
将纹理特征和初始图像特征(即纹理特征提取模块处理之前的特征)通过残差连接方式进行堆叠，以弥补提取纹理特征时损失的全局信息。然后，将堆叠后的特征和该结构特征相加，从而完成特征的融合操作，得到目标图像特征。
进一步的，在得到所述目标图像特征之后，还可以包括：
将所述目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。
为了进一步增强构建超分辨率图像的图像特征，还可以将该目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。
在本申请的一个实施例中，根据所述目标图像特征构建第一超分辨率图像，可以包括：
对所述目标图像特征进行降维处理；
采用子像素卷积的方式对降维处理后的所述目标图像特征进行反卷积处理，得到所述第一超分辨率图像。
在获得目标图像特征后，首先可以对该目标图像特征进行降维处理，具体可以使用1*1卷积核的卷积层进行降维，降维后所需的维度可以根据超分辨率的倍数要求进行调整，具体为3*倍数的平方。在对目标图像特征降维后，可以采用子像素卷积的方式对降维后的图像特征进行反卷积处理，以重构出超分辨率图像。
本申请实施例的第二方面提供了一种图像超分辨率装置，包括：
图像获取模块，用于获取待处理图像；
图像特征提取模块，用于提取所述待处理图像的初始图像特征；
纹理特征提取模块，用于将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
结构特征提取模块，用于采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
特征融合模块，用于将所述纹理特征和所述结构特征融合，得到目标图像特征；
超分辨率图像构建模块，用于根据所述目标图像特征构建第一超分辨率图像；
超分辨率图像叠加模块，用于将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，所述第二超分辨率图像为所述待处理图像经过插值处理后获得的图像。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的图像超分辨率方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的图像超分辨率方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行本申请实施例的第一方面所述的图像超分辨率方法的步骤。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像超分辨率方法所采用的网络结构示意图；
图2是本申请实施例提供的一种图像超分辨率方法的一个实施例的流程图；
图3是图1中包含的特征提取模块的结构示意图；
图4是本申请实施例提供的一种纹理特征提取模块的结构示意图；
图5是本申请采用的LSEblock注意力机制模块的结构示意图；
图6是图1中包含的超分辨率模块的结构示意图；
图7是本申请实施例提供的一种图像超分辨率装置的一个实施例的结构图；
图8是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
超分辨率图像重建问题与图形学、计算机视觉、信号处理等领域密切相关。涉及的相关技术领域包括图像增强、图像配准、特征提取、深度学习等。传统的图像超分辨率方法主要采用图像插值或者重构的方法，运算速度较快，然而由于不具备参数学习的机制，不具备自适应性，导致获得的超分辨率图像的效果不佳。
随着图像超分辨率技术的发展，人们逐渐使用卷积神经网络来超分辨率重建图像，由于卷积神经网络的非线性特征的表示和学习能力特别强，所以在性能上大大超过传统算法。然而，目前采用的方法往往是基于卷积神经网络块和激活层、正则化层的不断堆叠，形成深度神经网络来学习图像对之间的特征，但是由于网络不断加深，网络的训练难度越来越大，网络推理所需的算力也越来越多。在训练网络时，往往是通过批量梯度下降的方法来最小化损失函数来达到所需的效果，这在较浅层的网络上是可行的，但是在一些较深的网络，如超过二十层的卷积神经网络上，梯度的下降变得非常缓慢。而且对于深层网络，训练的参数量是以数十亿计的，需要非常大的存储空间。基于深度残差神经网络结构的超分辨率方法由于网络过深，需要较大的算力，在个人电脑和移动设备上的运行速度非常缓慢，甚至无法运行。
针对上述问题，本申请实施例提供了一种图像超分辨率方法、装置、终端设备和存储介质，与传统的图像超分辨率方法相比能够提高图像超分辨率的效果，而且该方法也能够在算力受限的设备上正常运行。
应当理解，本申请各个方法实施例的执行主体可以为各种类型的终端设备或服务器，比如手机、平板电脑、笔记本电脑、台式电脑和可穿戴设备等。
图1是本申请实时例提出的图像超分辨率方法所采用的网络结构示意图，在图1中，包括特征提取模块、超分辨率模块、融合与重建模块三个功能模块。首先，将待处理的低分辨率图像输入特征提取模块，通过特征提取模块提取图像特征；然后，将提取到的图像特征输入超分辨率模块，通过多个多尺度的卷积模块对图像特征进行学习，获得图像的纹理特征和结构特征；而且，本申请还可以利用注意力机制建立特征通道间的依赖关系，增强特征的表达能力，期间学习的特征经过多次越层连接和堆叠、相加操作之后，再通过注意力机制增强特征，之后经过融合与重建模块，通过点卷积、降维和反卷积等操作融合纹理特征和结构特征，最后将融合的特征与采用双线性插值等方式上采样得到的模糊超分辨率图像叠加，得到重建的超分辨率图像。关于上述三个功能模块的具体结构以及工作原理，可以参阅下文所述的方法实施例。
请参阅图2，示出了本申请实施例提出的一种图像超分辨率方法，包括：
201、获取待处理图像；
首先，获取待处理图像。待处理图像是待提升分辨率的低分辨率图像，该图像的类型和尺寸在不申请中不做限定。
202、提取所述待处理图像的初始图像特征；
在获取待处理图像之后，提取该待处理图像的初始图像特征。对应于图1所示的网络结构示意图，即采用特征提取模块提取低分辨率图像的图像特征。在提取图像特征时，一般可以采用卷积神经网络，所述提取所述待处理图像的初始图像特征，可以包括：
(1)将所述待处理图像输入1*1卷积核的卷积层，得到第一图像特征；
(2)采用预设的激活函数对所述第一图像特征进行处理，得到第二图像特征；
(3)采用预设尺寸卷积核的分组卷积层对所述第二图像特征进行处理，得到第三图像特征；
(4)采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征；
(5)将所述第一图像特征和所述第四图像特征叠加，得到所述待处理图像的初始图像特征。
对于上述步骤(1)，将低分辨率图像作为输入，经过卷积核大小为1*1的卷积层，能够得到维度更高的图像特征。1*1的卷积层是在通道层面的卷积，能够提升或者降低图像特征的维度，同时增强特征的表达能力。在这里，采用1*1卷积层只对像素点进行卷积，只提升特征的通道数而不影响特征的局部信息，即能够提升图像特征的维度。例如，待处理图像为RGB色彩通道的3维图像，则可以采用1*1卷积核将图像维度升高为32维。
对于上述步骤(2)，采用预设的激活函数对该第一图像特征进行处理，得到第二图像特征。激活函数是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。在这里，可以采用各种常用的激活函数，比如Sigmoid函数、ReLU函数、LeakyReLU函数等。
优选的，本申请采用LeakyReLU函数来对升维的图像特征进行处理，该函数的表达式为：
该激活函数是一个非线性函数，为了使网络学习到复杂的映射关系而不是简单的线性映射，因此需要使用非线性函数做转换。
对于上述步骤(3)，将经激活函数处理后得到的多维图像特征，再输入预设尺寸卷积核的一个分组卷积层，进行多维图像特征的分组卷积处理。例如，可以采用卷积核大小为3*3的分组卷积层，对输入特征进行分组，然后每组分别卷积。假设分组卷积层的分组数量为G组，则将多维图像特征分为G组，每组用3*3的卷积核进行卷积处理。采用分组卷积层能够极大地减少计算量，和普通卷积相比，采用G组卷积层可以将计算量降低为1/G。
进一步的，在上述步骤(3)中，采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征，可以包括：
(3.1)将所述第二图像特征和所述第三图像特征叠加，得到第五图像特征；
(3.2)采用1*1卷积核的分组卷积层对所述第五图像特征进行处理，得到所述第四图像特征。
这是在分组卷积层前后添加越层连接的方式，也即越过多个卷积层，对跨层的特征进行叠加或堆叠的操作方式。采用添加越层连接的方式，能够弥补分组卷积中为了降低计算量而损失的全局信息，通过简单的加和操作能够以增加极少计算量的代价，得到更加丰富的图像特征。
对于上述步骤(4)，将卷积处理后的图像特征输入1*1卷积核的分组卷积层，以将图像特征的维度继续提升。例如，若在步骤(1)中将图像特征的维度提升为32维，则在步骤(4)中继续将32维的图像特征提升至64维。
(5)将所述第一图像特征和所述第四图像特征叠加，得到所述待处理图像的初始图像特征。
这是获取残差图像进行特征叠加的方式，例如，可以直接采用1*1卷积层将输入图像的维度提升至64维，然后和步骤(4)中获得的64维的图像特征叠加，再通过一次激活函数处理，得到最终提取到的图像特征。
对应于上述内容，本申请提出的一个特征提取模块的结构示意图如图3所示。该特征提取模块的设计采用残差网络和瓶颈模块结合的思路，接收低分辨率图像作为输入，经过各部分结构的处理输出该低分辨率图像对应的高维度图像特征。
203、将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
在提取待处理图像的初始图像特征之后，将该初始图像特征输入预先构建的纹理特征提取模块，以提取图像中的纹理特征。
在本申请的一个实施例中，将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征，可以包括：
(1)将所述初始图像特征分别输入多个预先构建的纹理特征提取模块，并将每个所述纹理特征提取模块输出的纹理特征叠加，得到第一纹理特征，其中，各个所述纹理特征提取模块分别由不同感受野大小的卷积神经网络构成；
(2)采用注意力机制模块对所述第一纹理特征进行处理，得到所述待处理图像的纹理特征。
本申请设置多个多尺度的纹理特征提取模块，通过不同感受野大小的卷积核来提取从粗到细的多尺度纹理特征，并且采用注意力机制模块来增强特征。与结构特征相比，纹理特征具有更丰富的信息，并且需要具有更好非线性能力的学习单元进行学习。因此，本申请根据卷积网络的不同感受野大小设计了多尺度的纹理特征提取模块。
在本申请的一个实施例中，设计的纹理特征提取模块的结构示意图如图4所示。在图4中，包含了3个纹理特征提取模块(RF3、RF5和RF7)，且每个纹理特征提取模块分别由不同感受野大小的卷积神经网络构成，例如图4最左边的纹理特征提取模块RF3采用的卷积神经网络的感受野是3*3，图4中间的纹理特征提取模块RF5采用的卷积神经网络的感受野是5*5，图4右边的纹理特征提取模块RF7采用的卷积神经网络的感受野是7*7。
另外，为了减少卷积核的参数量，本申请不直接使用5*5和7*7卷积核生成多尺度感受野，而是采用多个3*3卷积叠加的方法实现。例如为了实现5*5的感受野，可以采用2个3*3卷积叠加的方式；为了实现7*7的感受野，可以采用3个3*3卷积叠加的方式。对于直接使用5*5卷积的方式，所需的参数数量为：5*5*输入通道*输出通道；而对于使用2个3*3卷积叠加的方式，所需的参数数量为：2*3*3*输入通道*输出通道，前者和后者的参数数量之比为25/18＝1.39，显然采用后者即2个3*3卷积叠加的方式，能够有效减少参数量。并且，由于3*3卷积核可以在叠加过程中添加更多的激活函数，因此具有更强的非线性能力。
为了增强获得的纹理特征，本申请还采用注意力机制模块对纹理特征进行处理。采用卷积神经网络中的注意力机制模块，能够突出和强化图像特征。例如，为了增强通道之间的依赖性，本申请使用LSEblock注意机制模块来为通道赋予权重。
LSEblock注意力机制模块基于SENet中的SEblock注意力机制模块，其结构示意图如图5所示，首先通过全局平均池化策略将输入的纹理特征压缩到通道描述符中，然后通过两个全连接层以及它们之间的非线性激活函数，最后再将特征输入Hsigmoid激活函数，从而得到增强的纹理特征。与SEblock注意力机制模块不同，LSEblock注意力机制模块没有使用ReLU和Sigmoid激活函数，而是使用LeakyReLU和Hsigmoid激活函数，Hsigmoid激活函数是Sigmoid激活函数的改进，更易于计算，因此可以提高注意力机制模块训练的效率，以下是Hsigmoid函数的表达式：
由于纹理特征提取模块输出的特征是多尺度的，故每个尺度的特征无法很好地集成在一起，本申请使用LSEblock注意力机制模块对其进行了通道层面的增强，这样多尺度纹理特征可以更好地建立依赖关系。
204、采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
在得到所述待处理图像的纹理特征之后，采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征。更深的卷积层可以提取更多的结构信息，例如图像的轮廓和边缘信息，因此本申请将纹理特征输入多个卷积层中，例如可以输入到3个3*3的卷积层中，以便从中提取结构特征。
205、将所述纹理特征和所述结构特征融合，得到目标图像特征；
在提取纹理特征和结构特征之后，可以将这两部分特征融合，得到目标图像特征。目标图像特征是完整的超分辨率图像特征，可以基于其构建待处理图像的超分辨率图像。
在本申请的一个实施例中，将所述纹理特征和所述结构特征融合，得到目标图像特征，可以包括：
将所述纹理特征和所述初始图像特征进行堆叠，并将堆叠得到的特征和所述结构特征相加，得到所述目标图像特征。
将纹理特征和初始图像特征(即纹理特征提取模块处理之前的特征)通过残差连接方式进行堆叠，以弥补提取纹理特征时损失的全局信息。然后，将堆叠后的特征和该结构特征相加，从而完成特征的融合操作，得到目标图像特征。
进一步的，在得到所述目标图像特征之后，还可以包括：
将所述目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。
为了进一步增强构建超分辨率图像的图像特征，还可以将该目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。例如，可以将目标图像特征输入一个输入和输出通道数相同的点卷积进行融合，再通过一个LSEBlock注意力机制模块对其执行再一次的特征增强，得到最终的图像特征。
上述步骤103-105对应于图1中的超分辨率模块，该超分辨率模块的结构示意图如图6所示，其工作原理可参照步骤103-105的相关说明，图6中的RF3、RF5和RF7分别为图4中设置的3个纹理特征提取模块，图6中的LSEBlock为图5所示的LSEblock注意力机制模块。另外，为了获得更好的超分辨率效果，还可以将图像特征输入连续多个级联的该超分辨率模块。
206、根据所述目标图像特征构建第一超分辨率图像；
在得到目标图像特征之后，根据该目标图像特征构建第一超分辨率图像。这是根据图像特征重构图像的处理，故可以采用反卷积的方式。在本申请的一个实施例中，根据所述目标图像特征构建第一超分辨率图像，可以包括：
(1)对所述目标图像特征进行降维处理；
(2)采用子像素卷积的方式对降维处理后的所述目标图像特征进行反卷积处理，得到所述第一超分辨率图像。
在获得目标图像特征后，首先可以对该目标图像特征进行降维处理，具体可以使用1*1卷积核的卷积层进行降维，降维后所需的维度可以根据超分辨率的倍数要求进行调整，具体为3*倍数的平方。例如，待处理图像为3维图像，目标图像特征为64维，若需要将分辨率放大2倍，则要将64维的特征降维为9维；若需要将分辨率放大3倍，则要将64维的特征降维为27维，以此类推。
在对目标图像特征降维后，可以采用子像素卷积的方式对降维后的图像特征进行反卷积处理，以重构出超分辨率图像。子像素卷积是一种基于特征抽取和亚像素卷积的方法来扩大特征图，将特征图从低分辨空间转换到高分辨空间的一种方法，本申请使用该方法来执行图像特征的反卷积操作，从而得到超分辨率图像。子像素卷积是利用卷积得到图像r2个通道的特征图，并且特征图的大小和输入图像的大小一致，然后将特征图上的一个元素位置的r2个特征点按次序排列开，形成r2的像素分布，从而实现图像扩大(即超分辨率)的功能,步骤106对应于图1中的融合与重建模块。
207、将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像。
最后，将该第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，即最后输出的超分辨率图像。其中，该第二超分辨率图像为该待处理图像经过插值处理后获得的图像，具体可以是采用待处理图像经过双线性插值算法上采样处理得到的直接放大的特征图像。
本申请实施例先从待处理图像中提取图像特征，然后将图像特征输入纹理特征提取模块以提取图像的纹理特征，接着采用多个卷积层对纹理特征进行处理得到图像的结构特征，再把图像的纹理特征和结构特征相融合，最后恢复到上采样图像中，从而获得相应的超分辨率图像。与传统的图像超分辨率方法相比，本申请通过融合图像的纹理特征和结构特征，能够获得更丰富的图像细节，从而提高图像超分辨率的效果。
本申请提出的基于纹理和结构的图像超分辨率方法，与其它同类方法不同，采取的是从纹理恢复的角度重新思考超分辨率工作，从图像的纹理特征和结构特征出发，分别提取图像的纹理特征和结构特征，再把纹理特征和结构特征相融合，最后恢复到上采样图像上，与其它方法只是盲目提取图片的全局信息不同，本申请提出的方法有主次之分，更加具有可解释性，可控性，易于控制计算消耗。
本申请采用的神经网络结构没有盲目采用越层连接，而只是在纹理和结构融合时使用越层连接来弥补损失的全局信息，这么处理只增加了少量计算量，却能够得到很好的效果。本申请还使用了注意力机制的思想，能够对超分辨率中的图像特征进行通道级别的增强，并且使用LeakyReLU激活函数来代替ReLU激活函数，更加适用于超分辨工作，能够取得更好的效果。
另外，本申请还可经过知识蒸馏、模型精简、模块替换等方法实现同样目的，例如减少或增加本申请中的卷积层数量、减少或增加本申请中的特征通道数或替代本申请中的功能模块等。本申请可用于视频的超分辨率、移动设备的单图像超分辨率、用于数码变焦的图像超分辨率等各类应用领域。
应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上面主要描述了一种图像超分辨率方法，下面将对一种图像超分辨率装置进行描述。
请参阅图7，本申请实施例中一种图像超分辨率装置的一个实施例包括：
图像获取模块701，用于获取待处理图像；
图像特征提取模块702，用于提取所述待处理图像的初始图像特征；
纹理特征提取模块703，用于将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
结构特征提取模块704，用于采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
特征融合模块705，用于将所述纹理特征和所述结构特征融合，得到目标图像特征；
超分辨率图像构建模块706，用于根据所述目标图像特征构建第一超分辨率图像；
超分辨率图像叠加模块707，用于将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，所述第二超分辨率图像为所述待处理图像经过插值处理后获得的图像。
在本申请的一个实施例中，所述图像特征提取模块可以包括：
第一图像特征提取单元，用于将所述待处理图像输入1*1卷积核的卷积层，得到第一图像特征；
第二图像特征提取单元，用于采用预设的激活函数对所述第一图像特征进行处理，得到第二图像特征；
第三图像特征提取单元，用于采用预设尺寸卷积核的分组卷积层对所述第二图像特征进行处理，得到第三图像特征；
第四图像特征提取单元，用于采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征；
初始图像特征提取单元，用于将所述第一图像特征和所述第四图像特征叠加，得到所述待处理图像的初始图像特征。
进一步的，所述第四图像特征提取单元可以包括：
图像特征叠加子单元，用于将所述第二图像特征和所述第三图像特征叠加，得到第五图像特征；
第四图像特征提取子单元，用于采用1*1卷积核的分组卷积层对所述第五图像特征进行处理，得到所述第四图像特征。
在本申请的一个实施例中，所述纹理特征提取模块可以包括：
纹理特征叠加单元，用于将所述初始图像特征分别输入多个预先构建的纹理特征提取模块，并将每个所述纹理特征提取模块输出的纹理特征叠加，得到第一纹理特征，其中，各个所述纹理特征提取模块分别由不同感受野大小的卷积神经网络构成；
注意力机制处理单元，用于采用注意力机制模块对所述第一纹理特征进行处理，得到所述待处理图像的纹理特征。
在本申请的一个实施例中，所述特征融合模块可以包括：
特征融合单元，用于将所述纹理特征和所述初始图像特征进行堆叠，并将堆叠得到的特征和所述结构特征相加，得到所述目标图像特征。
进一步的，所述特征融合模块还可以包括：
特征增强单元，用于将所述目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。
在本申请的一个实施例中，所述超分辨率图像构建模块可以包括：
图像特征降维单元，用于对所述目标图像特征进行降维处理；
超分辨率图像重构单元，用于采用子像素卷积的方式对降维处理后的所述目标图像特征进行反卷积处理，得到所述第一超分辨率图像。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图2表示的任意一种图像超分辨率方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行实现如图2表示的任意一种图像超分辨率方法的步骤。
图8是本申请一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个图像超分辨率方法的实施例中的步骤，例如图2所示的步骤201至207。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至707的功能。
所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像超分辨率方法，其特征在于，包括：
获取待处理图像；
提取所述待处理图像的初始图像特征；
将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
将所述纹理特征和所述结构特征融合，得到目标图像特征；
根据所述目标图像特征构建第一超分辨率图像；
将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，所述第二超分辨率图像为所述待处理图像经过插值处理后获得的图像。
2.如权利要求1所述的图像超分辨率方法，其特征在于，提取所述待处理图像的初始图像特征，包括：
将所述待处理图像输入1*1卷积核的卷积层，得到第一图像特征；
采用预设的激活函数对所述第一图像特征进行处理，得到第二图像特征；
采用预设尺寸卷积核的分组卷积层对所述第二图像特征进行处理，得到第三图像特征；
采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征；
将所述第一图像特征和所述第四图像特征叠加，得到所述待处理图像的初始图像特征。
3.如权利要求2所述的图像超分辨率方法，其特征在于，采用1*1卷积核的分组卷积层对所述第三图像特征进行处理，得到第四图像特征，包括：
将所述第二图像特征和所述第三图像特征叠加，得到第五图像特征；
采用1*1卷积核的分组卷积层对所述第五图像特征进行处理，得到所述第四图像特征。
4.如权利要求1所述的图像超分辨率方法，其特征在于，将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征，包括：
将所述初始图像特征分别输入多个预先构建的纹理特征提取模块，并将每个所述纹理特征提取模块输出的纹理特征叠加，得到第一纹理特征，其中，各个所述纹理特征提取模块分别由不同感受野大小的卷积神经网络构成；
采用注意力机制模块对所述第一纹理特征进行处理，得到所述待处理图像的纹理特征。
5.如权利要求1所述的图像超分辨率方法，其特征在于，将所述纹理特征和所述结构特征融合，得到目标图像特征，包括：
将所述纹理特征和所述初始图像特征进行堆叠，并将堆叠得到的特征和所述结构特征相加，得到所述目标图像特征。
6.如权利要求5所述的图像超分辨率方法，其特征在于，在得到所述目标图像特征之后，还包括：
将所述目标图像特征输入1*1卷积核的卷积层，并采用注意力机制模块对得到的图像特征进行处理，得到特征增强处理后的所述目标图像特征。
7.如权利要求1至6中任一项所述的图像超分辨率方法，其特征在于，根据所述目标图像特征构建第一超分辨率图像，包括：
对所述目标图像特征进行降维处理；
采用子像素卷积的方式对降维处理后的所述目标图像特征进行反卷积处理，得到所述第一超分辨率图像。
8.一种图像超分辨率装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
图像特征提取模块，用于提取所述待处理图像的初始图像特征；
纹理特征提取模块，用于将所述初始图像特征输入预先构建的纹理特征提取模块，得到所述待处理图像的纹理特征；
结构特征提取模块，用于采用多个卷积层对所述纹理特征进行处理，得到所述待处理图像的结构特征；
特征融合模块，用于将所述纹理特征和所述结构特征融合，得到目标图像特征；
超分辨率图像构建模块，用于根据所述目标图像特征构建第一超分辨率图像；
超分辨率图像叠加模块，用于将所述第一超分辨率图像和第二超分辨率图像叠加，得到所述待处理图像的超分辨率图像，所述第二超分辨率图像为所述待处理图像经过插值处理后获得的图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像超分辨率方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像超分辨率方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319016.0A CN112419152B (zh) | 2020-11-23 | 2020-11-23 | 一种图像超分辨率方法、装置、终端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319016.0A CN112419152B (zh) | 2020-11-23 | 2020-11-23 | 一种图像超分辨率方法、装置、终端设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419152A true CN112419152A (zh) | 2021-02-26 |
| CN112419152B CN112419152B (zh) | 2024-03-29 |
Family
ID=74777311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011319016.0A Active CN112419152B (zh) | 2020-11-23 | 2020-11-23 | 一种图像超分辨率方法、装置、终端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419152B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012046A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 一种基于动态分组卷积的图像超分辨率重构方法 |
| CN113298740A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| CN113658047A (zh) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | 一种结晶图像超分辨率重建方法 |
| WO2023179385A1 (zh) * | 2022-03-22 | 2023-09-28 | 中国科学院深圳先进技术研究院 | 一种视频超分方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360151A (zh) * | 2018-09-30 | 2019-02-19 | 京东方科技集团股份有限公司 | 图像处理方法及系统、分辨率提升方法、可读存储介质 |
| CN111429347A (zh) * | 2020-03-20 | 2020-07-17 | 长沙理工大学 | 图像超分辨率重建方法、装置及计算机可读存储介质 |
| CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111784642A (zh) * | 2020-06-10 | 2020-10-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
-
2020
- 2020-11-23 CN CN202011319016.0A patent/CN112419152B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360151A (zh) * | 2018-09-30 | 2019-02-19 | 京东方科技集团股份有限公司 | 图像处理方法及系统、分辨率提升方法、可读存储介质 |
| CN111429347A (zh) * | 2020-03-20 | 2020-07-17 | 长沙理工大学 | 图像超分辨率重建方法、装置及计算机可读存储介质 |
| CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111784642A (zh) * | 2020-06-10 | 2020-10-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012046A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 一种基于动态分组卷积的图像超分辨率重构方法 |
| CN113012046B (zh) * | 2021-03-22 | 2022-12-16 | 华南理工大学 | 一种基于动态分组卷积的图像超分辨率重构方法 |
| CN113298740A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| WO2022247232A1 (zh) * | 2021-05-27 | 2022-12-01 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| CN113658047A (zh) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | 一种结晶图像超分辨率重建方法 |
| WO2023179385A1 (zh) * | 2022-03-22 | 2023-09-28 | 中国科学院深圳先进技术研究院 | 一种视频超分方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419152B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7093886B2 (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
| US10853916B2 (en) | Convolution deconvolution neural network method and system | |
| CN109146788B (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Zhong et al. | Joint sub-bands learning with clique structures for wavelet domain super-resolution | |
| Dong et al. | Remote sensing image super-resolution using second-order multi-scale networks | |
| CN112419152A (zh) | 一种图像超分辨率方法、装置、终端设备和存储介质 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| Li et al. | A lightweight multi-scale channel attention network for image super-resolution | |
| CN112997479B (zh) | 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质 | |
| Li et al. | Deep recursive up-down sampling networks for single image super-resolution | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| Yang et al. | Lightweight group convolutional network for single image super-resolution | |
| CN113222818A (zh) | 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 | |
| Li et al. | Detail-preserving image super-resolution via recursively dilated residual network | |
| Zhou et al. | Image super-resolution based on dense convolutional auto-encoder blocks | |
| Chen et al. | A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid | |
| Li et al. | Lightweight adaptive weighted network for single image super-resolution | |
| Sahito et al. | Transpose convolution based model for super-resolution image reconstruction | |
| Fu et al. | A real-time super-resolution method based on convolutional neural networks | |
| Liu et al. | Multi-scale skip-connection network for image super-resolution | |
| Esmaeilzehi et al. | MuRNet: A deep recursive network for super resolution of bicubically interpolated images | |
| Ran et al. | KNLConv: Kernel-space non-local convolution for hyperspectral image super-resolution | |
| Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |