CN114519667A - 一种图像超分辨率重建方法及系统 - Google Patents
一种图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN114519667A CN114519667A CN202210020461.XA CN202210020461A CN114519667A CN 114519667 A CN114519667 A CN 114519667A CN 202210020461 A CN202210020461 A CN 202210020461A CN 114519667 A CN114519667 A CN 114519667A
- Authority
- CN
- China
- Prior art keywords
- resolution
- information
- reconstruction
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004821 distillation Methods 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 abstract description 2
- 235000019580 granularity Nutrition 0.000 abstract 3
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像超分辨率重建方法及系统，其方法包括：获取一张或多张第一分辨率图像，提取其浅层信息；基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。本发明通过分层级蒸馏的方法，提取低分辨率图像的不同粒度和不同分辨率的特征，再将这些特征进行融合和上采样，从而重建出高于原低分辨率图像的超分辨率图像。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种图像超分辨率重建方法及系统。
背景技术
近年来，随着智慧城市、平安城市等国家主导工程的推动，视频监控摄像头在全国范围内迅速普及。据IDC于2018年9月30日预测，中国视频监控摄像头在2022年部署量将达到27.6亿台。此外，随着视觉通信和图像处理技术的高速发展，人们可以获取的数字图像数据已经呈现爆炸式的增长，极大地促进了计算机视觉领域的快速发展。数字图像作为记录视觉任务的信息载体，已与人们的日常生活息息相关。近年来，基于计算机视觉的科学研究日益重要，数字图像被广泛地应用于安防监控、医疗识别、卫星探测以及人们的日常生活中。因此，当前迫切要求数字图像处理技术不断提高和完善。
日前，日常生活中常见的成像设备有数码相机、移动手机和监控摄像头等。然而，在成像过程中受限于传感器质量等因素，可能造成采集到的数字图像分辨率过低和图像模糊，无法清晰明确地记录场景中信息。其直观的影响是图像的视觉效果无法满足人类感知要求，限制了数字图像的应用价值。更进一步地影响了后续其他视觉任务的处理效果。因此，亟需一种有效的图像超分辨率算法，以从低分辨率图像复原出可靠的高清图像。为了解决这个问题，有许多超分辨率方法被提出，包括早期的传统方法和最近的基于学习的方法。传统方法极依赖先验信息且处理优化过程非常耗时，而深度学习方法通过增大网络深度来提升图像分辨性能，会增大网络计算代价，不适用于诸如手机和相机等便携式设备。后续提出的轻量级超分辨率算法却通过牺牲性能换取较小的计算代价。
发明内容
为解决传统基于深度学习的图像超分辨率重建方法依赖网络先验信息且效率低，无法适配便携式设备的问题，在本发明的第一方面，提供了一种图像超分辨率重建方法，包括：获取一张或多张第一分辨率图像，提取其浅层信息；基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
在本发明的一些实施例中，所述基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征包括：构建深层特征提取模块，所述深层特征提取模块包括多个组－信息蒸馏模块、多个密集快捷连接；多个组－信息蒸馏模块分别对提取到的浅层信息进行信息蒸馏，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；每两个组－信息蒸馏模块之间通过密集快捷连接，构成一个组－信息蒸馏残差组模块；多个组－信息蒸馏残差组模块，用于学习所述多个不同层细粒度和分辨率的特征。
进一步的，所述多个每组－信息蒸馏模块对提取到的浅层信息进行信息蒸馏包括：构建多个级联的分组可分离卷积残差块，每组可分离卷积残差块的输出作为下一组可分离卷积残差块的输入；融合所有可分离卷积残差块的输出特征图；对融合后的输出特征图进行压缩和加权相乘，得到加权的输出特征图。
在本发明的一些实施例中，所述重建网络包括非对称残差模块和上采样重建模块，所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
进一步的，所述上采样重建模块通过将扩大的全局信息的特征图的通道数，并对扩大后的特征图进行周期排列，得到高于第一分辨率的第二分辨率图像。
在上述的实施例中，还包括所述重建网络通过复合损失函数进行训练，所述复合损失函数包括重建损失函数和高频损失函数，所述重建损失函数通过L1损失定义，所述高频损失函数通过高频提取算法定义。
本发明的第二方面，提供了一种图像超分辨率重建系统，包括：获取模块，用于获取一张或多张第一分辨率图像，提取其浅层信息；蒸馏模块，用于基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；重建模块，用于将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
进一步的，所述重建模块包括非对称残差模块和上采样重建模块，所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的图像超分辨率重建方法。
本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的图像超分辨率重建方法。
本发明的有益效果是：
1.本发明通过一种端对端模型，只需低分辨率的图像，就能以毫秒级直接输出对应高分辨的图像，且模型很轻量，以此解决了现今大量的超分辨率算法模型庞大、内存占用高和计算耗时，或者模型小、速度快却精度较差的问题。
2.本发明提出的方法快速且精度高，适用于低算力或便携式设备，如智能手机、手提电脑等，在医学成像、视频监控、高清显示和成像等具有非常广阔的应用前景。
附图说明
图1为本发明的一些实施例中的图像超分辨率重建方法的基本流程示意图；
图2为本发明的一些实施例中的图像超分辨率重建方法的具体原理框架示意图；
图3为本发明的一些实施例中的组－信息蒸馏模块的结构示意图；
图4为本发明的一些实施例中的组－信息蒸馏残差组模块的结构示意图；
图5为本发明的一些实施例中的非对称残差模块结构示意图
图6为本发明的一些实施例中的上采样及重建过程示意图；
图7为本发明的一些实施例中的图像超分辨率重建系统的结构示意图；
图8为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图2，在本发明的第一方面，提供了一种图像超分辨率重建方法，包括：S100.获取一张或多张第一分辨率图像，提取其浅层信息；S200.基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；S300.将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
可以理解，上述第一分辨率图像通常是指低分辨率图像，第二分辨率图像通常是指高于第一分辨率的图像，由第一分辨率图像重建为第二分辨率图像的过程称为超分辨率重建。图像的浅层信息理解为每个像素的像素值、灰度值，或相对于图像中的边界、轮廓、语义等高级抽象特征的低级图像信息或特征。多个不同层级粒度和分辨率的特征通常理解为一个或多个特征图、一个或多特征向量。
在本发明的一些实施例的步骤S100中，获取一张或多张第一分辨率图像，提取其浅层信息的具体步骤为：对输入的低分辨率RGB图像(ILR)，将其输入一个浅层特征提取模块中，该模块由一层卷积核为3×3的卷积层构成，最终得到浅层特征模块的输出特征：F0＝H3×3(ILR)，H3×3(·)表示3×3卷积操作。可选的，上述卷积核的大小或卷积操作可根据RGB图像的分辨率大小进行调整。
参考图2，在本发明的一些实施例的步骤S200中，所述基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征包括：S201.构建深层特征提取模块，所述深层特征提取模块包括多个组－信息蒸馏模块、多个密集快捷连接；S202.多个组－信息蒸馏模块分别对提取到的浅层信息进行信息蒸馏，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；S203.每两个组－信息蒸馏模块之间通过密集快捷连接，构成一个组－信息蒸馏残差组模块；多个组－信息蒸馏残差组模块，用于学习所述多个不同层细粒度和分辨率的特征。
具体地，将步骤S100中得到的浅层特征或信息，输入到一个深层特征提取模块，该模块由包含密集快捷连接(Dense shortcut，DS)和组－信息蒸馏模块(G－IDB，GroupInformation Distillation Block)的三个组－信息蒸馏残差组模块构成，以此得到深层特征提取模块的输出特征：
表示经过第i个组－信息蒸馏残差组模块获得的特征图，HDS{·}表示DS连接操作。
优选的，在两个G－IDB间设置可学习的权值
(i≠j,i,j＝1,2,3)，即将第i个G－IDB的输入特征图乘以权重
在和第j个G－IDB的输出特征图相加在一起。对上述三个组－信息蒸馏残差组模块使用DS连接，为了以示区别，将权重
使用
表示。
进一步的，在步骤S201中，所述多个每组－信息蒸馏模块对提取到的浅层信息进行信息蒸馏包括：S2011.构建多个级联的分组可分离卷积残差块，每组可分离卷积残差块的输出作为下一组可分离卷积残差块的输入；S2012.融合所有可分离卷积残差块的输出特征图；S2013.对融合后的输出特征图进行压缩和加权相乘，得到加权的输出特征图。
参考图3，其示出了构建组－信息蒸馏模块的一般性过程。具体地，结合深度可分离卷积和分组卷积，构建了一种分组可分离卷积残差块(GS－SRB，Group SeparableconvolutionResidual Block)。与深度可分离卷积先逐通道卷积再对深度方向上加权组合不同，GSC(Group Separable convolution，分组可分离卷积)模块首先使用点卷积(Pw，pointwiseConvolution又称逐点卷积)对通道方向上加权求和，然后使用分组卷积(GC，Group Convolution)，接着引入更细粒度的残差学习，即将点卷积的输出特征图和分组卷积的输出特征图相加。最后接一个Relu激活层。
基于GS－SRB，构建一个轻量级的组－信息蒸馏模块(G－IDB)特征提取基本单元。其包含四个级联的蒸馏步骤，使用GS－SRB作为前三个蒸馏步骤，一层分组卷积作为最后一个蒸馏步骤，每个蒸馏步骤的输出作为下一个蒸馏步的输入。具体如下：把前三个蒸馏步骤的每个点卷积的输出特征图和最后一个蒸馏步骤的输出特征图以通道方向上Concat融合在一起；
将所得的融合特征图使用一个1×1卷积将其通道压缩为G－IDB原始输入特征图通道的大小，最后经过一个对比度通道注意力层(CCALayer)，该层生成每个通道的注意力权值来判断每个通道的重要性，并将注意力权值(0～1之间)与该层的输入特征图相乘，以获得通道方向加权的特征图输出。
参考图4，最后将上述输出特征图进行残差连接，即与G－IDB的原始输入相加。这里，考虑到当特征图增加到一定水平时，会导致训练时数值不稳定，因此在最后的残差连接中引入可学习的权重w。
在本发明的一些实施例的步骤S300中，所述重建网络包括非对称残差模块和上采样重建模块，所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
具体地，参考图5，其示出了非对称残差Non－local模块的结构及数据处理过程，包括：S301.对于输入特征图X∈RC×H×W，其中H×W和C分别为输入特征图X的空间尺寸和通道数，利用X建立三个分支：Query、Key和Value，以进行不同的处理。使用3个1×1卷积分别将三个分支的多通道特征X压缩为单通道特征Xφ、Xθ、Xγ，其中Xφ＝fφ(X),Xθ＝fθ(X),Xγ＝fγ(X)，这里，fφ、fθ和fγ为1×1卷积；
S302.使用金字塔池化采样算法从Key和Value分支采样S个(S＝N＝H×W)具有代表性的特征点，其中N表示图像大小(分辨率)，H和W分别表示图像的高度和宽度；在不牺牲性能的前提下，极大地减少了算力和存储消耗。采样(sample)过程可表示为：θP＝Pφ(Xφ),γP＝Pγ(Xγ)，Pφ和Pγ分别表示对特征图θP、γP的金字塔式池化的采样方式。该采样方式为：先进行4个平均池化操作分别得到1×1、3×3、6×6、8×8空间尺寸的特征，接着对每个特征进行平铺展开再拼接操作，得到采样后的特征，其长度为110；
S303.将上述步骤得到的特征矩阵Xφ进行转置，并于θP进行矩阵相乘，再经过一个Softmax操作，最后再与γP进行矩阵相乘，得到包含全局语义信息的注意力权重特征图Y，其中
这里，
表示矩阵乘法，Softmax(·)表示Softmax归一化操作；由于注意力权重矩阵Y中包含了Softmax操作，其将
所得矩阵所有值的和归一化到1，势必导致Y的元素存在大量的0，如果直接与原始输入X点乘后，会导致所得的值过小而产生梯度消失问题；
S304.使用元素加法操作，即残差连接的方式，生成最终的注意力加权特征图Xweighted：Xweighted＝H1×1(Y)+X，这里，H1×1(·)表示1×1卷积操作，作用是将单通道特征图Y转变为C通道特征图，以便于后续的残差连接操作。受益于通道压缩和采样操作，非对称残差Non－local模块足够轻量且能够获取全局信息，实现快速且精确的图像超分辨率。
应理解，上述重建过程可概括为：将提取到的深层特征输入一个轻量级的非对称残差Non－local模块(ANRB)，来建模全局上下文信息，并进一步细化学习到的特征，接着利用一个上采样重建模块重建出超分辨率图像：ISR1＝HUP(HANRB(FD))，HANRB(·)表示ANRB操作，HUP(·)表示可学习的卷积和非参数亚像素卷积层的上采样重建操作，FD表示上述深层特征提取模块的输出特征。上述有关卷积网络或卷积神经网络因为功能划分或层次划分不同，可被命名为卷积层、卷积模块或卷积网络，并不影响其实质上是利用神经网络对输入数据进行卷积、池化、特征提取、one－hot、embedding或映射等数据处理操作。
进一步的，所述上采样重建模块通过将扩大的全局信息的特征图的通道数，并对扩大后的特征图进行周期排列，得到高于第一分辨率的第二分辨率图像。
参考图6，假设低分辨率特征图的尺寸为C×H×W，通过一层3×3将其变为为3×r2个通道的特征图，r即为超分辨率放大的因子，3对应RGB图像通道数为3。然后，再经过一层无参数的亚像素卷积层(Sub－pixel)，其作用是将这C×r2个通道的特征图按周期重新排列，最后获得3×rH×rW的超分辨率预测RGB图像输出。其次，使用一层5×5卷积直接从原始输入提取粗尺度的特征，再经过同样的上采样重建模块重建出粗尺度的超分辨率图像：
H5×5(·)表示5×5卷积操作。最后，将两个支路的输出相加，获得最终的超分辨率图像输出：
在上述的实施例中，所述重建网络通过复合损失函数进行训练，所述复合损失函数包括重建损失函数和高频损失函数，所述重建损失函数通过L1损失定义，所述高频损失函数通过高频提取算法定义。
具体地，采用L1损失作为主要的重建损失去衡量ISR图像与地面真实图像IHR之间的差异。L1损失定义为：
式中，
表示由本发明所提出的重建网络生成的第i张超分辨率图像图片和相对应的第i张真实高分辨率标签图片，
表示重建损失函数；仅仅使用L1损失或L2损失容易造成超分图像缺乏高频细节，其过于平滑的纹理难以达到视觉上令人满意的结果。L1损失(L1范数损失)包括：MSE(均方误差)、MAE(平均绝对误差)；L1范数损失函数，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。
基于此，提出了简单但有效的高频损失来解决这个问题。首先使用高频提取算法提取出ISR图像和IHR图像的细节纹理。然后，采用平均绝对误差衡量ISR图像和IHR图像的细节差异。整个过程如下公式所示：
式中，
表示高频损失函数Hhp(·)表示高频提取算法。本发明中，利用高通滤波器提取ISR与IHR的细节信息；计算出重建损失和高频损失后，两者加权相加，最终的复合损失函数为：
其中，α和β为调节两种损失的权重，设置为α＝0.4,β＝0.6。
实施例2
参考图7，本发明的第二方面，提供了一种图像超分辨率重建系统1，包括：获取模块11，用于获取一张或多张第一分辨率图像，提取其浅层信息；蒸馏模块12，用于基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；重建模块13，用于将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
进一步的，所述重建模13块包括非对称残差模块和上采样重建模块，所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
实施例3
参考图8，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD－ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像超分辨率重建方法，其特征在于，包括：
获取一张或多张第一分辨率图像，提取其浅层信息；
基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；
将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征包括：
构建深层特征提取模块，所述深层特征提取模块包括多个组－信息蒸馏模块、多个密集快捷连接；
多个组－信息蒸馏模块分别对提取到的浅层信息进行信息蒸馏，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；
每两个组－信息蒸馏模块之间通过密集快捷连接，构成一个组－信息蒸馏残差组模块；多个组－信息蒸馏残差组模块，用于学习所述多个不同层细粒度和分辨率的特征。
3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述多个每组－信息蒸馏模块对提取到的浅层信息进行信息蒸馏包括：
构建多个级联的分组可分离卷积残差块，每组可分离卷积残差块的输出作为下一组可分离卷积残差块的输入；
融合所有可分离卷积残差块的输出特征图；
对融合后的输出特征图进行压缩和加权相乘，得到加权的输出特征图。
4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述重建网络包括非对称残差模块和上采样重建模块，
所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；
所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
5.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述上采样重建模块通过将扩大的全局信息的特征图的通道数，并对扩大后的特征图进行周期排列，得到高于第一分辨率的第二分辨率图像。
6.根据权利要求1至5中任一项所述的图像超分辨率重建方法，其特征在于，所述重建网络通过复合损失函数进行训练，
所述复合损失函数包括重建损失函数和高频损失函数，
所述重建损失函数通过L1损失定义，所述高频损失函数通过高频提取算法定义。
7.一种图像超分辨率重建系统，其特征在于，包括：
获取模块，用于获取一张或多张第一分辨率图像，提取其浅层信息；
蒸馏模块，用于基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；
重建模块，用于将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。
8.根据权利要求7所述的图像超分辨率重建系统，其特征在于，所述重建模块包括非对称残差模块和上采样重建模块，
所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；
所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的图像超分辨率重建方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210020461.XA CN114519667A (zh) | 2022-01-10 | 2022-01-10 | 一种图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210020461.XA CN114519667A (zh) | 2022-01-10 | 2022-01-10 | 一种图像超分辨率重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114519667A true CN114519667A (zh) | 2022-05-20 |
Family
ID=81597021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210020461.XA Pending CN114519667A (zh) | 2022-01-10 | 2022-01-10 | 一种图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114519667A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131242A (zh) * | 2022-06-28 | 2022-09-30 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
| CN115564649A (zh) * | 2022-09-27 | 2023-01-03 | 苏州大学 | 一种图像超分辨率重建方法、装置及设备 |
| CN115601242A (zh) * | 2022-12-13 | 2023-01-13 | 电子科技大学（Cn） | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
-
2022
- 2022-01-10 CN CN202210020461.XA patent/CN114519667A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131242A (zh) * | 2022-06-28 | 2022-09-30 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
| CN115131242B (zh) * | 2022-06-28 | 2023-08-29 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
| CN115564649A (zh) * | 2022-09-27 | 2023-01-03 | 苏州大学 | 一种图像超分辨率重建方法、装置及设备 |
| CN115601242A (zh) * | 2022-12-13 | 2023-01-13 | 电子科技大学（Cn） | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
| CN115601242B (zh) * | 2022-12-13 | 2023-04-18 | 电子科技大学 | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN110782395B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN112528977A (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN112668588B (zh) | 车位信息生成方法、装置、设备和计算机可读介质 | |
| CN111915480B (zh) | 生成特征提取网络的方法、装置、设备和计算机可读介质 | |
| CN111681177B (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
| CN111260037B (zh) | 图像数据的卷积运算方法、装置、电子设备及存储介质 | |
| CN111460876B (zh) | 用于识别视频的方法和装置 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113689372B (zh) | 图像处理方法、设备、存储介质及程序产品 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN115035295A (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
| CN113449851A (zh) | 数据处理方法及设备 | |
| CN115601820A (zh) | 一种人脸伪造图像检测方法、装置、终端及存储介质 | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
| CN112800276B (zh) | 视频封面确定方法、装置、介质及设备 | |
| CN114420135A (zh) | 基于注意力机制的声纹识别方法及装置 | |
| CN115861891B (zh) | 视频目标检测方法、装置、设备及介质 | |
| WO2023273515A1 (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN114972876A (zh) | 基于知识蒸馏技术的图像处理方法、装置、设备及介质 | |
| CN114399696A (zh) | 一种目标检测方法、装置、存储介质及电子设备 | |
| CN114627293A (zh) | 基于多任务学习的人像抠图方法 | |
| CN115861901B (zh) | 视频分类方法、装置、设备及存储介质 | |
| CN115345931B (zh) | 物体姿态关键点信息生成方法、装置、电子设备和介质 | |
| CN111738958B (zh) | 图片修复方法、装置、电子设备及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Applicant before: Wuhan Tuke Intelligent Technology Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information |