CN113837935A - 基于增强注意力网络的压缩图像超分辨率重建方法 - Google Patents
基于增强注意力网络的压缩图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113837935A CN113837935A CN202010585043.6A CN202010585043A CN113837935A CN 113837935 A CN113837935 A CN 113837935A CN 202010585043 A CN202010585043 A CN 202010585043A CN 113837935 A CN113837935 A CN 113837935A
- Authority
- CN
- China
- Prior art keywords
- network
- resolution
- image
- super
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006835 compression Effects 0.000 claims abstract description 39
- 238000007906 compression Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000006837 decompression Effects 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于增强注意力网络的压缩图像超分辨率重建方法。本发明构建了一个端到端的网络，可同时实现去压缩和超分辨率任务，主要包括以下步骤：构建一种基于增强注意力的去压缩子网络和超分辨率重建子网络；利用训练图像数据集，分别训练构建的两个子网络；在去压缩子网络和超分辨率重建子网络基础上，构建一种端到端的基于增强注意力的压缩图像超分辨率重建网络；利用图像训练集，训练该压缩超分网络；在图像重建阶段，输入低分辨率压缩图像，直接在输出端得到高分辨率重建结果。本发明所述的方法能获得很好的主客观效果，是一种有效的单幅图像超分辨率重建方法。
Description
技术领域
本发明涉及图像分辨率提升技术，具体涉及一种基于增强注意力网络的压缩图像超分辨率重建方法，属于图像处理领域。
背景技术
研究表明，人类活动中绝大部分的信息是通过视觉系统进行感知的。图像作为记录和传递视觉信息的载体，具有形象直观、信息量大、通俗易懂等优点，在天文观测、定位跟踪、医学成像、交通监控等诸多领域均有着极为重要的应用。随着移动互联网时代的到来以及信息技术的推陈出新，人们对图像质量和分辨率的需求日益增长，这使图像的数据量也呈指数式上升。一方面，拍摄图像的分辨率越来越高，若不采用高效的图像压缩技术，将大大加重存储空间和带宽的压力，导致可存储的图像数量急剧下降。另一方面，在图像采集与传输过程中，压缩后的图像可能存在压缩失真、分辨率太低等问题，不利于图像的后续处理，达不到实际应用的要求，使现有的技术和设备面临着巨大的挑战。
超分辨率重建通过软件技术将已有的降质图像进行重建处理，在提升图像分辨率的同时恢复图像丢失的高频细节，具有成本低、实用性强的特点，成为图像处理领域的研究热点。现阶段，面向非压缩图像的常规超分辨率重建方法已经得到了广泛的研究，但针对压缩图像的超分辨率重建研究开展得并不深入。在实际应用中，观测到的图像往往同时受到下采样以及压缩降质的影响，压缩效应的产生增加了超分重建任务的难度。若对压缩图像进行常规意义上的超分重建，则压缩产生的量化噪声与图像本身信息之间的强相关性将会导致压缩效应被一并超分增强。
发明内容
本发明的目的就是为解决上述问题而提供一种基于增强注意力网络的压缩图像超分辨率重建方法。在本发明中，将针对非压缩图像的超分辨率重建方法统称为常规超分，将针对压缩图像的超分辨率重建方法称为压缩超分。本发明使用深度学习方法，构建了一个端到端的卷积神经网络，并在网络中加入增强的注意力模块，使得网络可在提升图像分辨率的同时，有效去除图像中的压缩伪影，同时恢复压缩和下采样降质中损失的高频细节。
本发明提出的基于增强注意力网络的压缩图像超分辨率重建方法，主要包括以下操作步骤：
(1)对于输入的低分辨率压缩图像，构建一种基于增强注意力的去压缩效应子网络，用于消除压缩伪影，得到去噪后的低分辨率图像；
(2)利用训练图像集，训练步骤(1)中构建的去压缩效应子网络；
(3)对于去噪后的低分辨率图像，构建一种基于增强注意力的超分辨率重建子网络，用于提升图像分辨率，得到高分辨率图像；
(4)利用训练图像数据集，训练步骤(3)中构建的超分辨率重建子网络；
(5)将步骤(1)和步骤(3)构建的网络融合，构建一种端到端的基于增强注意力的压缩图像超分辨率网络，用于同时实现去压缩和超分辨率，即直接由压缩低分辨率图像得到去压缩高分辨率图像；
(6)利用训练图像集，在步骤(2)和步骤(4)的基础上，训练步骤(5)中构建的压缩超分网络；
(7)在图像重建阶段，将低分辨率压缩图像作为输入，利用步骤(6)中训练出的网络直接重建出去除压缩噪声的高分辨率图像。
附图说明
图1是本发明基于增强注意力网络的压缩图像超分辨率重建方法的原理框图
图2是本发明卷积神经网络中用到的宽激活残差块结构图
图3是本发明构建的级联残差注意力模块示意图
图4是本发明与四种方法对测试图像“Ppt3”的重建结果的对比图(超分辨率重建因子为2，压缩图像质量因子为20)：其中，(a)为原始图像，(b)～(f)分别为双三次插值、方法1～方法3及本发明的重建结果
图5是本发明与双三次插值方法对互联网真实图像的重建结果的对比图：其中，(a)为下载的原始图像，(b)为双三次插值结果，(c)为本发明重建结果
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于增强注意力网络的压缩图像超分辨率重建方法，具体可以分为以下七个步骤：
(1)对于输入的低分辨率压缩图像，构建一种基于增强注意力的去压缩效应子网络，用于消除压缩伪影，得到去噪后的低分辨率图像；
(2)利用训练图像集，训练步骤(1)中构建的去压缩效应子网络；
(3)对于去噪后的低分辨率图像，构建一种基于增强注意力的超分辨率重建子网络，用于提升图像分辨率，得到高分辨率图像；
(4)利用训练图像数据集，训练步骤(3)中构建的超分辨率重建子网络；
(5)将步骤(1)和步骤(3)构建的网络融合，构建一种端到端的基于增强注意力的压缩图像超分辨率网络，用于同时实现去压缩和超分辨率，即直接由压缩低分辨率图像得到去压缩高分辨率图像；
(6)利用训练图像集，在步骤(2)和步骤(4)的基础上，训练步骤(5)中构建的压缩超分网络；
(7)在图像重建阶段，将低分辨率压缩图像作为输入，利用步骤(6)中训练出的网络直接重建出去除压缩噪声的高分辨率图像。
具体地，基于增强注意力网络的压缩图像超分辨率网络会对图像的降质过程进行建模以解决逆问题，通常可表示为：
y＝DsHx+n (1)
其中x代表原始未降质的高分辨率图像，Ds代表下采操作，H是图像模糊矩阵，n是高斯白噪声，其均值一般为零，y是观测到的低分辨率图像。
压缩超分和常规超分最大的不同在于，常规超分处理的图像仅经过下采降质，而压缩超分处理的图像不仅经过下采样，而且经过压缩降质，其降质条件同时存在压缩和下采样，因此在超分重建时要充分考虑压缩噪声对重建质量的影响。以常见的JPEG压缩为例，JPEG在对图像编码时进行了8*8非重叠取块，并进行量化操作，因此引入了诸如块效应等的压缩噪声。此时，降质过程可表示为：
其中e表示压缩噪声，z表示经过下采样降质后的低分辨率图像。
在步骤(1)中，构建的基于增强注意力的去压缩效应网络主要由三部分组成：初始特征提取、增强残差模块(Enhanced Residual Module,ERM)和图像重建。
具体地，搭建的去压缩效应子网络如图1中去压缩子网络部分所示。首先，输入低分辨率压缩图像X，初始特征提取部分为深度学习提取图像浅层特征F0，其输出可以表示为：
F0＝HFE1(X) (3)
其中，HFE1代表初始特征提取操作，与JPEG不同的是，为了消除压缩图像中的块效应，HFE1的块提取操作是重叠的，并且该操作完全由卷积层实现，使得构建的网络更易训练，网络性能更加稳定。之后，F0作为ERM的输入以进行压缩噪声去除，生成更深的图像特征：
FD1＝HERM1(F0) (4)
其中，HERM1表示增强残差模块。
在增强残差模块中，一方面，使用如图2所示的宽激活残差块(WideActivationResidualBlock,WARB)代替常规残差模块，使更多有效信息通过线性整流层，有利于提升网络性能，且不增加网络复杂度；另一方面，加入如图3所示的级联残差注意力模块(CascadingResidualAttention,CRA)，将通道注意力与空间注意力级联，并构成残差注意力结构。由于宽激活残差块减少了主干道通道数，存在主干道信息量不足的问题，注意力模块能够在不加深网络层数的同时，使网络充分利用有限的特征信息，集中学习更富语义信息的区域，而忽略对背景、平滑区域等包含较少信息的区域的学习，从而获得更优的重建结果。在通道注意力中，对于尺寸为H×W的输入特征fWR，首先将其全局平均池化以获得全局信息，该操作可表示为：
其中，z表示全局池化的输出，fWR(i,j)代表fWR在位置(i,j)处的值。Sigmoid函数作为门函数置于上下采样卷积层之后，使网络分配更多权重学习高频细节，恢复图像质量，并将其结果与fWR相乘，得到通道注意力输出。
对于空间注意力，首先使用结合多尺度卷积核的空洞卷积代替常规卷积来增大感受野，以充分挖掘空间信息，同时，不同大小的卷积核创造了多尺度的图像特征，有利于网络性能的提升。设空间注意力中结合多尺度卷积核的空洞卷积输入为fCA，输出为v，则该过程可表示为：
v＝W5×5Re(W3×3fCA) (6)
其中，W5×5代表卷积核大小为5*5的空洞卷积层的权重，W3×3代表卷积核大小为3*3的空洞卷积层的权重，Re为线性整流函数(Rectified Linear Unit,ReLU)。输出特征v经过Sigmoid门函数后与输入特征fCA相乘，得到空间注意力结果。最后，将经过级联注意力模块的输出与注意力模块的输入相加，构成残差注意力结构，使网络能够敏感地捕捉特征中的微小变化，从而更易引起网络权重的更新，优化网络重建图像质量。
在步骤(2)中，使用压缩低分辨率图像Xi与低分辨率图像Bi构成图像对，作为训练样本训练步骤(1)中的去压缩效应子网络。在训练过程中，网络的损失函数LID定义为：
其中，N表示网络训练时的批尺寸大小，θID表示网络中可训练参数，HID为网络的映射函数。
在步骤(3)中，对于去噪后的低分辨率图像，构建一种基于增强注意力的超分辨率重建子网络，用于提升图像分辨率，得到高分辨率图像。如图1所示，超分辨率子网络将去压缩子网络的输出作为输入，在经过浅层特征提取、增强残差模块后，使用反卷积层扩大图像分辨率，同时得到重建结果图像。
所述步骤(4)中，使用低分辨率图像Bi与原始高分辨率图像Hi构成图像对，作为训练样本训练步骤(3)中的超分辨率重建子网络。在训练过程中，网络的损失函数LISR定义为：
其中，θISR表示网络中可训练参数，HISR为网络的映射函数。
所述步骤(5)中，将步骤(1)和步骤(3)构建的网络融合，构建一种端到端的基于增强注意力的压缩图像超分辨率网络，用于同时实现去压缩和超分辨率，即直接由压缩低分辨率图像得到去压缩高分辨率图像。所构建的网络结构如图1所示，是将步骤(1)和步骤(3)两个子网络进行级联，从而形成一个端到端的整体压缩超分网络。
所述步骤(6)中，利用训练图像集，在步骤(2)和步骤(4)的基础上，训练步骤(5)中构建的压缩超分网络。为了形成端到端的压缩超分网络，使其在应用中更灵活、易训练，对步骤(5)中构建的网络进行融合训练，其网络参数初始化为步骤(2)和步骤(4)中子网络对应的参数值，在训练过程中，网络损失函数LCS可表示为：
其中，HCS代表网络映射函数，θCS表示网络可训练参数。
所述步骤(7)中，在图像重建阶段，将压缩低分辨率图像作为输入，利用步骤(6)中训练出的网络，直接在输出端得到去除压缩噪声后的超分辨率重建图像。
为了更好地说明本发明方法的有效性，本发明在常用数据集Set5、Set14、B-100以及Urban-100上进行了不同压缩降质条件下的压缩超分测试。在实验时，首先将数据集中的图像进行2倍双三次下采样，然后再进行不同压缩质量因子(Quality Factor,QF)的压缩处理，以获得待测试的低分辨率压缩图像。在测试时，选取QF＝10,20,30,40四种不同的压缩条件，并与双三次插值方法以及三种先进的压缩超分方法对比，以证明本发明方法的普适性和优越性。
三种对比的压缩超分方法为：
方法1：Kim等人提出的方法与Zhang等人提出的方法的结合，参考文献“J.Kim,J.K.Lee,K.M.Lee,“Accurate image super-resolution using very deepconvolutional networks,”In Proceedings of the IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,volume 2016-December,pages 1646-1654,2016.”以及“K.Zhang,W.Zuo,Y.Chen,“Beyond a gaussian denoiser:Residual learning of deep cnn for image denoising,”IEEE Transactions on ImageProcessing,26(7):3142–3155,2017.”
方法2：Chen等人提出的方法，参考文献“H.Chen,X.He,C.Ren,“Cisrdcnn:Super-resolution of compressed images using deep convolutional neural networks,”Neurocomputing,285:204–219,2018.”
方法3：Chen等人提出的方法与Zhang等人提出的方法的结合，参考文献“H.Chen,X.He,L.Qing,“Dpw-sdnet:Dual pixel-wavelet domain deep cnns for soft decodingof jpeg-compressed images,”In IEEE Computer Society Conference on ComputerVision and Pattern Recognition Workshops,volume 2018-June,pages824–833,2018.”以及“Y.Zhang,K.Li,K.Li,“Image super-resolution using very deep residualchannel attention networks,”In European Conference on Computer Vision–ECCV2018,2018.”
表一给出了在不同压缩降质条件下，各个重建方法在不同数据集上的平均PSNR(Peak Signal to Noise Ratio，单位：dB)、SSIM(Structural SIMilarity)和IFC(Information Fidelity Criterion)参数值。从表中可以看出，本发明方法在不同降质下，都能在所有数据集上取得最优结果，且与对比方法相比有较大提升。
表一
同时，为了进行主观视觉效果对比，给出了测试图像“Ppt3”在QF＝20时的测试结果，如图4所示。图4(a)为原始“Ppt3”图像，图4(b)为双三次插值结果，图4(c)～(e)分别为方法1～方法3的重建结果，图4(f)为本发明方法重建结果。从结果图可以看出，对低分辨率压缩图像进行直接插值处理，压缩伪影会被当做图像细节放大，重建结果质量严重下降；方法1～方法3对图像质量均有不同程度的恢复，但是方法1仍存在明显的压缩噪声，边缘存在模糊现象，方法2和方法3边缘较为清晰，但图像细节受到破坏，如字母形状发生扭曲等。而本发明方法在去除噪声的同时，很好地保留了图像细节，同时恢复图像高频信息，获得了最好的重建质量。
此外，为了验证本发明方法在现实生活中的实用性，从互联网中随机下载一张压缩图像，对其进行压缩超分重建，并选取双三次插值作为对比，结果如图5所示。图5(a)为下载的低分辨率压缩图像，图5(b)为双三次插值结果，图5(c)为本发明重建结果。从图中可以看出，本发明方法的重建效果更好，说明本方法适用于低分辨率压缩图像的重建，在实际生活中具有实用性。综上所述，本发明是一种有效的单幅压缩图像超分辨率重建方法。
Claims (6)
1.基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于包括以下步骤：
步骤一：对于输入的低分辨率压缩图像，构建一种基于增强注意力的去压缩效应子网络，用于消除压缩伪影，得到去噪后的低分辨率图像；
步骤二：利用训练图像集，训练步骤一中构建的去压缩效应子网络；
步骤三：对于去噪后的低分辨率图像，构建一种基于增强注意力的超分辨率重建子网络，用于提升图像分辨率，得到高分辨率图像；
步骤四：利用训练图像数据集，训练步骤三中构建的超分辨率重建子网络；
步骤五：将步骤一和步骤三构建的网络融合，构建一种端到端的基于增强注意力的压缩图像超分辨率网络，用于同时实现去压缩和超分辨率，即直接由压缩低分辨率图像得到去压缩高分辨率图像；
步骤六：利用训练图像集，在步骤二和步骤四的基础上，训练步骤五中构建的压缩超分网络；
步骤七：在图像重建阶段，将低分辨率压缩图像作为输入，利用步骤六中训练出的网络直接重建出去除压缩噪声的高分辨率图像。
2.根据权利要求1所述的基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于步骤一所述的基于增强注意力的去压缩效应子网络，该网络通过在初始特征提取阶段对图像进行重叠块提取，并完全通过卷积层实现，这种特征提取方式从压缩图像的噪声特征出发，针对性地去除压缩伪影，并且增大图像感受野，使网络可以利用更多的图像信息进行预测重建；全卷积层的实现方法增加了网络的灵活性，使网络更加可训练。
3.根据权利要求1所述的基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于步骤一所述的去压缩效应子网络和步骤三种所述的超分辨率重建子网络，该网络中构建了一种增强残差模块，一方面利用宽激活残差块增强信息流动性，使网络在参数量不变的情况下获得更优性能，另一方面加入级联残差注意力模块，能使网络充分利用特征信息，弥补宽激活残差块中主干道信息量不足的问题。
4.根据权利要求1所述的基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于权利要求3中所述的级联残差注意力模块，将通道注意力与空间注意力级联后构成残差结构，这种注意力结构在利用通道间相关性的同时，对单通道内的空间信息进行充分学习，以最大限度的提高信息利用率。
5.根据权利要求1所述的基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于权利要求4中所述的级联残差注意力模块，其空间注意力采用结合多尺度卷积核的空洞卷积结构，一方面空洞卷积可以增大感受野，充分挖掘空间信息，同时，不同大小的卷积核创造了多尺度的图像特征，有利于网络性能的提升。
6.根据权利要求1所述的基于增强注意力网络的压缩图像超分辨率重建方法，其特征在于步骤五所述的端到端的基于增强注意力的压缩图像超分辨率网络，将去压缩子网络与超分辨率子网络融合，构建的网络可以同时实现去压缩和超分辨率两个任务，使其在应用中更灵活、易训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585043.6A CN113837935A (zh) | 2020-06-24 | 2020-06-24 | 基于增强注意力网络的压缩图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585043.6A CN113837935A (zh) | 2020-06-24 | 2020-06-24 | 基于增强注意力网络的压缩图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113837935A true CN113837935A (zh) | 2021-12-24 |
Family
ID=78964314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010585043.6A Pending CN113837935A (zh) | 2020-06-24 | 2020-06-24 | 基于增强注意力网络的压缩图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837935A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023154006A3 (en) * | 2022-02-10 | 2023-09-21 | Lemon Inc. | Method and system for a high-frequency attention network for efficient single image super-resolution |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140098886A1 (en) * | 2011-05-31 | 2014-04-10 | Dolby Laboratories Licensing Corporation | Video Compression Implementing Resolution Tradeoffs and Optimization |
| US20160323583A1 (en) * | 2014-01-09 | 2016-11-03 | Hitachi Kokusai Electric Inc. | Image processing device and moving image transmission method |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2020
- 2020-06-24 CN CN202010585043.6A patent/CN113837935A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140098886A1 (en) * | 2011-05-31 | 2014-04-10 | Dolby Laboratories Licensing Corporation | Video Compression Implementing Resolution Tradeoffs and Optimization |
| US20160323583A1 (en) * | 2014-01-09 | 2016-11-03 | Hitachi Kokusai Electric Inc. | Image processing device and moving image transmission method |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIAHUI YU等: "Wide Activation for Efficient and Accurate Image Super-Resolution" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023154006A3 (en) * | 2022-02-10 | 2023-09-21 | Lemon Inc. | Method and system for a high-frequency attention network for efficient single image super-resolution |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
| CN106709875B (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN108647775B (zh) | 基于全卷积神经网络单张图像的超分辨率图像重建方法 | |
| Zhao et al. | Invertible image decolorization | |
| CN107563965A (zh) | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN113362223A (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN112734645B (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统 | |
| CN111489305B (zh) | 基于强化学习的图像增强方法 | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| CN115829834A (zh) | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| CN110288529B (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
| CN115358929A (zh) | 压缩图像超分方法、图像压缩方法及系统 | |
| CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
| CN113962882B (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| CN111461976A (zh) | 基于高效轻量级坐标神经网络的图像超分辨率方法 | |
| CN113837935A (zh) | 基于增强注意力网络的压缩图像超分辨率重建方法 | |
| CN117132472B (zh) | 基于前向-反向可分离自注意力的图像超分辨率重建方法 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211224 |
|
| RJ01 | Rejection of invention patent application after publication |