CN115496652A - 基于多尺度通道金字塔残差注意的盲压缩图像超分重建 - Google Patents
基于多尺度通道金字塔残差注意的盲压缩图像超分重建 Download PDFInfo
- Publication number
- CN115496652A CN115496652A CN202110679946.5A CN202110679946A CN115496652A CN 115496652 A CN115496652 A CN 115496652A CN 202110679946 A CN202110679946 A CN 202110679946A CN 115496652 A CN115496652 A CN 115496652A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- network
- attention
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000007906 compression Methods 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 18
- 230000006835 compression Effects 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 230000006837 decompression Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000012636 effector Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 2
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000011156 evaluation Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000721047 Danaus plexippus Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 101000633607 Bos taurus Thrombospondin-2 Proteins 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 241000287530 Psittaciformes Species 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于多尺度通道金字塔残差注意的盲压缩图像超分重建。主要包括以下步骤：分别训练压缩图像QF值分段预测子网络，QF分段去压缩效应子网络，图像超分子网络，采用级联三个子网络形成端到端的网络进行训练。将JPEG算法压缩下采样后的图像作为输入，通过上面训练的网络模型，得到最终超分辨率后的图像。在图像超分辨率特征提取阶段加入高效的多尺度通道金字塔残差注意力将不同通道信息，同一通道不同深度的图像特征加以融合，以恢复更多高频信息。本发明所述的方法可以有针对性地抑制JPEG压缩图像的块效应，重建高分辨率图像，取得的主观视觉效果和客观评价指标说明本发明是一种有效的压缩图像超分辨率复原方法。
Description
技术领域
本发明涉及压缩图像超分辨率重建技术，具体涉及一种基于多尺度通道金字塔残差注意的盲压缩图像超分重建，属于数字图像处理领域的图像复原方向。
背景技术
随着互联网和视频技术的发展，人们对采集的图像质量有了更高的要求。然而，由于图像的退化过程是未知的，不同的高分辨率图像块有很多相似的低分辨率图像。从单一的低分辨率图像得到高分辨率图像的超分辨率问题是一个挑战。
为了节省带宽和数据存储空间，我们得到的图像大多进行了压缩，这不可避免地引入了图像块效应。如果直接对图像进行传统的超分辨率处理，压缩块伪影不可避免地会被放大。由于单幅图像的超分辨率重建存在不适定问题，需要一定的先验或巧妙设计算法(如预测图像退化信息)才能提升图像超分辨率的结果，我们将压缩图像超分辨率算法分成压缩图像QF值分段预测，QF分段去压缩效应和图像超分辨率子过程，分别进行训练，最后形成端到端的网络。在图像超分辨率特征提取阶段加入高效的多尺度通道金字塔残差注意力将不同通道信息加以融合，研究同一通道不同深度的图像特征关系，以恢复更多高频信息。
发明内容
本发明的目的是利用分类卷积神经网络预测压缩图像的质量因子，用高效的多尺度通道金字塔残差注意力来提取和融合低分辨率图像不同通道和同一通道的不同深度的图像信息，进而构建一种有效的基于质量因子预测的压缩图像超分辨率方法。
本发明提出的基于多尺度通道金字塔残差注意的盲压缩图像超分重建，主要包括以下操作步骤：
(1)针对未知质量因子的低分辨率压缩图像，提出盲压缩图像超分辨率模型，将压缩图像超分问题进行分解，得到一个压缩图像QF值分段预测子问题，一个QF分段去压缩效应子问题，一个图像超分子问题，并对这些问题分别求解；
(2)针对步骤(1)中所述的压缩图像QF值分段预测子问题，使用经过JPEG压缩算法生成的不同QF段的压缩图像作为训练集，设计并搭建QF模糊分类预测网络；
(3)针对步骤(1)中所述的QF分段去压缩效应子问题，设计并搭建QF分段去压缩效应网络，对不同QF段的压缩图像针对性训练不同去压缩效应模型；
(4)融合图像下采样约束，设计并搭建多尺度通道金字塔残差注意力的图像超分辨率卷积神经网络；
(5)将步骤(3)，步骤(4)设计的网络级联，形成端到端的压缩图像超分辨率网络进行联合训练；
(6)将未知QF值的压缩低质量图像作为输入，利用步骤(2)训练出的模型，得到压缩图像QF值的大致范围；
(7)将JPEG压缩图像作为输入，利用步骤(5)中训练的对应网络模型，结合最优化重建代价函数，得到高分辨率图像。
附图说明
图1是本发明基于多尺度通道金字塔残差注意的盲压缩图像超分重建的框图。
图2是压缩图像QF分段去压缩阶段有效密集连接通道注意力模块构成。
图3是图像超分辨率阶段多尺度通道金字塔残差注意模块构成。
图4是多尺度通道金字塔残差注意模块中多尺度通道金字塔注意力模块构成。
图5(a)是宽激活残差块(WARB)，图5(b)是增强型宽激活残差块(EWARB)。
图6是本发明与八种方法对测试图像“Bikes”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为10)：其中，图6(a)为测试图像，图6(b)(c)(d)(e)(f)(g)(h)(i)(j)分别为双三次插值、对比方法1、对比方法2、对比方法3、对比方法4、对比方法5、对比方法6、对比方法7、对比方法8及本发明的重建结果。
图7是本发明与八种方法对测试图像“Statue”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为20)：其中，图7(a)为测试图像，图7(b)(c)(d)(e)(f)(g)(h)(i)(j)分别为双三次插值、对比方法1、对比方法2、对比方法3、对比方法4、对比方法5、对比方法6、对比方法7、对比方法8及本发明的重建结果。
图8是本发明与八种方法对测试图像“Monarch”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为30)：其中，图8(a)为测试图像，图8(b)(c)(d)(e)(f)(g)(h)(i)(j)分别为双三次插值、对比方法1、对比方法2、对比方法3、对比方法4、对比方法5、对比方法6、对比方法7、对比方法8及本发明的重建结果。
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于多尺度通道金字塔残差注意的盲压缩图像超分重建，包括以下步骤：
(1)针对未知质量因子的低分辨率压缩图像，提出盲压缩图像超分辨率模型，将压缩图像超分问题进行分解，得到一个压缩图像QF值分段预测子问题，一个QF分段去压缩效应子问题，一个图像超分子问题，并对这些问题分别求解；
(2)针对步骤(1)中所述的压缩图像QF值分段预测子问题，使用经过JPEG压缩算法生成的不同QF段的压缩图像作为训练集，设计并搭建QF模糊分类预测网络；
(3)针对步骤(1)中所述的QF分段去压缩效应子问题，设计并搭建QF分段去压缩效应网络，对不同QF段的压缩图像针对性训练不同去压缩效应模型；
(4)融合图像下采样约束，设计并搭建多尺度通道金字塔残差注意力的图像超分辨率卷积神经网络；
(5)将步骤(3)，步骤(4)设计的网络级联，形成端到端的压缩图像超分辨率网络进行联合训练；
(6)将未知QF值的压缩低质量图像作为输入，利用步骤(2)训练出的模型，得到压缩图像QF值的大致范围；
(7)将JPEG压缩图像作为输入，利用步骤(5)中训练的对应网络模型，结合最优化重建代价函数，得到高分辨率图像。
具体地，所述步骤(1)中，搭建的卷积神经网络模型结构如图1所示。所构建模型由压缩图像QF值分段预测网络，QF分段去压缩效应网络，图像超分网络构成。
所述步骤(2)，在QF值分段预测网络中，该网络由8个卷积层和全连接层共同组成，每层卷积的卷积核都为3×3，卷积层的输出通道数每两层扩大一倍，且在移动步长为2的卷积层上进行图像块尺寸的缩减，采用随机裁剪的方式，从待测压缩图像中提取9个固定大小为128×128的图像块，将其输入QF预测网络中，每经过两层卷积后，图像块尺寸缩减为原尺寸的一半。经过Conv8卷积输出后的特征矩阵，被展平为一维特征向量输入到全连接层中，最后经Softmax激活函数处理后输出。具体地，将该网络的参数统一设置为η，N张网络训练样本表示为{(X(1)，q(1)),...,(X(N)，q(N))}，其中，X(i)表示第i张输入的灰度图像样本块，q(i)表示该样本对应的真实QF值。使用
表示第k张输入图像块在全连接层FC2中的第n个激活值，图像块经过Softmax后的激活函数可以用下式表示为：
式中
为第k张输入图像的7维概率向量，它表示该图像在七个规定的QF节点上的概率。使用交叉熵损失函数对网络进行优化训练，该过程可表示为：
最后经Softmax激活函数处理一维特征向量后输出网络预测得到的最终QF值，以实现对待测图像真实QF结果的近似代替。
所述步骤(3)中，QF分段去压缩效应子问题可分为三部分：浅层特征提取，跨通道信息融合及通道注意力增强模型，图像重建过程。初始图像特征提取HFE1用于生成浅层特征进行深度学习，为网络提供更广阔的感受野。密集连接通道注意HDCEA充分利用初始特征，有效降低压缩噪声。最后，重建模块HREC将去除压缩伪影后的图像向量重建为图像。具体来说，提取图像的浅层特征可以用下式表示：
F0＝HFE1(X)
其中HFE1为初始特征提取，是通过将JPEG压缩图像用步长为2的卷积重叠取块来实现的，然后将F0作为后一层的输入，用于生成深度特征进行图像恢复。
Fr＝HDCEA(F0)
其中HDCEA为密集连接的通道注意模块，Fr为DCEA的输出。最后，图像向量通过重叠取块重建模块，获得无压缩伪影的LR图像，其表示为：
Z＝HREC(Fr)
密集连接通道注意(DCEA)模块将增强型宽激活残差块(EWARB)的输出fWR作为输入，其中EWARB的结构如图5(b)所示,卷积层C1,C4的输入和输出通道数均为64，卷积层C2的输入通道数为64，输出通道数为128，卷积层C3的输入通道数为128，输出通道数为64。EWARB在保持网络参数量和计算复杂度不变的情况下，提高了信息传输效率，DCEA是将一个有效的通道注意(ECA)和密集连接的空洞卷积级联，以充分利用特征信息。ECA模块自适应选择一维卷积核大小，确定信息局部跨通道交互的覆盖范围，密集连接通道注意的输出由下式表示:
fDCEA＝HDCEA(fWR)+fWR
本发明ECA模块将卷积核大小取为5，然后在高维通道和低维通道之间进行信息交换和融合。最后，通过以下方法进行密集连接信息提取和增强：
v＝Ffir(fECA)+W5×5(W3×3(Re(Ffir(fECA))))+Re(W5×5(W1×1(FIFEB)))
其中，FIFEB＝W5×5(W3×3(Re(Ffir(fECA))))是信息交换和融合模块，fECA代表ECA模块的输出，W3×3表示卷积核为3×3空洞卷积的权值，W5×5表示卷积核为5×5的空洞卷积的权值，W1×1表示卷积核为1×1大小的普通卷积的权值。
所述步骤4中，图像超分辨率子过程分为三部分：初始特征提取，多尺度通道金字塔残差注意特征提取，亚像素卷积层重建。特征提取的目的是形成超分辨率的初始特征，多尺度通道金字塔残差注意力被用于预测高频细节，提高视觉质量，最后亚像素卷积层生成最终的超分重建图像作为输出。我们通过一个卷积层来提取图像的浅层特征：
FSR＝HFE2(Z)
式中HFE2代表提取浅层特征的卷积操作。
然后我们将浅层特征通过级联的宽激活残差块(WARB)和多通道金字塔残差注意力，进行深层特征的提取和增强，HMCPRA表示多尺度通道金字塔残差注意(MCPRA)函数。fWR代表MCPRA的输入，也是WARB的输出，这直接在网络中形成了一个残差结构，HMCPRA是由通道注意力和金字塔残差注意级联组成的，最后与低分辨率图像的浅层特征相加得到最后的输出fCCPRA：
fCCPRA＝HMCPRA(fWR)+fWR
在通道注意力中，首先引入全局平均池化层(GAP)，利用特征映射的全局信息更多地关注低分辨率图像最有价值的信息。设p为GAP的输出，
其输入fWR的大小为H×W，通道注意力模块的输出可表示为下式:
u＝s(Wu Re(Wdp))
其中s()和Re()表示sigmoid和ReLU函数，Wu和Wd表示上下采样通道卷积的权重，我们可以得到通过通道注意模块后的fCA：
fCA＝u×fWR
尽管通道注意力和金字塔残差注意力机制都有它们各自的优点，但他们也有自己的缺点，通道注意力可以探索不同通道之间的关系，但在同一通道中，不同深度的信息具有不同的依赖性，所以我们在通道注意力后面级联一个金字塔注意力，最后将金字塔注意力的输出与输入相乘，这个多尺度通道金字塔残差注意力模块可以用下式表示为
H(x)＝(1+M(fCA)+P1(P2(fCA)))×V(fCA)
其中H(x)表示输出特征，x表示原始特征，V表示卷积操作，M是注意力掩模训练得到的参数，P1和P2是两层金字塔网络的参数，MCPRA将通道注意力和金字塔残差注意力机制级联后可以提取到比单个注意力更多的信息从而提升网络的表现能力。
图像超分辨率过程，给定训练集
Di，Hi分别表示低分辨率和高分辨率图像，图像超分辨率的损失函数可以表示为：
其中ΘISR代表图像超分辨率网络中所有可训练的参数，HISR代表网络的映射函数。
所述步骤(5)中，将三个网络分别训练，输入未知质量因子的图像到QF模糊分类预测网络模型中，得到压缩图像的QF值，将QF分段去压缩网络和图像超分辨率网络级联形成端到端的网络，将压缩图像输入对应QF值去压缩端到端网络中得到最后图像盲超分辨率重建结果。
为了更好地说明本发明的有效性，我们从公共数据集Set12和Set14中选择了10张测试图片(包括Bikes,Circuit,House,Leaves,Monarch,Parrots,Peppers，Statue，Woman,Zebra)。模拟经JPEG压缩的低分辨率图像的生成方式,用双三次插值方法对高分辨率测试图像进行2倍下采样，然后用JPEG在不同压缩质量因子下对采样后的图像进行压缩，压缩后的图像即为待重建图像。
实验中，对比的压缩图像超分辨率重建方法为：
方法1：FSRCNN:Chao等人提出的方法，参考文献”D.Chao,C.L.Chen,andX.Tang.Accelerating the super-resolution convolutional neural network.InEuropean Conference on Computer Vision,2016.”
方法2：SRCDFOE：Jia等人提出的方法，参考文献”X.Jia,W.Chen,and X.Hu.Singleimage super-resolution in compressed domain based on field of expert prior.InImage and Signal Processing(CISP),2012 5th International Congress on,2012.”
方法3：ICDBSR：Li等人提出的方法，参考文献”T.Li,X.He,L.Qing,Q.Teng,andH.Chen.An iterative framework of cascaded deblocking and super-resolution forcompressed images.IEEE Transactions on Multimedia,2017.”
方法4：VDSR：Kim等人提出的方法，参考文献”J.Kim,J.K.Lee,andK.M.Lee.Accurate image super-resolution using very deep convolutionalnetworks.In IEEE Conference on Computer Vision&Pattern Recognition,2016.”
方法5：DNCNN-3+VDSR：Kai等人提出的方法DNCNN-3，参考文献”K.Zhang,W.Zuo,Y.Chen,D.Meng,and L.Zhang.Beyond a gaussian denoiser:Residual learning ofdeep cnn for image denoising.IEEE Transactions on Image Processing,26(7):3142–3155,2017.”Kim等人提出的方法VDSR，参考文献”J.Kim,J.K.Lee,andK.M.Lee.Accurate image super-resolution using very deep convolutionalnetworks.In IEEE Conference on Computer Vision&Pattern Recognition,2016.”
方法6：CISRDCNN：Chen等人提出的方法，参考文献”H.Chen,X.He,C.Ren,L.Qing,and Q.Teng.Cisrdcnn:Super-resolution of compressed images using deepconvolutional neural networks.NEUROCOMPUTING,285:204–219,2018.”
方法7：MEMNET+RCAN：Tai等人提出的方法MEMNET,参考文献”Y.Tai,J.Yang,X.Liu,and C.Xu.Memnet:A persistent memory network for image restoration.In2017IEEE International Conference on Computer Vision(ICCV),pages 4549–4557,Los Alamitos,CA,USA,oct 2017.IEEE Computer Society.”Zhang等人提出的方法RCAN，参考文献“Y.Zhang,K.Li,K.Li,L.Wang,B.Zhong,and Y.Fu.Image super-resolutionusing very deep residual channel attention networks.In Vittorio Ferrari,Martial Hebert,Cristian Sminchisescu,and Yair Weiss,editors,Computer Vision–ECCV 2018,pages 294–310,Cham,2018.Springer International Publishing.”
对比实验的内容如下：
表1，表2，表3分别用2倍下采样和质量因子(QFs)为10，20，30，40的JPEG算法对10幅测试图像降质后生成的低分辨率测试图像集，进行2倍去压缩超分重建。部分图像超分辨率重建结果如图6，图7，图8所示，重建图像的客观评价结果如表1到表3所示。PSNR(PeakSignal to Noise Ratio，单位dB)和SSIM(Structure Similarity Index)分别用来评价重建效果，PSNR/SSIM的数值越高表明重建效果越好。
表1 10幅测试图像的PSNR值比较(QF＝10或QF＝20，超分辨率×2)
表2 10幅测试图像的PSNR值比较(QF＝30或QF＝40，超分辨率×2)
表3 10幅测试图像的平均SSIM值比较(QF＝10,20,30,40，超分辨率×2)
从表1，表2和表3可以看出，本发明取得了较高的PSNR和SSIM。在图5中的“Bikes”测试图像中，本发明相比于对比方法能够重建出更清晰的文字“21”；在图6的“Statue”测试图像中，本发明重建雕像在头部纹理和细节方面更加逼真；在图7的“Monarch”测试图像中，本发明重建花瓣轮廓和纹理细节更加清晰。
综上所述，相比于对比方法，本发明的重建结果在主客观评价上都取得了较大的优势，因此本发明是一种有效的压缩图像超分辨率重建方法。
Claims (4)
1.基于多尺度通道金字塔残差注意的盲压缩图像超分重建，其特征在于包括以下步骤：
步骤一：针对未知质量因子的低分辨率压缩图像，提出盲压缩图像超分辨率模型，将压缩图像超分问题进行分解，得到一个压缩图像QF值分段预测子问题，一个QF分段去压缩效应子问题，一个图像超分子问题，并对这些问题分别求解；
步骤二：针对步骤一中所述的压缩图像QF值分段预测子问题，使用经过JPEG压缩算法生成的不同QF段的压缩图像作为训练集，设计并搭建QF模糊分类预测网络；
步骤三：针对步骤一中所述的QF分段去压缩效应子问题，设计并搭建QF分段去压缩效应网络，对不同QF段的压缩图像针对性训练不同去压缩效应模型，以对广泛QF范围内的压缩图像进行压缩效应的有效抑制；
步骤四：融合图像下采样约束，设计并搭建多尺度通道金字塔残差注意力的图像超分辨率卷积神经网络；
步骤五：将步骤三，步骤四设计的网络级联，形成端到端的压缩图像超分辨率网络进行联合训练；
步骤六：将未知QF值的压缩低质量图像作为输入，利用步骤二训练出的模型，得到压缩图像QF值的大致范围；
步骤七：将JPEG压缩图像作为输入，利用步骤五中训练的对应网络模型，结合最优化重建代价函数，得到高分辨率图像。
2.根据权利要求1所述的基于多尺度通道金字塔残差注意的盲压缩图像超分重建，其特征在于步骤二所述的QF分段预测分类网络：不同于传统的压缩图像基于深度学习的去压缩算法训练单个网络将压缩图像映射到无压缩效应的图像，本发明QF预测网络的输出不以单一图像块的预测结果作为网络的结果，而是通过提取9个不同的块输出QF节点中出现频率最高的QF值范围作为图像真实QF近似的结果，该子网络最后使用了sigmoid激活函数，最后选择对应节点的去压缩效应模型对图像去压缩。
3.根据权利要求1所述的基于多尺度通道金字塔残差注意的盲压缩图像超分重建，其特征在于步骤三所述的模糊QF分段去压缩网络：不同于单个QF值去压缩模型，QF分段去压缩网络将图像在JPEG编解码器中以QF为{1-10，11-20，…，51-60}和{61-100}共七个子段，生成不同段泛化网络的混合压缩样本集，训练相应QF段的密集连接有效注意力的去压缩网络，在网络构建中引入了宽激活残差块和有效通道密集连接注意力，宽激活残差块在保持网络参数量和计算复杂度不变的情况下，提高了信息传输效率，有效通道密集连接注意力在降低计算复杂度同时，捕获局部跨通道交互作用来获得最有价值的图像信息，并提高了信息利用率。
4.根据权利要求1所述的基于多尺度通道金字塔残差注意的盲压缩图像超分重建，其特征在于步骤四所述的基于多尺度通道金字塔残差注意力的图像超分辨卷积神经网络的搭建：本发明通过研究图像的降质过程，构建多尺度通道金字塔残差注意力网络,它是由一个通道注意力级联了一个多尺度金字塔残差注意力，这样网络不仅关注不同通道信息的关系，而且关注同一通道不同深度信息的依赖性，最后将不同金字塔层提取到的信息进行特征融合，重建高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679946.5A CN115496652A (zh) | 2021-06-18 | 2021-06-18 | 基于多尺度通道金字塔残差注意的盲压缩图像超分重建 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679946.5A CN115496652A (zh) | 2021-06-18 | 2021-06-18 | 基于多尺度通道金字塔残差注意的盲压缩图像超分重建 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115496652A true CN115496652A (zh) | 2022-12-20 |
Family
ID=84463955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110679946.5A Pending CN115496652A (zh) | 2021-06-18 | 2021-06-18 | 基于多尺度通道金字塔残差注意的盲压缩图像超分重建 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115496652A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117172134A (zh) * | 2023-10-19 | 2023-12-05 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法及系统 |
-
2021
- 2021-06-18 CN CN202110679946.5A patent/CN115496652A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117172134A (zh) * | 2023-10-19 | 2023-12-05 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法及系统 |
| CN117172134B (zh) * | 2023-10-19 | 2024-01-16 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN111127325B (zh) | 基于循环神经网络的卫星视频超分辨率重建方法及系统 | |
| CN109272452A (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
| Yang et al. | License plate image super-resolution based on convolutional neural network | |
| CN111489305B (zh) | 基于强化学习的图像增强方法 | |
| CN114463183A (zh) | 基于频域和空域的图像超分辨率方法 | |
| CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN115496652A (zh) | 基于多尺度通道金字塔残差注意的盲压缩图像超分重建 | |
| Yang et al. | Removing arbitrary-scale rain streaks via fractal band learning with self-supervision | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| CN113689370A (zh) | 基于深度卷积神经网络的遥感图像融合方法 | |
| Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction | |
| CN111080516A (zh) | 基于自样例增强的超分辨率图像重建方法 | |
| Mei et al. | Deep residual refining based pseudo‐multi‐frame network for effective single image super‐resolution | |
| CN115375537A (zh) | 非线性感知多尺度的超分辨率图像生成系统及方法 | |
| CN114764750B (zh) | 基于自适应一致性先验深度网络的图像去噪方法 | |
| CN114897883A (zh) | 基于ResNet50与双金字塔的红外与可见光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |