CN109978772A - 基于深度学习与双域互补的压缩图像复原方法 - Google Patents

基于深度学习与双域互补的压缩图像复原方法 Download PDF

Info

Publication number
CN109978772A
CN109978772A CN201711443341.6A CN201711443341A CN109978772A CN 109978772 A CN109978772 A CN 109978772A CN 201711443341 A CN201711443341 A CN 201711443341A CN 109978772 A CN109978772 A CN 109978772A
Authority
CN
China
Prior art keywords
compression
image
domain
deep learning
recovery method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711443341.6A
Other languages
English (en)
Other versions
CN109978772B (zh
Inventor
何小海
占文枢
任超
陈洪刚
熊淑华
卿粼波
滕奇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201711443341.6A priority Critical patent/CN109978772B/zh
Publication of CN109978772A publication Critical patent/CN109978772A/zh
Application granted granted Critical
Publication of CN109978772B publication Critical patent/CN109978772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于深度学习与双域互补的压缩图像复原方法。主要包括以下步骤:分别训练不同压缩因子下的像素域及小波域的去压缩卷积神经网络模型;采用融合层对双域去压缩后的图像进行互补训练。将压缩后的图像作为输入,通过上面训练的网络模型,得到最终的去压缩图像。本发明所述的方法可以有效地抑制JPEG压缩格式下图像的块效应,是一种有效的压缩图像复原方法。

Description

基于深度学习与双域互补的压缩图像复原方法
技术领域
本发明涉及压缩图像复原技术,具体涉及一种基于深度学习与双域互补的压缩图像复原的方法,属于数字图像处理领域。
背景技术
随着大数据时代的到来,有效地传输、存储数据成为广大研究学者研究的重点。JPEG有损压缩编码作为一种有效的图像压缩编码方式,因其简单高效而被广泛地应用于我们日常生活中。然而,经JPEG压缩的图像会存在明显的块效应,尤其在中低码率段,严重影响人们的视觉感受且不利于后续图像的处理。抑制块效应方法主要有两种:一种是通过特定的硬件设备实现抑制块效应;另一种是通过软件提升压缩图像的质量。通过特定硬件实现的方式,往往成本比较高,局限性强。因此,软件抑制块效应的技术成为了近年来图像处理的一个研究热点。
软件抑制块效应技术是一种后处理技术,主要的优点在于能够从压缩图像中抑制块效应而不改变现有的JPEG编码方式。此类方法大致分为基于图像增强的方法,基于重建的方法,以及基于学习的方法。其中,基于学习的方法,由于复原速度快和复原后的图像质量好,往往具有更多的实际意义。近年来,随着计算机技术的发展和设备的更新换代,基于卷积神经网络学习的方法取得了较大发展,相比之前的一些基于学习的方法,其学习效率高且能够更好地恢复压缩图像损失的细节信息。然而,现有的基于深度卷积神经网络的抑制块效应的方法,大多是从单个图像域学习,在复原图像的质量上还有进一步的提升的空间。
发明内容
本发明的目的是结合基于深度学习与双域互补的优点,进而构建一种有效的压缩图像复原方法。
本发明提出的基于深度学习与双域互补的压缩图像复原方法,主要包括以下操作步骤:
(1)分别训练不同压缩因子下像素域及小波域的去压缩卷积神经网络模型;
(2)利用(1)中模型,提取像素域及小波域处理后的去压缩图像,利用融合层进一步优化训练;
(3)将压缩后的图像作为输入,结合步骤(1),(2)训练出的卷积神经网络模型,得到最终的去压缩图像。
附图说明
图1是本发明基于深度学习与双域互补的压缩图像复原方法的原理框图。其中,(a)为本发明原理框图,(b)为残差单元,(c)为融合层图解说明
图2是本发明与另外六种方法对压缩图像“barbara”去压缩效应结果的对比图
图3是本发明与另外六种方法对压缩图像“rapids”去压缩效应结果的对比图
图4是本发明与另外六种方法对压缩图像“cemetry”去压缩效应结果的对比图
具体实施方式
下面结合附图对本发明作进一步说明:
图1中,基于深度学习与双域互补的压缩图像复原方法,具体可以分为以下几个步骤:
(1)分别训练不同压缩因子下像素域及小波域的去压缩卷积神经网络模型;
(2)利用(1)中模型,提取像素域及小波域处理后的去压缩图像,利用融合层进一步优化训练;
(3)将压缩后的图像作为输入,结合步骤(1),(2)训练出的卷积神经网络模型,得到最终的去压缩图像。
具体地,所述步骤(1)中,进行训练的像素域及小波域的卷积神经网络模型如图1中上、下两支路所示。其大致结构基本相同,均包含16层网络。其中包括6个本发明提出的残差模块如图1中(b)所示。
对于像素域去压缩的过程,首先利用第一层卷积层对压缩图像进行特征提取,然后经过中间非线性映射层将提取的特征进行非线性映射得到更高维度的特征。最后利用最后一个卷积层将前面的高维特征进行组合,进而得到像素域去压缩的图像。在训练阶段,我们首先对训练图库进行压缩,将压缩图库与原始图库作为一组训练库,利用本发明所构建的网络,采用最小化二范数损失函数(均方误差)来更新卷积神经网络的中卷积核参数。其过程可用式(1)表示
其中yj为原始图像,f(xj,w)为网络的输出图像,xj为压缩图像,w为卷积神经网络中卷积核参数。j为卷积神经网络当前批处理的个数,本发明设为64。
对于小波域的去压缩效应过程,首先对压缩图像进行小波域变换,得到压缩图像的小波系数,利用卷积神经网络对压缩后的系数进行更新修复,最后对修复后的小波系数进行反变换即可得到小波域去压缩的图像。小波域去压缩过程是对像素域的一个重要补充,该补充能够有效地提高像素域卷积神经网络在低码率段恢复图像边缘细节信息能力。
小波域训练过程与像素域类似,首先需要对压缩图像x进行小波变换得到压缩图像的四个频域系数CLL,CHL,CLH和CHH,然后再利用卷积神经网络训练频域系数进而得到恢复的系数。在神经网络的输出端得到的四个修复的频域系数DLL,DHL,DLH和DHH,经小波反变换得到最终的小波域去压缩图像。其过程可以表示为
{CLL,CHL,CLH,CHH}=dwt{x} (2)
y2=idwt{DLL,DHL,DLH,DHH} (4)
其中dwt和idwt分别表示小波正、反变换,N表示所用到的卷积神经网络模型,θ表示卷积神经网络中卷积核参数,y2表示小波域去压缩图像。
所述步骤(2)中,提取步骤(1)中得到的小波域及像素域去压缩的图像,利用融合层进行优化融合。融合层的图解说明如图1(c)所示。具体地,首先对小波域及像素处理的图像进行连接操作,然后再将其输入到融合层进行融合,进而得到最终的去压缩图像。不同于以往的简单的均值融合方式,本发明提出的融合有效地利用了卷积神经网络中卷积层的特性,通过训练让其自动融合,实验证明该方法能够充分地利用小波域来恢复压缩图像高频信息上。该融合过程可以用下式表示
H=λ1×y12×y2 (5)
式中,λ1和λ2为融合层参数,可通过学习的方式获得。y1和y2分别表示为像素域及小波域的去压缩图像。
所述步骤(3)中,将压缩图像输入到步骤(1)和(2)训练的网络模型中,得到最终的去压缩结果。
通过实验论证,本发明的深度卷积神经网络可以充分地结合像素域恢复低频信息能力以及小波域恢复高频信息的能力来抑制压缩图像的块效应。尤其在中低码率段,经JPEG压缩的图像出现严重的块效应,单纯地从像素域来抑制块效应的同时,还要进一步提升高频信息是非常困难的。本发明提出的频域(小波域)的方法,能够保证在抑制块效应的同时,又能够获得更多高频信息。
为了更好地说明本发明的有效性,在常用测试图库“Classic5”(早期传统去压缩算法提出的图库,其中包含5幅经典图像)和“LIVE1”(近年来深度学习去压缩算法常用的图库,其中包含29幅图像)进行试验。模拟压缩图像的生成方式:使用MTALAB中JPEG编解码器分别对两个测试图库进行质量因子为10,20,30和40的压缩来生成压缩图像库。实验中,选取6种典型的图像去压缩算法作为对比方法,其中方法1到方法3为传统算法,方法4到方法6为深度学习算法且为单像素域的复原算法。
对比的图像去压缩算法为:
方法1:Dabov等人提出的方法,参考文献“Dabov K,Foi A,Katkovnik V,etal.Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080.”。
方法2:Liu等人提出的方法,参考文献“Liu X,Wu X,Zhou J,et al.Data-drivensparsity-based restoration of JPEG-compressed images in dual transform-pixeldomain[J].2015:5171-5178.”。
方法3:Zhang等人提出的方法,参考文献“Zhang J,Xiong R,Chen Z,etal.CONCOLOR:Constrained Non-Convex Low-Rank Model for Image Deblocking[J].IEEE Transactions on Image Processing A Publication of the IEEE SignalProcessing Society,2016,25(3):1246.”。
方法4:Dong等人提出的方法,参考文献“Dong C,Deng Y,Chen C L,etal.Compression Artifacts Reduction by a Deep Convolutional Network[C].IEEEInternational Conference on Computer Vision.IEEE,2015:576-584.”。
方法5:Chen等人提出的方法,参考文献“Chen Y,Pock T.Trainable nonlinearreaction diffusion:A flexible framework for fast and effective imagerestoration[J].IEEE transactions on pattern analysis and machineintelligence,2017,39(6):1256-1272.”。
方法6:Zhang等人提出的方法,参考文献“Zhang K,Zuo W,Chen Y,et al.Beyonda Gaussian Denoiser:Residual Learning of Deep CNN for Image Denoising.[J].IEEE Transactions on Image Processing,2017,PP(99):1-1.”。
对比实验的内容如下:
实验1,用JPEG质量因子(QFs)为10,20,30和40对测试图库“Classic5”进行压缩,方法1到方法6以及本发明对压缩后的图库进行去压缩测试。其中方法5的作者只提供QFs为10,20和30时的训练模型,所以表一中只列出该方法上述3种情况下的比较。图像去压缩的部分实验结果图如图2和图4所示,去压缩结果的客观评价参数如表一所示。其中客观评价参数采用PSNR(Peak Signal to Noise Ratio)、SSIM(Structure Similarity Index)以及PSNR-B。PSNR-B是针对于压缩图像质量而设计的评价标准。三个参数的数值越高表明去压缩效果越好。表一展示了对比方法及本发明在Classic5测试图库上评价指标的平均值。
表一
实验2,用JPEG质量因子(QFs)为10,20,30和40对测试图库“LIVE1”进行压缩,方法1到方法6以及本发明对压缩后的图库进行去压缩测试。其中方法5的作者只提供QFs为10,20和30时的训练模型,同样地,表二中只列出该方法上述3种情况下的比较。图像去压缩的部分实验结果图如图3所示,去压缩结果的客观评价参数如表二所示。其中客观评价参数采用PSNR(Peak Signal to Noise Ratio)、SSIM(Structure Similarity Index)以及PSNR-B。PSNR-B是针对于压缩图像质量而设计的评价标准。三个参数的数值越高表明去压缩效果越好。表二展示了对比方法及本发明在“LIVE1”测试图库上评价指标的平均值。
表二
从表一及表二所示的客观参数上看,在测试图库“Classic5”和“LIVE1”上本发明均取得了较高的PSNR和SSIM值。
图2展示了“Classic5”中的图像在QFs为10时的去压缩结果。在图2中,由于高压缩比的情况下,JPEG压缩带来的块伪影十分严重,如图2中妇女的头饰,其他的对比方法很难区分该伪影是否为真实图像的一部分,因此在最终的去压缩图像都含有较为明显的伪影。此外,大部分方法在抑制块效应的过程中,容易将原始边缘信息模糊掉。相比于对比的方法,本发明具有明显地抑制伪影能力,而且在高频细节保留上也有不错的效果。
图3,图4展示了“LIVE1”中的不同图像在QFs为10时去压缩结果。同样,在图3和图4中的字母上,本发明也表现出更好的去压缩效应效果。
综上所述,相比于对比方法,本发明的去压缩效应结果在主客观评价上都有很大优势。因此,本发明是一种有效的压缩图像复原方法。

Claims (4)

1.基于深度学习与双域互补的压缩图像复原方法,其特征在于包括以下步骤:
步骤一:分别训练不同压缩因子下像素域及小波域的去压缩卷积神经网络模型;
步骤二:利用(1)中模型,提取像素域及小波域处理后的去压缩图像,利用融合层进一步优化训练;
步骤三:将压缩后的图像作为输入,结合步骤(1),(2)训练出的卷积神经网络模型,得到最终的去压缩图像。
2.根据权利要求1所述的基于深度学习与双域互补的压缩图像复原方法,其特征在于步骤一中所述的去压缩卷积神经网络模型。该模型不同于传统的基于卷积神经网络的单像素域去压缩模型,由于本发明能够利用频域(小波域)补充高频信息,从而弥补了以往像素域在高压缩比情况下恢复细节信息较难的不足。
3.根据权利要求1所述的基于深度学习与双域互补的压缩图像复原方法,其特征在于步骤一中所述的去压缩卷积神经网络模型。该模型中使用了提出的残差模块,该残差模块是由两个卷积层和一个激励层(ReLU)组成。残差模块能够有效地提升卷积神经网络的收敛速度,同时能够避免层数较多时梯度消失的问题。
4.根据权利要求1所述的基于深度学习与双域互补的压缩图像复原方法,其特征在于步骤二中所述的融合层。本发明中利用融合层来实现像素域和小波域的融合。广义地说,融合层可以实现两种或多种不同方法的融合,包括以前的传统方法或者现在基于深度学习的方法。假设存在N种不同的方法,而这些方法又彼此能够互补,则最终的输出可表示为其中λi为学习到的权重,yi为不同方法的输出。当N比较大时,权重的来源单靠手动调节就比较繁琐而且可能不太精确,本发明利用卷积神经网络中的卷积层来学习权重,能够更准确地学习到适合自然图库的融合权重。
CN201711443341.6A 2017-12-27 2017-12-27 基于深度学习与双域互补的压缩图像复原方法 Active CN109978772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711443341.6A CN109978772B (zh) 2017-12-27 2017-12-27 基于深度学习与双域互补的压缩图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711443341.6A CN109978772B (zh) 2017-12-27 2017-12-27 基于深度学习与双域互补的压缩图像复原方法

Publications (2)

Publication Number Publication Date
CN109978772A true CN109978772A (zh) 2019-07-05
CN109978772B CN109978772B (zh) 2023-04-11

Family

ID=67071537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711443341.6A Active CN109978772B (zh) 2017-12-27 2017-12-27 基于深度学习与双域互补的压缩图像复原方法

Country Status (1)

Country Link
CN (1) CN109978772B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519595A (zh) * 2019-08-08 2019-11-29 浙江大学 一种基于频域量化损失估计的jpeg压缩图像复原方法
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
CN112801889A (zh) * 2021-01-06 2021-05-14 携程旅游网络技术(上海)有限公司 图像去噪方法、系统、设备及存储介质
CN113096019A (zh) * 2021-04-28 2021-07-09 中国第一汽车股份有限公司 图像重建方法、装置、图像处理设备及存储介质
CN113225590A (zh) * 2021-05-06 2021-08-06 深圳思谋信息科技有限公司 视频超分增强方法、装置、计算机设备和存储介质
CN114723614A (zh) * 2021-01-05 2022-07-08 四川大学 基于小波域admm深度网络的图像复原方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙旭等: "基于深度学习的图像超分辨率复原研究进展", 《自动化学报》 *
熊回香: "数字图书馆中的数字图像处理技术", 《情报杂志》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519595A (zh) * 2019-08-08 2019-11-29 浙江大学 一种基于频域量化损失估计的jpeg压缩图像复原方法
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
CN114723614A (zh) * 2021-01-05 2022-07-08 四川大学 基于小波域admm深度网络的图像复原方法
CN114723614B (zh) * 2021-01-05 2023-05-09 四川大学 基于小波域admm深度网络的图像复原方法
CN112801889A (zh) * 2021-01-06 2021-05-14 携程旅游网络技术(上海)有限公司 图像去噪方法、系统、设备及存储介质
CN113096019A (zh) * 2021-04-28 2021-07-09 中国第一汽车股份有限公司 图像重建方法、装置、图像处理设备及存储介质
CN113225590A (zh) * 2021-05-06 2021-08-06 深圳思谋信息科技有限公司 视频超分增强方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109978772B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN109978772A (zh) 基于深度学习与双域互补的压缩图像复原方法
CN108932697B (zh) 一种失真图像的去失真方法、装置及电子设备
CN109120937B (zh) 一种视频编码方法、解码方法、装置及电子设备
CN111292259A (zh) 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN113822147B (zh) 一种协同机器语义任务的深度压缩方法
CN112261414B (zh) 一种以注意力机制融合单元划分的视频编码卷积滤波方法
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN111866521A (zh) 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
CN112188217B (zh) 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法
CN116416156A (zh) 一种基于Swin Transformer的医学图像去噪方法
Shen et al. Dec-adapter: Exploring efficient decoder-side adapter for bridging screen content and natural image compression
Gao et al. Deep enhancement for 3D HDR brain image compression
Sadreazami et al. Data-adaptive color image denoising and enhancement using graph-based filtering
Peng et al. Lightweight Adaptive Feature De-drifting for Compressed Image Classification
Zhang et al. CFPNet: A denoising network for complex frequency band signal processing
CN114173130B (zh) 一种适用于低码率条件的深度神经网络的环路滤波方法
CN114189695B (zh) 一种基于gan的hevc压缩视频视觉感知提升方法
CN117391988A (zh) 结合降质信息的图像盲去噪深度拟合框架
Boudechiche et al. Ensemble leaning-CNN for reducing JPEG artifacts
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
CN115278249B (zh) 基于视觉自注意力网络的视频块级率失真优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant