CN111818345B - 一种联合先验模型和细节增强的图像去压缩方法 - Google Patents
一种联合先验模型和细节增强的图像去压缩方法 Download PDFInfo
- Publication number
- CN111818345B CN111818345B CN201910290131.0A CN201910290131A CN111818345B CN 111818345 B CN111818345 B CN 111818345B CN 201910290131 A CN201910290131 A CN 201910290131A CN 111818345 B CN111818345 B CN 111818345B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- quantization
- model
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种联合先验模型和细节增强的图像去压缩方法。主要包括以下步骤:针对JPEG压缩图像,建立高斯量化噪声模型构建数据项;构建基于形状自适应低秩先验和量化约束先验的去块模型;构建基于稀疏表示的细节增强方法;在最大后验框架下,建立本发明联合先验模型和细节增强的图像去压缩的优化函数;用奇异值阈值和凸二次最小化求解优化函数,重建出去压缩图像。本发明所述的图像去压缩方法重建出来的图像不仅去除了视觉上令人讨厌的块效应,并且保留有丰富的细节信息,在客观评价参数上也具有优越的性能。本发明方法是一种有效的图像去压缩方法。
Description
技术领域
本发明涉及一种联合先验模型和细节增强的图像去压缩方法,属于图像处理领域。
背景技术
JPEG是最常用的图像压缩标准,它能在减小传输数据量的同时获得最佳的图像效果。然而,由于编码过程中的分块及独立量化,在压缩图像中通常会引入视觉上令人讨厌的块效应,严重影响图像信号的主观质量及利用价值,尤其是在低比特率情况下。图像去压缩是一种经典但仍然具有吸引力的研究领域,能在不改变原始编码标准的情况下减少压缩效应并提高图像质量。减少压缩过程中产生的块效应是一种不适定的图像逆问题。不同的图像先验与自然图像的不同结构和统计信息相关,因此可以通过低秩先验来解决去压缩效应问题。传统的低秩最小化方法可以在一定程度上去除块效应,但是它们提取的普通方块不能很有效的分离噪声和信号,容易产生模糊边缘,并在增强图像细节方面仍有改进空间。
发明内容
本发明的目的是针对现有的低秩最小化去压缩方法的不足,提出一种联合先验模型和细节增强的图像去压缩方法。
本发明提出的联合先验模型和细节增强的图像去压缩方法,主要包括以下操作步骤:
(一)针对JPEG压缩图像,建立高斯量化噪声模型构建数据项;
(二)构建基于形状自适应低秩先验和量化约束先验的去块模型;
(三)构建基于稀疏表示的细节增强方法;
(四)在最大后验框架下,建立本发明联合先验模型和细节增强的图像去压缩的优化函数;
(五)用奇异值阈值和凸二次最小化求解优化函数,重建出去压缩图像。
附图说明
图1是本发明联合先验模型和细节增强的图像去压缩方法的框图
图2是本发明与三种方法对图像“Leaves”在质量因子为10时的去压缩结果对比图
图3是本发明与三种方法对图像“Bike”在质量因子为15时的去压缩结果对比图
图4是本发明与三种方法对图像“Cameraman”在质量因子为20时的去压缩结果对比图
具体实施方式
一种联合先验模型和细节增强的图像去压缩方法主要包含以下步骤:
(一)针对JPEG压缩图像,建立高斯量化噪声模型构建数据项;
(二)构建基于形状自适应低秩先验和量化约束先验的去块模型;
(三)构建基于稀疏表示的细节增强方法;
(四)在最大后验框架下,建立本发明联合先验模型和细节增强的图像去压缩的优化函数;
(五)用奇异值阈值和凸二次最小化求解优化函数,重建出去压缩图像。
具体地,所述步骤(一)中的高斯量化噪声模型为:
所述步骤(二)中构建基于形状自适应低秩先验和量化约束先验的去块模型。该方法包含以下步骤:
第三步,本发明中的形状自适应低秩先验将形状自适应块应用于压缩图像的低秩近似,以确保数据更稀疏并保留图像边缘。使用基于各向异性局部多项式逼近—置信区间的交集的各向异性自适应邻域,作为形状自适应块的支持。为了方便表示,将A(·)表示为提取形状自适应块,即有
第四步,为了获得更准确的估计并避免过度平滑,对DCT系数进行量化约束。定义y是x的JPEG压缩图像,Xd是x的频率域系数,Yd是y的频率域系数,u,v分别代表其水平方向频率和垂直方向频率,Q是量化矩阵。量化误差满足如下关系:
其中,μ(0<μ<1)是比例系数。量化区域的下限和上限可以表示为:
从而可以得到量化约束集S,公式如下:
所述步骤(三)中构建基于稀疏表示的细节增强方法的步骤为:
第一步,在训练阶段,首先用JPEG标准压缩每个原始训练图像,然后使用上述去块模型获得相应的解压缩图像。
第二步,引入脊回归并使用训练样本邻域训练稀疏字典Dl,在l2范数的约束下表示为:
其中,yk是解压缩图像的特征块,Nl包含与yk匹配的字典Dl原子的K个最近训练样本,字典原子和训练样本之间的距离用欧几里德距离测量。λ是正则化参数,β为希望得到的稀疏系数。这个最小二乘问题的解为:
假设解压缩图像字典和原始图像字典之间存在相同的稀疏系数,可以得到映射矩阵M:
其中,Nh是训练集中对应于Nl的细节图像样本邻域。
第四步,整合图像细节块,平均重叠区域以获取最终恢复的图像。
所述步骤(四)中的在最大后验框架下,联合先验模型和细节增强的图像去压缩的优化函数为:
所述步骤(五)中优化函数求解步骤如下:
第一步,公式(13)上面的方程式可分解为一下两个子问题:
其中,Dτ是具有正阈值τ的对角矩阵Σ的软阈值算子。τ随着迭代次数而自适应更新。
第三步,求解x子问题。公式(15)为严格凸二次最小化问题,将梯度设置为0,得到无约束条件下的解为:
为了检验本发明所述的去压缩效应方法的性能,在三张常用测试图像上进行了去压缩效应测试实验,即“Leaves”,“Bike”,“Cameraman”。首先将图像进行JPEG压缩,质量因子分别为10,15,20。对比方法选取三种图像去压缩方法。实验结果如图2、图3及图4所示。其中,(a)为原始测试图像,(b)(c)(d)(e)(f)分别为JPEG、对比方法1、对比方法2、对比方法3及本发明中的去压缩方法的处理结果。
三种图像去压缩方法分别为:
方法一:Gu等人提出的方法,参考文献“S.Gu,L.Zhang,W.Zuo,and X.Feng,Weighted nuclear norm minimization with application to image denoising.inProc.IEEE Int.Conf.Comput.Vis.Pattern Recognit.,2014,pp.2862–2869.”。
方法二:Liu等人提出的方法,参考文献“X.Liu,X.Wu,J.Zhou,and D.Zhao,Data-driven soft decoding of compressed images in dual transform-pixel domain.IEEETrans.Image Process.,vol.25,no.4,pp.1649–1659,2016.”。
方法三:Zhang等人提出的方法,参考文献“J.Zhang,R.Xiong,C.Zhao,Y.Zhang,S.Ma,and W.Gao,CONCOLOR:Constrained non-convex low-rank model for imagedeblocking,IEEE Trans.Image Process.,vol.25,no.3,pp.1246–1259,2016.”。
去压缩效应实验内容如下:
实验一:利用JPEG对测试图像“Leaves”进行压缩,质量因子为10。压缩结果为去压缩方法的输入图像。“Leaves”原始图像、JPEG压缩结果、各对比方法及本发明方法的处理结果分别如图2(a)、图2(b)、图2(c)-(e)及图2(f)所示。
实验二:利用JPEG对测试图像“Bike”进行压缩,质量因子为15。压缩结果为去压缩方法的输入图像。“Bike”原始图像、JPEG压缩结果、各对比方法及本发明方法的处理结果分别如图3(a)、图3(b)、图3(c)-(e)及图3(f)所示。
实验三:利用JPEG对测试图像“Cameraman”进行压缩,质法及本发明方法的处理结果分别如图4(a)、图4(b)、图4(c)-(e)及图4(f)量因子为20。压缩结果为去压缩方法的输入图像。“Cameraman”原始图像、JPEG压缩结果、各对比方所示。
几组对比实验结果表明,JPEG压缩图像中存在非常严重的块效应,严重影响主观视觉效果;方法1可以在一定程度上减少块效应,但在平滑区域仍然留有明显的块效应;从方法2和方法3的结果可以看出比方法1的效果好,但是在边缘区域仍然存在模糊;本发明方法不仅可以有效的去除令人讨厌的块效应,并且能够恢复更清晰的边缘和更多细节。
为了客观的评估本发明方法,以峰值信噪比(PSNR:Peak Signal to NoiseRatio)和结构相似度(SSIM:Structure Similarity Index)作为客观评价标准,表一展示了各种方法的PSNR和SSIM值。
表一说明了对于两种客观标准,本发明都具有最高的值。对于图像“Leaves”、“Bike”以及“Cameraman”,本发明的PSNR值比方法3分别高出0.51dB、0.59dB以及0.49dB,SSIM值比方法3分别高出0.0064、0.0125以及0.0040。
综上所述,本发明无论在主观视觉或是在客观评价标准都有明显的优势。因此本发明是一种有效的去压缩方法。
表一
Claims (1)
1.一种联合先验模型和细节增强的图像去压缩方法,其特征在于包括以下步骤:
步骤一:针对JPEG压缩图像,建立高斯量化噪声模型构建数据项;具体地,高斯量化噪声模型为:
步骤二:构建基于形状自适应低秩先验和量化约束先验的去块模型;具体地,对于给定压缩图像y,首先将其划分成许多重叠的m×m个图像块,在W×W搜索窗口内寻找c个最相似的块以形成块组Gi,将所有图像块堆叠为矩阵 表示从图像y中提取块组的操作;然后,基于步骤一中的量化噪声模型,将从压缩图像矩阵中估计原始图像矩阵的问题表示为:此处表示压缩噪声矩阵,表示压缩噪声方差,γ是一个正常数,定义为: 表示的第j个奇异值,m2为上述重叠的m×m图像块总个数,c为块组Gi中的相似块个数;其次,使用基于各向异性局部多项式逼近—置信区间的交集的各向异性自适应邻域获得形状自适应块,将其应用于压缩图像的低秩近似;用A(·)表示提取形状自适应块,则可进一步将上述问题表示为:最后,为了获得更准确的估计并避免过度平滑,选择对DCT系数进行量化约束,得到量化约束集S对结果做一个额外约束;
步骤三:构建基于稀疏表示的细节增强方法;具体地,首先用JPEG标准压缩每个原始训练图像,然后用上述步骤二的去块模型获得相应的解压缩图像,引入脊回归并使用训练样本邻域训练稀疏字典Dl,在l2范数的约束下表示为:其中,yk是解压缩图像的特征块,Nl包含与yk匹配的字典Dl原子的K个最近训练样本,λ是正则化参数,β为希望得到的稀疏系数;可得到这个最小二乘问题的解为:由于解压缩图像字典和原始图像字典之间存在相同的稀疏系数,可以得到解压缩图像和原始图像间映射矩阵M为:其中,Nh是训练集中对应于Nl的细节图像样本邻域;得到映射矩阵后,即可通过的方式计算每个特征块对应的图像细节块最后,整合图像细节块,平均重叠区域以获取最终恢复的图像;
步骤四:在最大后验框架下,建立联合先验模型和细节增强的图像去压缩的优化函数;具体地,其可表示为:
步骤五:用奇异值阈值和凸二次最小化求解优化函数,重建出去压缩图像;具体地,首先将上述步骤四种的优化函数方程式分解为如下两个子问题:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290131.0A CN111818345B (zh) | 2019-04-11 | 2019-04-11 | 一种联合先验模型和细节增强的图像去压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290131.0A CN111818345B (zh) | 2019-04-11 | 2019-04-11 | 一种联合先验模型和细节增强的图像去压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111818345A CN111818345A (zh) | 2020-10-23 |
CN111818345B true CN111818345B (zh) | 2021-10-26 |
Family
ID=72843705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290131.0A Active CN111818345B (zh) | 2019-04-11 | 2019-04-11 | 一种联合先验模型和细节增强的图像去压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111818345B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9426469B2 (en) * | 2012-12-17 | 2016-08-23 | Broadcom Corporation | Combination HEVC deblocker/SAO filter |
CN104933683B (zh) * | 2015-06-09 | 2018-12-04 | 南昌大学 | 一种用于磁共振快速成像的非凸低秩重建方法 |
CN109241491A (zh) * | 2018-07-28 | 2019-01-18 | 天津大学 | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 |
-
2019
- 2019-04-11 CN CN201910290131.0A patent/CN111818345B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111818345A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Deng et al. | Wavelet domain style transfer for an effective perception-distortion tradeoff in single image super-resolution | |
Zhang et al. | DMCNN: Dual-domain multi-scale convolutional neural network for compression artifacts removal | |
Jin et al. | A flexible deep CNN framework for image restoration | |
CN108900848B (zh) | 一种基于自适应可分离卷积的视频质量增强方法 | |
CN101841706B (zh) | 改善视频质量的方法和装置 | |
US10462459B2 (en) | Non-local adaptive loop filter | |
KR101291869B1 (ko) | 공간 및 시간 처리를 이용하는 비디오 시퀀스에서의 노이즈 및/또는 플리커 감소 | |
Wen et al. | Video denoising by online 3D sparsifying transform learning | |
CN111866521B (zh) | 一种视频图像压缩伪影去除方法 | |
CN107610049B (zh) | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 | |
CN112465846B (zh) | 基于填充策略的含云遥感图像压缩方法 | |
CN107292316B (zh) | 一种基于稀疏表示的提升图像清晰度的方法 | |
CN114820352A (zh) | 一种高光谱图像去噪方法、装置及存储介质 | |
Zou et al. | A nonlocal low-rank regularization method for fractal image coding | |
Vo et al. | Quality enhancement for motion JPEG using temporal redundancies | |
Liu et al. | Image super-resolution based on adaptive joint distribution modeling | |
CN111818345B (zh) | 一种联合先验模型和细节增强的图像去压缩方法 | |
Amiri et al. | Image compression using JPEG with reduced blocking effects via adaptive down-sampling and self-learning image sparse representation | |
Zhang et al. | Compression noise estimation and reduction via patch clustering | |
CN106709873B (zh) | 一种基于三次样条插值和迭代更新的超分辨率方法 | |
Hu et al. | Image deblocking via shape-adaptive low-rank prior and sparsity-based detail enhancement | |
Abd-Elhafiez | Image compression algorithm using a fast curvelet transform | |
Song et al. | Compressed image restoration via external-image assisted band adaptive pca model learning | |
Chang et al. | Adaptive prediction, context modeling, and entropy coding methods for CALIC lossless image compression | |
Sujithra et al. | Compressed Image Restoration by Combining Trained Dictionary with Plug and Play Framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |