CN111818345A - 一种联合先验模型和细节增强的图像去压缩方法 - Google Patents

一种联合先验模型和细节增强的图像去压缩方法 Download PDF

Info

Publication number
CN111818345A
CN111818345A CN201910290131.0A CN201910290131A CN111818345A CN 111818345 A CN111818345 A CN 111818345A CN 201910290131 A CN201910290131 A CN 201910290131A CN 111818345 A CN111818345 A CN 111818345A
Authority
CN
China
Prior art keywords
image
model
prior
detail enhancement
decompression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910290131.0A
Other languages
English (en)
Other versions
CN111818345B (zh
Inventor
何小海
胡婧
任超
卿粼波
熊淑华
滕奇志
王正勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910290131.0A priority Critical patent/CN111818345B/zh
Publication of CN111818345A publication Critical patent/CN111818345A/zh
Application granted granted Critical
Publication of CN111818345B publication Critical patent/CN111818345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种联合先验模型和细节增强的图像去压缩方法。主要包括以下步骤：针对JPEG压缩图像，建立高斯量化噪声模型构建数据项；构建基于形状自适应低秩先验和量化约束先验的去块模型；构建基于稀疏表示的细节增强方法；在最大后验框架下，建立本发明联合先验模型和细节增强的图像去压缩的优化函数；用奇异值阈值和凸二次最小化求解优化函数，重建出去压缩图像。本发明所述的图像去压缩方法重建出来的图像不仅去除了视觉上令人讨厌的块效应，并且保留有丰富的细节信息，在客观评价参数上也具有优越的性能。本发明方法是一种有效的图像去压缩方法。

Description

一种联合先验模型和细节增强的图像去压缩方法
技术领域
本发明涉及一种联合先验模型和细节增强的图像去压缩方法，属于图像处理领域。
背景技术
JPEG是最常用的图像压缩标准，它能在减小传输数据量的同时获得最佳的图像效果。然而，由于编码过程中的分块及独立量化，在压缩图像中通常会引入视觉上令人讨厌的块效应，严重影响图像信号的主观质量及利用价值，尤其是在低比特率情况下。图像去压缩是一种经典但仍然具有吸引力的研究领域，能在不改变原始编码标准的情况下减少压缩效应并提高图像质量。减少压缩过程中产生的块效应是一种不适定的图像逆问题。不同的图像先验与自然图像的不同结构和统计信息相关，因此可以通过低秩先验来解决去压缩效应问题。传统的低秩最小化方法可以在一定程度上去除块效应，但是它们提取的普通方块不能很有效的分离噪声和信号，容易产生模糊边缘，并在增强图像细节方面仍有改进空间。
发明内容
本发明的目的是针对现有的低秩最小化去压缩方法的不足，提出一种联合先验模型和细节增强的图像去压缩方法。
本发明提出的联合先验模型和细节增强的图像去压缩方法，主要包括以下操作步骤：
(一)针对JPEG压缩图像，建立高斯量化噪声模型构建数据项；
(二)构建基于形状自适应低秩先验和量化约束先验的去块模型；
(三)构建基于稀疏表示的细节增强方法；
(四)在最大后验框架下，建立本发明联合先验模型和细节增强的图像去压缩的优化函数；
(五)用奇异值阈值和凸二次最小化求解优化函数，重建出去压缩图像。
附图说明
图1是本发明联合先验模型和细节增强的图像去压缩方法的框图
图2是本发明与三种方法对图像“Leaves”在质量因子为10时的去压缩结果对比图
图3是本发明与三种方法对图像“Bike”在质量因子为15时的去压缩结果对比图
图4是本发明与三种方法对图像“Cameraman”在质量因子为20时的去压缩结果对比图
具体实施方式
一种联合先验模型和细节增强的图像去压缩方法主要包含以下步骤：
(一)针对JPEG压缩图像，建立高斯量化噪声模型构建数据项；
(二)构建基于形状自适应低秩先验和量化约束先验的去块模型；
(三)构建基于稀疏表示的细节增强方法；
(四)在最大后验框架下，建立本发明联合先验模型和细节增强的图像去压缩的优化函数；
(五)用奇异值阈值和凸二次最小化求解优化函数，重建出去压缩图像。
具体地，所述步骤(一)中的高斯量化噪声模型为：
Figure BDA0002024644190000021
其中，y表示压缩图像，x表示原始图像，e表示具有高斯分布的量化噪声，
Figure BDA0002024644190000022
表示量化噪声方差，Q表示大小为8×8的量化矩阵，
Figure BDA0002024644190000023
表示矩阵Q左上角九项的平均值。构建得到的数据项为：
Figure BDA0002024644190000024
所述步骤(二)中构建基于形状自适应低秩先验和量化约束先验的去块模型。该方法包含以下步骤：
第一步，给定压缩图像y，首先将其划分成许多重叠的m×m个图像块，并且每个块由矢量表示。将欧几里德距离作为每个块的相似性标准，在W×W搜索窗口内寻找c个最相似的块以形成块组Gi。将所有图像块堆叠为矩阵YGi：
Figure BDA0002024644190000025
其中，
Figure BDA0002024644190000026
表示从图像y中提取块组。
第二步，基于步骤(一)中的量化噪声模型，从已知的压缩图像矩阵
Figure BDA0002024644190000027
中估计出原始图像矩阵
Figure BDA0002024644190000028
的低秩最小化问题可表示为：
Figure BDA0002024644190000029
其中，
Figure BDA0002024644190000031
表示压缩噪声矩阵，
Figure BDA0002024644190000032
表示压缩噪声方差，γ是一个正常数。核范数||XGi||*的定义公式如下：
Figure BDA0002024644190000033
其中，
Figure BDA0002024644190000034
表示矩阵
Figure BDA0002024644190000035
的第j个奇异值。
第三步，本发明中的形状自适应低秩先验将形状自适应块应用于压缩图像的低秩近似，以确保数据更稀疏并保留图像边缘。使用基于各向异性局部多项式逼近—置信区间的交集的各向异性自适应邻域，作为形状自适应块的支持。为了方便表示，将A(·)表示为提取形状自适应块，即有
Figure BDA0002024644190000036
第四步，为了获得更准确的估计并避免过度平滑，对DCT系数进行量化约束。定义y是x的JPEG压缩图像，Xd是x的频率域系数，Yd是y的频率域系数，Q是量化矩阵。量化误差满足如下关系：
Figure BDA0002024644190000037
其中，μ(0<μ<1)是比例系数。量化区域的下限和上限可以表示为：
Figure BDA0002024644190000038
从而可以得到量化约束集S，公式如下：
Figure BDA0002024644190000039
所述步骤(三)中构建基于稀疏表示的细节增强方法的步骤为：
第一步，在训练阶段，首先用JPEG标准压缩每个原始训练图像，然后使用上述去块模型获得相应的解压缩图像。
第二步，引入脊回归并使用训练样本邻域训练稀疏字典Dl，在l2范数的约束下表示为：
Figure BDA00020246441900000310
其中，yk是解压缩图像的特征块，Nl包含与yk匹配的字典Dl原子的K个最近训练样本，字典原子和训练样本之间的距离用欧几里德距离测量。λ是正则化参数。这个最小二乘问题的解为：
Figure BDA0002024644190000041
假设解压缩图像字典和原始图像字典之间存在相同的稀疏系数，可以得到映射矩阵M：
Figure BDA0002024644190000042
其中，Nh是训练集中对应于Nl的细节图像样本邻域。
第三步，在重建阶段，从初始去块图像中提取特征块。对于每个特征块
Figure BDA0002024644190000043
从Dl中寻找与其匹配的字典原子。然后通过离线训练的映射矩阵M，获得图像细节块
Figure BDA0002024644190000044
Figure BDA0002024644190000045
第四步，整合图像细节块，平均重叠区域以获取最终恢复的图像。
所述步骤(四)中的在最大后验框架下，联合先验模型和细节增强的图像去压缩的优化函数为：
Figure BDA0002024644190000046
其中，x(0)＝y,
Figure BDA0002024644190000047
Fj(·)表示从
Figure BDA00020246441900000413
中提取特征块，
Figure BDA0002024644190000048
表示将特征块聚合为图像。./表示逐元素除法。O是一个所有元素都是1的矩阵。
所述步骤(五)中优化函数求解步骤如下：
第一步，公式(13)上面的方程式可分解为一下两个子问题：
Figure BDA0002024644190000049
Figure BDA00020246441900000410
第二步，求解
Figure BDA00020246441900000411
子问题。用奇异值阈值(SVT)算法求解公式(14)：
Figure BDA00020246441900000412
其中，Dτ是具有正阈值τ的对角矩阵Σ的软阈值算子。τ随着迭代次数而自适应更新。
第三步，求解x子问题。公式(15)为严格凸二次最小化问题，将梯度设置为0，得到无约束条件下的解为：
Figure BDA0002024644190000051
其中，
Figure BDA0002024644190000052
表示将块组返回为图像。然后，最终解受公式(8)量化约束集S的约束，其频率域系数
Figure BDA0002024644190000055
满足如下关系：
Figure BDA0002024644190000053
第四步，将初始去块图像
Figure BDA0002024644190000054
应用至公式(13)下面的方程式得到最终恢复的图像。
为了检验本发明所述的去压缩效应方法的性能，在三张常用测试图像上进行了去压缩效应测试实验，即“Leaves”，“Bike”，“Cameraman”。首先将图像进行JPEG压缩，质量因子分别为10，15，20。对比方法选取三种图像去压缩方法。实验结果如图2、图3及图4所示。其中，(a)为原始测试图像，(b)(c)(d)(e)(f)分别为JPEG、对比方法1、对比方法2、对比方法3及本发明中的去压缩方法的处理结果。
三种图像去压缩方法分别为：
方法一：Gu等人提出的方法，参考文献“S.Gu,L.Zhang,W.Zuo,and X.Feng,Weighted nuclear norm minimization with application to image denoising.inProc.IEEE Int.Conf.Comput.Vis.Pattern Recognit.,2014,pp.2862–2869.”。
方法二：Liu等人提出的方法，参考文献“X.Liu,X.Wu,J.Zhou,and D.Zhao,Data-driven soft decoding of compressed images in dual transform-pixel domain.IEEETrans.Image Process.,vol.25,no.4,pp.1649–1659,2016.”。
方法三：Zhang等人提出的方法，参考文献“J.Zhang,R.Xiong,C.Zhao,Y.Zhang,S.Ma,and W.Gao,CONCOLOR:Constrained non-convex low-rank model for imagedeblocking,IEEE Trans.Image Process.,vol.25,no.3,pp.1246–1259,2016.”。
去压缩效应实验内容如下：
实验一：利用JPEG对测试图像“Leaves”进行压缩，质量因子为10。压缩结果为去压缩方法的输入图像。“Leaves”原始图像、JPEG压缩结果、各对比方法及本发明方法的处理结果分别如图2(a)、图2(b)、图3(c)-(e)及图2(f)所示。
实验二：利用JPEG对测试图像“Bike”进行压缩，质量因子为15。压缩结果为去压缩方法的输入图像。“Bike”原始图像、JPEG压缩结果、各对比方法及本发明方法的处理结果分别如图3(a)、图3(b)、图3(c)-(e)及图3(f)所示。
实验三：利用JPEG对测试图像“Cameraman”进行压缩，质量因子为20。压缩结果为去压缩方法的输入图像。“Cameraman”原始图像、JPEG压缩结果、各对比方法及本发明方法的处理结果分别如图4(a)、图4(b)、图4(c)-(e)及图2(f)所示。
几组对比实验结果表明，JPEG压缩图像中存在非常严重的块效应，严重影响主观视觉效果；方法1可以在一定程度上减少块效应，但在平滑区域仍然留有明显的块效应；从方法2和方法3的结果可以看出比方法1的效果好，但是在边缘区域仍然存在模糊；本发明方法不仅可以有效的去除令人讨厌的块效应，并且能够恢复更清晰的边缘和更多细节。
为了客观的评估本发明方法，以峰值信噪比(PSNR：Peak Signal to NoiseRatio)和结构相似度(SSIM：Structure Similarity Index)作为客观评价标准，表一展示了各种方法的PSNR和SSIM值。
表一说明了对于两种客观标准，本发明都具有最高的值。对于图像“Leaves”、“Bike”以及“Cameraman”，本发明的PSNR值比方法3分别高出0.51dB、0.59dB以及0.49dB，SSIM值比方法3分别高出0.0064、0.0125以及0.0040。
综上所述，本发明无论在主观视觉或是在客观评价标准都有明显的优势。因此本发明是一种有效的去压缩方法。
表一
Figure BDA0002024644190000061

Claims (4)

1.一种联合先验模型和细节增强的图像去压缩方法，其特征在于包括以下步骤：
步骤一：针对JPEG压缩图像，建立高斯量化噪声模型构建数据项；
步骤二：构建基于形状自适应低秩先验和量化约束先验的去块模型；
步骤三：构建基于稀疏表示的细节增强方法；
步骤四：在最大后验框架下，建立本发明联合先验模型和细节增强的图像去压缩的优化函数；
步骤五：用奇异值阈值和凸二次最小化求解优化函数，重建出去压缩图像。
2.根据权利要求1所述的一种联合先验模型和细节增强的图像去压缩方法，其特征在于根据步骤一的数据项和步骤二的形状自适应低秩先验及量化约束先验构建的去块模型。
3.根据权利要求1所述的一种联合先验模型和细节增强的图像去压缩方法，其特征在于将步骤二的去块模型和步骤三中的基于稀疏表示的细节增强方法相结合进行去压缩。
4.根据权利要求1-3所述的一种联合先验模型和细节增强的图像去压缩方法，其特征在于其可以拓展到其他图像或视频去压缩领域。
CN201910290131.0A 2019-04-11 2019-04-11 一种联合先验模型和细节增强的图像去压缩方法 Active CN111818345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290131.0A CN111818345B (zh) 2019-04-11 2019-04-11 一种联合先验模型和细节增强的图像去压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290131.0A CN111818345B (zh) 2019-04-11 2019-04-11 一种联合先验模型和细节增强的图像去压缩方法

Publications (2)

Publication Number Publication Date
CN111818345A true CN111818345A (zh) 2020-10-23
CN111818345B CN111818345B (zh) 2021-10-26

Family

ID=72843705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290131.0A Active CN111818345B (zh) 2019-04-11 2019-04-11 一种联合先验模型和细节增强的图像去压缩方法

Country Status (1)

Country Link
CN (1) CN111818345B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169447A1 (en) * 2012-12-17 2014-06-19 Broadcom Corporation Combination hevc deblocker/sao filter
CN104933683A (zh) * 2015-06-09 2015-09-23 南昌大学 一种用于磁共振快速成像的非凸低秩重建方法
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169447A1 (en) * 2012-12-17 2014-06-19 Broadcom Corporation Combination hevc deblocker/sao filter
CN104933683A (zh) * 2015-06-09 2015-09-23 南昌大学 一种用于磁共振快速成像的非凸低秩重建方法
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
索士尧、何小海、熊淑华、任超、卿粼波: "基于自适应高维度非局部总变分的压缩图像去块效应算法", 《科学技术与工程》 *

Also Published As

Publication number Publication date
CN111818345B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Zhang et al. DMCNN: Dual-domain multi-scale convolutional neural network for compression artifacts removal
Deng et al. Wavelet domain style transfer for an effective perception-distortion tradeoff in single image super-resolution
CN101841706B (zh) 改善视频质量的方法和装置
Liu et al. Data-driven sparsity-based restoration of JPEG-compressed images in dual transform-pixel domain
Triantafyllidis et al. Blocking artifact detection and reduction in compressed data
US9786066B2 (en) Image compression and decompression
US10462459B2 (en) Non-local adaptive loop filter
Liu et al. Data-driven soft decoding of compressed images in dual transform-pixel domain
US8223837B2 (en) Learning-based image compression
CN108900848B (zh) 一种基于自适应可分离卷积的视频质量增强方法
Zhao et al. Learning a virtual codec based on deep convolutional neural network to compress image
Zhang et al. Ultra high fidelity deep image decompression with l∞-constrained compression
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
Abu et al. An efficient compact Tchebichef moment for image compression
Vo et al. Quality enhancement for motion JPEG using temporal redundancies
KR100319557B1 (ko) 블럭 단위로 부호화된 영상의 블럭 경계 잡음 성분 제거 방법
Amiri et al. Image compression using JPEG with reduced blocking effects via adaptive down-sampling and self-learning image sparse representation
CN111818345B (zh) 一种联合先验模型和细节增强的图像去压缩方法
Abd-Elhafiez Image compression algorithm using a fast curvelet transform
Song et al. Compressed image restoration via external-image assisted band adaptive pca model learning
Belyaev et al. Motion JPEG decoding via iterative thresholding and motion-compensated deflickering
Liu et al. A new postprocessing method for the block-based DCT coding based on the convex-projection theory
KR20030078633A (ko) 낮은 비트 레이트 애플리케이션들을 위한 디지털이미지들의 처리 방법
Sujithra et al. Compressed Image Restoration by Combining Trained Dictionary with Plug and Play Framework
Esmaeilzehi et al. Deep JPEG image deblocking using residual maxout units

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant