CN102523454A - 利用3d字典消除3d播放系统中块效应的方法 - Google Patents

利用3d字典消除3d播放系统中块效应的方法 Download PDF

Info

Publication number
CN102523454A
CN102523454A CN2012100004450A CN201210000445A CN102523454A CN 102523454 A CN102523454 A CN 102523454A CN 2012100004450 A CN2012100004450 A CN 2012100004450A CN 201210000445 A CN201210000445 A CN 201210000445A CN 102523454 A CN102523454 A CN 102523454A
Authority
CN
China
Prior art keywords
image
dictionary
depth
blocking effect
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100004450A
Other languages
English (en)
Other versions
CN102523454B (zh
Inventor
郑喆坤
焦李成
齐宏涛
孙天
公茂果
马晶晶
侯彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210000445.0A priority Critical patent/CN102523454B/zh
Publication of CN102523454A publication Critical patent/CN102523454A/zh
Application granted granted Critical
Publication of CN102523454B publication Critical patent/CN102523454B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种利用3D字典消除块效应的方法,主要解决现有基于深度图像渲染DIBR的3D播放系统中经过块离散余弦变换压缩后存在的块效应问题。实现步骤为:(1)利用KSVD算法和批处理正交匹配追踪算法训练一个3D字典;(2)控制JPEG标准中的品质因数对原始3D图像进行压缩;(3)将块效应看作高斯白噪声,计算3D压缩图像的噪声标准差;(4)根据品质因数和噪声标准差计算误差阈值;(5)消除压缩图像中的块效应,获取块效应消除后的稀疏系数表示矩阵;(6)利用3D字典和块效应消除后的稀疏系数表示矩阵得到块效应消除后的3D结果图。本发明与现有技术相比,可得到更高或相似的峰值信噪比和结构相似度,且块效应消除后的图像视觉效果更好。

Description

利用3D字典消除3D播放系统中块效应的方法
技术领域
本发明属于图像处理领域,具体地说是一种利用3D字典消除块效应的方法,可用于消除基于深度图像渲染DIBR的3D播放系统中经过块离散余弦变换BDCT压缩后的3D图像中的块效应。
背景技术
根据多媒体处理技术的最近进展,3D电视被期望成为一种新的播放方式,它可以为观众提供一种更自然、栩栩如生的家庭娱乐体验。为了实现3D电视中逼真的3D服务,基于深度图像渲染DIBR是一种必要技术。在先进三维电视系统技术ATTEST项目中DIBR技术第一次被提出,它是生成真实场景中虚拟左右视图的过程,它可以从参考图序列和对应的深度图序列中提供3D效果。DIBR中的参考图和深度图统称3D图像。由于深度信息可以通过额外的64kbps带宽的数据通道被有效的压缩和传输,DIBR作为一种用于3D电视系统的有前途的技术获得了很多关注。
块离散余弦变换BDCT广泛用于图像和视频压缩,已经被大多数图像和视频压缩标准采用,包括联合图像专家组JPEG、动态图像专家组MPEG、H.26X、高级视频编码AVC等。在基于BDCT的压缩编码中,首先将图像划分为许多8*8大小不重叠的图像块,对每个块进行离散余弦变换,得到离散余弦系数,然后对其进行量化和可变长度编码。在量化的过程中会令数据损失,从而导致压缩后的图像产生失真,即编码效应,包括块效应和振铃效应等。H.264/AVC等基于BDCT的编码标准同样用于3D电视中,经过压缩以后DIBR中的图像质量和3D效果明显下降,因此提高图像质量和3D效果就变得很重要。
传统的用于块效应消除的方法可分为两类,基于图像增强的方法和基于图像恢复的方法。基于图像增强的方法主要在空域或变换域中使用一些滤波器来减少块效应,研究者把块效应看作人工高频分量,提出了许多滤波技术,包括低通滤波,自适应滤波和循环滤波等,缺点是峰值信噪比提高不多,视觉效果一般。基于图像恢复的方法认为压缩过程是一个失真过程,为了从失真图像中恢复原始图像,图像恢复技术例如凸集投影POCS和最大后验概率MAP估计等被使用。在基于POCS的方法中,图像先验被表示为凸集,通过迭代过程来减少块效应,这种方法能够很好的减少块效应,原因是在块边界处强加了平滑约束,缺点是计算复杂度高,运算时间长。基于MAP的方法能够有效的减少块效应,但是计算复杂度高。
发明内容
本发明的目的在于针对上述技术的不足,提出一种利用3D字典消除3D播放系统中块效应的方法,以提升块效应消除后的3D图像视觉效果,得到更高或相似的峰值信噪比和结构相似度,并减少计算复杂度。
实现上述目的的技术原理是利用KSVD算法训练一个3D通用字典,结合批处理正交匹配追踪Batch-OMP算法去除BDCT压缩3D图像中的块效应,其具体步骤包括如下:
1)在一个无噪声的自然图像集中提取n1个8*8大小的图像块,50000<n1<150000,利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典Dr;在一个无噪声的深度图像集中提取n2个8*8大小的图像块,50000<n2<150000,利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*128的通用深度字典Dd;利用该通用参考字典和深度字典构造3D过完备字典D3d=[Dr,Dd],其中KSVD指k-singular value decomposition,它是一种迭代训练过完备字典的方法;
2)采用基于块离散余弦变换BDCT的压缩编码标准中的JPEG标准对原始3D图像进行压缩,即根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像I0和对应的深度图像D0分别进行压缩,得到参考压缩图像I’和深度压缩图像D’;
3)找出参考压缩图像I’中所有8*8大小不重叠的图像块的边界,计算这些边界两边像素的差值Cri,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Nri=0.5*abs(Cri),i=1,2,3...,计算所有Nri>=2的噪声数据的标准差σI;找出深度压缩图像D’中所有8*8大小不重叠的图像块的边界,计算这些边界两边像素的差值Cdi,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Ndi=0.5*abs(Cdi),i=1,2,3...,计算所有Ndi>=2的噪声数据的标准差σD
4)根据品质因数Q和标准差σI计算参考压缩图像I’的误差阈值 T I = 8 * 8 * σ I * 1.15 * F ( Q ) ; 根据品质因数Q和标准差σD计算深度压缩图像D’的误差阈值 T D = 8 * 8 * σ D * 1.15 * F ( Q ) ,
其中F(Q)表示块效应消除强度,由三次多项式拟合方法确定,其表达式为F(Q)=-0.0001×Q3+0.0073×Q2-0.1710×Q+2.1580,Q≤30;
5)消除压缩图像中的块效应,获取块效应消除后的稀疏系数表示矩阵:
5a)在参考压缩图像I’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XI,利用3D字典D3d中的参考字典Dr和误差阈值TI对所述图像块矩阵XI中的每一列,按公式 min &Theta; I | &Theta; I | 1 s . t . | X Ik - D r * &theta; Ik | 2 < = T I 去除块效应,得到稀疏系数表示矩阵其中XIk是XI中的第k个8*8块的列向量表示形式,ΘI是XI的稀疏系数表示矩阵,θIk是ΘI的第k列;
5b)在深度压缩图像D’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XD,利用3D字典D3d中的深度字典Dd和误差阈值TD对所述图像块矩阵XD中的每一列,按公式 min &Theta; D | &Theta; D | 1 s . t . | X Dk - D d * &theta; Dk | 2 < = T D 去除块效应,得到稀疏系数表示矩阵
Figure BDA0000128459070000034
其中XDk是XD中的第k个8*8块的列向量表示形式,ΘD是XD的稀疏系数表示矩阵,θDk是ΘD的第k列;
6)利用块效应消除后的稀疏系数表示矩阵
Figure BDA0000128459070000035
和对应的参考字典Dr,得到块效应消除后的图像块矩阵
Figure BDA0000128459070000036
Figure BDA0000128459070000037
中的图像块放回参考图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的参考图像I”;利用块效应消除后的稀疏系数表示矩阵和对应的深度字典Dd得到块效应消除后的图像块矩阵
Figure BDA0000128459070000039
Figure BDA00001284590700000310
中的图像块放回深度图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的深度图像D”。
本发明与现有技术相比具有如下优点:
1.本发明由于利用KSVD算法和批处理正交匹配追踪算法训练一个3D通用字典,并且设计了一个合理的自动计算用于稀疏表示的误差阈值的方法,利用3D通用字典和误差阈值将基于阈值稀疏表示原始信号的思想用于去除经BDCT压缩后的3D图像中存在的块效应,因而与现有技术相比能得到更高或相似的峰值信噪比和结构相似度,块效应消除后的3D图像视觉效果很好,计算复杂度低;
2.本发明中由于训练得到的3D字典包含自然图像和深度图像的大部分特征,故可用于很多BDCT压缩后的3D图像块效应消除过程中。
附图说明
图1是现有的基于DIBR的3D播放系统框图;
图2是本发明的流程图;
图3是本发明训练得到的3D通用字典D3d的示意图;
图4是本发明测试用的五对3D图像;
图5是在不同Q值的JPEG压缩下,用本发明对3D图像‘Ballet’,‘Interview’进行块效应消除的仿真结果图。
具体实施方式
参照图1,现有的基于DIBR的3D播放系统包括发射和接收两部分,在发射端对深度图数据流D0进行深度预处理得到D1,利用H.264/AVC等基于BDCT的编码器对深度图数据流D1和参考图数据流I0进行编码,将编码数据送入传输通道,经传输通道到达接收端,利用相应的解码器对压缩数据进行解码,得到参考压缩图像I’和深度压缩图像D’,对参考压缩图像I’和深度压缩图像D’去除压缩效应,分别得到压缩效应消除后的参考图像I”和深度图像D”,然后利用基于深度图像渲染DIBR技术将压缩效应消除后的参考图像I”和深度图像D”渲染为3D图像并显示在3D电视中,本发明的方法正是用于图1中的去除压缩效应。
参照图2,本发明的实现步骤如下:
步骤1.训练3D过完备字典。
对于一个无噪声的自然图像集,选取n1个8*8的图像块,50000<n1<150000,仿真实验中n1选取100000,构造大小为64*n1的训练矩阵X1,迭代次数设置为20次,使用大小为64*512的DCT字典进行字典初始化,设置图像块的稀疏度S1=6,利用KSVD算法和批处理正交匹配追踪算法按公式1)训练通用字典Dr
Figure BDA0000128459070000041
其中Φr是X1的稀疏系数表示矩阵,
Figure BDA0000128459070000042
是Φr的第j列;
对于一个无噪声的深度图像集,选取n2个8*8的图像块,50000<n2<150000,仿真实验中n2选取100000,构造大小为64*n2的训练矩阵X2,迭代次数设置为20次,使用大小为64*128的DCT字典进行字典初始化,设置图像块的稀疏度S2=6,利用KSVD算法和批处理正交匹配追踪算法按公式2)训练通用字典Dd
Figure BDA0000128459070000051
其中Φd是X2的稀疏系数表示矩阵,
Figure BDA0000128459070000052
是Φd的第j列;
利用该通用参考字典和深度字典构造3D过完备字典D3d=[Dr,Dd];
所述的KSVD算法是2006年Michael Elad等人在文章“K-SVD:An Algorithm forDesigning Overcomplete Dictionaries for Sparse Representation”中提出的。KSVD是一种迭代的训练过完备字典的方法,主要包括基于当前字典对训练数据进行稀疏编码和更新字典原子两部分,训练过程中这两部分交替进行,使训练得到的字典能够更好的适合训练数据,可以与基追踪、匹配追踪、正交匹配追踪等合作。2008年M.Elad、R.Rubinstein和M.Zibulevsky在压缩感知技术报告中发表了一篇文章″EfficientImplementation of the K-SVD Algorithm using Batch Orthogonal Matching Pursuit″,该文章对2006年提出的KSVD算法进行了一些优化,在大数据集的稀疏编码过程中,批处理正交匹配追踪相对于正交匹配追踪来说运算更快。KSVD算法已经应用于图像去噪、图像超分辨、压缩感知等技术中,本发明利用KSVD算法和批处理正交匹配追踪算法去除基于DIBR的3D播放系统中经过BDCT压缩后的3D图像中的块效应。
步骤2.采用基于块离散余弦变换BDCT的压缩编码标准对原始3D图像进行压缩,得到对应的3D压缩图像。
3D图像由一个参考图像和对应的深度图像组成,JPEG压缩标准是基于块离散余弦变换BDCT的压缩编码标准中的一种,采用JPEG标准对原始3D图像进行压缩,JPEG压缩编码标准中的品质因数Q是0到100之间的任一数值,品质因数Q数值越大表示图像压缩质量越好,根据品质因数Q确定相应的量化表,在JPEG压缩编码程序中控制品质因数Q将参考图像I0压缩为参考压缩图像I’,将对应的深度图像D0压缩为深度压缩图像D’。
步骤3.将块效应看作高斯白噪声,计算3D压缩图像的噪声标准差。
对于参考压缩图像I’,找出所有8*8大小不重叠的图像块的边界位置,计算这些边界两边像素的差值Cri,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Nri=0.5*abs(Cri),i=1,2,3...,计算所有Nri≥2的噪声数据的标准差:
Figure BDA0000128459070000061
其中mr是所有Nri≥2的噪声数据的个数,Mr是所有Nri≥2的噪声数据的均值;找出深度压缩图像D’中所有8*8大小不重叠的图像块的边界,计算这些边界两边像素的差值Cdi,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Ndi=0.5*abs(Cdi),i=1,2,3...,计算所有Ndi≥2的噪声数据的标准差:其中md是所有Ndi≥2的噪声数据的个数,Md是所有Ndi≥2的噪声数据的均值。
步骤4.自动计算用于批处理正交匹配追踪的误差阈值。
根据品质因数Q和标准差σI计算参考压缩图像I’用于批处理正交匹配追踪的误差阈值
Figure BDA0000128459070000063
根据品质因数Q和标准差σD计算深度压缩图像D’用于批处理正交匹配追踪的误差阈值
Figure BDA0000128459070000064
其中F(Q)表示块效应消除强度,其表达式通过以下方式确定:选取六幅自然图像,在不同品质因数Q下对这些图像进行JPEG压缩,通过人工选取阈值确定取得最优结果时所对应的阈值Tbest,记录当前
Figure BDA0000128459070000065
保存所有不同品质因数Q所对应的F1值;选取不同图像对应的F1值的中值结果作为对应品质因数Q的结果,采用三次多项式拟合方法将品质因数Q及对应的中值结果进行拟合,确定不同Q值下的块效应消除强度,拟合结果为F(Q)=-0.0001×Q3+0.0073×Q2-0.1710×Q+2.1580,Q≤30。
步骤5.消除3D压缩图像中的块效应,获取块效应消除后的稀疏系数表示矩阵:
5a)在参考压缩图像I’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XI,利用3D字典D3d中的参考字典Dr和误差阈值TI对所述图像块矩阵XI中的每一列,按公式 min &Theta; I | &Theta; I | 1 s . t . | X Ik - D r * &theta; Ik | 2 < = T I 去除块效应,得到稀疏系数表示矩阵
Figure BDA0000128459070000067
其中XIk是XI中的第k个8*8块的列向量表示形式,ΘI是XI的稀疏系数表示矩阵,θIk是ΘI的第k列;
5b)在深度压缩图像D’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XD,利用3D字典D3d中的深度字典Dd和误差阈值TD对所述图像块矩阵XD中的每一列,按公式 min &Theta; D | &Theta; D | 1 s . t . | X Dk - D d * &theta; Dk | 2 < = T D 去除块效应,得到稀疏系数表示矩阵
Figure BDA0000128459070000072
其中XDk是XD中的第k个8*8块的列向量表示形式,ΘD是XD的稀疏系数表示矩阵,θDk是ΘD的第k列。
步骤6.得到块效应消除后的3D图像。
6a)利用块效应消除后的稀疏系数表示矩阵和对应的参考字典Dr得到块效应消除后的图像块矩阵
Figure BDA0000128459070000074
Figure BDA0000128459070000075
中的图像块放回参考图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的参考图像I”;
6b)利用块效应消除后的稀疏系数表示矩阵
Figure BDA0000128459070000076
和对应的深度字典Dd得到块效应消除后的图像块矩阵
Figure BDA0000128459070000077
Figure BDA0000128459070000078
中的图像块放回深度图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的深度图像D”。
本发明的效果可以通过以下实验进一步说明:
1.仿真条件:
在CPU为Intel pentium 4,3.00GHZ、内存1G、WINDOWS XP系统上进行了仿真。
2.仿真内容:
本发明训练好的3D通用字典D3d的示意图如图3,其中图3(a)为参考字典Dr,图3(b)为深度字典Dd;五对原始3D测试图像如图4,其中第一行中的四幅图像从左到右分别为‘Interview’参考图和深度图以及‘Orbi’参考图和深度图,第二行中的四幅图像从左到右分别为‘EtriCG’参考图和深度图以及‘BreakDancer’参考图和深度图,第三行中的两幅图像为‘Ballet’参考图和深度图。
基于BDCT的压缩编码标准中的MPEG、H.264等针对图像视频序列进行压缩,JPEG针对静止图像经行压缩,压缩原理基本相同,在仿真实验中,采用JPEG压缩原始3D图像。3D图像中的参考图像为2D彩色图像,首先将其RGB格式转化为YCbCr格式,对Y通道数据进行JPEG压缩。3D图像中的深度图像由于三维信息相同,选择其中一维数据进行JPEG压缩。
实验仿真包括:当品质因数Q=1,5,10,15,20时,本发明与2007年A.Foi,V.Katkovnik和K.Egiazarian在文章“Pointwise shape adaptive DCT for high qualitydenoising and deb-locking of grayscale and color images”中提出的形状自适应离散余弦变换SA-DCT方法的对比实验。SA-DCT是目前最好的块效应消除方法之一,为了提供更多的定量评价结果,本发明采用峰值信噪比PSNR和结构相似度SSIM评价准则。本发明采用三种不同大小的字典来评价块效应消除性能,对于参考图采用64*128,64*256和64*512大小的参考字典Dr,对于深度图采用64*64,64*128和64*256大小的深度字典Dd。参考图和深度图的PSNR对比结果分别见表1和表2,参考图和深度图的SSIM对比结果分别见表3和表4。
表1:Q=1,5,10,15,20时,本发明与SA-DCT在参考图中的PSNR对比结果
Figure BDA0000128459070000081
由表1可见,本发明利用三个不同大小的字典得到的结果差距不大,对参考压缩图像均能够稳定的得到较好的块效应消除结果,PSNR值有显著提高,并且效果与目前最优的块效应消除方法SA-DCT相似。
表2:Q=1,5,10,15,20时,本发明与SA-DCT在深度图中的PSNR对比结果
Figure BDA0000128459070000091
由表2可见,64*64深度字典有时不能得到较好的块效应消除结果,64*128深度字典更合适,本发明对深度压缩图像能够稳定的得到较好的块效应消除结果,PSNR值有显著提高,并且效果与目前最优的块效应消除方法SA-DCT相似,其中在‘Interview’和‘Orbi’图像中本发明效果略优于该方法。
表3:Q=1,5,10,15,20时,本发明与SA-DCT在参考图中的SSIM对比结果
Figure BDA0000128459070000101
由表3可见,本发明对参考压缩图像能够稳定的得到较好的块效应消除结果,SSIM值有显著提高,并且效果与目前最优的块效应消除方法SA-DCT相似,除了‘Interview’和‘Ballet’图像外,本发明效果均优于SA-DCT。
表4:Q=1,5,10,15,20时,本发明与SA-DCT在深度图中的SSIM对比结果
由表4可见,本发明对深度压缩图像能够稳定的得到较好的块效应消除结果,SSIM值有显著提高,并且效果与目前最优的块效应消除方法SA-DCT相似,其中在‘Interview’和‘Orbi’图像中本发明效果优于SA-DCT。
当品质因数Q=5,10,15,20时,本发明的块效应消除仿真结果图如图5所示,其中第一行和第五行中的图像从左到右分别为当Q=5,10,15,20时‘Ballet’和‘Interview’的参考压缩图像;第二行和第六行中的图像从左到右分别为当Q=5,10,15,20时‘Ballet’和‘Interview’的块效应消除后的参考结果图;第三行和第七行中的图像从左到右分别为当Q=5,10,15,20时‘Ballet’和‘Interview’的深度压缩图像;第四行和第八行中的图像从左到右分别为当Q=5,10,15,20时‘Ballet’和‘Interview’的块效应消除后的深度结果图。从图5可见,块效应消除后的图像视觉质量有很大提高,这表明本发明能够有效的用于基于DIBR的3D播放系统中的3D图像压缩效应移除。

Claims (3)

1.一种利用3D字典消除3D播放系统中块效应的方法,包括如下步骤:
1)在一个无噪声的自然图像集中提取n1个8*8大小的图像块,50000<n1<150000,利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典Dr;在一个无噪声的深度图像集中提取n2个8*8大小的图像块,50000<n2<150000,利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*128的通用深度字典Dd;利用该通用参考字典和深度字典构造3D过完备字典D3d=[Dr,Dd],其中KSVD指k-singular value decomposition,它是一种迭代训练过完备字典的方法;
2)采用基于块离散余弦变换BDCT的压缩编码标准中的JPEG标准对原始3D图像进行压缩,即根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像I0和对应的深度图像D0分别进行压缩,得到参考压缩图像I’和深度压缩图像D’;
3)找出参考压缩图像I’中所有8*8大小不重叠的图像块的边界,计算这些边界两边像素的差值Cri,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Nri=0.5*abs(Cri),i=1,2,3...,计算所有Nri>=2的噪声数据的标准差σI;找出深度压缩图像D’中所有8*8大小不重叠的图像块的边界,计算这些边界两边像素的差值Cdi,i=1,2,3...,将这些差值的绝对值的一半看作噪声数据Ndi=0.5*abs(Cdi),i=1,2,3...,计算所有Ndi>=2的噪声数据的标准差σD
4)根据品质因数Q和标准差σI计算参考压缩图像I’的误差阈值 T I = 8 * 8 * &sigma; I * 1.15 * F ( Q ) ; 根据品质因数Q和标准差σD计算深度压缩图像D’的误差阈值 T D = 8 * 8 * &sigma; D * 1.15 * F ( Q ) ,
其中F(Q)表示块效应消除强度,由三次多项式拟合方法确定,其表达式为F(Q)=-0.0001×Q3+0.0073×Q2-0.1710×Q+2.1580,Q≤30;
5)消除压缩图像中的块效应,获取块效应消除后的稀疏系数表示矩阵:
5a)在参考压缩图像I’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XI,利用3D字典D3d中的参考字典Dr和误差阈值TI对所述图像块矩阵XI中的每一列,按公式 min &Theta; I | &Theta; I | 1 s . t . | X Ik - D r * &theta; Ik | 2 < = T I 去除块效应,得到稀疏系数表示矩阵
Figure FDA0000128459060000022
其中XIk是XI中的第k个8*8块的列向量表示形式,ΘI是XI的稀疏系数表示矩阵,θIk是ΘI的第k列;
5b)在深度压缩图像D’中按行列像素间隔[1,1]选取8*8大小的图像块,将这些图像块拉成列向量并构造为图像块矩阵XD,利用3D字典D3d中的深度字典Dd和误差阈值TD对所述图像块矩阵XD中的每一列,按公式 min &Theta; D | &Theta; D | 1 s . t . | X Dk - D d * &theta; Dk | 2 < = T D 去除块效应,得到稀疏系数表示矩阵
Figure FDA0000128459060000024
其中XDk是XD中的第k个8*8块的列向量表示形式,ΘD是XD的稀疏系数表示矩阵,θDk是ΘD的第k列;
6)利用块效应消除后的稀疏系数表示矩阵
Figure FDA0000128459060000025
和对应的参考字典Dr,得到块效应消除后的图像块矩阵
Figure FDA0000128459060000026
中的图像块放回参考图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的参考图像I”;利用块效应消除后的稀疏系数表示矩阵和对应的深度字典Dd得到块效应消除后的图像块矩阵
Figure FDA00001284590600000210
中的图像块放回深度图像中的原来位置,对图像块的重叠部分进行平均,得到块效应消除后的深度图像D”。
2.根据权利要求1所述的块效应消除方法,其中步骤(1)所述的利用KSVD算法和批处理正交匹配追踪算法训练一个大小为64*512的通用参考字典Dr,按如下步骤进行:
(1a)将n1个8*8大小的图像块构造成64*n1的训练矩阵X1
(1b)使用大小为64*512的DCT字典进行字典初始化,迭代次数为20次,设图像块的稀疏度S1=6,按照公式
Figure FDA00001284590600000211
训练通用字典Dr,其中Φr是X1的稀疏系数表示矩阵,
Figure FDA00001284590600000212
是Φr的第j列。
3.根据权利要求1所述的块效应消除方法,其中步骤(2)所述的根据JPEG图像压缩编码标准中的品质因数Q对原始3D图像中的参考图像I0和对应的深度图像D0分别进行压缩,是在JPEG压缩编码的品质因数Q中选用0到100之间的任一数值,确定相应的量化表,根据JPEG压缩编码程序将参考图和对应的深度图分别压缩为JPEG图像。
CN201210000445.0A 2012-01-02 2012-01-02 利用3d字典消除3d播放系统中块效应的方法 Expired - Fee Related CN102523454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210000445.0A CN102523454B (zh) 2012-01-02 2012-01-02 利用3d字典消除3d播放系统中块效应的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210000445.0A CN102523454B (zh) 2012-01-02 2012-01-02 利用3d字典消除3d播放系统中块效应的方法

Publications (2)

Publication Number Publication Date
CN102523454A true CN102523454A (zh) 2012-06-27
CN102523454B CN102523454B (zh) 2014-06-04

Family

ID=46294233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210000445.0A Expired - Fee Related CN102523454B (zh) 2012-01-02 2012-01-02 利用3d字典消除3d播放系统中块效应的方法

Country Status (1)

Country Link
CN (1) CN102523454B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868899A (zh) * 2012-09-06 2013-01-09 华映光电股份有限公司 一种三维图像处理方法
CN105472393A (zh) * 2015-11-24 2016-04-06 宁波大学 一种基于联合字典的彩色与深度图像后处理方法
CN107124614A (zh) * 2017-04-20 2017-09-01 华东师范大学 一种具有超高压缩比的图像数据压缩方法
CN111212198A (zh) * 2018-11-22 2020-05-29 中移(杭州)信息技术有限公司 一种视频去噪的方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
US20100014777A1 (en) * 2008-07-19 2010-01-21 Headplay (Barbados) Inc. System and method for improving the quality of compressed video signals by smoothing the entire frame and overlaying preserved detail
US20100177983A1 (en) * 2009-01-15 2010-07-15 Jeng-Yun Hsu Deblock method and image processing apparatus
CN102065298A (zh) * 2011-01-05 2011-05-18 西安电子科技大学 高性能宏块编码实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
US20100014777A1 (en) * 2008-07-19 2010-01-21 Headplay (Barbados) Inc. System and method for improving the quality of compressed video signals by smoothing the entire frame and overlaying preserved detail
US20100177983A1 (en) * 2009-01-15 2010-07-15 Jeng-Yun Hsu Deblock method and image processing apparatus
CN102065298A (zh) * 2011-01-05 2011-05-18 西安电子科技大学 高性能宏块编码实现方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868899A (zh) * 2012-09-06 2013-01-09 华映光电股份有限公司 一种三维图像处理方法
CN105472393A (zh) * 2015-11-24 2016-04-06 宁波大学 一种基于联合字典的彩色与深度图像后处理方法
CN105472393B (zh) * 2015-11-24 2018-04-17 宁波大学 一种基于联合字典的彩色与深度图像后处理方法
CN107124614A (zh) * 2017-04-20 2017-09-01 华东师范大学 一种具有超高压缩比的图像数据压缩方法
CN107124614B (zh) * 2017-04-20 2019-12-13 华东师范大学 一种具有超高压缩比的图像数据压缩方法
CN111212198A (zh) * 2018-11-22 2020-05-29 中移(杭州)信息技术有限公司 一种视频去噪的方法和设备
CN111212198B (zh) * 2018-11-22 2022-04-08 中移(杭州)信息技术有限公司 一种视频去噪的方法和设备

Also Published As

Publication number Publication date
CN102523454B (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
CN107463989B (zh) 一种基于深度学习的图像去压缩伪影方法
CN102088606B (zh) 基于稀疏表示的去块效应方法
CN102420988B (zh) 一种利用视觉特性的多视点视频编码系统
CN103489203A (zh) 基于字典学习的图像编码方法及系统
CN102801997B (zh) 基于感兴趣深度的立体图像压缩方法
US20160050440A1 (en) Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN103002306B (zh) 一种深度图像编码方法
CN104065976B (zh) 一种基于视频的图像压缩及保密传输方法
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
CN102523454B (zh) 利用3d字典消除3d播放系统中块效应的方法
CN102769749B (zh) 一种深度图像的后处理方法
CN102438167A (zh) 一种基于深度图像绘制的立体视频编码方法
CN103763564A (zh) 基于边缘无损压缩的深度图编码方法
Yuan et al. Object shape approximation and contour adaptive depth image coding for virtual view synthesis
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN101668204A (zh) 免疫克隆图像压缩方法
CN102790881B (zh) 基于帧级编码端速率控制的变换域分布式视频编解码器
CN105472393A (zh) 一种基于联合字典的彩色与深度图像后处理方法
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
CN104394399A (zh) 深度视频编码的三边滤波方法
CN104902256B (zh) 一种基于运动补偿的双目立体图像编解码方法
Semary et al. Novel Compression System for Hue-Saturation and Intensity Color Space.
CN107770537B (zh) 基于线性重建的光场图像压缩方法
CN104883558A (zh) 基于k均值聚类的深度图编码方法
Zheng et al. Shape adaptive DCT and its application in region based image coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140604

Termination date: 20200102

CF01 Termination of patent right due to non-payment of annual fee