CN102098516B - 多视点视频解码端去块滤波方法 - Google Patents
多视点视频解码端去块滤波方法 Download PDFInfo
- Publication number
- CN102098516B CN102098516B CN 201110053291 CN201110053291A CN102098516B CN 102098516 B CN102098516 B CN 102098516B CN 201110053291 CN201110053291 CN 201110053291 CN 201110053291 A CN201110053291 A CN 201110053291A CN 102098516 B CN102098516 B CN 102098516B
- Authority
- CN
- China
- Prior art keywords
- view
- gdv
- frame
- macro block
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000001914 filtration Methods 0.000 title claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 abstract description 4
- MRMBZHPJVKCOMA-YJFSRANCSA-N biapenem Chemical compound C1N2C=NC=[N+]2CC1SC([C@@H]1C)=C(C([O-])=O)N2[C@H]1[C@@H]([C@H](O)C)C2=O MRMBZHPJVKCOMA-YJFSRANCSA-N 0.000 description 10
- 230000000903 blocking effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于多视点视频解码端的去块滤波方法。该方法包括视频编码和视频解码步骤,视频编码具体步骤如下:(1)选用包含视点间预测方式的编码结构。(2)计算该视点图像相对相邻视点的GDV值。(3)判断当前解码的视点序列号,将恒用到视点间预测的视点各帧每个宏块的视差矢量DV(v,f,i)和其对应的GDV进行对比,计算它们的差值DGD(DisparityofGDVandDV)。(4)根据DGD的大小将宏块分类,并将标志分类信息进行压缩存放。视频编码端具体步骤如下:(1)将压缩好的视频码流和二进制标志信息同时输入解码端。(2)在环路去块滤波之前,对宏块所在的位置、视点号、帧号和标志位信息进行判定。(3)如果上述判定成立,则使用边界强度GDV位移的方式从参考帧处直接获取该宏块各边边界强度的值。(4)如果判定不成立,就使用传统方法获取该宏块各边边界强度的值。(5)根据边界强度信息,按照多视点解码的默认方法进行自适应滤波。实验证明,该方法可以有效地加快去块滤波的速度。
Description
技术领域
本发明涉及一种专门针对多视点视频解码端的去块滤波方法。
背景技术
块效应(Block Artifacts),又称为马赛克效应,是图像和视频压缩编码时,因为压缩引入的量化误差导致的图像重建后在视觉上常见的一种失真。它在主观上表现为人眼可以察觉到的图像在块边缘处的亮度和色度的不连续,是人们对完美画质的追求的一个阻碍。当前的去块滤波器按其所处的位置划分,可以分为后处理去块滤波(Post deblocking filter)和环路去块滤波(In-loop deblocking filter)两类。
视频编码的后处理去块滤波技术,源于图像压缩的去块技术。图像领域对后处理去块技术的研究,常见的有基于凸集投影(Projection Onto Convex Set, POCS)的后处理思想,利用最大后验概率(Maximum A Posteriori, MAP)去除块效应的思想,小波去块的思想及滤波的思想等。与图像相比,视频的内容更多,数据量更大,实时性的要求更高。这也就意味着许多算法由于运算复杂度较高等局限性,通常不适用于视频去块。视频的后处理去块滤波算法主要沿用的是滤波的思想,典型的有MPEG-4附录F中使用的后处理去块滤波算法。它是一种基于频域的后处理去块滤波算法,主要包括模式选择、平坦区域滤波和复杂区域滤波三部分,对每个8×8的块边界进行滤波。而视频编码的环路去块滤波技术和前者相比,避免了前者在解码端需要为后处理去块滤波器准备额外的帧缓存,并且,由于当前通用的视频编码标准的编码都是以块为单位进行的,需要大量使用预测和补偿技术,故块效应在编码中容易扩散到块的内部,相比前者,视频编码的环路去块滤波技术对此具有更好的抑制作用。有文献表明,早在H.261中,就可以支持环路滤波器的存在,而H.264首次将环路去块滤波器作为其编解码构造的标准组成部分。在H.264/AVC标准中,去块滤波模块的一个很重要的特点是能比较准确的自适应区分图像中的真实边界和块效应所表现出来的虚假边界,并据此定量地引入边界强度(Boundary-Strength,BS)作为其衡量标准,进行不同强度的滤波,从而去除块效应,提升图像的质量。H.264/AVC去块滤波器在三个层次上体现出自适应性。自适应边界级去块滤波从产生块效应的原因入手,根据(宏块)是否为帧内预测,残差编码以及运动补偿的参考帧等,确定边界强度BS;样点级去块滤波从靠近滤波边界各个样点的差值,判断边界处样点变化的剧烈程度,确定参数IndexA和IndexB,这两个参数在滤波的时候具有重要意义;自适应片级去块滤波通过改变参数OffsetA和OffsetB平衡“细节逼真度”(以不太明显的块效应为代价)和“主观质量”(以牺牲细节丰富程度为代价),使性价比达到最高。MVC环路去块滤波大致沿用了H.264环路去块滤波的方法,首先通过分别获取水平和垂直方向的BS值列表,再结合BS值,以块为单位进行滤波。当有亮度补偿(Illumination Compensation,IC)时,有些文献在MVC边界强度的判断时考虑IC因素,用以这样提高的视频的主观质量。最近而另一些文献在BS判断时,进行了一些判断树结构上的优化,加快了滤波的速度。。尽管当前的环路去块滤波技术都通过移位来实现滤波运算中的乘除法来提高去块滤波速度,但是环路滤波器的复杂度在整个系统中还是占有相当大的比重,有文献表明,环路滤波器的复杂度可以占到解码器计算复杂度的三分之一左右;还有文件表明,在环路去块滤波中,90%以上的运算量都消耗在Bs的计算上。有进一步的提高空间。
该发明针对MVC编码结构,根据MVC中相邻视点视频的相似性,利用全局视差矢量(Global Disparity Vector,GDV)信息,通过减少需要判断边界强度值的块的数量,大大降低多视点视频解码时去块滤波所需要的时间。实验结果表明,同现有的多视点去块算法相比,该方法在解码图像PSNR降低0-0.02dB的情况下,去块滤波的时间减少了20%-100%或更多。
发明内容
本发明的目的在于克服当前多视点视频流在解码端在环路去块滤波环节耗时较长的缺点,提供一种基于多视点视频解码端的去块滤波方法,该方法在解码视频质量不受影响的前提下,有效降低了其在解码端在环路去块滤波环节速率,具有较广阔的应用前景。
为达到上述目的,本发明所采用的技术方案是:
一种基于多视点视频解码端的去块滤波方法,其特征在于操作步骤如下:
1)视频编码:在视频编码端将宏块分为2类,并将分类信息传递到解码端。具体步骤为:
(1)视频解码时可以采用各种广泛使用的预测编码结构,注意选用的编码结构需要包含视点间预测方式,如常见的HHI-IBBBP预测结构;
(2)计算该视点图像相对相邻视点的GDV值
(3)判断当前解码的视点序列号,如果该视点每帧都用到了视点间预测,将各宏块的视差矢量DV和其对应的GDV进行对比,计算它们的差值DGD(Disparity of GDV and DV)。
(4)根据DGD的大小将宏块分为A类宏块和B类宏块,并用一个二进制位flag来标记它们,该标志位使用二进制形式存放,和视频码流同时传输。
2)视频解码:利用视频解码端得到的宏块分类信息,在视频解码的去块滤波部分,对不同的宏块才用不同的滤波策略,加快了去块滤波的速率,从而加快了视频解码的速率。具体步骤为:
(1’) 将压缩好的视频码流和步骤(4)存放的二进制flag信息同时输入解码端
(2’) 在环路去块滤波之前,需要进行如下判定:
该宏块所在的视点每一帧都用到了视点间预测;
如果上述条件均符合,进入步骤(3’),否则,进入步骤(4’)。
(3’) 进行边界强度信息的判定。认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到。执行完毕后进入步骤(5’)。
(4’) 进行边界强度信息的判定。使用多视点解码的默认方法进行边界强度信息的判定。执行完毕后进入步骤(5’)。
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
本发明的有益效果:
采用本发明提出的多视点视频编码解码端环路去块滤波算法,以极低的PSNR降低的代价,大大提高多视点视频序列解码端去块滤波的速度,从来带动整个解码速率的提高。当前绝大多数MVC编解码结构都用到了视点间预测,因此,本发明提出的方法是可行的;而众所周知,视频的编码只需要一次,而在每个客户终端,都需要分别对码流进行解码,所以本方法无疑对多视点解码端的改进有重大的实践意义。
对编码端而言,本方法需要知道当前编码视点对同一时间相邻视点的宏块精度的DV值和当前时刻的GDV值,但是由于当前编码视点对同一时间相邻视点的宏块精度的DV值在原先多视点编码运动矢量计算的时候已经计算过,可以直接拿来使用;而GDV的计算较为简单,而且多视点视频编码的某些版本(如JMVM)已经计算过该值,可以直接拿来使用。综上所述,该方法并不会明显增加编码端的编码时间和编码负担。唯一不足的是,本方法需要在传送码流数据的同时,还需要传送少量标记信息,这在一定程度上稍稍加重了数据传输方面的负担。所以,实际中可以根据实际情况(实时性、带宽情况等)选用或者不选用本发明提出的方法进行环路去块滤波。
附图说明
图1是exit序列第27帧第1视点在宏块层次下各宏块相对于该帧第0视点的DV值的分布情况。
图2是视频序列exit前32帧的BIPM分布情况。
图3是视频序列exit前32帧的ASB分布情况。
图4是BS值的拷贝过程示意。
图5是该发明编码端流程图。
图6是该发明解码端流程图。
图7是ballroom序列第1视点(视点间预测方式为B)不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图8是ballroom序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图9是ballroom第30帧第1视点使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比(QP=33)。
图10是ballroom序列第7视点(视点间预测方式为P)不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图11是ballroom序列第7视点使用本文所述方法和不滤波时PSNR降低情况比较。
图12是exit序列第1视点使用不同QP下,使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图13是exit序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图14是exit序列第1视点第30帧使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比(QP=33)。
图15是race1序列第1视点不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图16是race1序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图17是flamenco1序列第1视点不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图18是flamenco1序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
具体实施方式:
以下结合附图例对本发明的实施例作进一步的详细说明。
下面给出本发明的原理说明:
多视点视频编码不但用到了时间方向上的相关性,也会用到视点间的相关性,从而达到降低编码后数据冗余度、减少压缩后数据量的目的。同时间方向上的预测方法类似,视点间的预测也用到了诸如树状结构运动补偿,亮度精度内插和色度精度内插,匹配块搜索,运动向量的估算等相关知识。事实上,对多视点编码而言,编码时函数本身并不关心参考帧来自于时间方向还是视点间方向,前向函数将所有需要用到的参考帧存到列表0(list 0)和列表1(list 1)中后,编码器分别判断参考帧中各个宏块(以及子宏块)的各种分割方法的残差大小,并选择所有分割方法中残差最小的运动矢量(Motion Vector,MV)作为最终采纳的运动矢量储存下来,该MV用到的参考帧作为当前块的参考帧。虽然视点间的视差矢量,(Disparity Vector,DV)并不一定能够最终做为运动残差最小的MV从而保存下来,但是这些DV形象地表示了场景的层次感,物体的纹理信息等,具有重要的指示作用。而同一时间内,相邻视点拍摄出的图像具有很大的相关性,一个视点上的图像可以近似看成其相邻视点上的同一时间的图像在平面上进行x平移和y平移后的结果。全局视差(Global Disparity,GD)定量地描述了场景中主要层次的景物在相邻摄像机所摄图像的位移情况。相邻相机同一时间拍摄出的场景往往存在巨大的相似性,并且其时间方向上的变化趋势也是接近一致的。
序列exit第0视点到第1视点对应的GDV为(2,0),单位为16 pixels。通过分析可以得知,帧中多数宏块的分布聚集于GDV和(0,0)点附近,其余宏块的视点间DV呈分散分布。图1显示,在exit序列第0视点到第1视点对应的所有DV中,大小分布于GDV和(0,0)点附近的宏块数量占到一半以上。其他视频序列也存在相似的统计结果。
所以,我们可以将一帧中的宏块可以分成以下4类:
第一类:DV四舍五入后等于GDV;
第二类:DV四舍五入后等于原点值(0,0);
第三类:DV四舍五入后的x方向和y方向均位于原点值(0,0)和GDV之间;
第四类:其他情况,即DV大于GDV时。
那么,我们可以将第一类宏块看成是视点间主要层次场景,如exit序列中的门框,墙上的装饰等。其对应同一时刻相邻相机的位移DV和GDV大致相等;第二类DV在原点附近,可以看做是场景中较为平滑,纹理比较简单的部分,进行GDV平移和不进行平移相比,残差相差不大,如exit序列中墙壁部分;第三类宏块,根据位移时相对人眼而言近处物体移动较快,远处物体移动较慢的普遍规律,可以近似看做在主要层次场景之后的场景,如exit中门后面那些层次和深度信息丰富的图像;第四类宏块,近似看做在主要层次场景之前的场景,如人离去的背影。根据经验,这些场景是人眼最为关注的,因此这些宏块的质量好坏对主观质量的评定影响较大。
而就客观质量而言,在此引入两个评价指标,分别称作宏块平均BS不等数BIPM(BS Inequality Per Macroblock)和宏块平均误差和ASB(Absolute Sum of BIPM)。
我们将上面所分的4类宏块进一步进行整理,将第一类宏块和第二类宏块合并为A类宏块,将第三类和第四类宏块合并为B类宏块,对A类宏块和B类宏块的BIPM值和ASB值分别进行统计,则视频序列exit(QP=33)第1-31帧第1视点相对第0视点的BIPM值分布如图2所示,其中,图2(a)为BIPM的完整折线图,因为该值在8、16、24等点的值过大,为了看清楚其他点的BIPM值,图2(b)将这些值置零。视频序列exit(QP=33)第1-31帧第1视点相对第0视点的ASB值分布如图3所示,其中,图3(a)为ASB的完整折线图,因为该值在8、16、24等点的值过大,为了看清楚其他点的ASB值,图3(b)将这些值置零。
可见,就算从客观角度衡量,B类宏块的BIPM和ASB也恒比A类宏块要高一些。其中一些帧,如第22帧,第26帧,B类宏块的BIPM和ASB几乎是A类宏块的2倍。
其余视频序列亦存在类似规律。分析图2 (b)和图3(b)可见,如果不考虑时间方向上第(x为GOP的整数倍)帧,那么,就算从客观角度衡量,A类宏块的BIPM和ASB总要比B类宏块相应值低一些。其中一些帧,如第26帧,第28帧,B类宏块的BIPM和ASB几乎是A类宏块的相应值的2倍。其他视频序列也满足类似的规律。这说明了在A类宏块中,其各4×4块的水平/垂直边界的BS同参考帧中对应宏块相同位置的4×4块的水平/垂直边界的BS相似度更高。
另外,需要注意的是,对时间方向上第(x为GOP的整数倍)帧,不同视点的预测方式是不一样的(如对于HHI-IBBBP预测结构而言,时刻,V0为I帧,V1为B帧,V2为P帧),这个和别的帧不同。而查看经典方法的BS判断树,不同帧类型的时候对BS的判断影响非常大。在图2(a)和图3(a)中我们也可以看到,第帧的BIPM和ASB要比其他帧大几乎一个数量级,因此,对第帧,需要照经典方法对图像进行BS判断和滤波。
以上分析给了我们一个启示:既然相邻视点的主要场景可以近似看做宏块位移后得到的图画,并且这些位移后的宏块和原先的宏块的时间上的运动趋势也是高度一致的,那么显然新的边界强度信息也可以由已经解码完毕的参考视点的边界强度信息进行简单的平移得到。
所以,本实例为,本基于多视点视频解码端的去块滤波方法的操作步骤为:
1)视频编码(参见说明书附图5,图中粗斜体字部分为新增部分),具体步骤为:
(1)视频编码时可以采用各种广泛使用的预测编码结构,注意选用的编码结构需要包含视点间预测方式,如常见的HHI-IBBBP预测结构;
(2)全局运动矢量计算:计算该视点图像相对相邻视点的GDV值,计算GDV采用MAD(Mean Absolute Difference)法:
其中,R为两幅图像中的重叠部分像素点的个数。
并将精度定为16个pixels:
严格说来,每一帧图像f都应该有一个与其相对应的GDVf,但是对于大多数情况而言(如ballroom序列,exit序列等),多视点拍摄的时候摄像机的相对位置是固定不变的,如果拍摄的时候摄像机镜头也是固定好的,那么因为主要场景的稳定性,下列等式应该是存在的:
但是如果主要场景随着时间的变化,有深度上的巨大变化,如摄像机阵列不是固定不变的,而是在不停地移动,那么(3)式就不一定成立了(如race1序列)。这时一个视频序列每个视点相对于参考视点的GDV值可以是时变的。
(3)判断当前解码的视点序列号,将恒用到视点间预测的视点各帧每个宏块的视差矢量DV(v,f,i)和其对应的GDV进行对比,计算它们的差值DGD(Disparity of GDV and DV):
(7)
其中,f表示帧号;i表示宏块序号;v表示视点号。DGD的单位也为16pixels。
(4)根据每个宏块的DGD值将它们分为A类宏块和B类宏块,并用一个二进制位flag来标记它们:flag(i)=1时,指示第i号宏块为A类宏块,flag(i)=0时,指示第i号宏块为B类宏块。
2)视频解码(参见说明书附图6,图中粗斜体字部分为新增部分),具体步骤为:
(1’) 将压缩好的视频码流和步骤(4)存放的二进制flag信息同时输入解码端
(2’) 在环路去块滤波之前,需要进行如下判定:
A’)该宏块反向移动GDV(v,f)后依然在视频显示的范围内;
B’)该宏块所在的视点每一帧都用到了视点间预测;
C’)该宏块所在的帧帧数Tx不为第0帧或第GOP整数倍帧;
D’)该帧对应的flag信息为1;
如果上述条件均符合,进入步骤(3’),否则,进入步骤(4’)。
(3’) 进行边界强度信息的判定。认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到,执行完毕后进入步骤(5’),平移的公式如下:
其中,x,y分别表示4×4块垂直/水平边界在宏块中左起和上起的位置,宏块GDV i 和GDV j 分别为该宏块所处帧对参考帧的GDV的水平分量和垂直分量,且满足式(9)。
如图4所示。
(4’) 进行边界强度信息的判定。使用多视点解码的默认方法进行边界强度信息的判定。执行完毕后进入步骤(5’)。
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
下面进行大量仿真实验来评估本文所提出的去块滤波算法的性能。
在配置为Intel Pentium 4 CPU 3.00GHz, 512M Internal Memory, Intel 8254G Express Chipset Family, Windows XP Operation System的PC机上编解码多视点视频序列ballroom, exit, race1(前33帧), flamenco1(前97帧),其中,BASIC QP设为30,33,36,39,42,实验平台选用JMVC,编解码预测结构选用HHI-IBBBP。
序列ballroom的实验结果如图7-图11所示。分析图7,可以看出,序列ballroom第1视点(视点间预测方式为B)在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了33.7%-44.7%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,滤波总节省时间在22.5%-26.9%之间;分析图8,可以看出,使用本方法序列ballroom第1视点(视点间预测方式为B)不同QP下,重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计;分析图9,可以看出,在ballroom序列重建帧主观质量局部对比图中,不滤波的图像在台阶处有较明显的块效应,而本文的方法和JMVC的方法质量相当;分析图10,可以看出,序列ballroom第7视点(视点间预测方式为P)在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了45.0%-58.4%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在25.3%-40.6%之间;分析图11,可以看出,使用本方法ballroom序列第7视点(视点间预测方式为P)在不同QP下,重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.02以内,可以忽略不计。
序列exit的实验结果如图12-图14所示。分析图12,可以看出,序列exit第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了22.8%-34.0%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在18.1%-24.9%之间;分析图13,可以看出,使用本方法exit序列第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计;图14为exit序列第30帧(QP=33)使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比。在局部对比图中可见看出,不滤波的图像在墙体部分有较明显的块效应,而本文的方法和JMVC的方法都对这些块效应进行了有效的抑制,且两种方法的重建图像质量相当。
序列race1第1视点的实验结果如图15-图16所示。分析图15,可以看出,序列race1第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了15.1%-23.0%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在8.4%-14.7%之间;分析图16,可以看出,使用本方法序列race1第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计。另外,图16中,当QP为30、33和36时,不滤波时图像重建帧Cb分量PSNR反而比JMVC默认方法和本方法重建帧略高,这是race1视频序列的特殊性所在,不影响这里的分析。
序列flamenco1第1个视点的实验结果如图17-图18所示。分析图17,可以看出,序列flamenco1第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了19.4%-27.3%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在12.8%-17.2%之间;分析图18,可以看出,使用本方法flamenco1序列第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计。
结合以上各图可以看出,实验结果符合预期,即以极小的,几乎不影响主观评价的图像质量损耗为代价换取去块滤波所耗费时间的大幅减少。
Claims (4)
1.一种基于多视点视频解码端的去块滤波方法,其特征在于:
1) 视频编码:在视频编码端将宏块分为2类,并将分类信息传到解码端;
2) 视频解码:利用视频编码端得到的宏块分类信息,在视频解码的去块滤波部分,对不同的宏块采用不同的滤波策略,加快了去块滤波的速率,从而加快了视频解码的速率;
所述步骤1),视频编码的具体操作步骤如下:
(1) 视频解码时采用的预测编码结构包含视点间预测方式;
(2) 计算视点的图像相对相邻视点的图像的全局视差矢量GDV值;
(3) 判断当前解码的视点序列号,将每一个用到视点间预测的帧的每个宏块的视差矢量DV和其对应的GDV进行对比,计算GDV和DV的差值DGD;
(4) 根据DGD的大小将宏块分为A类宏块和B类宏块,并用一个标志位flag信息来标记它们,该标志位flag信息使用二进制形式存放,和视频码流同时传输;
步骤2)所述,视频解码的具体操作步骤如下:
(1’) 将压缩好的视频码流和步骤(4)存放的标志位flag信息同时输入解码端;
(2’) 在环路去块滤波之前,每个宏块都要结合标志位flag信息进行一定的判定,如果符合条件,进入步骤(3’),否则,进入步骤(4’);
(3’) 进行边界强度信息的判定:认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到,执行完毕后进入步骤(5’);
(4’) 进行边界强度信息的判定;使用多视点解码的默认方法进行边界强度信息的判定,执行完毕后进入步骤(5’);
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
2.根据权利要求1所述的基于多视点视频解码端的去块滤波方法,其特征在于步骤(4),根据DGD的大小将宏块分为A类宏块和B类宏块的方法是:
① A类宏块:当宏块对应的DGD值为(0,0)或GDV时,将其定义为A类宏块;
② B类宏块:当宏块对应的DGD值为其他值的时候,将其定义为B类宏块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110053291 CN102098516B (zh) | 2011-03-07 | 2011-03-07 | 多视点视频解码端去块滤波方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110053291 CN102098516B (zh) | 2011-03-07 | 2011-03-07 | 多视点视频解码端去块滤波方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102098516A CN102098516A (zh) | 2011-06-15 |
CN102098516B true CN102098516B (zh) | 2012-10-31 |
Family
ID=44131353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110053291 Expired - Fee Related CN102098516B (zh) | 2011-03-07 | 2011-03-07 | 多视点视频解码端去块滤波方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102098516B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014166063A1 (en) * | 2013-04-09 | 2014-10-16 | Mediatek Inc. | Default vector for disparity vector derivation for 3d video coding |
CN104780383B (zh) * | 2015-02-02 | 2017-09-19 | 杭州电子科技大学 | 一种3d‑hevc多分辨率视频编码方法 |
JP6620354B2 (ja) * | 2015-09-30 | 2019-12-18 | Kddi株式会社 | 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体 |
CN116547973A (zh) * | 2020-12-02 | 2023-08-04 | Oppo广东移动通信有限公司 | 图像处理方法、系统、视频编码器及视频解码器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207817A (zh) * | 2006-12-15 | 2008-06-25 | 庆熙大学校产学协力团 | 边界滤波强度的推导过程和使用其的去块滤波方法及装置 |
CN101248669A (zh) * | 2005-09-21 | 2008-08-20 | 三星电子株式会社 | 对多视点视频编码和解码的设备和方法 |
CN101253774A (zh) * | 2005-07-18 | 2008-08-27 | 韩国电子通信研究院 | 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法 |
CN101627634A (zh) * | 2006-10-16 | 2010-01-13 | 诺基亚公司 | 用于将可并行解码片用于多视点视频编码的系统和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5467637B2 (ja) * | 2007-01-04 | 2014-04-09 | トムソン ライセンシング | マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置 |
-
2011
- 2011-03-07 CN CN 201110053291 patent/CN102098516B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101253774A (zh) * | 2005-07-18 | 2008-08-27 | 韩国电子通信研究院 | 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法 |
CN101248669A (zh) * | 2005-09-21 | 2008-08-20 | 三星电子株式会社 | 对多视点视频编码和解码的设备和方法 |
CN101627634A (zh) * | 2006-10-16 | 2010-01-13 | 诺基亚公司 | 用于将可并行解码片用于多视点视频编码的系统和方法 |
CN101207817A (zh) * | 2006-12-15 | 2008-06-25 | 庆熙大学校产学协力团 | 边界滤波强度的推导过程和使用其的去块滤波方法及装置 |
Non-Patent Citations (1)
Title |
---|
陈建乐.多视点视频编码方法的研究.《中国博士学位论文全文数据库 信息科技辑》.2007,(第2期),23-50. * |
Also Published As
Publication number | Publication date |
---|---|
CN102098516A (zh) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101972407B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
CN111819852B (zh) | 用于变换域中残差符号预测的方法及装置 | |
CN106134191B (zh) | 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法 | |
CN110036637B (zh) | 去噪声化已重构图像的方法及装置 | |
JP2013535901A (ja) | ビデオ符号化のための高度な動きモデルを使った参照処理 | |
CN102724525B (zh) | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 | |
CN111837389A (zh) | 适用于多符号位隐藏的块检测方法及装置 | |
CN104602028A (zh) | 一种立体视频b帧整帧丢失错误隐藏方法 | |
CN104992419A (zh) | 基于jnd因子的超像素高斯滤波预处理方法 | |
CN102098516B (zh) | 多视点视频解码端去块滤波方法 | |
AU2018415347B2 (en) | An image processing device and method for performing efficient deblocking | |
CN116848843A (zh) | 可切换的密集运动向量场插值 | |
CN113014920A (zh) | 图像编码、解码方法及装置 | |
Ma et al. | A fast background model based surveillance video coding in HEVC | |
CN111246218B (zh) | 基于jnd模型的cu分割预测和模式决策纹理编码方法 | |
CN117616751A (zh) | 动态图像组的视频编解码 | |
An et al. | Low-complexity motion estimation for H. 264/AVC through perceptual video coding. | |
CN106878753B (zh) | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 | |
CN103957422A (zh) | 一种基于边缘的面向虚拟视绘制的深度视频的编码方法 | |
WO2023019407A1 (zh) | 帧间预测方法、编码器、解码器以及存储介质 | |
Hanca et al. | Segmentation-based intra coding of depth maps using texture information | |
Wang et al. | A low complexity deblocking filtering for multiview video coding | |
Chen | Advancing video compression with error resilience and content analysis | |
Zhang et al. | Region-of-interest based H. 264 encoder for videophone with a hardware macroblock level face detector | |
Wang | Research on visual features based content adaptive strategies for video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121031 |
|
CF01 | Termination of patent right due to non-payment of annual fee |