CN102098516A - 多视点视频解码端去块滤波方法 - Google Patents

多视点视频解码端去块滤波方法 Download PDF

Info

Publication number
CN102098516A
CN102098516A CN 201110053291 CN201110053291A CN102098516A CN 102098516 A CN102098516 A CN 102098516A CN 201110053291 CN201110053291 CN 201110053291 CN 201110053291 A CN201110053291 A CN 201110053291A CN 102098516 A CN102098516 A CN 102098516A
Authority
CN
China
Prior art keywords
view
frame
macro block
gdv
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110053291
Other languages
English (en)
Other versions
CN102098516B (zh
Inventor
傅瀛
王永芳
刘静
武翠芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN 201110053291 priority Critical patent/CN102098516B/zh
Publication of CN102098516A publication Critical patent/CN102098516A/zh
Application granted granted Critical
Publication of CN102098516B publication Critical patent/CN102098516B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于多视点视频解码端的去块滤波方法。该方法包括视频编码和视频解码步骤,视频编码具体步骤如下:(1)选用包含视点间预测方式的编码结构。(2)计算该视点图像相对相邻视点的GDV值。(3)判断当前解码的视点序列号,将恒用到视点间预测的视点各帧每个宏块的视差矢量DV(v,f,i)和其对应的GDV进行对比,计算它们的差值DGD(DisparityofGDVandDV)。(4)根据DGD的大小将宏块分类,并将标志分类信息进行压缩存放。视频编码端具体步骤如下:(1)将压缩好的视频码流和二进制标志信息同时输入解码端。(2)在环路去块滤波之前,对宏块所在的位置、视点号、帧号和标志位信息进行判定。(3)如果上述判定成立,则使用边界强度GDV位移的方式从参考帧处直接获取该宏块各边边界强度的值。(4)如果判定不成立,就使用传统方法获取该宏块各边边界强度的值。(5)根据边界强度信息,按照多视点解码的默认方法进行自适应滤波。实验证明,该方法可以有效地加快去块滤波的速度。

Description

多视点视频解码端去块滤波方法
技术领域
本发明涉及一种专门针对多视点视频解码端的去块滤波方法。
背景技术                                                                                                          
块效应(Block Artifacts),又称为马赛克效应,是图像和视频压缩编码时,因为压缩引入的量化误差导致的图像重建后在视觉上常见的一种失真。它在主观上表现为人眼可以察觉到的图像在块边缘处的亮度和色度的不连续,是人们对完美画质的追求的一个阻碍。当前的去块滤波器按其所处的位置划分,可以分为后处理去块滤波(Post deblocking filter)和环路去块滤波(In-loop deblocking filter)两类。
视频编码的后处理去块滤波技术,源于图像压缩的去块技术。图像领域对后处理去块技术的研究,常见的有基于凸集投影(Projection Onto Convex Set, POCS)的后处理思想,利用最大后验概率(Maximum A Posteriori, MAP)去除块效应的思想,小波去块的思想及滤波的思想等。与图像相比,视频的内容更多,数据量更大,实时性的要求更高。这也就意味着许多算法由于运算复杂度较高等局限性,通常不适用于视频去块。视频的后处理去块滤波算法主要沿用的是滤波的思想,典型的有MPEG-4附录F中使用的后处理去块滤波算法。它是一种基于频域的后处理去块滤波算法,主要包括模式选择、平坦区域滤波和复杂区域滤波三部分,对每个8×8的块边界进行滤波。而视频编码的环路去块滤波技术和前者相比,避免了前者在解码端需要为后处理去块滤波器准备额外的帧缓存,并且,由于当前通用的视频编码标准的编码都是以块为单位进行的,需要大量使用预测和补偿技术,故块效应在编码中容易扩散到块的内部,相比前者,视频编码的环路去块滤波技术对此具有更好的抑制作用。有文献表明,早在H.261中,就可以支持环路滤波器的存在,而H.264首次将环路去块滤波器作为其编解码构造的标准组成部分。在H.264/AVC标准中,去块滤波模块的一个很重要的特点是能比较准确的自适应区分图像中的真实边界和块效应所表现出来的虚假边界,并据此定量地引入边界强度(Boundary-Strength,BS)作为其衡量标准,进行不同强度的滤波,从而去除块效应,提升图像的质量。H.264/AVC去块滤波器在三个层次上体现出自适应性。自适应边界级去块滤波从产生块效应的原因入手,根据(宏块)是否为帧内预测,残差编码以及运动补偿的参考帧等,确定边界强度BS;样点级去块滤波从靠近滤波边界各个样点的差值,判断边界处样点变化的剧烈程度,确定参数IndexA和IndexB,这两个参数在滤波的时候具有重要意义;自适应片级去块滤波通过改变参数OffsetA和OffsetB平衡“细节逼真度”(以不太明显的块效应为代价)和“主观质量”(以牺牲细节丰富程度为代价),使性价比达到最高。MVC环路去块滤波大致沿用了H.264环路去块滤波的方法,首先通过分别获取水平和垂直方向的BS值列表,再结合BS值,以块为单位进行滤波。当有亮度补偿(Illumination Compensation,IC)时,有些文献在MVC边界强度的判断时考虑IC因素,用以这样提高的视频的主观质量。最近而另一些文献在BS判断时,进行了一些判断树结构上的优化,加快了滤波的速度。。尽管当前的环路去块滤波技术都通过移位来实现滤波运算中的乘除法来提高去块滤波速度,但是环路滤波器的复杂度在整个系统中还是占有相当大的比重,有文献表明,环路滤波器的复杂度可以占到解码器计算复杂度的三分之一左右;还有文件表明,在环路去块滤波中,90%以上的运算量都消耗在Bs的计算上。有进一步的提高空间。
该发明针对MVC编码结构,根据MVC中相邻视点视频的相似性,利用全局视差矢量(Global Disparity Vector,GDV)信息,通过减少需要判断边界强度值的块的数量,大大降低多视点视频解码时去块滤波所需要的时间。实验结果表明,同现有的多视点去块算法相比,该方法在解码图像PSNR降低0-0.02dB的情况下,去块滤波的时间减少了20%-100%或更多。
发明内容
本发明的目的在于克服当前多视点视频流在解码端在环路去块滤波环节耗时较长的缺点,提供一种基于多视点视频解码端的去块滤波方法,该方法在解码视频质量不受影响的前提下,有效降低了其在解码端在环路去块滤波环节速率,具有较广阔的应用前景。
为达到上述目的,本发明所采用的技术方案是:
一种基于多视点视频解码端的去块滤波方法,其特征在于操作步骤如下: 
1)视频编码:在视频编码端将宏块分为2类,并将分类信息传递到解码端。具体步骤为:
(1)视频解码时可以采用各种广泛使用的预测编码结构,注意选用的编码结构需要包含视点间预测方式,如常见的HHI-IBBBP预测结构;
(2)计算该视点图像相对相邻视点的GDV值
(3)判断当前解码的视点序列号,如果该视点每帧都用到了视点间预测,将各宏块的视差矢量DV和其对应的GDV进行对比,计算它们的差值DGD(Disparity of GDV and DV)。
(4)根据DGD的大小将宏块分为A类宏块和B类宏块,并用一个二进制位flag来标记它们,该标志位使用二进制形式存放,和视频码流同时传输。
2)视频解码:利用视频解码端得到的宏块分类信息,在视频解码的去块滤波部分,对不同的宏块才用不同的滤波策略,加快了去块滤波的速率,从而加快了视频解码的速率。具体步骤为: 
(1’) 将压缩好的视频码流和步骤(4)存放的二进制flag信息同时输入解码端
(2’) 在环路去块滤波之前,需要进行如下判定:
Figure 2011100532917100002DEST_PATH_IMAGE001
 该宏块反向移动GDV(v,f)后依然在视频显示的范围内;
 该宏块所在的视点每一帧都用到了视点间预测;
Figure 2011100532917100002DEST_PATH_IMAGE003
 该宏块所在的帧帧数Tx不为第0帧或第GOP整数倍帧;
Figure 2011100532917100002DEST_PATH_IMAGE004
 该帧对应的flag信息为1;
如果上述条件均符合,进入步骤(3’),否则,进入步骤(4’)。
(3’) 进行边界强度信息的判定。认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到。执行完毕后进入步骤(5’)。
(4’) 进行边界强度信息的判定。使用多视点解码的默认方法进行边界强度信息的判定。执行完毕后进入步骤(5’)。
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
本发明的有益效果:
采用本发明提出的多视点视频编码解码端环路去块滤波算法,以极低的PSNR降低的代价,大大提高多视点视频序列解码端去块滤波的速度,从来带动整个解码速率的提高。当前绝大多数MVC编解码结构都用到了视点间预测,因此,本发明提出的方法是可行的;而众所周知,视频的编码只需要一次,而在每个客户终端,都需要分别对码流进行解码,所以本方法无疑对多视点解码端的改进有重大的实践意义。
对编码端而言,本方法需要知道当前编码视点对同一时间相邻视点的宏块精度的DV值和当前时刻的GDV值,但是由于当前编码视点对同一时间相邻视点的宏块精度的DV值在原先多视点编码运动矢量计算的时候已经计算过,可以直接拿来使用;而GDV的计算较为简单,而且多视点视频编码的某些版本(如JMVM)已经计算过该值,可以直接拿来使用。综上所述,该方法并不会明显增加编码端的编码时间和编码负担。唯一不足的是,本方法需要在传送码流数据的同时,还需要传送少量标记信息,这在一定程度上稍稍加重了数据传输方面的负担。所以,实际中可以根据实际情况(实时性、带宽情况等)选用或者不选用本发明提出的方法进行环路去块滤波。
附图说明
图1是exit序列第27帧第1视点在宏块层次下各宏块相对于该帧第0视点的DV值的分布情况。
图2是视频序列exit前32帧的BIPM分布情况。
图3是视频序列exit前32帧的ASB分布情况。
图4是BS值的拷贝过程示意。
图5是该发明编码端流程图。
图6是该发明解码端流程图。
图7是ballroom序列第1视点(视点间预测方式为B)不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图8是ballroom序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图9是ballroom第30帧第1视点使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比(QP=33)。
图10是ballroom序列第7视点(视点间预测方式为P)不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图11是ballroom序列第7视点使用本文所述方法和不滤波时PSNR降低情况比较。
图12是exit序列第1视点使用不同QP下,使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图13是exit序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图14是exit序列第1视点第30帧使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比(QP=33)。
图15是race1序列第1视点不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图16是race1序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
图17是flamenco1序列第1视点不同QP下使用本文所述方法和经典方法BS判断速率和滤波速率比较。
图18是flamenco1序列第1视点使用本文所述方法和不滤波时PSNR降低情况比较。
具体实施方式:
以下结合附图例对本发明的实施例作进一步的详细说明。
下面给出本发明的原理说明:
多视点视频编码不但用到了时间方向上的相关性,也会用到视点间的相关性,从而达到降低编码后数据冗余度、减少压缩后数据量的目的。同时间方向上的预测方法类似,视点间的预测也用到了诸如树状结构运动补偿,亮度精度内插和色度精度内插,匹配块搜索,运动向量的估算等相关知识。事实上,对多视点编码而言,编码时函数本身并不关心参考帧来自于时间方向还是视点间方向,前向函数将所有需要用到的参考帧存到列表0(list 0)和列表1(list 1)中后,编码器分别判断参考帧中各个宏块(以及子宏块)的各种分割方法的残差大小,并选择所有分割方法中残差最小的运动矢量(Motion Vector,MV)作为最终采纳的运动矢量储存下来,该MV用到的参考帧作为当前块的参考帧。虽然视点间的视差矢量,(Disparity Vector,DV)并不一定能够最终做为运动残差最小的MV从而保存下来,但是这些DV形象地表示了场景的层次感,物体的纹理信息等,具有重要的指示作用。而同一时间内,相邻视点拍摄出的图像具有很大的相关性,一个视点上的图像可以近似看成其相邻视点上的同一时间的图像在平面上进行x平移和y平移后的结果。全局视差(Global Disparity,GD)定量地描述了场景中主要层次的景物在相邻摄像机所摄图像的位移情况。相邻相机同一时间拍摄出的场景往往存在巨大的相似性,并且其时间方向上的变化趋势也是接近一致的。
序列exit第0视点到第1视点对应的GDV为(2,0),单位为16 pixels。通过分析可以得知,帧中多数宏块的分布聚集于GDV和(0,0)点附近,其余宏块的视点间DV呈分散分布。图1显示,在exit序列第0视点到第1视点对应的所有DV中,大小分布于GDV和(0,0)点附近的宏块数量占到一半以上。其他视频序列也存在相似的统计结果。
所以,我们可以将一帧中的宏块可以分成以下4类: 
第一类:DV四舍五入后等于GDV;
第二类:DV四舍五入后等于原点值(0,0);
第三类:DV四舍五入后的x方向和y方向均位于原点值(0,0)和GDV之间;
第四类:其他情况,即DV大于GDV时。
那么,我们可以将第一类宏块看成是视点间主要层次场景,如exit序列中的门框,墙上的装饰等。其对应同一时刻相邻相机的位移DV和GDV大致相等;第二类DV在原点附近,可以看做是场景中较为平滑,纹理比较简单的部分,进行GDV平移和不进行平移相比,残差相差不大,如exit序列中墙壁部分;第三类宏块,根据位移时相对人眼而言近处物体移动较快,远处物体移动较慢的普遍规律,可以近似看做在主要层次场景之后的场景,如exit中门后面那些层次和深度信息丰富的图像;第四类宏块,近似看做在主要层次场景之前的场景,如人离去的背影。根据经验,这些场景是人眼最为关注的,因此这些宏块的质量好坏对主观质量的评定影响较大。
而就客观质量而言,在此引入两个评价指标,分别称作宏块平均BS不等数BIPM(BS Inequality Per Macroblock)和宏块平均误差和ASB(Absolute Sum of BIPM)。
Figure 2011100532917100002DEST_PATH_IMAGE007
  (1)
Figure 2011100532917100002DEST_PATH_IMAGE008
  (2)
其中,MbNum为某种类型宏块的有效数目;T为该类型宏块的集合,MbAddress为有效宏块在帧中按光栅扫描的序数;
Figure 2011100532917100002DEST_PATH_IMAGE009
为帧中一行宏块的数量,
Figure 2011100532917100002DEST_PATH_IMAGE010
为离散单位脉冲响应函数。
                  
Figure 2011100532917100002DEST_PATH_IMAGE011
                           (3)
我们将上面所分的4类宏块进一步进行整理,将第一类宏块和第二类宏块合并为A类宏块,将第三类和第四类宏块合并为B类宏块,对A类宏块和B类宏块的BIPM值和ASB值分别进行统计,则视频序列exit(QP=33)第1-31帧第1视点相对第0视点的BIPM值分布如图2所示,其中,图2(a)为BIPM的完整折线图,因为该值在8、16、24等点的值过大,为了看清楚其他点的BIPM值,图2(b)将这些值置零。视频序列exit(QP=33)第1-31帧第1视点相对第0视点的ASB值分布如图3所示,其中,图3(a)为ASB的完整折线图,因为该值在8、16、24等点的值过大,为了看清楚其他点的ASB值,图3(b)将这些值置零。
可见,就算从客观角度衡量,B类宏块的BIPM和ASB也恒比A类宏块要高一些。其中一些帧,如第22帧,第26帧,B类宏块的BIPM和ASB几乎是A类宏块的2倍。
其余视频序列亦存在类似规律。分析图2 (b)和图3(b)可见,如果不考虑时间方向上第
Figure 2011100532917100002DEST_PATH_IMAGE012
(x为GOP的整数倍)帧,那么,就算从客观角度衡量,A类宏块的BIPM和ASB总要比B类宏块相应值低一些。其中一些帧,如第26帧,第28帧,B类宏块的BIPM和ASB几乎是A类宏块的相应值的2倍。其他视频序列也满足类似的规律。这说明了在A类宏块中,其各4×4块的水平/垂直边界的BS同参考帧中对应宏块相同位置的4×4块的水平/垂直边界的BS相似度更高。
另外,需要注意的是,对时间方向上第
Figure 288217DEST_PATH_IMAGE012
(x为GOP的整数倍)帧,不同视点的预测方式是不一样的(如对于HHI-IBBBP预测结构而言,时刻,V0为I帧,V1为B帧,V2为P帧),这个和别的帧不同。而查看经典方法的BS判断树,不同帧类型的时候对BS的判断影响非常大。在图2(a)和图3(a)中我们也可以看到,第
Figure 638427DEST_PATH_IMAGE012
帧的BIPM和ASB要比其他帧大几乎一个数量级,因此,对第
Figure 666426DEST_PATH_IMAGE012
帧,需要照经典方法对图像进行BS判断和滤波。
以上分析给了我们一个启示:既然相邻视点的主要场景可以近似看做宏块位移后得到的图画,并且这些位移后的宏块和原先的宏块的时间上的运动趋势也是高度一致的,那么显然新的边界强度信息也可以由已经解码完毕的参考视点的边界强度信息进行简单的平移得到。
所以,本实例为,本基于多视点视频解码端的去块滤波方法的操作步骤为:
1)视频编码(参见说明书附图5,图中粗斜体字部分为新增部分),具体步骤为:
(1)视频编码时可以采用各种广泛使用的预测编码结构,注意选用的编码结构需要包含视点间预测方式,如常见的HHI-IBBBP预测结构;
(2)全局运动矢量计算:计算该视点图像相对相邻视点的GDV值,计算GDV采用MAD(Mean Absolute Difference)法:
Figure 2011100532917100002DEST_PATH_IMAGE014
           (4)
其中,R为两幅图像中的重叠部分像素点的个数。
并将精度定为16个pixels:
               (5)
严格说来,每一帧图像f都应该有一个与其相对应的GDVf,但是对于大多数情况而言(如ballroom序列,exit序列等),多视点拍摄的时候摄像机的相对位置是固定不变的,如果拍摄的时候摄像机镜头也是固定好的,那么因为主要场景的稳定性,下列等式应该是存在的:
Figure 2011100532917100002DEST_PATH_IMAGE016
    (6)
但是如果主要场景随着时间的变化,有深度上的巨大变化,如摄像机阵列不是固定不变的,而是在不停地移动,那么(3)式就不一定成立了(如race1序列)。这时一个视频序列每个视点相对于参考视点的GDV值可以是时变的。
(3)判断当前解码的视点序列号,将恒用到视点间预测的视点各帧每个宏块的视差矢量DV(v,f,i)和其对应的GDV进行对比,计算它们的差值DGD(Disparity of GDV and DV):
           (7)
其中,f表示帧号;i表示宏块序号;v表示视点号。DGD的单位也为16pixels。
(4)根据每个宏块的DGD值将它们分为A类宏块和B类宏块,并用一个二进制位flag来标记它们:flag(i)=1时,指示第i号宏块为A类宏块,flag(i)=0时,指示第i号宏块为B类宏块。
2)视频解码(参见说明书附图6,图中粗斜体字部分为新增部分),具体步骤为: 
(1’) 将压缩好的视频码流和步骤(4)存放的二进制flag信息同时输入解码端
(2’) 在环路去块滤波之前,需要进行如下判定:
A’)该宏块反向移动GDV(v,f)后依然在视频显示的范围内;
B’)该宏块所在的视点每一帧都用到了视点间预测;
C’)该宏块所在的帧帧数Tx不为第0帧或第GOP整数倍帧;
D’)该帧对应的flag信息为1;
如果上述条件均符合,进入步骤(3’),否则,进入步骤(4’)。
(3’) 进行边界强度信息的判定。认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到,执行完毕后进入步骤(5’),平移的公式如下:
Figure 2011100532917100002DEST_PATH_IMAGE018
          (8)
其中,xy分别表示4×4块垂直/水平边界在宏块中左起和上起的位置,宏块GDV i GDV j 分别为该宏块所处帧对参考帧的GDV的水平分量和垂直分量,且满足式(9)。
                   (9)
如图4所示。
(4’) 进行边界强度信息的判定。使用多视点解码的默认方法进行边界强度信息的判定。执行完毕后进入步骤(5’)。
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
下面进行大量仿真实验来评估本文所提出的去块滤波算法的性能。
在配置为Intel Pentium 4 CPU 3.00GHz, 512M Internal Memory, Intel 8254G Express Chipset Family, Windows XP Operation System的PC机上编解码多视点视频序列ballroom, exit, race1(前33帧), flamenco1(前97帧),其中,BASIC QP设为30,33,36,39,42,实验平台选用JMVC,编解码预测结构选用HHI-IBBBP。
序列ballroom的实验结果如图7-图11所示。分析图7,可以看出,序列ballroom第1视点(视点间预测方式为B)在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了33.7%-44.7%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,滤波总节省时间在22.5%-26.9%之间;分析图8,可以看出,使用本方法序列ballroom第1视点(视点间预测方式为B)不同QP下,重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计;分析图9,可以看出,在ballroom序列重建帧主观质量局部对比图中,不滤波的图像在台阶处有较明显的块效应,而本文的方法和JMVC的方法质量相当;分析图10,可以看出,序列ballroom第7视点(视点间预测方式为P)在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了45.0%-58.4%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在25.3%-40.6%之间;分析图11,可以看出,使用本方法ballroom序列第7视点(视点间预测方式为P)在不同QP下,重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.02以内,可以忽略不计。
序列exit的实验结果如图12-图14所示。分析图12,可以看出,序列exit第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了22.8%-34.0%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在18.1%-24.9%之间;分析图13,可以看出,使用本方法exit序列第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计;图14为exit序列第30帧(QP=33)使用不滤波、本文提出的滤波方法和JMVC去块滤波方法的重建图像主观质量对比。在局部对比图中可见看出,不滤波的图像在墙体部分有较明显的块效应,而本文的方法和JMVC的方法都对这些块效应进行了有效的抑制,且两种方法的重建图像质量相当。
序列race1第1视点的实验结果如图15-图16所示。分析图15,可以看出,序列race1第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了15.1%-23.0%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在8.4%-14.7%之间;分析图16,可以看出,使用本方法序列race1第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计。另外,图16中,当QP为30、33和36时,不滤波时图像重建帧Cb分量PSNR反而比JMVC默认方法和本方法重建帧略高,这是race1视频序列的特殊性所在,不影响这里的分析。
序列flamenco1第1个视点的实验结果如图17-图18所示。分析图17,可以看出,序列flamenco1第1视点在不同QP下,使用本文所述方法BS判断时间比使用JMVC默认方法节省了19.4%-27.3%,从而带动了该视点整个环路去块滤波速率的提升,在不同的QP下,总节省时间在12.8%-17.2%之间;分析图18,可以看出,使用本方法flamenco1序列第1视点不同QP下重建图像的PSNR同使用JMVC默认方法重建图像的PSNR相比,有极小的下降,在0.01以内,可以忽略不计。
结合以上各图可以看出,实验结果符合预期,即以极小的,几乎不影响主观评价的图像质量损耗为代价换取去块滤波所耗费时间的大幅减少。

Claims (6)

1.一种基于多视点视频解码端的去块滤波方法,其特征在于:
1) 视频编码:在视频编码端将宏块分为2类,并将分类信息传到解码端;
2) 视频解码:利用视频编码端得到的宏块分类信息,在视频解码的去块滤波部分,对不同的宏块采用不同的滤波策略,加快了去块滤波的速率,从而加快了视频解码的速率。
2.根据权利要求1的基于多视点视频解码端的去块滤波方法,其特征在于所述步骤1),视频编码的具体操作步骤如下:
(1) 视频解码时采用各种广泛使用的预测编码结构,注意选用的编码结构包含视点间预测方式;
(2) 计算该视点图像相对相邻视点的GDV(全局视差矢量)值;
(3) 判断当前解码的视点序列号,将每一个用到视点间预测的帧的每个宏块的视差矢量DV和其对应的GDV进行对比,计算DV和GDV的差值DGD;
(4) 根据DGD的大小将宏块分为A类宏块和B类宏块,并用一个二进制位flag来标记它们,该标志位使用二进制形式存放,和视频码流同时传输。
3.根据权利要求2所述的基于多视点视频解码端的去块滤波方法,其特征在于步骤(4),根据DGD的大小将宏块分为A类宏块和B类宏块的方法是:
① A类宏块:当宏块对应的DGD值为(0,0)或GDV时,将其定义为A类宏块;
② B类宏块:当宏块对应的DGD值为其他值的时候,将其定义为B类宏块。
4.根据权利要求1的基于多视点视频解码端的去块滤波方法,其特征在于步骤2)所述,视频解码的具体操作步骤如下:
(1’) 将压缩好的视频码流和步骤(4)存放的二进制flag信息同时输入解码端
(2’) 在环路去块滤波之前,每个宏块都要结合标志位信息进行一定的判定,如果符合条件,进入步骤(3’),否则,进入步骤(4’);
(3’) 进行边界强度信息的判定:认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到,执行完毕后进入步骤(5’);
(4’) 进行边界强度信息的判定;使用多视点解码的默认方法进行边界强度信息的判定,执行完毕后进入步骤(5’);
(5’) 根据步骤(3’)或步骤(4’)得出的边界强度信息,按照多视点解码的默认方法进行自适应滤波。
5.  根据权利要求4所述的基于多视点视频解码端的去块滤波方法,其特征在于所述步骤(2’)中对宏块结合标志位信息的判定,方法如下:
Figure 998893DEST_PATH_IMAGE001
 该宏块反向移动GDV(v,f)后依然在视频显示的范围内;
Figure 881399DEST_PATH_IMAGE002
 该宏块所在的视点每一帧都用用到了视点间预测;
Figure 296200DEST_PATH_IMAGE003
 该宏块所在的帧帧数Tx不为第0帧或第GOP整数倍帧;
Figure 238748DEST_PATH_IMAGE004
 该宏块对应的flag信息为1。
6.根据权利要求4所述的基于多视点视频解码端的去块滤波方法,其特征在于所述步骤(3’)中认为边界强度信息可以由已经解码完毕的相邻视点的边界强度矩阵以宏块为单位进行相对GDV的简单的平移得到,其具体公式为:
Figure 676682DEST_PATH_IMAGE005
  
其中:
式中为常量,代表一帧中每列宏块的数目;
Figure 558685DEST_PATH_IMAGE008
为常量,代表一帧中每行宏块的数目;
Figure 483915DEST_PATH_IMAGE009
为宏块在帧中的地址,x和y分别表示宏块中每个4×4的块相对该宏块的坐标;
Figure 81305DEST_PATH_IMAGE011
分别代表重建帧和参考帧对应宏块的边界强度值。
CN 201110053291 2011-03-07 2011-03-07 多视点视频解码端去块滤波方法 Expired - Fee Related CN102098516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110053291 CN102098516B (zh) 2011-03-07 2011-03-07 多视点视频解码端去块滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110053291 CN102098516B (zh) 2011-03-07 2011-03-07 多视点视频解码端去块滤波方法

Publications (2)

Publication Number Publication Date
CN102098516A true CN102098516A (zh) 2011-06-15
CN102098516B CN102098516B (zh) 2012-10-31

Family

ID=44131353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110053291 Expired - Fee Related CN102098516B (zh) 2011-03-07 2011-03-07 多视点视频解码端去块滤波方法

Country Status (1)

Country Link
CN (1) CN102098516B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166304A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
CN104780383A (zh) * 2015-02-02 2015-07-15 杭州电子科技大学 一种3d-hevc多分辨率视频编码方法
CN108353172A (zh) * 2015-09-30 2018-07-31 凯迪迪爱通信技术有限公司 动图的处理装置、处理方法以及计算机可读存储介质
WO2022116054A1 (zh) * 2020-12-02 2022-06-09 Oppo广东移动通信有限公司 图像处理方法、系统、视频编码器及视频解码器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207817A (zh) * 2006-12-15 2008-06-25 庆熙大学校产学协力团 边界滤波强度的推导过程和使用其的去块滤波方法及装置
WO2008085865A2 (en) * 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
CN101248669A (zh) * 2005-09-21 2008-08-20 三星电子株式会社 对多视点视频编码和解码的设备和方法
CN101253774A (zh) * 2005-07-18 2008-08-27 韩国电子通信研究院 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
CN101627634A (zh) * 2006-10-16 2010-01-13 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101253774A (zh) * 2005-07-18 2008-08-27 韩国电子通信研究院 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
CN101248669A (zh) * 2005-09-21 2008-08-20 三星电子株式会社 对多视点视频编码和解码的设备和方法
CN101627634A (zh) * 2006-10-16 2010-01-13 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
CN101207817A (zh) * 2006-12-15 2008-06-25 庆熙大学校产学协力团 边界滤波强度的推导过程和使用其的去块滤波方法及装置
WO2008085865A2 (en) * 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《中国博士学位论文全文数据库 信息科技辑》 20070815 陈建乐 多视点视频编码方法的研究 23-50 , 第2期 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166304A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
CN104780383A (zh) * 2015-02-02 2015-07-15 杭州电子科技大学 一种3d-hevc多分辨率视频编码方法
CN104780383B (zh) * 2015-02-02 2017-09-19 杭州电子科技大学 一种3d‑hevc多分辨率视频编码方法
CN108353172A (zh) * 2015-09-30 2018-07-31 凯迪迪爱通信技术有限公司 动图的处理装置、处理方法以及计算机可读存储介质
WO2022116054A1 (zh) * 2020-12-02 2022-06-09 Oppo广东移动通信有限公司 图像处理方法、系统、视频编码器及视频解码器

Also Published As

Publication number Publication date
CN102098516B (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
CN106134191B (zh) 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法
KR101619975B1 (ko) 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
RU2518435C2 (ru) Оптимизация кодера в системах доставки стереоскопического видео
CN110036637B (zh) 去噪声化已重构图像的方法及装置
CN101710993A (zh) 基于块的自适应超分辨率视频处理方法及系统
CN102724525B (zh) 一种基于中心凹恰可觉察失真模型的深度视频编码方法
US9185414B1 (en) Video encoding using variance
CN111837389A (zh) 适用于多符号位隐藏的块检测方法及装置
CN105872556B (zh) 视频编码方法和装置
US8379985B2 (en) Dominant gradient method for finding focused objects
CN104992419A (zh) 基于jnd因子的超像素高斯滤波预处理方法
CN102098516B (zh) 多视点视频解码端去块滤波方法
CN116848843A (zh) 可切换的密集运动向量场插值
CN112822498A (zh) 图像处理设备和执行有效去块效应的方法
CN113014920A (zh) 图像编码、解码方法及装置
Zhao et al. Fast CU partition decision strategy based on human visual system perceptual quality
Ma et al. A fast background model based surveillance video coding in HEVC
US9542611B1 (en) Logo detection for macroblock-based video processing
CN111246218B (zh) 基于jnd模型的cu分割预测和模式决策纹理编码方法
CN114827616A (zh) 一种基于时空信息平衡的压缩视频质量增强方法
CN117616751A (zh) 动态图像组的视频编解码
An et al. Low-complexity motion estimation for H. 264/AVC through perceptual video coding.
CN106878753B (zh) 一种使用纹理平滑信息的3d视频残差编码模式选择方法
CN103957422A (zh) 一种基于边缘的面向虚拟视绘制的深度视频的编码方法
WO2023019407A1 (zh) 帧间预测方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121031