CN103813176A - 视频编解码中的去块效应滤波方法和自适应环路滤波方法 - Google Patents

视频编解码中的去块效应滤波方法和自适应环路滤波方法 Download PDF

Info

Publication number
CN103813176A
CN103813176A CN201210455709.1A CN201210455709A CN103813176A CN 103813176 A CN103813176 A CN 103813176A CN 201210455709 A CN201210455709 A CN 201210455709A CN 103813176 A CN103813176 A CN 103813176A
Authority
CN
China
Prior art keywords
encoding
block
blocks
activity
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210455709.1A
Other languages
English (en)
Inventor
罗斌姬
叶锋
门爱东
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201210455709.1A priority Critical patent/CN103813176A/zh
Publication of CN103813176A publication Critical patent/CN103813176A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了去块效应滤波方法,包括:根据相邻编码块的预测模式和/或预测方向与边界方向的关系,确定两个编码块的边界强度值,从而能够更加合理地确定边界强度值,提高去块效应滤波的性能。本申请中还考虑亮度和方向性纹理对于块边界的掩盖效应,当掩盖效应达到一定程度后,直接将边界强度值设为0,简化边界强度值的计算。本申请还公开了自适应环路滤波方法,通过引入去块效应滤波前后像素值的相关性,从而提高环路滤波性能。

Description

视频编解码中的去块效应滤波方法和自适应环路滤波方法
技术领域
本发明涉及到视频图像编解码技术,更具体的讲,是视频编解码中的去块效应滤波方法和自适应环路滤波方法。
背景技术
音视频编码标准(Audio Video Coding Standard V2.0,AVS2.0)是《信息技术先进音视频编码》系列标准的简称,是我国具备自主知识产权的第二代信源编码标准,也是数字音视频产业的共性基础标准。图1为高效视频编码框图。其中,AVS2.0主要采用了去块效应滤波器(DF)。另外,继H.264/AVS之后,又推出了新一代视频编码标准HEVC,在HEVC的测试模型HM中除包括去块效应滤波器外,还包括一个自适应环路滤波器(ALF)。
去块效应滤波器减少了由于块预测和量化引起的块效应。这里有两个引起块效应的主要原因。第一,变换和量化是基于块的,而且量化过程引起失真。量化系数误差在不同的块中是不同的。所以,两个块之间的边界就会不连续。第二,运动估计和运动补偿也是产生块效应的一个原因。运动补偿不能完全匹配,因为不同的块的运动补偿块可能来自于不同的帧或者来自同一帧的不同区域,在这种情况下,预测单元的边界也是不连续的。如果重建的帧用作了参考帧,那么这些不连续的边界将会复制到将用来预测的帧中。
由于在视频编码过程中存在上述问题,因此需要去块效应滤波器来降低块效应。具体地,去块效应滤波器采用一组低通滤波器,这些滤波器是根据边界强度(BS)自适应处理不同的边界,它们提供了更好的视觉质量并且提高了预测其他帧的能力。实验表明去块滤波提高了重建帧的客观和主观质量。
自适应环路滤波器(ALF)位于去块效应滤波器之后,它是基于维纳滤波器的。自适应环路滤波器(ALF)的主要目的是使得重构后的图像与原始图像的均方误差最小。量化是导致信息丢失的原因之一,通常将量化噪声建模为高斯噪声,而高斯噪声能有效地被自适应环路滤波器所减少,这是因为自适应环路滤波器是由维纳滤波器所设计,而维纳滤波器是基于均方误差准则的最优滤波器。自适应环路滤波器能提高图像的客观质量,它减少亮度和色度分量的失真。
传统的去块效应滤波器对于有帧内编码块的边界都采用强滤波器,而没有考虑帧内编码的模式等信息,边界强度的计算过程是不精确的。传统的去块效应滤波器没有考虑人类视觉系统的掩蔽效应对于块边界的掩盖情况,从而不能达到更好的主观效果。
另外,现有的自适应环路滤波器中没有利用到去块效应滤波器后的像素值和未滤波的重建的像素值之间的相关性,来提高图像的主客观质量,因此,自适应环路滤波的性能还有提升的空间。
发明内容
本申请提供视频编解码中的去块效应滤波方法和自适应环路滤波方法,对于去块效应滤波,能够合理地确定边界强度值,提高去块效应滤波的性能;对于环路滤波,能够提高环路滤波的性能。
一种视频编码中的去块效应滤波方法,包括:确定任意两个相邻编码块的边界强度值,根据该边界强度值对该两个编码块的边界进行去块效应滤波;
当所述两个编码块中的一个是帧内编码块时,根据所述两个编码块的预测模式和/或预测方向,确定所述两个编码块的边界强度值。
较佳地,当所述两个编码块中的任一个编码块满足条件一时,确定所述边界强度值为0;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
较佳地,当所述两个编码块均不满足条件一时,若所述两个编码块分别为帧内编码块和帧间编码块,则确定所述边界强度值大于或等于第一预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
较佳地,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且其中一个编码块的预测模式为帧内直流预测模式,则确定所述边界强度值大于或等于第二预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
较佳地,若所述两个编码块的预测模式均为帧内直流预测模式,则确定所述边界强度值为A-1;
所述边界强度值A为所述两个编码块的预测模式分别为帧内直流预测模式和帧内非直流预测模式时的边界强度值。
较佳地,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且都不为直流预测模式,且预测方向不同,则确定所述边界强度值大于或等于第三预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
较佳地,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且都不为直流预测模式,且预测方向相同,则确定所述边界强度值小于或等于第四预设值
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
较佳地,若所述两个编码块的预测方向与两个编码块的边界方向不同,则确定所述边界强度值大于边界强度值B;
所述边界强度值B为所述两个编码块的预测预测方向与两个编码块的边界方向相同时的边界强度值。
一种视频编码中的去块效应滤波方法,包括:
在任意两个相邻的8×8编码块中,以该两个编码块的边界为中心取8×8的像素作为参考块;
计算所述参考块的平均亮度值l,并根据该平均亮度值l计算亮度辨别阈值LUM;
在所述参考块中分别计算沿0°、45°、90°和135°方向的方向性活动因子,并根据四个方向的方向性活动因子计算所述边界的方向性掩盖因子Activity;
根据亮度辨别阈值LUM和方向性掩盖因子Activity计算掩盖效应模型因子CLDT,若所述掩盖效应模型因子CLDT大于预设阈值时,则将所述两个编码块的边界强度值设为0。
较佳地,所述计算沿0°方向的方向性活动因子Hactivity为:
H activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i , j - 1 ) - R ( i , j + 1 ) | ;
所述计算沿45°方向的方向性活动因子D45°activity为:
Figure BDA00002399926300032
所述计算沿90°方向的方向性活动因子Vactivity为:
V activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i - 1 , j ) - R ( i + 1 , j ) | ;
所述计算沿135°方向的方向性活动因子D135°activity为:
其中,R(i,j)表示所述参考块中像素点(i,j)的像素值,R(i,j)<<1表示将R(i,j)左移1位,i=0…7,j=0…7。
较佳地,所述计算边界的方向性掩盖因子Activity包括:
Activity=f1×Vactivity+f2×D45°activity+f3×D135°activity+f4×Hactivity
其中,当所述边界为垂直方向时,f1、f2、f3和f4是常数,且f1≥f2≥f3≥f4≥0;当所述边界为垂直方向时,f1、f2、f3和f4是常数,且f1≤f2≤f3≤f4≤0。
较佳地,所述计算掩盖效应模型因子CLDT为:CLDT=s1LUM(l)+s2Activity;其中,所述s1,s2是预设的常数。
一种视频编码中的自适应环路滤波方法,包括:
根据重构帧中的N-1个像素点的像素值和经去块效应滤波处理后的一个像素点的像素值,对所述重构帧中的当前像素点进行维纳滤波,确定当前像素点的滤波结果为 x ^ 0 : x ^ 0 = &Sigma; i = 0 N - 2 w i x i + w N - 1 x &prime; ;
其中,x0为所述重构帧中当前像素点的像素值,xi为所述重构帧中当前像素点后第i个像素点的像素值,x′为所述重构帧中当前像素点x0经去块效应滤波处理后的像素值,N为维纳滤波的维数,w0,w1,w2…wN-1分别为维纳滤波的滤波系数。
较佳地,所述维纳滤波的滤波系数满足H*=R-1C,其中,HT=[w0,w1,w3…wN-1]T,R为维纳滤波输入信号的自相关矩阵,C为维纳滤波输入信号与输出信号的互相关矩阵。
较佳地,采用5×5、7×7或9×7的十字交叉型的滤波器进行所述维纳滤波。
由上述技术方案可见,本申请中根据相邻编码块的预测模式和/或预测方向,确定两个编码块的边界强度值,从而能够更加合理地确定边界强度值,提高去块效应滤波的性能。另外,本申请中还考虑亮度和方向性纹理对于块边界的掩盖效应,当掩盖效应达到一定程度后,直接将边界强度值设为0,简化边界强度值的计算。
本申请中在自适应环路滤波中,引入去块效应滤波前后像素值的相关性,从而提高环路滤波性能,同时,使去块效应滤波和自适应环路滤波可以并行处理,提高了滤波效率。
附图说明
图1为高效视频编码框图;
图2为本申请实施例一中去块效应滤波的具体流程图;
图3为一个编码块的预测方向与边界方向相同的示意图;
图4a为两个编码块的预测方向与边界方向相同的示意图;
图4b为两个编码块的预测方向与边界方向均不同的示意图;
图5为本申请实施例二中去块效应滤波方法的具体流程图;
图6为构造参考块的示意图;
图7为本申请中自适应环路滤波的框图;
图8a为本申请中的去块效应滤波+自适应环路滤波方法与现有HM方法相比的性能比较示意图1;
图8b为本申请中的去块效应滤波+自适应环路滤波方法与现有HM方法相比的性能比较示意图2。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
在现有的去块效应滤波方法中,通过编码条件计算每个边界的边界强度值,然后根据边界强度值来控制滤波强度。在HM中,去块效应滤波没有考虑帧内编码条件,例如帧内预测模式,因此,原算法对帧内块的滤波是不恰当的,并且会影响编码效率和帧内帧的主观质量。
本申请的基本思想是:在进行边界强度值计算时一方面可以考虑帧内编码块的帧内编码信息,以提高边界强度值的准确度,提高去块效应滤波性能;另一方面还可以考虑亮度和方向性纹理对于块边界的掩盖效应,以简化边界强度值的计算。对于带有自适应环路滤波的视频图像处理中,在进行自适应环路滤波时,考虑去块效应滤波处理前后的像素值的相关性,以提高环路滤波性能。
具体地,本申请中给出两种去块效应滤波方法,均可以用于AVS和HEVC中。其中,在第一种去块效应滤波方法中,当任意两个相邻编码块中的一个是帧内编码块时,根据该两个编码块的预测模式和/或预测方向,确定两个编码块的边界强度值,再依据确定出的边界强度值进行去块效应滤波。下面对该去块效应滤波方法进行详细介绍。
图2为本申请实施例一中去块效应滤波的具体流程图。其中,通过逐级判断的方式,根据两个相邻编码块的预测模式及预测方向,确定边界强度值。如图2所示,该方法包括:
步骤201,判断两个相邻编码块P块和Q块是否均为帧间编码,若是,则按照现有方式计算边界强度值(BS);否则,执行步骤202。
当两个相邻编码块都是帧间编码块时,采用现有方式计算BS;当两个相邻编码块中至少一个是帧内编码块时,采用下述判断操作确定BS。
步骤202,判断两个相邻编码块中是否存在至少一个编码块满足条件一,若是,则将BS值设为0,否则,执行步骤203。
其中,条件一为:该编码块为帧内编码块、且该编码块预测方向与两个编码块的边界方向相同、且该帧内编码块没有非零的变换系数。
这里,编码块的预测方向指编码块进行帧内预测时,所依据的其他编码块与该编码块的方向关系。显然,两个编码块间的边界方向分为水平方向和垂直方向。编码块的预测方向有时不完全是真正的水平和垂直,将水平偏移在预设范围内的预测方向都认为是水平的预测方向,将垂直偏移在预设范围内的预测方向都认为是垂直的预测方向。
如果P(或Q)的预测方向和边界方向相同,如图3所示,在这种情况下,预测过程不会带来虚假的块边界。而如果编码块没有非零的变换系数,就意味着量化过程也没有引入块效应。基于此,当某帧内编码块的预测方向与边界方向相同、且该编码块没有非零的变换系数时,没有必要进行去块效应滤波,因此,可以直接将边界强度值设为0,避免对这类情况的边界进行去块效应滤波,能够提高去块效应滤波的性能。
步骤203,判断P和Q是否均为帧内编码块,若不是,则设置BS为较高,否则,执行步骤204。
当P和Q中只有一个是帧内编码、另一个是帧间编码时,参考像素来源于不同的帧。在这种情况下,边界可能会比较明显,所以将BS设置为大于第一预设值,采用相对强的去块效应滤波器,例如可以将边界强度值设为6。其中,第一预设值为根据需要设置的相对较高的边界强度取值。
步骤204,判断P或Q是否为直流预测模式,若是,则设置BS为较高,否则执行步骤206。
如果P和Q都是帧内编码,而且P或Q是直流(DC)预测模式,也就意味着P和Q之间的边界区域是相对比较平坦的,所以需要比较强的去块效应滤波,可以将BS设置为大于第二预设值,例如可以将边界强度值设为6或5。
另外,如果P和Q都是DC预测模式,其边界强度值A可以设置为比P和Q中仅一个是DC预测模式时的边界强度值B稍低。例如,A=5,B=6。具体可以通过步骤205实现。
其中,第二预设值为根据需要设置的相对较高的边界强度取值;同时,由于考虑到可能需要区分P、Q均为DC预测模式和P、Q中仅一个为DC预测模式的不同BS取值,可以将第二预设值设置的低于前述第一预设值。
步骤205,判断P和Q是否均为DC预测模式,若是,则将边界强度值设为5,,否则将边界强度值设为6。
步骤206,判断P和Q的预测方向是否相同,若是,则将BS设为较低,否则,将BS设为较高。
在前述判断结果的基础上,当P和Q的预测方向不同时,通常边界可能会比较明显,因此采用相对较强的去块效应滤波,可以将BS设为大于第三预设值,例如将BS设为6。其中,第三预设值为根据需要设置的相对较高的边界强度取值,具体取值可以与前述的第一预设值相同。
在前述判断结果的基础上,当P和Q的预测方向相同时,通常边界比较不明显,因此采用相对较弱的去块效应滤波,可以将BS设为小于或等于第四预设值,例如将BS设为3或4。其中,第四预设值为根据需要设置的相对较低的边界强度取值,具体取值可以为4。另外,如果P和Q的预测方向与边界方向相同,如图4a,其边界相对于预测方向与边界方向不同的情况要更加不明显,因此,可以将P和Q的预测方向与边界方向相同时的边界强度值C,设置为比P和Q的预测方向与边界方向不同时的边界强度值D稍低,例如,C=3,D=4。具体可以通过步骤207实现。编码块的预测方向与边界方向不同的示意图如图4b所示。
步骤207,判断P和Q的预测方向与边界方向是否相同,若是,则将边界强度值设为3,否则,将边界强度值设为4。
步骤208,根据P和Q的边界强度值,进行去块效应滤波。
本步骤的处理与现有方式相同,这里就不再赘述。
至此,本申请实施例一中的去块滤波方法流程结束。
下面通过实施例二说明本申请中第二种去块滤波方法。该去块滤波方法是基于人类视觉系统(HVS)的联合亮度和方向性纹理(CLDT)掩盖效应模型进行的。其中,亮度掩盖就是指人类对特别暗和特别亮的区域不敏感;纹理掩盖就是指人眼对纹理特别丰富的区域不敏感,而且纹理掩盖的程度是与纹理的方向有关的。本申请第二种去块滤波方法中,综合考虑亮度和方向性纹理对于块边界的掩盖效应,对于受掩盖效应影响而不明显的块边界,不对它进行滤波,即边界强度值为0。
图5为实施例二中去块效应滤波方法的具体流程图。如图5所示,该方法包括:
步骤401,在两个相邻编码块中,以该两个编码块的边界为中心取8×8的块作为参考块。
构造参考块c,如图6。其中a和b是水平(或垂直)方向上相邻的两个8×8的块,它们之间是个垂直(或水平)边界,将a块的右(上)边四列和b块的左(下)边四列像素构成参考块c。
步骤402,计算参考块c的背景亮度l,并根据l计算亮度辨别阈值LUM。
其中,参考块c的背景亮度即为该块的平均亮度值,根据l计算LUM的方式为现有的,具体如下:
LUM ( l ) = 17 ( 1 - l 127 ) + 3 0 &le; l &le; 127 3 128 ( l - 127 ) + 3 128 &le; l &le; 255 .
步骤403,在参考块c中分别计算沿0°、45°、90°和135°方向的方向性活动因子。
纹理掩盖效应发生在纹理很复杂或者纹理和目标物体有相似的频率和方向的区域。背景的纹理越复杂,块边界的可见度就越低。由于纹理掩盖对块边界的方向很敏感,因此首先计算参考块的方向性活动因子。考虑方向性纹理掩盖特性时,只考虑四个方向,分别为0°(水平的),45°,90°(垂直的)和135°,分别计算这四个方向的方向性活动因子如下:
H activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i , j - 1 ) - R ( i , j + 1 ) |
Figure BDA00002399926300083
V activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i - 1 , j ) - R ( i + 1 , j ) |
Figure BDA00002399926300085
其中,Hactivity、D45°activity,、Vactivity、D135°activity分别代表0°(水平的)活动因子、45°活动因子、90°(垂直的)活动因子和135°活动因子。R(i,j)是位于参考c块中(i,j)位置处像素点的像素值,R(i,j)<<1表示将R(i,j)左移1位,i=0…7,j=0…7。
步骤404,根据四个方向的方向性活动因子计算边界的方向性掩盖因子Activity。
Activity=f1×Vactivity+f2×D45°activity+f3×D135°activity+f4×Hactivity
其中,f1、f2、f3和f4是常数。
对于垂直边界,Vactivity在纹理掩盖中占据着更重要的地位,Hactivity占据最小的权重,而D45°activity和D135°activity的权重则介于前两者之间,因此,有f1≥f2≥f3≥f4≥0;同时,计算结果Activity的值越大,说明垂直方向的纹理越丰富,也意味着对垂直边界的掩盖程度越大,相反,计算结果Activity值越小,垂直边界越明显。
对于水平边界,Hactivity在纹理掩盖中占据着更重要的地位,Vactivity占据最小的权重,而D135°activity和D45°activity的权重则介于前两者之间,因此,有f1≤f2≤f3≤f4≤0;同时,计算结果Activity的值越大,说明水平方向的纹理越丰富,也意味着对水平边界的掩盖程度越大,相反,计算结果Activity值越小,水平边界越明显。
步骤405,根据亮度辨别阈值LUM和方向性掩盖因子Activity计算CLDT掩盖效应模型因子CLDT。
CLDT=s1LUM(l)+s2Activity
其中,s1、s2是预设的常数,代表亮度掩盖效应和方向性纹理掩盖效应的权重,是经验值。CLDT是对边界的基于CLDT掩盖效应模型的去块效应滤波因子。CLDT是CLDT掩盖效应模型因子。
对于垂直边界而言,CLDT值很大时,意味着对于垂直边界的掩盖效应很强,垂直的虚假块边界对人眼来说并不明显;反之,CLDT值很小时,意味着对垂直块边界的掩盖效应很弱,马赫带很明显。
同理,对于水平边界而言,CLDT值很大时,意味着对于水平边界的掩盖效应很强,水平的虚假块边界对人眼来说并不明显;反之,CLDT值很小时,意味着对水平块边界的掩盖效应很弱,马赫带很明显。
步骤406,判断CLDT是否大于预设阈值时,若是,则将边界强度值设为0。
当CLDT大于阈值T时,则当前垂直或水平边界的边界强度值为0,不对其进行滤波。对于其他情况,按照现有或本申请前述实施例一中的方式计算边界强度值。
至此,本实施例中的去块效应滤波方法流程结束。通过本实施例中的方法,综合考虑了亮度掩盖效应和方向性纹理掩盖效应,从而简化边界强度计算,提高去块效应滤波的性能。
同时,上述实施例一和实施例二中的方法可以结合在一起使用。
如前所述,对于HEVC的视频标准,还包括自适应环路滤波的处理。针对包括自适应环路滤波的视频图像处理,本申请还提供了一种新的自适应环路滤波方法,将去块效应滤波前后像素值的相关性引入环路滤波,从而提高环路滤波性能。
具体地,本申请提供的自适应环路滤波方法中,将重构帧和去块效应滤波器之后的信号作为自适应环路滤波器的输入,从整个系统看,自适应环路滤波主要是对去块效应滤波之前的信号(即重构帧)进行处理,而去块效应滤波器之后信号加上一个权重因子,这个权重因子也是自适应环路滤波器的一个系数,本申请中自适应环路滤波器的框图如图7所示。图7中的虚线表示权重因子是自适应环路滤波器的系数之一,将该自适应环路滤波框图用表达式来表示:
S out = &Sigma; i = 0 N - 2 w i &CenterDot; s i + w N - 1 &CenterDot; s &prime; - - - ( 2 )
上式中的Sout表示自适应环路滤波的输出,w0,w1,w2…wN-1表示滤波器系数,N为滤波器的系数总数。其中w0,w1,w2…wN-2是对去块效应滤波之前的信号进行滤波处理的滤波系数,而wN-1是对去块效应滤波之后的信号进行滤波处理的滤波系数。其中,该环路滤波采用维纳滤波。
具体上述自适应环路滤波器的滤波系数可以按照下述方式进行计算:
令x0表示当前要进行滤波的像素,则有:
x ^ 0 = &Sigma; i = 0 N - 2 w i x i + w N - 1 x &prime; = &Sigma; i = 0 N - 1 w i x i = H T X 0
上式中:
x′=xN-1
HT=[w0,w1,w2…wN-1]T
X0=[x0,x1,x2…xN-1]T
其中,表示当前像素点经自适应环路滤波处理之后的像素值,则根据最小均方误差准则,最优滤波器系数H满足:
H = arg min &Sigma; i = 0 M - 1 | s i - H T X i | 2
上式中M表示图像中像素的个数,argmin()表示取最小值,根据最优化维纳滤波器系数的计算公式,可计算出最佳滤波器系数H*
H*=R-1C
其中,R表示自适应环路滤波器输入信号的自相关矩阵,C表示自适应环路滤波器输入信号与输出信号的互相关矩阵。最佳滤波器系数的具体计算方式属于本领域技术人员的公知常识,这里就不再详述。
对于上述自适应环路滤波器,可以采用5×5、7×7、9×7的十字交叉型的滤波器。
上述即为本申请中给出的自适应环路滤波方法。在上述自适应环路滤波方法中,一方面将去块效应滤波前后像素值的相关性引入环路滤波,从而提高了环路滤波的性能,另一方面,使环路滤波和去块效应滤波可以并行处理,而不像现有处理中环路滤波一定在去块滤波完成后进行,提高了滤波效率。该自适应环路滤波方法可以应用于HEVC的视频编解码系统中,以提高环路滤波性能。
进一步地,上述自适应环路滤波方法可以与前述两个去块效应滤波方法中的一个或两个结合使用。
下面给出在视频编解码中应用上述本申请提供的三种方法时,与现有HM2.0的编解码相比的仿真性能比较。其中,仿真环境为visual studio 2010,仿真实验分别选用标准视频序列库中的Traffic序列、Kimono序列、Cactus序列、Basketball序列、BQMall序列、RaceHorces序列、BasketballPass序列、BQSquare序列、Blowing序列等的100帧进行测试,分别在Intra-only、Random-access和Low-delay三种编码条件下进行测试。性别比较结果如表1、图8a和图8b所示。
表1
由表1可见,在应用本申请中的三种方法条件下,在客观和主观质量没有下降的前提下,与HM2.0相比改进的滤波器有0.86%的BDBR增益。根据图8a和图8b的比较可见,应用本申请的三种方法后,相比于HM2.0在主观质量上有小的提高,与HM2.0相比能有效地减少量化误差和块效应。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (15)

1.一种视频编码中的去块效应滤波方法,包括:确定任意两个相邻编码块的边界强度值,根据该边界强度值对该两个编码块的边界进行去块效应滤波;其特征在于,
当所述两个编码块中的一个是帧内编码块时,根据所述两个编码块的预测模式和/或预测方向,确定所述两个编码块的边界强度值。
2.根据权利要求1所述的方法,其特征在于,当所述两个编码块中的任一个编码块满足条件一时,确定所述边界强度值为0;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
3.根据权利要求1所述的方法,其特征在于,当所述两个编码块均不满足条件一时,若所述两个编码块分别为帧内编码块和帧间编码块,则确定所述边界强度值大于或等于第一预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
4.根据权利要求1所述的方法,其特征在于,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且其中一个编码块的预测模式为帧内直流预测模式,则确定所述边界强度值大于或等于第二预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
5.根据权利要求4所述的方法,其特征在于,若所述两个编码块的预测模式均为帧内直流预测模式,则确定所述边界强度值为A-1;
所述边界强度值A为所述两个编码块的预测模式分别为帧内直流预测模式和帧内非直流预测模式时的边界强度值。
6.根据权利要求1所述的方法,其特征在于,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且都不为直流预测模式,且预测方向不同,则确定所述边界强度值大于或等于第三预设值;
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
7.根据权利要求1所述的方法,其特征在于,当所述两个编码块均不满足条件一时,若所述两个编码块均为帧内编码块、且都不为直流预测模式,且预测方向相同,则确定所述边界强度值小于或等于第四预设值
所述条件一为:编码块为帧内编码块、且该编码块预测方向与所述两个编码块的边界方向相同、且该编码块没有非零的变换系数。
8.根据权利要求7所述的方法,其特征在于,若所述两个编码块的预测方向与两个编码块的边界方向不同,则确定所述边界强度值大于边界强度值B;
所述边界强度值B为所述两个编码块的预测预测方向与两个编码块的边界方向相同时的边界强度值。
9.一种视频编码中的去块效应滤波方法,其特征在于,包括:
在任意两个相邻的8×8编码块中,以该两个编码块的边界为中心取8×8的像素作为参考块;
计算所述参考块的平均亮度值l,并根据该平均亮度值l计算亮度辨别阈值LUM;
在所述参考块中分别计算沿0°、45°、90°和135°方向的方向性活动因子,并根据四个方向的方向性活动因子计算所述边界的方向性掩盖因子Activity;
根据亮度辨别阈值LUM和方向性掩盖因子Activity计算掩盖效应模型因子CLDT,若所述掩盖效应模型因子CLDT大于预设阈值时,则将所述两个编码块的边界强度值设为0。
10.根据权利要求9所述的方法,其特征在于,所述计算沿0°方向的方向性活动因子Hactivity为:
H activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i , j - 1 ) - R ( i , j + 1 ) | ;
所述计算沿45°方向的方向性活动因子D45°activity为:
Figure FDA00002399926200022
所述计算沿90°方向的方向性活动因子Vactivity为:
V activity = &Sigma; i , j | ( R ( i , j ) < < 1 ) - R ( i - 1 , j ) - R ( i + 1 , j ) | ;
所述计算沿135°方向的方向性活动因子D135°activity为:
其中,R(i,j)表示所述参考块中像素点(i,j)的像素值,R(i,j)<<1表示将R(i,j)左移1位,i=0…7,j=0…7。
11.根据权利要求9所述的方法,其特征在于,所述计算边界的方向性掩盖因子Activity包括:
Activity=f1×Vactivity+f2×D45°activity+f3×D135°activity+f4×Hactivity
其中,当所述边界为垂直方向时,f1、f2、f3和f4是常数,且f1≥f2≥f3≥f4≥0;当所述边界为垂直方向时,f1、f2、f3和f4是常数,且f1≤f2≤f3≤f4≤0。
12.根据权利要求9所述的方法,其特征在于,所述计算掩盖效应模型因子CLDT为:CLDT=s1LUM(l)+s2Activity;其中,所述s1,s2是预设的常数。
13.一种视频编码中的自适应环路滤波方法,其特征在于,包括:
根据重构帧中的N-1个像素点的像素值和经去块效应滤波处理后的一个像素点的像素值,对所述重构帧中的当前像素点进行维纳滤波,确定当前像素点的滤波结果为
Figure FDA00002399926200031
x ^ 0 = &Sigma; i = 0 N - 2 w i x i + w N - 1 x &prime; ;
其中,x0为所述重构帧中当前像素点的像素值,xi为所述重构帧中当前像素点后第i个像素点的像素值,x′为所述重构帧中当前像素点x0经去块效应滤波处理后的像素值,N为维纳滤波的维数,w0,w1,w2…wN-1分别为维纳滤波的滤波系数。
14.根据权利要求13所述的方法,其特征在于,所述维纳滤波的滤波系数满足H*=R-1C,其中,HT=[w0,w1,w2…wN-1]T,R为维纳滤波输入信号的自相关矩阵,C为维纳滤波输入信号与输出信号的互相关矩阵。
15.根据权利要求13或14所述的方法,其特征在于,采用5×5、7×7或9×7的十字交叉型的滤波器进行所述维纳滤波。
CN201210455709.1A 2012-11-14 2012-11-14 视频编解码中的去块效应滤波方法和自适应环路滤波方法 Pending CN103813176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210455709.1A CN103813176A (zh) 2012-11-14 2012-11-14 视频编解码中的去块效应滤波方法和自适应环路滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210455709.1A CN103813176A (zh) 2012-11-14 2012-11-14 视频编解码中的去块效应滤波方法和自适应环路滤波方法

Publications (1)

Publication Number Publication Date
CN103813176A true CN103813176A (zh) 2014-05-21

Family

ID=50709305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210455709.1A Pending CN103813176A (zh) 2012-11-14 2012-11-14 视频编解码中的去块效应滤波方法和自适应环路滤波方法

Country Status (1)

Country Link
CN (1) CN103813176A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123749A1 (en) * 2015-02-03 2016-08-11 Mediatek Inc. Deblocking filtering with adaptive motion vector resolution
CN106170093A (zh) * 2016-08-25 2016-11-30 上海交通大学 一种帧内预测性能提升编码方法
WO2017063404A1 (zh) * 2015-10-16 2017-04-20 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器
CN107172423A (zh) * 2017-03-31 2017-09-15 武汉斗鱼网络科技有限公司 一种对视频帧进行滤波的方法及装置
CN107750459A (zh) * 2015-06-18 2018-03-02 Lg电子株式会社 图像编码系统中的基于图像特性的自适应滤波方法和装置
CN107896330A (zh) * 2017-11-29 2018-04-10 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
CN110741645A (zh) * 2017-11-09 2020-01-31 谷歌有限责任公司 块效应减少
CN111294593A (zh) * 2014-05-29 2020-06-16 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
CN111787334A (zh) * 2020-05-29 2020-10-16 浙江大华技术股份有限公司 一种用于帧内预测的滤波方法,滤波器及装置
CN112637610A (zh) * 2019-09-24 2021-04-09 富士通株式会社 去块滤波器的系数获取装置、方法以及图像编解码装置
CN113038144A (zh) * 2021-05-24 2021-06-25 浙江大华技术股份有限公司 一种去除块效应的方法、装置和计算机可读存储介质
CN113132739A (zh) * 2019-12-31 2021-07-16 杭州海康威视数字技术股份有限公司 边界强度确定、编解码方法、装置及其设备

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294593A (zh) * 2014-05-29 2020-06-16 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
WO2016123749A1 (en) * 2015-02-03 2016-08-11 Mediatek Inc. Deblocking filtering with adaptive motion vector resolution
CN107750459A (zh) * 2015-06-18 2018-03-02 Lg电子株式会社 图像编码系统中的基于图像特性的自适应滤波方法和装置
CN107750459B (zh) * 2015-06-18 2020-09-15 Lg电子株式会社 图像编码系统中的基于图像特性的自适应滤波方法和装置
US10600156B2 (en) 2015-06-18 2020-03-24 Lg Electronics Inc. Image properties-based adaptive filtering method and device in image coding system
WO2017063404A1 (zh) * 2015-10-16 2017-04-20 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器
US10904523B2 (en) 2015-10-16 2021-01-26 Zte Corporation Encoding processing method and device, decoding processing method and device, encoder, and decoder
US11272176B2 (en) 2015-10-16 2022-03-08 Zte Corporation Encoding processing method and device, decoding processing method and device, encoder, and decoder
CN106170093A (zh) * 2016-08-25 2016-11-30 上海交通大学 一种帧内预测性能提升编码方法
CN106170093B (zh) * 2016-08-25 2020-01-07 上海交通大学 一种帧内预测性能提升编码方法
CN107172423A (zh) * 2017-03-31 2017-09-15 武汉斗鱼网络科技有限公司 一种对视频帧进行滤波的方法及装置
CN110741645B (zh) * 2017-11-09 2022-10-04 谷歌有限责任公司 块效应减少
CN110741645A (zh) * 2017-11-09 2020-01-31 谷歌有限责任公司 块效应减少
CN107896330A (zh) * 2017-11-29 2018-04-10 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
CN112637610A (zh) * 2019-09-24 2021-04-09 富士通株式会社 去块滤波器的系数获取装置、方法以及图像编解码装置
CN113132739A (zh) * 2019-12-31 2021-07-16 杭州海康威视数字技术股份有限公司 边界强度确定、编解码方法、装置及其设备
CN111787334A (zh) * 2020-05-29 2020-10-16 浙江大华技术股份有限公司 一种用于帧内预测的滤波方法,滤波器及装置
CN113038144A (zh) * 2021-05-24 2021-06-25 浙江大华技术股份有限公司 一种去除块效应的方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN103813176A (zh) 视频编解码中的去块效应滤波方法和自适应环路滤波方法
US11381812B2 (en) Boundary filtering method for intra prediction
CN100566411C (zh) 消除块效应的方法、介质和滤波器
CN102804776B (zh) 采用自适应回路滤波器处理编码视频的方法和装置
CN103124347B (zh) 利用视觉感知特性指导多视点视频编码量化过程的方法
CN103024248B (zh) 运动自适应的视频图像降噪方法及其装置
Zhang et al. Low-rank-based nonlocal adaptive loop filter for high-efficiency video compression
CN104919805A (zh) 使用至少评估后的视觉质量的视频编码方法和相关视频编码装置
CN101841706B (zh) 改善视频质量的方法和装置
CN102420988B (zh) 一种利用视觉特性的多视点视频编码系统
RU2012148138A (ru) Способ кодирования видео и устройство кодирования видео, и способ декодирования видео и устройство декодирования видео, которые выполняют деблокирующую фильтрацию на основании единиц кодирования древовидной структуры
CN104378636B (zh) 一种视频图像编码方法及装置
CN102119401B (zh) 用于带状伪像检测的方法和设备
CN107925772A (zh) 利用可选插值滤波器进行视频运动补偿的装置和方法
CN104735450A (zh) 一种在视频编解码中进行自适应环路滤波的方法及装置
US20030035586A1 (en) Decoding compressed image data
CN104702963A (zh) 一种自适应环路滤波的边界处理方法及装置
CN102771122A (zh) 用于视频编码和解码的自适应耦合预处理和后处理滤波器的方法和设备
CN106170093B (zh) 一种帧内预测性能提升编码方法
CN103888764A (zh) 一种自适应补偿视频压缩失真的系统及方法
CN105791877A (zh) 视频编解码中自适应环路滤波的方法
CN107295341A (zh) 视频编码方法
CN103179325A (zh) 一种固定场景下低信噪比视频的自适应3d降噪方法
CN101321276B (zh) 去块效应的方法及装置
CN111193931A (zh) 一种视频数据的编码处理方法和计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140521