CN101494787B - 一种基于块效应检测的去块效应方法 - Google Patents

Abstract

本发明公开了一种基于块效应检测的去块效应方法，本发明中：在检测块效应时利用了视频序列中前一帧和后一帧图像的信息，能够准确的检测出块效应、有效地避免了误检测和漏检测；采用了下采样四步法匹配块搜索算法、极大地提高了搜索速度，并采用前一帧和后一帧作为参考帧、不仅克服了“遮挡”与“显露”效应，而且由于利用了帧间信息，使检测到的块效应更为准确；采用块效应强度自适应平滑函数，有效地去除了块效应；只针对视频中存在块效应的图像内容进行去块效应处理，较好地保持了数字视频的视觉质量和峰值信噪比PSNR。

Description

一种基于块效应检测的去块效应方法 

技术领域

本发明属于视频处理领域，主要涉及适用于数字视频图像处理、数字视频图像显示等方面的一种基于块效应检测的去块效应方法。 

背景技术

近年来，数字视频的应用表现出迅猛发展趋势，源于计算机领域的数字化视频传输技术，不但是当代信息高速公路、高清晰度电视、可视电话、电视会议、图文传真等应用中的关键技术，而且在航空侦察、遥感、资源勘探及生物医学工程等研究领域起到非常重要的作用。随着数字视频的广泛应用，人们对视频图像质量有了越来越高的要求，因此数字视频图像处理成为视频技术研究中的重中之重。由于目前的各种视频图像处理算法，如视频去噪、帧频提升等，都是基于图像宏块的处理算法，因此这些算法可能导致处理后的图像中某些相邻宏块的边缘部分产生不连续的现象，形成明显的块边界，即“块效应”。这种块效应的存在严重影响了视频图像的主观视觉质量，因此越来越多的专家学者们开始着手于去块效应算法的研究。 

现行的视频图像去块效应算法中有一个明显的特点，就是对视频序列单帧图像中的全部宏块边界进行平滑处理。由于块效应只是随机地出现在视频图像中某一帧中某些宏块的边缘处，因此，针对于视频序列整帧图像的去块效应算法在去除块效应的同时，将会造成视频图像的过度平滑以及宏块边界的模糊现象，导致视频图像主观视觉质量下降、降低视频图像的峰值信噪比(PSNR)。 

若是能够在去除视频图像中的块效应之前进行块效应检测，检测出视频图像中哪些区域存在块效应，然后只对这些区域进行去块效应平滑处理，将会保证在去除块效应的前提下不会导致视频图像的过度平滑和宏块边界的模糊，同时有效的块效应检测算法利于在实时视频处理系统中进行应用。 

目前，对块效应检测算法的研究相对较少，其重要性还没有引起足够的注意。已有的块效应检测算法只是利用了当前帧的信息，用基于空域或频域的方法来检测当前帧中的块效应。其中：基于频域的块效应检测方法由于效果不佳，关于这方面的研究和应用相对较少；基于空域的块效应检测方法，主要是检测视频图像块边缘处像素与其周围像素的相关性，以此作为判断该区域是否存在块效应的主要依据，已有的基于空域的块效应检测方法大多是在此基础上进行了一定的改进。 

而且，基于空域的块效应检测算法存在的缺点是：一，在实际应用中经常会发生误检测和漏检测，算法的鲁棒性有待改善；二，由于需要对每两个相邻的宏块进行空域运算、计算开销较大，限制了这类块效应检测算法在实时视频处理系统中的应用。 

发明内容

通过上述分析，可以看出：如何有效地检测出视频图像中的块效应、提高块效应检测算法的鲁棒性和实效性，如何在有效去除块效应的同时保持较好的视频图像PSNR值和主观视觉质量，成为了块效应检测与块效应去除算法中的主要研究内容。 

本发明的目的是提供一种基于块效应检测的去块效应方法，以准确快速地检测出视频图像中的块效应、避免误检测和漏检测，有效地去除块效应，并克服由于视频内容运动带来的“遮挡”与“显露”效应、较好地保持数字视频的视觉质量和峰值信噪比PSNR，同时使得该方法具有复杂度低、处理速度快的特点，适用于实时数字视频序列的去块效应处理。 

为达到上述目的，本发明公开了一种基于块效应检测的去块效应方法，包括以下处理步骤： 

步骤1、根据输入视频序列的先验信息，获取视频序列设置的m×n个原始图像块，再对视频图像的每一帧进行重新分块：划分为水平h类和垂直v类图像块，其中h类图像为(m-1)×n块，v类图像为m×(n-1)块，划分后的h类块包含原始视频序列各帧中原始图像块水平方向上的块边界信息，v类块包含原始视频序列各帧中原始图像块垂直方向上的块边界信息； 

步骤2、在重新分块的当前帧图像f_k中，获取每一个h类或v类图像当前块B_k、通过下采样四步法在参考帧，即前一帧图像f_k-1或者后一帧图像f_k+1中搜索匹配块； 

首先利用前一帧图像f_k-1作为参考帧，搜索当前块B_k的匹配块B_k-1，根据在前一帧图像f_k-1中搜索得到的匹配块B_k-1，利用SAD值判定B_k-1是否为当前块B_k的实际匹配块B_{k_match}：若SAD_k-1小于等于阈值T1，则判定B_k-1为实际匹配块B_{k_match}， 

若SAD_k-1大于阈值T1，则判定B_k-1为伪匹配块，利用后一帧图像f_k+1作为参考帧，搜索当前块B_k的匹配块，得到B_k+1、并确定为B_k的实际匹配块B_{k_match}； 

所述匹配块搜索方法是由经典的四步法改进后的下采样四步搜索算法，保证了准确、快速的匹配块搜索。 

步骤3、若当前块B_k属于h类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4列像素值的相关性来判断当前块B_k中是否存在水平方向的块效应，没有块效应，则保留前块B_k的图像信息，若存在块效应，对于每一个确定具有水平方向块效应的h类图像块，通过块效应强度自适应平滑函数去除水平方向的块效应； 

若当前块B_k属于v类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4行像素值的相关性来判断当前块B_k中是否存在垂直方向的块效应，没有块效应，则保留前块B_k的图像信息，若存在块效应，对于每一个确定具有垂直方向块效应的v类图像块，通过块效应强度自适应平滑函数去除垂直方向的块效应； 

步骤4、依次对当前帧图像f_k中的h类图像为(m-1)×n块，v类图像为m×(n-1)块都进行了块效应判断，并去除其中的块效应后，输出处理后的当前帧图像f_k。 

步骤2中所述的实际匹配块判定方法是：首先，利用前一帧f_k-1作为参考帧，搜索其匹配块，对所述当前块B_k和前一帧图像f_k-1的匹配块B_k-1进行SAD值判定，获取所述B_k与B_k-1的对应像素灰度值之差的绝对值之和，得出与B_k-1对应的值SAD_k-1；若SAD_k-1小于或等于预先设定的阈值T1，则判定B_k-1为实际匹配块B_{k_match}； 

否则，判定B_k与上一帧存在“遮挡”或“显露”情况、其匹配块B_k-1为伪匹配块，这时用后一帧f_k+1作为参考帧，搜索其匹配块，得到B_k+1，并以该块为B_k的实际匹配块B_{k_match}。 

步骤3中所述的块效应判定方法是：利用所述当前块B_k与实际匹配块B_{k_match}的相关性，来判定B_k中是否存在块效应，即利用了视频图像在帧间的相关性、判断处理后的视频图像中是否存在块效应。 

该方法方便灵活，在硬件实现时，可以根据硬件条件，既可以采用基于三帧的去块效应处理，也可以采用基于多于三帧的去块效应处理，以进一步提高块效应检测的准确程度。 

本发明的显著效果是：在检测块效应时利用了视频序列中前一帧和后一帧图像的信息，能够准确地检测出块效应、有效地避免了误检测和漏检测；采用了下采样四步法匹配块搜索算法、极大地提高了搜索速度，并采用前一帧和后一帧作为参考帧、不仅克服了“遮挡”与“显露”效应，而且由于利用了帧间信息，使检测到的块效应更为准确；采用块效应强度自适应平滑函数，有效地去除了块效应；只针对视频中存在块效应的图像内容进行去块效应处理，较好地保持了数字视频的视觉质量和峰值信噪比PSNR。 

附图说明

图1为本发明原理流程图； 

图2为生成h类图像块示意图； 

图3为生成v类图像块示意图； 

图4为匹配块搜索单元流程图； 

图5为块效应检测单元流程图； 

图6为水平方向块效应检测原理图； 

图7为垂直方向块效应检测原理图； 

图8为二维阶梯函数； 

图9为去除块效应的一维平滑函数； 

图10为二维平滑函数。 

具体实施方式

如图1所示：发明提出了一种基于块效应检测的去块效应方法，首先，对输入视频图像的每一帧进行重新分块处理，使划分后的块B_k包含原始视频序列各帧中的块边界信息；然后，对当前帧中每一个重新分块的图像块B_k在前一帧或后一帧中利用专利(申请号：200810148033.5)中所提到的下采样四步法来寻找匹配块B_{k_match}。 

接下来，通过比较当前帧中的图像块B_k与其匹配块B_{k_match}中的像素值特性来检测该图像块是否存在块效应；最后，利用平滑函数对具有块效应的图像块进行基于块效应强度的自适应平滑，去除块效应。下面结合附图和具体实施方式对本发明作进一步详细说明： 

输入视频序列重新分块 

步骤1、根据输入视频序列的先验信息，获取视频序列设置的m×n个原始图像块，再对视频图像的每一帧进行重新分块：划分为水平类(h类)和垂直类(v类)图像块，其中h类图像为(m-1)×n块，v类图像为m×(n-1)块，划分后的h类块包含原始视频序列各帧中原始图像块水平方向上的块边界信息，v类块包含原始视频序列各帧中原始图像块垂直方向上的块边界信息； 

根据输入视频序列的先验信息(其中，包含了视频图像处理宏块大小等信息，比如8像素×8像素、16像素×16像素等)，对视频图像的每一帧进行重新分块处理，使划分后的块包含原始视频序列各帧中的块边界信息。现假设输入视频序列是基于16像素×16像素大小的图像块进行处理的： 

如图2、6所示，重新划分好的图像块为5×5个16像素×16像素的h类图像块，将视频序列各帧中每两个左右相邻的图像块中左边块的右8列像素和右边块的左8列像素，组合成一个新的图像块。h类图像块包含了原始图像序列处理后的块在水平方向上的块边界信息，所以利用h类图像块以检测原始视频序列中水平方向上的块效应； 

如图3、7所示，重新划分好的图像块为5×5个v类图像块，将视频序列各帧中每两个上下相邻的图像块中上方块的下8行像素和下方块的上8行像素，组合成一个新的图像块。v类图像块包含了原始图像序列处理后的块在垂直方向上的块边界信息，所以利用v类图像块以检测原始图像序列中垂直方向上的块效应。 

步骤2、在重新分块的当前帧图像f_k中，获取每一个h类或v类图像当前块B_k、通过下采样四步法在参考帧，即前一帧图像f_k-1或者后一帧图像f_k+1中搜索匹配块； 

首先利用前一帧图像f_k-1作为参考帧，搜索当前块B_k的匹配块B_k-1，根据在前一帧图像f_k-1中搜索得到的匹配块B_k-1，利用SAD值判定B_k-1是否为当前块B_k的实际匹配块B_{k_match}：若SAD_k-1小于等于阈值T1，则判定B_k-1为实际匹配块B_{k_match}， 

若SAD_k-1大于阈值T1，则判定B_k-1为伪匹配块，利用后一帧图像f_k+1作为参考帧，搜索当前块B_k的匹配块，得到B_k+1、并确定为B_k的实际匹配块B_{k_match}； 

所述的实际匹配块判定方法是：首先，利用前一帧f_k-1作为参考帧，搜索其匹配块，对所述当前块B_k和前一帧图像f_k-1的匹配块B_k-1进行SAD值判定，获取所述B_k与B_k-1的对应像素灰度值之差的绝对值之和，得出与B_k-1对应的值SAD_k-1；若SAD_k-1小于或等于预先设定的阈值T1，则判定B_k-1为实际匹配块B_{k_match}； 

否则，判定B_k与上一帧存在“遮挡”或“显露”情况、其匹配块B_k-1为伪匹配块，这时用后一帧f_k+1作为参考帧，搜索其匹配块，得到B_k+1，并以该块为B_k的实际匹配块B_{k_match}。 

搜索并确定匹配块B_{k_match}

对当前帧f_k中每一个h类或v类当前块B_k，通过下采样四步法在参考帧(前一帧f_k-1或者后一帧f_k+1)中搜索匹配块，在搜索过程中要考虑到避免“遮挡”或“显露”效应、确保得到准确的匹配块B_{k_match}：首先，利用前一帧f_k-1作为参考帧，搜索其匹配块，得到B_k-1与其对应的SAD(绝对差和准则)值SAD_k-1；若SAD_k-1小于阈值T1，则判定B_k-1为实际匹配块B_{k_match}；否则，判定B_k相对于上一帧属于“遮挡”或“显露”区域，其匹配块B_k-1为伪匹配块，则用后一帧f_k+1作为参考帧，搜索其匹配块，得到B_k+1，并以该块为B_k的实际匹配块B_{k_match}。SAD值用式1计算： 

$\mathrm{SAD}=\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{p-1}{\mathrm{\Σ}}}|B_k(i,j)-B_{k-1}(i,j)|---\left(1\right)$

其中，B_k(i，j)表示当前p×p大小的图像块B_k中对应位置像素的像素值，B_k-1(i，j)表示p×p像素大小的B_k-1中对应位置像素的像素值。 

步骤3、若当前块B_k属于h类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4列像素值的相关性来判断当前块B_k中是否存在水平方向的块效应，没有块效应，则保留前块B_k的图像信息，若存在块效应，对于每一个确定具有水平方向块效应的h类图像块，通过块效应强度自适应平滑函数去除水平方向的块效应； 

若当前块B_k属于v类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4行像素值的相关性来判断当前块B_k中是否存在垂直方向的块效应，没有块效应，则保留前块B_k的图像信息，若存在块效应，对于每一个确定具有垂直方向块效应的v类图像块，通过块效应强度自适应平滑函数去除垂直方向的块效应； 

所述的块效应判定方法是：利用所述当前块B_k与实际匹配块B_{k_match}的相关性，来判定B_k中是否存在块效应，即利用了视频图像在帧间的相关性、判断处理后的视频图像中是否存在块效应。 

块效应检测 

如图5、6所示，如果当前块B_k为h类图像块，则通过对比该块与其匹配块B_{k_match}正中间4列(即第7到第10列)像素值的相关性来判断该块中是否存在水平方向的块效应：取出B_k块中每一行的B_k(i，7)，B_k(i，8)，B_k(i，9)，B_k(i，10)四个像素。 

其中1≤i≤16，设置一个计数变量count1＝0，然后i从1开始，依次计算d0＝|B_k(i，8)-B_k(i，9)|，d1＝|B_k(i，7)-B_k(i，8)|，d2＝|B_k(i，9)-B_k(i，10)|，若同时满足d0＞d1，d0＞d2且d0＜T3，则count1＝count1+1，接着i＝i+1，对下一行进行同样的判断，直到i＝16为止。 

其中，阈值T3是根据图像块的纹理强度计算得到，目的是防止把图像本身的纹理信息误判为块效应；同理，对于B_{k_match}块，设置一个计数变量count2＝0，取出其中每一行的B_{k_match}(i，7)，B_{k_match}(i，8)，B_{k_match}(i，9)，B_{k_match}(i，10)这四个像素，依次做类似的判断；接着，算出B_k块每一行中d0的和的平均值β，用β描述块效应强度，如果检测出该块中存在块效应，还将在去块效应单元中使用该参数；最后，对上述参数进行判断，若同时满足count1＞count2，count1＞T4，且β大于阈值T2时，则判定该图像块B_k中存在水平方向上的块效应。其中，阈值T2是依据块B_k的平坦程度来计算得到的，阈值T4是根据图像块的大小而自适应生成的，即：图像块越大，T4也相应越大，反之越小。 

如果当前块B_k为v类图像块，则可以用同样的方法对比该块B_k与其匹配块B_{k_match}正中间4行(即第7到第10行)像素值的相关性，以此判定该块中是否存在垂直方向的块效应。 

如图5、8、9、10所示， 

步骤4、依次对当前帧图像f_k中的h类图像为(m-1)×n块，v类图像为m×(n-1)块都进行了块效应判断，并去除其中的块效应后，输出处理后的当前帧图像f_k。 

去除块效应 

如图8所示，如果检测到当前块B_k具有水平方向块效应，则根据其块效应强度β来选择相应的自适应平滑函数来去除其水平方向上的块效应：用一个二维的阶梯函数blk(i，j)，来模拟图像块B_k中的块效应，用式2来生成该阶梯函数： 

$\mathrm{blk}(i,j)=\left\{\begin{array}{cc}1/2& i=1,...,16;j=1,...,8\\ -1/2& i=1,...,16;j=9,...,16\end{array}\right.---\left(2\right)$

接着根据块效应类型和块效应强度来构造二维平滑函数de_blk(i，j)，如式3所示，从而去除B_k中水平方向块的效应。 

B_k(i，j)＝B_k(i，j)+β×[de_blk(i，j)-blk(i，j)(3) 

如图9、10所示；二维平滑函数de_blk(i，j)通过以下方法确定：利用一维平滑函数f(x)，如式4所示，这里的β_level通过反复实验而得出，用来保证平滑函数f(x)的平滑强度随着块效应强度β的大小在一定范围内变换，二维平滑函数de_blk(i，j)，则由一维平滑函数f(x)离散化并扩展到二维平面得来，如式5所示。 

$f\left(x\right)=\left(\frac{-1}{1+\exp (-\left(x\right)/{\mathrm{\β}}_{\mathrm{level}})}\right)+1/2---\left(4\right)$

其中， ${\mathrm{\β}}_{\mathrm{level}}=5\×\left(\frac{1}{1+\exp (-((10*\mathrm{\β})-50)/10)}\right)+5$

$\mathrm{de}\_\mathrm{blk}(i,j)={\left[\begin{array}{cccccccccccccccc}f(-50)& f(-44.2)& f(-37.4)& f(-30.6)& f(-23.8)& f(-17)& f(-10.2)& f(-3.4)& f\left(3.4\right)& f\left(10.2\right)& f\left(17\right)& f\left(23.8\right)& f\left(30.6\right)& f\left(37.4\right)& f\left(44.2\right)& f\left(50\right)\\ \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·\\ f(-50)& f(-44.2)& f(-37.4)& f(-30.6)& f(-23.8)& f(-17)& f(-10.2)& f(-3.4)& f\left(3.4\right)& f\left(10.2\right)& f\left(17\right)& f\left(23.8\right)& f\left(30.6\right)& f\left(37.4\right)& f\left(44.2\right)& f\left(50\right)\end{array}\right]}_{16\×16}---\left(5\right)$

如果已经检测到当前块B_k具有垂直方向块效应，则可以利用相同的方法来去除其垂直方向块效应。 

Claims (1)

1.一种基于块效应检测的去块效应方法，其特征在于，按如下步骤进行：

步骤1、根据输入视频序列的先验信息，获取视频序列中每一帧图像设置的m×n个原始图像块，再对每一帧图像进行重新分块：划分为水平h类和垂直v类图像块，其中h类图像为(m-1)×n块，v类图像为m×(n-1)块，划分后的h类块包含原始视频序列各帧中原始图像块水平方向上的块边界信息，v类块包含原始视频序列各帧中原始图像块垂直方向上的块边界信息；

步骤2、在重新分块的当前帧图像f_k中，获取每一个h类或v类图像当前块B_k、通过下采样四步法在参考帧，即前一帧图像f_k-1或者后一帧图像f_k+1中搜索匹配块B_k-1或B_k+1；

首先利用前一帧图像f_k-1作为参考帧，搜索当前块B_k的匹配块B_k-1，根据在前一帧图像f_k-1中搜索得到的匹配块B_k-1，利用SAD值判定B_k-1是否为当前块B_k的实际匹配块B_{k_match}：若SAD_k-1小于等于阈值T1，则判定B_k-1为实际匹配块B_{k_match}，

若SAD_k-1大于阈值T1，则判定B_k-1为伪匹配块，利用后一帧图像f_k+1作为参考帧，搜索当前块B_k的匹配块，得到B_k+1、并确定为B_k的实际匹配块B_{k_match}；

步骤3、若当前块B_k属于h类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4列像素值的相关性来判断当前块B_k中是否存在水平方向的块效应，如果没有块效应，则保留当前块B_k的图像信息，若存在块效应，对于每一个确定具有水平方向块效应的h类图像块，通过块效应强度自适应平滑函数去除水平方向的块效应；

若当前块B_k属于v类图像块，通过对比当前块B_k与其实际匹配块B_{k_match}正中间4行像素值的相关性来判断当前块B_k中是否存在垂直方向的块效应，如果没有块效应，则保留当前块B_k的图像信息，若存在块效应，对于每一个确定具有垂直方向块效应的v类图像块，通过块效应强度自适应平滑函数去除垂直方向的块效应；

步骤4、依次对当前帧图像f_k中的(m-1)×n个h类块和m×(n-1)个v类块都进行了块效应判断，并去除其中的块效应后，输出处理后的当前帧图像f_k。

Images