CN101389019B - 一种视频处理方法 - Google Patents

Abstract

本发明提供一种视频处理方法。在一个实施例中，该视频处理方法包括以下步骤：将视频分成大小相同的若干个视频块；对所述视频块内的数据进行去块效应处理；对视频块的分界两侧的数据进行平滑处理。在另一个实施例中，该方法包括：获取视频块；对所述视频块内的数据进行去块效应处理；对所述视频块的分界两侧的数据进行平滑处理。与现有的视频处理方法相比，本发明的视频处理方法在编码阶段或者在视频后处理阶段除了对视频块内的数据进行去效应处理之外，还对视频块的分界两侧的数据进行平滑处理，有效地去除了视频块内的块效应以及视频块之间的块效应，从而去除了视频的块效应，提高了视频的视觉效果。

Description

一种视频处理方法

技术领域

本发明涉及视频处理领域，更具体地，涉及一种视频处理方法。 

背景技术

在视频处理领域，离散余弦变换(Discrete Cosine Transform，简称DCT变换)被认为是对语音和图像信号进行变换的最佳方法。基于DCT的视频处理方法通常是视频图像分成许多互不重叠的块(例如，大小为8×8或16×16)，然后对各个块进行独立的DCT变换、量化、编码、解码等。这种将视频分成多个视频块方法简化了在视频压缩算法中每个步骤的处理过程，降低了系统的消耗。此外将视频分成视频块之后，可以对各个块进行独立的处理，灵活性较高。 

视频块具有4个“边界”，而视频块之间则是“分界”。如果没有特别的说明，在本说明书以及权利要求书中，术语“边界”表示物体或者事物内部与外部之间的界线，该界线属于该物体或者事物，不属于所述的外部；术语“分界”表示区分不重叠的两个物体或事物的区域，该区域不属于其中的任何一个物体或者事务(参见图2的分界线201、202)。 

如上所述，由于上述现有的视频处理方法将视频图像分成多个视频块，然后对各个视频块进行独立的处理，导致视频块和视频块之间的相关性遭到破坏，容易出现块效应。较新的编码标准H.264中，有对各个视频块进行去块效应滤波的步骤，这在一定程度上降低了视频块内的块效应。但是，由于视频块边界的数据缺乏领域数据，所以视频块边界的数据依然会存在噪声。也就是说，即使在编码过程中对各个视频块进行了去块效应的处理，视频块之间依然会存在块效应(俗称马赛克现象)，块效应的存在严重影响了图像的视觉效果。

发明内容

针对上述的现有的基于视频块的视频处理方法存在块效应的缺陷，提供一种在编码阶段去除块效应的视频处理方法，该视频处理方法包括：在编码阶段中，将视频分成大小相同的若干个视频块，对所述视频块内的数据进行去块效应处理；在后处理阶段中，获取所述视频块；对所述视频块的分界两侧的数据进行平滑处理。 

将视频分成大小相同的若干个视频块；对所述视频块内的数据进行去块效应处理；对视频块的分界两侧的数据进行平滑处理。 

优选地，所述视频块的大小为16×16、8×8或者4×4；所述对视频块的分界两侧的数据进行平滑处理的步骤包括对视频块的水平分界两侧的数据进行平滑处理以及对视频块的垂直分界两侧的数据进行平滑处理。 

优选地，所述视频包括表示亮度的Y分量以及表示色差的U分量和V分量；所述对视频块的水平分界两侧的数据进行平滑处理的步骤至少包括对视频块的水平分界两侧的Y分量数据进行平滑处理，所述对视频块的垂直分界两侧的数据进行平滑处理的步骤至少包括对视频块的垂直分界两侧的Y分量数据进行平滑处理。 

与现有的视频处理方法相比，本发明的上述视频处理方法在视频的编码阶段对视频进行视频块，对视频块内的数据进行去效应处理，有效地去除了视频块内的块效应，该视频处理方法还对视频块的分界两侧的数据进行平滑处理，有效地降低了视频块之间的块效应，从而去除了视频的块效应，提高了视频的视觉效果。 

另一方面，针对上述的现有的基于视频块的视频处理方法存在块效应的缺陷，提供一种在视频后处理阶段去除块效应的视频处理方法，该视频处理方法包括以下步骤：接收视频块数据；对所述视频块内的数据进行去块效应处理；对视频块的分界两侧的数据进行平滑处理。 

优选地，所述对视频块的分界两侧的数据进行平滑处理的步骤包括对视频块的水平分界两侧的数据进行平滑处理以及对视频块的垂直分界两侧的数据进行平滑处理。 

优选地，所述对视频块的水平分界两侧的数据进行平滑处理的步骤包括：计算视频块的水平分界两侧的数据的差值，将所述差值与预定阈值比较，对所述视频块水平分界两侧的、差值大于所述预定阈值的数据进行平滑处理，差值小于或者等于所述预定阈值的数据不进行平滑处理；所述对视频块的垂直分界两侧的数据进行平滑处理的步骤包括：计算视频块的垂直分界两侧的数据的差值，将所述差值与预定阈值比较，对所述视频块垂直分界两侧的、差值大于所述预定阈值的数据进行平滑处理，差值小于或者等于所述预定阈值的数据不进行平滑处理。 

优选地，所述视频包括表示亮度的Y分量以及表示色差的U分量和V分量；所述对视频块的水平分界两侧的数据进行平滑处理的步骤至少包括对视频块的水平分界两侧的Y分量数据进行平滑处理，所述对视频块的垂直分界两侧的数据进行平滑处理的步骤至少包括对视频块的垂直分界两侧的Y分量数据进行平滑处理。 

优选地，所述平滑处理为均值滤波、加权中值滤波或者中值滤波。 

优选地，采用定点数来完成所述去块效应处理和平滑处理。 

与现有的视频处理方法相比，本发明的这种后处理的视频处理方法在视频后处理阶段对所接收到的视频块内的数据对进行去效应处理，有效地去除了视频块内的块效应，该视频处理方法还对视频块的分界两侧的数据进行平滑处理，有效地降低了视频块之间的块效应，从而去除了视频的块效应，提高了视频的视觉效果。 

附图说明

图1是本发明的在编码阶段去除块效应的流程图； 

图2、图1所示实施例中对视频块的水平分界两侧的数据进行平滑处理的示意图； 

图3是图2的局部放大图； 

图4是图1所示实施例中对视频块的垂直分界两侧的数据进行平滑处理的示意图； 

图5是本发明的视频后处理过程中去除块效应的流程图； 

图6是应用图5所示的视频处理方法的一个实施例的流程图。 

具体实施方式

实施例一：在编码阶段去除块效应 

图1是本发明的在编码阶段去除块效应的流程图。 

如图1所示，开始步骤S100之后，在步骤S102中，按照一定的标准将视频或者图像分成大小相同的视频块。目前常用的视频块大小有4×4、8×8、16×16等。例如，H.261标准中，将每帧图像分成8×8的子块；子块还可以组成宏块，宏块由4个8×8的亮度块和2个8×8的色度块组成；宏块还可以组成块组，每个块组由3×11个宏块组成。在本实施例中，词语“视频块”用于表示视频单元块(例如上述的“子块”)，但是本领域的技术人员应当意识到，“视频块”也可以是由视频单元块组成的宏块、块组等。 

步骤S104中，对视频块进行去块效应处理。去块效应处理也称为去块效应滤波，是视频处理领域内常用的处理步骤。步骤S104中的去块效应处理采 用现有的去块效应处理。现有的去块效应处理一般是通过降低各个像素点与其相邻像素点的差值实现的，例如，将某一点的像素值(例如灰度值)和它周围8个点的像素值(例如灰度值)相加，然后除以9，将其作为该点的新像素值(例如灰度值)，这个处理过程就降低了该像素点与其周围8个像素点的差值。H.264标准的编码部分包括了对视频块内的数据进行去块效应处理，步骤S104对视频块进行去块效应处理可以参考H.264标准的有关内容。 

由于视频块“边界”上的像素点缺乏相邻的像素点，因此，步骤S104的“去块效应处理”未能对视频块边界上的数据进行有效处理。这是导致视频块与视频块之间出现块效应的主要原因。为了有效地去除块效应，在接下来的步骤S106中，对视频块的边界上的像素进行平滑处理。 

视频块包括水平边界与垂直边界，因此，对视频块的边界上的像素进行平滑处理包括对视频块水平边界和垂直边界的像素进行平滑处理。下面将结合图2和图3进行阐述。图2是对视频块的水平边界的数据进行平滑处理的示意图。如图2所示，图2示出了6个8×8的视频块：视频块1、视频块2、视频块3、视频块4、视频块5和视频块6。分界线203为视频块1与视频块2之间、视频块3与视频块4之间、视频块5与视频块6之间的分界，为消除视频块之间的块效应，就需要确定视频块之间的分界(或者分界线)，并对分界线两侧的像素进行平滑处理，例如，对分界线203两侧的边界区210上的像素点进行平滑处理。 

图3是图2的局部放大图。如图所示，像素点501、502、503为视频块5水平边界上的像素点，像素点601、602、603为视频块6中靠近视频块5的水平边界上的像素点，而像素点609紧邻像素点601，像素点610紧邻像素点602，像素点611紧邻像素点603。如上所述，像素点501、502、503所在的边界是需要进行平滑处理的，像素点601、602、603所在的边界也是需要进行平滑处理的。在一个方案中，通过均值滤波的方式进行平滑处理，具体地，取像素点501与像素点601的均值，并将该均值替代像素点501和像素点601 的值；像素点502、602也进行类似的处理，从而完成了水平边界的平滑处理。这种均值滤波的方法具有复杂度小、节省资源的优点。 

作为均值滤波的一种替换方案，在处理某个像素点时，可以将该像素点及其两侧的2个像素点的均值作为新值。例如，平滑处理像素点601时，可以取像素点601及其两侧的像素点501、像素点602这三个像素点的均值，然后将该均值作为像素点601的新值。这种均值滤波可表示为 $\frac{1}{3}\×\left[\begin{array}{ccc}1& 1.& 1\end{array}\right],$ 其中，“.”表示需要处理的像素点，而中括号“[]”里面的数字表示对应的像素点的权重。这种均值滤波方案由于考虑了相邻的像素点，能获得更为平滑的处理效果。 

作为均值滤波的改进，还可以采用加权均值滤波的方式进行平滑处理。即，处理某像素点时，给像素点及其两侧的2个像素点加上对应的权数，然后再取均值。例如，在处理像素点602时，像素点602的权数取2，相邻的像素点502和610的权数都取1，加权后求和，再除以4得到均值。类似地，这种加权均值滤波可表示为 $\frac{1}{4}\×\left[\begin{array}{ccc}1& 2.& 1\end{array}\right],$ 同样，“.”表示需要处理的像素点，而中括号“[]”里面的数字表示对应的像素点的权重，例如，在该例子中，“.”旁边的2表示像素点602的权数为2。加权均值滤波不仅考虑相邻的像素点，还考虑相邻的像素点所在的位置带来的影响，能够获得更好的平滑效果，更好地去除视频块之间的块效应。 

作为均值滤波的另一种替换方案，在处理某个像素点时，可以将该像素点及周围的8像素点的均值作为新值。例如，平滑处理像素点602时，可以获取像素点501～503、像素点601～603、像素点609～611这9个像素点的均值，并将该均值作为像素点602的均值。类似地，这种均值滤波可表示为  $\frac{1}{9}\×\left[\begin{array}{ccc}1& 1& 1\\ 1& 1.& 1\\ 1& 1& 1\end{array}\right].$ 作为一种改进，还可以采用的加权均值滤波，例如 $\frac{1}{16}\×\left[\begin{array}{ccc}1& 2& 1\\ 2& 4.& 2\\ 1& 2& 1\end{array}\right].$  同样，.”表示需要处理的像素点，而中括号“[]”里面的数字表示对应的像素点的权重。 

作为一种替换方案，还可以采取中值滤波的方式进行平滑处理。例如，对像素点601进行平滑处理时，将像素点601及其对应的相邻像素点501、609的像素值按照大小排序，将处于中间位置的像素值作为像素点601的新值。其他的边界像素点也做类似处理，从而完成了边界像素的平滑处理。本领域 内的技术人员应当知道，中值滤波除具有保护图像边缘作用的同时还有去除噪声/块效应的优点。 

本领域技术人员还将意识到，由于本发明将视频块分界两侧的像素点视为相邻的像素点，因此，还可以利用现有的各种平滑处理方法对视频块边界上的像素点进行平滑处理。 

图4是图1所示实施例中对视频块的垂直分界两侧的数据进行平滑处理的示意图。如图4所示，分界线201是视频块1与视频块3之间、视频块2与视频块4的分界，而分界线201两侧的边界区211所圈出来的像素点是需要进行平滑处理的；分界线202是视频块3与视频块5之间、视频块4与视频块6的分界，而分界线202两侧的边界区212所圈出来的像素点是需要处理的。垂直分界两侧的数据的平滑处理与水平分界两侧数据的平滑处理类似，此不赘述。 

作为一种改进的方案，在步骤S106中，可以先计算视频块的分界两侧的像素点的差值，例如首先计算像素点501和像素点601的差值，然后将所得差值与预定阈值比较，如果该差值大于预定阈值，就对像素点501、601进行平滑处理，如果差值小于或者等于该预定阈值，就不对像素点501、601进行平滑处理。这种改进的方案能有效地减少编码过程中的资源耗用量。 

步骤S106之后进入结束步骤S108。 

上述处理流程是在编码阶段进行去块效应，包括去除视频块内的块效应(步骤S104)和视频块之间的块效应(步骤S106)。要说明的是，也可以先去除视频块之间的块效应(步骤S106)，再去除视频块内的块效应(步骤S104)。在编码阶段进行去块效应的好处是所得到的视频质量较高，即使在视频后处理阶段中没有进行去块效应的处理，经过后处理的视频质量依然较高。 

实施例二：在视频后处理阶段去除块效应 

图5是本发明的视频后处理过程中去除块效应的流程图。如图5所示，该流程从步骤S400开始。步骤S402中，接收或者获取视频块。该视频块可以是现有的视频处理方法得到的，也可以是按照本发明上述的视频处理方法得到的。 

接着，步骤S404中，对视频块进行去块效应处理。该处理过程与上述步骤S104类似，不再重复。然后，步骤S406中，对视频块的分界两侧的像素点进行平滑处理，该处理过程与上述步骤S106类似，不再重复。如上所述，也可以先进行步骤S406所述的平滑处理，再进行步骤S404所述的去块效应滤波。 

最后，进入结束步骤S408完成视频后处理。 

同样，作为一个改进的方案，上述步骤S406中，可以先计算视频块的分界两侧的像素点的差值，然后将所得差值与预定阈值比较，如果该差值大于预定阈值，就对该像素点进行平滑处理，如果差值小于或者等于该预定阈值，就不对该像素点进行平滑处理。这种改进的方案能有效地减少编码过程中的资源耗用量。 

类似地，图6是应用图5所示的视频处理方法的一个实施例的流程图，该实施例是对YUV格式的视频数据进行处理。如图6所示，开始步骤S500之后，在步骤S502中，接收视频块，并进行去块效应滤波。有关的处理方法与实施例一的步骤S104类似，不再赘述。 

步骤S502的去块效应滤波基本上消除了视频块内的块效应。接着，步骤S504～步骤S508中，对视频块边界上的像素点进行平滑处理，以消除视频块之间的块效应。更具体地，步骤S504中，对视频块中的Y分量进行平滑处理(去块效应处理)，具体包括对Y分量进行水平方向的平滑处理以及进行垂直方向上的平滑处理。有关的处理方法与实施例一的步骤S106类似，不再赘述。 

因为Y分量是表示亮度的，如果视频数据为纯粹的灰度图，那么Y分量 就已经表示了该灰度图的所有信息。因此，对视频块进行去块效应滤波以及对Y分量的边界进行平滑处理之后，就已经消除了视频图像的块效应，得到了较高质量的视频图像。 

如果视频图像是彩色的，那么，表示色差的U分量(Cb)和V分量(Cr)将包含着色差信息。因此，还需要对Cb分量、Cr分量进行平滑处理，分别如步骤S506、步骤S508所示。最后，处理流程结束于步骤S510。 

实施例三：在编码阶段与后处理阶段去除块效应 

本实施例基于上述实施例一与上述实施例二的处理流程。在该实施例中，编码阶段包括：进行视频分块(参见上述步骤S102)、对视频块内的数据进行去块效应滤波(参见上述步骤S104)；后处理阶段中，对视频块边界上的数据进行平滑处理(参见上述步骤S106或者步骤S406)。这种方案中，编码阶段主要去除视频块内的块效应，而视频块之间的块效应留在后处理阶段中处理，这种设计的优点是减轻了编码阶段的处理量，加快了编码过程的视频处理速度，减轻了资源耗用量。相应地，后处理阶段不再进行去除视频块内的块效应的滤波处理，而是进行去除视频块之间的块效应的处理，有效地减轻了后处理过程中的处理量。 

作为本实施例的改进，也可以在编码阶段增加上述“对视频块边界上的数据进行平滑处理”的步骤，或者在后处理阶段增加上述“对视频块内的数据进行去块效应滤波”的步骤。经过试验表明，后处理阶段增加上述“对视频块内的数据进行去块效应滤波”能够进一步消除视频的块效应，提高视频的质量。 

为了最大限度地提高处理速度、减轻视频处理系统的资源耗用量，在上述的去除块效应滤波、数据块边界平滑处理等各种处理中，采用定点数进行处理。由于定点数耗用的位(bit)数、涉及的计算量/计算复杂度均小于常规 的浮点数，因此，采用定点数代替浮点数进行上述的去除块效应滤波、数据块边界平滑处理，将能有效地降低资源开销，尤其适用于小型电子设备如掌上电脑的视频处理。 

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。 

Claims (7)

1.一种视频处理方法，包括以下步骤：

编码阶段：

将视频分成大小相同的若干个视频块；

对所述视频块内的数据进行去块效应处理；

后处理阶段：

获取所述视频块；

其特征在于，所述后处理阶段中不再进行去除视频块内的块效应的滤波处理，而是对所述视频块的分界两侧的数据进行平滑处理，所述平滑处理包括：计算视频块的分界两侧的数据的差值，将所述差值与预定阈值比较，对所述视频块分界两侧的、差值大于所述预定阈值的数据进行平滑处理，差值小于或者等于所述预定阈值的数据不进行平滑处理。

2.根据权利要求1所述的视频处理方法，其特征在于，采用定点数来完成所述去块效应处理和平滑处理。

3.根据权利要求1所述的视频处理方法，其特征在于，所述对视频块的分界两侧的数据进行平滑处理的步骤包括对视频块的水平分界两侧的数据进行平滑处理以及对视频块的垂直分界两侧的数据进行平滑处理。

4.根据权利要求3所述的视频处理方法，其特征在于：

所述视频包括表示亮度的Y分量以及表示色差的U分量和V分量；

所述对视频块的分界两侧的数据进行平滑处理的步骤包括对视频块的分界两侧的Y分量数据进行平滑处理。

5.根据权利要求4所述的视频处理方法，其特征在于，所述对视频块的分界两侧的数据进行平滑处理的步骤还包括：

对视频块的分界两侧的U分量进行平滑处理；

对视频块的分解两侧的V分量进行平滑处理。

6.根据权利要求1至5中任意一项所述的视频处理方法，其特征在于，所述平滑处理为均值滤波、加权均值滤波或者中值滤波。

7.根据权利要求6所述的视频处理方法，其特征在于：

所述视频块的大小为16×16、8×8或者4×4。

Images