CN102164278B

CN102164278B - 用于去除i帧闪烁的视频编码方法及其装置

Info

Publication number: CN102164278B
Application number: CN 201110037907
Authority: CN
Inventors: 沈林杰; 俞海; 贾永华; 胡扬忠; 邬伟琪
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2011-02-15
Filing date: 2011-02-15
Publication date: 2013-05-15
Anticipated expiration: 2031-02-15
Also published as: CN102164278A

Abstract

本发明涉及图像处理，公开了一种用于去除I帧闪烁的视频编码方法及其装置。本发明中，在当前帧为I帧时，利用在I帧之前的邻近重建图像以及重建图像编码过程中产生的参数，对当前图像进行时空域滤波，再对经时空域滤波后的I帧进行编码。由于在对I帧进行时空域滤波时，时域滤波系数α是以I帧之前的邻近重建图像以及重建图像编码过程中产生的参数作为参考得到的，因此能使I帧的时域滤波考虑到上一图像编码时刻的信息，从而能减小I帧原始图像与其之前重建图像的差异，从而解决I帧闪烁问题，并且也可改善图像的滤波效果。

Description

用于去除I帧闪烁的视频编码方法及其装置

技术领域

本发明涉及图像处理，特别涉及视频编码技术。

背景技术

当前主流的混合视频编码框架通过基于块的运动估计与运动补偿压缩视频的时间冗余信息，再通过变换和量化有损地压缩视频的空间冗余信息。同时为了能够进行随机访问，在编码输出中存在一部分帧不采用运动估计与运动补偿，能够不依赖之前的数据独立解码，这些帧称为帧内编码帧或者I帧。相对应地，采用运动估计与运动补偿的帧则依赖于之前解码的数据，这些帧称为P帧以及B帧。

当采用了有损压缩的方式后，视频编码不可避免地带来失真。由于运动估计和运动补偿的存在，P/B帧的失真与之前图像有关，即失真在时间上不独立，失真位置与程度在时间上是大致接近的；而I帧由于没有运动估计和运动补偿的过程，其失真在时间上与之前图像无关，造成失真位置与程度的重新构造。因此在观看编码后的码流，尤其是压缩比例较高、失真较大的码流时，I帧图像会与之前图像存在一定差异，造成闪烁的视觉效果。特别是在存在一定噪声扰动而本身图像内容又相对静止时，这种闪烁效果尤其明显，较为严重地影响了观看的主观感受，这一问题通常被称为“Intra Flicker”。

目前，有以下几种解决方案：

(1)编码之前对图像以降低噪声为目的进行滤波预处理，通过降低噪声以减少闪烁发生的可能性。这种方案可以在一定程度上减轻主要由噪声引起的I帧闪烁。但是由于I帧闪烁的本质不在于噪声，而是原本相关延续的压缩失真在I帧时被重新分布。而这种方案由于没有考虑参考压缩失真程度、I帧位置等关键信息，所以难以达到理想的处理效果。

(2)对I帧的宏块压缩策略进行调整以降低失真减轻闪烁。在I帧的每个宏块编码之后，与前一I帧相对应位置的宏块比较差别，然后通过改变量化系数或者修改模式选择反复编码此宏块直到两者的差别小于设定的阈值为止。这两种方案主要是从降低失真角度入手，但由于失真能够减小的空间相当有限，所以改善微小，而且这两种方案使得编码过程变得复杂。

(3)在解码端对图像进行后处理，平滑失真减轻闪烁。这种方案结合I帧之前解码出来的图像，对I帧进行平滑处理能够获得较好的效果，但是由于这种方案只能在特定的解码端实现，灵活性和通用性没有保证。

发明内容

本发明的目的在于提供一种用于去除I帧闪烁的视频编码方法及其装置，以减小I帧原始图像与其之前重建图像的差异，从而有效解决I帧闪烁问题。

为解决上述技术问题，本发明的实施方式提供了一种用于去除I帧闪烁的视频编码方法，包含以下步骤：

如果当前帧为I帧，则根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α；

根据时域滤波系数α对当前帧进行时域滤波；

将经时域滤波后的当前帧进行空域滤波；

将经空域滤波后的当前帧进行编码；

其中，在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数。

本发明的实施方式还提供了一种用于去除I帧闪烁的视频编码装置，包含保存模块、判断模块、时域滤波系数获取模块、时域滤波模块、空域滤波模块和编码模块；

保存模块用于在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数；

判断模块用于判断当前帧是否为I帧；

时域滤波系数获取模块用于在判断模块判定当前帧为I帧时，根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α，并触发时域滤波模块；

时域滤波模块用于根据时域滤波系数α对当前帧进行时域滤波后输出，并触发空域滤波模块；

空域滤波模块用于将时域滤波模块输出的当前帧进行空域滤波后输出；

编码模块用于将空域滤波模块输出的当前帧进行编码。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在当前帧为I帧时，利用在I帧之前的邻近重建图像以及重建图像编码过程中产生的参数，对当前图像进行时空域滤波，再对经时空域滤波后的I帧进行编码。由于在对I帧进行时空域滤波时，时域滤波系数α是以I帧之前的邻近重建图像以及重建图像编码过程中产生的参数作为参考得到的，因此能使I帧的时域滤波考虑到上一图像编码时刻的信息，从而能减小I帧原始图像与其之前重建图像的差异，从而解决I帧闪烁问题，并且也可改善图像的滤波效果。而且，由于是在编码端实现，因此有效保证其灵活性和通用性。

进一步地，重建图像的编码过程中产生的参数包含重建图像的每个宏块的MV、CBP、CB、QP和SAD，以进一步保证上一图像编码时刻信息的准确性。

进一步地，如果当前帧不是I帧，则将当前帧直接进行编码，使得本发明能与现有技术较好地兼容。

附图说明

图1是根据本发明第一实施方式的用于去除I帧闪烁的视频编码方法流程图；

图2是根据本发明第一实施方式中的根据运动强度m映射得到时域滤波系数α的示意图；

图3是根据本发明第一实施方式中的3x3的滑动窗示意图；

图4是根据本发明第一实施方式的用于去除I帧闪烁的视频编码方法示意图；

图5是根据本发明第二实施方式中的一种根据运动强度m映射得到时域滤波系数α的示意图；

图6是根据本发明第二实施方式中的另一种根据运动强度m映射得到时域滤波系数α的示意图；

图7是根据本发明第三实施方式的用于去除I帧闪烁的视频编码装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种用于去除I帧闪烁的视频编码方法，具体流程如图1所示。

在步骤101中，获取当前原始图像。在本实施方式中，以字母n表示当前图像编码时刻，以n-1表示上一图像编码时刻。因此，本步骤实际上也就是获取需要进行编码的当前帧。

接着，在步骤102中，判断当前帧是否为I帧。如果是I帧则进入步骤103，如果不是I帧，则直接进入步骤105。

在步骤103中，根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α，对当前帧进行时域滤波。

具体地说，重建图像的编码过程中产生的参数包含：重建图像的每个宏块的MV、CBP、CB、QP和SAD。本领域技术人员可以理解，MV为运动矢量(motion vector)，即原始图像中的宏块与重建图像中搜寻得到的最近似块的相对偏移量。CBP(coded block pattern)表示编码后宏块的每个分割块亮度和色度变换系数状态，例如视频编码标准H.264，如果分割块的变换系数全是0，则用0表示，如果有非0值，则用1表示。CB(coded bits)表示每个宏块编码之后的比特数。QP(quantisation parameter)为量化参数，量化可以在不降低视觉效果的前提下减少图像编码长度。SAD(sum ofabsoIute differences)为绝对差值和，是运动估计过程中搜索最近似块的一种准则。MV、CBP、CB、QP和SAD属于现有技术中的概念，在此不再赘述。

本步骤中，以上一图像编码时刻的重建图像的数据以及其每个宏块的MV、CBP、CB、QP和SAD作为参考，对当前帧进行时域滤波的具体实现方式如下：

首先，计算每个宏块的运动强度m，如m＝|v_x|+|v_y|，其中v_x表示与当前宏块所对应位置的重建图像宏块横向运动矢量，v_y表示与当前宏块所对应位置的重建图像宏块纵向运动矢量。

然后，对运动强度m做映射，得到时域滤波系数α，映射过程如图2所示，其中，threshold是外部设定的阈值，α₀为邻近重建图像(即上一图像编码时刻的重建图像)CBP，CB，QP和SAD的归一化值的均值。即：

如果m＜threshold，则α＝α₀+(1-α₀)*m/threshold；

如果m≥threshold，则α＝1

此外，本领域技术人员可以理解，在本实施方式中，是将α₀取邻近重建图像的CBP，CB，QP和SAD的归一化值的均值为例进行说明的，但在实际应用中，也可以采用其他方式根据邻近重建图像的CBP，CB，QP和SAD，得到包含邻近重建图像信息的参考值α₀。

在得到时域滤波系数α后，根据以下公式对当前帧的每个宏块进行时域滤波：

I_o(n)＝αI_s(n)+(1-α)I_p(n-1)

其中，I_s(n)表示I帧原始图像数据，I_p(n-1)表示与I帧邻近的重建图像数据，I_o(n)表示时域滤波之后图像数据。

在完成对当前帧的时域滤波后，进入步骤104，对当前帧进行空域滤波。在本实施方式中，利用m＊m的滑动窗对当前帧的宏块的每个像素进行滤波处理，并将滑动窗的中间点作为滤波处理后的输出值，m为自然数。

比如说，选择3x3的窗滑动对宏块的每个像素进行滤波处理，滤波输出为3x3中间的点，如图3所示，滤波之后的输出值

其中m_i，j为每个像素的值，λ_i，j为每个像素对应的滤波系数，

在完成对当前帧的空域滤波后，进入步骤105，对当前帧进行编码，并在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数(如MV、CBP、CB、QP、SAD)，如图4所示。由于如果在步骤102中，判定当前帧不是I帧，则将直接进入本步骤，对当前帧进行编码，使得本发明能与现有技术较好地兼容。

在步骤105之后，回到步骤101，继续获取当前的原始图像，直至完成所有视频的编码。

不难发现，由于在对I帧进行时空域滤波时，时域滤波系数α是以I帧之前的邻近重建图像以及重建图像编码过程中产生的参数作为参考得到的，因此能使I帧的时域滤波考虑到上一图像编码时刻的信息，从而能减小I帧原始图像与其之前重建图像的差异，从而解决I帧闪烁问题，并且也可改善图像的滤波效果。

另外，重建图像的编码过程中产生的参数包含重建图像的每个宏块的MV、CBP、CB、QP和SAD，以进一步保证上一图像编码时刻信息的准确性。

本发明第二实施方式涉及一种用于去除I帧闪烁的视频编码方法。第二实施方式与第一实施方式基本相同，区别主要在于：

在第一实施方式中，是以如图2所示的映射关系，根据运动强度m得到时域滤波系数α的。而在本实施方式中，可以采用其他的映射关系，根据运动强度m映射得到时域滤波系数α。比如说，根据如图5所示的映射关系，或者，根据如图6所示的映射关系，也可以根据运动强度m映射得到时域滤波系数α，在此不再一一赘述。

需要说明的是，本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种用于去除I帧闪烁的视频编码装置。如图7所示，该视频编码装置包含：保存模块、判断模块、时域滤波系数获取模块、时域滤波模块、空域滤波模块和编码模块。

该保存模块用于在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数。

该判断模块用于判断当前帧是否为I帧。

该时域滤波系数获取模块用于在判断模块判定当前帧为I帧时，根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α，并触发时域滤波模块。其中，重建图像的编码过程中产生的参数包含：MV、CBP、CB、QP和SAD。

该时域滤波模块用于根据时域滤波系数α对当前帧进行时域滤波后输出，并触发该空域滤波模块。

该空域滤波模块用于将时域滤波模块输出的当前帧进行空域滤波后输出，并触发该编码模块。

该编码模块用于将空域滤波模块输出的当前帧进行编码。该编码模块还用于在判断模块判定当前帧不为I帧时，直接对当前帧进行编码。

其中，时域滤波系数获取模块包含以下子模块：

运动强度计算子模块，用于计算当前帧中每个宏块的运动强度m。

映射子模块，用于根据运动强度m映射得到时域滤波系数α。其中，当m小于预先设定的阈值threshold时，α＝α₀+(1-α₀)*m/threshold；当m大于或等于threshold时，α＝1。α₀为CBP、CB、QP和SAD的归一化值的均值。

时域滤波模块根据以下公式对当前帧的每个宏块进行时域滤波：I_o(n)＝αI_s(n)+(1-α)I_p(n-1)，其中，I_s(n)表示I帧原始图像数据，I_p(n-1)表示上一图像编码时刻的重建图像的数据，I_o(n)表示时域滤波之后的图像数据。

空域滤波模块利用m＊m的滑动窗对当前帧的宏块的每个像素进行滤波处理，并将滑动窗的中间点作为滤波处理后的输出值，m为自然数。

不难发现，第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种用于去除I帧闪烁的视频编码装置。第四实施方式与第三实施方式基本相同，区别主要在于：时域滤波系数获取模块中的映射子模块，根据运动强度m映射得到时域滤波系数α的映射方式不同。比如说，在本实施方式中，也可以采用如图5所示的映射关系，或者，如图6所示的映射关系，得到时域滤波系数α。

不难发现，第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种用于去除I帧闪烁的视频编码方法，其特征在于，包含以下步骤：

根据所述时域滤波系数α对当前帧进行时域滤波；

将经所述时域滤波后的当前帧进行空域滤波；

将经所述空域滤波后的当前帧进行编码；

其中，在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数；所述重建图像的编码过程中产生的参数包含：重建图像的每个宏块的运动矢量MV、编码后宏块的每个分割块亮度和色度变换系数状态CBP、每个宏块编码之后的比特数CB、量化参数QP、绝对差值和SAD。

2.根据权利要求1所述的用于去除I帧闪烁的视频编码方法，其特征在于，所述根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α的步骤中，包含以下子步骤：

计算所述当前帧中每个宏块的运动强度m；

当所述m小于预先设定的阈值threshold时，所述α＝α₀+(1-α₀)*m/threshold；

当所述m大于或等于所述threshold时，所述α＝1；

其中，α₀为所述CBP、CB、QP和SAD的归一化值的均值。

3.根据权利要求1所述的用于去除I帧闪烁的视频编码方法，其特征在于，根据所述时域滤波系数对当前帧进行时域滤波的步骤中，包含以下子步骤：

根据以下公式对当前帧的每个宏块进行时域滤波：I_o(n)＝αI_s(n)+(1-α)I_p(n-1)，其中，I_s(n)表示I帧原始图像数据，I_p(n-1)表示上一图像编码时刻的重建图像的数据，I_o(n)表示时域滤波之后的图像数据。

4.根据权利要求1至3中任一项所述的用于去除I帧闪烁的视频编码方法，其特征在于，所述进行空域滤波的步骤中，包含以下子步骤：

利用m×m的滑动窗对所述当前帧的宏块的每个像素进行滤波处理，并将所述滑动窗的中间点作为滤波处理后的输出值，m为自然数。

5.根据权利要求1至3中任一项所述的用于去除I帧闪烁的视频编码方法，其特征在于，还包含以下步骤：

如果当前帧不是I帧，则将当前帧直接进行编码。

6.一种用于去除I帧闪烁的视频编码装置，其特征在于，包含保存模块、判断模块、时域滤波系数获取模块、时域滤波模块、空域滤波模块和编码模块；

所述保存模块用于在编码过程中保存重建图像的数据以及重建图像编码过程中产生的参数；

所述判断模块用于判断当前帧是否为I帧；

所述时域滤波系数获取模块用于在所述判断模块判定当前帧为I帧时，根据上一图像编码时刻的重建图像的数据以及该重建图像的编码过程中产生的参数，得到时域滤波系数α，并触发所述时域滤波模块；

所述时域滤波模块用于根据所述时域滤波系数α对当前帧进行时域滤波后输出，并触发所述空域滤波模块；

所述空域滤波模块用于将所述时域滤波模块输出的当前帧进行空域滤波后输出，并触发所述编码模块；

所述编码模块用于将所述空域滤波模块输出的当前帧进行编码；所述重建图像的编码过程中产生的参数包含：重建图像的每个宏块的运动矢量MV、编码后宏块的每个分割块亮度和色度变换系数状态CBP、每个宏块编码之后的比特数CB、量化参数QP、绝对差值和SAD。

7.根据权利要求6所述的用于去除I帧闪烁的视频编码装置，其特征在于，所述时域滤波系数获取模块包含以下子模块：

运动强度计算子模块，用于计算所述当前帧中每个宏块的运动强度m；

映射子模块，用于根据所述m映射得到所述时域滤波系数α，其中，当所述m小于预先设定的阈值threshold时，所述α＝α₀+(1-α₀)*m/threshold；当所述m大于或等于所述threshold时，所述α＝1；α₀为所述CBP、CB、QP和SAD的归一化值的均值。

8.根据权利要求6所述的用于去除I帧闪烁的视频编码装置，其特征在于，所述时域滤波模块根据以下公式对当前帧的每个宏块进行时域滤波：I₀(n)＝αI_s(n)+(1-α)I_p(n-1)，其中，I_s(n)表示I帧原始图像数据，I_p(n-1)表示上一图像编码时刻的重建图像的数据，I_o(n)表示时域滤波之后的图像数据。

9.根据权利要求6至8中任一项所述的用于去除I帧闪烁的视频编码装置，其特征在于，所述空域滤波模块利用m×m的滑动窗对所述当前帧的宏块的每个像素进行滤波处理，并将所述滑动窗的中间点作为滤波处理后的输出值，m为自然数。

10.根据权利要求6至8中任一项所述的用于去除I帧闪烁的视频编码装置，其特征在于，所述编码模块还用于在所述判断模块判定当前帧不为I帧时，直接对当前帧进行编码。