CN101127912A - 利用动态背景帧的视频编码方法 - Google Patents

Abstract

本发明公开了一种动态背景帧产生、更新及利用该背景帧作为参考帧的视频编码方法，该方法适用于具有较长时间背景不变的视频信号压缩编码，特别适用于光照不足情况下视频监控的应用。在夜间等光照不足的视频监控场景中，视频序列中静止的背景受较大的噪声干扰，降低了视频编码中帧间预测的准确性。本发明引进了动态背景帧作为视频编码的一种参考帧，该背景帧利用重建图像生成，并滤除了部分噪声。本发明采用了噪声估计技术，将其应用在视频编码过程中。在对当前宏块进行帧间预测编码时，可根据预测精度和噪声强度选择采用背景帧预测或一般的运动估计算法。本发明可提高编码效率，减少重建图像背景区域的噪声，并可减少运动估计时间。

Description

利用动态背景帧的视频编码方法

技术领域

本发明属于数字视频压缩编码技术领域，特别涉及帧间预测视频编码方法。

背景技术

视频信号由于信息量大，传输网络带宽要求高，给传输和存储都带来了很大的不便，因此实际应用中往往需要进行编码压缩。视频数据邻近帧间的景物内容常常变化较小，即存在着一定的相关性。运动估计就是利用图像间的这种相关性，消除其中的冗余信息，实现数据的压缩。

在视频监控或视频会议等应用中，摄像机的视场大多是固定不变的，有些摄像机(如带云台镜头控制的摄像头)有时会改变视场，但大部分时间其视场仍是固定不变的。因此这类视频序列通常具有一个显著的特征：画面上会有长间静止不动的景物，如路面、建筑物等，称之为背景区，运动物体如车辆、行人等只是在视频序列中以小段时间在背景图像上经过。在光照条件良好的情况下，在背景区可利用前一帧获得对当前帧的准确预测，从而大幅提高视频编码效率。但在夜间或光照不足时，或摄像机质量较差时，视频序列图像中的噪声往往幅度较大，这些噪声带来的干扰，将使得编码过程中帧间预测变得不准确，如运动估计不准确，匹配块之间的误差变大，从而使得视频数据不能得到有效的压缩，因此大幅增加了压缩后视频流的码率，这对数字录像和视频传输都是很不利的。本发明就是针对这种情况，给出一种利用动态背景帧的视频编码方法，提高了压缩编码效率，同时改善了解码重建图像的质量，并且降低了运动估计的复杂度。

发明内容

本发明主要解决噪声干扰较大并具有不变背景区的视频图像的压缩率不高问题，本发明特别适合光照不足的视频监控场合。本方法是在传统编码方法的基础上，在运动估计过程中增加了一种新的参考帧——动态背景帧，背景帧是根据重建图像动态生成的，并被不断更新。通过将当前宏块与背景帧相应宏块的匹配误差与某一阈值比较，选择当前帧间预测帧宏块是否选用背景帧相应宏块作预测。该阈值是利用噪声的估计值确定的。为了确保图像质量，在视频图像上噪声较小时，若小于一给定阈值，则自动关闭将背景帧作为参考帧这一功能。这种方法与传统编码方法相比提高了运动估计的准确性，有效地提高了编码效率，降低了编码复杂度。

本发明提出的利用动态背景帧的视频编码方法，主要包括了背景帧的动态生成及更新方法、运用背景帧的帧间预测方法和噪声估计方法三项技术。

帧间预测是视频编码的一项关键技术，本发明中帧间预测方法如下：

1)在帧间预测过程中，当前宏块首先与背景帧相应宏块计算匹配误差，然后将匹配误差与所选取的阈值TH1进行比较，若匹配误差未超过该阈值TH1，则采用背景帧相应宏块作为当前宏块的预测，否则，采用其他参考帧进行帧间预测。

2)运动搜索结束后，若当前块与其他参考帧进行帧间预测的最佳匹配块的匹配误差仍比其与背景帧相应宏块的匹配误差大，且未达到采用I宏块编码要求，则采用背景帧相应宏块作为对当前宏块的估计，否则采用搜索到的最佳匹配块进行预测或采用I宏块编码。

3)上述步骤1)中的阈值TH1是根据随机噪声的估计值动态确定的，TH1随着随机噪声的估计值的增大而增大。

4)在帧间预测过程中，利用对随机噪声的估计值和帧间预测误差，确定是否将当前宏块作为跳过宏块或I宏块。

在视频编码运动估计过程中，本发明利用对图像中的噪声的估计确定用于背景帧选择的阈值TH1，进而选择参考宏块，并且也利用图像中的噪声估计和帧间预测误差来动态确定是否将当前宏块作为跳过宏块或I宏块的控制。本发明中噪声估计方法包括以下几个方面：

1)将图像中噪声看成是零均值高斯随机噪声，构造一个噪声统计矩阵，矩阵的每个元素对应图像上的一个宏块的随机噪声的估计值，并任意设定一个初值。

2)若采用背景帧进行预测，或采用其他参考帧进行帧间预测运动搜索后运动矢量小于预设值TH2，且不是I宏块，则利用预测误差直接计算随机噪声的估计值；否则保留原值不变。

3)上述随机噪声的估计值可用预测误差平方和进行估计，但为了简化计算，可用预测误差绝对值之和(SAD)进行估计。

本发明中的背景帧是动态生成及更新的，具体生成方法如下：

1)若当前帧为I帧，则将当前帧的重建帧作为背景帧，或用其取代已有背景帧。

2)帧间预测时若当前宏块采用背景帧作为参考宏块进行预测，则用当前宏块重建数据与已有背景帧对应宏块数据的加权平均更新背景帧相应宏块。

3)帧间预测时若当前宏块不用背景帧预测，而用其它参考帧预测，且运动矢量小于预设值TH2，则用当前帧重建宏块和其预测块的对应像素平均值更新背景帧的相应宏块。

4)帧间预测时若当前宏块的运动搜索结果为运动矢量较大，或当前宏块为I宏块，则背景帧相应宏块不更新。

本发明的有益效果是：

在图像噪声很小时，属于背景的宏块很容易在前一帧上找到匹配，但在图像噪声较大时，不容易找到匹配，预测误差也大幅增加。本发明引入具有降噪作用的背景帧后，提高了运动估计的准确性，降低了预测误差，提高了编码效率，并且降低了编码的复杂度。

本发明中背景帧可在视频解码器中重建生成，从而不需要传输背景帧的额外数据。

本发明中，每当I帧出现时，背景帧重新生成，这保证了视频检索的要求，可以对视频流进行快进、快倒和随机访问；在背景区域，由于景物不变，采用加权平均的方法更新背景帧宏块，可起到噪声平滑作用，这有利于减小预测误差，也有利于提高解码图像的质量。在运动物体移动到背景区域时，由于很多情况为当前宏块的运动矢量较大或者会采用I宏块编码，背景帧不会被更新，保护了原有背景帧数据，这使得背景在当前块重现时容易找到匹配，从而有利于降低码率。

由于背景帧具有帧间平滑作用，一定程度上滤除了噪声，使当前帧宏块更能与之匹配，减小了预测误差。如果输入图像已进行空间域滤波(2维滤波)，则与背景帧结合后相当于进行了3维滤波，从而提高了图像质量。

由于帧间预测时不需要对背景帧进行运动搜索，算法复杂度不高，而且当前宏块在背景帧上找到匹配后，不需要再进行运动搜索，这一定程度上可降低算法复杂度。

本发明引入噪声估计，可根据噪声情况动态调整阈值TH1，从而针对噪声情况采用不同的编码策略。在光照条件很好时，由于噪声很小，可自动关闭背景帧，从而提高图像清晰度。本发明中采用SAD进行噪声估计，大大降低了噪声估计的复杂度。

由于本发明中已对图像的随机噪声进行了估计，利用该噪声估计值，还能确定对图像噪声滤波的策略，每个宏块可采用不同的滤波器，滤波器的参数还可根据噪声估计值动态调整，从而能改善图像质量。

附图说明

图1为本发明的利用动态背景帧的视频编码方法总流程图；

图2为本发明图1中的宏块编码流程图。

具体实施方式

本发明提出的利用动态背景帧的视频编码方法，结合附图详细说明如下：

本发明的利用动态背景帧的视频编码方法过程如图1和2所示，是在传统编码方法的基础上，在帧间预测过程中采用了一种新的参考帧——背景帧，从而降低了图像的帧间预测误差，并结合了帧间滤波，提高了图像质量。

利用动态背景帧的视频编码方法总流程如图1所示，具体实现步骤如下：

1)开始，将噪声统计矩阵初始化为一设定值；对输入一帧图像，开始编码。

2)如果是I帧则采用帧内编码方法完成当前帧的编码，并用其重建帧更换背景帧，转至步骤4)，否则是帧间编码帧(包括P帧和B帧)，则进行步骤3)。由于第一帧总是I帧，将其重建帧作为背景帧。

3)逐一读入该帧图像中的各宏块，调用图2所示宏块编码流程对各宏块进行编码，直至完成所有宏块的编码。

4)若还有图像需要编码，则重新输入一帧图像，转第2)步，否则编码结束。

上述算法中的宏块编码流程如图2所示，具体步骤如下：

1)宏块编码开始，读入帧间预测帧中的一个宏块，计算该宏块中的像素点与背景帧对应宏块的像素点之间的匹配误差。

2)将此匹配误差与设定阈值TH1进行比较，如果匹配误差小于阈值TH1，说明当前帧的该图像块与背景帧中匹配图像块相关性比较大，采用背景帧宏块对当前宏块进行预测，转5)；否则该图像块采用其他参考帧进行帧间预测，在其它参考帧上进行运动搜索，包括亚像素搜索，找到最佳预测，计算其匹配误差。

3)运动搜索结束后，根据最小匹配误差、背景帧宏块匹配误差和随机噪声估计值，判断当前宏块是否采用帧内编码，若是，则当前宏块为I宏块，进行帧内宏块编码，转6)；否则，若当前块与搜索到的最佳匹配块的匹配误差比其与背景帧相应宏块的匹配误差大，则采用背景帧宏块对当前宏块进行预测，转5)。

4)采用搜索到的最佳匹配块对当前宏块数据进行编码，若其运动矢量小于设定阈值TH2，则进行背景帧更新，即用当前宏块的重建值替换背景帧对应宏块值，并计算随机噪声估计值，用随机噪声估计值更新噪声统计矩阵，转6)。

5)采用背景帧相应宏块作为对当前宏块的预测，对当前宏块数据进行编码，并用当前宏块重建值与背景帧宏块值的加权平均更新背景帧宏块，同时计算随机噪声估计值，用新的随机噪声估计值更新噪声矩阵。

6)当前宏块编码结束。

上述算法过程中当前宏块与参考帧宏块的匹配误差可以用误差绝对差值之和(SAD)计算，如式(1)，也可用其它常用匹配误差计算方法，如采用均方误差、误差平方和。

$\mathrm{SAD}=\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|f(x,y)-b(x,y)|---\left(1\right)$

其中宏块大小为N×N，f(x，y)为当前帧图像宏块中的像素值，b(x，y)为背景帧图像宏块中的像素值。

上述算法中将图像中的随机噪声看成是零均值高斯随机噪声，噪声统计矩阵的元素是噪声的均方差或对应均方差的统计量。均方差的计算如式(2)所示。

$\mathrm{MMSE}(i,j)=\sqrt{\frac{1}{N^2}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{[f_t(x,y)-f_{t-1}(x+i,y+j)]}^2}---\left(2\right)$

式中f_t(x，y)为当前帧宏块像素值，f_t-1(x+i，y+j)是参考帧最佳匹配块像素值，或背景帧宏块像素值。在f_t-1(x+i，y+j)为背景帧宏块像素值时，i＝0，j＝0。

但为了简化计算，可用当前帧宏块与参考帧宏块的误差绝对值的平均值(MAD)进行估计，如(3)式所示，

$\mathrm{MAD}(i,j)=\frac{1}{N^2}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|f_t(x,y)-f_{t-1}(x+i,y+j)|---\left(3\right)$

或直接用当前帧宏块与参考帧宏块的误差绝对值之和进行估计。

实施例

本实施例建立在视频编码系统基础上，算法具体实现过程如下：

1)开始，将噪声统计矩阵所有初始化为0～65535间的一个任意值，如取全部元素的初值为5000；对输入一帧图像，开始编码。

2)如果是I帧则采用帧内编码方法完成当前帧的编码，并用其重建帧更换背景帧，转至步骤4)，否则是帧间编码帧(包括P帧和B帧)，则进行步骤3)。由于第一帧总是I帧，将其重建帧作为背景帧。

3)逐一读入该帧图像中的各宏块，调用图2所示宏块编码流程对各宏块进行编码，直至完成所有宏块的编码。

4)若还有图像需要编码，则重新输入一帧图像，转第2)步，否则编码结束。

上述过程中的宏块编码流程如图2所示，具体步骤如下：

1)宏块编码开始，读入帧间预测帧中的一个宏块，计算该宏块中的像素点与背景帧对应宏块的像素点之间的匹配误差，即计算SAD值。

2)将此匹配误差与设定阈值TH1进行比较，如果匹配误差小于阈值TH1，说明当前帧的该图像块与背景帧中匹配图像块相关性比较大，采用背景帧宏块对当前宏块进行预测，转5)；否则该图像块采用其他参考帧进行帧间预测，在其它参考帧上进行运动搜索，包括亚像素搜索，找到最佳预测，计算其匹配误差。

3)运动搜索结束后，根据最小匹配误差、背景帧宏块匹配误差和随机噪声估计值，判断当前宏块是否采用帧内编码，若是，则当前宏块为I宏块，进行帧内宏块编码，转6)；否则，若当前块与搜索到的最佳匹配块的匹配误差比其与背景帧相应宏块的匹配误差大，则采用背景帧宏块对当前宏块进行预测，转5)。

4)采用搜索到的最佳匹配块对当前宏块数据进行编码，若其运动矢量小于设定阈值TH2＝0.5，则进行背景帧更新，即用当前宏块的重建值替换背景帧对应宏块值，并将其SAD作为随机噪声估计值，用随机噪声估计值更新噪声统计矩阵，转6)。

5)采用背景帧相应宏块作为对当前宏块的预测，对当前宏块数据进行编码，并用当前宏块重建值与背景帧宏块值的加权平均更新背景帧宏块，当前帧像素的权值取1/8或1/4，对应背景帧像素的权值取7/8或3/4。同时用当前宏块与背景帧宏块的SAD作为随机噪声估计值，用新的随机噪声估计值更新噪声矩阵。

6)当前宏块编码结束。

上述算法中TH1确定与噪声估计值有关，本实施例中取噪声估计值一定倍数，也可以用其它单调递增函数。

最后，还需要指出的是，本发明不限于上述实施方式。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种利用动态背景帧的视频编码方法，其特征在于，将背景帧作为视频编码的一种参考帧，所述背景帧利用重建图像动态生成，并且被不断动态更新，在帧间预测编码时，与当前宏块对应的背景帧宏块可作为对当前宏块的一种预测；同时对视频图像噪声进行估计。

2.如权利要求1所述的利用动态背景帧的视频编码方法，其特征在于，帧间预测过程包括以下步骤：

1)在帧间预测过程中，当前宏块首先与背景帧相应宏块计算匹配误差，然后将匹配误差与阈值TH1进行比较，若比较结果未超过该阈值TH1，则采用背景帧相应宏块作为当前宏块的预测，否则，采用其他参考帧进行帧间预测；

2)运动搜索结束后，若用其他参考帧进行帧间预测的最佳匹配块的匹配误差仍比其与背景帧相应块的匹配误差大，且未达到采用I宏块编码要求，则采用背景帧相应宏块作为对当前宏块的估计，否则采用搜索到的最佳匹配块进行预测或采用I宏块编码。

3.如权利要求2所述的利用动态背景帧的视频编码方法，其特征在于，其中的阈值TH1是根据随机噪声的估计值动态确定的，阈值TH1随该估计值增大而增大。

4.如权利要求1或2或3所述的利用动态背景帧的视频编码方法，其特征在于，随机噪声估计过程如下：

1)将图像上噪声看成是零均值高斯随机噪声，构造一个噪声统计矩阵，矩阵的每个元素对应图像上一个宏块的随机噪声的估计值，并设定一个任意初值；

2)若当前宏块采用背景帧进行预测，或采用其他参考帧进行预测运动矢量小于预设值TH2，且不是I宏块，则利用预测误差直接计算随机噪声的估计值；否则保留原值不变。

5.如权利要求4所述的利用动态背景帧的视频编码方法，其特征在于，随机噪声的估计值用预测误差平方和进行计算，或用预测误差绝对值之和(SAD)进行计算。

6.如权利要求1或2或3所述的利用动态背景帧的视频编码方法，其特征在于，背景帧的动态生成和更新过程如下：

1)若当前帧为I帧，则将当前帧的重建帧作为背景帧，或用其取代已有背景帧；

2)帧间预测时若当前宏块为采用背景帧对应宏块作为参考宏块进行预测，则用当前宏块重建数据与已有背景帧对应宏块数据的加权平均更新背景帧相应宏块；

3)帧间预测时若当前宏块的运动搜索结果为不用背景帧预测，且运动矢量小于TH2，则用当前重建宏块和其预测块的对应像素平均值更新背景帧的相应宏块；

4)帧间预测时若当前宏块的运动搜索结果为运动矢量大于TH2，或当前宏块为I宏块，则背景帧相应宏块不更新。

7.如权利要求4所述的利用动态背景帧的视频编码方法，其特征在于，根据估计到的随机噪声的均方差，可以选择强弱不同的滤波系数来对当前帧图像进行滤波。

Images