CN100493194C - 用于视频感兴趣区域编解码的泄漏运动补偿方法 - Google Patents

Abstract

一种用于视频感兴趣区域编解码的泄漏运动补偿方法，属于视频编码技术领域。本发明包括在编码器中的实现和在解码器中的实现两部分：在编码器中，按照现有优化准则执行两次运动估计，获得ROI所包含像素块的运动矢量MV1和MV2，然后根据MV1、MV2和泄漏因子α，加权计算预测值；在解码器中，如果参考帧内非ROI数据正确接收，根据MV1、MV2和泄漏因子α，同编码器一样加权计算预测值，如果参考帧内非ROI数据没有正确重建，则仅根据MV2，计算运动补偿的预测值。本发明使得视频ROI数据在网络状况好的条件下具有较高的压缩比，而在网络状况差的情况下有效地阻止误差扩散，从而提高视频在端到端传输环境下的重建质量。

Description

用于视频感兴趣区域编解码的泄漏运动补偿方法

技术领域

本发明涉及一种电信技术领域的方法，具体是一种用于视频感兴趣区域(ROI)编解码的泄漏运动补偿方法。

背景技术

目前现有技术中的MPEG4/H.263/H.264等视频编码标准技术普遍采用运动补偿技术作为消除图像时间相关性，进而提高压缩比的主要技术。关于运动补偿技术，详见刘峰编著的“视频图像编码技术及国际标准”一书(北京邮电出版社，2005.7)3.4.4节98-100页中的介绍。采用该项技术对感兴趣区域(ROI)编码时，由于编码帧的ROI像素可能以参考帧内同一ROI之外的像素作为预测值，而在带宽受限和存在误码率的网络传输环境下，通常只能保证每帧图像中ROI数据的正确传输，而不能保证非ROI数据的正确传输。因此，如果解码器中解码帧的ROI像素用到参考帧的非ROI像素作为预测值，而此非ROI数据没有正确接收，解码器通常会采用错误掩盖的方法给一个估计值。这种数据不一致将导致错误的“漂移”，一方面当前解码帧ROI像素不能正确重构，另一方面，错误通过后续的运动补偿将会继续传播，影响到随后多帧ROI的重构。如果该错误不能进行及时有效的控制，则将会造成错误的严重扩散甚至解码器崩溃的严重后果。

经对现有技术的文献检索发现，Tae Meon Bae等人在《ETRI Journal》(电子与电信研究所杂志)的2006年第28期239到242页上发表的“MultipleRegion-of-Interest Support in Scalable Video Coding”(可伸缩编码中多感兴趣区域支持)一文中论述了为防止误差的传播，现有对ROI视频编码的主要手段是对每个ROI数据独立编码。如MPEG4中将每个ROI区域作为独立的对象进行编码、在H.263中采用独立段(independent segmentation)模式对ROI编码、在H.264或可伸缩编码中采用灵活宏块顺序(FMO)和片(slice)结构来对ROI进行独立编码。这类方法将用于运动补偿的运动矢量始终限制在参考帧中的ROI内，因此当非ROI数据也能通过网络正确传送到解码器的情况下，该方法将不能获得用于运动补偿的最佳预测值，结果使得纹理残差数据增加，进而降低了压缩质量。

因此，需要一种能够有效调节视频ROI编码抗差错和压缩性能的运动补偿方法，使得ROI数据在网络状况好(低误码率/低丢包率)的条件下具有较高的压缩比，而在网络状况差(高误码率/高丢包率)的情况下有效地阻止误差扩散，从而提高视频ROI在端到端传输环境下的重建质量。

发明内容

本发明针对现有视频编码标准中运动补偿技术对ROI编码的不足，提供一种用于视频感兴趣区域编解码的泄漏运动补偿方法，使其提高视频ROI在误码和丢包信道传输环境下端到端的重建质量。

本发明是通过以下技术方案实现的，本发明是在广泛使用的视频编解码标准如MPEG4/H.263/H.264中，对每帧ROI数据进行帧间编解码时候的运动补偿的方法。本发明的实现包括两个部分，分别为在编码器中和在解码器中的实现：在编码器中，按照现有优化准则执行两次运动估计，获得ROI所包含像素块的运动矢量MV1和MV2，然后根据MV1、MV2和泄漏因子α，加权计算预测值；在解码器中，如果参考帧内非ROI数据正确接收，根据MV1、MV2和泄漏因子α，同编码器一样加权计算预测值，如果参考帧内非ROI数据没有正确重建，则仅根据MV2，计算运动补偿的预测值。

以下对本发明作进一步的说明：

(1)在编码器中的实现，具体如下：

①按照现存的某种优化准则执行两次运动估计，获得ROI所包含像素块的运动矢量：第一次运动估计为ROI不受限运动估计，在设定的搜索范围获得最佳运动矢量MV1；第二次运动估计为ROI受限运动估计，其搜索范围限定于参考图像中同一ROI，获得最佳运动矢量MV2；

②根据泄漏因子α(0<α<1)，按照最佳运动矢量MV1从参考帧中获得预测值PV1，按照MV2从参考帧获得预测值PV2；以权重为α对PV1，以权重1—α对PV2进行加权获得最终预测值PV，即：

PV＝α*PV1+(1-α)*PV2

(2)在解码器中的实现，具体如下：

①如果参考帧内非ROI数据正确接收，根据泄漏因子α(0<α<1)，按照最佳运动矢量MV1从参考帧中获得预测值PV1，按照最佳运动矢量MV2从参考帧获得预测值PV2；以权重为α对PV1，以权重1—α对PV2进行加权获得最终预测值PV，即：

PV＝α*PV1+(1-α)*PV2

②如果参考帧内非ROI数据没有正确接收，则按照最佳运动矢量MV2从参考帧中获得预测值PV2作为最终运动补偿的预测值PV，即PV＝PV2。

该ROI也可以由彼此不接触地两个或更多的部分构成。按照相同的方式使用这个技术。

与现有技术相比，本发明提出一种能够有效的动态调节视频ROI编码抗差错性能和压缩性能的运动补偿方法，使得视频图像中ROI数据在低误码率、低丢包率等网络状况好的条件下具有较高的压缩比，而在高误码率、高丢包率等网络状况差的情况下具有较高的压缩比。在H.264标准基础上的实验表明，在网络发生数据丢失的情况下，与典型的错误掩盖方法相比，峰值信噪比要高2-5db。

附图说明

图1ROI视频编码、传输和解码系统示意图。

图2是本发明实施例原理图一。

图3是本发明实施例原理图二。

图4是本发明在H.264编码标准上实施的效果图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1所示，采用本发明和现有标准技术组成的ROI视频编码、传输和解码系统。该系统包括：输入视频帧块101，它连接到ROI表征码块103和集成泄漏预测的标准编码器块105。ROI表征码M(n)大小和视频图像相同，ROI对应部分为的值1，其余部分的值为0。编码器块105根据ROI表征码，对输入视频帧中的ROI数据进行泄漏预测，形成的码流输出到ROI码流块107；对非ROI数据进行标准编码，形成的码流输出到非ROI码流块109接收。不均等保护发送块111将来自107的ROI码流和来自109的码流进行不同强度的保护后，发送到通信链路113上。

在接收端，不均等保护接收块115将链路113上传送来的数据通过处理后分别放入非ROI码流块117和ROI码流块119。集成泄漏预测的解码块121接收来自ROI图像数据块119和非ROI图像数据块117，形成的重建图像输出到重建视频帧块123，在这里经过后处理以及时间同步后获得重建。

在上述系统中，假设发送端的ROI码流能在接收端可靠地接收，而非ROI数据则不保证能在接收端可靠接收到。

如图2所示，图1中集成泄漏预测的标准编码器块105中对活动图像感兴趣区域执行泄漏运动补偿的原理和步骤。如果设泄漏因子α为1，并去除图2中逻辑与块201、逻辑与块203、帧图像的参考缓存区块205、第二次运动估计块207、第二次运动补偿块209和乘积块213等指示的模块及其连接线，则为现有视频编码标准MPEG4/H.263/H.264帧间编码的基本原理图。

(1)图2中输入为一帧视频图像F(n)，对图像的每个块，按照常规的方法执行第一次运动估计和运动补偿的，获得运动矢量MV1和运动补偿的预测值PV1。

(2)对非ROI图像数据根据PV1执行运动补偿，对残差e(n)执行常规的DCT变换和量化，并对量化残差r(n)和MV1进行熵编码，按照标准语法规则形成非ROI码流。

(3)视频图像F(n)和ROI表征码M(n)，进入逻辑与块201。逻辑与块201根据表征码M(n)，获得视频图像F(n)中感兴趣区域F_ROI(n)。同理，本地重建图像Fr(n-1)和ROI表征码M(n-1)，进入逻辑与块203，获得重建图像中感兴趣区域，数据放入整帧图像的参考缓存区块205中。

(4)在第二次运动估计块207中，执行ROI受限的运动估计，即将当前ROI图像F_ROI(n)块匹配搜索的范围限制在参考图中的ROI图像区域中。按照现存的准则获得运动矢量MV2，并根据运动矢量MV2通过第二次运动补偿块209获得运动补偿的预测值PV2。

(5)乘积块213用泄漏因子α(0<α<1)乘以预测值PV1，乘积块211用泄漏因子1-α乘以预测值PV2，两者通过加法块215相加，形成最终预测值PV：

PV＝α*PV1+(1-α)*PV2

(6)对ROI图像数据根据PV执行运动补偿，对残差e(n)执行常规的DCT变换和量化，并对量化残差r(n)、运动矢量MV1及MV2进入熵编码块，按照语法规则形成ROI码流。

如图3所示，图1中集成泄漏预测的标准解码器块121中对活动图像感兴趣区域执行泄漏运动补偿的原理和步骤。如果设泄漏因子α为1，并去除图3中第二次运动补偿块301和乘积块303等指示的模块和相互连接线，则为现有视频编码标准MPEG4/H.263/H.264帧间解码的基本原理图。

(1)图3中输入为ROI和非ROI视频图像的码流，对非ROI视频图像的码流，按照标准解码方法先通过熵解码块获得每个块的运动矢量MV1和残差r。然后执行第一次运动补偿获得预测值PV1，并对残差r执行常规的反量化和DCT反变换，得到重建残差ê(n)。进一步将ê(n)和PV1相加获得重建的非ROI视频图像。

(2)对ROI视频图像的码流，按照标准解码方法先获得每个块的运动矢量MV1、MV2和残差r。然后对残差r执行常规的反量化和DCT反变换，得到重建残差ê(n)。

(3)如果参考帧包含的ROI和非ROI数据全部正确接收，首先根据MV1从参考帧中获得预测值PV1。接着第二次运动补偿块301根据运动矢量MV2和参考帧F^r(n-1)，执行运动补偿，获得预测值PV2。

(4)乘积块305用与编码端相同的泄漏因子α乘以预测值PV1，乘积块303用泄漏因子1-α乘以预测值PV2，两者通过加法块307相加，形成最终预测值PV：

PV＝α*PV1+(1-α)*PV2

(5)如果参考帧内非ROI数据没有全部正确接收，则将泄漏因子α设为0，即第二次运动补偿块301根据MV2和参考帧F^r(n-1)，执行运动补偿，获得预测值PV2，并作为最终运动补偿的预测值PV：

PV＝PV2

(6)对ROI图像数据根据PV执行运动补偿，将ê(n)和PV1相加获得重建的ROI视频图像。

(7)将同一帧的ROI图像和非ROI图像按照ROI表征码合成为一帧重建图像F^r(n)，并存储到本地缓冲区中。

实施效果

依据上述步骤，对标准测试序列QCIF格式，12.5fps的foreman进行100帧编码、传输和解码。采用H.264编码IPPP…模式，即第一帧是I帧，其余都是P帧，每帧参考帧为前面一帧，QP＝28，α＝0.5。

如图4所示，图4(a)所示为该视频序列的第一帧图像，矩形框内为ROI图像，之外为非ROI图像，其余帧的ROI位置与第一帧一致。

假设视频序列第2帧中非ROI区域全部丢失，图4(b)所示为本发明中重建图像与理想接收时峰值信噪比(PSNR)损失(ΔPSNR)随时间(s)的变化曲线。对比方案采用的典型的错误掩盖方法，即丢失的非ROI数据，通过拷贝前一帧图对应位置的图像作为替代的参考图像。然后执行H.264解码。从图中可以看出本发明无论是整帧还是ROI部分，PSNR的损失都比对比方案要好。

Claims (3)

1、一种用于视频感兴趣区域编解码的泄漏运动补偿方法，其特征在于，包括在编码器中的实现和在解码器中的实现两部分：在编码器中，按照现有优化准则执行两次运动估计，获得视频感兴趣区域所包含像素块的运动矢量MV1和MV2，然后根据运动矢量MV1、MV2和泄漏因子α，加权计算预测值；在解码器中，如果参考帧内非视频感兴趣区域数据正确接收，根据运动矢量MV1、MV2和泄漏因子α，同编码器一样加权计算预测值，如果参考帧内非视频感兴趣区域数据没有正确重建，则仅根据运动矢量MV2，计算运动补偿的预测值。

2、如权利要求1所述的用于视频感兴趣区域编解码的泄漏运动补偿方法，其特征是，所述的在编码器中的实现，具体如下：

①按照现存的某种优化准则执行两次运动估计，获得视频感兴趣区域所包含像素块的运动矢量：第一次运动估计为视频感兴趣区域不受限运动估计，在设定的搜索范围获得最佳运动矢量MV1；第二次运动估计为视频感兴趣区域受限运动估计，其搜索范围限定于参考图像中同一视频感兴趣区域，获得最佳运动矢量MV2；

②根据泄漏因子α，0<α<1，按照最佳运动矢量MV1从参考帧中获得预测值PV1，按照最佳运动矢量MV2从参考帧获得预测值PV2；以权重为α对预测值PV1，以权重1—α对预测值PV2进行加权获得最终预测值PV，即：PV＝α*PV1+(1-α)*PV2。

3、如权利要求1所述的用于视频感兴趣区域编解码的泄漏运动补偿方法，其特征是，所述的在解码器中的实现，具体如下：

①如果参考帧内非视频感兴趣区域数据正确接收，根据泄漏因子α，0<α<1，按照最佳运动矢量MV1从参考帧中获得预测值PV1，按照最佳运动矢量MV2从参考帧获得预测值PV2；以权重为α对预测值PV1，以权重1—α对预测值PV2进行加权获得最终预测值PV，即：PV＝α*PV1+(1-α)*PV2；

②如果参考帧内非视频感兴趣区域数据没有正确接收，则按照最佳运动矢量MV2从参考帧中获得预测值PV2作为最终运动补偿的预测值PV，即PV＝PV2。

Images