CN102123282A - 基于Wyner-Ziv视频编码系统的GOP层编码方法 - Google Patents

Abstract

本发明公开了一种Wyner-Ziv视频编码系统中编码端基于率失真优化的图像组GOP层编码方法，主要解决现有码率分配技术不能灵活分配图像组GOP层码率分配比例以及不能应用于实际系统的问题。其编码过程是：在编码端估算码率分配比例因子k和失真D的关系；利用编码端重构的关键帧和估计的边信息估算满足用户对分布式视频编码DVC系统整体性能最优的最佳比例因子k^*；用GOP内最佳比例因子k^*分配关键帧码率R_k和WZ帧码率R_wz；用关键帧码率R_k和WZ帧码率R_wz编码当前GOP。本发明能灵活确定达到特定失真要求的GOP内码率分配的最佳比例，避免了速率分配的盲目性，可在编码端进行失真预估和码率分配，可用于实际的DVC系统。

Description

基于Wyner-Ziv视频编码系统的GOP层编码方法

技术领域

本发明属于视频编码技术领域，主要涉及分布式视频编码中基于率失真优化的无反馈编码速率控制中GOP(Group-of-Picture，图像组)层编码方法，可用于实用分布式视频编码系统和终端编码设备资源受限的视频通信系统。

背景技术

随着信息技术和互联网的飞速发展，多媒体已成为人们获取信息最主要的载体，多媒体业务将是未来无线宽带网络的关键业务。有数据显示，未来宽带网络上数据流量的80％将是以视频为主的多媒体数据流量。为了适应无线网络日益发展，越来越多的移动视频终端被用于多媒体通信中，如无线视频探测头、便携式摄像机等，以及广泛应用于传感器网络中的视频传感器。这些编码设备的处理能力和功耗等资源都十分有限，因此要求视频编码器简单易实现，且具有良好的抗误码性能和压缩效率。

传统的视频编码标准如MPEG、H.263和H.264等都采用非对称编码方式，编码器复杂度远大于解码器。另外，传统视频编码方法在编码端采用预测编码模式，网络传输导致的丢包或比特错误会造成编码端和解码端重构缓存的不匹配，从而出现误码扩散现象，容错能力较差，显然无法很好的适应无线网络下要求误码率高、终端设备资源受限等应用。

为了解决传统视频编码在视频通信中遇到的编码器复杂、抗误码能力差等问题，国内外研究一种新的视频压缩技术——分布式视频编码方法DVC，其中Wyner-Ziv视频编码是目前国内外分布式视频编码的研究热点。分布式视频编码系统采用帧内编码-帧间解码的结构，将编码视频序列分为关键帧和Wyner-Ziv帧，对关键帧进行传统的H.263或H.264帧内编码，而对Wyner-Ziv帧进行Wyner-Ziv视频编码。其中Wyner-Ziv帧的编码码率由它和边信息之间的统计相关性决定，由于原始Wyner-Ziv帧和边信息分别位于系统的编码侧和解码侧，这就使得在编码侧准确估计成功解码Wyner-Ziv帧所需要的比特数较为困难。为了使解码器能够正确解码，编码器需要传输足够多的校验比特，而传输过多的校验比特又会降低系统的压缩性能，所以码率控制在一定程度上决定了分布式编码系统的编码效率和应用环境。

现有的分布式视频编码系统绝大多数都采用有反馈信道的码率控制方法，编码得到的校验位根据解码侧的反馈请求分多次发送，直到解码成功，这样可以在一定程度上提高编码效率，但是大大增加了解码的复杂度和时延，不利于实时视频传输，同时使用反馈信道也使得分布式视频编码系统的应用环境受到限制；另外，现有的有反馈码率控制方法只是在编码侧简单设定关键帧的量化因子和Wyner-Ziv帧的量化矩阵，无法在带宽受限信道下有效进行编码速率控制。因此，无反馈的速率控制方法被广泛研究，以克服有反馈速率控制方法的缺点。现有的无反馈速率控制方法都是自顶向下设计，一般包括GOP层码率控制、帧层码率控制，系数带级码率控制和比特面级码率控制。使用无反馈速率控制方法法虽然能在基本上不增加或少增加编码端复杂度的基础上，取消有反馈速率控制中需要的反馈信道，增强了DVC系统的实用性，但在传统的无反馈速率控制方法中，由于其顶层GOP的码率控制只是根据一些简单的准则，如相邻图像相关性，以固定比例分配GOP内关键帧和WZ帧码率，而没有考虑这个分配比例对解码恢复序列质量的影响，因而导致码率分配具有盲目性，最终解码质量也无法达到整体最优。

发明内容

本发明的目的在于克服上述无反馈速率控制方法中已有码率分配方法的缺点，提出一种基于Wyner-Ziv视频编码系统的GOP层编码方法，以充分考虑GOP内关键帧和WZ帧的码率分配比例对解码恢复视频序列的质量影响，根据用户需求确定GOP内码率分配比例，避免码率分配的盲目性，提高解码图像整体质量。

实现本发明目的技术思路是在编码端通过估计GOP内关键帧和WZ帧的码率分配比例对解码恢复视频序列的质量影响，运用率失真优化理论，计算得到每一个GOP内最佳的码率分配比列，从而使得解码图像整体质量达到最优。具体实现步骤包括如下：

(1)确定关键帧码率在图像组GOP码率中所占比例因子k的定义域：k∈[ε，1]及比例因子k的变化步长step，ε取值为[0.01，0.3]，step取值范围为[0.02，0.4]，k的初始值k′＝ε；

(2)根据当前GOP的总码率R_GOP和当前比例因子k，计算关键帧码率R_k和WZ帧码率R_wz；

R_k＝R_GOP·k

R_wz＝R_GOP-R_k

(3)根据关键帧码率R_k、WZ帧码率R_wz和率失真模型估计当前GOP内关键帧和WZ帧所需的量化因子Qp和量化矩阵Qm，并用量化因子Qp和量化矩阵Qm预编码当前GOP，得到当前GOP的相邻重构关键帧，对该相邻重构关键帧内插，得到边信息SI；

(4)根据相邻重构关键帧和边信息SI计算当前GOP内关键帧和边信息SI峰值信噪比PSNR的均值D₁(k)＝mean(PSNR_key，PSNR_SI)和方差D₂(k)＝var(PSNR_key，PSNR_SI)，得到编码端估计的整体失真D(k)＝αD₁(k)+βD₂(k)，其中，mean和var分别为求均值和求方差运算，PSNR_key和PSNR_SI分别代表关键帧和边信息的峰值信噪比，α为D₁(k)的权重因子，β为D₂(k)的权重因子，α和β取值范围均为[0，1]，且α+β＝1；

(5)判断比例因子k值是否超过定义域[ε，1]上界，如果是，则选择整体失真D(k)最小时对应的k作为最佳比例因子k^*，执行步骤(6)，否则，令k＝k+step，返回步骤(2)；

(6)根据量化因子Qp和量化矩阵Qm编码当前GOP，并判断当前GOP是否是最后一个，若是，则结束本次编码；否则执行步骤(7)；

(7)重复执行步骤(1)到步骤(6)，对剩余的GOP进行编码，直至所有的GOP编码完毕。

本发明与现有技术相比具有如下优点：

1)本发明由于在失真估计中灵活选取不同的权重因子α和β，进而计算得到不同的最佳分配比例因子k^*，使DVC系统的总体性能满足用户对DVC系统中WZ帧、关键帧以及总体图像质量的不同要求，从而灵活确定达到这种特定的总体失真的最佳分配比例，避免了速率分配的盲目性。

2)本发明由于在编码端进行失真预估，在不增加或少增加编码端复杂度的情况下取消了DVC系统中的反馈信道，有利于DVC的实际应用；

3)本发明由于利用率失真优化理论分别计算每个GOP内速率分配最佳比例，确保了DVC整体的率失真性能达到最优。

附图说明

图1是本发明基于率失真优化的GOP层编码方法流程图；

图2是本发明Hall Monitor序列的比例因子与失真关系图；

图3是本发明Foreman序列的比例因子与失真关系图；

图4是本发明的Hall Monitor序列性能仿真图；

图5是本发明的Foreman序列性能仿真图。

具体实施方式

参照图1，本发明GOP层编码的具体实施步骤如下：

步骤1，确定比例因子k的定义域、变化步长及初值。

经过大量的实验发现，比例因子关键帧码率R_k在GOP总码率R_GOP中所占比例

在DVC系统整体性能中起着关键作用，随着R_k在R_GOP中的比例增大，即随着比例因子k的提高，DVC整体峰值信噪比PSNR提高，同时以方差表示的解码序列质量波动增大，反之亦然，如图2和图3所示，其中图2(a)是Hall序列比例因子k和PSNR的关系，图2(b)Hall序列比例因子k和方差的关系；图3(a)是Foreman序列比例因子k和PSNR的关系，图3(b)Hall序列比例因子k和方差的关系。

本发明根据图2和图3，确定比例因子k的定义域为：k∈[ε，1]，k的变化步长为step，ε取值为[0.01，0.3]，step取值范围为[0.02，0.4]，k的初始值k′＝ε。

步骤2，计算关键帧码率R_k和WZ帧码率R_wz。

根据当前GOP的总码率R_GOP和当前比例因子k，利用下式计算关键帧码率R_k和WZ帧码率R_wz；

R_k＝R_GOP·k

R_wz＝R_GOP-R_k

步骤3，预编码当前GOP，并生成边信息SI。

根据关键帧码率R_k、WZ帧码率R_wz和率失真模型估计当前GOP内关键帧和WZ帧所需的量化因子Qp和量化矩阵Qm，并用量化因子Qp和量化矩阵Qm预编码当前GOP，得到当前GOP的相邻重构关键帧，对该相邻重构关键帧内插，得到边信息SI，具体步骤如下：

(3a)根据关键帧码率R_k，由率失真公式

计算得到量化因子Qp，

其中，m和n为率失真公式中两个不同的参量，取值范围为实数；

(3b)根据8个量化矩阵Qm和Wyner-Ziv视频编码方法，对WZ帧进行编码，得到8个预估计的WZ帧码率

其中i为量化矩阵的序号，取值为自然数1～8；

(3c)从(3b)中得到8个预估计的WZ帧码率

并从中选择与WZ帧码率R_wz差距最小的

所对应的量化矩阵Qm，作为当前WZ帧的量化矩阵；

(3d)根据步骤(3a)中计算得到的量化因子Qp，利用H.264/AVC INTRA编码方法第当前关键帧进行编码，得到重构关键帧；

(3e)根据量化矩阵Qm，利用Wyner-Ziv视频编码方法对当前WZ帧进行编码；

(3d)根据重构关键帧，利用均值内插算法或快速运动补偿内插算法，但不限于此类算法，计算得到边信息。

步骤4，在编码端进行失真估计。

根据相邻的重构关键帧和边信息SI，计算当前GOP内关键帧和边信息SI峰值信噪比PSNR的均值D₁(k)和方差D₂(k)，从而计算得到编码端估计的整体失真D(k)，如下式：

D₁(k)＝mean(PSNR_key，PSNR_SI)

D₂(k)＝var(PSNR_key，PSNR_SI)

D(k)＝αD₁(k)+βD₂(k)

其中，mean和var分别为求均值和求方差运算，PSNR_key和PSNR_SI分别代表关键帧和边信息的峰值信噪比，α为D₁(k)的权重因子，β为D₂(k)的权重因子，α和β取值范围均为[0，1]，且α+β＝1。

步骤5，判断当前比例因子k值是否越界。

判断比例因子k值是否超过定义域[ε，1]的上界，如果是，则选择整体失真D(k)最小时对应的k作为最佳比例因子k^*，执行步骤(6)；否则，令k＝k+step，返回步骤(2)；

步骤(6)，编码图像组GOP。

(6a)用比例因子k中的最佳比例因子k^*，计算关键帧码率R_k和WZ帧码率R_wz；

R_k＝R_GOP·k^*

R_wz＝R_GOP-R_k

其中，R_GOP为当前GOP的总码率；

(6b)根据关键帧码率R_k，利用H.264/AVC INTRA编码方法，对当前关键帧进行编码；

(6c)根据WZ帧码率R_wz，利用Wyner-Ziv视频编码方法，对当前WZ帧进行编码。

(6d)判断当前GOP是否是最后一个，若是，则结束本次编码；否则执行步骤(7)；

步骤7，重复执行步骤(1)到步骤(6)，对剩余的GOP进行编码，直至所有的GOP编码完毕。

本发明的效果通过以下实验进一步说明：

1)实验条件

硬件环境：CPU INTEL Pentium(R)，3.00GHZ，1.00GB内存；

软件环境：Windows XP(SP2)，Microsoft Visual Studio.NET 2003；

GOP结构：关键帧，WZ帧，关键帧，WZ帧，......；

参考序列：Hall Monitor(测试帧数150帧，帧率15Hz)，Foreman(测试帧数300帧，帧率15Hz)；

图像大小：QCIF(176*144)；

2)实验内容

本实验给出了在两种失真度量D₁(α＝0.2，β＝0.8)和D₂(α＝0.8，β＝0.2)下，采用本发明提出的基于率失真优化理论的GOP层编码方法得到的实验结果，如图4和图5。

在图4中，Hall Monitor图像在D₁失真下图像平均质量为38.6dB，而此时的图像质量波动高达7dB；在D₂失真下，图像质量波动仅2dB左右，平均质量相应为35.8dB。图5在D₁和D₂失真亦是如此。据此可以得出结论：采用本发明提供的率失真优化方法，可以根据用户对解码WZ帧、关键帧和总体图像质量的不同要求进行优化码率分配，得到符合要求的解码视频质量。

Claims (4)

1.一种基于Wyner-Ziv视频编码系统的GOP层编码方法，包括如下步骤：

(1)确定关键帧码率在图像组GOP码率中所占比例因子k的定义域：k∈[ε，1]及比例因子k的变化步长step，ε取值为[0.01，0.3]，step取值范围为[0.02，0.4]，k的初始值k′＝ε；

(2)根据当前GOP的总码率R_GOP和当前比例因子k，计算关键帧码率R_k和WZ帧码率R_wz；

R_k＝R_GOP·k

R_wz＝R_GOP-R_k

(3)根据关键帧码率R_k、WZ帧码率R_wz和率失真模型估计当前GOP内关键帧和WZ帧所需的量化因子Qp和量化矩阵Qm，并用量化因子Qp和量化矩阵Qm预编码当前GOP，得到当前GOP的相邻重构关键帧，对该相邻重构关键帧内插，得到边信息SI；

(4)根据相邻重构关键帧和边信息SI计算当前GOP内关键帧和边信息SI峰值信噪比PSNR的均值D₁(k)＝mean(PSNR_key，PSNR_SI)和方差D₂(k)＝var(PSNR_key，PSNR_SI)，得到编码端估计的整体失真D(k)＝αD₁(k)+βD₂(k)，其中，mean和var分别为求均值和求方差运算，PSNR_key和PSNR_SI分别代表关键帧和边信息的峰值信噪比，α为D₁(k)的权重因子，β为D₂(k)的权重因子，α和β取值范围均为[0，1]，且α+β＝1；

(5)判断比例因子k值是否超过定义域[ε，1]上界，如果是，则选择整体失真D(k)最小时对应的k作为最佳比例因子k^*，执行步骤(6)，否则，令k＝k+step，返回步骤(2)；

(6)根据量化因子Qp和量化矩阵Qm编码当前GOP，并判断当前GOP是否是最后一个，若是，则结束本次编码；否则执行步骤(7)；

(7)重复执行步骤(1)到步骤(6)，对剩余的GOP进行编码，直至所有的GOP编码完毕。

2.根据权利要求1所述的GOP层编码方法，其中步骤(3)所述的根据关键帧码率R_k、WZ帧码率R_wz和率失真模型，估计当前GOP内关键帧和WZ帧所需的量化因子Qp和量化矩阵Qm，按如下步骤进行：

(2a)根据关键帧码率R_k，由公式计算得到量化因子Qp，其中，m和n为率失真模型中两个不同的参量，取值范围为实数；

(2b)根据8个量化矩阵Qm和Wyner-Ziv视频编码方法编码WZ帧，得到8个预估计的WZ帧码率

其中i为量化矩阵的序号，取值为自然数1～8；选择与WZ帧码率R_wz差距最小的预估计的WZ帧码率

所对应的量化矩阵，作为当前WZ帧的量化矩阵；

(2c)根据步骤(2a)中计算得到的量化因子Qp，利用H.264/AVC INTRA编码方法编码当前关键帧；根据步骤(2b)中计算得到的量化矩阵Qm，利用Wyner-Ziv视频编码方法编码当前WZ帧。

3.根据权利要求1所述的GOP层编码方法，其中步骤(3)所述的对相邻重构关键帧内插，是指用均值内插算法或快速运动补偿内插算法对相邻的两帧重构关键帧进行求均值或对相邻的两帧重构关键帧进行前后向低复杂度的运动搜索得到边信息。

4.根据权利要求1所述的GOP层编码方法，其中步骤(6)所述根据量化因子Qp和量化矩阵Qm编码当前GOP，按如下步骤进行：

(4a)用比例因子k中的最佳比例因子k^*，计算关键帧码率R_k和WZ帧码率R_wz；

R_k＝R_GOP·k^*

R_wz＝R_GOP-R_k

其中，R_GOP为当前GOP的总码率。

(4b)根据关键帧码率R_k，利用H.264/AVC INTRA编码方法，对当前关键帧进行编码；

(4c)根据WZ帧码率R_k，利用Wyner-Ziv视频编码方法，对当前WZ帧进行编码。

Images