CN101888561A - 一种率失真优化动态调整的多视点视频传输差错控制方法 - Google Patents

Abstract

本发明公开了一种率失真优化动态调整的多视点视频传输差错控制方法，在关键帧进行视点预测的KS_IPP编码框架中，对关键帧和非关键帧的端到端失真采用不同的估计方法进行估计：对关键帧采用信道仿真与快速估计相结合的失真度方法进行估计；对非关键帧采用常规的基于递推的失真度估计方法。并将估计到的端到端失真和率失真优化技术相结合，通过端到端失真的动态变化和拉格朗日乘子的动态调整来实现率失真优化的动态调整。采用本发明方法，能有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

Description

一种率失真优化动态调整的多视点视频传输差错控制方法

所属技术领域

本发明属于视频编码和处理领域，具体涉及多视点视频压缩编码过程中差错控制算法的研究。

背景技术

传统单视点视频是由单个摄像机拍摄某一场景得到的视频信号，摄像机的拍摄角度在某一时刻是固定不变的。当前各种单视点编码技术的进步虽然提高了视频图像的质量和编码效率，但仍然没有在根本上改变场景的平面描述形式。而多视点视频则是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号，与单视点视频相比，多视点视频能够获取场景的三维信息，从而更加生动地再现立体场景。可以预见，多视点视频将在影视、医疗、远程控制、虚拟现实等方面拥有广阔的应用前景。目前，多视点视频编码(Multiview Video Coding，MVC)已成为数字视频技术中一个活跃的研究领域。

目前，在MVC的编码方案研究方面已经取得了大量成果，产生了多种编码结构。其中，德国Heinrich-Hertz-Institut(HHI)提出一种在视点内和视点间方向上都引入H.264/AVC支持的分级B帧(Hierarchical B pictures)的MVC结构。由于这种结构能取得较高的编码效率，所以该结构也被MPEG选为一种MVC的主要参考结构，成为目前MVC的主流结构，获得广泛关注。其编码框架图如图1所示。

在图1中，水平方向的T₀-T₁₆为时域顺序，垂直方向的V₀-V₇为视点顺序，视点V₀也称为基本视点。处于T₀，T₈，T₁₆等时刻的帧称为关键帧(Key Picture)，其余帧称为非关键帧(Nonkey Picture)。关键帧和其后紧随的7个非关键帧构成一个图像组(Group Of Picture，GOP)。GOP的大小是可变的，可以在编码过程中根据需要进行调整。

图1的编码结构在关键帧处采用视点间预测来减少视点间的冗余，在非关键帧处采用视点间预测和时域预测来减少时域冗余和视点间冗余。这种结构充分地去掉了视点间冗余和时/空冗余，具有较高的编码效率，但编码预测关系复杂，参考帧数目也比较多，抵御传输差错能力十分脆弱。因此，在实际编码过程中，不但需要较多的缓存用于存储参考帧，而且编码的复杂度也随参考帧数目的增加而增加。为了减低编码复杂度和编码缓存的需求量，以图1结构为基础，HHI提出了一种简化的MVC预测结构KS_IPP，如图2所示。KS_IPP预测结构仅在各个视点的关键帧位置保留了视点间预测，可以在编码效率下降不大的情况下大大降低整个结构的复杂性，具有很强的实用性。虽然KS_IPP编码结构在编码效率和编码复杂度之间取的了平衡，但是这种结构依然降低了多视点视频流的传输鲁棒性，在有损的传输环境中，绝大多数非关键帧传输出错，差错都会扩散到该帧所在GOP的其它一些帧当中。更严重的是，一旦关键帧出现传输差错，差错不仅会在本视点的GOP中扩散，而且还会扩散到其后的视点中，而从影响整个多视点图像质量。

检索了与本发明相关的专利文献：

其中文献6为文献1的同族专利。

文献1(同文献6)主要解决丢包环境下编码模式选择问题，该方法通过编码端获取当前与解码端间信道的丢包系数；编码端根据丢包系数以及率失真最优方法，获取各可用编码模式对应的拉格朗日代价；编码端选择具有最小的拉格朗日代价的编码模式，作为最优的编码模式。该专利充分应用了率失真优化算法，将丢包系数和率失真优化结合应用，选择编码模式。但是该专利没有考虑丢包引起的端到端失真，也未考虑到多视点编码的结构特点，应用在多视点编码上不能取得很好的差错控制效果。

文献2提出了一种码流控制方法。该方法首先在预期的失真值附近选择失真值D。接下来，该系统利用选定的失真值D确定量化器值Q。该系统然后利用量化器值Q计算拉格朗日乘子lambda。利用选定的拉格朗日乘子lambda和量化器值Q，该系统开始对象素模块进行编码。如果系统检测到潜在的缓存区溢出，则该系统将增加拉格朗日乘子lambda。如果拉格朗日乘子lambda超过最大的lambda阈值，则系统将增加量化器值Q。如果系统检测到潜在的缓存区下溢，则系统将减小拉格朗日乘子lambda。如果拉格朗日乘子lambda降到最小的lambda阈值以下，则系统将减小量化器值Q。该方法利用拉格朗日乘子法来进行码流控制，无法用于多视点视频在有网络传输丢包环境下的差错控制。

文献3是在传统的量化之后对所选的系数进行修正，例如将这些系数表示为零，可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说，拉格朗日值D+λR(D是失真，R是比特速率)是最小值。其中的λ值是根据被编码的图像的统计分析计算出的。这种统计分析包括以系数的幅度分布为基础的对RD曲线的估计。所寻找到的λ值是该曲线在所希望的比特速率处的导数。该方法是一种只在编码端进行优化编码的方法，在没有网络传输的时候能获得较好的编码性能，但由于失真不包含丢包引起的传输失真和解码端进行差错掩盖时的掩盖失真，因此不适合于有传输差错发生的环境。

文献4针对可伸缩视频编码，提出了一种增强层图片执行宏块模式选择的机制。该机制包括：用于每个宏块的失真估计器，其作用于信道差错，其中信道差错诸如受差错传播影响的视频分段中的分组丢失或差错；拉格朗日乘子选择器，用于根据估计的或传送的信道误码率来选择加权因子，以及模式判决模块或算法，用于基于编码参数来选择最佳模式。模式判决模块配置为基于估计的编码失真与估计的编码率乘以加权因子的和来选择编码模式。该方法将率失真优化方法运用于可伸缩视频编码中，方法中用到的失真是编码失真，码率为编码比特率乘以加权因子，方法的拉格朗日乘子选择没有考虑端到端失真。

文献5提供了一种视频编码器，该视频编码器自适应地进行编码模式选择。可以以多个用于编码视频序列的当前宏块的编码模式进行操作。该视频序列意图优选通过例如任何电路交换或分组交换通信网络的通信网络被传输。失真估计器用于估计由于当前宏块的潜在错误传输而引起的预期失真值。决策模块被安排用于基于失真值和编码参数从多个编码模式中选择最终编码模式。进一步，提供了表，该表通过宏块的空间位置而被引用，并且使用累积失真值来更新。视频编码器被安排用于将最终编码模式应用于编码当前宏块。该方法将率失真优化用于编码和传输过程中，但对拉格朗日乘子不做调整，也没有采用不对等保护措施，不适用于多视点视频编码。

发明内容

鉴于现有技术的以上缺点，本发明的目的在于提出一种多视点视频传输差错控制方法，使之能有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

本发明的目的是通过如下的手段实现的。

一种率失真优化动态调整的多视点视频传输差错控制方法，在关键帧进行视点预测的KS_IPP编码框架中，对关键帧和非关键帧的端到端失真采用不同的估计方法进行估计：对关键帧采用信道仿真与快速估计相结合的失真度方法进行估计；对非关键帧采用常规的基于递推的失真度估计方法，并将估计到的端到端失真和率失真优化技术相结合；

所述对关键帧采用信道仿真与快速估计相结合的失真度方法进行估计包含如下步骤：

1)估计最经常出现的丢包率p^*下的端到端失真。

2)根据丢包率与端到端失真的二次曲线经验关系估计其余可能出现的丢包率p下的端到端失真。

然后将估计到的端到端失真和率失真优化技术相结合，在编码端进行编码模式选择，从而控制差错的扩散。

采用本发明方法，能有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

附图说明

图1HHI提出的分级B帧MVC编码预测结构示意图。

图2简化的KS_IPP预测结构示意图，也是本发明采用的一种最常用的MVC编码结构示意图。

图3视频传输丢包模板示意图。

图4丢包率和端到端失真之间的关系示意图。

图5本发明编码模式选择流程图。

图6本发明实施例20％丢包率的一种丢包模板。

具体实施方式

图2是本发明采用的MVC编码结构，实际上是一种简化的KS_IPP预测结构。这种编码结构在编码效率和编码复杂度之间取的了平衡，具有很强的实用性。除了各视点的关键帧采用了视点间预测外，其余帧均在视点内采用分级B帧的预测结构。这种结构也有利于采用差错控制方法来阻止差错在视点间的扩散。

图3是本发明采用的信道仿真模板。模板中的每个元素

对应一个slice出错情况，m表示信道编号，n为帧编号，k为slice编号。模板共N行N²列，N行分别对应N个信道仿真器，在列方向上由N²个slice组成，其含义是每行排列N帧、每帧均分成N个slice，共N²个slice。

是通过随机函数生成的0或1，分别表示该slice在对应信道丢失或正确接收。

图4是本发明根据实验经验确定的一种丢包率和端到端失真之间的关系。图4中，实际失真D(n，l)为菱形格所示区域，D^*(n，l)为丢包率为p^*的端到端失真，Q(n，l)为量化失真，在图中用小正方形所在区域表示。当丢包率为0时，端到端失真就是编码的量化失真。D′(n，l)是通过线性预测得到的端到端失真，ΔD(n，l)是线性预测的失真与实际经验得到的失真之间的变化量，为图中用灰色标记的区域，丢包率增量Δp为p^*与p之差。

本发明的实施方法具体方法如下：

帧内编码帧，记为I帧；预测编码帧，记为P帧；双向预测编码帧，记为B帧，可能出现的视频传输丢包率记为p，最经常出现的丢包率记为p^*。

1.端到端失真估计

端到端失真度估计为了兼顾到估计精度和估计复杂度，结合KS_IPP结构特点，对关键帧和非关键帧采用不同的估计方法进行估计。

1.1关键帧的端到端失真度估计

本发明对关键帧的端到端失真度采用信道仿真与快速估计相结合的失真度方法进行估计。首先估计最经常出现丢包率p^*下的端到端失真，然后根据丢包率与端到端失真的二次曲线经验关系，估算出其余可能丢包率下的端到端失真。具体过程如下：

1)估计最经常出现的丢包率p^*下的端到端失真

本发明根据传输过程中最有可能经常出现的丢包率p^*的情况，在编码器端采用N个

信道仿真器仿真视频数据包在易错信道中的传输情况。数据包在信道中的传输情况由图3所示模板决定。图3中，模板中的每个元素

对应一个slice出错情况，m表示信道编号，n为帧编号，k为slice编号。模板共N行N²列，N行分别对应N个信道仿真器，在列方向上由N²个slice组成，其含义是每行排列N帧、每帧均分成N个slice，共N²个slice。

是通过随机函数生成的0或1，分别表示该slice在对应信道丢失或正确接收。

编码器根据各数据包的仿真情况，计算出各个信道的端到端误差；再根据信道误差计算出该信道的端到端失真，取所有仿真信道的端到端失真均值作为最经常出现丢包率p^*下的端到端失真；最后得到一个宏块在丢包率p^*下的端到端失真。具体计算方法如下：

(a)第n帧第l个宏块的像素i在信道m的端到端误差E(m，n，l，i)计算方法

式(1)中，

表示第n帧宏块l的第i个像素的原始值，

为该像素在编码器的重建值，

为该像素的参考像素j在编码器的重建值，

为该像素的参考像素j在解码器的重建值。当像素i数据在传输过程中出错时，在解码端通过某种掩盖算法用第x帧第y个像素进行掩盖，在式(1)中用

表示此掩盖值。

在计算信道端到端误差E(m，n，l，i)时，根据信道仿真结果，先判断像素是否正确接收，如果丢失，则用式(1)等号右边第三项计算端到端误差，如果正确接收，再判断接收到的像素是采用帧内还是帧间方式编码，如果是帧内方式，则用式(1)右边第一项计算端到端误差，如果是帧间方式，则用式(1)右边第二项计算端到端误差。

(b)信道端到端失真计算方法

根据信道误差，可以计算出第n帧宏块l的像素i在信道m中的端到端失真d(m，n，l，i)为

d(m，n，l，i)＝[E(m，n，l，i)]²                (2)

取N个信道的平均失真，作为第n帧宏块l的像素i的端到端失真d(n，l，i)，即：

$d(n,l,i)=\frac{1}{N}\underset{m=1}{\overset{N}{\mathrm{\Σ}}}d(m,n,l,i)---\left(3\right)$

因此，当丢包率为p^*，采用N个信道仿真解码时，第n帧宏块l的端到端失真D^*(n，l)为：

$D^{*}(n,l)=\underset{i\∈\mathrm{MB}1}{\mathrm{\Σ}}d(n,l,i)---\left(4\right)$

2)估计其余可能出现的丢包率p下的端到端失真

当前丢包率如果是最常出现的p^*，可以用上述公式(1)-(4)计算得到，如果是其他的丢包率，则首先需要确定丢包率和实际端到端失真之间的关系，然后利用此关系来计算其它丢包率下的端到端失真。实验表明，丢包率和实际端到端失真之间并不是线性关系。根据实验，实际端到端失真与线性关系的失真关系如图4所示，图4中，实际失真D(n，l)为菱形格所示区域，D^*(n，l)为丢包率为p^*的端到端失真，Q(n，l)为量化失真，在图中用小正方形所在区域表示。当丢包率为0时，端到端失真就是编码的量化失真。D′(n，l)是通过线性预测得到的端到端失真，ΔD(n，l)是线性预测的失真与实际经验得到的失真之间的变化量，为图中用灰色标记的区域，丢包率增量Δp为p^*与p之差。根据统计实验结果，得到丢包率增量和端到端失真增量之间呈近似二次关系，据此可以计算出第n帧宏块l在其余丢包率p下的端到端失真D(n，l)为：

$D(n,l)=D^{\′}(n,l)\mathrm{m\ΔD}(n,l)$

$\≈\frac{D^{*}(n,l)-Q(n,l)}{p^{*}}\×\mathrm{pm}\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{a}_i\×{\left(\mathrm{\Δp}\right)}^i---\left(5\right)$

$=\frac{D^{*}(n,l)-Q(n,l)}{p^{*}}\×\mathrm{pm}\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{a}_i\×{(p-p^{*})}^i$

式(5)中，当p^*大于p时，“m”取“-”，否则取“+”。

1.2非关键帧的端到端失真度估计

非关键帧的端到端失真度采用基于递推的失真度估计方法估计。这种方法通过在编码端跟踪端到端失真的扩散情况来估计端到端失真。估计方法可以采用基于像素递归、宏块加权估计等各种已有方法，具体可参考文献Yuan Z，Wen G，YanL，et al.Joint source-channel rate-distortion optimization for H.264 video coding overerror-prone networks[J].IEEE Transactions on Multimedia.2007，9(3)：445-454.

2编码模式选择

宏块编码模式根据率失真优化技术来选择。本发明采用的率失真优化技术如式(6)所示：

J(M，λ)＝D(M)+λ×R(M)            (6)

式(6)中，D(M)和R(M)分别为宏块采用模式M编码时的端到端失真和编码比特率，λ是拉格朗日乘子。本发明中，在非关键帧，拉格朗日乘子不变，与现有的标准推荐的拉格朗日乘子相同，记为λ₁，其计算公式为；

${\mathrm{\λ}}_1=0.85\×2^{\frac{\mathrm{QP}-12}{3}}---\left(7\right)$

式(7)中，QP为量化参数。在关键帧的拉格朗日乘子则根据估计的失真自适应地改变，记为λ₂，失真越大，编码采用的拉格朗日乘子λ₂就越小。

λ₂的一般形式如式(8)所示：

${\mathrm{\λ}}_2=0.85\×2^{\frac{\mathrm{\θ}\×\mathrm{QP}-12}{3}}---\left(8\right)$

式(8)中，θ为动态调整因子，由当前宏块的估计失真和周围相邻宏块的失真情况决定。一种经验性的θ选择方法为：

$\mathrm{\θ}=\frac{\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}D(n,l_i)}{D(n,l)}---\left(9\right)$

式(9)中，D(n，l₁)，D(n，l₂)和D(n，l₃)分别表示宏块l左方，上方，右上方已编码宏块的端到端失真，如果某个相邻宏块不存在，则其端到端失真默认为前一帧所有宏块端到端失真均值。

综上所述，各宏块的编码模式选择按照下述步骤进行：

1)根据视频编码结构(例如KS_IPP编码结构)确定编码宏块所在帧是关键帧还是非关键帧。

2)如果是关键帧，则在编码端，首先利用前述1.1节所述信道仿真与快速估计想结合的失真度方法估计出该宏块的端到端失真，然后将此端到端失真和λ₂用于编码模式选择的率失真优化技术中，根据公式(6)计算出每种编码模式的率失真代价J(M，λ₂)，选择J(M，λ₂)最小的模式作为最佳编码模式。

3)如果是非关键帧，则在编码端，首先前述1.2利用基于递推的失真度估计方法估计出该宏块的端到端失真，然后将此端到端失真和λ₁用于编码模式选择的率失真优化技术中，根据公式(6)计算出每种编码模式的率失真代价J(M，λ₁)，选择J(M，λ₁)最小的模式作为最佳编码模式。

上述步骤的流程图如图5所示，图中的J是当前编码模式的率失真代价，J_min是已经编码过的模式中率失真代价的最小值。

实施例

下面结合一个具体的实施方式对本发明作进一步的详细说明。为便于说明，且不失一般性，做如下假定：

假定编码图像分辨率为640*480，则宏块数量为40*30个，按行顺序依次编号1-1200；

假定本实施例采用的编码框架为图2所示框架，且编码帧为视点1的第2个关键帧(即图2中视点V₁在T₈时刻的帧)，其参考帧为视点0的第2个关键帧(即图2中视点V₀在T₈时刻的帧)。

假定信道最经常出现的丢包率为20％，当前丢包率为10％。

假定掩盖方法为同时刻视点间图像同区域替代，即：某个区域数据丢失后，采用前一视点同一时刻关键帧的同一区域进行掩盖。例如，假设视点V₁在T₈时刻的关键帧的第一个宏块丢失，则用视点V₀在T₈时刻的关键帧的第一个宏块进行掩盖。

根据上述假定，本实施例说明了如何根据最经常出现的丢包率为20％时的情况，进行10％丢包率情况下的关键帧及非关键帧的差错控制方法。

如果当前编码宏块所在帧为关键帧，则首先利用信道仿真的快速方法估计出编码宏块l的端到端失真。具体方法如下：

在上述假定条件下，采用的一种丢包模板如图6所示：图中所示的丢包模板模拟了5个信道的丢包情况。共可以表示5帧的丢包情况，此模板可以循环，供更多编码帧使用。

本实施例以图6所示的第2帧在信道3中的仿真情况来具体说明本发明失真的计算方法。此时，模板第2帧的“11101”表示的是序列的视点V₁在T₈时刻的帧(即图2视点V₁的第2个关键帧，以下简称“第8帧”)在信道3中的仿真情况，第4个数字为“0”，表示这帧的第4个数据包在仿真过程中丢失；其余数字是“1”，表示其余数据包均正确接收。从宏块角度来说，就是编号为721-960的宏块在仿真信道3中丢失，编号为1-720及961-1200的宏块均正确接收。由于所有正确接收宏块端到端失真计算方法相同，所以以第8帧第1个宏块为例，说明正确接收宏块端到端失真计算方法，即D^*(8，1)计算方法；所有丢失宏块的计算方法也相同，以第8帧第721个宏块为例说明，即D^*(8，721)计算方法。以下分别进行详细说明。

1、D^*(8，1)的计算(正确宏块计算方法)

1.1第8帧第1个宏块像素i在信道3中的端到端误差E(3，8，1，i)计算

因为此宏块正确接收，当此宏块采用帧内方式编码时，根据式(1)可得：

$E(\mathrm{3,8,1},i)=f_8^i-{\hat{f}}_8^i---\left(10\right)$

当采用帧间方式编码时，根据(1)可得：

$E(\mathrm{3,8,1},i)=f_8^i-{\hat{f}}_8^i+{\hat{f}}_r^j-{\hat{f}}_r^{\′j}---\left(11\right)$

式(11)中的参考帧r为视点V₀在T₈时刻的帧。

1.2第8帧第1个宏块像素i在信道3中的端到端失真d(3，8，1，i)计算

根据式(10)和(11)结果，可得

d(3，8，1，i)＝[E(3，8，1，i)]²          (12)

1.3第8帧第1个宏块像素i端到端失真d(8，1，i)计算

根据式(12)，分别计算出第8帧第1个宏块像素i在5个信道的端到端失真d(m，8，1，i)，m＝1，2，3，4，5，据此，d(8，1，i)可计算如下：

$d(\mathrm{8,1},i)=\frac{1}{5}\underset{m=1}{\overset{5}{\mathrm{\Σ}}}d(m,\mathrm{8,1},i)---\left(13\right)$

1.4第8帧第1个宏块端到端失真D^*(8，1)计算

根据式(13)可得

$D^{*}\left(\mathrm{8,1}\right)=\underset{i\∈\mathrm{MB}1}{\mathrm{\Σ}}d(\mathrm{8,1},i)---\left(14\right)$

2、D^*(8，721)的计算(出错宏块计算方法)

2.1第8帧第721个宏块像素i在信道3中的端到端误差E(3，8，721，i)计算因为此宏块丢失，根据式(1)可得：

$E(\mathrm{3,8,721},i)=f_8^i-f_x^{\%y}---\left(15\right)$

式(15)中，

为视点V₀在T₈时刻帧的第i个像素在仿真信道的重建值。

2.2第8帧第721个宏块像素i在信道3中的端到端失真d(3，8，721，i)计算根据式(15)结果，可得

d(3，8，721，i)＝[E(3，8，721，i)]²            (16)

2.3第8帧第721个宏块像素i端到端失真d(8，721，i)计算

$d(\mathrm{8,721},i)=\frac{1}{5}\underset{m=1}{\overset{5}{\mathrm{\Σ}}}d(m,\mathrm{8,721},i)---\left(17\right)$

2.4第8帧第721个宏块端到端失真D^*(8，1)计算

根据式(17)可得

$D^{*}\left(\mathrm{8,721}\right)=\underset{i\∈\mathrm{MB}1}{\mathrm{\Σ}}d(\mathrm{8,721},i)---\left(18\right)$

利用上述方法计算出20％丢包率下第n帧宏块l的端到端失真D^*(n，l)，从编码过程中获得宏块l的量化失真Q(n，l)，再根据图4所示关系和式(5)，令p等于10％，可得宏块l在丢包率为10％时的端到端失真D(n，l)。

$D(n,l)=D^{\′}(n,l)-\mathrm{\ΔD}(n,l)$

$\≈\frac{D^{*}(n,l)-Q(n,l)}{20\%}\×10\%-\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{a}_i\×{\left(\mathrm{\Δp}\right)}^i---\left(19\right)$

$=\frac{D^{*}(n,l)-Q(n,l)}{20\%}\×10\%-\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{a}_i\×{(20\%-10\%)}^i$

假定宏块的当前编码模式为M，将式(19)计算出的端到端失真D(n，l)，以及编码比特率R(n，l)，式(8)所示的关键帧使用的拉格朗日乘子λ₂分别代入式(6)可得模式为M的率失真代价J(M，λ₂)为：

J(M，λ₂)＝D(n，l)+λ₂×R(n，l)            (20)

待所有模式的率失真代价J(M，λ₂)计算完毕后，选择率失真代价最小的模式为该宏块的最佳编码模式。

如果当前编码宏块所在帧为非关键帧，则首先利用基于递推的方法估计出编码宏块l的端到端失真D(n，l)，具体方法可参考文献Yuan Z，Wen G，Yan L，et al.Joint source-channel rate-distortion optimization for H.264 video coding overerror-prone networks[J].IEEE Transactions on Multimedia.2007，9(3)：445-454.中的方法。再将端到端失真D(n，l)，编码比特率R(n，l)，式(7)所示的非关键帧使用的拉格朗日乘子λ₁分别代入式(6)中，计算出率失真代价J(M，λ₁)。待所有模式的率失真代价J(M，λ₁)计算完毕后，选择率失真代价最小的模式为宏块l的最佳编码模式。

本发明提出的多视点传输差错控制方法，不局限于KS_IPP编码结构，可扩展到类似于KS_IPP的结构，适用于存在关键帧和非关键帧编码、且在各关键帧进行视点间预测的多视点编码结构；它可以充分利用了KS_IPP及类似结构特点，在帧级保护上，对会引起视点间差错扩散的关键帧采用更为合理的拉格朗日乘子从而取得更重要的保护，而对非关键帧则采用普通的保护措施；在宏块级保护上，根据端到端失真估计情况，对失真大的宏块通过率失真优化技术选择帧内方式进行编码，控制失真的扩散。本发明在不过多降低编码效率的情况下，能有效减少传输差错在视点间和视点内部的差错扩散。从而提供一种传输鲁棒性强的多视点视频流。

Claims (2)

1.一种率失真优化动态调整的多视点视频传输差错控制方法，在关键帧进行视点预测的KS_IPP编码框架中，对关键帧和非关键帧的端到端失真采用不同的估计方法进行估计：对关键帧采用信道仿真与快速估计相结合的方法进行失真度估计；对非关键帧采用常规的基于递推的失真度估计方法，并将估计到的端到端失真和率失真优化技术相结合；

所述对关键帧采用信道仿真与快速估计相结合的方法进行失真度估计包含如下步骤：

1)估计最经常出现的丢包率p^*下的端到端失真；

2)根据丢包率与端到端失真的二次曲线经验关系估计其余可能出现的丢包率p下的端到端失真；

将估计到的端到端失真和率失真优化技术相结合，在编码端进行编码模式选择，从而控制差错的扩散。

2.根据权利要求1所述之率失真优化动态调整的多视点视频传输差错控制方法，其特征在于，所述率失真优化技术处理时，对关键帧编码的各宏块使用动态的拉格朗日乘子，此拉格朗日乘子根据估计到的端到端失真动态地调整大小；失真越大的宏块，采用越小的拉格朗日乘子进行率失真优化；通过端到端失真的动态变化和拉格朗日乘子的动态调整来实现率失真优化的动态调整。

Images