CN101355707B - 一种立体视频分层编码差错控制方法 - Google Patents

Abstract

一种立体视频分层编码差错控制方法，用于立体视频分层编码框架，对于立体视频流传输过程中的四种不同情况：基本层不出错增强层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出错增强层有较低误码率、以及基本层可能出错增强层有较高误码率，在立体视频分层编码过程中采用不同的差错控制策略，以增强立体视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散，从而有效提高立体视频流的传输质量。

Description

一种立体视频分层编码差错控制方法

技术领域

本发明属于视频编码和处理领域，具体涉及立体视频编码过程中的质量可伸缩性编码及差错控制算法的研究。

背景技术

立体视频是当前视频领域的一个研究热点和新的发展方向，具有广阔的应用前景。然而，由于立体视频图像隐含了场景的深度信息，这一优点的直接代价就是带来视频数据的急剧增加，对网络带宽以及在不同网络环境下的适应能力都将会有更高的要求。研究表明，分层编码对于单视点视频在网络带宽变化的环境下表现优异。因此研究立体视频的分层编码理论和技术，使其可在不同网络带宽环境下进行可靠传输是提高立体视频网络适应性的有效途径。

然而，目前的视频压缩编码方案均采用预测技术来消除帧间冗余，这种机制对信道差错极其敏感，传输环境的不佳，往往会造成误码，尤其是在无线、IP信道等不可靠环境，即使是单个误码也可能在一幅图像内产生大片错误，并且会扩散到后续帧。虽然针对上述问题的差错恢复视频编码(Error Resilient Video Coding)技术近年来取得很多优异的成果。然而，现有的这些差错控制算法基本上都是针对单视点视频编码系统设计的，不适宜直接用于立体视频编码系统。相对于目前比较完善的单视点差错控制技术而言，立体视频的差错控制技术还很不成熟。并且，由于立体视频的特殊性，在不可靠通信环境传输过程中一个视点视频图像的损伤，不仅会影响本视点后续图像帧的质量，而且还会扩散到另一个视点图像及其后续帧，从而严重影响立体视频质量。鉴于此，对立体视频差错控制技术进行研究，提高其在有损信道传输环境中的抗差错能力以及出错后的恢复能力是非常有必要的。

鉴于现有技术的以上缺点，本发明的目的是研究一种具有良好的网络适应性和码流动态截断能力的分层编码框架，以及适用于此编码框架的差错控制方法，采用不同的关键参考帧选择策略，以增强立体视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散，从而提高立体视频流的传输质量。

发明内容

一种立体视频分层编码差错控制方法，用于立体视频分层编码框架，对于立体视频流传输过程中的四种不同情况：基本层不出错增强层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出错增强层有较低误码率、以及基本层可能出错增强层有较高误码率，在立体视频分层编码过程中采用不同的差错控制策略，其特征在于：

在基本层不出错传输时：

基本层使用标准的编码方式编码。增强层编码时，首先根据关键参考帧选择策略对使用关键参考帧的增强层待编码帧进行关键参考帧设置。其中，

(1)在增强层误码率较低情况下，仅在第一增强层中使用关键参考帧。待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码。待编码帧若为非关键参考帧，使用立体视频分层编码方式编码。

(2)在增强层误码率较高情况下，各个增强层中均使用关键参考帧。待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码；否则，使用立体视频分层编码方式编码。

在基本层可能出错传输时：

基本层编码时，首先根据关键参考帧选择策略对基本层待编码帧进行关键参考帧设置；待编码帧若为关键参考帧，使用帧间预测关键参考帧编码方式编码；否则，使用标准的编码方式编码。增强层编码时，若同一时刻的基本层为关键参考帧，则将使用关键参考帧的增强层待编码帧设置为关键参考帧。其中，

(1)在增强层误码率较低情况下，仅在第一增强层中使用关键参考帧。待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码。待编码帧若为非关键参考帧，使用立体视频分层编码方式编码。

(2)在增强层误码率较高情况下，各个增强层中均使用关键参考帧。待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码；否则，使用立体视频分层编码方式编码。

采用如上的不同差错控制策略，增强了立体视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散，从而提高立体视频流的传输质量。

附图说明

图1左视点无差错右视点有较低误码率的差错控制方法原理图

图2左视点无差错右视点有较高误码率的差错控制方法原理图

图3左视点出错右视点有较低误码率的差错控制方法原理图

图4左视点出错右视点有较高误码率的差错控制方法原理图

具体实施方式

下面结合附图对本发明的具体技术内容作进一步的详述。

立体视频分层编码框架中，立体视频分层编码框架，基本层为立体视频左视点视频，采用标准的编码方式；增强层为立体视频右视点视频，采用质量可伸缩性编码方式，增强层可以有若干层；立体视频流可以根据传输需要，自适应的截取增强层码流，使其适用于各种网络传输环境。

本发明提出了一种适用于立体视频分层框架的差错控制方法，分别适用于以下四种不同的传输出错情况：

(1)左视点视频(基本层)不出错，右视点视频(增强层)误码率较低；

(2)左视点视频不出错，右视点视频误码率较高；

(3)左视点视频可能出错，右视点视频误码率较低；

(4)左视点视频可能出错，右视点视频误码率较高。

通过在立体视频分层编码框架中，针对上述各种情况引入不同的关键参考帧差错控制方法，在不会明显降低视频图像编码效率的前提下，可以有效的减小或者阻止视频传输过程中由于传输差错引起的立体视频图像质量的下降。

本发明关键参考帧选择策略为：若是增强层，则同一时刻基本层为I帧或者关键参考帧时，增强层帧为关键参考帧；增强层其余关键参考帧或者基本层关键参考帧可以每隔固定间隔进行设置，也可以根据率失真优化模型进行动态设置。

本发明所述联合预测关键参考帧编码方式，采用同一时刻基本层的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像为参考，进行视差/运动联合估计。

本发明所述层间预测关键参考帧编码方式，采用同一时刻基本层的重建图像为参考进行视点间的预测编码。

本发明所述帧间预测关键参考帧编码方式，采用当前编码帧之前的I帧或者关键参考帧的重建图像为参考进行帧间的预测编码。

本发明所述立体视频分层编码方式，若为第一增强层待编码帧，则以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计；若为第二增强层及以上各增强层待编帧，则编码同一时刻增强层原始图像与低一级增强层的重建图像的差值。

本发明所述标准的编码方式，为业内常规所指，即第一帧编码为I帧，其余帧可以编码为I帧、P帧或者B帧。

本发明在立体视频分层编码框架上，针对四种传输出错情况制定的差错控制方法具体如下：

(一)基本层不出错，增强层误码率较低情况下的差错控制方法

在此传输情况下，仅在第一增强层中使用关键参考帧，基本层和第二增强层及以上各增强层均不使用关键参考帧。

(1)基本层采用标准的编码方式，可以编码为I帧、P帧或者B帧。

(2)第一增强层编码时，首先确定待编码帧是否为关键参考帧。若基本层为I帧，则同一时刻第一增强层待编码帧为关键参考帧，第一增强层其余关键参考帧的确定方法有多种：可以每隔固定间隔插入关键参考帧，也可以根据率失真优化模型动态选择关键参考帧。

(3)第一增强层的关键参考帧采用帧间编码方式。若同一时刻基本层为I帧，那么关键参考帧以此时刻基本层的重建图像为参考，进行视点间的预测编码，即以层间预测关键参考帧编码方式进行编码；否则关键参考帧采用同一时刻基本层的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像为参考，进行视差/运动联合估计，即以联合预测关键参考帧编码方式进行编码。视差/运动联合估计确定预测图像的方法有多种：可以在视差估计预测图像和运动估计预测图像二者择优选择，也可以是二者的加权平均。

(4)第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计，即以立体视频分层编码方式进行编码。

(5)第二增强层及以上各增强层直接编码同时刻增强层原始图像与低一级增强层的重建图像的差值，即立体视频分层编码方式编码。

其原理如图1所示，立体视频分层编码框架可含有多个增强层，图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固定使用一个I帧为例。

左视点为基本层，记为B。第1帧为帧内编码，记为B-I。例如，在图1中t时刻的帧B-I(t)。后续时刻可以根据需要定期插入I帧。例如，在图1中t+9时刻的帧B-I(t+9)。基本层其余图像以前一帧的重建图像为参考进行帧间编码，记为B-P。例如，在图1中t+3时刻的帧B-P(t+3)。

右视点为增强层记为E，第一增强层记为E1，第二增强层及以上各增强层记为E2...En。第一增强层第1帧图像为关键参考帧，以基本层第1帧的重建图像为参考进行视点间预测编码，记为E1-K。例如，在图1中t时刻的帧E1-K(t)。

在第一增强层的某些特定位置插入关键参考帧，记为E1-K。例如，在图1中的t、t+3、t+6、t+9时刻的帧E1-K(t)、E1-K(t+3)、E1-K(t+6)、E1-K(t+9)，此类关键参考帧采用帧间编码方式编码，与第一增强层普通的帧间编码不同之处在于：若同一时刻基本层为I帧(例如t、t+9时刻的帧)，那么以此基本层的重建图像为参考，进行视点间预测，确定预测图像，编码增强层原始图像与预测图像的差值。例如，在图1中t+9时刻，E1-K(t+9)是以B-I(t+9)的重建图像为参考，进行视点间预测。其余关键参考帧以第一增强层中前一个关键参考帧的重建图像和同一时刻基本层的重建图像为参考，进行视差/运动联合估计，然后确定预测图像，编码增强层原始图像与预测图像的差值。例如，在图1中t+3时刻，关键参考帧E1-K(t+3)是以B-P(t+3)和E1-K(t)的重建图像为参考，进行视差/运动联合估计。

第一增强层中的其余图像都以前一帧的最高增强层和同一时刻基本层的重建图像为参考，进行帧间编码，记为E1-P。例如，在图1中t+2时刻，E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考，进行视差/运动联合预测。

第二增强层及以上各增强层都是直接编码增强层原始图像与低一级增强层的重建图像的差值，记为En-P。例如，在图1中t+2时刻，E2-P(t+2)是编码该增强层原始图像与E1-P(t+2)的重建图像的差值。

当出现非关键参考帧传输差错时。例如，在图1中t+1时刻，第二增强层码流传输出错，则E2-P(t+1)码流不能被解码端正确解码。由于后续的帧间预测编码帧E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考联合预测而来、E2-P(t+2)是编码t+2时刻增强层原始图像与E1-P(t+2)的重建图像的差值，因此传输差错会向后扩散到E1-P(t+2)、E2-P(t+2)中。在t+3时刻，由于关键参考帧E1-K(t+3)是以E1-K(t)和B-P(t+3)的重建图像为参考联合预测而来，没有使用前面的出错帧进行帧间预测，因此E1-K(t+3)可以正常解码，相应的E2-P(t+3)也可以正常解码。因此传输差错的扩散在t+3时刻被有效阻止。

当出现关键参考帧传输差错时。例如，在图1中t+6时刻，第一增强层关键参考帧码流传输出错，则E1-K(t+6)不能被解码端正确解码。由于第二增强层中的E2-P(t+6)是编码t+6时刻增强层原始图像与E1-K(t+6)的重建图像的差值、E1-P(t+7)是以E2-P(t+6)与B-P(t+7)的重建图像为参考联合预测而来、E2-P(t+7)是编码t+7时刻增强层原始图像与E1-P(t+7)的重建图像的差值、E1-P(t+8)是以E2-P(t+7)与B-P(t+8)的重建图像为参考联合预测而来、E2-P(t+8)是编码t+8时刻增强层原始图像与E1-P(t+8)的重建图像的差值，因此传输差错会向后扩散到E2-P(t+6)、E1-P(t+7)、E2-P(t+7)、E1-P(t+8)和E2-P(t+8)五帧中。在t+9时刻，基本层编码为I帧，即B-I(t+9)，第一增强层以B-I(t+9)的重建图像为参考，进行视点间预测编码，记为E1-K(t+9)，第二增强层编码t+9时刻增强层原始图像与E1-K(t+9)的重建图像的差值，均没有使用前面的出错帧进行帧间预测。因此传输差错的扩散在t+9时刻被有效抑制。

(二)基本层不出错，增强层误码率较高情况下的差错控制方法

在此传输情况下，各个增强层中均使用关键参考帧，基本层不使用关键参考帧。

(1)基本层采用标准的编码方式，可以编码为I帧、P帧或者B帧。

(2)增强层编码时，首先确定待编码帧是否为关键参考帧。若基本层为I帧，则同一时刻所有增强层待编码帧均为关键参考帧。

各个增强层其余关键参考帧的确定方法有多种：可以每隔固定间隔插入关键参考帧，也可以根据率失真优化模型动态选择关键参考帧。

 (3)增强层的关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像为参考，进行视点间的预测编码，即以层间预测关键参考帧编码方式进行编码。

(4)第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计，即以立体视频分层编码方式进行编码。

(5)第二增强层及以上各增强层的非关键参考帧直接编码同时刻增强层原始图像与低一级增强层的重建图像的差值，即以立体视频分层编码方式进行编码。

其原理如图2所示，立体视频分层编码框架可含有多个增强层，图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固定使用一个I帧为例。

左视点为基本层，记为B。第1帧为帧内编码，记为B-I。例如，在图2中t时刻的帧B-I(t)。后续时刻可以根据需要定期插入I帧。例如，在图2中t+9时刻的帧B-I(t+9)。其余图像以前一帧的重建图像为参考进行帧间编码，记为B-P。例如，在图2中t+3时刻的帧B-P(t+3)。

右视点为增强层记为E，第一增强层记为E1，第二增强层及以上各增强层记为E2...En。各个增强层第1帧图像均为关键参考帧，以基本层第1帧的重建图像为参考进行视点间预测编码，记为En-K。例如，在图2中t时刻的帧E1-K(t)、E2-K(t)。

在增强层的某些特定位置插入关键参考帧，同一时刻的各个增强层关键参考帧均以同一时刻基本层的重建图像为参考，进行视点间预测，记为En-K。例如，图2中t+3时刻的各个增强层均为关键参考帧，分别以B-P(t+3)的重建图像为参考，进行视点间预测编码，确定预测图像，然后编码原始图像与预测图像的差值，记为E1-K(t+3)、E2-K(t+3)。

第一增强层的非关键参考帧都以前一帧的最高增强层和同一时刻基本层的重建图像为参考，进行帧间编码，记为E1-P。例如，在图2中t+2时刻，E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考，进行视差/运动联合预测。视差/运动联合估计确定预测图像的方法有多种，可以在视差估计预测图像和运动估计预测图像二者择优选择，也可以是二者的加权平均。

第二增强层及以上各增强层的非关键参考帧都是直接编码增强层原始图像与低一级增强层的重建图像的差值，记为En-P。例如，在图2中t+2时刻，E2-P(t+2)是编码该增强层原始图像与E1-P(t+2)的重建图像的差值。

在此差错控制方法中，增强层关键帧出现的传输差错不会影响到同一时刻其余增强层关键参考帧。只要与出错关键参考帧同一时刻的高一级增强层关键参考帧能被解码器正确接收，增强层的关键参考帧就能起到对差错的抑制作用，同时关键参考帧的错误也不会扩散到后续编码帧中。

例如在图2中t+2时刻，第一增强层码流传输出错，则E1-P(t+2)码流不能被解码端正确解码。由于E2-P(t+2)是编码t+2时刻增强层原始图像与E1-P(t+2)的重建图像的差值，因此传输差错会扩散到E2-P(t+2)中。在t+3时刻，虽然关键参考帧E1-K(t+3)出现传输差错，但关键参考帧E2-K(t+3)是由B-P(t+3)的重建图像预测而来，没有使用前面的出错帧进行帧间预测，因此E2-K(t+3)可以正常解码。同时后续帧间编码帧是以E2-K(t+3)重建图像为参考进行预测，也不会出现差错扩散。因此传输差错的扩散在t+3时刻被阻止。

(三)基本层可能出错，增强层误码率较低情况下的差错控制方法

在此传输情况下，基本层和第一增强层中使用关键参考帧，第二增强层及以上各增强层不使用关键参考帧。

(1)基本层编码时，首先确定待编码帧是否为关键参考帧。关键参考帧的确定方法有多种：可以每隔固定间隔插入关键参考帧，也可以根据率失真优化模型动态选择关键参考帧。

(2)基本层关键参考帧采用帧间编码方式进行编码，但其参考图像只能是当前编码帧之前的I帧或者当前编码帧之前的关键参考帧的重建图像，即以帧间预测关键参考帧编码方式进行编码。

(3)基本层非关键参考帧采用标准的编码方式，可以编码为I帧、P帧或者B帧。

(4)第一增强层编码时，首先确定待编码帧是否为关键参考帧。若基本层为I帧或者关键参考帧，则同一时刻第一增强层待编码帧为关键参考帧。

(5)第一增强层的关键参考帧采用帧间编码方式，若同一时刻基本层为I帧，那么关键参考帧以此基本层的重建图像为参考，进行视点间的预测编码，即以层间预测关键参考帧编码方式进行编码；否则关键参考帧采用同一时刻基本层的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像为参考，进行视差/运动联合估计，即以联合预测关键参考帧编码方式进行编码。

(6)第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计，即以立体视频分层编码方式进行编码。

(7)第二增强层及以上各增强层直接编码同时刻增强层原始图像与低一级增强层的重建图像的差值，即以立体视频分层编码方式进行编码。

其原理如图3所示，立体视频分层编码框架可含有多个增强层，图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固定使用一个I帧为例。

左视点为基本层，记为B。第1帧为帧内编码，记为B-I。例如，在图3中t时刻的帧B-I(t)。后续时刻可以根据需要定期插入I帧。例如，在图3中t+9时刻的帧B-I(t+9)。在某些特定位置插入关键参考帧，记为B-K，关键参考帧采用帧间编码方式进行编码，与普通的帧间编码方式相比，不同之处在于其参考帧是前面的I帧或者是关键参考帧的重建图像。例如，在图3中t+3时刻，关键参考帧B-K(t+3)是以B-I(t)的重建图像为参考，进行帧间编码。其余图像都以前一帧的重建图像为参考进行帧间编码，记为B-P。例如，在图3中t+2时刻的帧B-P(t+2)。

右视点为增强层记为E，第一增强层记为E1，第二增强层及以上各增强层记为E2...En。第一增强层第1帧图像为关键参考帧，使用基本层第1帧的重建图像为参考，进行视点间预测编码，记为E1-K。例如，在图3中t时刻的帧E1-K(t)。

在第一增强层的某些特定位置插入关键参考帧，记为E1-K。例如，在图3中的t、t+3、t+6、t+9时刻的帧E1-K(t)、E1-K(t+3)、E1-K(t+6)、E1-K(t+9)，此类关键参考帧采用帧间编码方式编码，与第一增强层普通的帧间编码不同之处在于：若同一时刻基本层为I帧(例如t、t+9时刻的帧)，那么以此基本层的重建图像为参考，进行视点间预测，确定预测图像，编码增强层原始图像与预测图像的差值。例如，在图3中t+9时刻，E1-K(t+9)是以B-I(t+9)的重建图像为参考进行视点间预测。其余关键参考帧以第一增强层中前一个关键参考帧的重建图像和同一时刻基本层的重建图像为参考，进行视差/运动联合估计，然后确定预测图像，编码增强层原始图像与预测图像的差值。例如，在图3中t+3时刻，关键参考帧E1-K(t+3)是以B-K(t+3)和E1-K(t)的重建图像为参考，进行视差/运动联合估计。

第一增强层的其余图像都以前一帧的最高增强层和同一时刻基本层的重建图像为参考，进行帧间编码，记为E1-P。例如，在图3中t+2时刻，E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考，进行视差/运动联合预测。

第二增强层及以上各增强层都是直接编码增强层原始图像与低一级增强层的重建图像的差值，记为En-P。例如，图3中t+2时刻，E2-P(t+2)是编码该增强层原始图像与E1-P(t+2)的重建图像的差值。

当基本层出现传输差错时。例如，在图3中t+2时刻基本层码流传输出错，则B-P(t+2)不能正确解码。由于同一时刻增强层帧间预测编码帧E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考联合预测而来、E2-P(t+2)是编码t+2时刻增强层原始图像与E1-P(t+2)的重建图像的差值，因此传输差错扩散到增强层的E1-P(t+2)和E2-P(t+2)中。在t+3时刻，由于关键参考帧B-K(t+3)是以B-I(t)的重建图像预测而来、E1-K(t+3)是以E1-K(t)和B-K(t+3)的重建图像作为参考联合预测而来，均没有使用前面的出错帧进行帧间预测，因此B-K(t+3)可以正常解码，相应的E1-K(t+3)、E2-P(t+3)也可以正常解码。因此传输差错的扩散在t+3时刻被有效的抑制。

当增强层出现传输差错时。例如，在图3中t+7时刻第二增强层码流传输出错，则E2-P(t+7)不能正确解码。在t+8时刻，由于帧间预测编码帧E1-P(t+8)是以E2-P(t+7)和B-P(t+8)的重建图像为参考联合预测而来、E2-P(t+8)是编码t+8时刻增强层原始图像与E1-P(t+8)的重建图像的差值，因此传输差错会向后扩散到E1-P(t+8)、E2-P(t+8)中。在t+9时刻，由于关键参考帧E1-K(t+9)是以B-I(t+9)的重建图像作为参考预测而来，没有使用前面的出错帧进行帧间预测，因此E1-K(t+9)可以正常解码，相应的E2-P(t+9)也可以正常解码。传输差错的扩散在t+9时刻被有效的抑制。

(四)基本层可能出错，增强层误码率较高情况下的差错控制方法

在此传输情况下，各个编码层(基本层及各增强层)均使用关键参考帧。

(1)基本层编码时，首先确定待编码帧是否为关键参考帧。关键参考帧的确定方法有多种：可以每隔固定间隔插入关键参考帧，也可以根据率失真优化模型动态选择关键参考帧。

(2)基本层关键参考帧采用帧间编码方式进行编码，但其参考图像只能是当前编码帧之前的I帧或者当前编码帧之前的关键参考帧的重建图像，即以帧间预测关键参考帧编码方式进行编码。

(3)基本层非关键参考帧采用标准的编码方式，可以编码为I帧、P帧或者B帧。

(4)各个增强层编码时，首先确定待编码帧是否为关键参考帧。若基本层为I帧或者关键参考帧，则同一时刻所有增强层待编码帧均为关键参考帧。

(5)增强层的关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像为参考，进行视点间的预测编码，即以层间预测关键参考帧编码方式进行编码。

(6)第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计，即以立体视频分层编码方式进行编码。

(7)第二增强层及以上各增强层的非关键参考帧直接编码同时刻增强层原始图像与低一级增强层的重建图像的差值，即以立体视频分层编码方式进行编码。

其原理如图4所示，立体视频分层编码框架可含有多个增强层，图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固定使用一个I帧为例。

左视点为基本层，记为B。第1帧为帧内编码，记为B-I。例如，在图4中t时刻的帧B-I(t)。后续时刻可以根据需要定期插入I帧。例如，在图4中t+9时刻的帧B-I(t+9)。在某些特定位置插入关键参考帧，记为B-K，关键参考帧采用帧间编码方式进行编码，与普通的帧间编码方式相比，不同之处在于其参考帧是前面的I帧或者是关键参考帧的重建图像。例如，在图4中t+3时刻，关键参考帧B-K(t+3)是以B-I(t)的重建图像为参考，进行帧间编码。其余图像都是以前一帧的重建图像为参考进行帧间编码，记为B-P。例如，在图4中t+2时刻的帧B-P(t+2)。

右视点为增强层记为E，第一增强层记为E1，第二增强层及以上各增强层记为E2...En。各个增强层第1帧图像均为关键参考帧，使用基本层第1帧的重建图像为参考，进行视点间预测编码，记为En-K。例如，在图4中t时刻的帧E1-K(t)、E2-K(t)。

在增强层的某些特定位置插入关键参考帧，同一时刻的各个增强层关键参考帧均以同一时刻基本层的重建图像为参考，进行视点间预测，记为En-K。例如，图4中t+3时刻的各个增强层均为关键参考帧，分别以B-K(t+3)的重建图像为参考，进行视点间预测编码，确定预测图像，然后编码原始图像与预测图像的差值，记为E1-K(t+3)、E2-K(t+3)。

第一增强层的非关键参考帧都采用前一帧的最高增强层和同一时刻基本层的重建图像为参考，进行帧间编码，记为E1-P。例如，在图4中t+2时刻，E1-P(t+2)是以E2-P(t+1)和B-P(t+2)的重建图像为参考，进行视差/运动联合预测。视差/运动联合估计确定预测图像的方法有多种，可以在视差估计预测图像和运动估计预测图像二者择优选择，也可以是二者的加权平均。

第二增强层及以上各增强层的非关键参考帧都是直接编码增强层原始图像与低一级增强层的重建图像的差值，记为En-P。例如，在图4中t+2时刻，E2-P(t+2)是编码该增强层原始图像与E1-P(t+2)的重建图像的差值。

在此差错控制方法中，增强层关键帧出现的传输差错不会影响到同一时刻其余增强层关键参考帧。只要与出错关键参考帧同一时刻的高一级增强层关键参考帧能被解码器正确接收，增强层的关键参考帧就能起到对差错的抑制作用，同时关键参考帧的错误也不会扩散到后续编码帧中。若最高一级增强层传输出错，则采用帧间编码模式的后续编码帧也会发生错误，直至下一个关键参考帧出现为止。

例如在图4中t+2时刻，基本层码流传输出错，解码器不能正确解码B-P(t+2)帧。由于E1-P(t+2)是由E2-P(t+1)和B-P(t+2)的重建图像联合预测而来、E2-P(t+2)是编码t+2时刻增强层原始图像与E1-P(t+2)的重建图像的差值，因此传输差错会扩散到E1-P(t+2)、E2-P(t+2)中。在t+3时刻，关键参考帧B-K(t+3)是以B-I(t)的重建图像为参考预测而来、而E1-K(t+3)和E2-K(t+3)是由B-K(t+3)的重建图像为参考预测而来，均没有使用前面的出错帧进行帧间预测，因此B-K(t+3)、E1-K(t+3)、E2-K(t+3)可以正常解码。因此传输差错的扩散在t+3时刻被有效的抑制。

在图4中t+6时刻，最高一级增强层关键参考帧传输出错，解码器不能正常解码E2-K(t+6)帧，。由于E1-P(t+7)是由E2-K(t+6)和B-P(t+7)的重建图像联合预测而来、E2-P(t+7)是编码t+7时刻增强层原始图像与E1-P(t+7)的重建图像的差值、E1-P(t+8)是由E2-P(t+7)和B-P(t+8)的重建图像联合预测而来、E2-P(t+8)是编码t+8时刻增强层原始图像与E1-P(t+8)的重建图像的差值，因此传输差错会扩散到E1-P(t+7)、E2-P(t+7)、E1-P(t+8)、E2-P(t+8)中。在t+9时刻，关键参考帧E1-K(t+9)和E2-K(t+9)是由B-I(t+9)的重建图像为参考预测而来，没有使用前面的出错帧进行帧间预测，因此E1-K(t+9)、E2-K(t+9)可以正常解码。传输差错的扩散在t+9时刻被有效的抑制。

在上述四种情况下的立体视频分层编码差错控制方法中，

若传输差错引起非关键参考帧图像不能正确解码，则采用帧间编码模式的后续编码帧也会发生错误，直至下一个关键参考帧或者I帧出现为止。

在低误码率情况下，传输差错引起关键参考帧不能正确解码，则采用帧间编码模式的后续编码帧也会发生错误，直至下一个I帧出现为止。

在高误码率情况下，传输差错可能引起非最高增强层关键参考帧不能正确解码，但只要同一时刻高一级的增强层可以正常解码，就可以有效阻止前面非关键帧的传输差错，同时低一级关键参考帧的差错也不会扩散到后续编码帧；若传输差错引起最高增强层关键参考帧不能正确解码，则采用帧间编码模式的后续编码帧也会发生错误，直至下一个关键参考帧出现为止。

本发明提出的适用于立体视频分层编码的差错控制方法，通过针对基本层不出错且增强层有较低误码率、基本层不出错且增强层有较高误码率、基本层可能出错且增强层有较低误码率、以及基本层可能出错且增强层有较高误码率这四种不同情况，采用不同的关键参考帧选择方法，可以在保证立体视频质量分级传输的基础上增强立体视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散，从而提高立体视频流的传输质量。

Claims (7)

1.一种立体视频分层编码差错控制方法，用于立体视频分层编码框架，对于立体视频流传输过程中的四种不同情况：基本层不出错增强层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出错增强层有较低误码率、以及基本层可能出错增强层有较高误码率，在立体视频分层编码过程中采用不同的差错控制策略，其特征在于：

1)在基本层不出错传输时：

基本层使用标准的编码方式编码；

增强层编码时，首先根据关键参考帧选择策略对使用关键参考帧的增强层待编码帧进行关键参考帧设置，其中，

(1)增强层误码率较低情况下，

仅在第一增强层中使用关键参考帧；

待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码；

待编码帧若为非关键参考帧，使用立体视频分层编码方式编码；

(2)增强层误码率较高情况下，

各个增强层中均使用关键参考帧；

待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码；否则，使用立体视频分层编码方式编码；

2)在基本层可能出错传输时：

基本层编码时，首先根据关键参考帧选择策略对基本层待编码帧进行关键参考帧设置；待编码帧若为关键参考帧，使用帧间预测关键参考帧编码方式编码，否则，使用标准的编码方式编码；

增强层编码时，若同一时刻的基本层为关键参考帧，则将使用关键参考帧的增强层待编码帧设置为关键参考帧，其中，

(1)增强层误码率较低情况下：

仅在第一增强层中使用关键参考帧；

待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码；

待编码帧若为非关键参考帧，使用立体视频分层编码方式编码；

(2)在增强层误码率较高情况下：

各个增强层中均使用关键参考帧；

待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码，否则，使用立体视频分层编码方式编码。

2.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述立体视频分层编码框架，基本层为立体视频左视点视频，采用标准的编码方式；增强层为立体视频右视点视频，采用质量可伸缩性编码方式，增强层可以有若干层；立体视频流可以根据传输需要，自适应的截取增强层码流，使其适用于各种网络传输环境。

3.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述关键参考帧选择策略为：若是增强层，则同一时刻基本层为I帧或者关键参考帧时，增强层帧为关键参考帧；增强层其余关键参考帧或者基本层关键参考帧可以每隔固定间隔进行设置，也可以根据率失真优化模型进行动态设置。

4.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述联合预测关键参考帧编码方式，采用同一时刻基本层的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像为参考，进行视差/运动联合估计。

5.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述层间预测关键参考帧编码方式，采用同一时刻基本层的重建图像为参考进行视点间的预测编码。

6.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述帧间预测关键参考帧编码方式，采用当前编码帧之前的I帧或者关键参考帧的重建图像为参考进行帧间的预测编码。

7.根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述立体视频分层编码方式，若为第一增强层待编码帧，则以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计；若为第二增强层及以上各增强层待编帧，则编码同一时刻增强层原始图像与低一级增强层的重建图像的差值。

Images