CN101986713B - 基于视点合成的多视点容错编码框架 - Google Patents

Abstract

本发明公开了一种基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，编码框架中引入基于分布式视频编码理论的差错控制帧。本发明充分利用分布式视频编码的传输鲁棒性特性，减小视点间合成预测引起的视点间差错扩散对多视点视频图像质量的影响，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

Description

基于视点合成的多视点容错编码框架

技术领域

本发明属于视频编码和处理领域，具体涉及多视点视频压缩编码过程中差错控制算法的研究。

背景技术

多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号，与单视点视频相比，多视点视频能够获取场景的三维信息，从而更加生动地再现立体场景。在现有的多视点编码方案中，基于视点合成的多视点编码方案充分利用了多视点视频数据的相关性以及隐含的关于场景的三维信息，提供了一种高效灵活、视点伸缩性强的多视点编码思想，受到了国内学者越来越广泛的关注。

现有的基于视点合成的多视点编码框架，主要以研究如何提高编码效率、同时提供随机访问性强的多视点视频流为主，如图1所示。此编码框架结构将多个视点分为了一个基本视点、多个增强视点，以及基本视点的深度图像。基本视点图像和基本视点深度图像均采用标准的单视点编码方法独立编码，如图1中的基本视点V1和基本视点深度图D。增强视点采用视点合成预测方式编码，编码实际内容为增强层原始图像与视点合成预测图像的残差，残差使用标准的编码方式编码。其中视点合成预测图像是由基本视点同时刻重建图像和深度图像通过投影变换获得，如图1中的增强视点V0和V2。

此编码结构通过视点合成预测技术很好的利用了多视点隐含的深度信息，极大的提高了增强视点的编码性能，同时提供了增强视点的随机访问能力。但是视点合成预测技术的使用在一定程度上牺牲了多视点视频流的传输鲁棒性。在有损的网络传输环境中，一旦基本视点出现传输差错，差错会通过视点合成预测编码扩散到每个增强视点中，而从降低整个多视点图像质量。

鉴于现有技术的以上缺点，本发明的目的是提出一种基于视点合成的多视点容错编码框架，使之克服现有技术的以上缺点，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。本发明的目的是通过以下的手段实现的。

基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下：

(帧内编码帧，记为I帧；帧间编码帧，记为P帧；双向帧间预测帧，记为B帧；差错控制帧，记为E帧)

对于基本视点编码

1)基本视点视频序列第1帧图像编码为I帧；

2)确定基本视点其余待编码帧是否编码为E帧；

3)基本视点的待编码帧若为E帧，则采用基于分布式视频编码的帧内编码方式，其边信息是以前一帧重建图像为参考进行运动补偿获取的帧间预测图像；

4)基本视点的待编码帧若不为E帧，则使用标准的编码方式编码，可以编码为I帧、P帧或者B帧；

对于深度图编码

采用标准的编码方式独立编码，可以编码为I帧、P帧和B帧；对于增强视点编码

1)确定增强视点待编码帧是否编码为E帧。如果基本视点同时刻帧为E帧，增强视点当前帧编码为E帧，否则使用标准的编码方式编码；待编码帧原始图像与视点合成预测图像的残差，残差可以编码为I帧、P帧或者B帧；

2)增强视点的待编码帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息图像由预测图像叠加而成；

3)增强视点的待编码帧若不为E帧，则使用视点合成预测方式编码：首先使用基本视点同时刻重建图像和深度图像通过投影变换获取当前增强视点的视点合成预测图像；然后使用标准的编码方式编码待编码帧原始图像与视点合成预测图像的残差，残差可编码为I帧、P帧或者B帧。

所述具体的分布式视频编码方式有多种方法，可以采用基于SW理论的无损编码，也可以采用基于WZ理论的有损编码。

采用本发明基于视点合成的多视点容错编码框架，通过在基于视点合成的多视点视频编码框架中引入基于分布式视频编码理论的差错控制帧，比标准的帧内编码具有更好的编码效率；同时抗差错性能强，即使边信息(与标准视频编码中的参考信息类似)出现传输差错，它仍然能够正确解码，从而增强了多视点视频流的传输鲁棒性，充分利用分布式视频编码的传输鲁棒性特性，减小视点间合成预测引起的视点间差错扩散对多视点视频图像质量的影响，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

附图说明如下：

图1是现有技术基于视点合成的多视点编码框架图。

图2是本发明基于视点合成的多视点容错编码框架图。

图3是本发明基于视点合成的多视点容错编码框架中增强层差错控制帧的编码示意图。

图4是本发明基于视点合成的多视点容错编码框架中增强层差错控制帧的解码示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的详细说明。

图1所示是现有的一种基于视点合成的多视点编码框架，包括三个部分的编码：基本视点图像编码、基本视点深度图像编码和增强视点图像编码。基本视点图像采用标准编码方式编码，如图1基本视点V1所示；基本视点深度图像采用标准编码方式独立编码，如图1基本视点深度图D所示；增强视点采用标准编码方式编码原始图像与视点合成预测图像的残差，其中，视点合成预测图像是由基本视点同时刻图像与深度图像通过投影变换获取，如图1增强视点V0、V2所示。

例如t+2时刻，基本视点V1的待编码帧编码为P帧，记为V1-P(t+2)，是以前一帧重建图像V1-P(t+1)为参考帧，采用基于运动估计的帧间预测方式编码；基本视点深度图D的待编码帧编码为P帧，记为D-P(t+2)，是以前一帧重建图像D-P(t+1)为参考帧，采用基于运动估计的帧间预测方式编码；增强视点V0的待编码帧编码为P帧，记为V0-P(t+2)，实际编码内容是V0-P(t+2)原始图像与视点合成预测图像的残差，以V0-P(t+1)重建图像为参考帧，采用基于运动估计的帧间预测方式编码。其中V0-P(t+2)的视点合成预测图像由基本视点重建图像V1-P(t+2)与基本视点深度图像D-P(t+2)通过投影变换获得。

这种编码框架，在增强层的编码过程中，使用了视点合成预测技术，充分利用了多视点视频隐藏的深度信息，有效提高了多视点的编码效率。但是另一方面，由于视点合成预测技术的使用，使得基本视点的传输差错很容易扩散到所有的增强视点中，从而降低多视点图像质量。例如t+2时刻，基本视点V1-P(t+2)传输出错，那么差错会扩散到以它为参考帧编码的V1-P(t+3)中；使用V1-P(t+2)视点合成预测编码的V0-P(t+2)和V2-P(t+2)中。同理差错还会继续向各个视点的后续编码帧中扩散，使得整个多视点视频图像质量降低，直到t+6时刻基本视点关键编码为I帧。

图2是本发明提出的基于视点合成的多视点容错编码框架，通过插入基于分布式视频编码理论的差错控制帧，降低了视点合成引起的视点间差错扩散对多视点视频质量的影响，提供了一种传输鲁棒性强的多视点视频流。

此编码框架，在各个视点编码中增加了基于分布式视频编码理论的差错控制帧。差错控制帧借助分布式视频编码理论自身的抗传输差错性能，能有效阻止传输差错在视点内和视点间的扩散。例如t+2时刻，基本视点V1-P(t+2)传输出错，那么差错会扩散到使用它进行视点合成预测编码的V0-P(t+2)和V2-P(t+2)中。在t+3时刻，基本视点编码为差错控制帧V1-E(t+3)，以V1-P(t+2)重建图像为参考，进行运动补偿获取的帧间预测图像作为解码边信息。根据分布式视频编码的抗差错特性，即使以V1-P(t+2)为参考获取的边信息存在传输差错，V1-E(t+3)仍能正确解码，从而阻止了基本视点内的传输差错扩散。同理增强层V0-E(t+3)和V2-E(t+3)也能正确解码，有效阻止了视点间和视点内的差错扩散。

确定基本视点其余待编码帧是否编码为E帧的方法可采用每隔固定间隔插入差错控制帧，也可以根据率失真优化模型动态选择差错控制帧。

图3是本发明提出的基于视点合成的多视点容错编码框架中增强层差错控制帧的编码示意图。差错控制帧采用基于分布式视频编码理论的帧内编码方式编码，包括四个步骤：首先，由差错控制帧原始图像减视点合成图像获取残差图像；然后，由残差图像和参考图像进行运动补偿得到帧间残差预测图像；第三，将帧间残差预测图像与视点合成图像的叠加图像作为差错控制帧的边信息；最后，结合边信息和传输信道参数对差错控制帧原始图像采用分布式视频编码理论编码，得到编码后的差错控制帧视频流。

图4是本发明提出的基于视点合成的多视点容错编码框架中增强层差错控制帧的解码示意图，包括三个步骤：首先，由差错控制帧视频流中的运动向量和参考图像进行运动补偿得到帧间残差预测图像；然后，将帧间残差预测图像与视点合成图像的叠加图像做为差错控制帧的边信息；最后，结合边信息对差错控制帧视频流采用分布式视频编码理论解码，得到解码后的差错控制帧图像。根据分布式视频编码的传输鲁棒性特征，即使参考图像存在传输差错，差错控制帧仍能被正确解码。

实施例

本编码框架可以适用于多个视点，现以3个视点为例，记为V0-V2。3个视点分为一个基本视点(V1)，2个增强视点(V0、V2)。假定以每隔6帧固定使用一个差错控制帧、每隔6帧固定使用一个I帧。

假定在t时刻为第1帧

1)基本视点第1帧图像使用帧内编码方式编码，记为V1-I(t)；

2)基本视点深度图第1帧图像使用帧内编码方式编码，记为D-I(t)；

3)增强视点V0第1帧采用视点合成预测编码：首先使用V1-I(t)和D-I(t)的重建图像，通过投影变换获取增强视点V0待编码帧的视点合成预测图像；然后使用帧内编码方式编码原始图像与视点合成预测图像的残差，记为V0-P(t)；

4)增强视点V2编码方式与V0类似：首先使用V1-I(t)和D-I(t)的重建图像，通过投影变换获取增强视点V2待编码帧的视点合成预测图像；然后使用帧内编码方式编码原始图像与视点合成预测图像的残差，记为V2-P(t)。

t+1时刻

1)基本视点待编码帧以V1-I(t)重建图像为参考，进行帧间预测编码，记为V1-P(t+1)；

2)基本视点深度图待编码帧以D-I(t)重建图像为参考，进行帧间预测编码，记为D-P(t+1)；

3)增强视点V0待编码帧使用视点合成预测编码：首先使用V1-P(t+1)和D-P(t+1)的重建图像，通过投影变换获取增强视点V0待编码帧的视点合成预测图像；然后以V0-P(t)重建图像为参考，进行帧间预测编码方式编码原始图像与视点合成预测图像的残差，记为V0-P(t+1)；

4)增强视点V2编码方式与V0类似：首先使用V1-P(t+1)和D-P(t+1)的重建图像，通过投影变换获取增强视点V2待编码帧的视点合成预测图像；然后以V2-P(t)重建图像为参考，进行帧间预测编码方式编码原始图像与视点合成预测图像的残差，记为V2-P(t+1)。

t+2时刻编码方式与t+1时刻相同

t+3时刻

1)基本视点待编码帧为差错控制帧，使用分布式视频编码技术进行编码，记为V1-E(t+3)。其解码边信息是以V1-P(t+2)的重建图像为参考进行运动补偿获取的帧间预测图像；该帧具有很强的差错纠正能力，即使参考帧V1-P(t+2)出现传输差错，它仍然能够正确解码；

2)基本视点深度图待编码帧以D-P(t+2)重建图像为参考，进行帧间预测编码，记为D-P(t+3)；

3)增强视点V0待编码帧为差错控制帧，使用分布式视频编码技术进行编码，记为V0-E(t+3)。其解码边信息是由两个预测图像叠加而来：一是以V1-P(t+3)和D-P(t+3)的重建图像通过投影变换获取的视点合成预测图像；二是以V0-P(t+2)的重建图像为参考进行运动补偿获取的帧间预测图像；

4)增强视点V2待编码帧为差错控制帧，编码方式与V0类似：使用分布式视频编码技术进行编码，记为V2-E(t+3)。其解码边信息是由两个预测图像叠加而来：一是以V1-P(t+3)和D-P(t+3)的重建图像通过投影变换获取的视点合成预测图像；二是以V2-P(t+2)的重建图像为参考进行运动补偿获取的帧间预测图像。

t+4时刻编码方式与t+1时刻相同

t+5时刻编码方式与t+1时刻相同

t+6时刻编码方式与t时刻相同。

Claims (3)

1.基于视点合成的多视点容错编码方法，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，其特征在于，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下：

对于基本视点编码

1)基本视点视频序列第1帧图像编码为I帧；

2)确定基本视点除上述第1帧以外的图像是否编码为差错控制帧，即E帧；

3)基本视点的待编码帧若为E帧，则采用基于分布式视频编码的帧内编码方式，其边信息是以前一帧重建图像为参考进行运动补偿获取的帧间预测图像；

4)基本视点的待编码帧若不为E帧，则使用标准的编码方式编码，可以编码为I帧、P帧或者B帧；

对于深度图编码

采用标准的编码方式独立编码，可以编码为I帧、P帧和B帧；

对于增强视点编码

1)确定增强视点待编码帧是否编码为E帧，如果基本视点同时刻帧为E帧，增强视点当前帧编码为E帧，否则使用标准的编码方式；编码原始图像与视点合成预测图像的残差，残差可以编码为I帧、P帧或者B帧；

2)增强视点的待编码帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息图像由预测图像叠加而成；

3)增强视点的待编码帧若不为E帧，则使用视点合成预测方式编码：首先使用基本视点同时刻重建图像和深度图像通过投影变换获取当前增强视点的视点合成预测图像；然后使用标准的编码方式编码待编码帧原始图像与视点合成预测图像的残差，残差可编码为I帧、P帧或者B帧。

2.根据权利要求1所述之基于视点合成的多视点容错编码方法，其特征在于，对于增强视点编码，增强视点的待编码帧若为E帧，采用基于分布式视频编码的帧内编码方式，即采用以下四步，

1)由差错控制帧原始图像减视点合成图像获取残差图像；

2)由残差图像和参考图像进行运动补偿得到帧间残差预测图像；

3)将帧间残差预测图像与视点合成图像的叠加图像作为差错控制帧的边信息；

4)结合边信息和传输信道参数对差错控制帧原始图像采用分布式视频编码，得到编码后的差错控制帧视频流。

3.根据权利要求1所述之基于视点合成的多视点容错编码方法，其特征在于，所述确定基本视点其余待编码帧是否编码为E帧的方法可采用每隔固定间隔插入差错控制帧，也可以根据率失真优化模型动态选择差错控制帧。

Images