CN102055984A - 2d和3d播放模式平滑切换的立体视频解码结构及工作方法 - Google Patents

Abstract

一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，属于立体视频解码技术领域。本发明包括基本视频流解码单元、补充视频流解码单元、自适应空间缩放控制单元和立体视频生成单元。基本视频流解码单元生成用于2D播放的码流；补充视频流解码单元解码补充视频流，自适应空间缩放控制单元对解码后的补充视频码流下采样，并保存可供切换瞬间使用的参考帧。本发明有效解决了2D播放模式向3D播放模式随机切换时，因找不到补充视频码流的参考帧而无法立即生成立体视频的问题；与2D播放模式下完全合成、保存补充视频码流参考帧的方法相比，本发明在不影响切换瞬间3D播放效果的同时，减少了无效数据处理带宽。

Description

2D和3D播放模式平滑切换的立体视频解码结构及工作方法

技术领域

本发明涉及一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，属于立体视频解码技术领域。

背景技术

人类视觉系统具有获取外部环境深度信息，形成三维视觉的能力。随着人们对立体视频显示的需求，立体视频编、解码算法及显示技术得到迅速发展。目前的立体视频显示技术，都是在人眼成像原理的基础上发展的，例如基于单目和深度信息的成像原理，以及双目视差成像原理。相对于传统平面视频处理技术，立体视频具有巨大的图像数据处理量、存储量、传输量，其算法和系统设计都非常复杂。

而且基于目前绝大多数视频均为平面视频，立体技术在满足立体显示需求的同时，还需要与传统的平面视频处理技术有良好的兼容性。一种与传统平面视频兼容的设计思路，便是在视频码流编码时将码流分为基本视频码流和补充视频码流。解码端，若工作在平面显示模式，只需处理基本视频码流；若工作在立体显示模式，则需处理基本视频码流和补充视频码流，补充视频码流包含视差补偿信息或深度信息。

如果立体视频与平面视频之间的切换为直接切换，切入的时机有可能是视频序列中的任意帧图像，解码器将无法识别出补充视频序列的头信息，也就无法根据之前解码的补充视频序列的参考图像进行当前帧的视差补偿计算或深度图像补偿计算，所以在平面视频向立体视频切换的过程中，需要在时间不等的延迟后(即找到补充视频流的头信息后)，才能够显示立体视频。如果选择在平面视频显示的同时，进行立体视频信息的完整解码和处理，势必会对解码电路处理速度带来不必要的要求，也会造成存储空间的极大浪费。

因此，有必要研究一种平面视频与立体视频切换的有效控制结构。这种控制结构既能够保证与传统平面视频解码的兼容性，又能够保证平面视频与立体视频随机切换时的正常过渡，并能够最大限度地减少无效数据处理带宽和无效解码时间，优化系统性能。

发明内容

本发明的目的是，提出一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，能够保证平面视频与立体视频随机切换时的正常过渡，并能够最大限度的减少无效数据处理带宽和无效解码时间，优化系统性能。

本发明的上述目的通过以下技术方案实现：

一种2D和3D播放模式平滑切换的立体视频解码结构，包括：

基本视频流解码单元，用于对基本视频流解码，生成用于2D播放模式的视频码流。

补充视频流解码单元，用于对补充视频流解码，生成深度补偿码流帧或视差估计的补偿码流帧。

自适应空间缩放控制单元，用于接收播放模式控制信号，对补充视频流解码单元解码后的补充视频流进行自适应下采样预处理，生成并且保存低分辨率的深度补偿码流的参考帧或视差估计补偿码流的参考帧。

立体视频生成单元，2D播放模式下，根据基本视频流解码单元解码后的基本视频流和自适应空间缩放控制单元下采样后保存的参考帧，重建较大失真度的立体视频图像；3D播放模式下，根据基本视频流解码单元解码后的基本视频流和未经下采样后处理的补充视频流的参考帧，重建高保真度的立体视频图像；平面播放模式向立体播放模式切换的瞬间，在找到工帧之前，工作方式与2D播放模式下相同，在找到I帧之后，即进入3D播放模式。

图1给出视频解码总结构图。

图2给出自适应空间缩放控制单元内部结构图。

本发明的有益效果是，

与平面视频兼容的立体视频显示技术是未来的发展趋势。编码、解码电路的性能将很大程度地影响到立体视频显示的成本、速度、功耗。本发明成果在保证与平面视频显示兼容的前提下，有效地解决了平面视频播放和立体视频播放之间随机切换时可能因补充视频码流头信息丢失，而造成的立体视频显示不定时延迟的问题；而且能够最大限度的减少无效数据处理带宽和无效解码时间，优化系统性能。

附图说明

图1是本发明中视频解码总结构图。

图2是本发明中自适应空间缩放控制单元内部结构图。

图中，1、基本视频码流，2、补充视频码流，3、播放模式控制信号，4、基本视频流解码单元，5、补充视频流解码单元，6、自适应空间缩放控制单元，6-1、选择开关，6-2、补充视频流下采样模块，6-3、补充视频流参考帧存储模块，7、立体视频生成单元，8、选择开关，9、输出数据选择器。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例：

一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，主要包括：基本视频流解码单元(4)、补充视频流解码单元(5)、自适应空间缩放控制单元(6)和立体视频生成单元(7)。基本视频流解码单元(4)可以对基本视频流(1)解码，生成用于平面播放的视频码流。立体视频生成单元(7)根据基本视频流解码单元(4)输出的视频流和自适应空间缩放控制单元(6)输出的视频流，合成立体视频码流。

图1中，视频播放解码系统根据根据播放模式控制信号(3)选择播放模式：2D播放模式或3D播放模式。

2D播放模式下：选择开关(8)选择上路，基本视频流解码单元(4)对基本视频流(1)解码，生成的码流用于平面视频播放；同时，补充视频流解码单元(5)对补充视频流(2)解码，解码后的数据流送给自适应空间缩放控制单元(6)，选择开关(6-1)选择下路，补充视频流下采样模块(6-2)对解码后的补充数据流进行下采样，并且补充视频流参考帧存储模块(6-3)保存补充视频流下采样后的低分辨率的参考帧。输出数据选择器(9)选择基本视频流解码单元(4)的输出码流作为输出。

2D播放模式向3D播放模式切换的瞬间：选择开关(8)选择下路，基本视频流解码单元(4)解码后的数据流送给立体视频生成单元(7)，2D播放模式结束，在找到补充视频流的I帧之前，立体视频生成单元(7)根据解码后的基本视频流和自适应空间缩放控制单元(6)保存的低分辨率的参考帧，即补充视频流的头信息，合成较大失真度的立体视频码流，用于3D视频播放，选择开关(6-1)仍然选择下路。在找到补充视频流的I帧之后，选择开关(6-1)选择上路，自适应空间缩放控制单元(6)不再对解码后的补充视频流下采样，立体视频生成单元(7)根据解码后的基本视频流和补充视频流中未经过下采样的参考帧合成较大保真度的立体视频码流，用于立体视频播放，输出数据选择器(9)选择立体视频生成单元(7)的输出码流作为输出。并进3D播放模式，完成2D播放模式向3D播放模式的平滑切换。

Claims (7)

1.一种2D和3D播放模式平滑切换的立体视频解码结构，其特征是，包括用于对基本视频流进行解码的基本视频流解码单元、用于对补充视频流进行解码的补充视频流解码单元、对解码后的补充视频流进行下采样的自适应空间缩放控制单元和合成立体视频码流的立体视频生成单元；基本视频流解码单元与基本视频流输入端口和数据输出选择器相连；补充视频流解码单元与补充视频流输入端口、自适应空间缩放控制单元相连；自适应空间缩放控制单元与补充视频流解码单元和立体视频生成单元相连；立体视频生成单元与基本视频流解码单元、自适应空间缩放控制单元和数据输出选择器相连。

2.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所述的基本视频流解码单元是按照MPEG标准进行解码的标准二维视频解码器。

3.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所述的补充视频流解码单元是按照H.264/AVS标准，解码生成多视点视差图像帧或深度信息图像帧的视频解码器。

4.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所述的自适应空间缩放控制单元包含下采样模块和存储器模块，下采样模块用于根据设定值对解码后的补充视频流下采样，存储器模块用于实时保存下采样后的补充视频流。

5.如权利要求1所述的2D和3D播放模式平滑切换的立体视频解码结构，其特征是，所述的立体视频生成单元是按照H.264/AVS标准，根据解码后的基本视频流和补充视频流，合成含有深度信息的立体图像帧的视频解码器。

6.一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法，其特征是，工作方法如下：

1)根据播放模式控制信号选择播放模式：播放模式包括2D播放模式和3D播放模式；在2D播放模式下，基本视频流解码单元对基本视频流进行解码，生成的码流用于平面视频播放；同时，补充视频流解码单元对补充视频流解码，解码后的数据流送给自适应空间缩放控制单元，自适应空间缩放控制单元对解码后的数据流下采样，生成低分辨率的下采样参考帧，并存储于自适应空间缩放控制单元的存储器模块；

2)2D播放模式向3D播放模式切换的瞬间：自适应空间缩放控制单元在找到补充视频流的I帧之前，基本视频流解码单元解码后的数据流送给立体视频生成单元，同时停止平面视频播放，立体视频生成单元根据解码后的基本视频流和自适应空间缩放控制单元保存的下采样参考帧，合成较大失真度的立体视频码流，用于立体视频播放；在找到补充视频流的I帧之后，自适应空间缩放控制单元停止对解码后的补充视频流下采样，立体视频生成单元根据解码后的基本视频流和补充视频流中未下采样的参考帧合成较小失真度的立体视频码流，进入3D播放模式，完成2D播放模式向3D播放模式的平滑切换。

7.如权利要求6所述的2D和3D播放模式平滑切换的立体视频解码结构及工作方法，其特征是，在2D播放模式下和2D播放模式向3D播放模式切换的瞬间，立体视频生成单元合成较大失真度的立体视频图像，在这个过程中，立体视频生成单元处理、存储的数据量，比在3D播放模式下合成较小失真度的立体视频图像时大大减少。

Images