CN102100074B

CN102100074B - 兼容立体视频递送

Info

Publication number: CN102100074B
Application number: CN200980128505.3A
Authority: CN
Inventors: 沃尔特·J·胡萨克; 大卫·S·鲁霍夫; 亚历山德罗斯·图拉皮斯; 阿萨纳西奥斯·莱昂塔里斯
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2008-07-20
Filing date: 2009-07-16
Publication date: 2014-06-25
Anticipated expiration: 2029-07-16
Also published as: US10038891B1; US20200314405A1; US20190364260A1; US10721453B2; US10264235B2; US10136118B2; US20190191143A1; DK2308239T3; US20170289520A1; US20180332269A1; EP2308239B1; HUE033017T2; WO2010011556A1; EP2308239A1; US11190749B2; PL2308239T3; US9843785B2; US9992476B1; LT2308239T; EP3197155A1

Abstract

对立体图像进行子采样，并将所述立体图像以“棋盘”图案放置在图像中。对该图像以平面视频格式进行编码。向对“棋盘”进行解码的设备发送平面视频。使用棋盘的多个部分(例如“黑”部分)来重构所述立体图像之一，而使用棋盘的另一部分(例如“白”部分)来重构另一图像。例如从该图像、在与对子样本进行编码的棋盘位置一致的位置取得子样本。

Description

兼容立体视频递送

对相关申请的交叉引用

本申请要求了通过引用整体合并于此的、提交于2008年7月20日的第61/082,217号美国临时专利申请的优先权。

技术领域

本发明涉及视频编码，更具体而言涉及立体视频编码。

背景技术

近年来，内容提供商变得对向家中递送立体(3D)内容颇感兴趣。该兴趣的驱动力是3D素材的不断普及和产生，还有对消费者来说已经可得到的多种立体设备的出现。虽然关于向家中递送立体素材提出了将具体视频观看“布置”格式主要与现有视频压缩技术如ISO MPEG-2、MPEG-4AVC/ITU-T H.264和VC-1相结合的多种系统，但是这些系统并不提供关于应当如何进行视频编码过程的信息。这结果导致立体视频编码解决方案设计不佳且性能低于标准，这在采用这样的系统时是不利的。

发明内容

本发明人已认识到需要提供与现有格式相符的3D递送系统。概略地说，本发明提供一种与现有的平面(monoscopic)递送系统后向兼容的3D递送系统。这例如允许蓝光视频盘在蓝光格式下被编码有能够在普通蓝光播放器上播放的立体数据并且向3D兼容显示设备馈送以供消费者观看。可以按照所有其它平面格式(例如包括DVD格式、HD-DVD、MPEG族、JPEG等)实践本发明。

在一个实施例中，本发明提供一种包括将立体信号嵌入到平面兼容视频基础结构中的步骤的方法。在一个实施例中，嵌入的立体信号包括这样的视频格式：其中来自第一和第二图像的像素以“棋盘”图案存储在平面兼容视频基础结构内。

在一个实施例中，该方法还包括减少待嵌入到视频基础结构中的立体图像对的像素的步骤。减少像素的步骤例如包括对立体图像对进行子采样并将子样本放置在视频基础结构的一帧中。减少像素的步骤包括对立体图像对进行滤波并将经滤波的图像混合到视频基础结构的单个帧中。可以例如对图像的一致样本、图像的相关样本进行子采样，并且/或者对立体图像中的第一图像的子采样偏离于对立体图像中的第二图像的子采样。在一个实施例中，立体图像中的第一图像的子采样位置与立体图像中的第二图像的子采样位置交替。

该方法还例如包括将子样本以网格结构布置在视频基础结构的一帧中的步骤。每个子样本例如被放置在网格结构中由该子样本占据的、与从中子采样而得到该子样本的图像中的位置对应的位置。平面兼容基础结构例如包括蓝光兼容视频格式、HD-DVD兼容视频格式、因特网传送格式、直接TV兼容视频格式、任何MPEG族格式和ATSC兼容视频格式中的任何格式。

在另一个实施例中，本发明包括一种方法，该方法包括以下步骤：减少立体图像对的像素；将减少了的像素格式化成图像图案；并将图像图案编码为平面视频格式下的一帧。减少像素的步骤例如包括对立体图像进行子采样。子采样例如包括对立体图像中的第一图像中的像素的一半进行采样并且对立体图像中的第二图像中的像素的一半进行子采样。

在各种实施例中，图像图案包括像素的网格图案，该网格图案包括棋盘，其中棋盘的“黑”像素包括从立体图像对中的第一图像中得到的像素，而棋盘的“白”像素包括从立体图像对中的第二图像中得到的像素。像素在网格图案中的位置例如包括从中得到所述像素的图像中的一致位置。

该方法还例如包括将“黑”像素解码到立体图像的第一通道中并且将“白”像素解码到立体图像的第二通道中的步骤。

本发明还可以体现在一种编码设备中，该编码设备包括：输入端口，被配置成接收包括待编码的立体图像对的比特图案；以及编码器，被配置成将每个立体图像对的至少多个部分放置到平面兼容视频编码比特流中。编码器例如被配置成产生网格结构，该网格结构包括立体图像对的每个图像的多个部分。该网格结构例如通过像素的减少和重排序来产生，该减少和重排序包括对每个图像交替地进行子采样并将子样本放置在网格结构的、与从中子采样而得到所述子样本的图像的位置对应的位置。平面兼容视频编码比特流包括ATSC格式、蓝光格式、HD-DVD格式、现有视频格式、MPEG族格式之一和其它视频格式中的至少一个。

本发明还可以体现为一种解码设备，该解码设备包括：输入端口，被配置成接收平面格式化图像信号；处理器，被配置成对平面格式化图像信号进行解码；以及图像分离器，被配置成从经解码的平面格式化图像信号的每个帧中提取第一图像并且从经解码的平面格式化图像的每个帧中提取第二图像。该解码设备还例如包括被配置成提取每个图像并将其扩展到目标设备的全帧的图像提取器。目标设备例如包括显示器、HDTV显示器、影院显示器、蜂窝电话显示器、计算机显示器中的至少一个。解码设备还可以是包括显示器的更大媒体系统的一部分，并且图像扩展器被配置成从经解码的平面格式化图像内的棋盘图案中提取用于每个图像的扩展的像素。

本发明还可以体现在接收平面格式化视频并且提取多个图像并以任何格式显示该多个图像的任何设备或方法中。在一个实施例中，该多个图像从平面格式化图像内的棋盘图案中加以提取，然后显示为3D视频。

所述设备和方法和/或其它实施例的多个部分可以在对通用计算机或联网计算机编程时方便地实施，并且结果可以显示在连接到任何通用联网计算机的输出设备上、或者发送到远程设备用于输出或显示。此外，以计算机程序、数据序列和/或控制信号呈现的本发明的任何组成部分可以体现为在任何介质(包括但不限于无线广播以及通过铜线、光纤线缆和同轴线缆等的传送)中以任何频率广播(或传送)的电子信号。

附图说明

将容易获得对本发明及其许多伴随优点的更全面认识，因为通过参照结合附图考虑的以下具体实施方式，它们变得更好理解，在附图中：

图1A是图示了根据本发明一个实施例的基本结构的框图；

图1B是根据本发明一个实施例的编码器的图；

图1C是根据本发明一个实施例的对图像进行编码和解码的系统的图；

图1D是根据本发明一个实施例的对图像进行编码、解码和显示的系统的图；

图2是图示了根据本发明一个实施例的系统拓扑的图；并且

图3是根据本发明一个实施例的图像网格结构的图示。

具体实施方式

许多当前消费者立体系统需要额外的过程——为硬件设备或软件应用——消费者必须购买并安装它们。这给工作室和消费者的市场带来重大障碍。

本发明人已认识到一种实施方式，其允许以通过将立体信号嵌入到平面兼容信号中来再使用现有电视和视频基础结构的方式传送立体信号。使用这样的实施方式，内容分发商于是将能够向家中部署立体剧院内容以便与剧院发行日尽可能接近地运用营销努力。

本发明创建一种可适合于当前HD-DVD或蓝光、广播和其它分发基础结构的分发方法，并且还允许未来系统的灵活性。具体而言，未来系统可允许传送全带宽立体信号而仍维持与老式立体设备的后向兼容性。在本发明中，一种对立体信号进行编码的方法以新颖的方式与多种图像编码和图片构造技术相结合。

现在参照其中同样的标号指示相同或对应的部分的附图，具体参照附图1，图示了根据本发明一个实施例的基本结构。左和右图像101/102包括代表立体作品的左和右图像的两个图像流或者2个静止图像。如103处所示，将所述图像以相符的手段编码并封装到例如标准HD-DVD或蓝光盘上。所得立体数据表现为标准图像，并且可以按它的编码后的形式呈现给显示器。显示器将立体数据回解码成它的左和右图像形式，其中它们被这样显示(例如HDTV 104)：即，它们表现为左和右图像105/106。

图1B是根据本发明一个实施例的编码器的图。向编码器115馈送立体图像110。将图像封装为平面格式120。平面格式包括现有平面格式，例如蓝光格式、ATSC广播或其它格式。

图1C是根据本发明一个实施例的对图像进行编码和解码的系统的图。向编码器115馈送立体图像110。将所述图像封装为平面格式120。立体图像例如是3D视频的一系列左和右通道图像。平面格式包括这样的平面视频信号：其中在视频的每个帧中封装有来自3D视频的每个帧的左和右通道图像(平面封装3D视频信号)。

平面解码器125包括用于接收平面视频的至少一个端口，并且被馈送平面封装3D视频信号。该至少一个端口例如包括HDMI端口、天线端口、S视频连接器、线缆连接器、视频/音频部件或复合连接器、网络连接器、802.11无线等中的任一个。在与传送或载波(例如802.11)相关的一些实施例中，平面视频信号还封装在相关传送或载波传输协议内，并且利用从传输协议和/或其它协议(未示出)提取平面信号的额外设备。最终，平面封装3D信号由平面解码器125接收。

平面解码器125根据例如蓝光、ATSC等平面格式的标准对平面封装3D信号进行解码。解码信号是这样的平面视频：其中视频的图像是图案解压图像130。也就是说，解码信号的每个图像或帧是这样的图案图像：其中图案包括原始立体图像110的左和右通道图像。

分离器135接受固定或可变的图案(其中图像被嵌入于解码信号(图案解压图像130))，并提取原始(原始压缩然后解压)图像(例如左和右通道图像)。分离器135可以是单独设备或者可以封装为解码系统140的一部分。

图1D是根据本发明一个实施例的对图像进行编码、解码和显示的系统的图。平面解码器125根据例如蓝光、ATSC等平面格式的标准对平面封装3D信号进行解码。解码信号是这样的平面视频：其中视频的图像是图案解压图像130。也就是说，解码信号的每个图像或帧是这样的图案图像：其中图案包括原始立体图像110的左和右通道图像。

图案识别器150将输入信号标识为标准平面视频编码信号或多图像(例如立体)编码信号。可以例如通过比较解压图案中的相邻的或者以别的方式相关的像素、或者基于3D编码平面图案构造完整图像并比较所得图像来进行识别。

基于该识别，于是相应地处理信号(例如，将信号路由至用于标准平面视频的2D显示处理155，或者将信号路由至用于平面封装3D的3D显示处理160)，然后将处理结果提供给显示器165并显示在显示器165上。在一个实施例中，图案识别器和相关联的处理/处理设备一起封装在显示器(例如HDTV)中作为例如系统170。在另一个实施例中，平面解码器也与显示器一起封装(系统175)。

图2是图示了根据本发明一个实施例的系统拓扑200的图。在图2中，向该装置呈现两个图像，一个取自左透视图而另一个取自右透视图，二者一起构成立体对。对这两个图像例如进行低通滤波210A/210B和子采样215A/215B(例如两倍)。子采样操作根据左和右图像产生左和右样本(例如像素)。子采样操作可以完成于并且可以发生在左和右图像上的一致位置，或者采样位置可随着图像的不同而偏移。优选实施例将使用如下文描述的网格(或棋盘)结构中所示的偏移采样。

然后，采样图像数据由网格结构设备/处理器220布置到3D图像网格结构中。在图3中示出了3D图像网格结构。左和右样本以交替顺序布置在每行内、然后以相反顺序布置在下一行中。该图案在整个网格内重复。在利用所描述的系统进行图像解码时，该网格结构帮助在水平和竖直维度上均提供提高的分辨率。不在一个维度上降低分辨率，而是在两个维度上、但是以更小的量降低分辨率。结果是近似0.7fs而不是0.5fs的分辨率降低。

在一个实施例中，网格结构以预定速率(例如，每帧一次)改变或交替。如图3中所示，网格结构的行在L/R和R/L图案之间交替(帧图案L/R-R/L)。整个结构亦可以在不同的帧图案之间交替。例如，第一帧包括L/R-R/L图案而第二帧包括R/L-L/R图案。

在网格以规定方式被填充有像素后，图像被呈现给图像编码器。左和右图像序列在时间上相关，并且可利用编码器，比如MPEG编码器、JPEG编码器或者在视频压缩中使用的任何其它编码器。在一个实施例中，在编码步骤(例如编码器115)中利用色空间转换和色度子采样。

然后，封装系统240使用常见传输机制来封装由图像编码器230产生的数据(例如3D编码平面图案)。传输机制例如是MPEG-2传输流或程序流。封装步骤的最终结果是创建一种与所部署的系统的后向兼容性被保留的方法。尽管该优选实施例是针对HD-DVD或蓝光盘设计的，但是适当封装的数据可使用任何数字流方法(比如因特网或常规数字电视广播)来递送。广播可采取陆地广播、闭合线缆递送系统或卫星递送系统的形式。

该系统的解码侧包括编码侧的逆。递送的比特流由分发系统呈现给解码装置。使用解复用器提取编码图像数据，并向图像解码器递送所提取的编码图像数据。图像解码器将压缩比特流转换成仍然在网格结构中的立体图像数据。然后，向显示器发送网格结构以便最终解码成左和右图像对。

通过从网格结构中去除图像数据并上采样至原始图像尺寸来实现图像的解码(例如，3D处理160例如包括分离与每个图像相关的网格结构的多个部分并对这些样本进行上转换以创建全图像)。然后，例如通过在显示屏幕上以彼此不同的“闪烁”显示每个图像、将各个图像交织成待显示的一帧或者通过其它技术，来向观看者呈现左和右图像对。

网格结构的使用向现有HD-DVD和蓝光播放器提供立体功能而不使安装的播放器过时。该系统可采用消息收发来将播放器配制成向显示器自动提供立体数据。这些消息可以按任何数目的方式(包括特殊SEI消息、MPEG私用数据或者以比特流中的Java代码)嵌入到比特流中。

虽然这里已参照立体显示器描述了本发明，但是这里的讨论通常也适用于多个图像的编码、传送和解码。事实上，特定而言，本发明包括具有多个图像的实施例。在一个实施例中，根据本发明的蓝光盘(或其它介质)可以例如包括电影或其它作品的2D和3D版本。在另一个实施例中，两个不同的2D版本(例如左和右视图)包含在介质上，使得该系统与具有多个解码器而且不希望使用所选网格或棋盘图案(无论出于什么原因)的系统兼容。

可以例如根据每个版本的复杂度分配不同版本之间的比特率。可给出多种方法(包括MCTF预分析、使用相同量化参数和比特率比率计算的基本编码(即，内部))来估计复杂度，或者复杂度可仅基于用户输入或其它因素。在一个不同的实施例中，这可以按如下方式来完成：即，在任一流中实现某个“平均”失真(这可以给定模型或用户输入来调节或者可以是相同的)。

在描述附图中所示的本发明优选实施例时，为清楚起见而采用了特定术语。然而，本发明并不意在局限于这样选择的特定术语，而是应理解每个特定要素包括以类似方式工作的所有技术等价物。例如，当描述蓝光播放器时，可以将其替换为任何其它等价设备，比如DVD播放器、HD-DVD播放器、递送内容的设备(包括存储器设备、记忆棒、相机、Ipod等)或者具有等价功能或能力的其它设备(无论这里是否列举)。

此外，本发明人认识到现在未知的新开发技术也可以替换所描述的多个部分而仍不脱离本发明的范围。事实上，特定而言，本发明预见了应用于尚未知晓或公布的新视频标准等等。所有其它所述项目和其它等价物(包括但不限于采样、滤波器、传送协议、存储协议/格式、编码器和显示器(例如LCD、LCoS、等离子、影院投影、影院投影处理器/服务器、影院存储设备、DLP设备等))也应当鉴于任何和所有可用等价物而加以考虑。

计算机领域的技术人员将容易明白，还可以使用常规通用或者根据本公开内容的教导而编程的专用数字计算机或微处理器来方便地实施本发明的多个部分。

软件领域的技术人员将容易明白，程序员可基于本公开内容的教导来容易地准备适当的软件代码。本领域的技术人员基于本公开内容容易明白，还可以通过准备专用集成电路或者通过将常规部件电路的适当网络互连来实施本发明。

本发明包括一种计算机程序产品，该产品是其上/其中存储有指令的存储介质，这些指令可用来控制或使得计算机执行本发明的任何过程。存储介质可包括但不限于任何类型的盘，包括软盘、迷你盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或DVD RW+/-、微驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存器件(包括闪存卡、记忆棒)、磁或光卡、SIM卡、MEM、纳米系统(包括分子存储器IC)、RAID器件、远程数据储存装置/文件夹/存栈或者适合于存储指令和/或数据的任何类型的介质或器件。

本发明包括存储在任何一种计算机可读介质上的软件，该软件用于控制通用/专用计算机或微处理器的硬件以及用于使计算机或微处理器能够利用本发明的结果来与人类用户或其它机构交互。这样的软件可以包括但不限于设备驱动、操作系统和用户应用。最终，这样的计算机可读介质还包括用于如上所述那样执行本发明的软件。

包含在通用/专用计算机或微处理器的程序(软件)中的是软件模块，所述软件模块用于实施本发明的教导，包括但不限于根据本发明的过程对图像进行采样、对图像数据进行滤波、将多图像数据编码成预定图案、将多图像数据编码成网格(或棋盘结构)、将多图像结构编码成平面图像格式、对平面编码数据进行解码并将解码数据扩展到多个(例如，立体3D)图像和显示器、存储装置或结果传达中。

本发明可以适当地包括如这里所述的任何要素(本发明的各种部分或特征)及其等价物、由这些要素及其等价物组成或者主要由这些要素及其等价物组成。此外，可以在没有任何要素(无论这里是否具体公开)的情况下实践这里举例公开的本发明。

本发明的各种实施例可以涉及下面的枚举的例子实施例(EEE)(其中每个都是例子)中的一个或多个，并且与上面提供的任何其它相关讨论一样，不应解释为限制目前状态的或者以后经修改、替换或添加的任何一个或多个在下面提供的权利要求。类似地，这些例子不应视为限制任何相关专利和/或专利申请(包括任何国外或国际同族申请和/或专利、分案、继续、再授权等)的任何一个或多个权利要求。例子：

枚举的例子实施例1(EEE1)。一种方法，包括将立体信号嵌入到平面兼容视频基础结构中的步骤。

EEE2.根据EEE1所述的方法，其中所述平面兼容视频基础结构包括平面兼容信号。

EEE3.根据EEE1所述的方法，其中所述立体信号包括立体图像对的比特图案。

EEE4.根据EEE1所述的方法，还包括减少待嵌入到所述视频基础结构中的立体图像对的像素的步骤。

EEE5.根据EEE4所述的方法，其中所述减少像素的步骤包括对所述立体图像对进行子采样并将子样本放置在所述视频基础结构的一帧中。

EEE6.根据EEE4所述的方法，其中所述减少像素的步骤包括对所述立体图像对进行滤波并将经滤波的所述图像混合到所述视频基础结构的单个帧中。

EEE7.根据EEE5所述的方法，其中对所述立体图像的一致样本进行所述子采样。

EEE8.根据EEE5所述的方法，其中对所述立体图像的相关样本进行所述子采样。

EEE9.根据EEE8所述的方法，其中对所述立体图像中的第一图像的子采样偏离于对所述立体图像中的第二图像的子采样。

EEE10.根据EEE8所述的方法，其中所述立体图像中的第一图像的子采样位置与所述立体图像中的第二图像的子采样位置交替。

EEE11.根据EEE10所述的方法，还包括将所述子样本以网格结构布置在所述视频基础结构的一帧中的步骤。

EEE12.根据EEE11所述的方法，其中每个子样本被放置在网格结构中由该子样本占据的、与从中子采样而得到该子样本的图像中的位置对应的位置。

EEE13.根据EEE5所述的方法，其中针对所述立体信号中的后续立体图像对重复所述子采样。

EEE14.根据EEE5所述的方法，其中所述子采样步骤包括至少两个子采样图案，并且用于对所述立体图像对中的任何特定图像进行子采样的图案与用来对另一图像进行子采样的子采样图案交替。

EEE15.根据EEE5所述的方法，还包括选择子采样图案的步骤。

EEE16.根据EEE15所述的方法，其中基于图像内容选择所述子采样图案。

EEE17.根据EEE1所述的方法，还包括将来自所述立体信号的立体图像对的像素重排序到单个图像中的步骤。

EEE18.根据EEE1所述的方法，其中现有视频基础结构包括蓝光兼容视频格式和HD-DVD兼容视频格式、因特网传送格式、直接TV兼容视频格式和ATSC兼容视频格式中的至少一个。

EEE19.一种方法，包括以下步骤：

减少立体图像对的像素；

将减少的所述像素格式化成图像图案；以及

将所述图像图案编码为平面视频格式下的一帧。

EEE20.根据EEE19所述的方法，其中所述减少像素的步骤包括对所述立体图像进行子采样。

EEE21.根据EEE20所述的方法，其中所述子采样步骤包括对所述立体图像中的第一图像中的像素的一半进行采样并且对所述立体图像中的第二图像中的像素的一半进行子采样。

EEE22.根据EEE21所述的方法，其中所述第一图像的经子采样的所述像素处于所述第一图像中的与在所述第二图像中子采样的对应位置相邻的位置。

EEE23.根据EEE19所述的方法，其中所述图像图案包括像素的网格图案，所述网格图案包括棋盘，其中所述棋盘的“黑”像素包括从所述立体图像对中的第一图像中得到的像素，而所述棋盘的“红”像素包括从所述立体图像对中的第二图像中得到的像素。

EEE24.根据EEE23所述的方法，其中所述像素在所述网格图案中的位置包括从中得到所述像素的图像中的一致位置。

EEE25.根据EEE19所述的方法，其中所述平面兼容视频基础结构包括ATSC信号格式。

EEE26.根据EEE19所述的方法，其中所述平面兼容视频基础结构包括蓝光兼容格式。

EEE27.根据EEE19所述的方法，其中所述平面兼容视频基础结构包括现有视频格式。

EEE28.根据EEE19所述的方法，其中所述平面兼容视频基础结构包括新视频格式。

EEE29.根据EEE19所述的方法，还包括以再现所述立体图像对的方式对编码帧进行解码的步骤。

EEE30.根据EEE23所述的方法，还包括将所述“黑”像素解码到立体图像的第一通道中并且将所述“白”像素解码到所述立体图像的第二通道中的步骤。

EEE31.根据EEE30所述的方法，还包括显示所述立体图像的所述第一和第二通道的步骤。

EEE32.一种编码设备，包括：

输入端口，被配置成接收包括待编码的立体图像对的比特图案；

编码器，被配置成将每个立体图像对的至少多个部分放置到平面兼容视频编码比特流中。

EEE33.根据EEE32所述的编码设备，其中所述编码器被配置成产生网格结构，所述网格结构包括立体图像对的每个图像的多个部分。

EEE34.根据EEE33所述的编码设备，其中所述网格结构包括来自每个所述立体图像对的足以再现所述图像对的数据。

EEE35.根据EEE32所述的编码设备，其中每个立体图像对的所述多个部分包括所述图像对中的像素的减少和重排序。

EEE36.根据EEE35所述的编码设备，其中像素的所述减少和重排序包括对每个所述图像交替地进行子采样并将子样本放置在网格结构的、与从中子采样而得到所述子样本的图像的位置对应的位置。

EEE37.根据EEE32所述的编码设备，其中所述平面兼容视频编码比特流包括ATSC格式、蓝光格式、HD-DVD格式、现有视频格式和其它视频格式中的至少一个。

EEE38.一种解码设备，包括：

输入端口，被配置成接收平面格式化图像信号；

处理器，被配置成对所述平面格式化图像信号进行解码；以及

图像分离器，被配置成从经解码的所述平面格式化图像信号的每个帧中提取第一图像并且从经解码的所述平面格式化图像的每个帧中提取第二图像。

EEE39.根据EEE38所述的解码设备，还包括被配置成将每个提取的图像扩展到目标设备的全帧的图像扩展器。

EEE40.根据EEE39所述的解码设备，其中所述目标设备包括显示器、HDTV显示器、影院显示器、蜂窝电话显示器、计算机显示器中的一个。

EEE41.根据EEE38所述的解码设备，其中从分散在遍及经解码的所述平面格式化图像的图案中的一组像素中提取所述第一图像。

EEE42.根据EEE38所述的解码设备，其中所述图像提取器被配置成从经解码的所述平面格式化图像内的棋盘图案中提取来自经解码的所述平面格式化图像的像素，其中提取所述棋盘图案的“黑”像素来形成所述第一图像，而提取所述棋盘图案的“白”像素来形成所述第二图像。

EEE43.根据EEE38所述的解码设备，其中所述解码设备是包括显示器的更大媒体系统的一部分，并且所述图像提取器被配置成从棋盘图案中提取来自经解码的所述平面格式化图像的像素。

显然，鉴于上述教导，对本发明的多种修改和变化是可能的。因此，应当理解，在待包含在后续提交的实用新型专利申请中的权利要求的范围以内，可以不像这里具体所述那样实践本发明。

Claims

1.一种编码设备，包括：

输入端口，被配置成接收包括待编码的立体图像对的比特图案；以及

编码器，被配置成将每个立体图像对的至少多个部分放置到平面兼容视频编码比特流中；

其中每个立体图像对的所述多个部分包括所述图像对中的像素的减少和重排序，所述减少和重排序包括对每个所述图像交替地进行子采样并将子样本放置在一结构的、与从中子采样而得到所述子样本的图像的位置对应的位置，并且

所述结构包括在所述平面兼容视频编码比特流的帧之间交替的第一帧图案和第二帧图案，其中：

所述第一和第二帧图案的每行以L／R图案或者以R／L图案布置，在所述L／R图案中，从左子样本开始以交替顺序布置左和右子样本，在所述R／L图案中，从右子样本开始以交替顺序布置右和左子样本，

所述第一帧图案的所述行从L／R图案开始在L／R图案与R／L图案之间交替，并且

所述第二帧图案的所述行从R／L图案开始在R／L图案与L／R图案之间交替。

2.一种对图像进行编码的系统的应用，其中所述应用包括由根据权利要求1所述的编码设备将多视图立体图像数据编码成平面视频格式，其中所述系统被配置成减少立体图像对的像素、将减少了的所述像素格式化成图像图案、并将所述图像图案编码为所述平面视频格式下的一帧，

其中所述图像图案以预定速率在第一像素网格与第二像素网格之间交替，

所述第一像素网格包括棋盘，其中所述棋盘的“黑”像素包括从所述立体图像对中的第一图像中得到的像素，而所述棋盘的“白”像素包括从所述立体图像对中的第二图像中得到的像素，并且

所述第二像素网格包括棋盘，其中所述棋盘的“白”像素包括从所述立体图像对中的所述第一图像中得到的像素，而所述棋盘的“黑”像素包括从所述立体图像对中的所述第二图像中得到的像素。

3.根据权利要求2所述的应用，其中所述系统还被配置成对所述立体图像中的第一图像中的像素的一部分进行采样并且对所述立体图像中的第二图像中的像素的一部分进行子采样，并且所述第一图像的经子采样的所述像素处于所述第一图像中的与在所述第二图像中子采样的对应位置相邻的位置。

4.根据权利要求2所述的应用，其中所述像素在所述网格图案中的位置包括从中得到所述像素的图像中的一致位置。

5.一种视频系统，包括：

输入端口，被配置成接收由根据权利要求1所述的编码设备编码的平面格式化图像信号；

图像分离器，被配置成从经解码的所述平面格式化图像信号的每个帧中提取第一图像并且从经解码的所述平面格式化图像的每个帧中提取第二图像，

其中所述图像分离器被配置成根据网格结构提取来自经解码的所述平面格式化图像的像素，所述网格结构以预定速率在第一网格结构与第二网格结构之间交替，

所述第一网格结构包括经解码的所述平面格式化图像内的棋盘图案，其中提取所述棋盘图案的“黑”像素来形成所述第一图像，而提取所述棋盘图案的“白”像素来形成所述第二图像，并且

所述第二网格结构包括经解码的所述平面格式化图像内的棋盘图案，其中提取所述棋盘图案的“白”像素来形成所述第一图像，而提取所述棋盘图案的“黑”像素来形成所述第二图像。

6.根据权利要求5所述的视频系统，其中所述视频系统被嵌入到移动电话中。

7.根据权利要求5所述的视频系统，其中所述图像分离器被配置成从通过所述平面视频格式的编码过程选择的图案中提取来自经解码的所述平面格式的像素。

8.一种用于图像解码和显示的方法，包括以下步骤：

由平面解码器对由根据权利要求1所述的编码设备编码的平面兼容视频基础结构的平面格式图像信号进行解码，

由图案识别器将经解码的所述信号识别为标准平面视频编码信号或平面封装3D编码信号，以及

基于所述识别将经解码的所述信号路由至用于标准平面视频的2D显示处理或者路由至用于平面封装3D视频的3D显示处理。

9.根据权利要求8所述的方法，其中通过比较解压图案中的相邻的或者以别的方式相关的像素来进行所述识别。

10.根据权利要求8所述的方法，其中通过基于3D编码平面图案构造两个完整图像并比较所得图像来进行所述识别。

11.根据权利要求8-10中的任一权利要求所述的方法，还包括：

减少立体图像对的像素；以及

将所述立体图像对嵌入到所述平面兼容视频基础结构的所述平面格式图像信号中。

12.根据权利要求11所述的方法，其中所述减少像素的步骤包括对所述立体图像对进行滤波并将经滤波的所述图像混合到所述视频基础结构的单个帧中。

13.根据权利要求11所述的方法，其中所述减少像素的步骤包括对所述立体图像的一致样本进行的子采样。

14.根据权利要求11所述的方法，其中所述减少像素的步骤包括对所述立体图像的相关样本进行的子采样。

15.根据权利要求14所述的方法，其中对所述立体图像对中的第一图像的子采样偏离于对所述立体图像对中的第二图像的子采样。

16.根据权利要求14所述的方法，其中所述立体图像对中的第一图像的子采样位置与所述立体图像对中的第二图像的子采样位置交替。

17.根据权利要求14所述的方法，其中所述子采样步骤包括至少两个子采样图案，并且用于对所述立体图像对中的任何特定图像进行子采样的图案与用来对另一图像进行子采样的子采样图案交替。

18.根据权利要求14所述的方法，还包括选择子采样图案的步骤。

19.根据权利要求18所述的方法，其中基于图像内容选择所述子采样图案。

20.根据权利要求8所述的方法，其中所述平面兼容视频基础结构包括蓝光兼容视频格式、HD-DVD兼容视频格式、因特网传送格式、直接TV兼容视频格式、ATSC兼容视频格式、现有视频格式和新开发的视频格式中的至少一个。