CN102714747A - 立体视频图形覆盖 - Google Patents

Abstract

在所解码的立体视频信号中基于二维（2D）图形图像来准备三维（3D）视频图形覆盖。这包括接收2D图形图像并且接收与3D视频图形覆盖相关联的3D信息。这还包括使用处理器再现2D图形图像以在图形窗口中形成第一视图图形图像和第二视图图形图像。这还包括使用所述3D信息将所述第一和第二视图图形图像映射到3D视频中的帧以形成3D视频流的3D视频图形覆盖。这还包括将所述3D视频图形覆盖和3D视频流进行混合。

Description

立体视频图形覆盖

优先权要求

本发明要求由Ajay K.Luthra等人于2010年1月21日提交的题为“Graphics Overlay for 3DTV”的美国临时专利申请序列号61/297,132的优先权权益，通过引用的方式将其公开整体合并于此。

背景技术

对于也被称作立体视频的三维（3D）视频的深度感知经常通过捕捉两个相关但不同的视图而经由视频压缩来提供，所述两个视图一个针对左眼而另一个则针对右眼。所述两个视图在编码处理中进行压缩并且通过各种网络被发送或存储在存储介质上。用于压缩的3D视频的解码器对所述两个视图进行解码并且然后输出经解码的3D视频以供呈现。使用各种格式来对所述两个视图进行编码、解码和呈现。各种格式出于不同原因而被采用并且可以被划分为两个宽泛的类别。在一个类别中，针对每只眼睛的两个视图利用所传送以及为了观看而呈现的两个视图的全分辨率而被保持分离。在第二类别中，使用也被称作分辨率方法的技术将视图一起融合到单个视频帧中，所述技术诸如棋盘图案、左右面板和上下面板。

在两个类别中，包括诸如“屏上显示”（OSD）和“隐藏字幕数据（CCD）”的对象或者与3D视频相关联的画中画（PIP）视频的图形图像并不像它们出现在双眼中那样在立体视频上进行适当显示。并没有对3D视频中图形的诸如OSD或CCD的所结合附加数据进行定址（address）以便所述图形在3D电视（3DTV）中所呈现的3D视频中进行立体显示的既定标准。此外，甚至诸如针对CCD的CEA 708的现有标准也并没有对二维（2D）电视显示器上所生成并显示的所有不同类型的图形对象进行定址。此外，现有标准依赖于新的基础设施的落实以针对要在2D和3D电视上显示的图形对象发送新的数据。

附图说明

根据以下参考附图所进行的描述，本公开的特征对于本领域技术人员将变得显而易见，在附图中：

图1是图示根据本公开示例的装置的框图；

图2A是图示根据本公开示例的可利用图1所示的装置进行操作的图形覆盖架构的流程图；

图2B是图示根据本公开示例的图2A所示的图形覆盖架构的缩放和再现方面的流程图；

图2C是图示根据本公开示例的图2A所示的图形覆盖架构的移位、裁剪和缩放方面的流程图；

图2D是图示根据本公开示例的图2A所示的图形覆盖架构的缩放、再现和移位方面的流程图；

图2E是图示根据本公开示例的图2A所示的图形覆盖架构的缩放、再现和移位方面的流程图；

图2F是图示根据本公开示例的图2A所示的图形覆盖架构的去交织方面的流程图；

图3A是图示根据本公开示例的能够利用图1所示的装置进行操作的图形架构中的画面的流程图；

图3B是图示根据本公开示例的能够利用图1所示的装置进行操作的图形架构中的画面的显示方面的框图；

图3C是图示根据本公开示例的能够利用图1所示的装置进行操作的图形架构中的画面的Z排序方面的框图；

图4是图示根据本公开示例的方法的流程图；

图5是图示根据本公开示例的比图4所示方法更为详细的方法的流程图；

图6是图示根据本公开示例的用于为图1所示的装置提供平台的计算机系统的框图。

具体实施方式

为了简要和说明的目的，主要通过参考其示例对本发明进行描述。在以下描述中，阐述了多个具体细节以便提供对本发明的全面理解。然而，容易显而易见的是，本发明可以在并不局限于这些具体细节的情况下进行实践。在其它实例中，并没有对一些方法和结构进行详细描述以免对本公开造成不必要的混淆。此外，以下对不同示例进行了描述。所述示例可以以不同组合一起使用或执行。如这里所使用的，术语“包括”意味着包括但并不局限于“所包括”的项目。术语“基于”意味着至少部分基于。

本公开提供了一种用于准备和映射3D图形图像的方法、装置和计算机可读介质，所述3D图形图像包括如用于诸如3DTV中所出现的3D视频的3D图形覆盖的对象和/或视频。本公开给出了用于处理和显示3D图形图像而不要求在压缩3D视频流中对任何附加元数据信息进行封装的解决方案。因此，可以在机顶盒、综合接收设备或者与接收3D视频信号相关联的其它设备中实现3D图形覆盖的3D视频。

本公开展示了一种向用于3D视频显示的覆盖中所利用的2D图形图像提供与3D图像相关联的视觉深度的装置。参考图1，示出了装置100的简化框图，其被示为诸如机顶盒的解码装置。装置100可操作成实现3D覆盖架构，诸如图2A所示的3D图形覆盖架构200或者图3A所示的图形架构300中的3D画面。以下对装置100进行更为详细的解释。

为了向2D图形对象提供视觉深度，3D图形覆盖架构200在要被转换为3D图形覆盖的2D图形对象的两个再现之间提供偏移。2D对象首先被复制到两个位置并且然后可以在两个副本之间引入偏移或移位。图2B中展示了缩放和复制的处理290，并且图2C中展示了移位的处理292。移位可以被设置为默认值，并且可以通过装置100中的设置进行预先配置或者基于诸如经由遥控器的人工用户输入进行控制。作为一般考虑，引入2D图形对象的3D深度感知的水平可以与2D图像的两个再现形式中所引入的偏移的程度成比例地相关。

偏移或移位可以是水平或垂直的。这种方式所生成的图形可以与具有透明度的3D视频进行混合。如果需要，所述透明度也可以通过可由装置100或由用户经由遥控器进行控制的alpha数值所控制。每个图形对象还可以被给予其自己的单独偏移，使得其与其它对象相比表现出不同的3D深度水平。深度水平也可以基于为了提升观看体验而由用户选择以进行交互或有选择控制的对象来控制。

图2A提供了作为3D图形覆盖架构200的综述的流程图。在图2A中，诸如压缩音频/视频（A/V）流161的压缩视频流被引入音频/视频解码处理210。音频/视频解码处理210对A/V流161进行解码以形成可以包括3D视频流的解码A/V流162。可以如下准备与解码A/V流162进行混合的3D图形覆盖260。首先生成2D图像220。2D图像220可以是任何的2D图形图像或对象，诸如屏上显示（OSD）对象、隐藏字幕对象或任何其它图形对象。然后，将2D图像220和与所要产生的期望覆盖相关联和/或与解码A/V 162相关联的3D信息225一起引入图形平面的生成230的处理。在图形平面生成230时，2D图像220被操控以生成3D图像240。然后，3D图像240可以进入3DTV深度显示的图像映射处理250。在该处理中，3D图像240被映射到预期帧以便进行3D显示。然后，经映射的3D图像成为3D图像覆盖260，其可以在将视频和图形270与解码A/V 162中的帧进行混合的处理中得以利用。就视频数据处理而言，混合是涉及将图形、视频数据和信息的不同层次合成到单个帧缓冲区中的处理。然后，经混合的信息和数据可以被用作具有3D覆盖的3D显示信号280。

图形平面的生成230可以包括图2B中所展示的缩放和复制处理290，或者类似的变化形式。针对该操作，3D信息225被加以利用。根据3D信息225，图形平面的生成230生成了如图2B所示的3D图形平面（例如，并排或上下）。在图2B中，帧缓冲区中的图形窗口保留2D图像，诸如2D图像220。然后，该图形窗口从其原始尺寸被缩小。该缩小可以是将宽度减小一半或将高度减小一半，或者类似的尺寸设置。在图2B中，图形窗口的宽度根据3D信息225而被减小一半。然后，缩小的图形窗口被再现，从而被缩小的原始图像及其副本这两个图像则在帧缓冲区中占据了与原始图形窗口类似的空间。

图形平面的生成230还可以包括图2C中所展示的偏移处理292，或者类似的变化形式。在图2C中，所示出的两个半边处于水平排列，其中左侧视图处于上方而右侧视图处于下方。如图2C所示，两个半边被移位以引入用于深度感知的偏移。

如这里所使用的，术语挤压（squeeze）和缩放可以如下描述。参考图2C，画面中的挤压意味着左侧视图的画面和右侧视图的画面被挤压成上下格式或并排格式，但是它们并不局限于此。例如，在上下格式中，将左/右视图的画面从原始高度H垂直挤压成挤压高度h/2。参考图2D，在并排格式中，画面从原始宽度W被水平挤压成挤压宽度w/2。缩放可以被用来解决如何引入深度并且可以将其应用于水平方向。

移位和裁剪是可以在图形平面的生成230中采用的处理。参考图2C，在上下格式中，首先通过视差D以相反的方向分别对上方的左侧视图和下方的右侧视图进行移位。由于移位操作，左/右视图的右侧/左侧边界处于TV屏幕所示的帧之外并且被裁剪。类似地，左/右视图的左侧/右侧边界没有视频并且被黑色像素所填充。由于移位和裁剪，丢失了右侧/左侧边界的信息。

移位和缩放也是可以在图形平面的生成230中采用的处理。参考图2D，在上下格式中，通过视差2D以相反的方向分别对上方的左侧视图和下方的右侧视图进行移位。不同于“移位和裁剪”中裁剪左/右视图的右/左边界，左右视图从原始宽度“W”被缩小至宽度“（W-2D）”。左/右视图的左/右边界没有视频并且被黑色像素所填充。通过该操作，可能维持视频帧内的所有帧信息。

移位、裁剪和缩放也是可以在图形平面的生成230中采用的处理。再次参考图2C，在上下格式中，通过视差D以相反的方向分别对上方的左侧视图和下方的右侧视图进行移位。由于移位操作，左/右视图的右/左边界处于TV屏幕所示的帧之外并且被裁剪。不同于通过黑色像素对左/右视图的左/右边界进行填充，而是将大小为（W-D）的左/右视图放大为W以填充该间隙。虽然丢失了信息，但是并没有在视频帧中招致对于3D感知而言可能令人厌恶的黑色边沿。

在3D面板格式中，图形可以利用视差在每个面板中进行挤压和重复。一种挤压图形的方式是简单地每隔一行进行丢弃。另一种挤压图形的方式是对其进行过滤以避免尺寸减小之后的混淆现象（aliasing）。执行另一种挤压分辨率的方法，使得原始图形根据3D面板格式进行水平或垂直去交织并且每个视界（field）可以被放在适当面板中。

图2F展示了去交织处理294。在图2F中，针对上下格式示出了字幕去交织的示例。C0和C1视界被去交织并分隔。然后，根据3D TV显示格式将被挤压的字幕放在顶部/底部或底部/顶部。当基于C0和C1的3D图像被转换为3D模式时，所感知的图形分辨率可以在顶部和底部平面中相对于重复字幕有所改善。

图3A提供了图形架构300中的画面的流程图，所述图形架构300与图2A的流程图中的图像覆盖架构200相类似。然而，图3A引入了3DTV深度显示的视频映射处理310，其中解码A/V 162中的视频数据也被映射作为图形320中的3D画面。这可以如以上所描述的与如以上关于图2A所描述的其它要素进行混合。首先生成2D图像220。2D图像220可以是任何的2D图形图像或对象，诸如屏上显示（OSD）对象、隐藏字幕对象或任何其它图形对象。然后，将2D图像220和与所要产生的期望覆盖相关联和/或与解码A/V 162相关联的3D信息225一起引入图形平面的生成230的处理。

在图形平面的生成230中，2D图像220被操控成生成3D图像240。现在将相对于图3B中的节目指南显示350对图形架构300中的画面进行解释。诸如节目指南显示350的节目指南显示可以包括诸如图3B所示的画中画（PIP）的子视频窗口中的视频回放。在这种情况下，视频还需要被处理以在3DTV显示器上显示节目指南显示350。视频可以是上下或并排格式的2D或3D视频。当视频为2D时，“视频输入”窗口中的图形和视频都可以被挤压/缩放，并且根据上下或并排3D格式水平或垂直地在两个位置进行复制。缩放视频的偏移也可以被增加以使得其出现在TV的内部或外部。每个图形对象和视频的偏移可以相同或不同。

如果视频以3D格式进行递送，则其可以是（1）由与3D TV显示相同的面板格式所构成的3D视频，例如两者都允许上下格式，或者（2）使用不同格式的3D视频和3D TV显示，例如，3D视频可以为上下格式并且显示可以仅接受并排格式。

在第一种情况下，视频在两眼视图的边界处被裁切为两半并且在将其与如以上所描述的缩小图形进行合成之后以相对应的一半进行显示。例如，如果3D视频为并排格式，则与子窗口相对应的视频被垂直裁切，并且左半边与对应于左半边的图形进行合成，而右半边与对应于右半边的图形进行合成。

在第二种情况下，视频格式在其被分为两半之后进行转换。例如，如果视频为上下格式而显示为并排格式，则在将其裁切为上下两半之后，每一半通过将其水平缩小并且对其进行垂直内插而被转换为并排格式的左半边，并且然后与图形的相对应一侧进行合成。在另一种方法中，如果视频为3D面板格式，则接收器可以简单地像图形那样缩小合成视频或示出画面并且像对图形所做的那样在两个半边中进行复制。

根据装置100的设置或用户偏好，用于在3D图像覆盖中显示的图形可以被指派优先级或Z顺序。经修改的图形库可以将对象Z顺序和其它信息传递至3D映射引擎。然后，基于所接收到的信息来生成深度映射。所创建的z值仅被系统中所设置的最大深度所限制。例如，Z值可以基于Z轴中所对准的对象的数目进行统一分布。在这种情况下，可以由3D映射引擎向每个图形对象提供独立的深度。如果需要，应用与以上针对上下或并排格式所描述的相同过程对每个对象提供不同深度。映射操作可以通过从具有最大Z值的图形窗口开始并且在具有最小Z值的窗口结束而以Z轴中的窗口位置的顺序进行迭代。所有迭代都可以被应用于相同的帧缓冲器。

对于具有被图形引擎指定的Z顺序的多个对象的图形，可以应用如以下所描述的附加步骤。在这种情况下，用户界面可以由以Z顺序的窗口、小组件和其它图形对象的层所构成。为了使得3D TV能够具有使用户体验基于这些Z顺序图形的深度，如果用户需要，则一个示例允许用户包括以下步骤。在第一步骤中，检索关于图形的Z顺序信息。在此之后进行深度映射创建。然后将基于Z顺序、所检索到的图形窗口的原点和大小来创建深度映射。

参考图3C，该图示出了Z轴中的一个窗口示例。首先，经修改的图形库将把小组件的Z顺序和其它信息传递至3D映射引擎。然后，基于所接收到的信息来生成深度映射。在图3C的示例中，深度映射将为(x1,y1,z1,w1,h1)(x2,y2,z2,w2,h2)(x3,y3,z3,w3,h3)，其中z1>z2>z3。注意，所创建的z值被系统中所设置的最大深度所限制。例如，Z值可以基于Z轴中所对准的对象的数目进行统一分布。

现在，对利用深度映射来映射图形进行描述。在这种情况下，可以由3D映射引擎向每个图形对象提供独立的深度。如果需要，应用如以上针对上下或并排3D格式所描述的相同过程以对不同对象提供不同深度。这通过从具有最大Z值的图形窗口开始并且在具有最小Z值的窗口结束而以Z轴中的窗口位置的顺序进行迭代。注意，所有迭代将可以被应用于相同的帧缓冲器。

图1图示了根据示例的装置100，其中装置100是综合接收设备（IRD）或机顶盒（STB）。装置100包括接收器缓冲器110、解码单元120、帧存储器130、处理器140和存储设备150。装置100接收具有压缩视频数据的传输流105，装置100包括以上相对于图3A所描述的压缩A/V161。传输流105并不局限于任何具体的视频压缩标准。装置100的处理器140基于接收器缓冲器110的容量来控制所要传送的数据量，并且可以包括诸如每时间单位的数据量的其它参数。处理器140控制解码单元120以防止出现装置100的所接收到的信号的解码操作故障。处理器140例如可以包括具有单独处理器、随机存取存储器和只读存储器的微型计算机。

例如从前端设施来提供传输流105。传输流105包括立体视频信号数据。所述立体视频信号数据可以包括在装置100处解码的画面和/或帧。装置100的接收器缓冲器110可以临时存储经由传输流105从前端设施接收到的编码数据。装置100对所接收到的数据的编码单元的数目进行计数，并且输出通过处理器140所应用的画面或帧数目信号163。处理器140以预定间隔对所计数的帧数目进行监管，所述预定间隔例如每次解码单元120完成解码操作时。

当画面/帧数目信号163指示接收器缓冲器110处于预定容量时，处理器140向解码单元120输出解码开始信号164。当帧数目信号163指示接收器缓冲器110小于预定容量时，处理器140等待所计数的画面/帧的数目变得等于预定量的情形出现。当画面/帧数目信号163指示接收器缓冲器处于预定容量时，处理器140输出解码开始信号164。编码单元可以基于编码单元的报头中的呈现时间戳（PTS）来以单调顺序（即，增加或减小）进行解码。

响应于解码开始信号164，解码单元120对相当于来自接收器缓冲器110的一个画面/帧的数据进行解码，并且输出该数据。解码单元120将解码信号162写入帧存储器130。帧存储器130具有向其中写入解码信号的第一区域，以及用于读出解码数据并将其输出到3DTV的显示器的第二区域等。

这里所公开的是用于准备在解码的立体视频信号中的三维（3D）视频图形覆盖的方法和装置。首先参考图1，示出了根据示例的IRD或STB装置100的简化框图。对本领域普通技术人员显而易见的是，图1的示图表示了一般性图示并且在不背离装置100的范围的情况下可以增加其它组件或可以去除、修改和重新布置现有组件。

IRD或STB装置100被描绘为包括作为子单元110-150的接收器缓冲器110、解码单元120、帧存储器130、处理器140和存储设备150。子单元110-150可以包括MRIS代码模块、硬件模块或MRIS和硬件模块的组合。因此，在一个示例中，子单元110-150可以包括电路组件。在另一个示例中，子单元110-150可以包括要由处理器140执行的存储在计算机可读存储介质上的代码。这样，在一个示例中，装置100包括诸如计算机、服务器、电路等的硬件设备。在另一个示例中，装置100包括其上存储有用于执行子单元110-150的功能的MRIS代码的计算机可读存储介质。以下对装置100所执行的各种功能进行更为详细的讨论。

根据示例，IRD或STB装置100用于实现准备在解码的立体视频信号中的三维（3D）视频立体覆盖的方法。相对于图4和5对可以实现装置100的子单元110-150的各种方式进行更为详细的描述，其中描绘了用于执行准备在解码的立体视频信号中的三维（3D）视频立体覆盖的方法的方法400和500的流程图。

对于本领域普通技术人员显而易见的是，方法400和500表示一般性图示并且在不背离方法400和500的范围的情况下可以增加其它框或可以去除、修改或重新布置现有框。

特别参考图1中所描绘的装置100以及图2A和3A中所描绘的架构200和300来描述方法400和500。然而，应当理解的是，方法400和500可以在与装置100以及架构200和300不同的装置中实现，而并不背离方法400和500的范围。

首先参考图4中的方法400，在框402，利用帧存储器130来执行接收2D图形图像。参考图5中的方法500，框402被引用为方法500的一部分，在方法500中再现为框402。

可以利用帧存储器113和/或处理器140来执行框404，框404接收与3D图形覆盖相关联的信息。参考图5中的方法500，框404被引用为方法500的一部分，在方法500中再现为框404。

在图4中，可以用处理器140来实现框406，框406再现2D图形图像以在图形窗口中形成第一视图和第二视图图形图像。参考图5中的方法500，框406被引用为方法500的一部分，在方法500中再现为框406。

在图4中，可以利用处理器140来实现框408，框408映射第一视图和第二视图图形图像以形成3D视频图形覆盖。参考图5中的方法500，框408被引用为方法500的一部分，在方法500中再现为框408。

在图4中，可以利用处理器140来实现框410，框410混合第一视图和第二视图图形图像以形成3D视频图形覆盖。这是方法400中最后的框。参考图5中的方法500，框410被引用为方法500的一部分，在方法500中再现为框410。

在图5中，根据本公开的示例，框402至406在方法500中与框408至410分隔开来。在方法500中，框402至404中的处理与图4所示的方法400中这些框中的相同处理相对应。

在图5中，可以利用处理器140来实现框502，框502对第一视图和第二视图图形图像进行缩放。在框502，第一视图和第二视图图形图像已经从框402中所接收到的2D图形图像得以再现。

在图5中，可以利用处理器140来实现框504，框504对第一视图和第二视图图形图像进行移位。

在图5中，可以利用处理器140来实现框506，框506对第一视图和第二视图图形图像进行裁剪。如图5所示，根据本公开的示例，在框508紧跟框504的示例中，可以绕过框506。

在图5中，可以利用处理器140来实现框508，框508对第一视图和第二视图图形图像进行重新缩放。如图5所示，根据本公开的示例，在框408紧跟框504的示例中，可以绕过框508。

在图5中，根据本公开的示例，框408至410在方法500中与框402至406分隔开来。在方法500中，框408至410中的处理与图4所示的方法400中这些框中的相同处理相对应。

图中所阐明的一些或全部操作可以作为应用程序（utility）、程序或子程序被包含在任何期望的计算机可读存储介质中。此外，所述操作可以由能够以主动和被动的各种形式而存在的计算机程序来体现。例如，它们可以作为由源代码、目标代码、可执行代码或其它格式中的程序指令所构成的（多个）MRIS程序而存在。以上任何一种都可以在体现在存储设备的计算机可读存储介质上。

计算机可读存储介质的示例包括常规计算机系统的RAM、ROM、EPROM、EEPROM以及磁盘或光盘或者磁带。前述具体示例包括程序在CD ROM上或经由互联网下载的分布。因此，所要理解的是，能够执行以上所描述功能的任何电子设备都能够执行以上所列举的那些功能。

现在转向图6，示出了计算设备600，计算设备600可以被用作用于实现或执行图4和5中所描绘的方法或者与所述方法相关联的代码的平台。应当理解的是，计算设备600的图示是一般性图示，并且计算设备600可以包括附加组件并且在不背离计算设备600的范围的情况下所描述的一些组件可以被去除和/或修改。

设备600包括处理器602，诸如中央处理器；显示设备604，诸如监视器；网络接口608，诸如局域网（LAN）、无线802.11x LAN、3G或4G移动WAN或WiMax WAN；以及计算机可读介质610。这些组件中的每一个都可以可操作地耦合至总线612。例如，总线612可以是EISA、PCI、USB、FireWire、NuBus或PDS。

计算机可读介质610可以是参与向处理器602提供指令以便执行的任何适当介质。例如，计算机可读介质610可以是非易失性介质，诸如光盘或磁盘；易失性介质，诸如存储器；以及传输介质，诸如同轴线缆、铜线和光纤。传输介质也可以采用声波、光波或射频波的形式。计算机可读介质610还可以存储其它MRIS应用，包括文字处理器、浏览器、电子邮件、即时消息、媒体播放器和电话MRIS。

计算机可读介质610还可以存储操作系统614，诸如MAC OS、MSWINDOWS、UNIX或LINUX；网络应用616；以及数据结构管理应用618。操作系统614可以是多用户的、多处理的、多任务的、多线程的、实时的，等等。操作系统614还可以执行基本任务，诸如识别来自诸如键盘或小键盘的输入设备的输入；向显示器604和设计工具606发送输出；保持对介质610上的文件和目录的追踪；控制诸如磁盘驱动器、打印机、图像捕捉设备的外部设备；以及管理总线612上的业务。网络应用616包括用于建立和维护网络连接的各种组件，诸如用于实现包括TCP/IP、HTTP、以太网、USB和FireWire的通信协议的MRIS。

数据结构管理应用618提供用于构建/更新用于如以上所描述的非易失性存储器的诸如CRS架构600的CRS架构的各种MRIS组件。在某些示例中，应用618所执行的一些或所有处理可以被集成到操作系统614中。在某些示例中，所述处理可以至少部分地以数字电路、计算机硬件、固件、MRIS或者其任何组合来实现。

这里公开的是用于准备和映射3D图形图像的方法、装置和计算机可读介质，所述3D图形图像包括如用于诸如3DTV中所出现的3D视频的3D图形覆盖的对象和/或视频。本公开给出了用于处理和显示3D图形图像而不要求在压缩的3D视频流中对任何附加元数据信息进行封装的解决方案。因此，可以在机顶盒、综合接收设备或者与接收3D视频信号相关联的其它设备中实现3D图形覆盖的3D视频。

虽然贯穿本公开的全文进行了具体描述，但是表示性的示例对于宽泛范围的应用具有效用，并且以上讨论并不被意在或不应当被解释成是限制性的。这里所使用的术语、描述和图形仅通过说明的方式进行了阐明而并非意在作为限制。本领域技术人员认识到，在示例的精神和范围内，许多变化是可能的。虽然已经参考示例对示例进行了描述，但是本领域技术人员能够对所描述的示例进行各种修改而并不背离如以下权利要求及其等同物中所描述的示例的范围。

Claims (33)

1.一种在解码的立体视频信号中基于二维2D图形图像来准备三维3D视频图形覆盖的方法，所述方法包括：

接收所述2D图形图像；

接收与所述3D视频图形覆盖相关联的3D信息；

使用处理器再现所述2D图形图像，以在图形窗口中形成第一视图图形图像和第二视图图形图像；

使用所述3D信息将所述第一视图图形图像和第二视图图形图像映射到3D视频流中的帧，以形成所述3D视频流的3D视频图形覆盖；以及

将所述3D视频图形覆盖和所述3D视频流进行混合。

2.根据权利要求1的方法，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行缩放。

3.根据权利要求1的方法，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行移位。

4.根据权利要求1的方法，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行裁剪。

5.根据权利要求1的方法，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行重新缩放。

6.根据权利要求1的方法，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的上下水平面板中。

7.根据权利要求1的方法，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的左右垂直面板中。

8.根据权利要求1的方法，其中所述2D图形图像被去交织，以再现所述第一视图图形图像和第二视图图形图像。

9.根据权利要求1的方法，其中所述2D图形图像是2D对象。

10.根据权利要求1的方法，其中所述2D图形图像是2D视频帧。

11.根据权利要求1的方法，其中准备所述3D视频图形覆盖包括：指定Z顺序显示优先级以便在3D视频显示的用户界面中利用。

12.一种存储计算机可读指令的非暂态计算机可读介质，所述计算机可读指令在被计算机系统执行时执行一种在解码的立体视频信号中基于二维2D图形图像来准备三维3D视频图形覆盖的方法，所述方法包括：

接收所述2D图形图像；

接收与所述3D视频图形覆盖相关联的3D信息；

使用处理器再现所述2D图形图像，以在图形窗口中形成第一视图图形图像和第二视图图形图像；

使用所述3D信息将所述第一视图图形图像和第二视图图形图像映射到3D视频流中的帧，以形成所述3D视频流的3D视频图形覆盖；以及

将所述3D视频图形覆盖和所述3D视频流进行混合。

13.根据权利要求12的计算机可读介质，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行缩放。

14.根据权利要求12的计算机可读介质，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行移位。

15.根据权利要求12的计算机可读介质，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行裁剪。

16.根据权利要求12的计算机可读介质，所述方法进一步包括：

对所述第一视图图形图像和第二视图图形图像进行重新缩放。

17.根据权利要求12的计算机可读介质，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的上下水平面板中。

18.根据权利要求12的计算机可读介质，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的左右垂直面板中。

19.根据权利要求12的计算机可读介质，其中所述2D图形图像被去交织，以再现所述第一视图图形图像和第二视图图形图像。

20.根据权利要求12的计算机可读介质，其中所述2D图形图像是2D对象。

21.根据权利要求12的计算机可读介质，其中所述2D图形图像是2D视频帧。

22.根据权利要求12的计算机可读介质，其中准备所述3D视频图形覆盖包括：指定Z顺序显示优先级以便在3D视频显示的用户界面中利用。

23.一种用于在解码的立体视频信号中基于二维2D图形图像来准备三维3D视频图形覆盖的装置，所述装置包括：

处理器，所述处理器用于

接收所述2D图形图像；

接收与所述3D视频图形覆盖相关联的3D信息；

使用处理器再现所述2D图形图像，以在图形窗口中形成第一视图图形图像和第二视图图形图像；

使用所述3D信息将所述第一视图图形图像和第二视图图形图像映射到3D视频流中的帧，以形成所述3D视频流的3D视频图形覆盖；以及

将所述3D视频图形覆盖和所述3D视频流进行混合。

24.根据权利要求23的装置，其中所述处理器用于：

对所述第一视图图形图像和第二视图图形图像进行缩放。

25.根据权利要求23的装置，其中所述处理器用于：

对所述第一视图图形图像和第二视图图形图像进行移位。

26.根据权利要求23的装置，其中所述处理器用于：

对所述第一视图图形图像和第二视图图形图像进行裁剪。

27.根据权利要求23的装置，其中所述处理器用于：

对所述第一视图图形图像和第二视图图形图像进行重新缩放。

28.根据权利要求23的装置，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的上下水平面板中。

29.根据权利要求23的装置，其中所述第一视图图形图像和第二视图图形图像被放在所述图形窗口的单独的左右垂直面板中。

30.根据权利要求23的装置，其中所述2D图形图像被去交织，以再现所述第一视图图形图像和第二视图图形图像。

31.根据权利要求23的装置，其中所述2D图形图像是2D对象。

32.根据权利要求23的装置，其中所述2D图形图像是2D视频帧。

33.根据权利要求23的装置，其中准备所述3D视频图形覆盖包括：指定Z顺序显示优先级以便在3D视频显示的用户界面中利用。

Images