CN102106153B - 字幕的3d显示处理 - Google Patents

Abstract

一种创建三维图像信号的方法包括：接收第一图像成分；接收用于与第一图像成分组合来创建三维图像的第二成分；接收用于包含在三维图像中的文本成分；接收数据成分，其包括描述文本成分在所述三维图像内的位置的位置信息；以及创建包括第一图像成分、第二成分、文本成分和数据成分的三维图像信号。所述信号是通过从第一图像成分和第二成分再现三维图像而被再现的，该再现包括再现所述三维图像中的文本成分，所述文本成分的再现包括调节在所再现的文本成分的位置中三维图像的三维参数。

Description

字幕的3D显示处理

技术领域

本发明涉及三维（3D）图像信号的创建和再现。在一个实施例中，本发明提供字幕在3D显示器上的自动最优定位，这使得观看者的疲劳减弱。

背景技术

当前，出现了对3D电视的兴趣的复苏，这与显示技术最近的突破有关，该突破允许为多个观看者良好地再现3D视频。这些突破之一是自动立体3D透镜状显示器，但是还存在其他类型的显示器，比如基于自动立体屏障的显示器和基于背投技术的时分复用立体显示器。典型地，这些类型的显示器使用两种基本视频格式中的一种作为输入以便为观看者创建3D印象。基于立体的显示器使用时序交错和眼镜来显示两个分离的视图，每只眼睛一个，并且因此期待立体视频作为输入。这些显示器的实例是基于时分复用的背投影的立体显示器，并且该类型的系统也被用在3D电影院中，其主要可替代方案是多视图自动立体显示器，其不需要眼镜并且经常使用被称为图像+深度的输入格式作为输入以生成3D印象。关于3D显示技术的更多信息可以在Oliver Shreer等人的“3D video communication-Algorithms concepts and real time systems in human centered communication”（Wiley 2005）的第13章中找到。

所述立体视频格式是简明的，因为它提供两个图像，每只眼睛一个。典型地，这两个图像在空间上或以时序方式交错并且随后被送入显示器。被称为图像+深度的可替代格式的不同之处在于：它是2D图像与所谓的“深度”（或视差图）的组合。这典型地是灰度图像，由此像素的灰度值指示针对相关联的2D图像中的对应像素的视差（或在深度图的情况下的深度）的量。当显示器再现3D图像时，该显示器使用视差或深度图来计算将2D图像作为输入的附加视图。这可以通过多种方式来完成，在最简单的形式中，其实就是根据与像素相关联的视差值将那些像素向左或向右移位的问题。Christoph Fen的题为“Depth image based rendering,compression and transmission for a new approach on 3D TV”的论文给出了该技术的概要。

自动立体的和（基于时序的）立体3D显示器的问题是，被称为调节-集合（accommodation-convergence）失配的问题。这是这样的一个问题：观看者的眼睛集中在正被显示的对象的虚拟位置上，同时眼睛在显示器的表面上调节自身（以看到图像锐化）。该失配可能引起头痛和其他与运动病相关联的症状。此外，针对左眼和右眼的视图之间的任何几何的（特别是任何纵视差）以及电气的差异（亮度、对比度等）可以另外引起视觉疲劳。然而，如果视差的量保持较小（其小于一度），则这些问题不太严重并且用户可以观看内容而没有任何明显的问题。更详细的描述参见Sumio Yano等人的“Two factors in visual fatigue caused by stereoscopic HDTV images”,Displays 2004 pages 141 to 151 Elsevier。

当再现设备正在显示诸如字幕或隐藏式字幕之类的文本时，可能会发生与上述问题相似的问题。如果依赖于显示器的类型和设置文本被不适当地定位在屏幕上，则例如由于左眼视图和右眼视图之间的串扰使得该文本可能出现模糊，并且观看者可能感觉疲劳。而且所述模糊可能影响文本的可读性也是事实。根据E.Legge（参见Gordon E. Legge等人的“Psychophysics of Reading: I. Normal Vision”, Vision Research, Vol 25, No.2, pages 239 to 252, 1985），如果文本的带宽低于每字符两个循环，则阅读受损。模糊是自动立体显示器的一个问题，因为典型地牺牲分辨率以生成多个视图，并且对于立体显示器而言，通常在两个视图之间存在次优分离的问题，这可能增加了图像的模糊。而且，根据Yano（上文所引用的），深度运动增加了视觉疲劳。

被预见的另一个问题是，观看者可以（通过例如他们的遥控器上的一些按钮）调节3D电视中的视差量和深度平面的相对位置。这些调节装置意味着当文本远离深度中性位置或增加“深度”时，文本可能变得模糊，从而引起视觉疲劳。

美国专利申请公布US 2005/0140676公开了一种用于在三维图中显示多级文本数据的方法。在该公布所描述的系统中，三维图被显示在屏幕上，并且具有不同密度级的文本数据根据从所显示的三维图的视点到将显示文本数据的各节点的距离而被显示，从而改进了文本数据的可读性。而且，可以通过局部地调节屏幕上文本数据的密度来显示文本数据。通过借助透视投影方法将具有二维坐标的图数据转换为具有三维坐标的图数据来在显示面板的屏幕上显示三维图。要被显示的文本数据连同三维图被转换为具有由三维图的视点定义的原点的三维坐标系统中的文本数据和三维图。转换后的文本数据被投影在二维平面上以被转换为具有屏幕坐标的文本数据。随后，从被显示的三维图的视点到将显示文本数据的各节点的距离被分类。针对被转换的具有屏幕坐标的文本数据确定分类的这些距离。对应于所确定的距离的各级文本数据被显示在显示面板的屏幕上，其上显示了三维图。

尽管在三维图在二维显示设备上的表示的上下文中，根据该公布的文本数据的处理以对用户有意义的方式被定位和缩放（scaled），但是它没有解决上文确定的、涉及在三维显示设备中显示文本的任何问题。

文献JP2004-274125描述了3D信号生成。复用器复用两个图像成分和字符数据，该字符数据将在接收端处被叠加。该3D图像信号具有单独的文本数据流。

文献EP 0905988描述了3D图像显示装置，其接收两个3D图像信号，例如视频和字符数据，该第二信号将被叠加。最大深度值是从第一信号获取的。第二信号的视差被控制为在第一信号之前。

文献WO2008/038205描述了与菜单信息组合显示的3D信号。提出了将显示器的3D深度范围划分为用于显示不同3D信号的子范围。

文献WO2006/111893描述了用于显示与文本信息组合的视频的3D深度感知。生成包含覆盖数据（文本）和覆盖指示符图的3D视频信号。该覆盖信息指示像素覆盖还是非覆盖（即视频）。覆盖像素可以定位在再现设备中的不同深度处。该覆盖信息仅仅指示覆盖（文本）本身，从而使得文本本身在再现设备中是可修改的。

发明内容

因此，本发明的一个目的是改进已知的技术。根据本发明的第一方面，提供一种创建用于在显示器上再现的三维图像信号的方法，该方法包括：

- 接收第一图像成分，

- 接收用于与第一图像成分组合来创建三维图像的第二成分，

- 接收用于包含在所述三维图像中的文本成分，

- 接收数据成分，其包括描述文本成分在所述三维图像内的位置的位置信息，以及

- 创建三维图像信号，其包括第一图像成分和第二成分，其中创建三维图像信号的步骤包括使文本成分包含在第一图像成分中，创建三维图像信号的步骤包括使数据成分包含在三维图像信号中以便使显示器能够调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第二方面，提供一种用于创建在显示器上再现的三维图像信号的设备，该设备包括：

- 接收器，其被布置为接收第一图像成分、用于与第一图像成分组合来创建三维图像的第二成分、用于包含在所述三维图像中的文本成分以及包括描述文本成分在所述三维图像内的位置的位置信息的数据成分，以及

- 复用器，其被布置为创建包括第一图像成分和第二成分的三维图像信号，该创建包括使文本成分包含在第一图像成分中，三维图像信号的创建包括使数据成分包含在三维图像信号中以便使显示器能够调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第三方面，提供一种用于在显示器上再现的三维图像信号，该三维图像信号包括：第一图像成分；用于与第一图像成分组合来创建三维图像的第二成分；和用于包含在所述第一图像成分中的文本成分，该三维图像信号包括：包含描述文本成分在所述三维图像内的位置的位置信息的数据成分以便使显示器能够调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第四方面，提供一种再现三维图像信号的方法，该方法包括：

- 接收如上文定义的三维图像信号，

- 从第一图像成分和第二成分再现三维图像，该再现包括调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第五方面，提供一种用于再现三维图像信号的设备，该设备包括：

- 接收器，其被布置为接收如上文所定义的三维图像信号；

- 显示器，其被布置为从第一图像成分和第二成分再现三维图像，该再现包括调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第六方面，提供一种在计算机可读介质上用于创建在显示器上再现的三维图像信号的计算机程序产品，该产品包括多个指令，其用于：接收第一图像成分；接收用于与第一图像成分组合来创建三维图像的第二成分，接收用于包含在所述三维图像中的文本成分；接收包括描述文本成分在三维图像内的位置的位置信息的数据成分；以及创建包括第一图像成分和第二成分的三维图像信号，创建三维图像信号包括使数据成分包含在三维图像信号中以便使显示器能够调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明的第七方面，提供一种在计算机可读介质上用于再现在显示器上再现的三维图像信号的计算机程序产品，该产品包括多个指令，其用于：接收如上文定义的三维图像信号；从第一图像成分和第二成分再现三维图像，该再现包括调节在再现的文本成分的位置中三维图像的三维参数以处理图像的包含文本的部分，该处理不同于对图像的其余部分的处理。

根据本发明，可以改进3D显示器上诸如字幕之类的文本的可读性。该改进的可读性基于以下事实：附加的参数被发送到3D显示器，从而使得显示器可以处理图像的包含字幕的部分，该处理不同于对图像的其余部分的处理。显示器随后可以确保字幕在文本的深度、锐度和总体可读性方面以最佳方式自动定位。本发明的应用适用于比如连接到3D显示器并且正在显示3D内容和相关联的字幕的蓝光光盘播放器和DVD或HD-DVD播放器之类的系统。本领域技术人员将清楚，图像信号可以进一步通过比如因特网或内联网之类的数字网络部分地或完整地获得。

文本、特别是字幕应当在离屏幕的有限深度范围内被显示并且在整个呈现期间它们不必改变深度。如果文本的深度必须保持恒定，则这也会造成定位的问题，因为视频的深度可能改变并且因此在某些场景期间可能遮蔽文本的多个部分。总之，当在3D立体显示器上显示字幕或隐藏式字幕时必须考虑下列因素：视差的量应当小于一度；文本的带宽应当保持高于每字符两个循环；文本必须保持在相对于屏幕的恒定深度处；以及文本不应当被视频对象模糊。

这些条件可以通过根据本发明的改进的系统来满足。可以通过调节“深度”图的、涉及字幕或隐藏式字幕的位置的部分来完成对视差量的控制。一些显示器需要立体输入，在这些情况下将更难以控制播放器中的视差量，但是这仍然是可能的。

为了满足带宽约束，播放器必须确保文本的分辨率足够高、重影（ghosting）保持最小并且移动文本的速度不太高。为了满足这些因素，回放设备必须发送针对显示器分辨率足够的字幕或隐藏式字幕，并且必须调节深度以使得重影被最小化。这典型地意味着文本的深度应当保持中性（尽可能靠近屏幕）。然而，这可能造成一个问题：当视频的深度动态地变化时，视频的多个部分可能遮蔽文本的多个部分。该问题通过动态地调节文本的深度以确保它保持在前面来解决。然而，这意味着文本将改变深度，根据Yano，这可能引起视觉疲劳。通过发送关于文本位置的信息并且调节文本位置中3D图像的3D参数，这些问题被克服。

尽管优选地文本的深度应当在更长的时间周期内被固定，但是可以允许改变，例如以便实现特定的3D效果。

有利地，创建三维图像信号的步骤包括在第一图像成分中包含文本成分。该文本成分（例如字幕）可以直接包含在第一图像成分中，并且不需要作为分离的成分来转送。将要再现3D图像的接收装置仍然可以控制字幕区域中的3D显示参数，即使该字幕被嵌入到信号的第一图像成分中。

优选地，创建三维图像信号的步骤包括创建包括第一图像成分、第二成分、文本成分和数据成分的单个图像帧。信号中的所有这些成分可以被组合成单个图像帧，其中信号的不同成分占据图像帧的不同部分。这是组合构成信号的元素的便利的方法，并且可以用于利用现有标准，例如HDTV，其支持相对较高的帧分辨率。一种成分，比如定义了最终信号内文本成分的位置的数据成分，可以包含在图像帧的头部中而不是包含在帧的实际图像数据内。

理想地，创建三维图像信号的步骤包括：包含用于第一图像成分和第二成分中每个成分的背景信息。如果再现设备的输出也包含背景信息，则可以改进最终结果的质量。这允许基于背景信息中的数据定位待调节的字幕以将字幕放置在3D显示器区域的、具有相对较低关注度的部分中。

优选地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括：减小所感知的在再现的文本的位置中三维图像的深度。该再现设备可以调节3D图像在字幕的位置中的感知的深度使之超越例如深度图中规定的所请求的深度。在3D显示设备的要实际包含字幕的特定区域中，随后可以减小显示内容的感知的深度以便减弱观看者眼睛上的任何紧张。

有利地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括：减少三维图像在再现的文本的位置中的视图的数量。通过减少由3D显示设备显示的视图的数量，可以减少文本的重影或模糊。而且，在具有局部可开关透镜配置的透镜状显示器中，可以在显示器的字幕所在的部分中关闭各透镜。这可能导致包含字幕的3D图像的所述部分中正在显示的图像更清楚，对应地降低了观看者眼睛的紧张。

理想地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括：保持三维图像的视差低于再现的文本的位置中的预定阈值。诸如一度的特定阈值可以被设置为包含字幕的3D图像的区域中所允许的视差量的极限。这将辅助观看者感知字幕而不过度地使这些观看者的眼睛紧张，因为视差的减少将使得3D显示设备的观看者观看更加舒适。

附图说明

现在将仅仅通过实例并参照附图描述本发明的实施例，在附图中相似的数字被用于指示相似的元件或功能：

图1是说明3D图像的创建的示意图，

图2是3D回放系统的示意图，

图3是示出在3D回放系统中内容和数据流的示意图，

图4是3D回放系统的回放设备的示意图，

图5是示出在创建输出时平面的使用的示意图，

图6是3D图像信号的示意图，

图7是增强的3D图像信号的示意图，

图8是另一增强的3D图像信号的示意图，

图9是与图4相似的回放设备的第二实施例的示意图。

图10是置于3D图像中的文本的示意图。

具体实施方式

在图1中示意性说明了三维图像的创建。基本上，无论最后的再现显示设备是自动立体的还是在立体像对上运行（需要用户佩戴特殊的眼镜），所述过程是相同的。第一图像成分10和第二成分12被提供用于创建三维图像14。第二成分12与第一图像成分10的组合被一起处理以产生最后的输出14。在所有系统中，第一图像成分10是任何适当标准的常规二维图像帧。在立体像对系统中，第二成分12也是图像，并且在自动立体系统中，第二成分12是深度图或视差图。

重要的是理解最后的输出14不必是单个帧。例如，在立体像对系统中（其中图像10用于左眼，而图像12用于右眼），随后这两个成分10和12可以顺序地被示出。在非时序自动立体系统中，图像10和深度图12被用于从图像10创建多个相似的视图，其中深度图被用于生成产生各个视图所必需的对图像10的改变。这些视图随后被并入到单个帧14中。例如，最终的再现显示设备可以被控制以示出四个个别视图，所有这四个视图都是从相同的图像10生成的。这些视图随后被分条拼接在一起，每个视图的分辨率是显示设备的分辨率的四分之一。

第一图像成分10可以包括例如包括表示场景的视图的例如RGB或YUV信息的像素单元的二维阵列/图像，如用于立体视图内容、多视图内容或图像+深度内容的情况。如上所述，第二成分12可以是像素单元的二维阵列/图像。在立体视图内容或多视图内容的情况下，这可以是相同场景的另一视图，然而在图像＋深度内容的情况下，这可能是所谓的包括视差或深度信息的视差/深度图。图像输出14可以包括例如使用表示随时间变化的一个或多个场景的多个帧的视频图像信号。

图2说明了3D回放系统，其中例如提供了承载针对3D影片的第一和第二成分10和12的盘16。盘16例如可以是蓝光标准DVD。盘16由诸如蓝光DVD播放器之类的回放设备18来播放。视频接口20用于将成分10和12传送到3D电视22。电视22包括再现级24，其实时处理成分10和12以生成3D输出14（如上按照图1所讨论的）。用户26正在观看再现显示设备22，并且可以经由适当的用户接口和遥控设备（未示出）向设备22提供用户设置28。

在这样的系统中，回放设备18支持字幕（或事实上任何文本，例如菜单）的使用。例如，对于盘16而言，常规在盘16上所存储的信息的数据部分内包括比如外语字幕之类的字幕。在盘16上的实际影片内容开始回放之前，这些字幕可以由用户经由屏幕上菜单来选择。这些字幕随后被显示设备22显示，从而覆盖了正在再现的3D内容。如上所讨论的，回顾现有技术，在许多情形中，3D显示系统中字幕的显示可能引起观看者眼睛紧张和劳累。本发明的系统提供一种以将改进现有技术的问题的方式显示字幕（或事实上任何文本）的方法。

所提供的解决方案是，允许显示器22识别到来的视频流中的文本（例如字幕）并且因此处理该文本，其处理方式不同于视频信号的其余部分的处理方式。显示器22可以例如确保文本保持在视频的前面，或压缩和回推视频信号的深度以确保文本不突出（如国际专利申请公布WO 2008/038205中所述）。此外，显示器22可以例如通过成为可开关的具有不同的透镜配置（在透镜状显示器的情况下）或通过支持更少的视图来提供特定地被设计用于显示文本的屏幕的部分。由于在3D自动立体显示器上文本的可读性对自动立体显示器技术而言几乎是固有的问题，所以进一步期望在显示器方面可以受益于能够识别到来的视频信号中的字幕当前无法预测的改进。

将用于字幕的文本单独发送到显示器的一种方式是通过传输作为隐藏式字幕信息的文本，其包含在用于用在Ceefax或Teletext的欧洲（PAL）中的NTSC的模拟视频的线21中。然而，在通过HDMI传输高清晰度视频时，隐藏式字幕信息当前不被支持。当前为了解决这个问题，诸如DVD或蓝光光盘播放器之类的回放设备解码位于MPEG流中的隐藏式字幕信息并且将该隐藏式字幕信息在传送到显示器之前覆盖在视频上面。所以，要使用该解决方案将需要将HDMI规范扩展为包括隐藏式字幕信息的传输。本领域技术人员将清楚上述解决方案也可以应用于其他数字显示器接口。

另一种解决方案是，在回放设备18与显示器22之间提供双向通信链路，从而使得当用户调节显示器22中的深度设置时，回放设备18被告知该变化。作为结果，回放设备18可以调节字幕的定位。优选的实施例是，允许回放设备18处理字幕的定位和到视频上的覆盖并且向显示器22指示存在字幕以及字幕定位在哪里。显示器22随后可以确信与字幕相关联的“深度”值被映射到对于那个特定显示器22和相关联的用户设置28而言最优的深度。这具有附加的优点：显示器22在再现级中不需要字幕或隐藏式字幕解码器。

在一个实施例中，实现了系统的改进，其中如图2所示的播放器设备18调节字幕的定位从而使得文本在视频前面，同时使视差量保持低于一度。优选地，播放设备18在输出流内插入元数据信息，其向显示设备22标识字幕是否关于x、y和z（“深度”）位置被定位在显示器的投影容积中以及定位在什么地方。在这种情况下，显示设备22中的再现级24依赖于前述元数据信息和用户优选的设置28（关于视差量和相对位置）调节显示器的投影容积中字幕的定位，同时保持该定位以使得重影保持最小并且视差量保持低于一度。此外，显示器22（如果如此配备）将字幕定位在显示器表面的特殊部分上，该特殊部分可以在2D与3D之间切换或者（例如通过支持更少的视图或有限的视差量）支持更少的重影和更高的光学分辨率。

在一个实施例中，文本成分30基本上是平坦的，并且/或者当深度范围与文本30相关联时，则该深度范围受限于阈值，从而使得各个视图之间的视差受限于特定的范围，该特定范围可以是预定的范围，比如一到两个像素。在文本成分30基本上是平坦的优选实施例中，文本成分是基于文本的文本成分，而不是基于位图的文本成分；由此实现了文本成分30的特别紧凑的表示。

在图3中说明了图2的系统中的内容和数据流。盘16包括第一图像分量10和第二分量12，加上作为字幕的文本分量30。用户指令32被回放设备18接收，该用户指令表明用户希望将字幕30随同他们打算观看的3D影片一起显示。回放设备18将分量10和12连同字幕30和包括描述文本分量30在最终3D图像14内的位置的位置信息的数据分量34提供给再现器24。回放设备包括用于从各种成分各自的源接收这些成分的接收器和用于将这四个元素10、12、30和34组合为被再现器24接收的三维图像信号36的复用器。

字幕信息34可以与图像数据10和12分离地发送到再现器24，即也许不在活动图像区域中而是在头部中，或者在数据岛中、或者在帧的不包含图像数据的部分中。例如可以以正常帧速率的两倍发送视频流，其中一个帧包括图像数据10和12，而另一个帧包括深度（可选地也包括解除遮蔽）信息并且还包括用于字幕30和位置信息34的特别区域。

再现器24随后被布置为根据第一图像成分10和第二成分12再现三维图像14，该再现（包括再现三维图像14中的文本成分30），文本成分30的再现包括调节在再现的文本成分30的位置中三维图像14的一个或多个三维参数。通过再现器24所进行的调节，文本成分30本身可以完全未被改变。重要的因素是，再现器将调节正在文本30的位置中显示的图像14的多个部分的参数。这可以包括减小在图像14的该区域处3D图像的感知的深度，或者可以包括减少（自动立体显示设备中）视图的数量或两个或更多调节的组合。对于再现器24而言，还可以不仅包括改变要在其中显示字幕30的区域的深度，而且包括偏移（offset）以便向前或向后移动整个深度范围。该偏移可以针对字幕30独立于图像数据14的剩余部分而被控制。

在使用自动立体显示器的实施例中，第二成分12包括深度图，而再现3D图像14的方法可以进一步包括在再现三维图像14之前缩放（scaling）第二成分12，以便使得文本成分30放置在如由数据成分34指定的位置处。在这种情况下，再现器可以进一步接收包括第二成分12的推荐的缩放的推荐者成分，以使得位置信息对于多个连续的图像而言可以保持相同。作为使用该推荐者成分的结果，使得在字幕/图形被关闭时以及当字幕/图形被打开时最大化场景的深度成为可能，以使用调节到图像信号的预定缩放成分来再现包括字幕/图形的内容。

图4中示出回放设备18的实例，其为示出解码和呈现平面的使用的蓝光光盘解码器18。ROM驱动38接收盘16并读取由组件40解调和解码的内容。一组并行缓冲器42存储解码的信号的不同成分，并且这些成分经过一组并行解码器44以提供将由显示器22显示的输出，该输出是标准的视频46和覆盖的内容（为字幕和菜单等等）。

在蓝光系统中，盘字幕可以是基于位图的或基于文本和相关字体的，此外播放器18提供对隐藏式字幕信息的支持。技术上，两种系统有点相似，尽管隐藏式字幕经常提供更多的信息并且被特别地针对听力受损提供。基于文本以及基于位图的字幕和隐藏式字幕二者都被解码并被呈现在蓝光光盘中的呈现平面之一上。图4示出解码器18和多个平面，其示出与视频结合的文本的实例。文本总是被呈现在呈现图形（PG）平面上；该平面在回放设备18中被覆盖到视频（平面）上并且作为一个组合的呈现而被呈现到输出上。图5示出组合的呈现50的实例。该输出50根据主电影平面52、呈现平面54和交互式平面56来构造。如图5所示的输出50通过视频接口20（如图2所示）被发送到显示器22。在优选实施例中，除了输出50之外，回放设备18能够将包含3D数据34的附加信息发送到显示器22。这使得3D显示器22能够显示回放设备18的组合的视频、文本和图形输出的3D表示。

图6示出这种用于发送到3D显示器22的组合输出的实例。正在使用的3D系统是图像和深度输出的实例。第一图像成分10和第二成分12（为深度图）将通过显示设备22而被组合以制造3D图像。文本成分30包含在第一成分10内，并且事实上完整的内容（三个成分10、12和30）可以被构造为单个高清晰度帧。

图7示出指示字幕30的位置的附加头部。该头部包括数据成分34，其包括描述文本成分在三维图像内的位置的位置信息58，这里该位置信息被示出为x和y坐标，尽管根据深度图12的内容也将呈现z分量。所述头部允许最终的再现设备对3D输出进行调节以考虑字幕30的存在性。

被传输的附加参数可以包含在图像数据之上的头部中，如描述于“3D interface Specifications-white paper”，Philips 3D解决方案，http://www.business-sites.philips.com/assets/Downloadablefile/ Philips-3D-Interface-White-Paper-13725.pdf，其符合国际专利申请公布WO 2006/137000A1，或例如在HDMI标准的数据岛中。这些参数由关于字幕是否存在以及它们在如图7所示的输入视频中的位置的指示构成。显示设备22随后可以确保位于该位置处的图像部分的视差不超过一度并且保持恒定，即使用户通过输入命令增加了由显示设备22显示的视差量。

如果播放器18的输出还包括遮蔽（occlusion）或背景信息，则可以改进最后结果的质量。图8中示出了这一点。为了避免伪影，字幕30应当定位在图像的最活跃的部分之外，例如在顶部或底部。图8示出图像、深度和背景输出格式。背景成分60和62分别被提供用于第一图像成分10和第二成分12。

最后的图像14内的字幕30的位置可以包括字幕的Z位置的引用。例如，可以利用Z位置扩展蓝光光盘文本字幕解码器模型和相关联的组分信息（特别是对话风格设定，9.15.4.2.2节），从而使得原始内容作者可以指示在3D显示器的Z方向投影空间中应当将字幕定位在什么地方。在蓝光光盘标准中定义了文本字幕解码器和相关的流。文本字幕解码器在8.9节中定义并且由各种处理元件和缓冲器构成。图9示出解码器模型的简化图片，该模型被扩展以便处理具有相关联的文本成分（比如字幕30）的3D图像。

图9示出3D文本字幕解码器模型。从左到右的文本字幕片段进入解码器18，在解码器中由文本流处理器64处理并解码这些文本字幕片段。解码的文本数据被放置在对话缓冲器66中，同时解码的文本字幕组分信息被放置在组分缓冲器72中。控制器74解释组分信息并在其被文本再现器68（使用字体文件80）再现之后将该解释的组分信息应用到文本并且将结果放置在位图缓冲器70中。在最终步骤中，位图图像被播放器18合成到适当的图形平面上。用户输入78也被控制器78接收，这可以影响例如显示器的深度参数。

除了基于文本的字幕之外，蓝光光盘（BD）还支持基于位图图像、所谓的呈现图形（PG）的字幕。同样，PG-字幕的Z-位置需要在盘上被指定，优选地接近已经定义的X，Y-位置信息。当后者被存储在组分_对象（）结构中时，合理的是利用字幕的Z-位置扩展它，例如通过使用在偏移位26处开始的保留位（reserved bits）。如遍及本申请而使用的术语文本成分被用于指基于文本的字幕和/或这样的位图图像。

解码器18扩展加入了附加的位图缓冲器76，其保存了指示文本字幕30在Z-方向上应当定位在哪里的深度或视差图。深度或视差信息可以包含在如蓝光规范中所定义的对话风格设定中。一种用于实现这一点的方法是，利用区域_深度_位置针对对话风格设定进行扩展。区域_深度_位置是8位字段，其值在0到255之间，但是将来这可以扩展。控制器74基于区域_深度_位置字段的值来确定正确的深度或视差图像素值。该值到用于深度或视差图的颜色值的转换依赖于在播放列表的3D_元数据字段中承载的或在MPEG-2节目映射表（ISO/IEC 13818-1）中承载的3D元数据。该信息的语法由ISO/IEC 23002-3中的MPEG定义。

随后，字幕30的Z位置被提供给再现器24，该再现器在再现3D图像14时可以考虑字幕30的Z位置以供3D显示设备22显示。图10示出通过使用区域_深度_位置字段定位深度的3D空间实例。图像14包括放置在平面82中的字幕30。平面82指示零深度处空间中的位置，其他线指示3D空间中的三个方向x，y和z。

除了包括深度区域以指示空间中字幕应当定位于其中的区域，甚至还可以通过增加用于文本30本身的单独深度而进一步深入，并且指定不是作为平面而是作为空间中的立方体的区域。这可以例如通过利用区域_深度位置和区域_深度_长度来扩展对话风格设定中的区域位置字段来完成。可以针对指示文本在区域内部的确切位置的文本框位置进行相同的操作。

字体文件80可以用于包括浮雕的字体风格，因为已经表明这改进了在3D中所得文本的可读性。在蓝光规范的表9-75中描述了多种字体风格，可替代地为此使用字体轮廓厚度字段，其为蓝光规范的表9-76。这两个表在最后保留了为此目的可使用的字段。浮雕的字体风格将是表9-75中的值0x08，并且对于浮雕的字体轮廓厚度而言该值将是表9-76中的值0x04。

有利地，用于基于文本的和基于PG的字幕的Z-位置是相同的并且仅仅需要每流（即每字幕语言）存储一次。技术人员将清楚，在BD盘上存在许多可替代的位置用于存储字幕的该共享的Z-位置。这样的可替代位置的实例在下文描述。互联网资源http://www.bluraydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf（通过引用合并于此）包括关于BD格式和下面引用的格式中的结构的其他背景信息。

字幕的共享的Z-位置可以例如被存储在定义为播放列表的扩展数据的新表中。BD规范中的播放列表是指示一起形成标题（比如电影）的呈现的视听内容项序列的列表。该播放列表结构提供一种通过其扩展数据而进行未来扩展的机制。用于各种语言流的字幕平面（PG-平面）的“Z”位置可以包括在被称为偏移_元数据表的新表中。表1示出该表的细节。

而且，当播放列表包括允许回放立体多角度视频数据的播放项目的情况下，则用于覆盖图形（例如字幕）的“Z”位置对于每个立体多角度视频剪辑而言可以是不同的。因此，偏移_元数据针对播放项目中引用的每个立体多角度视频剪辑而言也应当允许不同的“Z”位置。在这样的情况下，偏移_元数据表针对每个立体多角度视频剪辑包括用于字幕的覆盖的不同“Z”位置。这些不同的“Z”位置随后可以利用用于每个需要用于字幕的覆盖的不同“Z”位置的多角度视频剪辑的标识符来引用。表2示出了表1如何可以扩展为支持用于不同立体多角度视频片段的不同“Z”位置的实例。表1和2中StreamID和AngleID参考分别用作盘上的基本流（包含字幕内容）和（多）角度立体视频片段的唯一标识符。

代替使用扩展数据，也可以定义特别用于3D流的回放的新播放列表表结构并且在那里包括“Z”位置参数。传统播放器回放的问题可以通过提供盘上的新的索引表（用户可选择的标题的列表）或使用列出了只能由3D激活的播放器来播放的标题的索引表的扩展数据而被避免。

可替换地，如果信息应当被提供在播放列表中的现有表中，则该信息可以包含在STN_Table_SS()中。这是个列出了与播放项目相关联的视频和图形流的表。按照播放项目，它包含了具有用于每个文本和位图字幕流的流编码信息（属性）的环。我们提出在相同环中包括“Z”位置信息作为流属性信息。

使用播放列表存储用于每个字幕流的“Z”参数的一个问题是数据复制。多个播放列表可以引用相同的字幕流。该限制可以通过在剪辑信息文件中包含“Z”位置元数据来克服。该剪辑信息文件列出了与包括A/V内容和字幕流的MPEG传输流相关的元数据。该剪辑信息文件可以被扩展加入与被提出用于播放列表扩展数据的表相似的表。然而，由于该剪辑信息文件与MPEG传输流相关联，它通过包标识符（PID）列出字幕基本流。因此，我们提出针对指示字幕流的PID的每个PID条目提供“Z”位置元数据。

可替代地，不是在扩展数据中定义新表，而是将“Z”位置存储在剪辑信息文件中的节目信息表中。节目信息表提供一起形成A/V内容的呈现的基本流列表。它包含与MPEG系统ISO/IEC 13818-1中定义的PMT表相似的信息。我们提出，对于包含字幕信息的每个基本流我们提供“Z”位置元数据。该元数据可以包含在节目信息本身中或包含在节目信息表的子表、流编码信息表中。它提供关于编码和用于传输流中存在的字幕流的语言代码的细节。流编码信息表还具有一些保留的字段，我们提出使用这些保留字段来承载与用于特定语言代码的字幕流相关联的“Z”位置参数。

如果要求“Z”位置每隔几秒发生变化，则应当使用剪辑信息文件中的CPI（）表。该CPI信息是列出进入用于特技播放的视频流的入口点。入口点的列表可以被扩展加入“Z”位置参数，其指示每个入口点的覆盖诸如字幕之类的任何图形所处的“深度”位置。

可替代地，如果“Z”位置信息是帧精确的，则它应当包括在相关的视频流的SEI消息中。SEI（标记消息）是嵌入在MPEG基本流中的包，其承载可以被解码器用来辅助解码内容的参数。MPEG还允许嵌入私人用户数据SEI消息；这些将被标准解码器忽略，但是可以被修正的解码器使用。用户数据SEI消息可以被定义为承载应当被覆盖在视频上的任何覆盖诸如字幕的“Z”位置。为了提供每（语言）流的“Z”信息，我们提出列举所述盘上提供的所有字幕流的“Z”值。

表1，用于存储偏移元数据的表的实例。

本领域技术人员将清楚，可以在多种处理平台上实现处理步骤，比如3D图像的再现或复用步骤。这些处理平台的范围可以是：专用电路和/或半导体设备、可编程逻辑设备、数字信号处理器或者甚至通用处理器。同样，也可以有利地使用组合的软件和硬件实现方式。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述将被认为是说明性的或示范性的而非限制性的；本发明不限于所公开的实施例。

表2，用于存储被扩展加入每立体多角度视频片段不同的字幕“Z”位置元数据的偏移元数据的表的实例。

本领域技术人员在实践要求保护的本发明时通过研究附图、公开和所附权利要求能够理解并实现对所公开的实施例的其他变形。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”不排除多个。单个处理器或其他单元可以实现权利要求中叙述的若干个项目的功能。在相互不同的从属权利要求中记载某些措施的起码事实并不表示这些措施的组合不能被有利地使用。一种计算机程序可以被存储/分布在适当的介质（比如与其他硬件一起提供的或作为其一部分的光学存储介质或固态介质）上，但是也可以以其他方式分布，比如经由互联网或其他有线或无线电信系统来分布。权利要求中的任何附图标记不应当被解释为对范围的限制。

Claims (9)

1.一种创建用于在三维显示器设备上再现的三维图像信号的方法，包括：

- 接收第一图像成分，

- 接收第二成分，其用于与第一图像成分组合来创建三维图像，

- 接收文本成分，其用于包含在所述三维图像中，

- 接收数据成分，其包括描述文本成分在所述三维图像内的位置的位置信息， 

- 创建包括第一图像成分、第二成分、文本成分和数据成分的三维图像信号，

- 其中创建三维图像信号的步骤包括将文本成分嵌入在第一图像成分中，

- 所述位置信息描述三维图像内包括再现的文本成分、以及基于第一图像成分和第二成分的三维图像的一部分的区域，以及其中，

- 创建三维图像信号的步骤包括使数据成分包含在三维图像信号中以使得三维显示器设备能够通过保持三维图像的视差低于由所述位置信息指示的区域中的预定阈值来调节该区域中三维图像的三维参数。

2.根据权利要求1的方法，其中创建三维图像信号的步骤包括：创建包括第一图像成分、第二成分、文本成分和数据成分的单个图像帧。

3.根据权利要求1或2的方法，其中创建三维图像信号的步骤包括：包含用于第一图像成分和第二成分的每个成分的背景信息。

4.一种用于创建在三维显示器设备上再现的三维图像信号的设备，包括：

- 接收器，其被布置为接收第一图像成分、用于与第一图像成分组合来创建三维图像的第二成分、用于包含在所述三维图像中的文本成分，以及包括描述文本成分在所述三维图像内的位置的位置信息的数据成分，以及

- 复用器，其被布置为创建包括第一图像成分、第二成分、文本成分和数据成分的三维图像信号，

- 该创建包括使文本成分嵌入在第一图像成分中，

- 所述位置信息描述三维图像内包括再现的文本成分、以及基于第一图像成分和第二成分的三维图像的一部分的区域，以及其中，

- 三维图像信号的创建包括使数据成分包含在三维图像信号中以便使显示器能够通过保持三维图像的视差低于由所述位置信息指示的区域中的预定阈值来调节该区域中三维图像的三维参数。

5.根据权利要求4所述的设备，其中所述预定阈值为一度的角度视差。

6.一种再现三维图像信号的方法，包括：

- 接收所述三维图像信号，所述三维图像信号包括第一图像成分、用于结合第一图像成分创建三维图像的第二成分、以及包含在第一图像成分内的文本成分、包含位置信息的数据成分，所述位置信息描述三维图像内包括再现的文本成分、以及基于第一图像成分和第二成分的三维图像的一部分的区域，以及其中，

- 从第一图像成分和第二成分再现三维图像，该再现包括通过保持三维图像的视差低于由所述位置信息指示的区域中的预定阈值来调节该区域中三维图像的三维参数。

7.根据权利要求6的方法，其中第二成分包括深度图，并且所述方法进一步包括在再现三维图像之前缩放第二成分以使得在如由数据成分指定的区域中进行深度调节。

8.根据权利要求7的方法，并且进一步包括：接收包括第二成分的推荐的缩放的推荐者成分，以使得位置信息对于多个连续的图像而言能保持相同。

9.一种用于再现三维图像信号的三维显示器设备，包括：

- 接收器，其被布置为接收三维图像信号，所述三维图像信号包括第一图像成分、用于结合第一图像成分创建三维图像的第二成分、以及包含在第一图像成分内的文本成分、包含位置信息的数据成分，所述位置信息描述三维图像内包括再现的文本成分、以及基于第一图像成分和第二成分的三维图像的一部分的区域，

- 三维显示器设备，其被布置为从第一图像成分和第二成分再现三维图像，该再现包括通过保持三维图像的视差低于由所述位置信息指示的区域中的预定阈值来调节该区域中三维图像的三维参数。

10. 根据权利要求9的三维显示器设备，其中所述预定阈值为一度的角度视差。

Images