CN102090071B - 数据结构生成方法、再现设备和再现方法 - Google Patents

Abstract

本发明公开了数据结构、再现设备、再现方法和程序，其可适用于各种类型的显示器并且使在显示器中执行的信号处理变得容易。在根据本发明的3D视频格式中，使用并排图像SbSP的基本信号BS及子图像SuP的可选信号OS，其中子图像SuP是通过将下面描述的关于并排图像SbSP的L图像LP的三种图像排列在一起而获得的。即，子图像SbP包括L图像的深度图像、隐藏在L图像中包含的物体后面的图像以及隐藏在物体后面的图像的深度图像。本发明适用于3D显示器。

Description

数据结构生成方法、再现设备和再现方法

技术领域

本发明涉及数据结构、再现设备、再现方法和程序。本发明具体地涉及这样的数据结构、再现设备、再现方法和程序，它们适用于常用的采用LR图像显示方式(偏光式、液晶快门式，等等)的显示器及使用从至少三个视点(多视角)观看的图像(双凸透镜方式)的显示器，并且能够提供使显示器中执行的信号处理变得容易的3D视频格式。 

背景技术

一般而言，具有显示3D(三维)视频图像功能的各种类型的显示设备(下文中称为“3D显示设备”)已经得到使用。此外，用于3D显示的各种类型的视频格式(下文中称为3D视频格式)已经得到使用。 

因此，理论上可以采用一种3D显示设备和3D视频格式的大量组合方式。然而，应当采用有助于并且优化视频显示的信号处理的最优组合方式。 

例如，使用左眼用图像(下文中称为“L图像”)和右眼用图像(下文中称为“R图像”)的3D视频格式适合于采用偏光式的3D显示设备和采用液晶快门式的3D显示设备。注意，下文中，这种3D显示设备被称为“采用LR图像显示方式的3D显示设备”。 

此外，例如，使用二维图像和深度图像的3D视频格式适合于采用使用从三个或更多个视点(多视角)观看的图像的方式的3D显示设备，即，采用所谓的双凸透镜方式的3D显示设备(例如参见非专利文献1)。 

引用列表 

非专利文献 

NPL 1：web site of Royal Philips Electronics(皇家飞利浦电子公司的网站)＞home page(主页)＞3D solutions＞About，″searchedin 7 July，2008″，″http://www.business-sites.philips.com/3dsolutions/about/Index.html″ 

发明内容

技术问题 

然而，尚未开发出适用于常用的不同类型的3D显示器并且使显示所需的信号处理变得容易的3D视频格式。 

例如，如上所述，已被一般人使用的采用LR图像显示方式的3D显示设备基本采用使用L图像和R图像的3D视频格式。因此，如果要在采用LR图像显示方式的3D显示设备中显示使用二维图像和深度图像的3D视频格式的3D视频图像，则需要基于该3D视频格式生成L图像和R图像的功能。然而，该功能的额外实现是不现实的(因为这种实现的负担很大)。即，使用二维图像和深度图像的3D视频格式不适合于采用LR图像显示方式的3D显示设备。 

另一方面，例如，当要在采用双凸透镜方式的3D显示设备中显示使用L图像和R图像的3D视频格式的3D视频图像时，需要基于该视频格式生成二维图像和深度图像的功能。然而，实现这种功能在技术上是困难的。即，使用L图像和R图像的3D视频格式不适合于采用双凸透镜方式的显示器。类似地，使用L图像和R图像的3D视频格式不适合于采用除双凸透镜方式以外的其他使用从三个或更多个视点(多视角)观看的图像的方式的显示器。 

因此，需要实现一种3D视频格式，其可用于常用的LR图像显示方式(偏光式、液晶快门式，等等)和使用从三个或更多个视点(多视角)观看的图像的方式，并且使显示所需的信号处理变得容易。然而，这一需要还未得到充分满足。 

鉴于该情形作出了本发明，本发明提供了一种3D视频格式，其 可用在常用的采用LR图像显示方式(偏光式、液晶快门式，等等)的显示器和采用使用从三个或更多个视点(多视角)观看的图像的方式的显示器中，并且使显示所需的信号处理变得容易。 

解决方案 

根据本发明的一个实施例，提供了一种数据结构，包括用在第一3D(三维)视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像相对应的图像数据及与R图像相对应的图像数据，在第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应的图像数据。 

第二数据结构可包括隐藏在二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像。 

根据本发明的另一实施例，提供了一种数据结构，包括用在第一3D(三维)视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像相对应的图像数据及与R图像相对应的图像数据，在第二3D视频图像显示方式中利用至少二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应的图像数据。 

根据本发明的另一实施例，提供了一种再现设备，再现设备再现具有以下数据结构的图像数据，该数据结构包括用在第一3D(三维)视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像 相对应的图像数据及与R图像相对应的图像数据，在第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应的图像数据，当要再现具有上述数据结构的图像数据时，在使用采用第一3D视频图像显示方式的显示单元的情况下，从第一数据结构的图像数据中获得的、与L图像相对应的图像数据及与R图像相对应的图像数据被再现，并且在使用采用第二3D视频图像显示方式的显示单元的情况下，第一数据结构的与L图像或R图像相对应的图像数据被再现并且第二数据结构的深度图像被再现。 

第二数据结构还可包括隐藏在二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像，并且当使用采用第二3D视频图像显示方式的显示单元时，再现设备除了再现深度图像以外，还再现与第二数据结构的图像数据相对应的、隐藏在物体后面的图像及隐藏在物体后面的图像的深度图像。 

根据本发明又一实施例的再现方法和程序对应于上述根据本发明实施例的再现设备。 

根据所述再现设备、再现方法和程序，具有以下数据结构的图像数据按下述方式被再现，该数据结构包括用在第一3D(三维)视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像相对应的图像数据及与R图像相对应的图像数据，在第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应的图像数据。即，在使用采用第一3D视频图像显示方式的显示单元的情况下，从第一数据结构的图像数据中获得的、与L图像相对应的图像数据和与R图像相对应的图像数据被再现，并且在使用采用第二3D视频图像显示方式的显示 单元的情况下，第一数据结构的与L图像或R图像相对应的图像数据被再现，并且第二数据结构的深度图像被再现。 

本发明的有利效果 

根据本发明，本发明可适用于常用的采用LR图像显示方式(偏光式、液晶快门式，等等)的显示器和使用从至少三个视点(多视角)观看的图像(双凸透镜式)的显示器。此外，使显示所需的信号处理变得容易。此外，可以提供实现这些功能的3D视频格式。 

附图说明

图1是图示根据相关技术的使用L图像和R图像的3D视频格式的示意图。 

图2是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。 

图3是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。 

图4是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。 

图5是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。 

图6是图示根据本发明的3D视频格式的例子的示意图。 

图7是图示根据本发明的另一3D视频格式的示意图。 

图8是图示根据图7中所示的本发明的3D格式配置的再现设备，即，应用了本发明的再现设备的配置的框图。 

图9是图示图8中所示的再现设备的再现处理的流程图。 

图10是图示根据本发明的另一3D视频格式的示意图。 

图11是图示根据图10中所示的本发明的3D格式配置的另一再现设备，即，应用了本发明的再现设备的配置的框图。 

图12是图示由图11中所示的再现设备执行的再现处理的例子的流程图。 

图13是图示根据图10中所示的本发明的3D格式配置的又一再现设备，即，应用了本发明的再现设备的配置的框图。 

图14是图示由图13中所示的再现设备执行的再现处理的流程图。 

图15是图示用作根据本发明的3D视频格式的元数据的例子的角度θ的示意图。 

图16是图示介质中存储有图15中所示的角度θ的部分的示意图。 

图17是图示介质中存储有图15中所示的角度θ的另一部分的示意图。 

图18是图示图15中所示的角度θ的使用的示意图。 

图19是图示用作应用本发明的再现设备的计算机的配置的框图。 

附图标记列表 

21：再现设备 

22：介质 

23：采用LR图像显示方式的3D显示器 

24：采用双凸透镜方式的3D显示器 

31：主控制器 

32：读取单元 

33：基本信号(base signal)解码器 

34：可选信号(optional signal)解码器 

35：48Hz逐行信号(progressive signal)生成器 

41：再现设备 

42：介质 

43：采用LR图像显示方式的3D显示器 

44：采用双凸透镜方式的3D显示器 

51：主控制器 

52：读取单元 

53：L基本信号解码器 

54：R基本信号解码器 

55：可选信号解码器 

56：48Hz逐行信号生成器 

57：并排信号生成器 

58：48Hz逐行信号生成器 

201：CPU 

202：ROM 

203：RAM 

208：存储单元 

211：可移动介质 

具体实施方式

首先，将描述传统的3D视频格式以帮助对本发明的理解。 

如图1所示，例如，在使用L图像和R图像的3D视频格式中，通过将水平方向上L图像LP的像素数目减半而获得的图像和通过将水平方向上R图像RP的像素数目减半而获得的图像被布置在水平方向上，从而获得单个图像SbSP，并且使用图像SbSP的视频信号。注意，图像SbSP在下文中被称为并排(side-by-side)图像SbSP。 

采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备通过对并排图像SbSP的视频信号执行信号处理来显示L图像LP和R图像RP。 

在这种情况下，当佩戴特殊眼镜的用户观看3D显示设备时，右眼看见L图像LP且左眼看见R图像RP。结果，用户看见了3D图像。 

另一方面，在使用二维图像和深度图像的3D视频格式中，使用如图2所示的二维图像2DP的视频信号和如图3所示的深度图像DeP的视频信号。 

二维图像2DP可以在一般的显示设备以及3D显示设备中显示。 

深度图像DeP是这样一个图像，其中关于二维图像2DP的深度的信息由灰度级表示。深度图像DeP具有这样一种特性，其中在一区 域具有较亮的灰度级时，该区域看起来在3D显示设备中位于前侧。例如，在图2和3的例子中，足球看起来位于前侧。注意，深度图像DeP的编码方式由MPEG-C(ISO/IEC 23002)标准化。 

此外，在根据非专利文献1的双凸透镜方式的3D视频格式中，除了二维图像2DP和深度图像DeP的视频信号以外，还使用图4中所示的“隐藏在物体后面的图像BP”和图5中所示的“图像BP的深度图像BDep”的视频信号。 

“隐藏在物体后面的图像BP”是当要基于二维图像2DP和深度图像DeP生成从三个或更多个视点(多视角)观看的图像时、用于呈现从某一视点看到的物体(二维图像2DP中包括的图像，即，图2和4所示的例子中的足球)的背景图像(图4所示的例子中的房子)所需的二维图像。 

“图像BP的深度图像BDep”是用灰度级表示关于“隐藏在物体后面的图像BP”的深度的信息的图像。 

采用双凸透镜方式的3D显示设备基于二维图像2DP和深度图像DeP生成从三个或更多个视点(多视角)观看的图像并显示该图像。采用双凸透镜方式的3D显示设备在生成从三个或更多个视点(多视角)观看的图像时使用“隐藏在物体后面的图像BP”和“图像BP的深度图像BDep”。 

采用双凸透镜方式的3D显示设备能够允许用户在无需佩戴眼镜的情况下观看三维图像。即，3D显示设备的表面由大致U形的透镜构成。因此，右眼看到的图像和左眼看到的图像根据观看3D显示设备表面的用户的眼睛的位置而改变。结果，用户可以看到并识别从不同的三个或更多个视点获得的不同图像。 

上面已参考图1至5描述了传统的3D视频格式。 

接下来，参考图6，将描述应用本发明的3D视频格式(下文中称为“根据本发明的3D视频格式”)的例子。 

在图6所示的根据本发明的3D视频格式的例子中，除了并排图像SbSP的视频信号以外，还使用通过收集以下三个关于并排图像 SbSP的L图像LP的图像而获得的图像Sup(下文中称为“子图像SuP”)的视频信号：L图像的深度图像、隐藏在L图像中包含的物体后面的图像、以及隐藏在物体后面的图像的深度图像。在这种情况下，排列这些图像的方式不受限制。在图6所示的例子中，通过将L图像水平方向上的像素数目减半且垂直方向上的像素数目减半而获得的隐藏在L图像中包含的物体后面的图像以及该图像的深度图像被按照该顺序从上至下垂直排列，并且通过将L图像水平方向上的像素数目减半而获得的L图像的深度图像被排列在这些图像的左侧，从而构成子图像SuP。 

注意，由采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备执行的3D显示所需的视频信号在下文中被称为“基本信号BS”。另一视频信号，即，在使用从三个或更多个视点(多视角)(双凸透镜方式)观看的图像的3D显示设备的情况下所需的视频信号被称为“可选信号OS”。 

具体而言，在图6所示的例子中，并排图像SbSP的视频信号用作基本信号BS。子图像SuP的视频信号用作可选信号OS。 

因此，利用这些信号名，根据本发明的3D视频格式使用基本信号BS和可选信号OS。 

在这种情况下，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备可以通过对基本信号BS执行信号处理来显示L图像LP和R图像RP。因此，当佩戴特殊眼镜的用户观看3D显示设备时，右眼观看L图像LP且左眼观看R图像RP，因此，用户识别出3D图像。 

换句话说，基本信号BS并不限于图6中所示的例子，只要使用能够在采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备中分别显示L图像LP和R图像RP的格式即可。注意，基本信号BS的另一例子将在下面参考图10描述。 

此外，采用双凸透镜方式的3D显示设备使用基本信号BS的L图像LP作为二维图像2DP、可选信号OS的L图像的深度图像作为 深度图像DeP来生成从三个或更多个视点(多视角)观看的图像，并显示该图像。采用双凸透镜方式的3D显示设备在生成从三个或更多个视点(多视角)观看的图像时使用隐藏在L图像中包括的物体后面的图像和隐藏在物体后面的图像的深度图像。 

换句话说，可选信号OS并不限于图6中所示的例子，只要使用采用双凸透镜方式的3D显示设备可用于生成从三个或更多个视点(多视角)观看的图像的图像格式即可。 

例如，基本信号BS的R图像RP可以用作二维图像2DP。在这种情况下，如图7所示，通过收集以下三个关于并排图像SbSP的R图像RP的图像而获得的图像可以用作可选信号OS的子图像SuP:R图像的深度图像、隐藏在R图像中包含的物体后面的图像、以及隐藏在R图像的物体后面的图像的深度图像。在这种情况下，排列这些图像的方式不受限制。在图7所示的例子中(还参考图6中所示的例子)，通过将R图像水平方向上的像素数目减半且垂直方向上的像素数目减半而获得的隐藏在R图像中包含的物体后面的图像以及该图像的深度图像被按照该顺序从上至下垂直排列，并且通过将R图像水平方向上的像素数目减半而获得的R图像的深度图像被排列在这些图像的左侧，从而构成子图像SuP。 

图8是图示根据本发明根据图6和7中所示的例子的3D格式而配置的再现设备的示意图。即，图8中所示的再现设备21是应用了本发明的再现设备的实施例。 

图8中所示的例子的再现设备21包括主控制器31、读取单元32、基本信号解码器33、可选信号解码器34和48Hz逐行信号生成器35。 

介质22记录通过对根据本发明的3D视频格式的两种视频信号(基本信号BS和可选信号OS)进行编码而获得的流。假定视频信号是根据24Hz逐行式记录的。 

此外，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备23和采用双凸透镜方式的3D显示设备24可连接到再现设备21。 

主控制器31控制再现设备21的整体操作。即，主控制器31控制包括读取单元32、基本信号解码器33、可选信号解码器34和48Hz逐行信号生成器35在内的各个块的操作。注意，没有示出表示从主控制器31到各个块的连接的箭头以改善图像的可视性，而代之以示出了白色的箭头。白色箭头的含义在其他图中是相同的。 

读取单元32从介质22读取基本信号BS并将基本信号BS送至基本信号解码器33。此外，读取单元32从介质22读取可选信号OS并将可选信号OS送至可选信号解码器34。 

注意，基本信号BS和可选信号OS可以作为不同的流被记录在介质22中，或者可以作为单个复用流被记录在介质22中。在后一情况下，读取单元32从介质22读取复用流，将复用流分割为基本信号BS和可选信号OS，并将信号送至下一级中的相应信号处理器。 

基本信号解码器33对已编码的基本信号BS进行解码以获得24Hz逐行基本信号BS。之后，基本信号解码器33将24Hz逐行基本信号BS送至采用LR图像显示方式的3D显示设备23和48Hz逐行信号生成器35。 

采用LR图像显示方式的3D显示设备23对24Hz逐行基本信号BS执行信号处理以显示L图像LP和R图像RP。 

可选信号解码器34对已编码的可选信号OS进行解码以获得24Hz逐行可选信号OS。之后，可选信号解码器34将24Hz逐行可选信号OS送至48Hz逐行信号生成器35。 

48Hz逐行信号生成器35逐个帧地交替排列24Hz逐行基本信号BS和24Hz逐行可选信号OS，以生成要提供给采用双凸透镜方式的3D显示设备24的48Hz逐行信号。 

采用双凸透镜方式的3D显示设备24使用与从48Hz逐行信号生成器35输出的48Hz逐行信号相对应的图像中的L图像LP作为二维图像2DP，并且使用L图像的深度图像作为深度图像DeP，以生成从三个或更多个视点(多视角)观看的图像并显示该图像。采用双凸透镜方式的3D显示设备24在生成从三个或更多个视点(多视角)观看 的图像时使用隐藏在与从48Hz逐行信号生成器35输出的48Hz逐行信号相对应的图像中的L图像中所包含的物体后面的图像并且使用该图像的深度信号。 

图9是图示由图8中所示的再现设备21执行的处理(下文中称为“再现处理”)的流程图。 

在步骤S1中，再现设备21的主控制器31判断输出目的地是否对应于采用双凸透镜方式的3D显示设备24。 

当输出目的地对应于采用LR图像显示方式的3D显示设备23时，在步骤S1中判断结果是否定的。然后，读取单元32从介质22读取基本信号BS并将基本信号BS提供给基本信号解码器33。之后，处理进行到步骤S2。 

在步骤S2中，基本信号解码器33对已编码的基本信号BS进行解码以生成24Hz逐行信号(基本信号BS)。在步骤S6中，基本信号解码器33将信号输出到采用LR图像显示方式的3D显示设备23。这样，再现处理终止。 

另一方面，当输出目的地对应于采用双凸透镜方式的3D显示设备24时，在步骤S1中判断结果是肯定的。然后，读取单元32从介质22读取基本信号BS并将基本信号BS提供给基本信号解码器33。此外，读取单元32从介质22读取可选信号OS并将可选信号OS提供给可选信号解码器34。之后，处理进行到步骤S3。 

在步骤S3中，基本信号解码器33对已编码的基本信号BS进行解码以生成第一24Hz逐行信号(基本信号BS)。第一24Hz逐行信号(基本信号BS)被提供给48Hz逐行信号生成器35。 

在步骤S4中，可选信号解码器34对已编码的可选信号OS进行解码以生成第二24Hz逐行信号(可选信号OS)。第二24Hz逐行信号(可选信号OS)被提供给48Hz逐行信号生成器35。 

注意，步骤S3和步骤S4的处理顺序并不特别限于图9中所示的顺序。具体而言，步骤S4中的处理可以在步骤S3中的处理执行之前执行，或者步骤S3中的处理和步骤S4中的处理可以基本上同时执行。 在任一种情况下，在步骤S3中的处理和步骤S4中的处理终止之后，处理进行到步骤S5。 

在步骤S5中，48Hz逐行信号生成器35逐帧地交替排列第一24Hz逐行信号(基本信号BS)和第二24Hz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。 

在步骤S6中，48Hz逐行信号生成器35将信号输出到采用双凸透镜方式的3D显示设备24。这样，再现处理终止。 

上面已描述了图6和7中所示的例子作为根据本发明的3D格式。之后，上面已描述了根据图6和7中所示本发明的3D格式配置的再现设备的实施例。 

注意，本发明并不特别限于该实施例，而是可以采用各种实施例。 

例如，图10是图示不同于图6和7中所示例子的根据本发明的3D视频格式的例子的示意图。 

在图10所示的根据本发明的3D视频格式中，取代并排图像SbSP，使用了原始L图像LP和原始R图像RP。具体而言，L图像LP和R图像RP的视频信号被用作基本信号。下文中，前一图像的基本信号，即，L图像LP的视频信号被称为“L基本信号LBS”。此外，后一图像的基本信号，即，R图像RP的视频信号被称为“R基本信号RBS”。 

具体而言，在图10所示的根据本发明的3D视频格式的例子中，使用了基本信号BS和可选信号OS。 

在图10所示的例子中，具有与图6所示相同格式的子图像SuP的视频信号被用作可选信号OS。注意，可选信号OS并不限于图6中所示的例子，例如，可以使用具有与图7所示相同格式的子图像SuP的视频信号。 

图11是图示根据图10中所示本发明的3D格式配置的另一再现设备的配置的框图。即，再现设备41是不同于再现设备21的再现设备的实施例。 

图11中所示的再现设备41包括主控制器51、读取单元52、L 基本信号解码器53、R基本信号解码器54、可选信号解码器55、48Hz逐行信号生成器56、并排信号生成器57和48Hz逐行信号生成器58。 

介质42记录通过对根据本发明的3D视频格式的三种视频信号(即，L基本信号LBS、R基本信号RBS和可选信号OS)进行编码而获得的流。视频信号是根据24Hz逐行方式记录的。 

此外，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备43和采用双凸透镜方式的3D显示设备44可连接到再现设备41。 

主控制器51控制再现设备41的整体操作。即，主控制器51控制包括读取单元52、L基本信号解码器53、R基本信号解码器54、可选信号解码器55、48Hz逐行信号生成器56、并排信号生成器57和48Hz逐行信号生成器58在内的各个块的操作。 

读取单元52从介质42读取L基本信号LBS并将L基本信号LBS送至L基本信号解码器53。读取单元52从介质42读取R基本信号RBS并将R基本信号RBS送至R基本信号解码器54。此外，读取单元52从介质42读取可选信号OS并将可选信号OS送至可选信号解码器55。注意，L基本信号LBS、R基本信号RBS和可选信号OS可以作为不同的流被记录在介质中，或者可以作为单个复用流被记录在介质中。在后一情况下，读取单元52从介质读取单个复用流，将复用流分割为L基本信号LBS、R基本信号RBS和可选信号OS，并将这些信号送至下一级中的信号处理单元。 

L基本信号解码器53对已编码的L基本信号LBS进行解码以获得24Hz逐行L基本信号LBS，并将24Hz逐行L基本信号LBS送至48Hz逐行信号生成器56和并排信号生成器57。 

R基本信号解码器54对已编码的R基本信号RBS进行解码以获得24Hz逐行R基本信号RBS，并将24Hz逐行R基本信号RBS送至48Hz逐行信号生成器56和并排信号生成器57。 

48Hz逐行信号生成器56逐帧地交替排列24Hz逐行L基本信号LBS和24Hz逐行R基本信号RBS以生成48Hz逐行信号，并将该48Hz 逐行信号送至采用LR图像显示方式的3D显示设备43。 

采用LR图像显示方式的3D显示设备43对48Hz逐行信号执行信号处理以显示L图像LP和R图像RP。 

可选信号解码器55对已编码的可选信号OS进行解码以获得24Hz逐行可选信号OS，并将该24Hz逐行可选信号OS送至48Hz逐行信号生成器58。 

并排信号生成器57利用24Hz逐行L基本信号LBS和24Hz逐行R基本信号RBS生成并排图像SbSP的视频信号(下文中称为“并排信号”)，并将该并排信号送至48Hz逐行信号生成器58。具体而言，并排信号具有与从图8中所示的基本信号解码器33输出的24Hz逐行基本信号BS相同的格式。 

48Hz逐行信号生成器58逐帧地交替排列24Hz逐行并排信号和24Hz逐行可选信号OS以生成48Hz逐行信号，并将该48Hz逐行信号送至采用双凸透镜方式的3D显示设备44。 

采用双凸透镜方式的3D显示设备44使用与从48Hz逐行信号生成器58输出的48Hz逐行信号相对应的图像中的L图像LP作为二维图像2DP，并且使用L图像的深度图像作为深度图像DeP，以生成从三个或更多个视点(多视角)观看的图像。然后，采用双凸透镜方式的3D显示设备44显示该图像。采用双凸透镜方式的3D显示设备44在生成从三个或更多个视点(多视角)观看的图像时使用与从48Hz逐行信号生成器58输出的48Hz逐行信号相对应的图像中、隐藏在L图像中包含的物体后面的图像和隐藏在物体后面的图像的深度图像。 

图12是图示由图11中所示的再现设备41执行的再现处理的例子的流程图。 

在步骤S21中，再现设备41的主控制器51判断输出目的地是否对应于采用双凸透镜方式的3D显示设备44。 

当输出目的地对应于采用LR图像显示方式的3D显示设备43时，在步骤S21中判断结果是否定的。然后，读取单元52从介质42读取L基本信号LBS并将L基本信号LBS提供给L基本信号解码器 53。此外，读取单元52从介质42读取R基本信号RBS并将R基本信号RBS提供给R基本信号解码器54。之后，处理进行到步骤S22。 

在步骤S22中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生成第一24Hz逐行信号(L基本信号LBS)。第一24Hz逐行信号(L基本信号LBS)被提供给48Hz逐行信号生成器56。 

在步骤S23中，R基本信号解码器54对已编码的R基本信号RBS进行解码以生成第二24Hz逐行信号(R基本信号RBS)。第二24Hz逐行信号(R基本信号RBS)被提供给48Hz逐行信号生成器56。 

注意，步骤S22和步骤S23的处理顺序并不特别限于图12中所示的顺序。即，步骤S23中的处理可以在步骤S22中的处理执行之前执行，或者步骤S22中的处理和步骤S23中的处理可以基本上同时执行。在任一种情况下，在步骤S22和步骤S23中的处理终止之后，处理进行到步骤S24。 

在步骤S24中，48Hz逐行信号生成器56逐帧地交替排列第一24Hz逐行信号(L基本信号LBS)和第二24Hz逐行信号(R基本信号RBS)，以生成用作输出信号的48Hz逐行信号。 

在步骤S30中，48Hz逐行信号生成器56将信号输出到采用LR图像显示方式的3D显示设备43。这样，再现处理终止。 

另一方面，当输出目的地对应于采用双凸透镜方式的3D显示设备44时，在步骤S21中判断结果是肯定的。然后，读取单元52从介质42读取L基本信号LBS并将L基本信号LBS提供给L基本信号解码器53。读取单元52从介质42读取R基本信号RBS并将R基本信号RBS提供给R基本信号解码器54。此外，读取单元52从介质42读取可选信号OS并将可选信号OS提供给可选信号解码器55。这样，处理进行到步骤S25。 

在步骤S25中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生成第一24Hz逐行信号(L基本信号LBS)。第一24Hz逐行信号(L基本信号LBS)被提供给并排信号生成器57。 

在步骤S26中，R基本信号解码器54对已编码的R基本信号RBS 进行解码以生成第二24Hz逐行信号(R基本信号RBS)。第二24Hz逐行信号(R基本信号RBS)被提供给并排信号生成器57。 

注意，步骤S25和步骤S26的处理顺序并不特别限于图12中所示的顺序。即，步骤S26中的处理可以在步骤S25中的处理执行之前执行，或者步骤S25中的处理和步骤S26中的处理可以基本上同时执行。在任一种情况下，在步骤S25和步骤S26中的处理终止之后，处理进行到步骤S27。 

在步骤S27中，并排信号生成器57利用第一24Hz逐行信号(L基本信号LBS)和第二24Hz逐行信号(R基本信号RBS)生成关于第三24Hz逐行信号的并排信号。第三24Hz逐行信号被提供给48Hz逐行信号生成器58。 

在步骤S28中，可选信号解码器55对已编码的可选信号OS进行解码以生成第四24Hz逐行信号(可选信号OS)。第四24Hz逐行信号(可选信号OS)被提供给48Hz逐行信号生成器58。 

注意，步骤S27和步骤S28的处理顺序并不特别限于图12中所示的顺序。即，步骤S28中的处理可以在步骤S27中的处理执行之前执行，或者步骤S27中的处理和步骤S28中的处理可以基本上同时执行。在任一种情况下，在步骤S27和步骤S28中的处理终止之后，处理进行到步骤S29。 

在步骤S29中，48Hz逐行信号生成器58逐帧地交替排列第三24Hz逐行信号(并排信号)和第四24Hz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。 

在步骤S30中，48Hz逐行信号生成器58将信号输出到采用双凸透镜方式的3D显示设备44。这样，再现处理终止。 

在图12和13所示的例子中，假定采用双凸透镜方式的3D显示设备44的类型与图8中所示示例的采用双凸透镜方式的3D显示设备24的类型相同。因此，在再现设备41中利用L基本信号LBS和R基本信号RBS生成并排信号，从而使得要提供给采用双凸透镜方式的3D显示设备44的信号类型与提供给采用双凸透镜方式的3D显示设 备24的信号类型相同。 

然而，用于生成从三个或更多个视点(多视角)观看的图像所需的二维图像2DP并不对应于并排图像SbSP，而是对应于L图像LP或R图像RP。例如，当采用图10所示的例子中的子图像SuP时，L图像LP被用作二维图像2DP。 

因此，当采用双凸透镜方式的3D显示设备44具有处理通过逐帧地交替排列L基本信号LBS或R基本信号RBS及可选信号OS而生成的48Hz逐行信号的功能时，再现设备不需要生成并排信号。 

在这种情况下，例如，可以配置图13中所示的再现设备41。换句话说，图13示出了根据图10所示的本发明的3D格式配置的再现设备的例子，并且该配置不同于图11中所示的例子的配置。即，图13中所示的再现设备41是应用了本发明的再现设备的实施例，并且不同于图8和11中所示的实施例。 

在图13所示的再现设备41中，省略了图11所示的配置例中包含的并排信号生成器57。具体而言，48Hz逐行信号生成器58逐帧地交替排列第一24Hz逐行信号(L基本信号LBS)和24Hz逐行可选信号OS以生成48Hz逐行信号，并将该48Hz逐行信号提供给采用双凸透镜方式的3D显示设备44。注意，再现设备41的其他配置与图11中所示的例子相同，因此省略了对其的描述。 

注意，图14中示出了由图13所示的例子中的再现设备41执行的再现处理的例子。 

步骤S41至步骤S44中的处理基本与图12所示的步骤S22至步骤S24中的处理相同。具体而言，在输出目的地对应于采用LR图像显示方式的3D显示设备43的情况下执行的处理基本与图12中所示的例子的处理相同。因此，省略了对这些处理的描述。 

具体而言，下面将描述在输出目的地对应于采用双凸透镜方式的3D显示设备44的情况下执行的处理。 

在这种情况下，在步骤S41中判断结果是肯定的。然后，读取单元52从介质42读取L基本信号LBS并将L基本信号LBS提供给L 基本信号解码器53。此外，读取单元52从介质42读取可选信号OS并将该可选信号OS提供给可选信号解码器55。之后，处理进行到步骤S45。 

在步骤S45中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生成第一24Hz逐行信号(L基本信号LBS)。第一24Hz逐行信号(L基本信号LBS)被提供给48Hz逐行信号生成器58。 

在步骤S46中，可选信号解码器55对已编码的可选信号OS进行解码以生成第二24Hz逐行信号(可选信号OS)。第二24Hz逐行信号(可选信号OS)被提供给48Hz逐行信号生成器58。 

注意，步骤S45中的处理和步骤S46中的处理的处理顺序并不特别限于图14中所示的顺序。即，步骤S46中的处理可以在步骤S45中的处理执行之前执行，或者步骤S45中的处理和步骤S46中的处理可以基本上同时执行。在任一种情况下，在步骤S45和步骤S46中的处理终止之后，处理进行到步骤S47。 

在步骤S47中，48Hz逐行信号生成器58逐帧地交替排列第一24Hz逐行信号(L基本信号LBS)和第二24Hz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。 

在步骤S48中，48Hz逐行信号生成器58将信号输出到采用双凸透镜方式的3D显示设备44。这样，再现处理终止。 

注意，当不用图10所示例子的子图像SuP，而用与图7所示的例子具有相同格式的子图像SuP的视频信号作为可选信号OS时，上述L基本信号LBS被R基本信号RBS代替。 

注意，除上述各种图像的视频信号以外，关于各种图像的信息项(下文中称为“元数据”)也可以被定义为上述根据本发明的3D视频格式。 

例如，如图15所示，作为一种元数据，可以使用在L图像LP的视点和正前方之间以及在R图像RP的视点和正前方之间定义的角度θ。在图15中，相机71L拍摄L图像LP并且相机71R捕获R图像RP。 

角度θ可以被记录在介质中与记录有编码流不同的区域中。注意，当使用图8中所示的介质22时，“编码流”对应于基本信号BS和可选信号OS，而当使用图11和13中所示的介质42时，“编码流”对应于L基本信号LBS、R基本信号RBS和可选信号OS。 

例如，当介质对应于蓝光盘时，角度θ可以例如被记录在由蓝光盘的格式定义的剪辑信息文件的“ExtensionData(扩展数据)”中。 

具体而言，图16示出了例如由“蓝光盘只读格式第3部分”定义的管理结构，并且示出了要记录在蓝光盘中的文件的管理结构的例子。如图16所示，文件以分层方式通过目录结构加以管理。在介质中，首先，生成一目录(在图16所示的例子中是根目录(root))。该目录下的目录被包含在由单个记录/再现系统所管理的范围中。 

目录“BDMV”和目录“CERTIFICATE”被设在根目录下。 

作为目录“BDMV”的下一级目录之一，设有包含剪辑的数据库的目录“CLIPINF”。具体而言，目录“CLIPINF”包括“zzzzz.clpi”文件，这些文件是用作剪辑AV流文件的剪辑信息文件。在文件名中，点“.”之前的部分“zzzzz”由五位数字构成，而点“.”之后的部分“clpi”是这一类文件的固定扩展名。 

例如，在图16所示的例子中，角度θ可被记录在剪辑信息文件的ExtensionData中。 

图17示出了表示这种剪辑信息文件81的结构例子的语法。 

字段type_indicator具有32比特(四字节)的数据长度并且表示该文件是剪辑信息文件。字段version_number具有32比特(四字节)的数据长度并且表示剪辑信息文件的版本。 

剪辑信息文件包括ClipInfo()块、SequenceInfo()块、ProgramInfo()块、CPI()块、ClipMark()块和ExtensionData()块。各自具有32比特数据长度的SequenceInfo_start_address字段、ProgramInfo_start_address字段、CPI_start_address字段、ClipMark_start_address字段和ExtensionData_start_address字段表示相应块的起始地址。 

“ExtensionData_start_address”字段表示ExtensionData()块82的起始地址，其以从剪辑信息文件的第一字节起的相对字节数表示。相对字节数从“0”开始。或者，当“ExtensionData_start_address”字段的值为“0”时，“index.bdmv”文件不包括ExtensionData()块82。 

ClipInfo()块从被预留以供将来使用的区域之后的部分开始，该预留区域具有96比特的数据长度并且跟在表示起始地址的字段之后。在ClipInfo()块中，描述了关于由剪辑信息文件管理的剪辑AV流的信息。例如，在ClipInfo()块中管理着由剪辑信息文件管理的剪辑AV流中包含的源包数、表示剪辑AV流的类型的信息、表示最大记录速率的信息，等等。 

在SequenceInfo()块中，描述了用于统一管理具有连续的STC和ATC(到达时间基准)的序列的信息。在ProgramInfo()块中，描述了表示用于记录剪辑信息文件中管理的剪辑AV流的编解码器的类型(例如MPEG2方式或者MPEG4AVC方式)的信息以及关于剪辑AV流中包含的视频数据的纵横比的信息。 

CPI()块存储关于特征点信息CPI的信息，该特征点信息CPI表示AV流的特征部分，例如随机访问起始点。在ClipMark()块中，描述了指派给剪辑的用作提示的索引点(跳跃点)(例如章节位置)。在ExtensionData()块82中，描述了根据本发明实施例的数据，即角度θ。 

注意，当角度θ的状况被正规化(标准化)时，不需要在介质中进行记录。 

在这种情况下，图8中所示的再现设备21以及图11和13中所示的再现设备41(下文中总称为“根据本发明的再现设备”)从介质22和介质42(下文中总称为“根据本发明的介质”)读取角度θ并将角度θ发送给采用双凸透镜方式的3D显示设备24和44(下文中总称为“3D双凸透镜显示器”)。 

注意，发送的方法并不受特别限制。例如，可以采用通过HDMI(高清晰度多媒体接口)等的发送方法。注意，当角度θ的状况被正规 化(标准化)时，不需要发送。 

根据本发明采用双凸透镜方式的3D显示设备通过利用角度θ对L图像LP执行转换(映射变换)来生成并显示从三个或更多个视点(多视角)观看的图像。在这种情况下，在适当情况下还使用L图像的深度图像、隐藏在L图像中包含的物体后面的图像、以及隐藏在物体后面的图像的深度图像。在图18所示的例子中，R图像RP被生成作为第一视点的图像，图像M2P被生成作为第二视点的图像，图像M3P被生成作为第三视点的图像，并且图像M4P被生成作为第四视点的图像。 

此外，不仅3D显示设备而且一般显示设备都可以通过利用角度θ对L图像LP执行转换(映射变换)来生成并显示图15中所示的正面图像DP。在这种情况下，在适当情况下还使用L图像的深度图像、隐藏在L图像中包含的物体后面的图像、以及隐藏在物体后面的图像的深度图像。 

这里，上述处理序列可以通过软件及硬件执行。 

在这种情况下，图19中所示的个人计算机可以用作上述信息处理系统的至少一部分。 

在图19中，CPU(中央处理单元)201根据记录在ROM(只读存储器)202中的程序或者从存储单元208加载到RAM(随机访问存储器)203的程序执行各种处理。RAM 203适当地存储CPU 201执行各种程序所需的数据。 

CPU 201、ROM 202和RAM 203通过总线204彼此连接。输入/输出接口205也连接到总线204。 

包括键盘和鼠标的输入单元206、包括显示器的输出单元207、包括硬盘的存储单元208、以及包括调制解调器和终端适配器的通信单元209连接到输入/输出接口205。通信单元209控制通过网络(包括因特网)与另一设备(未示出)的通信。 

此外，适当地附接有可移动介质211(例如磁盘、光盘、磁光盘或半导体存储器)的驱动器210连接到输入/输出接口205。从可移动 介质读取的计算机程序被适当地存储在存储单元208中。 

当要利用软件执行处理序列时，软件中包含的程序通过网络或记录介质被安装在专用硬件中所含的计算机中，或者被安装在能够通过安装各种程序执行各种功能的通用个人计算机中。 

如图19所示，记录介质的例子包括可移动介质(封装介质)211，例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘)和蓝光盘)、磁光盘(包括MD(迷你盘))或半导体存储器，除此之外，记录介质的例子还包括记录程序的ROM202或存储单元208中包含的硬盘，ROM 202或硬盘以预先结合在设备主体中的状态被提供给用户。 

注意，在说明书中，记录介质中记录的程序的步骤不仅包括按时序以所述顺序执行的处理，还包括并行执行的处理和分开执行的处理。 

此外，在该说明书中，系统代表包括多个处理设备和处理器的整个设备。 

注意，本发明可适用于区分显示方式、将视频信号转换为适合于显示方式的视频信号并输出转换后的视频信号的再现设备，并且该再现设备还包括不与3D显示兼容的显示设备。 

Claims (6)

1.一种数据结构生成方法，包括：

生成用在第一3D视频图像显示方式中的第一数据结构，在所述第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且所述第一数据结构包括用于显示的与所述L图像相对应的图像数据及与所述R图像相对应的图像数据；以及

生成用在第二3D视频图像显示方式中的第二数据结构，在所述第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据结构在所述第一数据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图像相对应的图像数据。

2.如权利要求1所述的数据结构生成方法，

其中所述第二数据结构包括隐藏在所述二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像。

3.一种再现设备，所述再现设备再现具有以下数据结构的图像数据，所述数据结构包括用在第一3D视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在所述第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且所述第一数据结构包括用于显示的与所述L图像相对应的图像数据及与所述R图像相对应的图像数据，在所述第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据结构在所述第一数据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图像相对应的图像数据，

所述再现设备包括：

用于在使用采用所述第一3D视频图像显示方式的显示单元的情况下，再现从所述第一数据结构的图像数据中获得的、与所述L图像相对应的图像数据及与所述R图像相对应的图像数据的装置，并且

用于在使用采用所述第二3D视频图像显示方式的显示单元的情况下，再现所述第一数据结构的与所述L图像或R图像相对应的图像数据和所述第二数据结构的深度图像的装置。

4.如权利要求3所述的再现设备，其中所述第二数据结构还包括隐藏在所述二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像，并且

当使用采用所述第二3D视频图像显示方式的显示单元时，所述再现设备除了再现所述深度图像以外，还再现与所述第二数据结构的图像数据相对应的、隐藏在所述物体后面的图像及隐藏在所述物体后面的图像的深度图像。

5.一种用在再现设备中的再现方法，所述再现设备再现具有以下数据结构的图像数据，所述数据结构包括用在第一3D视频图像显示方式中的第一数据结构和用在第二3D视频图像显示方式中的第二数据结构，在所述第一3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且所述第一数据结构包括用于显示的与所述L图像相对应的图像数据及与所述R图像相对应的图像数据，在所述第二3D视频图像显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据结构在所述第一数据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图像相对应的图像数据，

所述再现方法包括以下步骤：

在使用采用所述第一3D视频图像显示方式的显示单元的情况下，再现从所述第一数据结构的图像数据中获得的、与所述L图像相对应的图像数据及与所述R图像相对应的图像数据，以及

在使用采用所述第二3D视频图像显示方式的显示单元的情况下，再现所述第一数据结构的与所述L图像或R图像相对应的图像数据并且再现所述第二数据结构的深度图像。

6.如权利要求5所述的再现方法，其中所述第二数据结构还包括隐藏在所述二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像，并且

当使用采用所述第二3D视频图像显示方式的显示单元时，所述再现设备除了再现所述深度图像以外，还再现与所述第二数据结构的图像数据相对应的、隐藏在所述物体后面的图像及隐藏在所述物体后面的图像的深度图像。

Images