CN102186090A

CN102186090A - 数据结构、记录设备和方法、回放设备和方法以及程序

Info

Publication number: CN102186090A
Application number: CN2011100052958A
Authority: CN
Inventors: 坂口龙己; 森藤孝文
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-01-13
Filing date: 2011-01-06
Publication date: 2011-09-14
Also published as: US20110169926A1; JP2011146828A; RU2010154170A; US8675050B2

Abstract

公开了一种数据结构、记录设备和方法、回放设备和方法以及程序。一种记录设备，包括：记录控制器，其被配置成将3D画面的画面数据和观看环境信息记录在记录介质上，该观看环境信息指示希望作为3D画面观看环境的环境。

Description

数据结构、记录设备和方法、回放设备和方法以及程序

技术领域

本发明涉及数据结构、记录设备和方法、回放设备和方法以及程序，尤其涉及一种被配置成向观众提供3D画面创建者想要的3D画面而不考虑观看环境的数据结构、记录设备和方法、回放设备和方法以及程序。

背景技术

尽管主要使用2D画面作为如电影等的内容，但是近来3D画面日益被关注。

用于回放这些3D画面的回放设备通过回放并显示用于左眼的画面和用于右眼的画面向观众提供3D画面，其中用于左眼的画面和用于右眼的画面之间具有预定量的视差(例如，日本未审查专利申请公开第10-327430号)。

发明内容

然而，用于左眼的画面和用于右眼的画面之间的视差的量，即与显示3D画面的屏幕垂直的深度方向上的距离是由3D画面创建者确定以便最适宜想要的观看环境。因此，当实际观看环境大大不同于创建者想要的观看环境时，若回放设备原样地回放和显示3D画面，则观众可能会感觉疲劳或者精神或身体不适。此外，观众可能觉得3D画面看上去乏味或不自然。

例如，如图1所示，当在如起居室等其中从近距离观看相对较小屏幕的观看环境(下文中称为起居室环境)中观看创建用于如电影院等其中从一定的距离观看大屏幕的观看环境(下文中称为影院环境)的3D画面(下文中称为用于影院的画面)时，若只是简单地对用于影院的画面进行与屏幕尺寸相对应的尺寸转换，则在起居室环境中观看用于影院的画面时、用于影院的画面在深度方向上的位置不同于在影院环境中观看用于影院的画面时的位置。

因此，起居室环境中的观众可能体验不到创建者想要的逼真的3D效果并且可能会感觉疲劳或精神或身体不适。观众还可能觉得3D画面看上去乏味或不自然。

因此，需要向观众提供创建者想要的3D画面而不考虑观看环境。

根据本发明第一实施例的数据结构包括3D画面的画面数据以及观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境。

根据本发明第一实施例，包括3D画面的画面数据和观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境。

根据本发明第二实施例的记录设备包括：记录控制装置，用于将3D画面的画面数据和观看环境信息记录在记录介质上，所述观看环境信息指示希望作为3D画面观看环境的环境。

根据本发明第二实施例的记录方法和程序对应于根据本发明第二实施例的记录设备。

根据本发明的第二实施例，将3D画面的画面数据和观看环境信息记录在记录介质上，所述观看环境信息指示希望作为3D画面观看环境的环境。

根据本发明第三实施例的回放设备包括：读出装置，用于从记录介质读出3D画面的画面数据和，所述观看环境信息指示希望作为3D画面观看环境的环境，该记录介质存储有画面数据和观看环境信息；以及提供装置，用于基于观看环境信息和指示当前观看环境的信息向观众提供与可在观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。

根据本发明第三实施例的回放方法和程序对应于根据本发明第三实施例的回放设备。

根据本发明的第三实施例，从记录介质读出3D画面的画面数据和观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境，该记录介质存储有画面数据和观看环境信息，并且基于观看环境信息和指示当前观看环境的信息向观众提供与可在观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。

根据本发明的第一和第二实施例，可与3D画面的画面数据一起提供3D画面的观看环境信息。因此，在回放3D画面时，可向观众提供创建者想要的3D画面，而不考虑观看环境。

此外，根据本发明第三实施例，可向观众提供创建者想要的3D画面而不考虑观看环境。

附图说明

图1为说明不同观看环境之间的3D画面中的变化的图；

图2为说明根据本发明实施例的记录设备的配置实例的框图；

图3为说明观看环境信息的实例的图；

图4为说明观看环境信息的另一实例的图；

图5为说明由记录设备执行的记录处理的流程图；

图6为说明记录在记录介质中的数据的分级结构的图；

图7为说明MPEG-4框的扩展区域的一个实例的图；

图8为说明MPEG-4框的扩展区域的另一实例的图；

图9为说明MPEG-4框的扩展区域的又一实例的图；

图10为说明用于回放记录介质的回放设备的配置实例的框图；

图11为说明由回放设备执行的观看环境引导处理的流程图；以及

图12为说明根据本发明实施例的计算机的配置实例的图。

具体实施方式

根据本发明实施例的记录设备的配置实例

图2为说明根据本发明实施例的记录设备的配置实例的框图。

图2中所示的记录设备10包括视频编码器11、音频编码器12、多路复用器13和记录控制器14。记录设备10对3D画面的视频数据(下文中称为3D视频数据)和对应于视频数据的音频数据进行编码，从而将所述视频数据和音频数据记录在例如蓝光盘(Blu-ray Disc)(注册商标)只读存储器(BD-ROM)的记录介质20上。记录设备10还将观看环境信息记录在记录介质20上，所述观看环境信息指示希望作为3D画面观看环境的环境。

更具体地说，记录设备10中的视频编码器11使用例如运动图像专家组阶段2(MPEG-2)、MPEG-4或高级视频编码(AVC)等编码格式对从外部输入的3D视频数据进行编码。视频编码器11向多路复用器13供应视频流，其为作为所述编码的结果而获得的基本流(ES)。

音频编码器12使用例如MPEG编码格式对从外部输入且对应于3D视频数据的音频数据进行编码，并且向多路复用器13提供音频流，其为作为所述编码的结果而获得的ES。

多路复用器13对从视频编码器11供应的视频流和从音频编码器12供应的音频流进行多路复用，并且向记录控制器14供应作为多路复用结果而获得的多路复用流。

记录控制器14将从外部输入的观看环境信息作为定义文件记录在记录介质20上。因而，由于将观看环境信息作为定义文件记录在记录介质20上，因此在将记录介质20插入回放设备并开始回放时可向观众提供观看环境信息。

由例如视频数据和音频数据的创建者通过对输入单元(未图示)的操作输入观看环境信息。此外，可将观看环境信息作为选单屏幕上的文件记录在记录介质20上，而非作为定义文件。在这种情况下，可将用于指示观看环境信息的画面和字母记录为选单屏幕上的画面文件，或者可将用于指示观看环境信息的声音的音频数据记录为选单屏幕上的音频文件。

记录控制器14还将从多路复用器13供应的多路复用流记录在记录介质20上。

观看环境信息的实例

图3和图4为说明观看环境信息的实例的图。

在图3和图4的实例中，用于显示3D画面的显示单元的纵横比是固定的并且与3D画面创建者想要的纵横比相同。

如图3所示，观看环境信息包括，例如屏幕尺寸r和观看距离d，其中所述观看距离为从观众到显示单元的距离。在本文中，屏幕尺寸r表示显示单元显示区域的对角线的长度，但是屏幕尺寸r非局限于此，只要屏幕尺寸r指示显示区域的尺寸即可。例如，屏幕尺寸r可为显示区域在水平(左右)方向和垂直(上下)方向上的长度。

此外，如图4所示，观看环境信息可包括在观众与显示单元的水平方向上的边缘即左或右边缘之间形成的水平方向上的夹角e。

在图3和图4中，由于显示单元的纵横比是固定的并且与3D画面创建者想要的纵横比相同，因此观看环境信息中不包括纵横比。若纵横比是可变的，则观看环境信息中包括显示单元的纵横比。

此外，观看环境信息还可包括在观众与显示单元的垂直方向上的边缘即顶部或底部边缘之间形成的垂直方向上的夹角θv。此外，观看环境信息可包括：观看过程中的环境亮度和拍摄用于左眼的画面和用于右眼的画面的摄像机之间的距离等，其中所述用于左眼的画面和用于右眼的画面一起形成3D画面。

对记录设备所执行的处理的描述

图5为说明由图2所示的记录设备10执行的记录处理的流程图。例如，当输入观看环境信息、3D视频数据和音频数据时，所述记录处理开始。

在步骤S10中，记录控制器14将从外部输入的观看环境信息作为定义文件记录在记录介质20上。

在步骤S11中，视频编码器11使用例如MPEG-2、MPEG-4或AVC编码格式对从外部输入的3D视频数据进行编码。接着，视频编码器11向多路复用器13供应作为编码的结果而获得的视频流。

在步骤S12中，音频编码器12使用例如MPEG编码格式对从外部输入且对应于3D视频数据的音频数据进行编码，并且向多路复用器13供应作为编码的结果而获得的音频流。

在步骤S13中，多路复用器13对从视频编码器11供应的视频流和从音频编码器12供应的音频流进行多路复用，并且向记录控制器14供应作为多路复用结果而获得的多路复用流。

在步骤S14中，记录控制器14将从多路复用器13供应的多路复用流记录在记录介质20上，并且终止所述处理。

对用于记录观看环境信息的其它方法的描述

图6为说明记录在记录介质20中的数据的分级结构的图。

图6说明了记录在记录介质20中的数据的层级，即：层C，其包括例如音频流和视频流之类的ES；系统层B，其包括多路复用流；层A，其包括只能在记录介质20上发现的信息，等等。

尽管在上文的描述中将观看环境信息作为定义文件记录在层A中，但是观看环境信息还可被记录在系统层B或层C中。

例如，当将观看环境信息记录在层C中时，若编码格式为AVC，则将观看环境信息记录为补充增强信息(SEI)，或记录为序列参数集(SPS)或画面参数集(PPS)的一部分。若编码格式为MPEG-2，则将观看环境信息记录为视频序列或扩展和用户数据。

在这种情况下，可将观看环境信息变成单一视频流。因此，即使将想要用于不同观看环境的3D画面的视频流记录在单一记录介质20中，仍可向回放设备提供各条观看环境信息。

此外，当将观看环境信息记录在层B中时，观看环境信息被记录在传输流(TS)的专用分组、程序流(PS)的专用分组以及MPEG-4的配置(config)信息中所包括的框的扩展区域内，等等。

如图7所示，例如在紧接ftyp框之后的专用扩展框(图7的″uuid″)中提供记录有观看环境信息的MPEG-4框的扩展区域，其中所述ftyp框为文件中的第一框。在这种情况下，回放设备可在解码处理之前获得观看环境信息，但是观看环境信息在文件中没有被改变。

在专用扩展框中不仅写入观看环境信息，还写入指示编解码器类型、比特率、帧大小、纵横比、画面是2D还是3D的信息等。

此外，如图8所示，可在moov框的磁道信息(trak)区域(图8的″stsd″)提供记录有观看环境信息的MPEG-4框的扩展区域。在这种情况下，指示所涉及的观看环境信息的区域的信息包含在视频流中，并且回放设备基于所述信息获得观看环境信息。因此，在这种情况下，可使观看环境信息在视频流中发生改变。然而，与图7中所示的情况相比，可存取性更差。

此外，如图9所示，可在mdat框中提供记录有观看环境信息的MPEG-4框的扩展区域。即，可将观看环境信息记录为单一介质流。在这种情况下，因为使用时间信息对视频流和观看环境信息进行同步，所以可时刻改变观看环境信息。

尽管在图7至图9的实例中所示的顺序中moov框和mdat框排列在ftyp框之后，但是moov框和mdat框的排列并非局限于此。

回放设备的配置实例

图10为说明用于回放记录介质20的回放设备的配置实例的框图，其中已通过图2所示的记录设备10完成记录介质20上的记录。

图10中所示的回放设备50包括：读出单元51、调节器52、分离器53、视频解码器54和音频解码器55。基于记录在记录介质20上的观看环境信息，回放设备50显示用于引导观众将当前观看环境建立为创建者想要的观看环境的引导信息。

更具体地说，回放设备50中的读出单元51读出记录在记录介质20上的观看环境信息并将所述观看环境信息供应给调节器52。读出单元51还读出记录在记录介质20上的多路复用流并将所述多路复用流供应给分离器53。

基于从读出单元51供应的观看环境信息以及从外部输入的指示当前观看环境的信息，调节器52(提供装置)向观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似且对应于多路复用流的3D画面。

更具体地说，调节器52基于观看环境信息以及从外部输入的作为指示当前观看环境的信息的显示单元61的屏幕尺寸r′生成引导信息。

例如，通过计算表示式d′＝(r′/r)d，调节器52获得用于在创建者想要的观看环境中观看显示单元61上所显示的3D画面所必需的观看距离d′。此后，调节器52生成作为引导信息的消息，例如“请从远离显示单元61的位置“观看距离d′”处观看”。

接着，调节器52向显示单元61供应引导信息，从而显示引导信息。因此，观众的观看环境变成创建者想要的观看环境，因此观众可观看到可在创建者想要的观看环境中观看到的3D画面。

例如，可通过高清晰度多介质接口(HDMI)或通过观众执行的对输入单元(未示出)的操作从显示单元61输入屏幕尺寸r′。

分离器53将从读出单元51供应的多路复用流分离成视频流和音频流。随后，分离器53将视频流供应给视频解码器54并且将音频流供应给音频解码器55。

视频解码器54使用与图2中所示的视频编码器11的编码格式相对应的格式对从分离器53供应的视频流进行解码，并且向显示单元61供应作为解码结果而获得的3D视频数据。

音频解码器55使用与图2中所示的音频编码器12的编码格式相对应的格式对从分离器53供应的音频流进行解码，并且向扬声器62供应作为解码结果而获得的音频数据。

显示单元61显示从调节器52供应的引导信息。显示单元61还通过例如时间共享显示与从视频解码器54供应的视频数据相对应的用于左眼的画面和用于右眼的画面。在这种情况下，观众佩戴例如与用于左眼的画面和用于右眼的画面之间的切换同步的3D快门眼镜，从而只能通过左眼观看用于左眼的画面并且只能通过右眼观看用于右眼的画面。因此，观众可观看到3D画面。

扬声器62输出对应于从音频解码器55供应的音频数据的声音。

对由回放设备所执行的处理的描述

图11为说明由图10所示的回放设备50执行的观看环境引导处理的流程图。例如，当观众指示对记录在记录介质20上的多路复用流进行回放时，所述观看环境引导处理开始。

在步骤S31中，读出单元51从记录介质20读出观看环境信息，并且向调节器52供应所述观看环境信息。

在步骤S32中，调节器52从外部获得显示单元61的屏幕尺寸r′。

在步骤S33中，调节器52基于从读出单元51供应的观看环境信息以及从外部输入的显示单元61的屏幕尺寸r′生成引导信息，并且向显示单元61供应所述引导信息，从而显示所述引导信息。随后，终止所述处理。

在上文的描述中，将屏幕尺寸r′输入回放设备50。若未输入屏幕尺寸r′，则调节器52使显示单元61将观看环境信息本身显示为引导信息。

此外，当通过外部提供的测量设备(未示出)测量当前的观看距离并且将屏幕尺寸r′和观看距离d′输入为指示当前观看环境的信息时，调节器52可基于观看距离d与观看距离d′之间的差生成作为引导信息的消息，例如“在观看前请向前(向后)移动“所述差”的距离”。

此外，调节器52可基于所述观看环境信息和所述指示当前观看环境的信息对3D视频数据执行预定的画面处理，生成与可在所述观看环境信息指示的观看环境中观看到且对应于3D视频数据的3D画面近似的3D画面的数据(下文中称为近似数据)，并且使显示单元61显示基于所述近似数据的3D画面。

在这种情况下，调节器52通过例如基于所述观看环境信息和所述指示当前观看环境的信息增加或减小3D视频数据的画面尺寸或调节3D视频数据的视差，生成近似数据。

此外，调节器52可通过控制观众所佩戴的眼镜的放大率或缩小率向观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面，并且具有基于所述观看环境信息和所述指示当前观看环境的信息的放大和缩小功能。

如上所述，由于将多路复用流和观看环境信息写入记录介质20，所以用于回放记录介质20的回放设备可基于观看环境信息引导观众将当前观看环境建立为多路复用流的创建者想要的观看环境并且修正3D视频数据，从而使观众可观看到与可在创建者想要的观看环境中观看到的3D画面近似的3D画面。因此，回放设备可向观众提供创建者想要的3D画面，而不管观看环境如何。从而，观众可体验创建者想要的逼真的3D效果。因而，可减小观众感觉疲劳或精神或身体不适或觉得3D画面看上去乏味或不自然的情况。

对根据本发明实施例的计算机的描述

可使用硬件或软件来执行上文所描述的一系列的处理。当使用软件来执行所述一系列处理时，可将构成所述软件的程序安装在通用计算机等中。

图12说明了根据本发明实施例的计算机的配置实例，其中安装有执行上述一系列处理的程序。

可将所述程序预先记录在存储单元208或只读存储器(ROM)202中，其中存储单元208为结合在计算机中的记录介质。

还可将所述程序存储(记录)在可移动介质211中。可将可移动介质211作为所谓的软件包来提供。在本说明书中，可移动介质211可为例如，软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、磁盘、半导体存储器等等。

不仅可通过驱动器210将所述程序从上述可移动介质211安装到计算机中，还可通过通信网络或广播网络将所述程序下载到计算机中并安装在结合在计算机中的存储单元208中。即，例如，可通过用于数字卫星广播的人造卫星将所述程序从下载网站无线传输到计算机，或者使用例如局域网(LAN)或因特网等网络通过线缆传输到计算机。

所述计算机包括中央处理器(CPU)201，并且输入/输出接口205通过总线204连接到CPU 201。

当通过用户对输入单元206等的操作而通过输入/输出接口205输入指令时，CPU 201根据所述指令执行存储在ROM 202中的程序。替代地，CPU 201可将存储在存储单元208中的程序载入随机存取存储器(RAM)203中并执行所述程序。

因此，CPU 201根据上述流程图或基于上述框图的配置所执行的处理来执行所述处理。随后，例如，CPU 201从输出单元207输出处理的结果；从通信单元209传输所述处理的结果；或必要时，通过输入/输出接口205将所述处理的结果记录在存储单元208上。

输入单元206包括键盘、鼠标和麦克风。输出单元207包括液晶显示器(LCD)和扬声器。

应注意，并非必须以流程图中指定的先后顺序来执行计算机根据程序所执行的处理。即，计算机根据程序执行的处理包括并行或单独执行的处理(例如，并行处理或根据对象执行的处理)。

此外，可由单个计算机(处理器)来处理程序，或者可对程序进行由多个计算机所执行的分布式处理。此外，可将程序传输到远程计算机，并由所述远程计算机执行该程序。

本申请含有与2010年1月13日向日本专利局提交的日本优先专利申请第JP 2010-004549号中所公开的主题相关的主题，所述优先专利申请的全部内容通过引用的方式结合在本申请中。

应理解，本发明的实施例并非局限于上述实施例，并且可在本发明的范围内做出各种修改。

Claims

1.一种数据结构，包括：

3D画面的画面数据；以及

观看环境信息，其指示希望作为3D画面观看环境的环境。

2.根据权利要求1所述的数据结构，其中所述观看环境信息包括：显示3D画面的显示单元的尺寸；以及观看距离，其为从所述显示单元到观众的距离。

3.根据权利要求1所述的数据结构，其中所述观看环境信息包括：观众与显示3D画面的显示单元的水平方向上的边缘之间形成的水平方向上的夹角。

4.一种记录设备，包括：

记录控制装置，用于将3D画面的画面数据和观看环境信息记录在记录介质上，所述观看环境信息指示希望作为3D画面观看环境的环境。

5.根据权利要求4所述的记录设备，其中所述观看环境信息包括：显示3D画面的显示单元的尺寸；以及观看距离，其为从所述显示单元到观众的距离。

6.根据权利要求4所述的记录设备，其中所述观看环境信息包括：观众与显示3D画面的显示单元的水平方向上的边缘之间形成的水平方向上的夹角。

7.一种用于记录设备的记录方法，包括以下步骤：

将3D画面的画面数据和观看环境信息记录在记录介质上，所述观看环境信息指示希望作为3D画面观看环境的环境。

8.一种用于使计算机执行处理的程序，所述处理包括以下步骤：

9.一种回放设备，包括：

读出装置，用于从记录介质读出3D画面的画面数据和观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境，所述记录介质存储有所述画面数据和所述观看环境信息；以及

提供装置，用于基于所述观看环境信息和指示当前观看环境的信息向观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。

10.根据权利要求9所述的回放设备，其中所述提供装置在显示单元上显示用于引导所述观众基于所述观看环境信息和所述指示当前观看环境的信息将当前观看环境建立为所述观看环境信息指示的观看环境的信息，从而向所述观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。

11.根据权利要求9所述的回放设备，其中所述提供装置基于所述观看环境信息和所述指示当前观看环境的信息对所述画面数据执行预定的画面处理，生成与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面的数据，并且使显示单元显示基于所述数据的3D画面。

12.根据权利要求9所述的回放设备，其中所述观看环境信息包括：显示3D画面的显示单元的尺寸；以及观看距离，其为从所述显示单元到所述观众的距离。

13.根据权利要求9所述的回放设备，其中所述观看环境信息包括：在所述观众与显示3D画面的显示单元的水平方向上的边缘之间形成的水平方向上的夹角。

14.一种用于回放设备的回放方法，包括以下步骤：

从记录介质读出3D画面的画面数据和观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境，所述记录介质存储有所述画面数据和所述观看环境信息；以及

基于所述观看环境信息和指示当前观看环境的信息向观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。

15.一种用于使计算机执行处理的程序，所述处理包括以下步骤：

16.一种记录设备，包括：

记录控制器，被配置成将3D画面的画面数据和观看环境信息记录在记录介质上，所述观看环境信息指示希望作为3D画面观看环境的环境。

17.一种回放设备，包括：

读出单元，被配置成从记录介质读出3D画面的画面数据和观看环境信息，所述观看环境信息指示希望作为3D画面观看环境的环境，所述记录介质存储有所述画面数据和所述观看环境信息；以及

提供单元，被配置成基于所述观看环境信息和指示当前观看环境的信息向观众提供与可在所述观看环境信息指示的观看环境中观看到的3D画面近似的3D画面。