CN101971639B - 用于生成和显示媒体文件的装置和方法 - Google Patents

Abstract

本发明提供了一种其上存储有数据的计算机可读介质。该数据的结构包括：包括两个或更多个媒体数据的媒体数据盒；以及包括关于该媒体数据中的视图序列数据的信息的影片数据(‘moov’)盒。‘moov’盒包括指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息。

Description

用于生成和显示媒体文件的装置和方法

技术领域

本发明涉及用于生成和显示立体媒体文件的装置和方法。

背景技术

作为多媒体相关的国际标准化组织的运动图像专家组(MPEG)从该组第一次对MPEG-1的标准化起到现在对MPEG-2、MEPG-4、MPEG-7和MPEG-21进行了标准化工作。这样的各种标准的发展导致对于创建作为不同标准技术组合的单一简档(profile)的需要，并且作为这样的运动的一部分，利用MPEG-A(MPEG多媒体应用格式：ISO/IEC(国际标准化组织/国际电工委员会)23000)多媒体应用标准化活动来制定各种多媒体应用格式(MAF)。MAF旨在通过组合不仅现有的MPEG标准还有非MPEG标准来增加标准的利用价值。有可能通过创建作为已被验证的标准技术的组合的MAF来最大化它们的有效价值，而不需要致力于新制定单独的标准。

最近，进行了与用于实现三维(3D)视频的方法有关的大量研究以表现更真实的视频信息。在这些方法中，一种在若干方面都被视为有效的有前景的方法利用人类的视觉特点，在现有的显示设备上左视图(view)图像和右视图图像的相关联的位置处扫描左视图图像和右视图图像，以使左视图和有视图单独成像在人的左眼和右眼上，从而允许用户感觉到3D效果。例如，装有障栅(barrier)液晶显示器(LCD)的便携式终端可以通过重放(replay)立体内容来向用户提供逼真的视频。

然而，对于由两个或更多个视图序列(view sequence)组成的立体内容，关于文件格式没有定义语法(syntax)。基于该语法，可以确定立体内容中的视图序列的轨道(track)是否彼此相关。视图序列是由一个或多个视频帧组成的视频比特流，并且还可以被称为基本(elementary)流。此外，对于包括立体视频和单视场(monoscopic)视频的内容(在该内容中立体视频在空间上与二维(2D)视频组合，或者立体视频和单视场视频一起出现在一个场景中)，例如对于在单视场音乐视频的底部存在图像字幕(caption)并且该图像字幕以2D图像显示的服务，没有定义关于文件格式的语法，其中，基于该语法，可以确定音乐视频和图像字幕是否彼此相关联。因此，需要另外地提供指示音乐视频和图像字幕是否彼此相关的信息。

发明内容

本发明的方面是至少解决该问题和/或缺点，并至少提供在下面描述的优点。因此，本发明的方面在于提供一种媒体文件生成和显示装置及方法，用于关于由两个或更多个视图序列组成的立体内容或者具有在一个场景中同时显示的立体视频和单视场视频的内容，显式地确定视图序列的轨道是否彼此相关联。

根据本发明的一个方面，提供了一种其上存储有数据的计算机可读介质。数据的结构包括：包括两个或更多个媒体数据的媒体数据盒(box)；以及包括关于媒体数据中的视图序列数据的信息的影片数据(‘moov’)盒。优选地，‘moov’盒包括指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息。

根据本发明的另一方面，提供了一种计算机实施的方法。该方法包括：接收媒体文件；解析包括两个或更多个视图序列数据的所接收的媒体文件的媒体数据盒和包括关于该视图序列数据的信息的影片数据(‘moov’)盒；以及根据包括在‘moov’盒中并指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息，来生成基于引用视图序列和被引用视图序列的视频。

根据本发明的再一方面，提供了一种终端装置，其包括：文件解析器，用于解析包括两个或更多个视图序列数据的媒体文件的媒体数据盒和包括关于该视图序列数据的信息的影片数据(‘moov’)盒，并根据包括在‘moov’盒中并指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息，来提取基于引用视图序列和被引用视图序列的视频；以及显示单元，用于显示所提取的视频。

附图说明

从下面结合附图的详细描述中，本发明的上述和其他方面、特征和优点将变得更清楚，其中：

图1是图示基于ISO的媒体文件格式的图；

图2是图示根据本发明的第一实施例的文件结构的图；

图3A和3B是图示根据本发明的第一实施例的被设计为将相关联的轨道彼此相连的文件结构的图；

图4是图示根据本发明的第一实施例的终端的操作的图；

图5是图示根据本发明的第二实施例的文件结构的图；

图6是图示根据本发明的第二实施例的用于表达主视图序列的方法的图；

图7是图示根据本发明的第二实施例的终端的操作的图；

图8是图示根据本发明的第三实施例的文件结构的图；

图9是图示根据本发明的第三实施例的用于表达主视图序列的方法的图；

图10是图示根据本发明的第四实施例的文件结构的示意图；

图11A和11B是图示根据本发明的第五实施例的用于立体视频的文件结构的图；

图12A和12B是图示根据本发明的第五实施例的用于多视图内容的文件结构的图；

图13是图示根据本发明实施例的媒体文件生成装置的图；以及

图14是图示根据本发明实施例的媒体文件重放装置的图。

具体实施方式

现在，将参考附图详细描述本发明的优选实施例。在下面的描述中，为了清楚和简洁，省略了对合并于此的已知功能和配置的详细描述。在此使用的术语是基于本发明中的功能来定义的，并且可能根据用户、操作者的意图或通常的实践而改变。因此，应该基于贯穿说明书的内容来进行术语的定义。

本发明首先提供基于国际标准化组织(ISO)的媒体文件格式。此外，本发明提供用于指示在由两个或更多个视图序列组成的立体内容中形成一队的轨道之间的关系的方法，并且还提供用于指示具有同时在一个场景中显示的立体视频和单视场视频的内容中立体视频轨道和单视场视频轨道之间的关系的方法。

图1图示了基于ISO的媒体文件格式。

参考图1，基于ISO的媒体文件100包括文件类型盒(box)(‘ftyp’盒，未示出)、影片数据盒(‘moov’盒)110和媒体数据盒(‘mdat’盒)120。文件类型盒在其中包括文件类型和可兼容类型的细节。根据可兼容类型，可以在相应的解码器中进行正常的重放。‘moov’盒110对应于文件格式中的头部盒(header box)，并且每个数据由基于被称为‘atom(原子)’的对象的结构来形成。‘moov’盒110在其中包括重放文件所需的所有信息，包括例如帧率、比特率、图像大小等的内容信息以及用于支持诸如快进/速退(FF/REW)之类的回放功能的同步信息。媒体数据盒120作为数据盒在其中包括实际的媒体数据，并且将视频数据和音频数据以它们的帧为单位存储在每个轨道中。

立体视频包括立体视频相关信息。立体视频相关信息可以是诸如立体视频的合成类型之类的必要信息，并且还可以是诸如照相机参数和显示信息之类的附加数据。当立体视频由两个或更多个视图序列组成时，每个视图序列可以具有相同的立体视频相关信息。例如，对于由两个视图序列组成的立体视频，视频的左视图和右视图中的每一个可以包括关于相同照相机和显示器的附加信息。当视频序列各自以这种方式具有相同的立体视频相关信息时，为了防止相同的信息以重复的方式存储在视频序列的每一个中，可以将相应信息仅仅包含在一个视图序列中，而剩余的视图序列可以引用相应视图序列，以使用该相应视图序列中包含的相应立体视频相关信息。然而，为此，需要告知其他基本流哪个基本流包含立体视频相关信息，并且需要区分出包含立体视频相关信息的视图序列。对于由两个或更多个视图序列组成的立体视频，可以将两个视图序列划分为主(primary)视图序列和次(secondary)视图序列。当如上所述将立体视频相关信息仅仅包含在一个基本流中时，可以通过区分主视图序列和次视图序列来检查相应信息。当仅仅应当选择两个或更多个视图序列之一并将其显示在屏幕上时，本发明中描述的主视图序列和次视图序列区分具有更高显示优先级的视图序列。

用于区分主视图序列和次视图序列的方法包括检查每个视图序列的轨道ID track_ID的第一方法。每个视图序列的轨道头部盒(‘tkhd’盒)具有轨道ID track_ID，其是可以用来标识每个轨道的标识符。因为轨道ID是顺序地分配给每个视图序列的轨道的整数值，所以具有轨道ID的最小值的轨道的视图序列被确定为主视图序列。

第二方法检查指示立体视频的合成类型信息中的左视图序列和右视图序列中的哪一个(或者两个或更多个视图序列中的哪一个)被首先编码的‘is_left_first(首先是左侧)’参数，并根据相应参数的值来确定左视图序列和右视图序列中的哪一个(或者两个或更多个视图序列中的哪一个)是主视图序列或次视图序列。第三方法将引用另一轨道的轨道确定为主视图序列或次视图序列。

在基于关于轨道引用的信息来确定主视图序列中，当被引用轨道(其被另一轨道引用)被确定为主视图序列时，引用轨道(其引用另一轨道)被确定为次视图序列。因为引用另一轨道的轨道具有轨道引用盒(‘tref’盒)，所以在上述例子中，另一侧的立体视频或剩余视图被确定为主视图序列。在该例子中，具有关于轨道引用的信息的‘tref’盒的位置可以成为区分主视图序列和次视图序列的方法。使用轨道引用，可以将彼此相关联的视图序列连接到由两个或更多个视频轨道组成的媒体文件中，从而可以确定哪些轨道彼此相关。这还可以用作将视频轨道彼此相连以从多视图视频产生一个视频的方法。使用轨道引用方法，通过将复制的立体视频相关信息仅仅插入到特定轨道，即，主视图序列和次视图序列之一中，可以防止立体视频相关信息以重复的方式插入到若干轨道中。

根据区分主视图序列和次视图序列的另一方法，不仅仅类似上述方法那样通过使用一个信息项或一个参数，还通过组合立体视频相关信息、字段、参数和盒中的两个或更多个，例如表现立体视频的配置所需的立体视频信息，包括轨道ID和‘is_left_first’参数、可以通过其标识‘tref’盒信息的参数、以及句柄(handler)类型信息，来确定主视图序列和次视图序列。下面的方法是通过组合立体视频相关信息、字段、参数和盒中的两个或更多个来确定主视图序列和次视图序列的可能方法：第一，对于由左视图和右视图的两个视图序列组成的立体视频，使用‘is_left_first’字段的值和引用另一轨道的立体视频的‘tref’盒的信息，根据用于区分主视图序列和次视图序列的准则，有可能将相应的轨道确定为主视图序列或次视图序列。可替代地，使用引用另一轨道的立体视频的‘tref’盒的信息和轨道ID，根据用于区分主视图序列和次视图序列的准则，有可能将相应的轨道确定为主视图序列或次视图序列。

还存在另一种通过组合立体视频相关信息、字段、参数和盒中的两个或更多个来确定由两个或更多个视图序列(即，多个序列或多视图序列)组成的立体视频的主视图序列和次视图序列的方法。根据该方法，使用‘is_left_first’字段的值、轨道的ID和引用立体视频轨道的‘tref’盒，有可能确定主视图序列和次视图序列。

还可以将除了上述的那些之外的参数或信息用作参数或信息，来以上述方式确定主视图序列和次视图序列，并且所述组合立体视频相关信息、字段、参数和盒中的两个或更多个的方法还可以用多种方法来添加或扩展。

下面是对根据本发明实施例的用于指示由两个或更多个视图序列组成的立体内容中配对在一起的视图序列的轨道之间的关系的方法的描述。下面的描述还包括根据本发明实施例的用于指示具有同时在一个场景中显示的立体视频和单视场视频的内容中立体视图序列和单视场视图序列之间的关系的方法。

第一实施例

为了解码由两个或更多个视图序列组成的立体内容并将该内容显示在屏幕上，需要指示左视图序列的轨道和右视图序列的轨道彼此相关联。然而，因为在当前立体文件格式中指示轨道之间的关系的信息和盒不存在，所以本发明的第一实施例提供了下面的方法来解决该问题。

句柄引用盒(‘hdlr’盒)和轨道引用盒(‘tref’盒)是“ISO/IEC 14496-12ISO base media file format(ISO/IEC 14496-12基于ISO的媒体文件格式)”文档中所定义的盒中的盒。句柄引用盒(‘hdlr’盒)使用句柄类型(‘handler_type’)代表当前轨道上媒体数据的类型，并被定义为表格1。

表格1

handler_type	描述
		Vide	视频轨道
Soun	音频轨道
		Hint	提示(hint)轨道
Meta	定时元数据轨道

对于由两个或更多个视频轨道组成的立体内容，为了将两个相关联的轨道彼此连接，本发明的第一实施例将指示相应轨道中媒体数据的类型是立体视频的‘svid’值添加到句柄引用盒(‘hdlr’盒)的句柄类型(‘handler_type’)，如表格2所示。

表格2

handler_type	描述
		Vide	视频轨道
Soun	音频轨道
		Hint	提示轨道
Meta	定时元数据轨道
		Svid	立体视频轨道

轨道引用盒(‘tref’盒)用于使用引用类型(‘reference_type’)和轨道ID(track_ID)进一步连接当前轨道引用的另一轨道。在表格3中示出了当前在“ISO/IEC 14496-12 ISO base media file format”文档中所定义的‘reference_type’。

表格3

reference_type	描述
		hint	引用轨道包括该提示轨道的原始媒体
cdsc	该轨道描述了被引用轨道

为了连接两个相关联的轨道，本发明的第一实施例将‘avmi’添加到轨道引用盒(‘tref’盒)的‘reference_type’，如表格4所示。

表格4

reference_type	描述
		hint	被引用轨道包括该提示轨道的原始媒体
cdsc	该轨道描述了引用轨道

avmi	引用轨道包含附加的视图媒体信息

图2图示了根据本发明的第一实施例的对于由两个视图序列组成的立体内容使用新定义的‘handler_type’和‘reference_type’将相关联的视图序列的轨道彼此相连的文件结构。

参考图2，立体左视图序列的轨道包括‘tref’盒，并且使用轨道引用盒(‘tref’盒)210与相应轨道打算引用的立体右视图序列的轨道相连。这里，在轨道引用盒(‘tref’盒)中设置reference_type＝‘avmi’，要注意的是，相应的引用轨道是包括立体视频相关信息的轨道，并与要被引用的轨道，即被引用轨道，相关联。包含在相应的引用轨道中的立体视频相关信息是构成立体内容的视图序列的每个轨道应当基本包括的立体视频信息，并且立体视频相关信息可以仅仅存储在两个相关联的轨道之一中。当一个轨道与被引用轨道具有关系时，这意味着两个轨道构成一对，其意味着在两个轨道之间存在依赖性。换言之，在被引用轨道的视图序列是主视图序列的情况下，因为引用轨道的视图序列变为次视图序列，所以引用轨道具有对被引用轨道的依赖性。另外，通过设置被引用轨道的句柄引用盒(‘hdlr’盒)220的handler_type＝‘svid’，可以注意到被引用轨道是立体视频轨道。

因为有可能根据轨道引用盒(‘tref’盒)的存在/缺席来确定主视图序列和次视图序列，所以当具有轨道引用盒(‘tref’盒)的轨道被确定为次视图序列时，在图2中立体左视图序列的轨道成为次视图序列轨道。根据一种主视图序列判定方法，左视图序列也可以成为主视图序列。在使用轨道引用盒(‘tref’盒)210来确定主视图序列和次视图序列的情况下，当立体右视图序列的轨道被确定为主视图序列时，将立体右视图序列的轨道设置为被立体左视图序列的轨道引用。在该情况下，具有轨道引用盒(‘tref’盒)的引用轨道被视为被设置为次视图序列。

图3A图示了根据本发明的第一实施例的对于具有多个视图序列的多视图内容将相关联的轨道彼此相连的文件结构。

参考图3A，假设主(或主要(main))视图序列的轨道具有轨道引用盒(‘tref’盒)，有可能使用轨道引用盒(‘tref’盒)310来将主视图序列的轨道连接到与该轨道具有关系的多个轨道。在该情况下，在包括主视图序列的轨道中，将轨道引用盒(‘tref’盒)310的引用类型(‘reference_type’)设置为reference_type＝‘avmi’，并将该轨道所引用的轨道的句柄引用盒(‘hdlr’盒)320和330的句柄类型(‘handler_type’)设置为handler_type＝‘svid’。

如上所述，有可能使用轨道引用盒(‘tref’盒)的信息来区分主视图序列和次视图序列。图3B图示了根据本发明的第一实施例的当不具有轨道引用盒(‘tref’盒)的轨道(即，被引用轨道)的序列被假设为主视图序列时、将相关联的轨道彼此相连的文件结构。

图4图示了根据本发明的第一实施例的当立体视频由两个或更多个视图序列组成时用于识别相关联的视频轨道并将它们显示在屏幕上的终端的操作。

参考图4，在步骤401中，终端解析媒体文件中的文件类型盒(‘ftyp’盒)。在步骤402和403中，终端解析媒体文件的‘moov’盒和轨道盒(‘trak’盒)。在步骤404中，终端确定在轨道盒中是否存在轨道引用盒(‘tref’盒)。当轨道具有轨道引用盒(‘tref’盒)时，在步骤405中，终端检查轨道引用盒(‘tref’盒)的引用类型(‘reference_type’)。如果确定引用类型(‘reference_type’)是‘avmi’，则终端检查轨道引用盒(‘tref’盒)的引用轨道ID(‘track_ID’)，并确定立体视图序列的哪个轨道与相应轨道成对。在步骤406中，终端检查媒体信息盒(‘mdia’盒)，并在步骤407中检查句柄盒(‘hdlr’盒)的句柄类型(‘handler_type’)，终端可以基于此来确定相应轨道的媒体数据类型。在步骤408中，终端检查包含立体信息的剩余盒的信息，解析立体视图序列的轨道的立体视频相关信息，并将该信息的相关联视图序列显示在屏幕上。当相应轨道是立体视图序列的轨道时，从媒体文件的第一轨道到最后轨道以相同的方式执行用于解析轨道盒(‘trak’盒)的一系列过程。

然而，如果在步骤404中确定轨道不具有轨道引用盒(‘tref’盒)，则终端前进到步骤406，在那里终端检查相应轨道的媒体信息盒(‘mdia’盒)。在这之后，在步骤407中，终端检查句柄类型(‘handler_type’)，并在步骤408中检查包含立体信息的剩余盒并将立体内容显示在屏幕上。

尽管在图4的步骤408中终端识别出主视图序列和次视图序列，但是识别主视图序列和次视图序列的过程中的步骤顺序可以根据区分主视图序列和次视图序列的上述方法而改变。

当使用例如轨道引用盒(‘tref’盒)来识别主视图序列和次视图序列时，在图4的步骤405中，终端通过检查轨道引用盒(‘tref’盒)的引用类型(‘reference_type’)和轨道ID(‘track_ID’)来识别主视图序列和次视图序列。在具有轨道引用盒(‘tref’盒)的视图序列的轨道被确定为次视图序列的情况下，当轨道引用盒(‘tref’盒)的引用类型(‘reference_type’)是‘avmi’时，引用轨道ID(‘track_ID’)是主视图序列的轨道ID(‘track_ID’)。例如，当轨道ID＝1(track_ID＝1)的轨道具有轨道引用盒(‘tref’盒)、相应轨道引用盒的引用类型是‘avmi’(reference_type＝‘avmi’)并且引用轨道ID是2(track_ID＝2)时，轨道ID＝1(track_ID＝1)的轨道是与轨道ID＝2(track_ID＝2)的轨道成对的立体视图序列的轨道，并且轨道ID＝2(track_ID＝2)的轨道的视图序列是主视图序列。

作为根据本发明的实施例的用于区分主视图序列和次视图序列的另一方法，当终端检查在立体视频的合成类型信息中指示首先编码左视图序列和右视图序列中的哪一个(或者，可替代地，两个或更多个视图序列中的哪一个)的‘is_left_first’字段，并根据相应字段的值来确定左视图序列和右视图序列中的哪一个(或者，可替代地，两个或更多个视图序列中的哪一个)是主视图序列或次视图序列时，根据图4的操作在步骤408中，终端通过检查包括‘is_left_first’参数的立体相关信息盒来识别主视图序列和次视图序列并显示相关的视图序列。

这样，识别主视图序列和次视图序列的过程的操作顺序根据本发明的用于区分主视图序列和次视图序列的方法中的每一个而改变。

虽然在本发明的实施例中被引用轨道(即，不具有‘tref’盒的剩余轨道)的句柄类型被表示为立体视频类型(‘svid’)，但是也有可能是这样的情况，即，被引用轨道可以是视频类型(‘vide’)而引用轨道可以是立体视频类型(‘svid’)。此外，引用轨道和被引用轨道两者的句柄类型(‘handler_type’)可以都被表示为视频类型(‘vide’)而无需加以区别。

同时，对于一些终端或系统，可以不必顺序提供图4中所描述的识别媒体文件的轨道并将轨道显示在屏幕上的过程。在此没有详细描述的解析文件格式的过程和相应终端的操作遵从ISO/IEC 14496-12和ISO/IEC 23000-11。

第二实施例

本发明的第二实施例使用立体内容中的轨道引用盒(‘tref’盒)来提供用于引用包括作为附加信息的照相机参数和显示器安全信息的轨道的轨道引用方法。可以作为附加信息包括在立体内容中的照相机参数可以包括基线、焦距、会聚距离、平移、旋转等，并且显示器安全信息可以包括显示器大小相关信息、观看距离、视差(disparity)信息等。虽然在这里将照相机参数和显示器安全信息描述为附加信息，但是这些参数和安全信息是可选的。因此，包含相应信息的盒可以被描述为可选盒。

对于包括用来获取立体内容的照相机参数和显示器安全信息的轨道的轨道引用，本发明的第二实施例将‘cdsi’添加到‘tref’盒的reference_type，如表格5所示。

表格5

reference_type	描述
		hint	被引用轨道包括该提示轨道的原始媒体
cdsc	该轨道描述了被引用轨道
		cdsi	被引用轨道包含立体照相机和显示器安全信息

图5图示了根据本发明的第二实施例的用于引用包括作为立体内容的附加信息的照相机参数和显示器安全信息的轨道的方法。

参考图5，立体左视图序列的轨道和立体右视图序列的轨道可以使用轨道引用盒(‘tref’盒)510和520来引用在其中包括有附加信息的轨道。在该情况下，因为其他轨道引用包括该附加信息的轨道，所以不需要在在这两个轨道中都存储该附加信息，并且有可能防止相同的信息以重复的方式存储在多个轨道中。

图6图示了用于将本发明的第二实施例应用到具有多个视图序列的多视图内容的方法。

即便在该情况下，如图5所示，包括视图序列中每一个的轨道使用‘tref’盒610、620和630引用包括附加信息的轨道。

图7是图示根据本发明的第二实施例的终端的操作的流程图。

参考图7，在步骤701中，终端解析媒体文件中的文件类型盒(‘ftyp’盒)。在步骤702和703中，终端分别解析媒体文件中的影片数据盒(‘moov’盒)和轨道盒(‘trak’盒)。在步骤704中，终端确定在轨道盒中是否存在轨道引用盒(‘tref’盒)。对于具有轨道引用盒(‘tref’盒)的轨道，在步骤705中，终端检查轨道引用盒(‘tref’盒)中的引用类型(‘reference_type’)。如果确定引用类型(‘refernce_type’)是‘cdsi’，则终端检查轨道引用盒(‘tref’盒)的引用轨道ID(‘track_ID’)以确定哪个轨道包含包括照相机参数和显示器安全信息的附加信息，所述照相机参数和显示器安全信息是相应轨道打算引用的立体视频的附加信息。在步骤706中，终端检查媒体信息盒(‘mdia’盒)，并在步骤707中检查句柄盒(‘hdlr’盒)的句柄类型(‘handler_type’)，终端可以通过其来确定相应轨道的媒体数据的类型。最后，在步骤708中，终端检查包含立体信息的剩余盒的信息，解析立体视图序列的轨道的立体视频相关信息，并将相关联的轨道显示在屏幕上。从媒体文件的第一轨道到最后轨道以与当相应轨道是立体视图序列的轨道时相同的方式执行用于解析轨道盒(‘trak’盒)的一系列过程。

然而，如果在步骤704中确定轨道不具有轨道引用盒(‘tref’盒)，则终端跳到步骤706，在那里，终端检查相应轨道的媒体信息盒(‘mdia’盒)。在这之后，在步骤707中，终端检查句柄类型(‘handler_type’)，并在步骤708中检查包含立体信息的剩余盒并将立体内容显示在屏幕上。

虽然在图7的步骤708中终端识别出主视图序列和次视图序列，但是识别主视图序列和次视图序列的过程的步骤可以根据基于本发明第一实施例的如图4所示的区分主视图序列和次视图序列的方法而改变顺序。

当步骤707中解析的轨道的句柄类型是立体视频类型(‘svid’)时，相应轨道是包括包含作为立体视频的附加信息的照相机参数和显示器安全信息的可选信息的轨道。

同时，对于一些终端或系统，图7中所描述的识别媒体文件的轨道并将轨道显示在屏幕上的过程可能不被按顺序执行。在此没有详细描述的解析文件格式的过程及其终端的操作遵从ISO/IEC 14496-12和ISO/IEC 23000-11。

第三实施例

在将立体内容和单视场内容作为组成一个场景的元素而被同时显示在一个场景中的服务的情况下，需要连接两个视图序列的轨道以解码并显示应该在一个场景中描述的立体视图序列和单视场视图序列，以帮助用户知道它们是相关联的轨道。然而，因为在当前的立体文件格式中没有用于描述该关系的方式，所以本发明的第三实施例提出了用于解决该问题的方法。

句柄引用盒(‘hdlr’盒)和轨道引用盒(‘tref’盒)是“ISO/IEC 14496-12ISO base media file format”文档中所定义的盒中的盒。如上所述，句柄引用盒(‘hdlr’盒)使用句柄类型(‘handler_type’)来代表关于当前轨道的媒体数据的类型。如表格6所示，本发明的第三实施例将‘mvid’添加到句柄引用盒(‘hdlr’盒)的句柄类型(‘handler_type’)，以将立体视图序列的轨道连接到应该在一个场景中描述的单视场视图序列的轨道。

表格6

handler_type	描述
		Vide	视频轨道
Soun	音频轨道
		Hint	提示轨道
Meta	定时元数据轨道
		mvid	单视场视频轨道

轨道引用盒(‘tref’盒)是用于使用引用类型(‘reference_type’)和轨道ID(‘track_ID’)来连接当前轨道所引用的另一轨道的盒。如表格7所示，本发明的第三实施例将‘scmi’添加到轨道引用盒(‘tref’盒)的引用类型(‘reference_type’)以连接两个相关联的轨道。

表格7

reference_type	描述
		hint	被引用轨道包括该提示轨道的原始媒体
cdsc	该轨道描述了被引用轨道
		scmi	被引用轨道包括在空间上组合媒体轨道

图8图示了根据本发明的第三实施例的使用新定义的‘handler_type’和‘reference_type’将在具有同时在一个场景中显示的立体视图序列和单视场视图序列的内容中形成为一个场景的立体视图序列的轨道和单视场视图序列的轨道彼此相连的文件结构。

参考图8，当前轨道是立体视图序列的轨道，并且使用轨道引用盒(‘tref’盒)810，应该在一个场景中与立体视图序列一起显示的单视场视图序列的轨道被连接到当前轨道。当将引用类型设置为reference_type＝‘scmi’时，被引用轨道是包括应该在一个场景中与作为引用轨道的立体视频轨道一起显示的单视场内容的轨道(在空间上组合的媒体轨道)。另外，当将被引用轨道的句柄引用盒(‘hdlr’盒)820中的句柄类型设置为handler_type＝‘mvid’时，被引用轨道是应该在一个场景中与立体视图序列一起显示的单视场视图序列的轨道(在空间上组合的媒体轨道)。

图9图示了根据本发明的第三实施例的在具有同时在一个场景中显示的立体视图序列和单视场视图序列的内容中将由两个或更多个视图序列组成的立体视图序列和单视场视图序列彼此相连的文件结构。

参考图9，可以分别使用轨道引用盒(‘tref’盒)910和920来连接构成立体视频的立体左视图序列的轨道和立体右视图序列的轨道，以便引用应该在一个场景中一起显示的单视场视图序列的轨道。即便在该情况下，当对于立体左视图序列的轨道和立体右视图序列的轨道分别将轨道引用盒(‘tref’盒)910和920的引用类型设置为reference_type＝‘scmi’，并且将被引用轨道的句柄引用盒(‘hdlr’盒)930的句柄类型设置为handler_type＝‘mvid’时，被引用视图序列的轨道是应该在一个场景中与立体视图序列一起显示的单视场视图序列的轨道(在空间上组合的媒体轨道)。

第四实施例

图10图示了根据本发明的第四实施例的使用新定义的句柄类型(handler_type)‘svid’和引用类型(‘reference_type’)‘avmi’在具有同时在一个场景中显示的立体视图序列和单视场视图序列的内容中将立体视图序列的轨道和单视场视图序列的轨道彼此相连的另一文件结构。

本发明的第四实施例根据与本发明的第一实施例中使用的轨道引用方法相同的方法来引用轨道。然而，在本发明的第四实施例中，轨道引用盒(‘tref’盒)1010不仅仅用来连接与它的视图序列成对的立体视图序列，还用来连接同时在一个场景中显示的单视场视图序列。通过设置轨道引用盒(‘tref’盒)1010的引用类型＝‘avmi’、被引用立体视频轨道的句柄引用盒(‘hdlr’盒)1020的handler_type＝‘svid’以及被引用单视场视频轨道的句柄引用盒(‘hdlr’盒)1030的handler_type＝‘vide’，有可能区分与主视图序列成对的立体视频的剩余的一个视图序列和应该与立体内容一起在一个场景中显示的单视场视图序列。

在图10的例子中，因为根据上述确定主视图序列的方法立体右视图序列的轨道被确定为主视图序列轨道，所以将具有轨道引用盒(‘tref’盒)的轨道设置为次视图序列。

此外，在本发明的该实施例中，当使用引用类型＝‘avmi’来表示由两个或更多个轨道组成的立体内容之间的连接关系时，主视图序列轨道的handler_type是‘vide’，并且次视图序列轨道的handler_type变为‘svid’。当然，在该区别中，被引用视图序列也可以变为视频类型(‘vide’)。此外，可以仅仅使用视频类型(‘vide’)来表示所有视图序列而无需加以区别。

第五实施例

本发明的第五实施例使用类似于本发明第一实施例的轨道引用方法来表示由两个或更多个视图序列组成的立体内容之间的关系，并且提供通过为除了引用视图序列之外的剩余视图序列存储相对于引用视图序列的相对(relative)显示器和照相机信息而生成的立体媒体文件的结构。

在立体视频相关信息中，如本发明的第一和第二实施例所述，附加信息包括在立体内容中。作为可以包括在立体内容中的附加信息，存在立体视频的显示器和照相机信息，包括在获取立体视频的过程中获得的立体视频相关信息。这样的立体视频的显示器和照相机信息可以包括基线、焦距、会聚距离、平移、旋转等，并且显示器安全信息可以包括显示器大小相关信息、观看距离、视差信息等。虽然在这里将该信息称为附加信息，但是该信息是可选信息。因此，包含相应信息的盒可以被表达为可选盒。

用于存储立体视频的显示器和照相机信息的方法之一是在引用视图序列的基础上，在剩余视图序列中存储引用视图序列的显示器和照相机信息的相对值作为相应字段的参数值。例如，当引用视图序列被假设为主视图序列时，主视图序列的所有显示器和照相机信息被存储为0，并且用于每个字段的相对于引用视图序列的相对显示器和照相机信息的参数值被存储在剩余视图序列(即，除了主视图序列之外的次视图序列)中。因为引用视图序列的立体视频的所有显示器和照相机信息都被设置为0，所以可以省略相应信息。这样，可以仅仅将引用视图序列的显示器和照相机信息的相对显示器和照相机信息存储在剩余视图序列中。例如，当两个视图序列的照相机之间的距离(其是立体视频的显示器和照相机信息之一)被假设为5时，因为引用视图序列的相应信息的字段的值是0，所以省略“0”值，并且将相对于引用视图序列的照相机的距离5存储为剩余视图序列的相应信息的字段的值。

图11A图示了根据本发明的第五实施例的文件结构。

在图11A中，引用视图序列被假设为主视图序列，并且在由两个视图序列组成的立体媒体文件结构中，将存储相对于主视图序列的相对显示器和照相机信息的‘scdi’盒1140包括在次视图序列的轨道中；并且以与本发明第一实施例中使用的轨道引用方法相同的方法，使用句柄类型‘svid’1110和引用类型‘avmi’1120来将主视图序列的轨道连接到具有‘scdi’信息的次视图序列的轨道。即便在该情况下，视频类型‘vide’可以用作立体视图序列的句柄类型1110。在图11A中，主视图序列被示为不具有轨道引用盒(‘tref’盒)的左视图序列，并且在该文件结构中，具有轨道引用盒(‘tref’盒)的立体视图序列(即，引用类型(‘reference_type’)＝‘avmi’的视图序列)的轨道包括包含相对于引用视图序列的相对显示器和照相机信息的‘scdi’盒。

图11B图示了如下情况：独立于具有‘scdi’盒1160的轨道来提供具有引用轨道的轨道引用盒(‘tref’盒)1150的轨道。这里，针对‘scdi’信息的引用视图序列是左视图序列，并且左视图序列的相对‘scdi’信息被包括在右视图序列的轨道中。

图12A图示了通过扩展本发明的第五实施例的方法以用于具有两个或更多个视图序列的多视图内容而生成的文件结构。

参考图12A，根据本发明的第五实施例，存储相对于主视图序列的相对显示和照相机信息的‘scdi’盒1224和1234被包含在除了主视图序列之外的剩余的多个视图序列中，并且以与本发明的第一实施例中使用的轨道引用方法相同的方法，使用句柄类型‘svid’1210和引用类型‘avmi’1220和1230将主视图序列的轨道连接到具有‘scdi’信息的剩余视图序列的轨道。即便在该情况下，视频类型‘vide’可以用作立体视频的句柄类型(1222和1232)。

图12B图示了如下情况：独立于具有‘scdi’盒1260和1270的轨道来提供具有引用轨道的‘tref’盒1250的轨道。

在本发明的第一至第五实施例中，可以用不同的标题、名称和语义来表达引用类型和句柄类型的标题、名称和语义，只要它们对应于相同的对象和方法即可。

接下来，将描述根据本发明实施例的使用媒体文件格式来生成和重放媒体文件的系统。根据本发明实施例的系统可以大体上由媒体文件生成装置和媒体文件重放装置组成。

图13图示了根据本发明实施例的媒体文件生成装置。

参考图13，根据本发明实施例的媒体文件生成装置包括：两个或更多个照相机1301至1304、输入单元1310、视频信号处理器1320、存储单元1330、编码器1340和文件生成器1350。

照相机1301至1304中的每一个在左视图和右视图处拍摄特定对象，并输出不同的视图序列。当提供专题(monographic)视频时，将单视场视频数据与立体视频数据一起输入到输入单元1310。此时，还可以将诸如照相机参数之类的信息递送给输入单元1310。

视频信号处理器1320预处理通过输入单元1310接收的所有视频数据。这里，预处理操作是指将通过借助电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)型传感器识别外部视频值(即，光和颜色分量)而生成的模拟值转换为数字信号的操作。

存储单元1330存储通过视频信号处理器1320预处理的视频数据，并向编码器1340提供所存储的视频数据。虽然图13示出了存储单元1330，但是存储单元1330没有单独示出用于在图13所示的元件之间进行缓存的存储结构，而该存储结构可以包括在存储单元1330中。编码器1340编码从存储单元1330提供的每个视频数据。由编码器1340执行的编码操作是对数据的编码，必要时可以跳过该操作。

文件生成器1350使用由编码器1340编码的每个视频数据来生成媒体文件1300。将视频数据存储在数据区域中，具体来说，存储在媒体数据区域中，并将用于指示视频数据之间的关系的轨道引用信息、用于表示每个视频数据的媒体类型的句柄信息、立体视频的合成类型以及照相机和显示器信息存储在用于每个视频数据的轨道的相应信息的盒中。将所生成的媒体文件1300输入或发送到立体媒体文件重放装置，并且媒体文件重放装置从媒体文件1300重放和显示立体业务视频。

接下来，将描述根据本发明实施例的立体媒体文件重放装置。

图14是图示根据本发明实施例的媒体文件重放装置的框图。如图14所示，媒体文件重放装置包括：文件解析器1410、解码器1420、存储单元1430、重放器1440和显示单元1450。

文件解析器1410接收和解析例如通过媒体文件生成装置中的文件生成器1350生成的媒体文件1400。在该情况下，文件解析器1410解析分别存储在文件、影片(moov)、轨道和元数据区域中的信息，然后提取存储在媒体数据区域中的视频数据1401至1404。通过图4和7中所示的文件解析操作，文件解析器1410甚至可以提取包括轨道之间的引用信息的指示关系的信息，并且识别相关联的轨道。

解码器1420解码所提取的视频数据。在本发明的示范性实施例中，在媒体文件生成装置使用编码器1340来编码数据的情况下使用解码器1420。所解码的数据被存储在存储单元1430中。取决于识别信息，重放器1440使用存储在存储单元1430中的视频数据来合成并重放相关联的立体视图序列，和/或将相关联的立体视图序列和单视场视图序列一起重放。显示单元1450显示所重放的视图序列。显示单元1450可以采用障栅液晶显示器(LCD)。在该情况下，对于媒体文件中的单视场视频，关断障栅LCD，而对于立体视频，开启障栅LCD，使得可以将每个视频显示在屏幕上。

从前面的描述中很明显，本发明可以在由两个或更多个视图序列组成的立体内容或具有同时显示在一个场景中的立体视频和单视场视频的内容中所包括的轨道中显式地(explicitly)确定彼此相关联的轨道，并且还可以避免附加元数据的冗余。

虽然参考本发明的某些优选实施例示出并描述了本发明，但是本领域技术人员将理解的是，可以在其中进行形式和细节方面的各种改变，而不脱离由所附权利要求限定的本发明的精神和范围。

Claims (6)

1.一种计算机实施的方法，包括：

接收媒体文件；

解析所接收的媒体文件的媒体数据区和所接收的媒体文件的媒体头部区，所述媒体数据区包括作为在一个场景中同时显示的立体视图序列的多个视图序列，所述媒体头部区包括与所述多个视图序列中的每一个相对应的轨道区；以及

根据所述轨道区中与引用视图序列相对应的轨道区所包括的轨道引用字段中包括的轨道引用信息，基于引用视图序列和被引用视图序列来生成视频，

其中轨道引用信息指示为生成被引用视图序列而引用的所述轨道区中的另一轨道区。

2.根据权利要求1所述的计算机实施的方法，其中所述多个视图序列包括主视图序列和次视图序列。

3.根据权利要求2所述的计算机实施的方法，其中与主视图序列相对应的媒体数据区或媒体头部区指示对于所述主视图序列数据而言的相对显示器和照相机信息的参数值包括在与次视图序列相对应的媒体数据区或媒体头部区中。

4.一种终端装置，包括：

接收器，用于接收媒体文件；

文件解析器，用于解析所接收的媒体文件的媒体数据区和所接收的媒体文件的媒体头部区，所述媒体数据区包括作为在一个场景中同时显示的立体视图序列的多个视图序列，所述媒体头部区包括与所述多个视图序列中的每一个相对应的轨道区，并且根据所述轨道区中与引用视图序列相对应的轨道区所包括的轨道引用字段中包括的轨道引用信息，基于引用视图序列和被引用视图序列来提取视频；以及

显示单元，用于显示所提取的视频，

其中轨道引用信息指示为生成被引用视图序列而引用的所述轨道区中的另一轨道区。

5.根据权利要求4所述的终端装置，其中所述多个视图序列包括主视图序列和次视图序列。

6.根据权利要求5所述的终端装置，其中与主视图序列相对应的媒体数据区或媒体头部区指示对于所述主视图序列数据而言的相对显示器和照相机信息的参数值包括在与次视图序列相对应的媒体数据区或媒体头部区中。

Images