CN101268517A - 用于再现数据的方法和装置、记录介质、以及用于记录数据的方法和装置 - Google Patents

Abstract

在一个实施例中，使用第一解码器来解码从记录介质再现的数据中的主视频流，并使用第二解码器来解码所再现的数据中的辅助视频流。此辅助视频流代表相对于此主视频流的画中画视频数据。

Description

用于再现数据的方法和装置、记录介质、以及用于记录数据的方法和装置

技术领域

本发明涉及记录和再现的方法和装置以及一种记录介质。

背景技术

光盘被广泛地用作能够在其中记录大量数据的记录介质。尤其是最近已开发出诸如蓝光盘(BD)和高清晰度数字多功能盘(HD-DVD)的高密度光学记录介质，并且它们能够记录和存储大量的高质量视频数据和高质量音频数据。

这类基于下一代记录介质技术的高密度光盘记录介质被认为是能够存储的数据远多于常规DVD的下一代光学记录方案。高密度光学记录介质与其它数字设施的开发正在进行当中。另外，对其应用高密度记录介质标准的光学记录/再现装置也处于研发阶段。

根据高密度记录介质和光学记录/再现装置的发展，存在同时再现多个视频的可能。然而，据知还没有方法能够有效地同时记录或再现多个视频。此外，由于没有完全确立的高密度记录介质标准，因此难以开发出完善的基于高密度记录介质的光学记录/再现装置。

发明内容

本发明涉及解码从记录介质再现的画中画视频数据的方法。

在一个实施例中，使用第一解码器来解码从记录介质再现的数据中的主视频流，并使用第二解码器来解码所再现的数据中的辅助视频流。辅助视频流代表相对于主视频流的画中画视频数据。

在一个实施例中，该方法还包括从记录在记录介质上的数据文件再现主路径数据流。主数据流包括主视频流和辅助视频流。该实施例还可包括将主视频流从主数据流中分离出来，并将辅助视频流从主数据流中分离出来。

在一个实施例中，基于记录在记录介质上的类型信息确定辅助视频流是否被记录在与主视频流相同的数据文件中，并基于此确定步骤再现主数据流。

在另一实施例中，主路径数据流被再现自记录于记录介质上的第一数据文件。主路径数据流包括主视频流。另外，子路径数据流被再现自记录于记录介质上的第二数据文件。第二数据文件是与第一数据文件分离的，并且子路径数据流包括辅助视频流。该实施例可包括将主视频流从主路径数据流中分离出来，并将辅助视频流从子路径数据流中分离出来。

在一个实施例中，基于记录在记录介质上的类型信息确定辅助视频流是被记录在与主视频流相同的数据文件中还是与主视频流分离的数据文件中。

又一实施例还包括基于记录在记录介质上的类型信息与主视频流同步地显示辅助视频流。

又一实施例包括基于记录在记录介质上的类型信息与主视频流异步地显示辅助视频流。

在一个实施例中，主视频流和辅助视频流的比特率之和小于或等于一设定值。

在另一实施例中，辅助视频流具有与主视频流相同的扫描类型。

解码画中画视频数据的方法的又一实施例包括使用第一解码器来解码从记录介质再现的数据中的主视频流。该方法还包括从记录介质以外的外部源接收子路径数据流，存储包含至少辅助视频流的子路径数据流，并使用第二解码器来解码辅助视频流。该辅助视频流预定作为相对于主视频流的画中画数据。

本发明还涉及一种处理从记录介质再现的画中画视频数据的方法。本方法的一个实施例包括从再现自记录介质的主路径数据流分离出主视频流，并将主视频流提供给第一解码器。该实施例还包括从再现自记录介质的主路径数据流和子路径数据流中的一个分离出辅助视频流，并将辅助视频流提供给第二解码器。辅助视频流代表相对于主视频流的画中画视频数据。

本发明还涉及用于将画中画视频数据记录于记录介质上的方法和装置、用于解码从记录介质再现的画中画视频数据的装置、以及该记录介质。

附图说明

包括于此以提供对本发明的进一步理解、并被纳入在本申请内且构成其一部分的附图示出本发明的实施例，并与本说明一起用来解释本发明的原理。在附图中：

图1是示出根据本发明一个实施例的光学记录/再现装置与外围设施结合使用的示例性实施例的示意图；

图2是示出根据本发明一个实施例的记录在作为记录介质的光盘中的文件结构的示意图；

图3是示出根据本发明一个实施例的作为记录介质的光盘的数据记录结构的示意图；

图4是用来理解根据本发明一个实施例的辅助视频的概念的示意图；

图5是示出根据本发明一个实施例的光学记录/再现装置的总体配置的方框图；

图6是示意地示出根据本发明一个实施例的回放系统的示例性实施例的方框图；

图7是示出根据本发明一个实施例的AV解码器的示意图；

图8A是示出根据本发明的辅助视频的编码类型的第一实施例的示意图；

图8B是示出根据本发明的辅助视频的编码类型的第二实施例的示意图；

图9A-9C是示出根据本发明一个实施例的辅助视频的各种呈现路径类型的示意图；以及

图10是示出根据本发明的数据再现方法的示例性实施例的流程图。

具体实施方式

下面将详细参考本发明的示例性实施例，其具体例子示于附图中。在任何可能的场合，在附图中始终使用相同的参考标号来表示相同或相似的部分。

在下面的说明中，将结合光盘作为示例性记录介质来描述本发明的示例性实施例。具体地说，为便于说明而将蓝光盘(BD)用作为一种示例性记录介质。然而，可以领会本发明的技术理念可与应用于BD等效地应用于例如HD-DVD的其它记录介质。

在实施例中普遍使用的“存储”是配备在光学记录/再现装置(图1)中的存储。该存储是用户能在其中自由地存储所需信息和数据以便后续使用这些信息和数据的元件。常用的存储有硬盘、系统存储器、闪存等。然而，本发明不局限于这些存储。

与本发明相关联地，“存储”也可用作存储与记录介质(例如BD)相关联的数据的装置。一般来说，存储在存储中的与记录介质相关联的数据是从外部下载的数据。

对于这类数据，可以领会部分地允许直接从记录介质读出的数据、或者与记录介质的记录和再现相关联地产生的系统数据(例如元数据)可被存储在存储中。

为便于说明，在下面的说明中，记录在记录介质中的数据将被称为“原始数据”，而存储在存储中的与记录介质相关联的数据将被称为“附加数据”。

另外，本发明中定义的“标题”表示与用户接触的再现单元。诸标题各自链接于特定对象。因此，记录在盘中与一标题相关联的流根据与该标题链接的对象中的命令或程序被再现。具体地说，为便于说明，在下面的说明中，在包含根据MPEG压缩方案的视频数据的标题当中，支持诸如无缝多角度和多层(multi story)、语言信任、导演剪辑、三部曲收集等特征的标题将被称为“高清晰度电影(HDMV)标题”。另外，在包括根据MPEG压缩方案的视频数据的标题当中，提供具有网络连接性的完全可编程应用环境以允许内容提供者创建高交互性的标题将被称为“BD-J标题”。

图1示出根据本发明一个实施例的光学记录/再现装置与外围设施结合使用的示例性实施例。

根据本发明一个实施例的光学记录/再现装置10能向或从具有不同格式的各种光盘记录或再现数据。如有必要，光学记录/再现装置10可被设计成具有仅针对特定格式的光盘(例如BD)的记录和再现功能，或单具有再现功能而无记录功能。然而，在下面的说明中，将结合例如用于回放BD的BD播放机或用于记录和回放BD的BD刻录机并计及BD与外围设施的兼容性——这是本发明中必须解决的——来描述光学记录/再现装置10。可以领会本发明的光学记录/再现装置10可以是能内建在计算机等设备中的驱动器。

本发明的光学记录/再现装置10不仅具有光盘30的记录和回放的功能，而且具有接收外部输入信号、处理接收的信号并通过外置显示器20以可视图像的形式将经处理的信号发送给用户的功能。尽管对于外部输入信号没有特别的限制，然而代表性的外部输入信号可以是基于数字多媒体广播的信号、基于因特网的信号等。具体地说，对基于因特网的信号，因特网上的合需数据可在通过光学记录/再现装置10下载后被使用，这是因为因特网是任何人都易于访问的媒体。

在下面的说明中，提供作为外部源的内容的人将被统称为“内容提供者(CP)”。

本发明中使用的“内容”可以是标题的内容，并且在此情形中“内容”表示相关联的记录介质的作者提供的数据。

下文中将详细描述原始数据和附加数据。例如，某个标题的经多路复用的AV流可被记录在光盘中作为该光盘的原始数据。在这种情形中，可经由因特网提供与原始数据的音频流(例如英语)不同的音频流(例如韩语音频流)作为附加数据。一些用户可能希望从因特网下载与附加数据对应的音频流(例如韩语音频流)，将所下载的音频流随对应于原始数据的AV流一起再现，或单独再现附加数据。为此希望提供一种能够应用户的请求确定原始数据与附加数据之间的关系、并基于确定结果执行原始数据和附加数据的管理/再现的系统化方法。

如上所述，为便于说明，记录在盘中的信号已被称为“原始数据”，而存在于盘外的信号已被称为“附加数据”。然而，原始数据和附加数据的定义只是为了根据数据获取方法来分类本发明中可使用的数据。因此，原始数据和附加数据不应当局限于特定的数据。任何属性的数据皆可用作为附加数据，只要它们存在于记录有原始数据的光盘外并与原始数据有关系即可。

为了实现用户的请求，原始数据和附加数据各自必须具有彼此之间存在关系的文件结构。下文将结合图2和图3对在BD中可使用的文件结构和数据记录结构进行说明。

图2示出根据本发明一个实施例的用于再现和管理记录在BD中的原始数据的文件结构。

本发明的文件结构包括根目录、以及在根目录下出现的至少一个BDMV目录BDMV。在BDMV目录BDMV中，存在索引文件“index.bdmv”和对象文件“MovieObject.bdmv”作为具有用于保证与用户的交互性的信息的通用文件(上层文件)。本发明的文件结构还包括具有关于实际记录在盘中的数据的信息以及关于用来再现所记录数据的方法的信息的目录，即播放列表目录PLAYLIST、剪辑信息目录CLIPINF、流目录STREAM、辅助目录AUXDATA、BD-J目录BDJO、元数据目录META、备份目录BACKUP、和JAR目录。下文将详细阐述上述目录以及包含在这些目录中的文件。

JAR目录包括JAVA程序文件。

元数据目录META包括关于数据的数据的文件，即元数据文件。这种元数据文件可包括盘库的搜索文件和元数据文件。这类元数据文件用于在记录和再现数据期间高效率地搜索和管理数据。

BD-J目录BDJO包括用于再现BD-J标题的BD-J对象文件。

辅助目录AUXDATA包括用于回放盘的附加数据文件。例如，辅助目录AUXDATA可包括当执行交互图形功能时提供声音数据的“Sound.bdmv”、以及用于在盘回放期间提供字体信息的“11111.otf”和“99999.otf”文件。

流目录STREAM包括根据特定格式记录在盘中的多个AV流文件。这些流最普遍地以基于MPEG-2的传输分组的格式被记录。流目录STREAM将“*.m2ts”作为流文件的扩展名(例如01000.m2ts、02000.m2ts、……)。具体地说，视频/音频/图形信息的多路复用流被称为“AV流”。一个标题由至少一个AV流文件构成。

剪辑信息(clip-info)目录CLIPINF包括剪辑信息文件01000.clpi、02000.clpi、……，它们各自对应于流目录STREAM中所包含的流文件“*.m2ts”。具体地说，剪辑信息文件“*.clpi”记录有流文件“*.m2ts”的属性信息和定时信息。每个剪辑信息文件“*.clpi”以及与该剪辑信息文件“*.clpi”对应的流文件“*.m2ts”被统称为“剪辑”。即，一个剪辑表示包括一个流文件“*.m2ts”以及与该流文件“*.m2ts”对应的一个剪辑信息文件“*.clpi”两者的数据。

播放列表目录PLAYLIST包括多个播放列表文件“*.mpls”。“播放列表”表示剪辑的播放区间的组合。每个播放区间被称为一个“播放项”。每个播放列表文件“*.mpls”包括至少一个播放项，并且可包括至少一个子播放项。每个播放项和子播放项包括关于要被再现的特定剪辑的再现开始时间IN-Time和再现结束时间OUT-Time的信息。因此，播放列表可以是播放项的组合。

至于播放列表文件，使用播放列表文件中的至少一个播放项再现数据的过程被定义为“主路径”，而使用一个子播放项再现数据的过程被定义为“子路径”。主路径提供关联播放列表的主呈现，而子路径提供与主呈现相关联的辅助呈现。每个播放列表文件应当包括一个主路径。每个播放列表文件还包括至少一个子路径，其数目是根据子播放项的存在与否而确定的。因此，每个播放列表文件是整个再现/管理文件结构中的基础再现/管理文件单元，用来基于一个或多个播放项的组合来再现一个或多个合需的剪辑。

与本发明相关联地，通过主路径再现的视频数据被称为主视频，而通过子路径再现的视频数据被称为辅助视频。光学记录/再现装置同时再现主视频和辅助视频的功能也被称为“画中画(PiP)”。关联于本发明，在数据再现操作中随主路径一起使用的子路径主要被分成三种类型。这将在下面结合图9A-9C予以详细说明。

备份目录BACKUP将文件的拷贝存储在上述文件结构中，具体地说是记录有与盘的回放相关联的信息的文件的拷贝，例如索引文件“index.bdmv”、对象文件“MovieObject.bdmv”和“BD-Jobject.bdmv”、单元键文件、播放列表目录PLAYLIST中的所有播放列表文件“*.mpls”、以及剪辑信息目录CLIPINF中的所有剪辑信息文件“*.clpi”的拷贝。考虑到当上述文件中有任何文件损坏或丢失时，会引起与盘回放相关联的致命出错，因此备份目录BACKUP被适应性地配置成为备份目的而单独地存储文件拷贝。

同时，可以领会本发明的文件结构不局限于上述名称和位置。即上述目录和文件不应当通过其名称和位置予以理解，而是应当通过其意义予以理解。

图3示出根据本发明一个实施例的光盘的数据记录结构。在图3中示出了与盘中的文件结构相关联的信息的记录结构。参照图3，可以看出盘包括记录有用来管理整个文件的系统信息的文件系统信息区，记录有索引文件、对象文件、播放列表文件、剪辑信息文件、和元文件(这些文件是再现记录的流“*.m2ts”所必需)的区，记录有各自由音频/视频/图形数据或STREAM文件构成的流的流区、以及记录有JAVA程序文件的JAR区。当从盘的内圆周开始观察时，这些区以上述次序编排。

在盘中，存在记录用于再现流区中的内容的文件信息的区。该区被称为“管理区”。文件系统信息区和数据库区被包含在管理区中。

图3中诸区仅为示例性目的而示出和描述。将可领会，本发明并不被限定于图3的区域编排。

根据本发明，主视频和/或辅助视频的流数据被存储在流区中。在本发明中，辅助视频可被编码在与主视频相同的流中(被称为内多路复用(in-mux))，或者可被编码在与主视频不同的流中(被称为外多路复用(out-mux或out-of-mux))。管理区可记录有指示于其中编码辅助视频的流的种类的信息，即辅助视频的编码类型信息(out-mux和in-mux)。

图4是用来理解根据本发明实施例的辅助视频的概念的示意图。

本发明提供一种与主视频数据同时再现辅助视频数据的方法。例如，本发明提供一种允许PiP应用、尤其是有效地执行PiP应用的光学记录/再现装置。

在如图4所示的主视频410的再现期间，可能需要通过与主视频410所用的相同的显示器20输出与主视频410相关联的其它视频数据。根据本发明，可以实现这样的PiP应用。例如，在回放电影或纪录片期间，可向用户提供导演的评注或与摄影过程相关联的插曲。在这种情形中，评注或插曲的视频就是辅助视频420。辅助视频420可从主视频410再现的开头起与主视频410同时地再现。辅助视频420的再现可开始于主视频410再现的中间时段。也可根据再现过程来显示辅助视频420并同时改变辅助视频420在屏幕上的位置或尺寸。也可实现多个辅助视频420。在这种情形中，可在主视频410的再现期间，彼此独立地再现诸辅助视频420。可随关联于主视频410的音频410a一起再现主视频410。类似地，可随关联于辅助视频420的音频420a一起再现辅助视频420。

为了再现辅助视频，其中多路复用有辅助视频的AV流被识别出，并且将辅助视频从该AV流中分离出来以便解码该辅助视频。相应地，提供关于适用于该辅助视频的编码方法以及其中编码有该辅助视频的流的种类的信息。另外，提供关于主视频和辅助视频是否应当被彼此同步的信息。这种呈现路径类型信息(同步或异步)可作为编码类型信息的一部分被提供。另外，应当定义一新的解码器模型以同时再现主视频和辅助视频。本发明提供一种能够满足上述要求并高效率地随主视频再现辅助视频的方法。下文中将结合图5和其余附图对本发明进行详细说明。

图5示出根据本发明的光学记录/再现装置10的整体配置的示例性实施例。

如图5所示，光学记录/再现装置10主要包括拾取头11、伺服14、信号处理器13、和微处理器16。拾取头11再现记录在光盘中的原始数据和管理数据。管理数据包括再现管理文件信息。伺服14控制拾取头11的操作。信号处理器13从拾取头11接收再现的信号，并将接收到的再现信号恢复成合需的信号值。信号处理器13还将例如主视频和辅助视频的要被记录的信号分别调制成可记录在光盘中的信号。微处理器16控制拾取头11、伺服14和信号处理器13的操作。拾取头11、伺服14、信号处理器13、和微处理器16也被统称为“记录/再现单元”。根据本发明，记录/再现单元在控制器12的控制下从光盘30或存储15读取数据，并将所读取的数据发送给AV解码器17b。记录/再现单元还从AV编码器18接收经编码的信号，并将接收到的信号记录在光盘30中。因此，记录/再现单元可将视频和音频数据记录在光盘30中。

控制器12根据用户命令下载存在于光盘30之外的附加数据，并将附加数据存储在存储15中。控制器12还应用户请求再现存储在存储15中的附加数据和/或光盘30中的原是数据。根据本发明，控制器12根据在其中编码了辅助视频的流的种类产生编码类型信息，并控制记录/再现单元将此编码类型信息随视频数据一起记录在光盘30中。下面结合图8A-8C描述辅助视频的编码类型。

光学记录/再现装置10还包括回放系统17，用来在控制器12的控制下最终解码数据并将经解码的数据提供给用户。回放系统17包括用于解码AV信号的AV解码器17b。回放系统还包括用来分析与特定标题的回放相关联的对象命令或应用、分析经由控制器12输入的用户命令、并基于分析结果确定回放方向的播放机模型17a。在一个实施例中，播放机模型17a可实现为包括AV解码器17a。在这种情形中，回放系统17本身是播放机模型。

同样包含在本发明的光学记录/再现装置10中的AV编码器18将输入信号转换成例如MPEG2传输流的特定格式的信号，并将经转换的信号发送至信号处理器13，以允许将输入信号记录在光盘30中。

图6是解释根据本发明一个实施例的回放系统的示意图。根据本发明，该回放系统能同时再现主视频和辅助视频。

“回放系统”表示由设置在光学记录/再现装置中的程序(软件)和/或硬件构成的联合式再现处理装置。即，该回放系统是一种不仅能回放加载于光学记录/再现装置中的记录介质而且能再现和管理存储于该装置的存储中(例如在从记录介质的外部下载之后)的与该记录介质相关联的数据的系统。

具体地说，如图6所示，回放系统17可包括用户事件管理器171、模块管理器172、元数据管理器173、HDMV模块174、BD-J模块175、回放控制引擎176、呈现引擎177和虚拟文件系统40。下面将详细描述这种配置。

作为用于再现HDMV标题和BD-J标题的单独的再现处理/管理装置，针对HDMV标题的HDMV模块174和针对BD-J标题的BD-J模块175被彼此独立地构造。HDMV模块174和BD-J模块175各自具有接收包含在关联的对象“电影对象”或“BD-J对象”中的命令或程序以及处理接收到的命令或程序的控制功能。HDMV模块174和BD-J模块175各自可从回放系统的硬件配置分离出关联的命令或应用，以实现命令或应用的可移植性。为了实现命令的接收和处理，HDMV模块174包括命令处理器174a。为了实现应用的接收和处理，BD-J模块175包括Java虚拟机(VM)175a和应用管理器175b。

Java VM 175a是其中执行应用的虚拟机。该应用管理器175b包括用于管理在BD-J模块175中处理的应用的寿命周期的应用管理功能。

模块管理器172不仅起到分别向HDMV模块174和BD-J模块175发送用户命令的作用，而且还起到控制HDMV模块174和BD-J模块175的操作的作用。回放控制引擎176根据来自HDMV模块174或BD-J模块175的回放命令分析实际记录在盘中的播放列表文件，并基于分析结果执行回放功能。呈现引擎177解码由回放控制引擎176与其再现相关联地管理的特定流，并将经解码的流显示在显示画面上。具体地说，回放控制引擎176包括：回放控制功能176a，用来管理所有回放操作；以及播放机寄存器176b，用来存储关于播放机的回放状态和回放环境的信息(播放机状态寄存器(PSR)和通用寄存器(GRP)的信息)。在某些情形中，回放控制功能176a表示回放控制引擎176本身。

HDMV模块174和BD-J模块175分别以独立方式接收用户命令。HDMV模块174和BD-J模块175的用户命令处理方法同样彼此独立。为了将用户命令传递给HDMV模块174和BD-J模块175中相关联的那个，应当使用单独的传递手段。根据本发明，这种功能是由用户事件管理器171实行的。因此，当用户事件管理器171接收到通过用户操作(UO)控制器171a生成的用户命令时，用户事件管理器将接收到的用户命令发送给模块管理器172或UO控制器171a。另一方面，当用户事件管理器171接收到通过键事件生成的用户命令时，用户事件管理器将接收到的用户命令发送给BD-J模块175中的Java VM 175a。

本发明的回放系统17还可包括元数据管理器173。元数据管理器173向用户提供盘库和增强的搜索元数据应用。元数据管理器173在用户的控制下执行标题的选择。元数据管理器173也可向用户提供记录介质和标题元数据。

根据本发明的回放系统的模块管理器172、HDMV模块174、BD-J模块175和回放控制引擎176能够以软件方式执行合需的处理。实践中，使用软件的处理相比使用硬件配置的处理在设计上具有优势。当然，一般来说呈现引擎177、解码器19和平面是使用硬件设计的。尤其，各自使用软件执行合需处理的构成要素(例如由附图标记172、174、175和176标示的构成要素)可构成控制器12的一部分。因此，应当注意本发明的上述构成和配置是在其意义的基础上来理解的而不局限于其实现方法，诸如硬件或软件实现。这里，“平面”表示用于解释主视频、辅助视频、PG(呈现图形)、IG(交互图形)、文本字幕的覆盖过程的概念模型。根据本发明，辅助视频平面被编排在主视频平面的前面。因此，在被解码后输出的辅助视频呈现在辅助视频平面上。

图7示意地示出根据本发明一个实施例的AV解码器17b。

根据本发明，该AV解码器17b包括用于同时再现主视频和辅助视频——即实现PiP应用的辅助视频解码器730b。辅助视频解码器730b解码辅助视频。辅助视频能以包含在AV流中的状态被记录在记录介质30中，从而被提供给用户。也可在从记录介质30外下载辅助视频之后将其提供给用户。AV流以传输流(TS)的形式被提供给AV解码器17b。

在本发明中，通过主路径再现的AV流被称为主传输流或主TS(在下文中也称其为“主流”)，而主流以外的AV流被称为子传输流或子TS(下文中也将其称为“子流”)。

在AV解码器17b中，来自光盘30的主流通过开关元件传至缓冲器RB1，并且被缓冲的主流由源拆分组器710a拆分组。包含在经拆分组的AV流中的数据在根据数据分组的种类在PID(分组标识符)过滤器1720a中从经拆分组的AV流中分离出来后被提供给解码器730a-730g中相关联的那一个。即，在辅助视频被包含在主流中的情形中，辅助视频由PID过滤器1720a将其与主流中的其它数据分组分离开来，并随后被提供给辅助视频解码器730b。如图所示，来自PID过滤器1720a的分组可先通过另一开关元件再被解码器730b-730g接收。

图8A示出用于编码辅助视频的方法的第一实施例。在该实施例中，将辅助视频与主视频编码在一起。即辅助视频被编码于与主视频相同的流(即主流)中的情形。这种编码类型可被称为“内多路复用(in-mux)”。在图8A的实施例中，播放列表包括一个主路径和三个子路径。主路径是主视频/音频的呈现路径，而每个子路径是主视频/音频外加的视频/音频的呈现路径。构成主路径的播放项“PlayItem-1”和“PlayItem-2”各自指向要被再现的关联剪辑，并指向这些剪辑的播放区间。在每个播放项的STN表中，定义了在播放项的呈现期间可由本发明的光学记录/再现装置选择的元流。播放项“PlayItem-1”和“PlayItem-2”指向剪辑“Clip-0”。因此，针对播放项“PlayItem-1”和“PlayItem-2”的播放区间再现剪辑“Clip-0”。由于剪辑“Clip-0”是通过主路径再现的，因此剪辑“Clip-0”作为主流被提供给AV解码器17b。

与主路径相关联的子路径“SubPath-1”、“SubPath-2”和“SubPath-3”各自由单个相关联的子播放项构成。每个子路径的子播放项指向要被再现的剪辑。在所示情形中，子路径“SubPath-1”指向剪辑“Clip-0”，子路径“SubPath-2”指向剪辑“Clip-1”，而子路径“SubPath-3”指向剪辑“Clip-2”。即子路径“SubPath-1”使用包含在剪辑“Clip-0”中的辅助视频和音频流。另一方面，子路径“SubPath-2”和“SubPath-3”各自使用相关联的子播放项所指向的剪辑中包含的音频、PG和IG流。

在图8A的实施例中，辅助视频被编码于要通过主路径再现的剪辑“Clip-0”中。因此，辅助视频随主视频一起作为主流被提供给AV解码器17b。在AV解码器17b中，辅助视频经由PID过滤器1被提供给辅助视频解码器730b，并随后由辅助视频解码器730b解码。另外，剪辑“Clip-0”的主视频在主视频解码器730a中解码，并且主音频在主音频解码器730e中解码。另外，PG(呈现图形)、IG(交互图形)和辅助音频分别在PG解码器730c、IG解码器730d、和辅助音频解码器730f中被解码。

图8B示出此用于编码辅助视频的方法的第二实施例。在本实施例中，辅助视频被编码于与主视频不同的流中。

在图8B的实施例中，播放列表包括一个主路径和两个子路径“SubPath-1”和“SubPath-2”。播放项“PlayItem-1”和“PlayItem-2”用来再现包含在剪辑“Clip-0”中的元流。子路径“SubPath-1”和“SubPath-2”各自由单个相关联的子播放项构成的。子路径“SubPath-1”和“SubPath-2”的子播放项分别指向剪辑“Clip-1”和“Clip-2”。在“SubPath-1”随主路径呈现的情形中，由子路径“SubPath-1”指向的辅助视频随主路径所指向的主视频一起再现。另一方面，当“SubPath-2”随主路径呈现时，由子路径“SubPath-2”指向的辅助视频与主视频一起被再现。

在图8B的实施例中，辅助视频被包含在除通过主路径再现的流以外的流中。因此，经编码的辅助视频——即剪辑“Clip-1”和“Clip-2”——的流作为子流被提供给AV解码器17b。如上所述，辅助视频被编码于与主视频不同的流中的情形被称为“外多路复用(out-of-mux)”。

在AV解码器17b中，来自光盘30或本地存储15的每个子流通过开关元件到达缓冲器RB2，被缓冲的子流由源拆分组器710b拆分组。包含在经拆分组的AV流中的数据在根据数据分组种类在PID过滤器2720b中从经拆分组的AV流中分离出来之后被提供给解码器730a到730g中相关联的那一个。如图所示，来自PID过滤器2720b的分组可先通过另一开关元件再被解码器730b-730f接收。例如，当“SubPath-1”随主路径呈现时，包含在剪辑“Clip-1”中的辅助视频在从辅助音频分组分离出来之后被提供给辅助视频解码器730b，并随后由辅助视频解码器730b解码。在这种情形中，辅助音频被提供给辅助音频解码器730f，并随后由辅助音频解码器730f解码。经解码的辅助视频被显示在由主视频解码器730a解码后显示的主视频之上。因此，用户能通过显示器20观看主视频和辅助视频两者。

参照结合图7-8B给出的说明，可以看出辅助视频的呈现路径是根据辅助视频的编码方法变化的。鉴于此，根据本发明的辅助视频的呈现路径主要分为三种类型。下面结合图9A到9C描述根据本发明的辅助视频的呈现路径类型。

图9A示出辅助视频的编码类型是“外多路复用(out-of-mux)”类型并且辅助视频与主视频同步的情形。

参照图9A，用于管理主视频和辅助视频的播放列表包括一个主路径和一个子路径。主路径由四个播放项(“PlayItem_id”＝0，1，2，3)构成，而子路径由多个子播放项构成。通过子路径再现的辅助视频与主路径同步。详细地说，使用识别与每个子播放项关联的播放项的信息字段“sync-PlayItem_id”以及指示子播放项在播放项中的呈现时间的呈现时戳信息“sync_start_PTS_of_PlayItem”来使辅助视频与主路径同步。即，当播放项的呈现点达到由呈现时戳信息所指向的值时，则起动相关联的子播放项的呈现。由此，通过一个子路径的辅助视频的再现开始于通过主路径的主视频的呈现期间的一个时刻。

在这种情形中，播放项和子播放项各自指向不同的剪辑。播放项所指向的剪辑作为主流被提供给AV解码器17b，而子播放项所指向的剪辑作为子流被提供给AV解码器17b。包含在主流中的主视频在通过拆分组器710a和PID过滤器1720a后由主视频解码器730a解码。另一方面，包含在子流中的辅助视频在通过拆分组器710b和PID过滤器2720b后由辅助视频解码器730b解码。

图9B示出辅助视频的编码类型是“外多路复用(out-of-mux)”类型并且辅助视频与主视频异步的情形。与图9A的呈现路径类型相似，将通过子路径再现的辅助视频流以与要基于相关联的播放项再现的剪辑分离的状态被多路复用。然而，图9B的呈现路径类型与图9A的呈现路径类型的区别在于子路径的呈现可开始于主路径的时间线上的任何时刻。

参照图9B，用于管理主视频和辅助视频的播放列表包括一个主路径和一个子路径。主路径由三个播放项构成(“PlayItem_id”＝0，1，2)，而子路径由一个子播放项构成。通过子路径再现的辅助视频与主路径异步。也就是说，即使子播放项包括用于识别与子播放项相关联的播放项的信息以及指示该子播放项在播放项中的呈现时间的呈现时戳信息，这些信息在图9B的呈现路径类型中也是无效的。因此，通过一个子路径的辅助视频的再现开始于主视频再现期间的任何时刻。因此，用户能够在主视频再现期间的任何时刻观看辅助视频。

在这种情形中，由于辅助视频的编码类型是“外多路复用(out-of-mux)”类型，因此主视频作为主流被提供给AV解码器17b，并且辅助视频作为子流被提供给AV解码器17b，如前面结合图9A所述那样。

图9C示出辅助视频的编码类型是“内多路复用(in-mux)”类型并且辅助视频与主视频同步的情形。图9C的呈现路径类型与图9A和9B的区别在于辅助视频被多路复用于与主视频相同的AV流中。

参照图9C，用于管理主视频和辅助视频的播放列表包括一个主路径和一个子路径。主路径由四个播放项(“PlayItem_id”＝0，1，2，3)构成，而子路径由多个子播放项构成。构成子路径的子播放项各自包括用于识别与该子播放项相关联的播放项的信息、以及指示该子播放项在播放项中的呈现时间的呈现时戳信息。如前面结合图9A所示那样，使用上述信息使每个子播放项与相关联的播放项同步。由此，使辅助视频与主视频同步。在图9C的呈现路径类型中，构成主路径的每个播放项和构成子路径的子播放项中相关联的一个或多个指向同一剪辑。即，使用包含在由主路径管理的剪辑中的流来呈现子路径。由于该剪辑是由主路径管理的，因此该剪辑作为主流被提供给AV解码器17b。由包含主视频和辅助视频的经分组数据构成的主流被送至拆分组器710a，后者进而将经分组的数据拆分组。经拆分组的主视频和辅助视频根据相关联的分组识别信息被提供给主视频解码器730a和辅助视频解码器730b，并随后分别由主视频解码器730a和辅助视频解码器730b解码。

主流和子流可从记录介质30或存储15向AV解码器17b提供。在主视频和辅助视频分别被存储于不同剪辑中的场合，可将主视频记录于记录介质30中以提供给用户，并且可从记录介质30外下载辅助视频至存储15。当然，与上述情形相反的情形也是可能的。然而，在主视频和辅助视频两者均被存储在记录介质30中的场合，可在其再现前将主视频和辅助视频中的一个拷贝至存储15，以更好地使主视频和辅助视频能被同时再现。在主视频和辅助视频两者均被存储于同一剪辑中的场合，在将它们记录于记录介质30中之后提供主视频和辅助视频。然而，主视频和辅助视频也可以都是从记录介质30外下载的。

同时，光学记录/再现装置10具有设定为特定值(例如48Mbps)或设定为预定值的最大传输流比特率。因此，被解码的传输流的比特率不能超过此设定值。在从存储15提供辅助视频后将其与主视频异步再现的情形中，该设定值被施加于包含主视频的流以及包含辅助视频的流两者。例如，在设定值为48Mbps的场合，主视频是比特率为40Mbps的流，而辅助流下载自网络并具有30Mbps的比特率，这种情形中的总比特率可能超过例如48Mbps的设定值，这是因为总比特率为70Mbps。在这种情形中，由于设定比特率造成的限制，无法将辅助视频和谐地与主视频一起再现。为此，根据本发明的一个实施例，要防止同时解码的传输流的总比特率超过设定比特率。在辅助视频与主视频同步的场合，内容提供者应当考虑到主视频和辅助视频的比特率的结合来提供内容。即使在辅助视频的呈现路径与主视频异步的情形中，也应当考虑设定的比特率。

同时，主视频和辅助视频可被编码成高清晰度(HD)等级或标准清晰度(SD)等级。对此，可根据HD与SD视频的结合相对于设定的比特率设定一受限的比特率。例如，对于HD等级的主视频和HD等级的辅助视频，其最大比特率分别可被设定为20Mbps或以下。另一方面，对于HD等级的主视频和SD等级的辅助视频，其最大比特率分别可被设定为30Mbps或以下以及15Mbps或以下。可将相似的比特率约束施加于SD等级主视频和HD等级辅助视频的结合、以及SD等级主视频和SD等级辅助视频的结合。

此外，辅助视频应当具有与主视频相同的扫描类型(例如逐行或隔行)。

图10示出根据本发明的数据再现方法的示例性实施例。

根据此数据再现方法，当执行播放列表时，包含在播放列表中的主路径和子路径的呈现开始。为了根据本发明在主视频之上显示辅助视频，用来再现辅助视频的子路径应当随用来再现主视频的主路径一起呈现。因此，控制器12基于辅助视频的编码类型信息检查辅助视频是否被编码在主流中(S10)。例如，如以上所讨论的，可提供指示子路径类型(例如out-of-mux或in-mux)的编码类型信息。或者，可基于与子路径相关联的子播放项是否识别与主路径中的播放项相同的剪辑来确定子路径类型。在辅助视频被编码于主流中，即辅助视频的编码类型是“in-mux”类型的情形中，将辅助视频从主流中分离出来，并且随后将其送至辅助视频解码器730b(S20)。另一方面，在辅助视频流被编码于子流中，即辅助视频的编码类型是“out-of-mux”类型的情形中，将辅助视频从子流中分离出来并随后将其送至辅助视频解码器730b(S30)。在由辅助视频解码器730b解码后(S40)，辅助视频被显示在当前显示于显示器20上的主视频之上(S50)。

同时，在辅助视频的呈现路径类型与图9A的呈现路径类型对应的情形中，控制器12控制AV解码器17b与主视频同步地解码辅助视频。另一方面，在辅助视频的呈现路径类型与图9B的呈现路径类型对应的情形中，控制器12控制AV解码器17b在主视频再现期间的任何时间解码辅助视频，例如响应用户输入解码辅助视频。

在主视频被显示在显示器20上的情形中，能以隔行类型或逐行类型对其进行扫描。根据本发明，辅助视频使用与主视频相同的扫描类型(扫描方案)。即，当主视频以逐行类型时，同样以逐行方式在显示器20上扫描辅助视频。另一方面，在以隔行类型扫描主视频的情形中，同样以隔行形式在显示器20上扫描辅助视频。

从上面的说明可知，根据本发明的记录介质、数据再现方法和装置、以及数据记录方法和装置，可与主视频同步地再现辅助视频。另外，能高效率地执行再现。因此，其优势在于内容提供者能编撰更为多样的内容，以使用户能体验到更为多样的内容。

工业应用性

本领域内技术人员可以清楚知道可对本发明作出各种修改和变形而不会脱离本发明的精神或范围。因此，本发明旨在涵盖本发明的所有修改和变形。

Claims (41)

1.一种解码从记录介质再现的画中画视频数据的方法，包括：

使用第一解码器来解码从所述记录介质再现的数据中的主视频流；以及

使用第二解码器来解码所再现的数据中的辅助视频流，所述辅助视频流代表相对于所述主视频流的画中画视频数据。

2.如权利要求1所述的方法，其特征在于，还包括：

从记录在所述记录介质上的数据文件再现主路径数据流，所述主路径数据流包括所述主视频流和辅助视频流。

3.如权利要求2所述的方法，其特征在于，还包括：

基于所述主路径数据流的数据分组中的分组标识符将所述主视频流从所述主路径数据流中分离出来；以及

基于所述主路径数据流的数据分组中的分组标识符将所述辅助视频流从所述主路径数据流中分离出来；并且其中

所述解码主视频流的步骤解码所分离出来的主视频流；并且

所述解码辅助视频流的步骤解码所分离出来的辅助视频流。

4.如权利要求2所述的方法，其特征在于，还包括：

基于记录在所述记录介质上的类型信息确定所述辅助视频流是否被记录在与所述主视频流相同的数据文件中；并且其中

所述再现步骤基于所述确定步骤来再现所述主路径数据流。

5.如权利要求2所述的方法，其特征在于，还包括：

基于记录于所述记录介质上的类型信息来随所述主视频流同步地显示所述辅助视频流。

6.如权利要求5所述的方法，其特征在于，还包括：

如果所述类型信息指示要随所述主视频流同步地呈现所述辅助视频流，则基于记录在所述记录介质上的标识符来确定所述主视频流中要使所述辅助视频流随之一起再现的播放项，并且其中

所述显示步骤基于所述类型信息和所述标识符来随所述主视频流同步地显示所述辅助视频流。

7.如权利要求1所述的方法，其特征在于，还包括：

从记录在所述记录介质上的第一数据文件再现主路径数据流，所述主路径数据流包括所述主视频流；以及

从记录在所述记录介质上的第二数据文件再现子路径数据流，所述第二数据文件是与所述第一数据文件分离的，并且所述子路径数据流包括所述辅助视频流。

8.如权利要求7所述的方法，其特征在于，还包括：

基于所述主路径数据流的数据分组中的分组标识符将所述主视频流从所述主路径数据流中分离出来；以及

基于所述子路径数据流的数据分组中的分组标识符将所述辅助视频流从所述子路径数据流中分离出来；并且其中

所述解码主视频流的步骤解码所分离出来的主视频流；并且

所述解码辅助视频流的步骤解码所分离出来的辅助视频流。

9.如权利要求7所述的方法，其特征在于，还包括：

基于记录在所述记录介质上的类型信息来确定所述辅助视频流是否被记录在与所述主视频流相同的数据文件中；并且其中

所述再现主路径数据流的步骤基于所述确定步骤来再现所述主路径数据流；并且

所述再现子路径数据流的步骤基于所述确定步骤来再现所述子路径数据流。

10.如权利要求7所述的方法，其特征在于，还包括：

基于记录在所述记录介质上的类型信息随所述主视频流同步地显示所述辅助视频流。

11.如权利要求10所述的方法，其特征在于，还包括：

如果所述类型信息指示要随所述主视频流同步地呈现所述辅助视频流，则基于记录在所述记录介质上的标识符来确定所述主视频流中要使所述辅助视频流随之一起再现的播放项，并且其中

所述显示步骤基于所述类型信息和所述标识符来随所述主视频流同步地显示所述辅助视频流。

12.如权利要求11所述的方法，其特征在于，还包括：

如果所述类型信息指示要随所述主视频流同步地呈现所述辅助视频流，则基于记录在所述记录介质上的呈现定时信息来确定所述辅助视频流的呈现定时；并且其中

所述显示步骤基于所述类型信息、所述标识符和所述呈现定时信息来随所述主视频流同步地显示所述辅助视频流。

13.如权利要求10所述的方法，其特征在于，还包括：

如果所述类型信息指示要随所述主视频流同步地呈现所述辅助视频流，则基于记录在所述记录介质上的呈现定时信息来确定所述辅助视频流的呈现定时；并且其中

所述显示步骤基于所述类型信息和所述呈现定时信息来随所述主视频流同步地显示所述辅助视频流。

14.如权利要求7所述的方法，其特征在于，还包括：

基于记录在所述记录介质上的类型信息随所述主视频流异步地显示所述辅助视频流。

15.如权利要求1所述的方法，其特征在于，所述主视频流和辅助视频流的比特率之和小于或等于一设定值。

16.如权利要求1所述的方法，其特征在于，所述辅助视频流具有与所述主视频流相同的扫描类型。

17.一种解码画中画视频数据的方法，包括：

使用第一解码器来解码从记录介质再现的数据中的主视频流；

接收来自除所述记录介质以外的外部源的子路径数据流；

存储包括至少辅助视频流的所述子路径数据流，所述辅助视频流预定作为相对于所述主视频流的画中画数据；以及

使用第二解码器来解码所述辅助视频流。

18.一种处理从记录介质再现的画中画视频数据的方法，包括：

从再现自所述记录介质的主路径数据流中分离出主视频流；

将所述主视频流提供给第一解码器；

从再现自所述记录介质的所述主路径数据流和子路径数据流中的一个分离出辅助视频流，所述辅助视频流代表相对于所述主视频流的画中画视频数据；以及

将所述辅助视频流提供给第二解码器。

19.一种记录介质，其具有用于管理存储在所述记录介质上的画中画视频数据的解码的数据结构，所述记录介质包括：

数据区，用来存储主视频流和辅助视频流，所述辅助视频流代表相对于所述主视频流的画中画视频数据；以及

管理区，用来存储管理所述主视频流和辅助视频流的再现以使得所述辅助视频流用与用来解码所述主视频流的解码器不同的解码器来解码的管理信息。

20.如权利要求19所述的记录介质，其特征在于，所述管理信息包括指示所述主视频流和辅助视频流是否被存储在同一数据文件中的类型信息。

21.如权利要求20所述的记录介质，其特征在于，所述类型信息指示是否随所述主视频流同步地显示所述辅助视频流。

22.如权利要求19所述的记录介质，其特征在于，所述管理信息包括指示是同步地还是异步地随所述主视频流显示所述辅助视频流的类型信息。

23.一种用于解码从记录介质再现的画中画视频数据的装置，包括：

第一解码器，所述第一解码器被配置成解码从所述记录介质再现的数据中的主视频流；以及

第二解码器，所述第二解码器被配置成解码所再现的数据中的辅助视频流，所述辅助视频流代表相对于所述主视频流的画中画视频数据。

24.如权利要求23所述的装置，其特征在于，还包括：

过滤器，用于从所述主路径数据流中分离出所述主视频流，并从所述主路径数据流中分离出所述辅助视频流，并且其中

所述第一解码器解码所分离出来的主视频流；并且

所述第二解码器解码所分离出来的辅助视频流。

25.如权利要求24所述的装置，其特征在于，

所述过滤器基于所述主路径数据流的数据分组中的分组标识符来分离所述主视频流和辅助视频流。

26.如权利要求24所述的装置，其特征在于，还包括：

控制器，所述控制器基于记录在所述记录介质上的类型信息来确定所述辅助视频流是否被记录在与所述主视频流相同的数据文件中，并基于所述确定来控制所述主路径数据流的再现。

27.如权利要求24所述的装置，其特征在于，所述第二解码器基于记录在所述记录介质上的类型信息来解码所述辅助视频流以使得所述辅助视频流随所述主视频流同步地显示。

28.如权利要求23所述的装置，其特征在于，还包括：

第一过滤器，用于将所述主视频流从所述主路径数据流中分离出来；以及

第二过滤器，用于将所述辅助视频流从所述子路径数据流中分离出来；并且其中

所述第一解码器解码所分离出来的主视频流；以及

所述第二解码器解码所分离出来的辅助视频流。

29.如权利要求28所述的装置，其特征在于，

所述第一过滤器基于所述主路径数据流的数据分组中的分组标识符来分离所述主视频流；以及

所述第二过滤器基于所述子路径数据流的数据分组中的分组标识符来分离所述辅助视频流。

30.如权利要求28所述的装置，其特征在于，还包括：

控制器，所述控制器基于记录在所述记录介质上的类型信息来确定所述辅助视频流是否被记录在与所述主视频流分离的数据文件中，并基于所述确定来控制所述主路径数据流和子路径数据流的再现。

31.如权利要求28所述的装置，其特征在于，所述第二解码器基于记录在所述记录介质上的类型信息来解码所述辅助视频流以使得所述辅助视频流随所述主视频流同步地显示。

32.一种用于解码画中画视频数据的装置，包括：

第一解码器，用来解码从记录介质再现的数据中的主视频流；

本地存储，用来从除所述记录介质以外的外部源接收子路径数据流，并存储包括至少辅助视频流的所述子路径数据流，所述辅助视频流预定作为相对于所述主视频流的画中画数据；以及

第二解码器，用来解码所述辅助视频流。

33.如权利要求32所述的装置，其特征在于，还包括：

第一过滤器，用于将所述主视频流从所述主路径数据流中分离出来；以及

第二滤波器，用于将所述辅助视频流从所存储的子路径数据流中分离出来；其中

所述第一解码器解码所分离出来的主视频流，并且

所述第二解码器解码所分离出来的辅助视频流。

34.如权利要求33所述的装置，其特征在于，

所述第一过滤器基于所述主路径数据流的数据分组中的分组标识符来分离所述主视频流；并且

所述第二滤波器基于所述子路径数据流的数据分组中的分组标识符来分离所述辅助视频流。

35.一种在记录介质上记录画中画视频数据的方法，包括：

在所述记录介质上记录主视频流和辅助视频流，所述辅助视频流代表相对于所述主视频流的画中画视频数据；以及

在所述记录介质上记录管理信息，所述管理信息用来管理所述主视频流和辅助视频流的再现以使得所述辅助视频流用与用来解码所述主视频流的解码器不同的解码器来解码。

36.如权利要求35所述的方法，其特征在于，所述管理信息包括指示所述主视频流和辅助视频流是否被存储在同一数据文件中的类型信息。

37.如权利要求35所述的方法，其特征在于，所述管理信息包括指示是否随所述主视频流同步地显示所述辅助视频流的类型信息。

38.一种用于在记录介质上记录画中画视频数据的装置，包括：

驱动器，所述驱动器被配置成驱动记录设备将数据记录在所述记录介质上；

控制器，所述控制器被配置成控制所述驱动器将主视频流和辅助视频流记录在所述记录介质上，所述辅助视频流代表相对于所述主视频流的画中画视频数据；并且

所述控制器被配置成在所述记录介质上记录管理信息，所述管理信息用来管理所述主视频流和辅助视频流的再现以使得所述辅助视频流用与用来解码所述主视频流的解码器不同的解码器来解码。

39.如权利要求38所述的装置，其特征在于，所述管理信息包括指示是否随所述主视频流同步地显示所述辅助视频流的类型信息。

40.如权利要求38所述的装置，其特征在于，所述管理信息包括指示所述主视频流和辅助视频流是否被存储为分别的数据文件的类型信息。

41.如权利要求40所述的装置，其特征在于，所述类型信息指示是否以同步或异步方式之一随所述主视频流显示所述辅助视频流。

Images