CN101283410A - 再现数据的方法和装置、记录介质、以及记录数据的方法和装置 - Google Patents

Abstract

在一个实施方式中，本方法包括再现用于管理至少一个辅助视频流和至少一个辅助音频流的再现的管理信息。辅助视频流表示相对于由主视频流表示的主呈现路径的画中画呈现路径。该管理信息包括第一组合信息，而第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。基于第一组合信息再现这些辅助音频流中的至少一个。

Description

再现数据的方法和装置、记录介质、以及记录数据的方法和装置

技术领域

本发明涉及记录和再现方法及装置、以及记录介质。

背景技术

光盘被广泛地用作能在其中记录大量数据的记录介质。具体地，诸如蓝光盘(BD)和高清晰度数字通用盘(HD-DVD)之类的高密度光学记录介质目前已被开发出来，并能够记录并存储大量的高质量视频数据和高质量音频数据。

这种基于下一代记录介质技术的高密度光学记录介质被视为能够比常规DVD存储多得多的数据的下一代光学记录解决方案。正在进行高密度光学记录介质以及其它数字设施的开发。同样，应用高密度记录介质标准的光学记录/再现装置也在开发中。

根据高密度记录介质和光学记录/再现装置的发展，可同时再现多个视频。然而，已知没有方法能够有效地同时记录或再现多个视频。此外，难以基于高密度记录介质开发完整的光学记录/再现装置，因为没有完整制定的用于高密度记录介质的标准。

发明内容

本发明涉及管理至少一个画中画呈现路径的音频再现的方法。

在一个实施方式中，该方法包括再现用于管理至少一个辅助视频流和至少一个辅助音频流的再现的管理信息。辅助视频流表示相对于由主视频流表示的主呈现路径的画中画呈现路径。该管理信息包括第一组合信息，而第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。基于第一组合信息再现这些辅助音频流中的至少一个。

在一个实施方式中，第一组合信息包括指示与辅助视频流相关联的辅助音频流条目的数目的信息字段，且该组合信息为这些辅助音频流条目中的每一个提供一辅助音频流标识符。

在另一个实施方式中，该管理信息指示多个辅助视频流条目，且该管理信息为这多个辅助视频流条目中的每一个提供一辅助视频流标识符和第一组合信息。

在又一个实施方式中，该管理信息包括第二组合信息，该第二组合信息指示可与所述辅助音频流组合的各个主音频流。

在一个实施方式中，该第二组合信息包括指示与所述辅助音频流相关联的主音频流条目的数目的信息字段，且该第二组合信息为所述这些主音频流条目中的每一个提供主音频流标识符。

本发明还涉及一种管理用于至少一个画中画呈现路径的音频再现的装置。

在一个实施方式中，该装置包括配置成驱动再现设备以从记录介质再现数据的驱动器。控制器被配置成控制驱动器以再现用于管理至少一个辅助视频流和至少一个辅助音频流的再现的管理信息。辅助视频流表示相对于由主视频流表示的主呈现路径的画中画呈现路径。该管理信息包括第一组合信息，该第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。该控制器还被配置成基于第一组合信息再现这些辅助音频流中的至少一个。

一个实施方式还包括配置成解码被指示为可与辅助视频流组合的这些辅助音频流中的一个的辅助音频解码器。

另一个实施方式还包括辅助音频解码器和主音频解码器。辅助音频解码器被配置成解码被指示为可与辅助视频流组合的这些辅助音频流中的一个。主音频解码器被配置成解码被指示为可与经解码的辅助音频流组合的这些主音频流中的至少一个。

本发明还涉及一种记录介质，该记录介质具有用于管理至少一个画中画呈现路径的音频再现的数据结构。

在一个实施方式中，该记录介质包括存储主视频流、辅助视频流、至少一个主音频流、以及至少一个辅助音频流的数据区。主视频流表示主呈现路径，而辅助视频流表示相对于主呈现路径的画中画呈现路径。主音频流与主视频流相关联，而辅助音频流与辅助视频流相关联。该记录介质还包括存储用于管理所述辅助视频流和所述多个辅助音频流中的至少一个的再现的管理信息的管理区。该管理信息包括第一组合信息，而第一组合信息指示可与辅助视频流组合的各个辅助音频流。

本发明还涉及记录用于管理至少一个画中画呈现路径的音频再现的数据结构的方法和装置。

附图简述

包括于此以提供对本发明的进一步理解、并被结合在本申请中且构成其一部分的附图示出本发明的实施方式，其与说明书一起可用来解释本发明的原理。在附图中：

图1是示出根据本发明的一个实施方式的光学记录/再现装置与外围设施结合使用的示例性实施方式的示意图；

图2是示出根据本发明的一个实施方式记录在作为记录介质的光盘中的文件结构的示意图；

图3是示出根据本发明的一个实施方式的作为记录介质的光盘中的数据记录结构的示意图；

图4是用于理解根据本发明的一个实施方式的辅助视频的概念的示意图；

图5是示出包括辅助视频的流条目的表的示例性实施方式的示意图；

图6是示出根据本发明的辅助视频元数据的示例性实施方式的示意图；

图7是示出根据本发明的实施方式的光学记录/再现装置的总体配置的框图。

图8是示出根据本发明的实施方式的AV解码器模型的框图；

图9是示出根据本发明的实施方式的音频混音模型的总体配置的框图；

图10A和10B分别是示出根据本发明的数据编码方法的实施方式的示意图；

图11是解释根据本发明的一个实施方式的回放系统的示意图；

图12是示出根据本发明装配在光学记录/再现装置中的状态记忆单元的示例性实施方式的示意图；

图13A至13C是分别示出根据本发明的各个实施方式的子路径类型的示意图；以及

图14是示出根据本发明的一个实施方式再现数据的方法的流程图。

本发明的最佳实施方式

下面将详细参考本发明的示例性实施方式，其具体示例示于附图中。只要有可能，即在所有附图中始终使用相同的附图标记表示相同或相似的部件。

在以下的描述中，将结合作为示例记录介质的光盘描述本发明的示例实施方式。具体地，为了便于描述，将蓝光盘(BD)用作示例记录介质。然而，应意识到本发明的技术思想适用于与BD等效的其它的记录介质，例如，HD-DVD。

一般在各实施方式中使用的“存储”是配备在光学记录/再现装置(图1)中的存储。存储是一种元件，其中用户自由地存储所需信息和数据，以便随后使用该信息和数据。关于通常使用的存储，有硬盘、系统存储器、闪存等。然而，本发明不限于这些存储。

结合本发明，“存储”还可用作用于存储与记录介质(例如，BD)相关联的数据的装置。一般而言，存储在此存储中的与记录介质相关联的数据是外部下载的数据。

对于这些数据，应意识到可将直接从记录介质读出的部分允许数据或与记录介质的记录和再现关联产生的系统数据(例如，元数据)存储在此存储中。

为了便于描述，在以下的描述中，记录在记录介质中的数据将被称为“原始数据”，而存储在存储中与记录介质相关联的数据将被称为“附加数据”。

同样，本发明中定义的“标题”意思是与用户接口的再现单元。各标题分别与特定的对象链接。因此，根据与标题链接的对象中的命令或程序再现记录在光盘中与该标题相关联的流。具体地，为了便于描述，在以下的描述中，在包括根据MPEG压缩方案的视频数据的标题当中，支持诸如无缝多角度和多层、语言学分(language credit)、导演剪辑、三部曲收藏等的特征的标题将被称为“高清晰度电影(HDMV)标题”。同样，在包括根据MPEG压缩方案的视频数据的标题当中，提供具有网络连接性的完全可编程应用环境从而使内容提供者能够创建高交互性的标题将被称为“BD-J标题”

图1示出根据本发明的光学记录/再现装置与外围设施的结合使用的示例性实施方式。

根据本发明的一个实施方式的光学记录/再现装置10可在/从具有不同格式的各种光盘中记录或再现数据。如有需要，可将光学记录/再现装置10设计成仅对特定格式的光盘(例如，BD)具有记录和再现功能，或者只具有再现功能而没有记录功能。然而，在以下的描述中，考虑到本发明必须解决的BD与外围设施的兼容性，将结合例如用于BD回放的BD播放器或用于BD的记录和回放的BD刻录机来描述光学记录/再现装置10。应意识到本发明的光学记录/再现装置10可以是内建于计算机等中的驱动器。

本发明的光学记录/再现装置10不仅具有记录和回放光盘30的功能，还具有接收外部输入信号、处理所接收的信号以及将经处理的信号通过外置显示器20以可视图象的形式发送到用户的功能。尽管对外部输入信号没有特定限制，但代表性的外部输入信号可以是基于数字多媒体广播的信号、基于因特网的信号等。具体地，关于基于因特网的信号，因特网上合需的数据可在通过光学记录/再现装置10下载后使用，因为因特网是任何人都可容易地访问的媒介。

在以下的描述中，提供作为外部源的内容的人将被统称为“内容提供者(CP)”。

如本发明中使用的“内容”可以是标题的内容，且在此情形中表示由相关联的记录介质的作者提供的数据。

在下文中将详细描述原始数据和附加数据。例如，可将某一标题的多路复用AV流记录在光盘中作为该光盘的原始数据。在该情形中，可经由因特网提供与原始数据的音频流(例如，英语)不同的音频流(例如，韩语音频流)作为附加数据。某些用户可能期望从因特网下载对应于附加数据的音频流(例如，韩语音频流)，以随同对应于原始数据的AV流一起再现下载的音频流，或仅再现附加数据。为此，期望提供能够确定原始数据和附加数据之间的关系、并应用户的请求基于确定的结果来执行原始数据和附加数据的管理/再现的系统化方法。

如上所述，为了便于描述，记录在盘中的信号被称为“原始数据”，而存在于盘外的信号被称为“附加数据”。然而，原始数据和附加数据的定义仅旨在根据数据获取方法分类本发明中可使用的数据。因此，原始数据和附加数据不应限于特定数据。任何属性的数据可用作附加数据，只要这些数据存在于记录有原始数据的光盘外并且与原始数据有关即可。

为了完成用户的请求，原始数据和附加数据各自必须具有彼此之间有关系的文件结构。在下文中，将参考图2和3描述BD中可使用的文件结构和数据记录结构。

图2示出根据本发明的一个实施方式的用于记录在BD中的原始数据的再现和管理的文件结构。

本发明的文件结构包括根目录和存在于根目录下的至少一个BDMV目录BDMV。在BDMV目录BDMV中，有索引文件“index.bdmv”和对象文件“MovieObject.bdmv”作为具有用于确保与用户的交互性的信息的通用文件(上层文件)。本发明的文件结构还包括具有关于实际记录在盘中的数据的信息的和关于用来再现所记录的数据的方法的信息的目录，即，播放列表目录PLAYLIST、剪辑信息目录CLIPINF、流目录STREAM、辅助目录AUXDATA、BD-J目录BDJO、元数据目录META、备份目录BACKUP、以及JAR目录。在下文中，将详细描述上述的目录和包含在这些目录中的文件。

JAR目录包括JAVA程序文件。

元数据目录META包括关于数据的数据文件，即，元数据文件。这种元数据文件可包括用于盘库的搜索文件和元数据文件。这种元数据文件用于在数据的记录和再现期间实现文件的高效率搜索和管理。

BD-J目录BDJO包括用于BD-J标题的再现的BD-J对象文件。

辅助目录AUXDATA包括用于盘的回放的附加数据文件。例如，辅助目录AUXDATA可包括用于在执行交互图形功能时提供声音数据的“Sound.bdmv”文件、和用于在盘回放期间提供字体信息的“11111.otf”和“99999.otf”文件。

流目录STREAM包括根据特定格式记录在盘中的多个AV流文件。最一般化地，这些流以基于MPEG-2的传输分组的形式记录。流目录STREAM使用“*.m2ts”作为流文件的扩展名(例如，01000.m2ts、02000.m2ts……)。具体地，视频/音频/图形信息的多路复用流被称为“AV流”。标题由至少一个AV流文件构成。

剪辑信息(clip-info)目录CLIPINF包括分别对应于包含在流目录STREAM中的流文件“*.m2ts”的clip-info文件01000.clpi、02000.clpi、……。具体地，clip-info文件“*.clpi”记录有流文件“*.m2ts”的属性信息和定时信息。每一个clip-info文件“*.clpi”和对应于该clip-info文件“*.clpi”的流文件“*.m2ts”被合称为“剪辑”。即，剪辑指示包括一个流文件“*.m2ts”和对应于该流文件“*.m2ts”的一个clip-info文件“*.clpi”两者的数据。

播放列表目录PLAYLIST包括多个播放列表文件“*.mpls”。“播放列表”表示剪辑的播放区间的组合。每一个播放区间被称为一个“播放项”。每一个播放列表文件“*.mpls”包括至少一个播放项，并可包括至少一个子播放项。播放项和子播放项中各自包括关于要再现的特定剪辑的再现开始时间IN-Time和再现结束时间OUT-Time的信息。因此，播放列表可以是播放项的组合。

关于播放列表文件，利用播放列表文件中的至少一个播放项再现数据的过程被定义为“主路径”，而利用一个子播放项再现数据的过程被定义为“子路径”。主路径提供相关联的播放列表的主要呈现，而子路径提供与主要呈现相关联的辅助性呈现。每一个播放列表文件应包括一个主路径。每一个播放列表文件还包括至少一个子路径，子路径的数目根据子播放项的存在与否来确定。因此，每一个播放列表文件是整个再现/管理文件结构中用于基于一个或多个播放项的组合再现期望的一个或多个剪辑的基本再现/管理文件单元。

结合本发明，通过主路径再现的视频数据被称为主视频，而通过子路径再现的视频数据被称为辅助视频。用于同时再现主视频和辅助视频的光学记录/再现装置的功能也被称为“画中画(PiP)”。子路径可再现与主视频或辅助视频相关联的音频数据。将参考图13A到13C详细描述与本发明的实施方式相关联的子路径。

备份目录BACKUP存储上述文件结构中的文件的拷贝，具体地是记录有与盘回放相关联的信息的文件的拷贝，例如，索引文件“index.bdmv”、对象文件“MovieObject.bdmv”和“BD-JObject.bdmv”、单元键文件、播放列表目录PLAYLIST中的所有播放列表文件“*.mpls”以及clip-info目录CLIPINF中的所有clip-info文件“*.clpi”的拷贝。考虑到在任何上述的文件损坏或丢失时会发生与盘回放相关联的致命出错的事实，备份目录BACKUP被适应性地设成为备份目的而单独存储文件的拷贝。

同时，将意识到本发明的文件结构不限于上述的名称和位置。即，上述的目录和文件不应通过其名称和位置来理解，而应通过其意义来理解。

图3示出根据本发明的一个实施方式的光盘的数据记录结构。在图3中，示出了与盘中的文件结构相关联的信息的记录结构。参考图3，可看到盘包括记录有用于管理所有文件的系统信息的文件系统信息区；记录有索引文件、目标文件、播放列表文件、clip-info文件、和元文件(再现所记录的流“*.m2ts”所需的文件)的区(数据库区)；记录有各自由音频/视频/图形数据或STREAM文件构成的流的流区；以及记录有JAVA程序文件的JAR区。当从盘的内圈出发来看时这些区域按上述的次序编排。

根据本发明，主视频和/或辅助视频的流数据存储在流区中。可将辅助视频多路复用在与主视频相同的流中，或将其多路复用在与主视频不同的流中。根据本发明，将与辅助视频相关联的辅助音频多路复用在与主视频相同的流中或与主视频不同的流中。

在盘中，有记录用以再现流区中的内容的文件信息的区。该区被称为“管理区”。文件系统信息区和数据库区包括在管理区中。用于再现辅助视频的子路径可具有基于多路复用了辅助视频的流的种类和该子路径是否与主路径同步而从三种子路径类型中选出的子路径类型。将参考图13A至图13C描述子路径类型。因为用于再现辅助视频和辅助音频的方法取决于子路径类型而改变，所以管理区包括关于子路径类型的信息。图3中的这些区仅是出于说明的目的而示出并描述的。将意识到本发明不限于图3的区编排。

图4是用于理解根据本发明的实施方式的辅助视频的概念的示意图。

本发明提供用于与主视频数据同时再现辅助视频数据的方法。例如，本发明提供实现PiP应用尤其是有效执行PiP应用的光学记录/再现装置。

如图4所示，在主视频410的再现期间，可能必须通过与主视频410的显示器相同的显示器20输出与主视频410相关联的其它视频数据。根据本发明，可实现这一PiP应用。例如，在电影或纪录片回放期间，可向用户提供导演的评注或与摄制过程相关联的插曲。在这种情形中，评注或插曲的视频即为辅助视频420。辅助视频420可从主视频410的再现开始时就与主视频410同时再现。辅助视频420的再现可在主视频410再现的中间时间开始。还可显示辅助视频420同时根据再现过程改变辅助视频420在屏幕上的位置和大小。还可实现多个辅助视频420。在这种情形中，可在主视频410的再现期间彼此独立地再现这些辅助视频420。

可随同与辅助视频相关联的音频420a一起再现辅助视频。音频420a可在与和主视频相关联的音频410a混音的状态下输出。本发明的实施方式提供随同与辅助视频相关联的音频(在下文中，称为“辅助音频”)再现辅助视频的方法。本发明的实施方式还提供随同与主视频相关联的音频(在下文中，称为“主音频”)再现辅助音频的方法。

在这点上，根据本发明，关于允许同时再现的辅助视频和辅助音频的组合的信息(在下文中，称为“辅助视频/辅助音频组合信息”)被包括在用于辅助视频的管理数据中。同样，本发明的实施方式提供定义允许与辅助音频混音的主音频的信息，并允许利用该信息来随同主音频再现辅助音频。管理数据可包括关于辅助视频的元数据、定义辅助视频的至少一个流条目的表(在下文中，称为“STN表”)、以及关于其中多路复用了辅助视频的流的剪辑信息文件。在下文中，将参考图5描述在STN表中包括组合信息的情形。

图5示出包括辅助视频的流条目的表的示例性实施方式。

表(在下文中，称为“STN表”)定义在当前播放项和与当前播放项相关联的子路径的呈现期间可供光学记录/再现装置选择的元流的列表。主剪辑和在STN表中有条目的子路径的元流可由内容提供者定夺。

本发明的光学记录/再现装置具有用于处理主视频、主音频、辅助视频、和辅助音频的功能。因此，本发明的STN表存储与主视频、主音频、辅助视频、和辅助音频相关联的条目。

参考图5，STN表包括指示对应于与‘secondary_video_stream_id’的值相关联的视频流条目的辅助视频流号的值。‘secondary_video_stream_id’的值初始被设置为‘0’，并递增‘1’，除非‘secondary_video_stream_id’的值等于辅助视频流的数目，即，‘number_of_secondary_video_stream_entries’的值。因此，辅助视频流号等于将‘secondary_video_stream_id’的值加1获得的值。

根据上述的‘secondary_video_stream_id’在STN表中定义流条目块。流条目块包括用于标识由流条目的流号指向的元流的数据库类型。根据本发明的实施方式，流条目块可包括用于标识与辅助视频的再现相关联的子路径的信息、以及用于标识由此子路径标识信息指向的子路径中的子播放项中定义的子剪辑条目的信息。因此，流条目块起到指示将要再现的辅助音频流的源的功能。

根据本发明，STN表还包括对应于‘secondary_video_stream_id’的辅助视频/辅助音频组合信息520。辅助视频/辅助音频组合信息520定义允许随辅助视频再现的辅助音频。参考图5，辅助视频/辅助音频组合信息520包括允许随辅助视频再现的辅助音频流520a的数目和标识这些辅助音频流的信息520b。根据本发明的实施方式，将由辅助视频/辅助音频组合信息520定义的辅助音频流中的一个随辅助视频再现，以便将其提供给用户。

根据本发明，STN表还包括定义允许与辅助音频混音的主音频的主音频信息510。参考图5，主音频信息510包括允许与辅助音频混音的主音频流510a的数目以及标识这些主音频流的信息510b。根据本发明，将由主音频信息510定义的这些主音频流中的一个在与辅助音频混音的状态下再现，以便将其提供用户。

图6示出根据本发明的辅助视频元数据的示例性实施方式。包括上述的STN表的播放项、和与辅助视频的再现相关联的流可利用辅助视频元数据来标识。

根据本发明的一个实施方式，辅助视频的再现是利用元数据来管理的。元数据包括关于辅助视频的再现时间、再现大小和再现位置的信息。在下文中，将结合管理数据是PiP元数据的示例描述管理数据。

可将PiP元数据包括在作为一种再现管理文件的播放列表中。图6示出包括在管理主视频的再现的播放列表的‘ExtensionData’块中的PiP元数据块。当然，可将此信息包含在实现PiP的辅助视频流的头部中。

PiP元数据可包括至少一个块头部‘block_header[k]’910和块数据‘block_data[k]’920。块头部和块数据的数目是根据包括在PiP元数据块中的元数据块条目的数目来确定的。块头部910包括相关联的元数据块的头部信息。块数据920包括相关联的元数据块的信息。

块头部910可包括指示播放项标识信息的字段(在下文中，称为‘PlayItem_id[k]’)、和指示辅助视频流标识信息的字段(在下文中，称为‘secondary_video_stream_id[k]’)。信息‘PlayItem_id[k]’具有与其STN表包含由‘secondary_video_stream_id[k]’指向的‘secondary_video_stream_id’条目的播放项相应的值。‘PlayItem_id[k]’的值在播放列表文件的播放列表块中给出。在一个实施方式中，在PiP元数据中，PiP元数据中‘PlayItem_id’值的条目以‘PlayItem_id’值的升序分类排序。信息‘secondary_video_stream_id[k]’用于标识子路径、和应用相关联的块数据920的辅助视频流。当再现与包括在对应于‘PlayItem_id[k]’的播放项‘PlayItem’的STN表中的‘secondary_video_stream_id[k]’相对应的流时，辅助视频就被提供给用户。

根据本发明的实施方式，由对应于‘secondary_video_stream_id[k]’的辅助视频/辅助音频组合信息定义的辅助音频随辅助视频一起再现。同样，由与辅助音频相关联的辅助音频/主音频组合信息定义的主音频与该辅助音频混音地输出。

此外，块头部910可包括指示由相关联的PiP元数据所指向的时间线的信息(在下文中，称为“PiP时间线类型‘pip_timeline_type’”)。提供给用户的辅助视频的类型根据PiP时间线类型变化。将信息‘pip_composition_metadata’沿根据PiP时间线类型确定的时间线施加于辅助视频。信息‘pip_composition_metadata’是指示辅助视频的再现位置和大小的信息。信息‘pip_composition_metadata’可包括辅助视频的位置信息、和辅助视频的大小信息(在下文中，称为‘pip_scale[i]’)。辅助视频的位置信息包括辅助视频的水平位置信息(在下文中，称为‘pip_horizontal_position[i]’)和辅助视频的垂直位置信息(在下文中，称为‘pip_vertical_position[i]’)。信息‘pip_horizontal_position[i]’指示在从屏幕的原点出发观看时辅助视频显示在屏幕上的水平位置，而信息‘pip_vertical_position[i]’指示在从屏幕的原点出发观看时辅助视频显示在屏幕上的垂直位置。辅助视频在屏幕上的显示大小和位置由大小信息和位置信息确定。

图7示出根据本发明的光学记录/再现装置10的总体配置的示例性实施方式。在下文中，将参考图7描述根据本发明的数据的再现和记录。

如图7所示，光学记录/再现装置10主要包括拾取头11、伺服14、信号处理器13、和微处理器16。拾取头11再现记录在光盘中的原始数据和管理数据。管理数据包括再现管理文件信息。伺服14控制拾取头11的操作。信号处理器13接收来自拾取头11的再现信号并将所接收到的再现信号恢复成期望的信号值。信号处理器13还将待记录的信号——例如主视频和辅助视频——分别调制成可记录在光盘中的相应信号。微处理器16控制拾取头11、伺服14、和信号处理器13的操作。拾取头11、伺服14、信号处理器13、和微处理器16还被合称为“记录/再现单元”。根据本发明，记录/再现单元在控制器12的控制下从光盘30或存储15读取数据，并将所读取的数据发送到AV解码器17b。即，从再现的观点看，记录/再现单元起到用于读取数据的读取器单元的功能。记录/再现单元还接收来自AV编码器18的经编码的信号，并将所接收到的信号记录在光盘30中。因此，记录/再现单元可在光盘30中记录视频和音频数据。

控制器12可根据用户命令下载存在于光盘30以外的附加数据，并将这些附加数据记录在存储15中。控制器12还应用户的请求再现存储在存储15中的附加数据和/或光盘30中的原始数据。

根据本发明，控制器12基于与辅助视频相关联的辅助视频/辅助音频组合信息来执行选择将随同辅助视频再现的辅助音频的控制操作。控制器12基于指示允许与辅助音频混音的各个主音频的主音频信息来执行选择将与辅助音频混音的主音频的控制操作。同样，本发明的光学记录/再现装置10用于在记录介质——即光盘30中记录数据。这里，控制器12产生包括上述组合信息的管理数据，并执行在光盘30上记录管理数据的控制操作。

光学记录/再现装置10还包括用于最终解码数据、并在控制器12的控制下将经解码的数据提供给用户的回放系统17。回放系统17包括用于解码AV信号的AV解码器17b。回放系统17还包括用于分析与特定标题的回放相关联的对象命令或应用、分析经由控制器12输入的用户命令、并基于分析的结果确定回放方向的播放器模型17a。在一个实施方式中，可将播放器模式17a实现为包括AV解码器17b。在这种情形中，回放系统17是播放器模式本身。AV解码器17b可包括分别与不同种类的信号相关联的多个解码器。

图8示意性示出根据本发明的AV解码器模型。根据本发明，AV解码器17b包括用于主和辅助视频的同时再现——即PiP应用的实现——的辅助视频解码器730b。辅助视频解码器730b解码辅助视频。可将辅助视频以AV流形式记录在记录介质30中，以提供给用户。还可在从记录介质30外下载辅助视频后将其提供给用户。AV流是以传输流(TS)的形式提供给AV解码器17b。

在本发明中，通过主路径再现的AV流被称为主传输流(在下文中，称为“主流”或主TS)，除主流以外的AV流称为子传输流(在下文中，称为“子流”或子TS)。根据本发明，可将辅助视频多路复用在与主视频相同的视频中。在这种情形中，辅助视频是作为主流提供给AV解码器17b。在AV解码器17b中，主流通过开关元件到达缓冲器RB1，而被缓冲的主流由源拆分组器710a拆分组。包括在经拆分组的AV流中的数据在分组标识符(PID)过滤器1 720a中根据数据分组的种类从经拆分组的AV流中分离出来后被提供给解码器730a至730g中相关联的那一个。即，在辅助视频被包括在主流中的场合，辅助视频由PID过滤器1 720a将其与主流中的其它数据分组分离开来，随后被提供给辅助视频解码器730b。如图所示，来自PID过滤器1 720a的分组可先通过另一开关元件再由解码器730b-730g接收。

根据本发明，还可将辅助视频多路复用在与主视频不同的流中。例如，可将辅助视频作为单独文件存储在记录介质30上或存储在本地存储15中(例如，在从因特网下载后)。在这种情形中，辅助视频是作为子流提供给AV解码器17b。在AV解码器17b中，子流通过开关元件到达缓冲器RB2，且被缓冲的子流由源拆分组器710b拆分组。包括在经拆分组的AV流中的数据在PID过滤器2 720b中根据数据分组的种类从经拆分组的AV流中分离出来后被提供给解码器730a至730g中相关联的那一个。即，在辅助视频被包括在子流中的场合，辅助视频由PID过滤器2 720b将其与子流中的其它数据分组分离开来，随后被提供给辅助视频解码器730b。如图所示，来自PID过滤器2 720b的分组可先通过另一开关元件再由解码器730b-730g接收。

根据本发明，可将辅助音频多路复用在与辅助视频相同的流中。因此，类似于辅助视频，可将辅助音频作为主流或作为子流提供给AV解码器17b。在AV解码器17b中，辅助音频在通过源拆分组器710a或710b后在PID过滤器1 720a或PID过滤器2 720b中被从主流或子流中分离出来，然后被提供给辅助音频解码器730f。在辅助音频解码器730f中解码了的辅助音频被提供给音频混音器(下述)，然后与在主音频解码器730e中解码了的主音频混音后从音频混音器输出。

图9示出根据本发明的音频混音模型的总体配置。

在本发明中，“音频混音”表示将辅助音频与主音频和/或交互式音频混音。为了执行解码和混音操作，根据本发明的实施方式的音频混音模型包括两个音频解码器730a和730f以及两个混音器750a和750b。内容提供者利用音频混音控制参数P1、P2、P3和P4控制由音频混音模型实施的音频混音过程。

一般而言，主音频与主视频相关联，并且可以是例如包括在记录介质中的电影音轨。然而，主音频可代之以在从网络下载后存储在存储15中。根据本发明的一个实施方式，将主音频与主视频多路复用，并作为主流的一部分提供给AV解码器17b。主音频传输流(TS)由PID过滤器1720a基于PID从主流中分离出来，随后经由缓冲器B1提供给主音频解码器730e。

根据本发明的实施方式，辅助音频可以是将随辅助视频同步再现的音频。辅助音频由辅助视频/辅助音频组合信息定义。辅助音频可与辅助视频多路复用，并可作为主流或作为子流提供给AV解码器17b。辅助音频传输流(TS)分别由PID过滤器1 720a或PID过滤器2 720b从主流或子流中分离出来，然后经由缓冲器B2提供给辅助音频解码器730f。正如以下详细讨论的，分别由主音频解码器730e和辅助音频解码器730f输出的主音频和辅助音频由主音频混音器M1 750a混音。

交互式音频可以是根据相关联的应用激活的经线性脉冲码调制(LPCM)的音频。可将交互式音频提供给辅助音频混音器750b，以与来自主音频混音器750a的混音输出作混音。交互式音频流可存在于存储15或记录介质30中。一般而言，交互式音频流用于提供与交互式应用——例如按钮音——相关联的动态声音。

上述的音频混音模型基于线性脉冲码调制(LPCM)混音来工作。即，音频数据在根据LPCM方案解码后混音。主音频解码器730e根据LPCM方案解码主音频流。主音频解码器730e可被配置成解码或缩减混音包括在主音频音轨中的所有声道。辅助音频解码器730f根据LPCM方案解码辅助音频流。辅助音频解码器730f提取包括在辅助音频流中的混音数据，将所提取的数据转换成混音矩阵格式，并将结果所得的混音矩阵发送到主音频混音器(M1)750a。该元数据可用于控制混音过程。辅助音频解码器730f可被配置成解码或缩减混音包括在辅助音频音轨中的所有声道。从辅助音频解码器730f输出的每一个经解码的声道可与从主音频解码器730e输出的至少一个声道混音。

混音矩阵是根据从内容提供者提供的混音参数作成的。混音矩阵包括要向每一个音频声道施加以控制在求和前各音频的混音度的系数。

混音参数可包括用于辅助音频流的摇移(panning)的参数P1、用于控制主音频流和辅助音频流的混音度的参数P2、用于交互式音频流的摇移的参数P3、以及用于控制交互式音频流的混音度的参数P4。这些参数不限于其名称。将意识到将可有通过函数的形式组合上述的参数或从上述参数分离出一个或多个参数产生的更多参数。

根据本发明，可使用命令集作为混音参数的源。即，本发明的光学记录/再现装置10可利用命令集来控制主音频与将随辅助视频再现的辅助音频的混音。例如，“命令集”可以是利用在光学记录/再现装置中执行的应用程序的功能的程序包。应用程序的功能通过命令集与光学记录/再现装置的功能接口。因此，可根据命令集使用光学记录/再现装置的各种功能。可将命令集存储在记录介质中，以提供给光学记录/再现装置。当然，可在光学记录/再现装置的制造阶段将命令集配备在光学记录/再现装置中。命令集的代表性例子是应用程序编程接口(API)。可将混音元数据用作混音参数的源。将混音元数据在辅助音频中提供给辅助音频解码器730b。将结合将API用作命令集的情形给出以下的描述。

根据本发明的实施方式，辅助音频利用诸如API之类的命令集来摇移。同样主音频或辅助音频的混音度利用命令集来控制。光学记录/再现装置10的系统软件将命令集翻译成X1混音矩阵，并将X1混音矩阵发送到主音频混音器750a。例如，参数P1和P2由图9的控制器12存储在诸如存储15中，并由控制器12根据播放器模型17a转换成供回放系统17中的混音器M1使用的混音矩阵X1。可将来自主音频混音器750a的混音输出在辅助音频混音器750b中与交互式音频混音。在辅助音频混音器750b中执行的混音过程也可由命令集控制。在这种情形中，将命令集转换成X2混音矩阵，并将X2混音矩阵发送到辅助音频混音器750b。例如，参数P3和P4可由图9的控制器12存储在诸如存储15中，并由控制器12根据播放器模型17a转换成供回放系统17中的混音器M2使用的混音矩阵X2。

X1混音矩阵由混音参数P1和P2两者控制。即，参数P1和P2同时向X1混音矩阵发送命令。因此，主音频混音器M1由X1混音矩阵控制。混音参数P1是从API或辅助视频解码器提供的。另一方面，混音参数P2是从API提供的。

在根据本发明的实施方式的音频混音模型中，可利用元数据ON/OFF API来开关对来自辅助音频流的音频混音元数据的处理。当混音元数据是ON时，混音参数P1来自于辅助音频解码器730f。当混音元数据是OFF时，混音参数P1来自于API。同时，在该实施方式中，通过混音参数P2提供的音频混音度控制被施加到利用混音参数P1形成的混音矩阵。因此，当元数据控制是ON时，混音元数据和命令集两者控制音频混音过程。

同时，同样包括在本发明的光学记录/再现装置10中的AV编码器18将输入信号转换成特定格式的信号——例如，MPEG2传输流，并将经转换的信号发送到信号处理器13，以使输入信号能被记录在光盘30中。根据本发明，AV编码器18将与辅助视频相关联的辅助音频编码在与辅助视频相同的流中。可将辅助视频编码在与主视频相同的流中，或可将其编码在与主视频不同的流中。

图10A和10B示出根据本发明的数据编码方法的实施方式。图10A示出辅助视频和辅助音频被编码在与主视频相同的流中的情形。数据被编码在与主视频相同的流——即主流中的情形被称为‘内多路复用(in-mux)’类型。在图10A的实施方式中，播放列表包括一个主路径和三个子路径。主路径是主视频/音频的呈现路径，而每一个子路径是作为主视频/音频的补充的视频/音频的呈现路径。构成主路径的播放项‘PlayItem-1’和‘PlayItem-2’分别指向将再现的相关联的剪辑和这些剪辑的播放区间。在每一播放项的STN表中，定义了在该播放项的再现期间可供本发明的光学记录/再现装置选择的元流。播放项‘PlayItem-1’和‘PlayItem-2’指向剪辑‘Clip-0’。因此，播放项‘PlayItem-1’和‘PlayItem-2’的播放区间包括剪辑‘Clip-0’。因为剪辑‘Clip-0’通过主路径再现，所以将剪辑‘Clip-0’作为主流提供给AV解码器17b。

与主路径相关联的子路径‘SubPath-1’、‘SubPath-2’和‘SubPath-3’各自由相应的子播放项构成。每一个子路径的子播放项指向将要再现的剪辑。在所示的情形中，子路径‘SubPath-1’指向剪辑‘Clip-0’，子路径‘SubPath-2’指向剪辑‘Clip-1’，而子路径‘SubPath-3’指向剪辑‘Clip-2’。即，子路径‘SubPath-1’使用包括在剪辑‘Clip-0’中的辅助视频和音频流。另一方面，子路径‘SubPath-2’和‘SubPath-3’中的每一个使用相关联的播放项所指向的剪辑中所包括的音频、PG和IG流。

在图10A的实施方式中，辅助视频和辅助音频被编码在将要通过主路径再现的剪辑‘Clip-0’中。因此，辅助视频和辅助音频是随同主视频一起作为主流提供给AV解码器17b，如图8所示。在AV解码器17b中，经由PID过滤器1 720a将辅助视频和辅助音频分别提供给辅助视频解码器730b和辅助音频解码器730f，然后分别由辅助视频解码器730b和辅助音频解码器730f进行解码。此外，剪辑‘Clip-0’的主视频在主视频解码器730a中进行解码，且主音频在主音频解码器730e中进行解码。同样，PG、IG和辅助音频分别在PG解码器730c、IG解码器730d、和辅助音频解码器730f中进行解码。当经解码的主音频在STN表中被定义为允许与辅助音频混音时，将经解码的主音频提供给主音频混音器750a，以与辅助音频混音。如上所述，主音频混音器中的混音过程可由命令集控制。

图10B示出辅助视频和辅助音频被编码在与主视频不相同的流中的情形。数据被编码在与主视频不相同的流——即子流中的情形被称为‘外多路复用(out-of-mux)’类型。在图10B的实施方式中，播放列表包括一个主路径和两个子路径‘SubPah-1’和‘SubPath-2’。播放项‘PlayItem-1’和‘PlayItem-2’用于再现包括在剪辑‘Clip-0’中的元流。子路径‘SubPath-1’和‘SubPath-2’中的每一个由各自的子播放项构成。子路径‘SubPah-1’和‘SubPath-2’的子播放项分别指向剪辑‘Clip-1’和‘Clip-2’。当将子路径‘SubPath-1’随同主路径使用以再现诸流时，将子路径‘SubPath-1’所指向的辅助视频随同主路径所指向的视频(主视频)再现。另一方面，当将子路径‘SubPath-2’随同主路径使用以再现诸流时，将子路径‘SubPath-2’所指向的辅助视频随同主路径所指向的主视频再现。

在图10B所示的实施方式中，辅助视频被包括在除通过主路径再现的流以外的流中。因此，经编码的辅助视频的流，即，剪辑‘Clip-1’和‘Clip-2’作为子流提供给AV解码器17b，如图8所示。在AV解码器17b中，每一个子流都由源拆分组器710b拆分组。包括在经拆分组的AV流中的数据在PID过滤器2720b中根据数据分组的种类从经拆分组的AV流中分离出来后被提供给解码器730a至730g中相关联的那一个。例如，当将‘SubPath-1’随主路径呈现以再现诸流时，包括在剪辑‘Clip-1’中的辅助视频在从辅助音频分组中被分离出来后被提供给辅助视频解码器730b，然后由辅助视频解码器730b进行解码。在这种情形中，将辅助音频提供给辅助音频解码器730f，然后由辅助音频解码器730f将其解码。经解码的辅助视频被显示于在由主视频解码器730a解码后显示的主视频之上。因此，用户可通过显示器20观看到主视频和辅助视频两者。

图11是解释根据本发明的一个实施方式的回放系统的示意图。

“回放系统”表示由设置在光学记录/再现装置中的程序(软件)和/或硬件构成的再现处理装置的集合。即，回放系统是一种不仅可回放加载到光学记录/再现装置10中的记录介质、还可再现和管理存储在存储15中的与记录介质10相关联的的数据(例如，在从记录介质以外下载后)的系统。

具体地，回放系统17包括用户事件管理器171、模块管理器172、元数据管理器173、HDMV模块174、BD-J模块175、回放控制引擎176、呈现引擎177、和虚拟文件系统40。在下文中将详细描述该配置。

作为用于再现HDMV标题和BD-J标题的单独的再现处理/管理装置，用于HDMV标题的HDMV模块174和用于BD-J标题的BD-J模块175彼此独立地构造。HDMV模块174和BD-J模块175各自皆具有用于接收包括在相关联的对象“电影对象”或“BD-J对象”中的命令或程序、并处理所接收到的命令或程序的控制功能。HDMV模块174和BD-J模块175各自皆可将相关联的命令或应用与回放系统的硬件配置分离开来，以实现命令或应用的可移植性。为了接收和处理命令，HDMV模块174包括命令处理器174a。为了接收和处理应用，BD-J模块175包括Java虚拟机(VM)175a和应用管理器175b。

Java VM 175a是在其中执行应用的虚拟机。应用管理器175b包括用于管理在BD-J模块175中处理的应用的生存周期的应用程序管理功能。

模块管理器172不仅起到分别向HDMV模块174和BD-J模块175发送用户命令的功能，还起到控制HDMV模块174和BD-J模块175的操作的功能。回放控制引擎176根据来自HDMV模块174或BD-J模块175的回放命令分析记录在盘中的播放列表文件信息，并基于分析的结果执行回放功能。呈现引擎177解码由回放控制引擎176与其再现相关联地管理的特定流，并将经解码的流显示在显示画面中。具体地，回放控制机176包括用于管理所有的回放操作的回放控制功能176a以及用于存储关于播放器的回放状态和回放环境的信息的播放器寄存器176b。在某些情形中，回放控制功能176a表示回放控制引擎176本身。

HDMV模块174和BD-J模块175分别以独立的方式接收用户命令。HDMV模块174和BD-J模块175的用户命令处理方法也互相独立。为了将用户命令传递到HDMV模块174和BD-J模块175中相关联的那一个，应采用单独的传递装置。根据本发明，该功能是由用户事件管理器171执行的。因此，当用户事件管理器171接收到通过用户操作(UO)控制器171a生成的用户命令时，用户事件管理器将所接收到的用户命令发送到模块管理器172a或UO控制器171a。另一方面，当用户事件管理器171接收到通过键事件生成的用户命令时，用户事件管理器将所接收的用户命令发送到BD-J模块175中的Java VM 175a。

本发明的回放系统17还可包括元数据管理器173。元数据管理器173向用户提供盘库和增强型搜索元数据应用。元数据管理器173可在用户的控制下执行标题的选择。元数据管理器173还可向用户提供记录介质和标题元数据。

根据本发明的回放系统的模块管理器172、HDMV模块174、BD-J模块175、和回放控制引擎176可用软件方式执行期望的处理。在实践上，利用软件的处理与利用硬件配置的处理相比在设计方面具有优势。当然，一般而言呈现引擎177、解码器19、和平面是利用硬件来设计的。具体地，各自利用软件执行期望的处理的各个组成元件(例如，由附图标记172、174、175和176标示的组成元件)可构成控制器12的一部分。因此，应注意本发明的上述组成和配置要基于其含义理解，而不应限于其实现方法，诸如是硬件还是软件实现。

这里，“平面”表示解释主视频、辅助视频、呈现图形(PG)、交互式图形(IG)、和文本字幕的重叠过程的概念模型。根据本发明，辅助视频平面740b被编排在主视频平面740a之前。因此，解码后输出的辅助视频显示在辅助视频平面740b上。由呈现图形解码器(PG解码器)730c和/或文本解码器730g解码的图形数据从呈现图形平面740c输出。由交互式图形解码器730d解码的图形数据从交互性图形平面740d输出。

图12示出根据本发明装配在光学记录/再现装置中的状态记忆单元的示例性实施方式。

包括在光学记录/再现装置10中的播放器寄存器176b起到在其中存储关于播放器的记录/回放状态和记录/回放环境的信息的记忆单元的作用。播放器寄存器176b可分成通用寄存器(GPR)和播放器状态寄存器(PSR)。每一个PSR存储回放状态参数(例如，‘交互式图形流号’或‘主音频流号’)、或光学记录/再现装置的配置参数(例如，‘播放器视频能力’)。因为除主视频外还再现辅助视频，所以设置了用于存储辅助视频的再现状态的PSR。同样，设置了用于存储与辅助视频相关联的辅助音频的再现状态的PSR。

可将辅助视频的流号存储在这些PSR之一中(例如，PSR14 120)。在同一PSR(即，PSR14)中，还可存储与辅助视频相关联的辅助音频的流号。存储在PSR14 120中的‘辅助视频流号’用于指定应从当前播放项的STN表中的各个辅助视频流条目中呈现哪一个辅助视频流。类似地，存储在PSR14 120中的‘辅助音频流号’用于指定应从当前播放项的STN表中的各个辅助音频流条目中呈现哪一个辅助音频流。辅助音频由辅助视频的辅助视频/辅助音频组合信息定义。

如图12所示，PSR14 120可存储标志‘disp_a_flag’。标志‘disp_a_flag’指示辅助音频的输出是启用还是禁用的。例如，当标志‘disp_a_fag’被设置成对应于启用状态的值时，辅助音频被解码，并在相关联的音频混音器中接受混音过程以使得经解码的辅助音频与主音频和/或交互式音频混音后呈现给用户。另一方面，如果标志‘disp_a_flag’被设置成对应于禁用状态的值，则不输出辅助音频，即使在辅助音频由相关联的解码器解码时亦是如此。标志‘disp_a_flag’可由用户操作(UO)、用户命令或应用程序编程接口(API)来改变。

还可将主音频的流号存储在这些PSR之一(例如，PSR1 110)中。存储在PSR1 110中的‘主音频流号’用于指定应从当前播放项的STN表中的各个主音频流条目中呈现哪一个主音频流。当存储在PSR1 110中的值改变时，主音频流号立即改变成与存储在PSR1 110中的值相等的值。

PSR1 110可存储标志‘disp_a_flag’。标志‘disp_a_flag’指示主音频的输出是启用还是禁用的。例如，当标志‘disp_a_flag’被设置成对应于启用状态的值时，主音频被解码，并在相关联的音频混音器中接受混音过程以使得经解码的主音频与辅助音频和/或交互式音频混音后呈现给用户。另一方面，如果标志‘disp_a_flag’被设置成对应于禁用状态的值，则不输出主音频，即使在主音频由相关联的解码器解码时亦是如此。标志‘disp_a_flag’可由用户操作(UO)、用户命令或API来改变。

图13A至13C示出根据本发明的子路径类型。

如上参考图10A和10B所述，根据本发明，用于再现辅助视频和辅助音频的子路径根据用于编码辅助视频和辅助音频的方法而改变。因此，根据本发明的子路径类型可根据该子路径是否与主路径同步来主要分为三种类型。在下文中，将参考图13A至13C描述根据本发明的子路径类型。

图13A示出在其中数据的编码类型是‘外多路复用(out-of-mux)’类型且子路径与主路径同步的情形。

参考图13A，用于管理主视频和辅助视频、以及主音频和辅助音频的播放列表包括一个主路径和一个子路径。主路径由四个播放项(‘PlayItem_id’＝0、1、2、3)构成，而子路径由多个子播放项构成。通过子路径再现的辅助视频和辅助音频与主路径同步。详细地，利用标识与每一个子播放项相关联的播放项的信息‘sync-PlayItem_id’和指示该子播放项在播放项中的呈现时间的呈现时戳信息‘sync_start_PTS_of_PlayItem’，使得子路径与主路径同步。即，当播放项的呈现点到达呈现时戳信息所指向的值时，相关联的子播放项的呈现即开始。因此，通过一个子路径的辅助视频的再现在通过主路径的主视频的再现期间的一设定时间开始。

在这种情形中，播放项和子播放项分别指向不同的剪辑。播放项所指向的剪辑被作为主流提供给AV解码器17b，而子播放项所指向的剪辑作为子流提供给AV解码器17b。包括在主流中的主视频和主音频在通过拆分组器710a和PID过滤器1 720a后分别由主视频解码器730a和主音频解码器730e解码。另一方面，包括在子流中的辅助视频和辅助音频在通过拆分组器710b和PID过滤器2 720b后分别由辅助视频解码器730b和辅助音频解码器730f解码。

图13B示出其中数据的编码类型是‘外多路复用(out-of-mux)’类型且子路径与主路径异步的情形。类似于图13A的子路径类型，在图13A的子路径类型中，将通过子路径再现的辅助视频流和/或辅助音频流被多路复用成与要基于相关联的播放项再现的剪辑分离的状态。然而，图13B的子路径与图13A的子路径的不同之处在于子路径的呈现可在主路径的时间线上的任何时刻开始。

参考图13B，用于管理主视频和辅助视频以及主音频和辅助音频的播放列表包括一个主路径和一个子路径。主路径由三个播放项(‘PlayItem_id’＝0、1、2)构成，而子路径由一个子播放项构成。通过子路径再现的辅助视频和辅助音频与主路径异步。即，即使当子播放项包括用于识别与子播放项相关联的播放项的信息和指示该子播放项在播放项中的呈现时间的呈现时戳信息时，该信息在图13B的子路径中也是无效的。因此，用户可在主路径的呈现期间的任意时刻观看辅助视频。

在这种情形中，因为辅助视频的编码类型是‘外多路复用(out-of-mux)’型，所以主视频和主音频作为主流提供给AV解码器17b，且辅助视频和辅助音频作为子流提供给AV解码器17b，如参考图13A所述。

图13C示出示出在其中数据的编码类型是‘内多路复用(in-mux)’类型且子路径与主路径同步的情形。图13C的子路径与图13A和13B的子路径的不同之处在于辅助视频和辅助音频被多路复用在与主音频相同的AV流中。

参考图13C，用于管理主视频和辅助视频以及主音频和辅助音频的播放列表包括一个主路径和一个子路径。主路径由四个播放项(‘PlayItem_id’＝0、1、2、3)构成，而子路径由多个子播放项构成。构成子路径的子播放项中的每一个都包括用于识别与该子播放项相关联的播放项的信息和指示该子播放项在播放项中的呈现时间的呈现时戳信息。如以上参考图13A所述，利用上述信息，使每一个子播放项与相关联的播放项同步。因此，使子路径与主路径同步。

在图13C的子路径类型中，构成主路径的播放项中的每一个和构成子路径的子播放项中相关联的一个或多个指向同一剪辑。即，子路径是利用包括在由主路径管理的剪辑中的流来呈现的。因为剪辑由主路径管理，所以将剪辑作为主流提供给AV解码器17b。有包括主视频和辅助视频以及主音频和辅助音频的经分组数据构成的主流被发送到拆分组器710a，后者进而将经分组的数据拆分组。将经拆分组的主视频和辅助视频以及经拆分组的主音频和辅助音频根据相关联的包标识信息提供给主视频和辅助视频解码器730a和730b以及主音频和辅助音频解码器730e和730f，然后分别由主视频和辅助视频解码器730a和730b以及主音频和辅助音频解码器730e和730f进行解码。

可将主流和子流从记录介质30或存储15提供给AV解码器17b。在主视频和辅助视频分别存储在不同的剪辑中的场合，可将主音频记录在记录介质30中以提供给用户，并可将辅助音频从记录介质30外下载到存储15。当然，与上述情形相反的情形也是可能的。然而，在主视频和辅助音频两者都存储在记录介质30中的情形中，可在再现之前将主视频和辅助视频中的一个拷贝到存储15，以使得主视频和辅助视频能够同时再现。在主视频和辅助视频两者存储在同一剪辑中的情形中，它们在记录在记录介质30中之后被提供。然而，在这种情形中，主视频和辅助视频两者皆从记录介质30的外部下载也是可能的。

图14是示出根据本发明再现数据的方法的流程图。

当开始再现数据时，控制器12从记录介质30或存储15读出数据(S1410)。此数据不仅包括主视频、主音频、辅助视频、和辅助音频数据，而且还包括用于管理数据的再现的管理数据。管理数据可包括播放列表、播放项、STN表、剪辑信息等。

根据本发明，控制器12从管理数据中检查允许随同辅助视频一起再现的辅助音频(S1420)。控制器12还从管理数据中标识出允许同辅助音频混音的主音频(S1420)。参考图5，定义允许随同其流条目存储在相关联的STN表中的辅助视频再现的辅助音频的信息‘comb_info_Secondary_video_Secondary_audio’520可存储在该STN表中。同样，定义允许与辅助音频混音的主音频的信息‘comb_info_Secondary_audio_Primary_audio’510可存储在STN表中。由信息‘comb_info_Secondary_video_Secondary_audio’520定义的各个辅助音频流中的一个在辅助音频解码器740f中解码(S1430)，然后提供给主音频混音器750a。

经解码的辅助音频的流号存储在PSR14 120中。根据本发明的实施方式，PSR14 120可存储标志‘disp_a_flag’。在标志‘disp_a_flag’被设置成对应于禁用状态的值的状况下，辅助音频被禁止输出(OFF)。如以上参考图12所述，标志‘disp_a_flag’可由用户操作(UO)，用户命令或API改变。即，辅助音频的输出可由用户操作(UO)，用户命令或API来开关。

在辅助音频解码器730f中解码的辅助音频与由信息‘comb_info_Secondary_audio_Primary_audio’510定义的主音频在主音频混音器750a中混音(S1440)。待混音的主音频在主音频解码器730e中解码后被提供给主音频混音器750a。

经解码的主音频的流号存储在PSR1 110中。根据本发明的实施方式，PSR1110可存储标志‘disp_a_flag’。在标志‘disp_a_flag’被设置为对应于禁用状态的值的状况下，主音频被禁止输出(OFF)。如上参考图12所述，标志‘disp_a_flag’可由用户操作(UO)，用户命令或API改变。即，主音频的输出可由用户操作(UO)，用户命令或API来开关。

根据本发明，可随同辅助音频再现辅助视频。同样内容提供者可控制音频的混音，或可利用命令集来控制ON和OFF状态之间的音频输出。

如从以上描述所清楚的，根据本发明的数据再现方法和装置、记录介质、和数据记录方法和装置，可同时再现主视频和辅助视频。此外，用户和内容提供者可控制音频的混音，或可控制音频的输出。因此，其优势在于内容提供者可组合更多样的内容，以使用户能体验更多样的内容。同样，其优势在于内容提供者可控制要提供给用户的音频。

本领域内技术人员可以理解，可对本发明作出各种修改和变化而不会脱离本发明的精神或范围。因此，本发明旨在涵盖本发明的所有这些修改和变形。

Claims (28)

1.一种管理至少一个画中画呈现路径的音频再现的方法，包括：

再现用于管理至少一个辅助视频流和至少一个辅助音频流的再现的管理信息，所述辅助视频流表示相对于由主视频流表示的主呈现路径的所述画中画呈现路径，并且所述管理信息包括第一组合信息，所述第一组合信息指示可与所述辅助视频流组合的所述各个辅助音频流；以及

基于所述第一组合信息再现所述各个辅助音频流中的至少一个。

2.如权利要求1所述的方法，其特征在于，所述再现各个辅助音频流中的至少一个的步骤包括：

检查所述第一组合信息；以及

基于所述检查步骤解码被指示为可与所述辅助视频流组合的所述各个辅助音频流中的一个。

3.如权利要求1所述的方法，其特征在于，所述第一组合信息包括指示与所述辅助视频流相关联的辅助音频流条目的数目的信息字段，并且所述组合信息为所述各个辅助音频流条目中的每一个提供一辅助音频流标识符。

4.如权利要求3所述的方法，其特征在于，所述管理信息指示所述辅助视频流的辅助视频流标识符。

5.如权利要求1所述的方法，其特征在于，所述管理信息指示多个辅助视频流条目，并且所述管理信息为所述多个辅助视频流条目中的每一个提供一辅助视频流标识符和所述第一组合信息。

6.如权利要求1所述的方法，其特征在于，所述管理信息包括第二组合信息，所述第二组合信息指示可与所述辅助音频流组合的各个主音频流。

7.如权利要求6所述的方法，其特征在于，所述再现各个辅助音频流中的至少一个的步骤包括：

检查所述第一和第二组合信息；以及

基于所述检查步骤解码被指示为可与所述辅助视频流组合的所述各个辅助音频流中的一个；

基于所述检查步骤至少解码被指示为可与所述经解码的辅助音频流组合的主音频流；以及

将所述经解码的辅助音频流与所述经解码的主音频流混音。

8.如权利要求6所述的方法，其特征在于，所述第二组合信息包括指示与所述辅助音频流相关联的主音频流条目的数目的信息字段，并且所述第二组合信息为所述各个主音频流条目的数目中的每一个提供一主音频流标识符。

9.如权利要求6所述的方法，其特征在于，所述管理信息指示辅助音频流条目的数目，并且所述管理信息为所述各个辅助音频流条目的数目中的每一个提供一辅助音频流标识符和所述第二组合信息。

10.一种用于管理至少一个画中画呈现路径的音频再现的装置，包括：

驱动器，所述驱动器被配置成驱动再现设备以从记录介质再现数据；以及

控制器，所述控制器被配置成控制所述驱动器再现用于管理至少一个辅助视频流和至少一个辅助音频流的再现的管理信息，所述辅助视频流表示相对于由主视频流表示的主呈现路径的所述画中画呈现路径，并且所述管理信息包括第一组合信息，所述第一组合信息指示可与所述辅助视频流组合的各个辅助音频流；并且

所述控制器被配置成基于所述第一组合信息再现所述各个辅助音频流中的至少一个。

11.如权利要求10所述的装置，其特征在于，还包括：

辅助音频解码器，所述辅助音频解码器被配置成解码被指示为可与所述辅助视频流组合的所述各个辅助音频流中的一个。

12.如权利要求10所述的装置，其特征在于，所述管理信息包括第二组合信息，所述第二组合信息指示可与所述辅助音频流组合的各个主音频流。

13.如权利要求12所述的装置，其特征在于，还包括：

辅助音频解码器，所述辅助音频解码器被配置成解码被指示为可与所述辅助视频流组合的各个辅助音频流中的一个；

主音频解码器，所述主音频解码器被配置成解码被指示为可与所述经解码的辅助音频流组合的所述各个主音频流中的至少一个。

14.如权利要求13所述的装置，其特征在于，还包括：

混音器，所述混音器被配置成将所述经解码的辅助音频流与所述经解码的主音频流混音。

15.一种具有用于管理至少一个画中画呈现路径的音频再现的数据结构的记录介质，包括：

数据区，所述数据区存储主视频流、辅助视频流、至少一个主音频流、以及至少一个辅助音频流，所述主视频流表示主呈现路径，所述辅助视频流表示相对于所述主呈现路径的画中画呈现路径，所述主音频流与所述主视频流相关联，并且所述辅助音频流与所述辅助视频流相关联；以及

管理区，所述管理区存储用于管理所述辅助视频流以及所述各个辅助音频流中的至少一个的再现的管理信息的，所述管理信息包括第一组合信息，所述第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。

16.如权利要求15所述的记录介质，其特征在于，所述第一组合信息包括指示与所述辅助视频流相关联的辅助音频流条目的数目的信息字段，并且所述组合信息为所述各个辅助音频流条目中的每一个提供一辅助音频流标识符。

17.如权利要求15所述的记录介质，其特征在于，所述管理信息指示辅助视频流条目的数目，并且所述管理信息为所述各个辅助视频流条目中的每一个提供一辅助视频流标识符和所述第一组合信息。

18.如权利要求15所述的记录介质，其特征在于，所述管理信息包括第二组合信息，所述第二组合信息指示可与所述辅助音频流组合的各个主音频流。

19.如权利要求18所述的记录介质，其特征在于，所述第二组合信息包括指示与所述辅助音频流相关联的主音频流条目的数目的信息字段，并且所述第二组合信息为所述各个主音频流条目中的每一个提供主音频流标识符。

20.如权利要求18所述的记录介质，其特征在于，所述管理信息指示辅助音频流条目的数目，并且所述管理信息为所述各个辅助音频流条目中的每一个提供一辅助音频流标识符和所述第二组合信息。

21.一种记录用于管理至少一个画中画呈现路径的音频再现的数据结构的方法，包括：

在记录介质上记录主视频流、辅助视频流、至少一个主音频流、以及至少一个辅助音频流，所述主视频流表示主呈现路径，所述辅助视频流表示相对于所述主呈现路径的画中画呈现路径，所述主音频流与所述主视频流相关联，并且所述辅助音频流与所述辅助视频流相关联；以及

在所述记录介质上记录用于管理所述辅助视频流以及所述各个辅助音频流中的至少一个的再现的管理信息，所述管理信息包括第一组合信息，所述第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。

22.如权利要求21所述的方法，其特征在于，所述第一组合信息包括指示与所述辅助视频流相关联的辅助音频流条目的数目的信息字段，并且所述组合信息为所述各个辅助音频流条目中的每一个提供一辅助音频流标识符。

23.如权利要求21所述的方法，其特征在于，所述管理信息指示辅助视频流条目的数目，并且所述管理信息为所述各个辅助视频流条目中的每一个提供一辅助视频流标识符和所述第一组合信息。

24.如权利要求21所述的方法，其特征在于，所述管理信息包括第二组合信息，所述第二组合信息指示可与所述辅助音频流组合的各个主音频流。

25.一种记录用于管理至少一个画中画呈现路径的音频再现的数据结构的装置，包括：

驱动器，所述驱动器被配置成驱动再现设备向记录介质记录数据；以及

控制器，所述控制器被配置成控制所述驱动器在所述记录介质上记录主视频流、辅助视频流、至少一个主音频流、以及至少一个辅助音频流，所述主视频流表示主呈现路径，所述辅助视频流表示相对于所述主呈现路径的画中画呈现路径，所述主音频流与所述主视频流相关联，并且所述辅助音频流与所述辅助视频流相关联；并且

所述控制器被配置成控制所述驱动器在所述记录介质上记录用于管理所述辅助视频流以及所述各个辅助音频流中的至少一个的再现的管理信息，所述管理信息包括第一组合信息，所述第一组合信息指示可与所述辅助视频流组合的各个辅助音频流。

26.如权利要求25所述的方法，其特征在于，所述第一组合信息包括指示与所述辅助视频流相关联的辅助音频流条目的数目的信息字段，并且所述组合信息为所述各个辅助音频流条目中的每一个提供一辅助音频流标识符。

27.如权利要求25所述的方法，其特征在于，所述管理信息指示辅助视频流条目的数目，并且所述管理信息为所述各个辅助视频流条目中的每一个提供一辅助视频流标识符和所述第一组合信息。

28.如权利要求25所述的方法，其特征在于，所述管理信息包括第二组合信息，所述第二组合信息指示可与所述辅助音频流组合的各个主音频流。

Images