CN101789257B - 再现设备、再现方法、记录设备和记录介质的生产方法 - Google Patents

Abstract

一种再现设备，包括用于获取包含编码流数据的重放数据的重放数据获取单元，用于解码流数据的解码单元，用于混合不同于流数据的将被混合的数据与由解码装置解码的流数据的混合单元，和用于在将流数据提供给解码单元和输出流数据之间进行选择的选择单元，以及用于控制选择单元的控制单元。控制单元从由重放数据获取单元获取的数据中获取表示重放数据是否包含将与流数据混合的数据的确定信息，并且如果确定信息确定重放数据不包含将被混合的数据并且如果由重放数据处理单元处理的数据被输出为编码数据时，控制单元控制选择单元输出流数据。

Description

再现设备、再现方法、记录设备和记录介质的生产方法

本申请是中国专利申请No.2006101689394(申请日为2006年7月14日，发明名称为“再现设备、再现方法、记录设备和记录介质的生产方法”)的分案申请。

相关申请的交叉引用

本发明包括在2005年7月15日于日本专利局提交的日本专利申请JP2005-206997和在2006年5月29日于日本专利局提交的日本专利申请JP2006-147981所涉及的主题，在此引入其全文，以供参考。

技术领域

本发明涉及再现设备、再现方法、计算机程序、程序存储介质、数据结构、记录介质、记录设备以及生产记录介质的方法。更具体的说，本发明涉及用于在混合重放音频数据中适当使用的再现设备、再现方法、计算机程序、存储介质、数据结构、记录介质、记录设备和生产记录介质的方法。

背景技术

日本未审专利申请No.2005-20242公开了一种用于同时浏览不同内容的技术。在该技术中，多个内容的图像数据被解码并随后被混合成未压缩视频数据。未压缩的视频数据随后被进行数模(D/A)转换，输出到视频输出终端、并然后显示在外部显示设备上。

在该公开技术中，为了混合视频数据，每条经过压缩(编码)的视频数据需要被解码，并然后混合为未经压缩的视频数据。不仅对视频数据而且对音频数据都必须执行该过程。为了混合音频数据，需要未经压缩的音频数据。

输出数据必须取决于输出目的装置的功能或利用输出目的装置的连接方法来编码。

例如，主音频数据可以与另一音频数据混合，并且输出的混合音频数据可以是编码数据。下面参考图1描述该过程。

第一音频数据获取单元11获取从光盘读取和提供的编码形式的第一音频数据，然后将第一音频数据提供给解码器12。该第一音频数据是被连续再现的内容。解码器12解码由第一音频数据获取单元11提供的编码(压缩)数据，然后将未压缩的第一音频数据提供给混合器14。

第二音频数据获取单元13获取未经压缩的第二音频数据，然后将第二音频数据提供给混合器14。一旦从第二音频数据获取单元13接收未经压缩的第二音频数据，混合器14就将第二音频数据与从解码器12提供的未经压缩的第一音频数据混合，并将混合的音频数据提供给编码器15。

编码器15编码所提供的音频数据，然后将编码的音频数据提供给数字接口16。数字接口16通过预定网络将提供的音频数据传送给另一装置。

发明内容

对于内容，未经压缩的第二音频数据可能存在或可能不存在。更具体的说，取决于该内容，第二音频数据获取单元13被设计为不获取未经压缩的第二音频数据。作为选择，为内容的预定部分准备第二音频数据，并且第二音频数据获取单元13只获取第二音频数据的预定部分。如果未经压缩的第二音频数据不是由第二音频数据获取单元13提供，那么混合器14将未经压缩的第一音频数据从解码器12提供给编码器15。

图1的装置可以输出两个内容，即，作为主重放输出的第一音频数据和第二音频数据相混合的一个内容，和包含第一音频数据而不包含第二音频数据的另一个内容。或者，图1的装置使用第二音频数据的预定部分。常规再现设备不能确定是否要混合第二音频数据(第二音频数据是否存在)。

在已知的再现设备中，无论第一音频数据是否与第二音频数据混合，并且不关注没有混合第二音频数据的部分，所述内容被解码并被再次编码。因为第一音频数据总是被解码并然后被重新编码，因此声音质量下降。

用于混合视频数据以便输出编码数据的上述公开技术会有相同的问题。更具体的说，如果用于混合视频数据的再现设备不能检测将与主输出视频数据混合的另一数据的存在(presence)或缺乏(absence)，那么主输出视频数据总是被解码并重新编码，因此导致视频质量下降。

因此期望按需要混合数据以尽可能的避免数据质量下降。

根据本发明的一个实施例，再现设备包括重放数据获取单元，用于获取包含编码流数据的重放数据，用于解码流数据的解码单元，用于混合不同于流数据的将被混合的数据与由解码单元解码的流数据的混合单元，和用于在将流数据提供给解码单元和输出流数据之间选择的选择单元，以及用于控制选择单元的控制单元，其中控制单元从重放数据获取单元获得的重放数据获得确定信息，所述确定信息表示重放数据是否包含将与流数据混合的数据，并且如果确定信息确定重放数据不包括将被混合的数据，并如果由重放数据处理单元处理的数据被作为编码数据输出，那么所述控制单元控制选择单元输出流数据。

由重放数据获取单元获取的重放数据可以包括包含对应重放数据标题的数据的一个预定文件，以及控制单元可以从预定文件获取确定信息。

由重放数据获取单元获取的重放数据可以包括包含表示重放数据重放顺序的信息的至少一个预定文件，以及控制单元可以从预定文件获得确定信息。

由重放数据获取单元获取的重放数据可以包括至少第一数据的至少一个单元和与第一数据相关的第二数据的至少一个单元，第一数据是表示重放数据的重放顺序的信息，而第二数据是表示根据由第一数据控制的重放顺序再现的数据的重放周期的信息，以及控制单元可以从第二数据获取确定信息。

根据本发明一个实施例，用于再现数据并输出再现数据的再现设备的再现方法、使计算机执行重放处理的程序以及存储在程序存储介质上的程序中的每一个包括以下步骤：从包含编码流数据的重放数据获取表示重放数据是否包含将与流数据混合的数据的确定信息，根据获取的确定信息确定重放数据是否包含将与流数据混合的数据，并且如果确定信息表示重放数据不包含将与流数据混合的数据，并如果从再现设备输出的再现数据是编码数据时，输出流数据。

根据本发明一个实施例，由再现设备再现的数据的数据结构、或存储在记录介质上的数据包括用于管理流数据的重放顺序的第一信息，其中第一信息包含第二信息，其不同于流数据并与将与流数据混合的数据的存在或缺乏相关。

根据本发明一个实施例，用于将可在再现设备上重放的数据记录在记录介质上的记录设备包括获取单元，用于获取具有包括第一信息的数据结构的数据，所述第一信息管理流数据的重放顺序，第一信息包含第二信息，其不同于流数据并与将与流数据混合的数据存在或缺乏相关，以及记录单元，用于将由获取单元获取的数据记录在记录介质上。

根据本发明一个实施例，将可重放数据记录在再现设备上的记录介质的制造方法包括产生具有下述数据结构的数据的步骤，所述数据结构包括用于管理流数据重放顺序的第一信息，所述第一信息包含第二信息，所述第二信息不同于流数据并与将与流数据混合的数据存在或缺乏相关，并且将所产生的数据记录在记录介质上。

从包含编码流数据的重放数据获取表示重放数据是否包含将与流数据混合的数据的确定信息。因此，使用确定信息来确定重放数据是否包含将与流数据混合的数据。如果重放数据不包含将与流数据混合的数据，并如果从再现设备输出的数据是经编码数据，则输出流数据。

上面数据结构的数据或保存在记录介质上的数据包含管理流数据重放顺序的第一信息，并且第一信息包含不同于流数据并与将被混合的数据的存在或缺乏相关的第二信息。

记录设备获取包含用于管理流数据的重放顺序的第一信息的数据，所述第一信息包含不同于流数据并与将被混合的数据的存在或缺乏相关的第二信息，并在其上记录获取的数据。

在再现设备上记录可重放数据的记录介质的制造方法包括以下步骤：产生具有包括第一信息的数据结构的数据，所述第一信息用于管理流数据的重放顺序，所述第一信息包含不同于流数据并与将与流数据混合的数据存在或缺乏相关的第二信息，以及将产生的数据记录在记录介质上。

网络指允许两个装置互相连接以便将信息从一个装置传送到另一个装置的机制。通过网络通信的该装置可以是独立装置或是形成一个装置的内部块。

通信指无线通信、有线通信、或无线通信和有线通信的结合。在无线通信和有线通信结合的情况下，无线通信在一个区域执行，而有线通信可在另一个区域执行。此外，从第一装置到第二装置执行有线通信，并然后从第二装置到第三装置执行无线通信。

根据本发明的一个特征，再现流数据。特别是，如果确定重放数据不包含将与流数据混合的数据，并且如果输出数据是编码数据，那么在没有解码并重新编码的情况下输出流数据。

根据本发明的另一特征，提供的数据具有包含管理流数据的重放顺序的第一信息的数据结构，并且第一数据进一步包括不同于流数据并与将被混合的数据存在或缺乏相关的第二数据。如果重放数据不包含将与流数据混合的数据，并如果输出数据是编码数据时，则在不需要解码并重新编码流数据的情况下，已经获取了具有该数据结构的数据的再现设备可以输出流数据。

附图说明

图1举例说明已知音频混合过程；

图2举例说明本发明一个实施例的再现设备；

图3举例说明装载在本发明一个实施例的再现设备上的记录介质的应用格式；

图4举例说明索引表和导航对象；

图5举例说明主路径和子路径的结构；

图6举例说明主路径和子路径的示例；

图7举例说明主路径和子路径的另一示例；

图8举例说明可在再现设备上重放的数据的数据结构；

图9举例说明index.bdmv的语法；

图10举例说明索引的语法；

图11举例说明索引的语法；

图12举例说明索引的语法；

图13举例说明播放列表(PlayList)文件的数据结构；

图14举例说明AppInfoPlayList()的语法；

图15举例说明AppInfoPlayList()的语法；

图16举例说明PlayList()的语法；

图17举例说明PlayList()的语法；

图18举例说明PlayList()的语法；

图19举例说明SubPath()的语法；

图20举例说明SubPath_type的语法；

图21举例说明SubPlayItem(i)的语法；

图22举例说明PlayItem()的语法；

图23举例说明PlayItem()的语法；

图24举例说明PlayItem()的语法；

图25举例说明STN_table()的语法；

图26举例说明stream_entry()的语法；

图27举例说明stream_attribute()的语法；

图28举例说明stream_coding_type；

图29举例说明video_format；

图30举例说明frame_rate；

图31举例说明aspect_ratio；

图32举例说明audio_presentation_type；

图33举例说明采样频率(sampling_frequency)；

图34举例说明字符代码；

图35举例说明代表提供给用户的音频信号和字幕信号之间关系的流号码表格的示例；

图36举例说明sound.bdmv的语法；

图37是根据本发明的一个实施例，再现设备的第一结构的框图；

图38是举例说明重放处理1的流程图；

图39是举例说明重放处理2的流程图；

图40是举例说明重放处理3的流程图；

图41是根据本发明一个实施例举例说明再现设备的第二结构的框图；

图42是举例说明重放处理4的流程图；

图43是举例说明重放处理5的流程图；

图44是举例说明重放处理6的流程图；

图45是根据本发明一个实施例，举例说明再现设备的第三结构的框图；

图46举例说明记录可在再现设备上重放的数据的记录介质的制造；

图47举例说明记录可在再现设备上重放的数据的记录介质的制造；

图48举例说明个人计算机的结构。

具体实施方式

在描述本发明的实施例之前，下面讨论本发明特征和在本发明实施例中公开的特定元件之间的对应关系。该说明的目的在于确保在本说明书中描述了支持请求保护的发明的实施例。因此，即使在以下实施例中的元件不是描述为涉及本发明的特定特征，这并不必然意味着元件不涉及本发明的那个特征。相反，即使这里的元件被描述为涉及本发明的特定特征，这也不必然意味着该元件不涉及本发明的其他特征。

在本发明的一个实施例中的再现设备(例如，图37的再现设备20-1、图41的再现设备20-2、和图45的再现设备20-3中的一个)包括重放数据获取单元(例如，图37、41和45中每一个的重放数据获取单元31)，用于获取包含编码流数据的重放数据(例如，音频流#1或由图45的视频解码器72解码的视频流)，用于解码流数据的解码单元(例如，图37的音频解码器75或图41和45之一的音频解码器75-1)，混合单元(例如，图37、41和45之一的混合器97或图41和45之一的混合器102)，用于将不同于流数据的将被混合的数据(例如，声音数据、声音流#1、将与由视频解码器72解码的视频流混合的另一视频流以及视频数据中的一个)与解码单元解码的流数据相混合，选择单元(例如，图37、41和45的开关61)，用于在将流数据提供给解码单元和输出流数据之间选择，以及用于控制选择单元的控制单元(例如，图37的控制器34-1、图41的控制器34-2、图45的控制器34-3中的一个)，其中控制单元从由重放数据获取单元获取的重放数据获取确定信息(例如，is_MixApp、is_MixApp_1或is_MixApp_2)，所述确定信息表示重放数据是否包含将与流数据混合的数据，并且如果确定信息确定重放数据不包含将被混合的数据并如果由重放数据处理单元处理的数据被输出为编码数据时，那么控制选择单元输出流数据。

在再现设备中，由重放数据获取单元获取的重放数据包括包含对应于重放数据标题的数据的一个预定文件(例如，索引文件)，并且控制单元从预定文件获取确定信息。

在再现设备中，由重放数据获取单元获取的重放数据包括至少一个预定文件(例如，对应图8的播放列表文件的XXXX.X.mpls)，该文件包含表示重放数据的重放顺序的信息(例如，播放列表)，以及控制单元从预定文件获取确定信息。

在再现设备中，由重放数据获取单元获取的重放数据包括第一数据的至少一个单元(例如，播放列表)和与第一数据相关的第二数据的至少一个单元(例如，播放项)，第一数据是表示重放数据的重放顺序的信息，以及第二数据是表示根据由第一数据控制的重放顺序再现的数据的重放周期的信息，并且控制单元从第二数据获取确定信息。

根据本发明实施例的用于再现数据并输出再现数据的再现设备的再现方法、和用于再现数据的程序以及存储在程序存储器上的程序包括以下步骤：从包含编码流数据的重放数据(例如，音频流#1或由图45的视频解码器72解码的视频流)获取(例如，图38的步骤S2、图39的步骤S64、图40的步骤S135、图42的步骤S202、图43的步骤S264中的一个)确定信息(例如，is_MixApp、is_MixApp_1、或者is_MixApp_2)，该信息表示重放数据是否包含将与流数据混合的数据(例如，声音数据、声音流#1、将被混合到由视频解码器72解码的视频流的另一视频流、和视频数据中的一个)，根据获取的确定信息确定(例如，图38的步骤S3、图39的步骤S65、图40的步骤S136、图42的步骤S203、图43的步骤S265和图44的步骤S336中的一个)重放数据是否包含将与流数据混合的数据，并如果确定信息表示重放数据不包含将与流数据混合的数据以及如果从再现设备输出的再现数据是编码数据，那么输出流数据(例如，图38的步骤S11、图39的步骤S71、图40的步骤S141、图42的步骤S211、图43的步骤S271中的一个)。

将由再现设备(例如，图37的再现设备20-1、图41的再现设备20-2和图45的再现设备20-3中的一个)再现的本发明一个实施例的数据结构包括用于管理流数据重放顺序的第一信息(例如，对应于图8的播放列表的XXXXX.mpls)，其中第一信息包含第二信息(例如，is_MixApp、is_MixApp_1、和is_MixApp_2中的一个)，其不同于流数据，并与将与流数据混合的数据(例如，声音数据、声音流#1、将与由视频解码器72解码的视频流混合的另一视频流、以及视频数据中的一个)的存在或缺乏相关。

在记录介质上记录的数据在再现设备(例如，图37的再现设备20-1、图41的再现设备20-2和图45的再现设备20-3中的一个)上被再现，并包括用于管理流数据的重放顺序的第一信息(例如，播放列表)，其中第一信息包含第二信息(例如，is_MixApp、is_MixApp_1和is_MixApp_2中的一个)，其不同于流数据并与将与流数据混合的数据(例如，声音数据、声音流#1、将与由视频解码器72解码的视频流混合的另一视频流、和视频数据中的一个)的存在或缺乏相关。

本发明一个实施例的记录设备包括获取单元(例如，图48的CPU501、通信单元509和驱动器510之一)用于获取具有包括第一信息(例如，播放列表)的数据结构的数据，所述第一信息用于管理流数据的重放顺序，该第一信息包括第二信息(例如，is_MixApp、is_mix_App_1和is_MixApp_2之一)，其不同于流数据并与将与流数据混合的数据(例如，声音数据、声音流#1、将与由视频解码器72解码的视频流混合的另一视频流、和视频数据中的一个)的存在或缺乏相关，以及记录单元(例如，图48的驱动器510)，用于将从获取单元获取的数据记录在记录介质上。

用于生产记录可在再现设备(例如，图37的再现设备20-1、图41的再现设备20-2和图45的再现设备20-3中的一个)上再现的记录介质的本发明一个实施例的方法包括以下步骤：产生具有包括第一信息(例如，播放列表(PlayList))的数据结构的数据，所述第一信息用于管理流数据的重放顺序，该第一信息包含第二信息(例如，is_MixApp、is_MixApp_1和is_MixApp_2之一)，其不同于流数据并与将与流数据混合的数据(例如，声音数据、声音流#1、将与由视频解码器72解码的视频流混合的另一视频流、和视频数据中的一个)的存在或缺乏相关，以及将产生的数据记录在记录介质上。

下面参考附图描述本发明实施例。

下面参考图2描述本发明一个实施例的再现设备20。

再现设备20可以再现记录在诸如光盘的记录介质21上的信息、通过网络22提供的信息、或记录在其记录介质(诸如硬盘)上的信息。再现设备20将再现的数据提供给以有线或无线方式连接的显示/音频输出设备23，以便在显示/音频输出设备23上显示图像并输出声音。再现设备20也可以将再现数据通过网络22传送到另一装置。再现设备20可以接收通过诸如在自己装置上提供的按钮或遥控器24的输入设备从用户输入的操作。

可在再现设备20上重放的、包含视频和音频的数据被记录在记录介质21上。记录介质21可以是光盘。记录介质21也可以是磁盘或半导体存储器之一。

如果显示/音频输出设备23被设计成接收未经压缩的数字数据，那么再现设备20解码记录在记录介质21上的编码数据，并将未经压缩的数据提供给显示/音频输出设备23。如果显示/音频输出设备23具有解码功能以接收压缩后的数据，那么再现设备20将压缩的数据提供给显示/音频输出设备23。如果显示/音频输出设备23被设计成接收未经压缩的模拟数据，那么再现设备20解码记录在记录介质21上的编码数据，通过对未压缩的数据进行D/A转换产生模拟信号，并将模拟信号提供给显示/音频输出设备23。而且，再现设备20再现在记录介质21上记录的数据，并以压缩状态将数据传送到网络22。

图3举例说明可在图2的再现设备20上重放的信息，也就是记录在可装载在再现设备20上的记录介质21上的数据、通过网络22提供的数据、或在再现设备20中的记录介质上记录的数据的应用格式。

应用格式包括播放列表和用于管理音频视频(AV)流的片断(clip)这两层。AV流和伴随AV流的片断信息构成的对被认为是单个对象，称作片断。AV流也被称为AV流文件。片断信息也被称为片断信息文件。

在计算机中使用的文件一般被作为字节串处理。AV流文件的内容沿着时间轴被扩展，以及片断的访问点由播放列表的时间标记指定。更具体的说，播放列表和片断是用于管理AV流的层。

如果播放列表使用时间标记(timestamp)在片断中指定访问点，片断信息文件被用来根据时间标记发现在AV流中文件中开始解码的地址信息。

播放列表是AV流的重放周期(playback period)的集合。在给定的AV流中的一个重放周期被称作播放项(PlayItem)。播放项由沿着时间轴的一对重放周期的IN点(重放开始点)和重放周期的OUT点(重放结束点)来表示。因此，播放列表由如图3所示的至少一个播放项组成。

参见图3，左起第一个播放列表包括两个播放项，而包含在左边的片断中的AV流的第一半部分和第二半部分被这两个播放项参考。左起第二个播放列表由单个播放项组成，而在左边的片断的右边的片断中包含的整个AV流被该播放项参考。第三个播放列表由两个播放项组成，而包含在左边的片断的AV流的给定部分和包含在右边的片断中的AV流的给定部分分别被两个播放项参考。

导航程序具有控制播放项的重放顺序和播放列表的交互重放的功能。而且，导航程序也具有显示菜单屏幕的功能，用户在所述屏幕上给出指令以执行各种重放操作。例如，以诸如Java(注册商标)的编程语言描述导航程序。

图3的导航程序可以指定从左边开始的第一个播放列表中包含的左边的播放项作为表示重放位置的信息。播放项参考的左边的片断中包含的AV流的第一半被再现。以该方式，使用播放列表作为管理AV流文件的重放的重放管理信息。

导航对象由索引表和从索引表读出的导航对象组成。下面参考图4描述索引表和导航对象。

索引表定义内容标题和菜单，并存储每个标题和每个菜单的入口点。第一重放(First Playback)包含涉及当存储数据的记录介质21被装载到再现设备20上时响应索引表的读取而自动首先执行的导航对象(NavigationObject)的信息。顶级菜单(TopMenu)包含与当显示重放菜单屏幕时调用的TopMenu的导航对象相关的信息。重放菜单屏幕对用户显示项目以再现全部内容、只再现特定章节、重复重放特定章节以及显示初始菜单。每个标题都包含涉及导航对象的信息，该导航对象可以被分配到各个标题ID指定的每个标题，并且可以被调用。如图4所示，为每一个标题显示一个导航命令。

导航对象由可执行导航命令组成。导航命令包括用于重放播放列表、调用另一个导航对象等等的各种命令。例如，导航命令#3可以包含用于再现播放列表#1的命令语句。如果执行导航命令#3，将再现播放列表#1。

下面将参考图9-11描述包含索引表的数据文件的索引文件。

在本实施例中，由播放列表中的至少一个播放项(连续播放项)序列组成的重放路径被称为主路径，而由至少一个子路径(包含连续或非连续子播放项)组成并在播放列表中与主路径平行的重放路径被称作子路径。可在再现设备20上重放的数据的应用格式在播放列表中包含与播放列表相关并与主路径相关地被再现的的子路径。

图5举例说明主路径和子路径的结构。播放列表可以包含一个主路径和至少一个子路径。一个主路径由至少一个播放项的序列组成，而一个子路径由至少一个子播放项组成。

参见图5，播放列表包括一个主路径和三个子路径，所述主路径由三个播放项的序列组成。更具体的说，主路径由PlayItem_id＝0、PlayItem_id＝1以及PlayItem_id＝2组成。子路径从上面按顺序以IDSubpath_id＝0、Subpath_id＝1和Subpath_id＝2标记。Subpath_id＝0的子路径包含单个子播放项，Subpath_id＝1的子路径包含两个子播放项，以及Subpath_id＝2的子路径包含单个子播放项。

由包含在Subpath_id＝0的子路径中的子播放项引用的流例如可以是电影的日语声音配音，并取代由主路径引用的AV流文件文件的音频流被再现。由包含在Subpath_id＝1的子路径中的子播放项引用的流可以是电影的导演剪切，而电影导演的评论被包含在主路径引用的AV流文件的预定部分中。

由单个播放项引用的片断AV流文件至少包含视频流数据(主电影数据)。片断AV流文件可以包括或可以不包括与包含在片断AV流文件中的视频流(主视频数据)同时(同步)再现的一个或多个音频流。片断AV流文件可以包括或可以不包括与包含在片断AV流文件中的视频流同时再现的一个或多个位图字幕流。片断AV流文件可以包括或可以不包括与包含在片断AV流文件中的视频流同时被再现的一个或多个交互图形流。在片断AV流文件中的视频流与音频流、位图字幕流以及交互图形流之一被多路复用，所述这些流中的每一个与视频流同时被再现。在由一个播放项引用的片断AV流文件中，视频流数据被与零或多个音频流、零或多个位图字幕流、或者零或多个交互图形流多路复用，所述这些流中的每一个与视频流同步被再现。

由一个播放项引用的片断AV流文件包括多个类型的流，包括视频流、音频流、位图字幕流文件以及交互图形流。

一个子播放项可以引用音频流数据或不同于播放项引用的片断AV流文件的流的字幕数据。

如果再现只具有主路径的播放列表，那么用户可以仅从与主路径引用的片断多路复用的音频流和子画面流中的音频和字幕中、在音频切换操作或字幕切换操作中选择音频或字幕。与之相比，如果再现具有主路径和子路径的播放列表，那么除了与主路径引用的片断AV流文件多路复用的音频流和子画面流之外，用户可以在子播放项引用的片断中引用音频流和子画面流。

因为多个子路径被包含在单个播放列表中，其中每个子路径被允许引用子播放项，所以产生了具有高度可扩展性和灵活性的AV流。更具体的说，在主路径引用的片断AV流文件之后，随后还添加子播放项。

图6举例说明了主路径和子路径。如图6所示，使用子路径表示与主路径同时(与AV流同步)再现的音频的重放路径。

图6的播放列表包含作为主路径的PlayItem_id＝0的单个播放项和作为子路径的单个子播放项。在主路径中PlayItem_id＝0的单个PlayItem()块引用图6的主AV流。SubPlayItem()块包含以下数据。SubPlayItem()包含指定播放列表中的子路径引用的片断的Clip_Information_file_name。如图6所示，子播放项引用SubClip_entry_id＝0的辅助音频流。SubPlayItem()包含指定在包含在指定片断的流(这里的辅助音频流)中的子路径的重放周期的SubPlayItem_IN_time和SubPlayItem_OUT_time。SubPlayItem()进一步包含指定重放开始时间的sync_PlayItem_id和sync_start_PTS_of_PlayItem，在所述时间，子路径开始沿着主路径的时间轴重放。如图6所示，sync_PlayItem_id＝0以及sync_start_PTS_of_PlayItem＝t1。以该方式，沿着主路径的PlayItem_id＝0的时间轴指定子路径开始重放的时间t1。更具体的说，主路径的重放开始时间t1和子路径的重放开始时间t1是同时的。

子路径引用的音频片断AV流文件不应该包括STC非连续点(在系统时基中的非连续点)。使用在主路径中使用的片断中包含的流的音频采样时钟锁定在子路径中使用的片断中包含的流的音频采样时钟。

换句话说，SubPlayItem()包含指定子路径引用的片断的信息、指定子路径的重放周期的信息、以及指定子路径沿着主路径的时间轴开始重放的时间的信息。因为在子路径中使用的片断AV流文件不具有STC，根据在SubPlayItem()中包含的信息(也就是，指定子路径引用的片断的信息、指定子路径的重放周期的信息、以及指定子路径沿着主路径的时间轴开始重放的时间的信息)引用和再现不同于主路径引用的片断AV流文件(主AV流)的片断AV流文件的音频流。

播放项和子播放项中的每一个管理片断AV流文件，以及由播放项管理的片断AV流文件(主AV流)和子播放项管理的片断AV流是两个不同的文件。

以与图6所示相同的方式，使用与主路径同时再现的字幕流重放路径作为子路径。

图7举例说明主路径和子路径的另一示例。如图7所示，使用子路径表示与主路径同时(AV同步)再现的音频的重放路径。由主路径的播放项引用的片断AV流文件与图6的流文件相同，这里省略其讨论。

主路径引用的片断AV流文件可以是单个电影内容(AV内容)，以及子路径的音频路径引用的辅助音频流可以是关于电影的电影导演的评论。主路径引用的片断AV流文件的音频流在重放中会与子路径的音频路径引用的辅助音频流混合(叠加)。图7的示例可应用于该配置。例如，当观看电影时，用户向再现设备(播放机)输入命令以便听取导演关于电影的评述。在重放中混合主路径引用的片断AV流文件的音频和作为子路径的音频路径引用的辅助音频流。图7的示例可应用于该情况。

如图7所示，在主路径中安排三个播放项，PlayItem_id＝0、1和2而在子路径(Subpath_id＝0)中安排两个子播放项。Subpath_id＝0(下文参考图19讨论)的子路径调用的子播放项(下文参考图21讨论)包含SubPlayItem_IN_time和SubPlayItem_OUT_time，用于指定辅助音频流的子路径的重放周期(SubClip_entry_id＝0的英语辅助音频流的片断和SubClip_entry_id＝1的日语辅助音频流的片断)。

比较图7和图6，SubClip_entry_id＝0和1的辅助音频流(英语和日语音频流)被子播放项引用。更具体的说，使用子播放项引用多个音频流文件。当再现子播放项时，在重放中从多个音频流文件中选择一个音频流文件。如图7所示，从英语音频流文件和日语音频流文件中选择一个音频流文件。更具体的说，从SubClip_entry_id＝0和1中选择一个(响应于来自用户的指令)，并再现由该ID指定的辅助音频流。此外，如果选择使用混合主路径引用的音频流的重放(如果选择两个音频流作为将被再现的音频流)，那么在重放中混合主路径引用的音频流文件和作为子路径的音频路径引用的音频流文件。

图8举例说明可在再现设备20上重放的数据文件的文件系统。如图8所示，在诸如光盘的的记录介质21中提供可在再现设备20上重放的数据文件，并且文件系统具有目录结构。

在文件系统中，在“root”目录下设置名为“BDMV”的目录。在“BDMV”目录下设置名为“Index.bdmv”的文件和名为“NavigationObject.bdmv”的文件，并在下文中分别将其称为索引文件和导航对象文件。下文中，合适时，每个文件被称作“文件名”，后面跟有单词“文件”，以及每个目录被称作“目录名”，后面跟有单词“目录”。

索引文件包含上述索引表，以及涉及再现可在再现设备20上重放的数据文件的菜单的信息。例如，根据索引文件，再现设备20使得显示设备显示具有用于再现可在再现设备20上重放的数据文件中包含的所有内容、用于仅仅再现特定章节、用于重复重放特定章节、以及显示初始菜单的项目的菜单屏幕。当选择一项时被执行的导航对象被设置在索引文件中的索引表中。当用户从重放菜单屏幕选择一项时，再现设备20执行在索引文件的索引表中设置的导航对象中描述的命令。

导航对象文件包含导航对象。导航对象包含控制包含在可在再现设备20上重放的数据文件中的播放列表的重放的命令。例如，再现设备20选择并执行在文件系统中包含的导航对象之一，因此再现内容。

在BDMV目录下设置的是名为“BACKUP(备份)”的目录(BACKUP目录)，名为“PLAYLIST(播放列表)”的目录(PLAYLIST目录)、名为“CLIPINF”的目录(CLIPINF目录)、名为“STREAM”的目录(STREAM目录)以及名为“AUXDATA”的目录(AUXDATA目录)。

BACKUP目录包含用于备份可在再现设备20上重放的文件和数据的文件和数据。

PLAYLIST目录包含播放列表文件。每个播放列表文件具有由5位文件名以及后面的扩展“.mpls”组成的名字，如图8所示。

CLIPINF目录包含片断信息文件。每个片断信息文件具有由5位文件名以及后面的扩展“.clpi”组成的名字，如图8所示。

STREAM目录包含片断AV流文件和子流文件。每个流文件具有由5位文件名以及后面的扩展“.m2ts”组成的名字，如图8所示。

AUXDATA目录不包含片断AV流文件或者子流文件，但是包含片断AV流文件和子流文件引用的数据的文件，以及独立于片断AV流文件和子流文件使用的数据的文件。如图8所示，AUXDATA目录包含名为“11111.otf”的字幕字体和诸如名为“sound.bdmv”的效果声音的声音数据的文件。

当可在再现设备20上重放的数据文件被分布在光盘中时，以用户不能改变的安全电子数据形式、或以物理坑(pit)的形式将识别符author_id和disc_id记录在光盘上。将识别符author_id分配给每个标题作者用于识别诸如内容制造者、诸如产品公司或电影发行公司、或作为记录介质的光盘的提供商的标题作者。分配识别符disc_id以便识别在author_id指定的标题作者制造的光盘类型。

在再现设备20上可重放的数据文件可以被记录在除了光盘之外的可移除记录介质上，或可以通过网络下载。在这种情况下，按照与图8相同的目录结构，分配与author_id和disc_id相对应的特性。即使在再现设备20上可重放的数据文件没有被分配对应于author_id和disc_id的特性，也以与图8的目录结构相同的方式包含名为“Index.bdmv”的文件和名为“NavigationObject.bdmv”的文件。而且，在目录结构中可以包含来自名为“BACKUP”的文件组、名为“PLAYLIST”的文件组、名为“CLIPINF”的文件组、名为“STREAM”的文件组、以及名为“AUXDATA”的文件组的任何合适的文件组。

再现设备20可以以未压缩数据的形式输出音频数据或以编码(压缩)数据的形式输出音频数据。必要时，再现设备20可以将音频数据混合到作为主重放输出数据的声音数据。而且，再现设备20不仅能混合声效果声音果而且能混合补充声音(辅助声音)到主重放输出音频数据。换句话说，根据是否包含通过再现设备20的功能混合的音频数据，来确定再现设备20是否将混合音频数据。

下文将主重放输出音频数据称作音频流#1。在AUXDATA目录中描述为sound.bdmv的音频数据被称为声音数据。例如，声音数据包含当用户输入操作输入时产生的点击声音，和声效果声音果。声音数据可以与音频流#1混合。包括补充声音的流被称为音频流#2，该补充声音不同于音频流#1并将与其混合。不同于音频流#1并将与其混合的、除了音频流#2之外的多个音频数据流是可接受的。这些文件可以被称为音频流#3，音频流#4等等。

可以对以压缩(编码)数据形式输出的音频流#1执行与音频流#2和声音数据的混合。音频流#1被解码、混合并然后再次编码。可以不对以压缩(编码)数据形式输出的音频流#1执行与音频流#2和声音数据的音频混合。在这种情况下，如果在没有解码的情况下输出音频流#1，那么音频流#1的声音质量不会降低。

为了确定是否在音频流#1上执行解码过程，再现设备20需要识别设备音频流#1的输出形式和包含在数据文件中的音频数据的类型(也就是，表示是否包含将与音频流#1混合的另一音频数据)。可在再现设备20上重放的数据文件在预定位置包括表示是否包含声音数据的标志以及表示是否包含音频流#2的标志。

表示是否包含将与音频流#1混合的其他音频数据的标志的位置是索引文件、播放列表文件以及播放项文件。如果在索引文件中放置这些标志，在重放包含在图8的数据结构中包含的所有数据的过程中定义是否包含将与音频流#1混合的其他音频数据。如果在播放列表中描述这些标志，那么定义是否包含将与根据对应播放列表再现的数据中包含的音频流#1混合的其他音频数据。如果在播放项中描述这些标志，定义是否在对应于播放项的片断中包含将与音频流#1混合的其他音频数据。

图9举例说明索引文件(Index.bdmv)的语法。

type_indicator字段包含根据ISO646标准编码的“INDEX”的值。

version_number字段表示代表Index.bdmv的版本号的四个字母的字符串，并包含根据ISO646标准编码的值“0089”。

Index_start_address字段包含Index()块的开始地址。

AppIfoBDMV()块包含表示包含索引文件的数据文件的提供者的识别符。

Index()块包含到应用(导航对象)的链接的描述，所述应用执行菜单读取操作、标题搜索操作、到预定标题的跳转操作、或当记录包含索引文件的数据文件的诸如光盘的记录介质21被装载到再现设备20中时的自动开始操作。下文将参考图10至12描述Index()的语法。

Padding_word字段包含根据Index.bdmv的语法插入的0或正整数。

图10举例说明了Index()的语法的第一示例，其中在Index()中没有写入表示在由Index()引用的数据中与音频流#1混合的其他音频数据的存在的标志。

length字段表示在Index()中写入的信息的字节数。

FirstPlayback块是包含关于当再现该文件系统的数据时首先执行的导航对象的信息的数据块。更具体的说，该数据块包含关于当记录该文件系统的数据的诸如光盘的记录介质21被装载到再现设备20上时首先自动执行的的导航对象的信息。

Firstplayback_mobj_id_ref字段指定首先执行的导航对象的mobj_id的值。Mobj_id是唯一识别导航对象的标识。如果没有设置在重放开始时自动执行的导航对象，换句话说，如果该应用不是在开始重放时执行，而是响应于来自用户的命令执行，该字段包括“0Xffff”。

TopMenu是包含关于当用户使得显示菜单屏幕时调用的TopMenu的导航对象信息的数据块。

TopMenu_mobj_id_ref字段指定TopMenu的导航对象的mobj_id的值。如果没有设置TopMenu，那么该字段包含“0xFFFF.”。

Number_of_Titles字段表示在Index()中写入的标题数。

Title[title_id]()是包含关于由title_id唯一识别的每个标题的信息的块。从0开始向Title_id指定数字。

Title_playback_type[title_id]字段表示由title_id识别的标题的重放类型。例如，重放类型可以包括作为将被再现的移动图像和音频的典型内容的电影标题，以及被允许响应来自用户的操作输入而交互修改的内容的交互标题。如果标题是电影标题，那么根据播放列表执行重放处理。

Title_access_type[title_id]字段包含表示是否允许使用Title_Search再现由title_id识别的标题的信息。

Reserved_for_future_use字段是还没有填充数据描述并供进一步扩展的29位字段。

Title_mobj_id_ref[title_id]字段指定其中已输入由title_id指定的标题的导航对象的mobj_id的值。

图11举例说明了Index()的语法的第二个示例。如图11所示，Index()引用的数据仅允许混合声音数据(不包含音频流#2)。Index()包含表示Index()引用的数据是否包含将与音频流#1混合的声音数据的标志。

除了新描述表示由Index()引用的数据是否包含声音数据的一位标志is_MixApp以及reserved_for_future_use字段由29位变化到28位以外，图11的Index()的语法的第二个示例具有与图10的index()的语法的第一个示例相同的结构。标志is_MixApp可以被定义为表示在Index()引用的数据中包含将与音频流#1混合的声音数据和音频流#2中的哪一个的标志。通过仅仅识别一个标志，也就是是否混合音频数据，就能快速确定解码处理的必要性。

图12举例说明了Index()的语法的第三个示例。如图12所示，Index()包括两个标志，即一个标志表示由Index()引用的数据是否包含将与音频流#1混合的声音数据，以及一个标志表示由Index()引用的数据是否包括将与音频流#1混合的音频流#2。

除了新描述表示Index()引用的数据是否包含音频流#2的一位标志is_MixApp_1，和表示Index()引用的数据是否包含声音数据的一位标志is_MixApp_2，以及将reserved_for_future_use字段从29位修改到27位以外，图12的Index()的第三个示例类似于图10的Index()的语法的第一个示例。

可以定义表示是否执行混合过程的标志，而不是定义表示是否在由Index()引用的数据中包含将与音频流#1混合的数据(至少音频流#2和声音数据之一)的标志。在这种情况下，当根据管理重放顺序的索引和播放列表执行重放时，将被定义的标志表示将被混合的数据是否应用于播放列表。

图13举例说明了播放列表文件的数据结构。播放列表是具有扩展名“.mpls”的数据文件，并存储在装载在再现设备20上或在再现设备20中的本地存储器(诸如硬盘)的记录介质中的播放列表目录中。

type_indicator字段包含表示文件类型的信息。更具体的说，该字段包含表示该文件的类型是作为重放管理信息的播放列表(MoviePlayList)的信息。重放管理信息用于管理视频的重放。

version_number字段包含xxxx.mpls(MoviePlayList)的四个字符的版本号。

PlayList_start_address字段包含由等于从播放列表文件的前面字节的字节数的单元表示的PlayList()的前面地址。

PlayListMark_start_address字段包含由等于从播放列表文件的前面字节的字节数的单元表示的PlayListMark()的前面地址。

ExtensionData_start_address字段包含由等于从播放列表文件的前面字节的字节数的单元表示的ExtensionData()的前面地址。

AppInfoPlayList()块存储涉及播放列表的重放控制的参数，诸如对重放的限制。下面将参考图14和15详细描述AppInfoPlayList()块。

PlayList()块保存涉及播放列表的主路径和子路径的参数。将参考图16至18详细描述PlayList()。

PlayListMark()块保存标记信息，更具体的说，涉及如在用户操作中跳转目的(跳转点)或章节跳转的命令等的标记的信息。

ExtensionData()块存储专用数据。

下面将参考图14描述AppInfoPlayList()的第一示例。当Index()是参考图10描述的那样，也就是，当表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志没有描述在Index()中时，图14的AppInfoPlayList()适用。

length字段表示在length字段后语法的长度，也就是从紧跟着length字段的位置到reserved_for_future_use的最后位置的AppInfoPlayList()的字节数。在length字段后准备8位reserved_for_future_use字段。

PlayList_playback_type字段包含表示响应播放列表执行的重放类型的信息。重放类型可以包括连续重放、随机访问重放以及混合(shuttle)重放。

Playback_count包含关于在播放列表中重放的播放项的数目的信息，该播放列表执行随机访问重放和混合重放之一。

U0_mask_table()块包含涉及特定重放功能的信息，所述重放功能包括暂停、章节搜索、跳转、快进、快退(快退重放)、以及对用于显示的用户操作的限制。

PlayList_random_access_flag字段包含用于控制从另一播放列表跳转重放标志的信息。如果PlayList_random_access_flag＝1，禁止从其他播放列表跳转重放。

再现设备20允许对其自身的扩展的用户操作，包括从当前播放列表引用的重放位置到头或另一播放列表引用的预定播放项的章节位置的重放位置跳转的用户操作命令。当用户操作发布命令从其他播放列表引用的片断AV流文件的播放位置到该播放列表引用的片断AV流的跳转(重放位置的改变)，PlayList_random_access_flag用于设置是否限制用户操作。

如果跳转命令(改变重放位置)不是由用户操作而是由导航命令发出的，不考虑PlayList_random_access_flag(执行命令，以及响应命令的产生，改变重放位置)。

Is_MixApp标志用于确定是否将播放列表再现的流混合到音频或声音效果中。更具体的说，将is_MixApp标志定义为表示播放列表引用的数据包括将与音频流#1混合的声音数据和音频流#2的标志。通过仅仅识别该一个标志，快速确定是否混合音频数据，也就是执行解码过程的必要性。

Lossless_may_bybass_mixer_flag涉及无损声音的重放。该标志之后紧跟着13位reserved_for_future_use字段。

如果如图10所示，没有描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志，如上文参考图14描述的一样，在AppInfoPlayList()块中描述is_MixApp，因此播放列表表示是否混合声音和声音效果。会在PlayList()和PlayItem之一中描述而不是在AppInfoPlayList()块中描述该is_MixApp标志。

下面将参考图15描述AppInfoPlayList()的第二个示例。

除了没有描述表示播放列表是否混合声音和声音效果的is_MixApp标志之外，图15的AppInfoPlayList()的第二个示例与参考图14讨论的AppInfoPlayList()的第一个示例相同。更具体的说，在图15的AppInfoPlayList()的第二个示例中，除了诸如is_MixApp标志的标志被写入以后讨论的PlayList()或PlayItem中以外，Index()块是参考图10讨论的那个块。表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志没有在Index()中而是在PlayItem或PlayList()中描述。或者，Index()块是参考图11或图12描述的那个块，也就是，在Index()中描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志。

图16举例说明了PlayList()的语法的第一示例。在图16的语法中，在PlayList()中没有描述表示将与音频流#1混合的其他音频数据是否包括在通过引用播放列表再现的数据中的标志。

当Index()块是参考图10描述的那个块，也就是，当不是在Index()而是在稍后讨论的播放项中描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志时，图16的PlayList()的语法的第一示例适用。当Index()块是参考图11或12描述的块，也就是，当在Index()中描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志时，图16的PlayList()的语法的第一示例适用。

length字段包含32位无符号整数，表示从紧跟在length字段之后的位置到PlayList()的最后位置的字节数，也就是表示从reserved_for_future_use字段到播放列表的最后位置的字节数。length字段后是16位的reserved_for_future_use字段。reserved_for_future_use字段还没有填充数据并且供以后扩展。Number_of_PlayItem字段是表示在播放列表中包含的播放项的数目的16位字段。例如，播放项的数目是图5中的3。以PlayItem()出现在PlayList中的顺序从0开始对PlayItem_id排序。如图5和7所示，PlayItem_id＝0，1，2，......

Number_of_SubPath字段是表示在播放列表中SubPath的数目(条目数)的16位字段。例如，SubPath的数目是图5中的3。以SubPath()出现在播放列表中的顺序从0开始对SubPath_id排序。如图5所示，SubPath_id＝0、1、2...。在描述后，根据播放项的数目引用播放项，以及根据SubPath的数目引用SubPath。

图17举例说明了PlayList()的语法的第二个示例。如图17所示，通过引用播放列表再现的音频流仅仅是音频流#1(不包括音频流#2)。在PlayList()中描述表示将与音频流#1混合的声音数据是否包括在通过引用PlayList()再现的数据中的标志。

当Index()块是参考图10讨论的块，也就是，当既不在Index()中也不在下面讨论的播放项中描述表示将与音频流#1混合的其他音频数据是否被包含在通过Index()引用的数据中的标志时，图17的PlayList()的第二个示例适用。

除了新描述表示声音数据是否被包含在PlayList()引用的数据中的is_MixApp标志，以及将reserved_for_future_use字段从16位修改为15位之外，图17的PlayList()的语法的第二个示例与参考图16讨论的PlayList()的语法的第一个示例相同。可将is_MixApp标志定义为表示PlayList()引用的数据包含将与音频流#1混合的声音数据和音频流#2的标志。在这种情况下，通过仅仅识别一个标志，快速确定是否混合音频数据，也就是解码过程的必要性。

图18举例说明了PlayList()的语法的第三个示例。如图所示，PlayList()包含表示PlayList()引用的数据是否包含将与音频流#1混合的声音数据的标志以及表示PlayList()引用的数据是否包括将与音频流#1混合的音频流#2的标志。

当PlayList()块是参考图10描述的块，也就是既不在Index()中也不在后面描述的播放项中描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志，图18的PlayList()的语法的第三个示例适用。

除了描述两个标志，也就是表示PlayList()引用的数据是否包含音频流#2的一位is_MixApp_1标志以及表示PlayList()引用的数据是否包含声音数据的一位is_MixApp_2标志，以及已将reserved_for_future_use字段从16位修改为14位之外，图18的PlayList()的语法的第三个示例与图16的PlayList()的语法的第一个示例相同。

图19举例说明了SubPath()的语法的示例。

length字段包含32位无符号整数，表示从紧跟在length字段之后的位置到SubPath()的最后位置的字节数，也就是表示从reserved_for_future_use字段到播放列表的最后位置的字节数。length字段后是16位的reserved_for_future_use字段。reserved_for_future_use字段还没有填充数据并且供以后扩展。SubPath_type字段是表示SubPath的应用类型的8位字段。SubPath_type字段用于表示关于SubPath是音频、位图字幕或文本字幕的SubPath类型。下面将参考图20描述SubPath_type。SubPath_type字段后是15位的reserved_for_future_use字段。is_repeat_SubPath是指定SubPath的重放方法的一位字段，并表示在主路径的重放处理中仅仅一次或重复再现SubPath。例如，如果主AV流和SubPath指定的片断具有不同的重放定时(也就是，主路径用于放映静止画面而作为音频路径的子路径用作主路径的背景音乐)，使用is_repeat_SubPath。is_repeat_SubPath字段后面是8位的reserved_for_future_use字段。number_of_SubPlayItem字段是表示在单个子路径中的子播放项数(条目数)的8位字段。在number_of_SubPlayItem字段的值中，子播放项的数目是如图5所示的具有SubPath_id＝0的一个以及具有SubPath_id＝1的两个。在后面的for语句中，子播放项被引用的次数等于子播放项的数目。

图20表示SubPath_type(子路径的类型)。如图20所示定义子路径的类型。

参见图20，保留SubPath_type＝0和1。SubPath_type＝2用于音频呈现可浏览的放映幻灯片。例如，SubPath_type＝2表示使用子路径的音频呈现路径和使用播放项的主路径在播放列表中互相不同步。

SubPath_type＝3是用于交互图形呈现菜单的子路径。例如，SubPath_type＝3表示使用子路径的交互图形和使用播放项的主路径在播放列表中互相不同步。

SubPath_type＝4是用于文本子标题呈现路径的子路径。例如，SubPath_type＝4表示使用子路径的文本字幕的呈现路径和使用播放项的主路径在播放列表中互相不同步。

SubPath_type＝5是用于第二音频呈现路径的子路径(也就是，用于引用第二音频流的路径)。更具体的说，SubPath_type＝5表示使用子路径的第二音频呈现路径和使用播放列表的主路径在播放列表中互相同步。例如，使用子路径的第二音频流是关于电影导演的评论(语音)。在图7的SubPath_id中，图19的SubPath_type对应于SubPath_type＝5。

SubPath_type＝6是用于第二音频呈现路径的子路径(也就是，用于引用第二视频流的路径)。更具体的说，SubPath_type＝6表示使用子路径的第二音频呈现路径和使用播放项的主路径互相同步。例如，使用子路径的第二音频流是关于电影导演的评论(运动画面)。

保留SubPath_type＝7至255。

图21举例说明了SubPlayItem(i)的语法。

length字段包含16位无符号整数，表示从紧跟在length字段之后的位置到SubPlayItem()的最后位置的字节数。

图21举例说明了两种情况，其中子播放项引用单个片断的第一种情况和其中子播放项引用多个片断的第二种情况。

首先描述其中子播放项引用单个片断的第一种情况。

子播放项包含指定片断的Clip_Information_file_name[0]。子播放项进一步包括用于指定片断的编解码方法的Clip_codec_identifier[0]字段，reserved_for_future_use字段，表示多片断的注册的存在或缺乏的is_multi_Clip_entries标志，以及涉及STC非连续点(系统时基中的非连续点)的ref_to_STC_id[0]字段。如果设置is_multi_Clip_entries标志，使用允许子播放项引用多个片断的语法。子播放项进一步包括指定片断中子路径的重放时间的SubPlayItem_IN_time字段和SubPlayItem_OUT_time字段。子播放项进一步包括沿着时轴指定SubPath的开始时间的sync_PlayItem_id字段和sync_start_PTS_of_PlayItem字段。如上所述，sync_PlayItem_id字段和sync_start_PTS_of_PlayItem字段用在图6和7的情况下(当同时再现主AV流和SubPath表示的文件时)。当不同时再现主AV流和SubPath表示的文件时不使用sync_PlayItem_id字段和sync_start_PTS_of_PlayItem字段(例如，如在由静止画面组成的幻灯片的背景音乐(BGM)的情况中，主路径引用的静止画面和子路径引用的音频互相不同步)。SubPlayItem_IN_time字段、SubPlayItem_OUT_time字段、sync_PlayItem_id字段和sync_start_PTS_of_PlayItem在子播放项引用的片断中普遍使用。

子播放项可以引用图7所示的多个片断(is_multi_Clip_entries＝＝1b)，换句话说，注册multi_clip。下面描述这种情况。

num_of_Clip_entries字段表示片断的数目。在Clip_Information_file_name[SubClip_entry_id]中的值指定除了Clip_Information_file_name[0]之外的片断。更具体的说，Clip_Information_file_name[SubClip_entry_id]中的值指定除了Clip_Information_file_name[0]之外的诸如Clip_Information_file_name[1]和Clip_Information_file_name[2]的片断。子播放项进一步包括指定片断编解码方法的Clip_codec_identifier[SubClip_entry_id]字段、涉及STC非连续点(系统时基中的非连续点)的ref_to_STC_id[SubClip_entry_id]字段以及reserved_for_future_use字段。

SublayItem_IN_time字段、SubPlayItem_OUT_time字段、sync_PlayItem_id字段和sync_start_PTS_of_PlayItem字段在多个片断中普遍使用。如图7所示，SubPlayItem_IN_tim字段、SubPlayItem_OUT_time字段、sync_PlayItem_id字段和sync_start_PTS_of_PlayItem被SubClip_entry_id＝0和SubClip_entry_id＝1共享使用。根据SubPlayItem_IN_time字段、SubPlayItem_OUT_time字段、sync_PlayItem_id字段和sync_start_PTS_of_playItem字段再现对应所选的SubClip_entry_id的基于文本的子标题。

以Clip_Information_file_name[SubClip_entry_id]出现在子播放项中的顺序从1开始对SubClip_entry_id编号。Clip_Information_file_name[0]的SubClip_entry_id是0。

图22举例说明了PlayList()的语法的第一个示例，其中不描述表示其他音频数据是否与音频流#1混合的标志。

当Index()块是参考图11和12之一描述的块，也就是当在Index()中描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志时，图22的PlayItem()的语法的第一个示例适用。当AppInfoPlayList()块是参考图14讨论的块，也就是当在AppInfoPlayList()块中描述表示播放列表引用的数据是否包含将与音频流#1混合的其他音频数据时，图22的PlayItem()的语法的第一个示例也适用。当PlayList()块是参考图17和18之一讨论的块，也就是当描述表示播放列表引用的数据是否包含将与音频流#1混合的其他音频数据时，图22的PlayItem()的语法的第一个示例也适用。

length字段包含16位无符号整数，表示从紧跟在length字段之后的位置到PlayItem()的最后位置的字节数。Clip_Information_file_name[0]字段指定播放项引用的片断。参考图6，Clip_Information_file_name[0]字段引用主AV流。PlayItem()块进一步包含指定片断的编解码方法的Clip_codec_identifier[0]字段，没有填充数据供以后扩展的11位reserved_for_future_use字段，以及表示PlayItem()块是否表征多角度重放功能的is_multi_angle标志。PlayItem()块进一步包含connection_condition字段、以及作为涉及STC非连续点(系统时基中的非连续点)的信息的ref_to_STC_id[0]。PlayItem()块进一步包含在片断中指定播放项的重放时间的IN_time字段和OUT_time字段。如图6所示，主片断AV流文件的重放范围由IN_time字段和OUT_time字段表示。PlayItem()块进一步包含U0_mask_table()块，PlayItem_random_access_mode字段和still_mode字段。可以使用多个is_multi_angle字段，但是这里不讨论多个is_multi_angle字段的使用，因为它不是直接涉及本发明。

可以准备感兴趣的播放项和与播放项相关地再现的至少一个子路径。在这种情况下，播放项中的STN_table()块表示响应于用于音频转换或字幕转换的用户操作、允许从播放项引用的片断选择和由至少一个SubPath引用的片断中选择一个片断的机制。STN_table()表示允许所选的两个音频流混合重放的机制。

图23举例说明了PlayItem()的语法的第二个示例。如图所示，对应于PlayItem()的数据不包含音频流#2。在PlayItem()中描述表示对应于PlayItem()的数据是否包含将与音频流#1混合的声音数据的标志。

当Index()块是参考图10描述的块，也就是当在Index()中没有描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志时，并当AppInfoPlayList()是图15中的那一个，也就是当在AppInfoPlayList()中没有描述表示播放列表引用的数据是否包含将与音频流#1混合的其他音频数据的标志时，并且当PlayList()是参考图16讨论的那一个时，也就是没有描述表示播放列表引用的数据是否包含将与音频流#1混合的其他音频数据的标志，图23的PlayItem()的语法的第二个示例适用。

除了新描述表示PlayItem()引用的数据是否包含声音数据的1位is_MixApp标志，以及将reserved_for_future_use字段从11位修改为10位之外，图23的PlayList()的语法的第二个示例与图22的PlayList()的语法的第一个示例相同。is_MixApp字段可以被定义为表示PlayItem()引用的数据是否包含声音数据和音频流#2的标志。通过仅仅识别一个标志，快速确定是否混合音频数据、也就是解码过程的必要性。

图24举例说明了PlayItem()的语法的第三个示例。图24的PlayItem()包含表示对应于PlayItem()的数据是否包含将与音频流#1混合的声音数据的标志以及表示对应于PlayItem()的数据是否包含将与音频流#1混合的音频流#1的标志。

当Index()块是参考图10描述的块，也就是当在Index()里没有描述表示Index()引用的数据是否包含将与音频流#1混合的其他音频数据的标志，以及当AppInfoPlayList()是图15的块，也就是当在AppInfoPlayList()中没有描述表示播放列表引用的数据是否包含将与音频流#1混合的其他音频数据时，以及当PlayList()是参考图16描述的块，也就是当没有描述表示播放列表引用的数据是否包含将与音频流#1混合的其他数据的标志时，图24的PlayItem()的语法的第三个示例适用。

除了新描述两个标志，也就是表示对应于PlayItem()的数据是否包含音频流#2的1位is_MixApp_1标志和表示对应于PlayItem()的数据是否包含声音数据的1位is_MixApp_2标志，以及将reserved_for_future_use字段从11位修改为9位之外，图24的PlayItem()的语法的第三个示例与图22的PlayItem()的语法的第一个示例相同。

图25举例说明了STN_table()的语法。将STN_table()设置为播放项的属性。

Length字段是16位无符号整数字段，表示从紧跟在length字段之后的位置到STN_table()的最后位置的字节数。length字段后是16位的reserved_for_future_use字段。Number_of_video_steam_entries字段表示在STN_table()中输入(注册)的流的数目，并具有video_stream_id。video_stream_id是标识视频流的识别信息，以及video_stream_number是用于转换视频并对用户可见的视频流号。

Number_of_audio_stream_entries字段包含在STN_table()里输入并具有audio_stream_id的第一音频流的流数目。audio_stream_id是识别音频流的识别信息，而audio_stream_number是用于切换音频的音频流号并对用户可见。Number_of_audio_stream2_entries字段包含在STN_table()里输入并具有audio_stream_id2的第二音频流的流数目。audio_stream_id2是识别音频流的识别信息，而audio_stream_number是用于切换音频的音频流号并对用户可见。在STN_table()里输入的number_of_audio_stream_entries的音频流是由下文讨论的图41的再现设备20-2的第一音频解码器75-1解码的音频流。在STN_table()里输入的number_of_audio_stream2_entries的音频流是由下文讨论的图41的再现设备20-2的第二音频解码器75-2解码的音频流。在图25的STN_table()中，可以输入由两个音频解码器解码的音频流。

在下面的讨论中，由图41的再现设备20-2的第一音频解码器75-1解码的number_of_audio_stream_entries字段中的音频流被称作第一音频流#1，而由图41的再现设备20-2的第二音频解码器75-2解码的number_of_audio_stream2_entries字段中的音频流被称作第二音频流#2。第一音频流#1比第二音频流#2具有更高的优先级。

number_of_PG_textST_stream_entries字段包含在STN_table()中输入并具有PG_textST_stream_id的流的数目。输入其中对例如DVD子画面的位图字幕进行游程长度编码的流(例如呈现图形流)和文本字幕文件(textST)。PG_textST_stream_id是识别字幕流的识别信息，而PG_textST_stream_number是用于切换字幕的字幕流号(文本子标题流号)并对用户可见。

Number_of_IG_stream_entries字段包含在STN_table()中输入并具有IG_stream_id的流的数目。输入交互图形流。IG_stream_id是识别交互图形流的识别信息，而IG_stream_number是用于切换图形的图形流号并对用户可见。

下文将参考图26描述stream_entry()块的语法。

length字段是8位无符号整数，表示从紧跟在length字段之后的位置到stream_entry()的最后位置的字节数。类型(Type)字段是表示唯一识别具有上述流数目的流所需的信息的类型的8位字段。

Type＝1时，指定从多个基本流中识别一个基本流的16位包ID(PID)，所述多个基本流被多路复用到播放项引用的片断(主片断)中。ref_to_stream_PID_of_mainClip字段表示PID。更具体的说，Type＝1时，通过在主片断AV流文件中简单地指定PID来确定流。

子路径会同时引用多个片断，并且多个基本流可以被多路复用到一个片断中。Type＝2时，指定SubPath_id、Clip_id和包ID(PID)，以便从SubPath引用的单个(主)片断的多个基本流中识别一个基本流。ref_to_SubPath_id表示SubPath_id、ref_to_SubClip_entry_id字段表示Clip_id以及ref_to_stream_PID_of_SubClip字段表示PID。这些ID用于引用子播放项中的多个片断，以及每个断中的多个基本流。

当播放项和与播放项相关地再现的至少一个子路径被准备具有所采用的两个类型(type＝1和type＝2)时，从播放项引用的片断和至少一个子路径引用的片断识别单一基本流。type＝1表示主路径引用的片断(主片断)，而type＝2表示子路径引用的片断(子片断)。

现在返回图25的STN_table()块的描述，在视频流ID(video_stream_id)的for循环中从0开始对每个stream_entry()识别的每个基本流顺序编号为video_stream_id。可以使用视频流号(video_stream_number)而不是视频流ID(video_stream_id)。在这种情况下，从1开始而不是从0开始对每个video_stream_number编号。换句话说，对video_stream_id加1产生了video_stream_number。因为视频流号用于切换视频并对用户可见，因此从1开始编号。

类似的，在音频流ID(audio_stream_id)的for循环中，从0开始对每个stream_entry()识别的每个音频基本流顺序编号为audio_stream_id。如在视频流中一样，可以使用音频流号(audio_stream_number)而不是音频流ID(audio_stream_id)。从1开始而不是从0开始为每个audio_stream_number编号。换句话说，对audio_stream_id加1产生了audio_stream_number。因为音频流号用于切换音频并对用户可见，因此从1开始编号。

类似的，在音频流ID2(audio_stream_ id2)的for循环中，从0开始对每个stream_entry()识别的每个音频基本流顺序编号为audio_stream_id2。如在视频流中一样，可以使用音频流号(audio_stream_number2)而不是音频流ID2(audio_stream_id2)。从1开始而不是从0开始为每个audio_stream_number2编号。换句话说，对audio_stream_id2加1产生了audio_stream_number2。因为音频流号2用于切换音频并对用户可见，因此从1开始编号。

在图25的STN_table()中，定义number_of_audio_stream_entries的音频流(第一音频流#1)和number_of_audio_stream2_entries的音频流(第二音频流#2)。换句话说，因为使用了STN_table()输入第一音频流#1和第二音频流#2，因此用户可以选择将互相同步再现的两个音频流。

在字幕流ID(PG_textST_stream_id)的for循环中从0开始对每个位图字幕基本流或每个stream_entry()定义的文本字幕编号为PG_textST_stream_id。如在视频流中一样，可以使用字幕流号(PG_textST_stream_number)而不是字幕流ID(PG_textST_stream_id)。在这种情况下，从1开始而不是从0开始对PG_textST_stream_number编号。换句话说，对PG_textST_stream_id加1产生了PG_textST_stream_number。因为字幕流号(文本子标题流号)用于切换字幕并对用户可见，从1开始对其编号。

类似的，在对图形流ID(IG_stream_id)的for循环中，从0开始对每个stream_entry()定义的每个交互图形基本流连续编号为IG_stream_id。如在视频流中一样，可以使用图形流号(IG_stream_number)而不是图形流ID(IG_stream_id)。在这种情况下，从1开始而不是从0开始对IG_stream_number编号。对IG_stream_id加1产生了IG_stream_id。因为图形流号用于切换图形并对用户可见，从1开始对其编号。

下面描述图25的STN_table()的stream_attribute()块。

在reserved_for_future_use字段之后的for语句中，对视频流引用其视频流部分本身，对音频流引用数据提供商(例如，记录介质21的制造者)向其设置主路径和子路径的音频流部分，对PG textST流引用PG textST流部分，并对IG流引用IG流部分。

视频流ID(video_stream_id)的for循环的stream_attribute()提供在每个stream_entry()基础上识别的一个视频基本流的流属性信息。在stream_attribute()中描述在每个stream_entry()基础上识别的一个视频基本流的流属性信息。

类似的，音频流ID(audio_stream_id)的for循环的stream_attribute()提供在每个stream_entry()基础上识别的一个音频基本流的流属性信息。在stream_attribute()中描述在每个stream_entry()基础上识别的一个音频基本流的流属性。例如，由图26的stream_entry()的type＝1或type＝2识别的音频基本流是单个，而stream_attribute()提供一个音频基本流的流属性信息。

类似的，音频流ID2(audio_stream_id2)的for循环的stream_attribute()提供在每个stream_entry()基础上识别的一个音频基本流的流属性信息。更具体的说，在stream_attribute()中描述在每个stream_entry()基础上识别的一个音频基本流的流属性信息。例如，由图26的stream_entry()的type＝1或type＝2识别的音频基本流是单个，而stream_attribute()提供该音频基本流的流属性信息。

类似的，字幕流ID(PG_textST_stream_id)的for循环的stream_attribute()提供在每个stream_entry()基础上识别的一个位图字幕基本流或一个文本字幕基本流的流属性信息。更具体的说，在stream_attribute()中描述在每个stream_entry()基础上识别的一个位图字幕基本流或一个文本字幕基本流的流属性信息。

类似的，图形流ID(IG_stream_id)的for循环的stream_attribute()提供在每个stream_entry()基础上识别的一个交互图形基本流的流属性信息。更具体的说，在stream_attribute()中描述在每个stream_entry()基础上识别的一个交互图形基本流的流属性信息。

下面参考图27描述stream_attribute()的语法。

length字段包含16位无符号整数，表示从紧跟在length字段之后的地址到stream_attribute()块的最后地址的字节数。

Stream_coding_type字段包含如图28所示的基本流的编码类型。基本流的编码类型包括MPEG-2视频流、HDMV LPCM音频、杜比AC-3音频、dts音频、呈现图形流、交互图形流、和文本子标题流。

Video_format(视频格式)字段包含如图29所示的视频基本流的视频格式。视频基本流的视频格式包含480i、576i、480p、1080i、720p和1080p。

frame_rate字段包含如图30所示的视频基本流的帧速率。视频基本流的帧速率包括2400/1001、24、25、30000/1001、50和60000/1001。

aspect_ratio字段包含如图31所示的视频基本流的宽高比信息。描述为视频基本流的宽高比信息的是4∶3的显示宽高比，以及16∶9的显示宽高比。

audio_presentation_type字段包含如图32所示的音频基本流的呈现类型信息。描述为音频基本流的呈现类型信息的是单一单声道、两个单声道、立体声(2个声道)、和多声道。

sampling_frequency字段包含如图33所示的音频基本流的采样频率。描述为音频基本流的采样频率的是48KHz和96KHz。

audio_language_code字段包含音频基本流的语言代码(诸如日语、韩语、中文等)。

PG_language_code字段包含位图字幕基本流的语言代码(日语、韩语、中文等)。

IG_language_code字段包含交互图形基本流的语言代码(日语、韩语、中文等)。

textST_language_code字段包含文本字幕基本流的语言代码(日语、韩语、中文等)。

character_code字段包含图34所示的文本字幕基本流的字符代码。文本字幕基本流的字符代码包括UnicodeV1.1(ISO 10646-1)、ShiftJIS(日语)、包括用于罗马字符的KSC5653的KSC 5601-1987(韩语)、GB 18030-2000(中文)、GB2312(中文)、和BIG5(中文)。

下面参考图27和28至34描述图27的stream_attribute()的语法。

如果基本流的编码类型(图27的stream_coding_type)是MPEG-2视频流(图28)、stream_attribute()包括基本流的视频格式(图29)、帧速率(图30)和宽高比信息(图31)。

如果基本流的编码类型(图27的stream_coding_type)是HDMVLPCM音频、杜比AC-3音频、和dts音频(图28)之一，那么stream_attribute()包括音频基本流的呈现类型信息(图32)、采样频率(图33)、和语言代码。

如果基本流的编码类型(图27的stream_coding_type)是呈现图形流(图28)，stream_attribute()包括位图字幕基本流的语言代码。

如果基本流的编码类型(图27的stream_coding_type)是交互图形流(图28)，stream_attribute()包括交互图形基本流的语言代码。

如果基本流的编码类型(图27的stream_coding_type)是文本子标题流(图28)，stream_attribute()包括文本字幕基本流(图34)的字符代码和语言代码。

属性信息不局限于这些信息。

当准备播放项和与播放项相关再现的至少一个SubPath时，从播放项引用的片断和至少一个SubPath引用的片断的stream_attribute()得知stream_attribute()识别的一个基本流的属性信息。

通过检查属性信息(stream_attribute())，再现设备可以确定装置本身是否具有再现基本流的功能。同样，通过检查属性信息，再现设备可以选择匹配其语言设置的初始信息的基本流。

例如，再现设备可以具有再现位图字幕基本流的功能而不具有再现文本字幕基本流的功能。如果用户命令再现设备切换音频，再现设备连续地从字幕流ID(PG_textST_stream_id)的for循环仅选择位图字幕基本流用于重放。

在再现设备上语言的初始设置信息可以是日语。如果用户命令再现设备切换音频，再现设备从音频流ID(音频流id)的for循环连续地只选择具有日语的语言代码的基本流用于重放。

可以再现由视频流和主路径引用的音频流组成的AV流(电影)。当用户命令再现设备切换音频以指定(选择)音频流#1(标准电影中的音频输出)和音频流#2(导演或演员提供的评论)，再现设备混合(叠加)音频流#1和音频流#2用于再现音频流和视频流。

如从图25和26的STN_table()理解的，音频流#1和音频流#2可以是包含在主路径引用的片断中的音频流。或者，音频流#1和音频流#2之一可以是在主路径引用的片断中的音频流，音频流#1和音频流#2中的另一个可以是在子路径引用的片断中的音频流。以该方式，可以从叠加在主路径引用的主AV流上的多个音频流中选择两个流并进行混合用于重放。

当准备播放项和与播放项相关再现的至少一个子路径时，PlayItem()中的STN_table()以该方式提供一种允许用户切换音频或字幕以便从播放项引用的片断和至少一个子路径引用的片断中进行选择。因此再现设备允许用户交互地在不同于重放主AV流的流和文件上操作。

因为多个子路径用于在单个播放列表中，其中子路径引用各个子播放项，产生的AV流具有高度可扩展性和灵活性。更具体的说，以后可以添加子播放项。例如，可以使用主路径引用的片断AV流文件和与片断AV流文件相关的播放列表。如果作为添加新的子路径的结果而重写播放列表，根据新的播放列表一起引用片断AV流文件和不同于由主路径引用的片断AV流文件的片断AV流文件用于重放。因此，再现设备提供高度的可扩展性。

在PlayItem()中的STN_table()提供这样一种机制，其允许在图41的再现设备20-2中的将由第一音频解码器75-1解码的音频流#1和将由第二音频解码器75-2解码的音频流#2被混合(混合)并随后被再现。例如，可以准备PlayItem()和与PlayItem()相关再现的至少一个子路径，并提供一种混合并再现作为音频流#1的由播放项引用的片断的音频流和作为音频流#2的由SubPath引用的片断的音频流的机制。还提供一种机制，允许在播放项引用的片断(主片断)中包含的两个音频流，音频流#1和音频流#2，被混合并随后被再现。以该方式，可以叠加和再现不同于所记录的主音频流的音频流(诸如导演的评论的流)。两个叠加的音频流，也就是，音频流#1和音频流#2，可以被混合并再现。

下面参考图35描述特定示例。图35举例说明了表示分别提供给用户的音频信号和字幕信号之间关系的流号表。

参考图35，音频号被称为A_SN(音频流号)和A_SN2，而字幕号被称为S_SN(子画面流号)。在形成播放列表中主路径的播放项的STN_table()中输入的每个音频流#1(作为audio_stream_id输入的音频流)被分别分配A_SN。在形成播放列表中主路径的播放项的STN_table()中输入的每个音频流#2(作为audio_stream_id2输入的音频流)被分别分配A_SN2。

更具体的说，A_SN＝1被分配给音频2，而A_SN＝2被分配给音频1，以及A_SN＝3被分配给音频3。而且，A_SN2＝1被分配给音频4，以及A_SN2＝2被分配给音频5。用户从分配了A_SN的音频流中选择将被再现的音频流#1，并从分配了A_SN2的音频流选择将与音频流#1混合的音频流#2。例如，用户选择A_SN＝2的音频1和A_SN2＝2的音频5作为将被再现的音频流。

如果用户发出指令切换选择的A_SN＝1的音频2的音频，音频被切换到A_SN＝2的音频1。如果用户又发出指令切换音频，则音频被切换到A_SN＝3的音频3。如果用户再发出指令切换音频，音频被切换到A_SN＝1的音频2。如果用户发出指令切换具有所选的A_SN＝1的音频4的音频，音频被切换到A_SN2＝2的音频5。如果用户再次发出指令切换音频，音频被切换到A_SN2＝1的音频4。独立地切换用于选择音频流#1的A_SN和用于切换音频流#2的A_SN2。更具体的说，用户从A_SN1至A_SN3选择一个音频流，以及从A_SN2＝1至A_SN2＝2选择一个音频流。

A_SN和A_SN2数越小，提供给用户的音频信号的优先权越高。A_SN提供的流比A_SN2提供的流在优先权上更高。A_SN＝1是在默认设置中将被再现的音频流。

根据在再现设备中的初始语言设置的信息再现的声音对应于A_SN1的音频2(图35)。当切换音频时再现的声音对应于A_SN＝2的音频1(图35)。

结合在PlayList()中引用的PlayItem()的STN_table()提供该流号表(图25)。为了输入音频流#1，由audio_stream_id＝0(A_SN＝1)提供音频流2，由audio_stream_id＝1(A_SN＝2)提供音频1，以及由audio_stream_id＝2(A_SN＝3)提供音频3。接下来，为了在STN_table()中输入音频流#2(图25)，由audio_stream_id2＝0(A_SN2＝1)提供音频4，以及由audio_stream_id2＝1(A_SN2＝2)提供音频5。

通过分别定义两个重放音频流(音频流#1和音频流#2)，用户从定义的音频流中选择任何两个音频流。用户可以自由地选择两个重放音频流(从音频流#1和音频流#2定义的音频流)，因此在选择音频流组合上享有高度自由。例如，用户选择组合的音频2和音频4(A_SN＝1和A_SN2＝1的组合)或组合的音频2和音频5(A_SN＝1和A_SN2＝2的组合)。

因为在PlayItem()(图25)的STN_table()的stream_entry()(例如，图26)中输入两个音频流，可以混合两个音频流用于重放。例如，可以混合(叠加或混合)来自多个类型的流的两个相同类型的流(在本例中是音频流)用于同时重放。用户可以命令相同类型的两个期望的流混合用于重放。

在上述讨论中，允许用户分别选择由图41的再现设备20-2的第一音频解码器75-1解码的音频流#1和将由第二音频解码器75-2解码的音频流#2。可以定义音频流#1和音频流#2的组合，于是可以在混合重放中由用户选择流的组合。

下面参考图36描述AUXDATA目录的sound.bdmv文件的语法。

Sound.bdmv文件包含至少一个效果声音用于交互图形的流。

SoundData_start_address字段是包含SoundData()块的头地址的32位字段。SoundIndex()块包含关于作为效果声音的实际数据的SoundData()的效果声音的属性的信息(诸如声道和频率数目)。

作为效果声音的实际数据的SoundData()是未被压缩音频数据。SoundData()包含从声音流分别准备、并被设计在预定地址输出的效果声音的内容，被设计成例如以响应来自用户输入的操作修改重放数据的方式、响应来自用户输入的操作而工作的内容，以及在交互内容中作为点击声音准备的数据。取决于由播放列表或播放项指定的内容或部分内容可以不包括SoundData()。如果发出再现效果声音的命令或者接收到从用户输入的操作时，SoundData()可以与音频流混合。

下面描述输出上述数据用于重放的再现设备20的配置和过程。

图37是举例说明作为本发明一个实施例的再现设备20-1的配置。再现设备20-1再现具有上述主路径和子路径的播放列表。无论audio_stream_id2给出的音频流#2是否存在，再现设备20-1仅能再现音频流#1而不能再现音频流#2。再现设备20-1可以再现具有与其混合的声音数据的音频流#1。

再现设备20-1包括重放数据获取单元31、开关32、AV解码器33-1、控制器34-1、音频编码器41、视频编码器42、D/A(数字至模拟)转换器43、D/A转换器44、未压缩音频信号接口81、压缩音频信号接口82、未压缩视频信号接口83、压缩视频信号接口84、模拟音频信号接口85、以及模拟视频信号接口86。

如图37所示，控制器34-1通过重放数据获取单元31读取Index文件，所述重放数据获取单元31诸如从加载的记录介质21读取数据的存储器驱动器、从再现设备20-1中的记录介质读取数据的数据驱动器、或通过网络22获取数据的网络接口。响应于产生的命令，再现设备20-1读取播放列表文件、从播放列表文件的信息读取播放项、检测对应于播放项的片断、并然后根据ClipInfo读取对应的AV流和AV数据。使用诸如遥控器24的用户接口，用户向控制器34-1输入命令以切换音频或字幕。从存储器(未示出)向控制器34-1提供再现设备20-1的初始语言设置的信息。

控制器34-1根据is_MixApp标志和is_MixApp_2标志的值控制开关61，所述两个标志都被描述在Index文件和播放列表文件(AppInfoPlayList()、PlayList()、和PlayItem之一)之一中并表示将与音频流混合的声音数据的存在或缺乏。

播放列表文件除了主路径和子路径的信息之外还包含STN_table()。控制器34-1通过重放数据获取单元31从记录介质21读取播放列表文件中包含的播放列表引用的主片断中包含的主片断AV流文件，包含在子片断中的子播放项引用的子片断AV流文件、和子播放项引用的文本子标题数据。可以将播放项引用的主片断和子播放项引用的子片断保存在不同的记录介质中。例如，主片断可以被记录在记录介质21上，而通过网络22提供对应的子片断并保存在再现设备20-1中硬盘驱动器(HDD)的硬盘(未示出)上。控制器34-1执行控制过程，选择并再现对应于自身装置(再现设备20-1)的重放功能的基本流，或选择并再现对应于再现设备20-1的初始语言设置的信息的基本流。

AV解码器33-1包括缓冲器51-54、PID过滤器55、PID过滤器56、开关57-59、开关61、背景解码器71、视频解码器72、呈现图形解码器73、交互图形解码器74、音频解码器75、文本ST合成76、开关77、背景平面产生器91、视频平面产生器92、呈现图形平面产生器93、交互图形平面产生器94、缓冲器95、视频数据处理器96和混合器97。因为音频解码器75在此是唯一的音频解码器，因此再现设备20-1可以解码音频流#1而不能解码音频流#2。更具体的说，再现设备20-1可以解码图25的STN_table()中的audio_stream_id识别的音频流而不能解码audio_stream_id2识别的音频流。视频解码器72可以响应于将被再现的流使用包括MPEG2、MPEG4、H.264/AVC的多个解码方法。

由控制器34-1读取的文件数据由ECC解码器(未示出)解码，然后对经过解码的多路复用的流进行纠错处理。在控制器34-1的控制下，开关32从经过解码和纠错的数据中按照类型选择流，然后将流提供给各个缓冲器51-54。更具体的说，在控制器34-1的控制下，开关32向缓冲器51提供背景图像数据、向缓冲器52提供主片断AV流的数据、向缓冲器53提供子片断AV流的数据，向缓冲器54提供Text-ST的数据。缓冲器51缓冲背景图像数据，缓冲器52缓冲主片断AV流的数据，缓冲器53缓冲子片断AV流的数据、以及缓冲器54缓冲Text-ST数据。

主片断AV流是其中复用了视频、和音频、位图字幕(呈现图形流)和交互图形中至少一个的流(例如传输流)。子片断AV流是其中复用了音频、位图字幕(呈现图形流)、和交互图形中至少一个的流。数据文本子标题文件(Text_ST)可以采用或可以不采用例如传输流的多路复用流的形式。

重放数据获取单元31可以以时间分割形式读取主片断AV流、子片断AV流和文本子标题数据的文件。或者，重放数据获取单元31可以在读取主片断AV流之前提前读取子片断AV流和文本子标题数据，并将读取的子片断AV流和文本子标题数据预先装载在缓冲器(缓冲器53和缓冲器54)上。

从作为主片断AV流读取缓冲器的缓冲器52读取的流数据被在预定时间输出到随后级的PID(包ID)过滤器55。PID过滤器55将输入的主片断AV流按PID(包ID)分类(sort)为流并将分类的流输出到基本流的各个解码器。更具体的说，PID过滤器55向用作向呈现图形解码器73的提供源的开关57提供呈现图形流，向用作向交互图形解码器74的提供源的开关58提供交互图形流、或向用作向音频解码器75的提供源的开关59提供音频流。

例如，呈现图形流是位图字幕数据，而文本子标题数据是文本字幕数据。

从用作子片断AV流读取缓冲器的缓冲器53读取的流数据被输出到随后级的PID(包ID)过滤器56。PID过滤器56按PID对输入的子片断AV流分类，并将分类的流输出到基本流的各个解码器。更具体的说，PID过滤器56向用作向呈现图形解码器73的提供源的开关57提供呈现图形流，向用作向交互图形解码器74的提供源的开关58提供交互图形流、或向用作向音频解码器75的提供源的开关59提供音频流。

从用于缓冲背景图像的缓冲器51读取的数据在预定时间被提供到背景解码器71。背景解码器71解码背景图像数据并将解码的背景图像数据提供到背景平面产生器91。

由PID过滤器55分类的视频数据流被提供到随后的视频解码器72。视频解码器72解码视频流并将解码的视频流输出到视频平面产生器92。

开关57从在从PID过滤器55提供的主片断中包含的呈现图形流和在子片断中包含的呈现图形流中选择一个，并将选择的呈现图形流提供给随后的呈现图形解码器73。呈现图形解码器73解码呈现图形流并将解码的呈现图形流的数据提供给用作向呈现图形平面产生器93的提供源的开关77。

开关58从在从PID过滤器55提供的主片断中包含的交互图形流和在子片断中包含的交互图形流中选择一个，并将选择的呈现图形流提供给随后的交互图形解码器74。提供到交互图形解码器74的交互图形流是从主片断AV流或子片断AV流分离的流。交互图形解码器74解码交互图形流并将解码的交互图形流提供给交互图形平面产生器94。

开关59从在从PID过滤器55提供的主片断中包含的音频流和在子片断中包含的音频流中选择一个，并将选择的音频流提供给随后的开关61。

开关61在控制器34-1的控制下向音频解码器75和压缩音频信号接口82之一提供接收的音频数据。

音频解码器75解码音频流，并向混合器97提供解码的音频流。

将从开关32选择的声音数据提供给缓冲器95用于缓冲。缓冲器95在预定时间向混合器97提供声音数据。在这种情况下，声音数据是菜单选择的效果声音数据。混合器97混合(叠加，或混合)从音频解码器75提供的音频数据和从缓冲器95提供的声音数据，并将混合的数据作为音频信号输出。

从用作文本子标题读取缓冲器的缓冲器54读取的数据在预定时间被输出到随后的文本子标题合成解码器76。文本子标题合成解码器76解码Text-ST数据并将解码的Text-ST数据提供给开关77。

开关77在呈现图形解码器73解码的呈现图形流和文本子标题数据之间选择。提供到呈现图形平面产生器93的字幕图形是呈现图形解码器73的输出和文本子标题合成解码器76的输出之一。输入到呈现图形解码器73的呈现图形流是从主片断AV流和子片断AV流之一(由开关57选择)分离的流。输出到呈现图形平面产生器93的字幕图形是来自主片断AV流的呈现图形流、来自子片断AV流的呈现图形流和文本子标题数据的解码输出之一。

响应于从背景解码器71提供的背景图像数据，背景平面产生器91产生背景平面，用作当视频图像按比率收缩时出现的墙纸，并将背景平面提供给视频数据处理器96。响应于从视频解码器72提供的视频数据，视频平面产生器92产生视频平面并将产生的视频平面提供给视频数据处理器96。响应于由开关77选择并提供的数据(呈现图形流和文本子标题数据之一)，呈现图形平面产生器93产生用作渲染(rendering)图像的呈现图形平面，并将产生的呈现图形平面提供给视频数据处理器96。响应于从交互图形解码器96提供的交互图形流，交互图形平面产生器94产生交互图形平面，然后将产生的交互图形平面提供给视频数据处理器96。

视频数据处理器96混合来自背景平面产生器91的背景平面、来自视频平面产生器92的视频平面、来自呈现图形产生器93的呈现图形平面和来自交互图形平面产生器94的交互图形平面，并将混合的平面输出为视频信号。

开关57-59和77响应于通过用户接口从用户输入的操作或响应于包含将被处理的数据的文件而进行切换。例如，如果音频数据仅被包含在子片断AV流中，将开关59转到子侧选择。

音频编码器41编码从混合器97提供的未压缩音频数据，并将编码的音频数据提供给压缩音频信号接口82。视频编码器42编码从视频数据处理器96提供的未压缩视频信号并将编码的信号提供给压缩视频信号接口84。D/A转换器43转换来自混合器97的作为未压缩音频数据的数字信号为模拟信号，并将产生的模拟信号提供给模拟音频信号接口85。D/A转换器44转换来自视频数据处理器96的作为未压缩数字视频信号的数字信号为模拟信号，并然后将产生的模拟信号提供给模拟视频信号接口86。未压缩音频信号接口81将从混合器97提供的未压缩音频数据输出到装置的外部。压缩音频信号接口82将从音频编码器41和开关61之一提供的压缩音频信号输出到装置的外部。未压缩视频信号接口83将从视频数据处理器96提供的未压缩视频信号输出到装置的外部。压缩视频信号接口84将从视频编码器42提供的压缩视频信号输出到装置的外部。模拟音频信号接口85将从D/A转换器43提供的模拟音频信号输出到装置的外部。模拟视频信号接口86将从D/A转换器44提供的模拟视频信号提供到装置的外部。

当在Index文件的Index()中描述表示将与音频流#1混合的其他音频数据存在的标志时，再现设备20-1执行重放处理1以再现数据。下面参考图38的流程图描述重放处理1。

在步骤S1中，控制器34-1确定来自再现设备20-1的输出是否是编码流。如果在步骤S1中确定来自再现设备20-1的输出不是编码流，处理进行到步骤S24。

如果在步骤S1中确定来自再现设备20-1的输出是编码流，在步骤S2中控制器34-1读取从开关32提供的Index文件。

在步骤S3中，控制器34-1确定is_MixApp标志或is_MixApp_2标志是否是1，所述两个标志被描述在Index()中并表示声音数据的存在。

在除了由audio_stream_id识别的音频流#1之外具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据存在的is_MixApp_2标志之外，描述了表示音频流#2存在的标志。然而，再现设备20-1不具有再现由识别的audio_stream_id2音频流#2的功能。在步骤S3中，再现设备20-1只检测is_MixApp标志或is_MixApp_2标志的标志值，并且即使is_MixApp_1标志被写入读取数据也并不引用is_MixApp_1标志。换句话说，在再现设备20-1中is_MixApp_1标志的值不影响开关61的控制。

如果在步骤S3中确定is_MixApp标志和is_MixApp_2标志之一是1，那么处理进行到稍后讨论的步骤S14。

如果在步骤S3中确定is_MixApp标志和is_MixApp_2标志之一不是1，那么涉及Index文件的数据不包含将在再现设备20-1中与音频流#1混合的声音数据。在步骤S4中，控制器34-1控制开关61，以便将涉及Index文件的音频数据提供给用作压缩(编码)音频信号的输出终端的压缩音频信号接口82。

在步骤S5中，控制器34-1确定是否发出了响应于从用户输入的操作产生的命令以读取播放列表文件(诸如图13的xxxxx.mpls)。如果在步骤S5中确定还没有发出读取播放列表文件的读取命令，则重复步骤S5直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S5中确定已经发出读取播放列表文件的读取命令，那么在步骤S6中控制器34-1读取从开关32提供的播放列表文件。

在步骤S7中，控制器34-1读取由在播放列表文件中描述的播放列表(图13的PlayList())指定的播放项，读取对应的主片断AV流、子片断AV流和文本子标题数据并将读取的数据提供给开关32。

在步骤S8中，控制器34-1将读取的数据提供给对应的缓冲器用于缓冲。更具体的说，控制器34-1控制开关32，以将背景图像数据提供给缓冲器51、将主片断AV流提供给缓冲器52、将子片断AV流提供给缓冲器53、以及将文本子标题数据提供给缓冲器54。缓冲器51-54缓冲其中的提供的数据。更具体的说，缓冲器51缓冲背景图像数据，缓冲器52缓冲主片断AV流，缓冲器53缓冲子片断AV流，以及缓冲器54缓冲文本子标题数据。

在步骤S9中，控制器34-1控制PID过滤器55和56，和开关57-59，由此利用预定解码器解码基于视频的数据，并利用视频数据处理器96处理解码数据。

在步骤S10中，视频编码器42编码从视频数据处理器96提供的经处理的视频数据。

在步骤S11中，用作压缩(编码)音频信号输出的输出端的压缩音频信号接口82向装置的外部输出音频流#1作为从开关61输出的编码音频数据。用作压缩(编码)视频信号的压缩视频信号接口84向装置的外部输出编码视频数据。

在步骤S11中从压缩音频信号接口82输出的压缩(编码)音频数据在音质上没有退化，因为，再现设备20-1的AV解码器33-1没有执行解码处理。

在步骤S12中，控制器34-1参考播放列表来确定是否存在将被再现的下一个播放项。如果在步骤S12中确定有下一个播放项，处理进行到步骤S7以便重复步骤S7和随后的步骤。

如果在步骤S12中确定没有下一个播放项，在步骤S13中控制器34-1确定重放处理是否将结束。如果在步骤S13中确定重放处理没有结束，处理返回到步骤S5以重复步骤S5和随后的步骤。如果在步骤S13中确定重放处理将结束，处理结束。

如果在步骤S3中确定is_MixApp标志和is_MixApp_2标志之一是1，涉及Index文件的数据包含将通过再现设备20-1与音频流#1混合的声音数据。在步骤S14中，控制器34-1控制开关61，以将涉及Index文件的音频流#1提供给音频解码器75。

步骤S15至S19分别基本类似于步骤S5至S9。更具体的说，控制器34-1确定是否发出了响应于从用户输入的操作而产生的命令来读取播放列表文件。如果确定已发布了读取播放列表文件的读取命令，读取播放列表，并读取播放列表指定的播放项。将对应于读取播放项的片断数据(AV流)提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，因此缓冲的基于视频数据由对应解码器解码、然后被视频数据处理器96处理。

在步骤S20中，控制器34-1控制PID过滤器和开关，以将缓冲器53缓冲的音频流#1通过开关61提供给音频解码器75用于解码，并在必要时控制混合器97执行混合处理以便混合解码数据和在缓冲器95上缓冲的声音数据。

因为控制开关61被控制来解码音频流#1和音频解码器75，混合音频流#1和声音数据。

在步骤S21中，音频编码器41对混合的未压缩音频数据进行编码，并将编码(压缩)的音频数据提供给压缩音频信号接口82以便输出到装置的外部。视频编码器42对由视频数据处理器96处理的未压缩视频数据进行编码，并将编码(压缩)的视频数据提供给压缩视频信号接口84以便输出到装置的外部。

在步骤S22中，控制器34-1参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S22中确定存在下一个播放项，处理返回到步骤S17以重复步骤S17和随后的步骤。

如果在步骤S22中确定没有下一个播放项存在，控制器34-1在步骤S23中确定是否结束重放处理。如果在步骤S23中确定不结束重放处理，那么处理返回到步骤S15以重复步骤S15和随后的步骤。如果在步骤S23中确定结束重放处理，那么处理结束。

如果在步骤S1中确定来自再现设备20-1的输出不是编码流，那么在步骤S24中控制器34-1控制开关61以将提供的音频流#1提供给音频解码器75。

如果输出不是编码流，无论将与音频流#1混合的声音数据是否存在，都解码音频流#1。

步骤S25至S30分别与步骤S15至S20基本上相同。更具体的说，控制器34-1确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件。如果确定已发出了读取播放列表文件的读取命令，读取播放列表，并读取由播放列表指定的播放项。对应于读取的播放项的片断数据(AV流)被提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，使得缓冲的基于视频的数据被对应的解码器解码并然后由视频数据处理器96处理。而且，PID过滤器和开关受到控制，因此在缓冲器53上缓冲的数据被提供给音频解码器75以便在那里解码。如果将声音数据提供到并存在于缓冲器95上，混合器97根据需要执行混合处理。

在步骤S31中，未压缩音频信号接口81将从混合器97提供的经处理的未压缩音频数据输出到装置的外部。未压缩视频信号接口83将从视频数据处理器96提供的未压缩视频数据提供到装置的外部。D/A转换器43数模转换未压缩的音频数据。模拟音频信号接口85将模拟信号输出到装置的外部。D/A转换器44数模转换未压缩视频数据。模拟视频信号接口86将模拟信号输出到装置的外部。

在步骤S32中，控制器34-1参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S32中确定下一个播放项存在，处理返回到步骤S27以重复步骤S27和随后的步骤。

如果在步骤S32中，确定没有下一个播放项存在，控制器34-1在步骤S33中确定是否结束重放处理。如果在步骤S33中确定不结束重放处理，处理返回到步骤S25以重复步骤S25和随后的步骤。如果在步骤S33中确定结束重放处理，处理结束。

在上面的处理中，再现设备20-1参考在Index()中描述的标志。如果Index()引用的数据不包含声音数据，音频流#1作为没有解码的压缩(编码)数据被输出到装置的外部。因此音频流#1的音质不会下降。

在上面的处理中，控制器34-1在处理的初期阶段确定输出是压缩数据还是未压缩数据，然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合处理，然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅在顺序方面改变处理。

当在播放列表中描述了将与音频流#1混合的其他音频数据存在的标志时，再现设备20-1执行重放处理2以便再现数据。下面参考图39的流程图描述重放处理2。

在步骤S61中，控制器34-1确定来自再现设备20-1的输出是否是编码流。如果在步骤S61中确定来自再现设备20-1的输出不是编码流，处理进行到下文描述的步骤S82。

如果在步骤S61中确定来自再现设备20-1的输出是编码流，控制器34-1在步骤S62中读取从开关32提供的Index文件。

在步骤S63中，控制器34-1确定是否发出了响应从用户输入的操作而产生的命令以读取播放列表文件(例如图13的xxxxx.mpls)。如果在步骤S63中确定还没有发出读取播放列表文件的读取命令，重复步骤S63直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S63中确定已经发出读取播放列表文件的读取命令，控制器34-1在步骤S64中读取从开关32提供的播放列表文件。

在步骤S65中，控制器34-1确定is_MixApp标志和is_MixApp_2标志之一是否是1，所述两个标志被描述在AppInfoPlayList()或PlayList()中并表示声音数据的存在。

在除了由audio_stream_id识别的音频流#1之外还具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据的存在的is_MixApp_2标志之外，描述了表示音频流#2存在的is_MixApp_1标志。然而，再现设备20-1不具有再现由audio_stream_id2识别的音频流#2的功能。再现设备20-1只检测is_MixApp_2标志的标志值，即使当is_MixApp_1标志被写入读取数据时也不参考is_MixApp_1标志的值。

如果在步骤S65中确定is_MixApp标志和is_MixApp_2标志之一是1，处理进行到稍后讨论的步骤S74。

如果在步骤S65中确定is_MixApp标志和is_MixApp_2标志标志之一不是1，涉及播放列表文件的数据不包含将在再现设备20-1中与音频流#1混合的声音数据。在步骤S66中，控制器34-1控制开关61以将涉及播放列表文件的音频数据提供给用作对压缩(编码)音频信号的输出终端的压缩音频信号接口82。

步骤S67至S71与图38的步骤S7至S11基本上相同。

更具体的说，读取由播放列表指定的播放项。读取对应片断(AV流)的数据并提供给开关32，因此将读取的数据提供给对应缓冲器用于缓冲。控制PID过滤器55和56以及开关57-59，从而基于视频的数据由对应的解码器解码，然后由视频数据处理器96处理。然后对经处理的数据进行编码。从开关61输出的编码音频数据通过压缩音频信号接口82被输出到装置的外部。编码视频数据通过压缩视频信号接口84被输出到装置的外部。

因为在步骤S71中从压缩音频信号接口82输出的压缩(编码)音频数据还没有被再现设备20-1中的AV解码器33-1解码，所以音质没有降低。

在步骤S72中，控制器34-1参考播放列表以确定是否存在下一个要被再现的播放项。如果在步骤S72中确定有下一个播放项，处理返回到步骤S67以重复步骤S67和随后的步骤。

如果在步骤S72中确定没有下一个播放项，控制器34-1在步骤S73中确定是否结束重放处理。如果在步骤S73中确定不结束重放处理，处理返回到步骤S63以重复步骤S63和随后的步骤。取决于在接下来要读取的播放列表中描述的标志的值，开关61的控制可以改变。如果在步骤S73中确定结束重放处理，处理结束。

如果在步骤S65中确定is_MixApp标志和is_MixApp_2标志之一是1，涉及播放列表文件的数据包含将由再现设备20-1与音频流#1混合的声音数据。在步骤S74中，控制器34-1控制开关61以将涉及播放列表文件的音频流#1提供给音频解码器75。音频解码器75解码涉及播放列表文件的音频数据。

步骤S75至S79分别与图38的步骤S17至S21基本上相同。更具体的说，读取由播放列表指定的播放项。读取对应片断(AV流)的数据，然后将其提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，因此由对应解码器解码缓冲的基于视频的数据，并由视频数据处理器96处理解码的数据。

控制PID过滤器和开关，由此将在缓冲器53上缓冲的音频流#1通过开关61提供给音频解码器75以进行解码。混合器97混合解码的数据与在缓冲器95上缓冲的声音数据。由于开关61被控制使得音频流#1由音频解码器75解码，混合音频流#1和声音数据。

混合的未压缩音频数据被编码，然后将其通过压缩音频信号接口82输出到装置的外部。由视频数据处理器96处理的未压缩视频数据被编码，然后通过压缩视频信号接口84将其输出到装置的外部。

在步骤S80中，控制器34-1参考播放列表以确定是否有下一个播放项。如果在步骤S80中确定有下一个播放项，处理返回到步骤S75以重复S75和随后的步骤。

如果在步骤S80中确定没有下一个播放项，控制器34-1在步骤S81中确定重放处理是否将结束。如果在步骤S81中确定不结束重放处理，处理返回到步骤S63以重复步骤S63和随后的步骤。开关61的控制可以根据接下来要读取的播放列表中描述的标志的值改变。如果在步骤S81中确定重放处理结束，处理结束。

如果在步骤S61中确定来自再现设备20-1的输出不是编码流，执行步骤S82-S91，这些步骤与图38的步骤S24-S33基本上相同。

更具体的说，如果输出不是编码流，不管是否存在将与音频流#1混合的声音数据，解码音频流#1。这样控制开关61从而将音频流#1提供给音频解码器75。控制器34-1确定是否已经发出读取播放列表的读取命令。如果控制器34-1确定已经发出读取命令，读取播放列表。读取由播放列表指定的播放项，然后读取对应片断的数据。将读取数据提供给对应缓冲器用于缓冲。控制PID过滤器和开关，从而由对应解码器解码缓冲的基于视频的数据，然后由视频数据处理器96处理解码的数据。而且，控制PID过滤器和开关，从而通过开关61将在缓冲器53上缓冲的音频流#1提供给音频解码器75以便进行解码。如果声音数据被提供给并存在于缓冲器95上，混合器97对解码数据和声音数据执行混合处理。

未压缩音频信号接口81将从混合器97提供的经过处理的未压缩音频数据输出到装置的外部。未压缩视频信号接口83将从视频数据处理器96提供的未压缩视频数据输出到装置的外部。D/A转换器43数模转换未压缩的音频数据。模拟音频信号接口85将模拟信号输出到装置的外部。D/A转换器44数模转换未压缩视频数据。模拟视频信号接口86将模拟信号输出到装置的外部。

确定是否有将被再现的下一个播放项。如果确定有下一个播放项，处理返回到步骤S85以重复步骤S85和随后的步骤。如果确定没有下一个播放项，控制器34-1确定重放处理是否结束。如果确定不结束重放处理，处理返回到步骤S83。如果确定重放处理结束，处理结束。

在上述处理中，再现设备20-1参考在播放列表中描述的标志。如果由播放列表参考的数据不包含声音数据，再现设备20-1将音频流#1输出到装置的外部，作为没有解码的压缩(编码)数据。因此，音质不会降低。如果在播放列表文件中的AppInfoPlayList()和PlayList()之一中描述标志，在每个播放列表基础上设置是否包含声音数据。因此，提高创作的自由性。

也在上述的处理中，控制器34-1在处理的早期阶段确定输出是压缩数据还是未压缩数据，然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合处理，然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅仅在其顺序方面改变处理。

当在播放项中描述了表示将与音频流#1混合的其他音频数据存在的标志时再现设备20-1执行重放处理3以便再现数据。下面参考图40的流程图描述重放处理3。

在步骤S131中，控制器34-1确定来自再现设备20-1的输出是否是编码流。如果在步骤S131中确定来自再现设备20-1的输出不是编码流，处理进行到稍后将讨论的步骤S151。

如果在步骤S131中确定来自再现设备20-1的输出是编码流，控制器34-1在步骤S132中读取从开关32提供的Index文件。

在步骤S133中，控制器34-1确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件(例如图13的xxxxx.mpls)。如果在步骤S133中确定还没有发出读取播放列表文件的读取命令，重复步骤S133直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S133中确定已经发出读取播放列表文件的读取命令，控制器34-1在步骤S134中读取从开关32提供的播放列表文件。

在步骤S135中，控制器34-1读取在播放列表文件中描述的播放列表(图13的PlayList())指定的播放项。根据播放项，控制器34-1控制重放数据获取单元31，由此读取对应的主片断AV流，子片断AV流和文本子标题数据，并对开关32提供这些数据。

在步骤S136中，控制器34-1确定is_MixApp标志或is_MixApp_2标志之一是否是1，所述两个标志描述在播放项中并表示声音数据的存在。

在除了由audio_stream_id识别的音频流#1之外具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据存在的is_MixApp_2标志之外，描述表示音频流#2存在的is_MixApp_1标志。然而，再现设备20-1不具有再现由识别的audio_stream_id2音频流#2的功能。在步骤S136中，再现设备20-1只检测is_MixApp标志或is_MixApp_2标志的值，并即使在读取数据中写入is_MixApp_1标志也不参考is_MixApp_1标志的值。

如果在步骤S136中确定is_MixApp标志和is_MixApp_2标志之一是1，处理进行到稍后讨论的S144。

如果在步骤S136中确定is_MixApp标志和is_MixApp_2标志之一不是1，涉及Index文件的音频数据不包含将在再现设备20-1中与音频流#1混合的声音数据。在步骤S137中，控制器34-1控制开关61以将涉及播放项的音频流#1提供给用作压缩(编码)音频信号的输出终端的压缩音频信号接口82。

步骤S137至S141与图38的步骤S8至S11基本上相同。

更具体的说，将读取的数据提供给对应的缓冲器用于缓冲。PID过滤器55和56以及开关57-59受到控制，使得基于视频的数据由对应解码器解码，然后由视频数据处理器96处理。然后编码处理的数据。将来自开关61的作为编码音频数据的音频流#1通过压缩音频信号接口82输出到装置的外部。将编码视频数据通过压缩视频信号接口84输出到装置的外部。

因为在再现设备20-1中没有由AV解码器33-1解码在步骤S141中从压缩音频信号接口82输出的压缩(编码)音频数据，因此音质没有降低。

在步骤S142中，控制器34-1参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S142中确定有下一个播放项，处理返回到步骤S135以重复步骤S135以及随后的步骤。开关61的控制可以根据在随后读取的播放项中描述的标志值改变。

如果在步骤S142中确定没有下一个播放项，那么控制器34-1在步骤S143中确定重放处理是否结束。如果在步骤S143中确定不结束重放处理，处理返回到步骤S133以重复步骤S133和随后的步骤。如果在步骤S143中确定重放处理将结束，处理结束。

如果在步骤S136中确定is_MixApp标志和is_MixApp_2标志之一是1，涉及播放项文件的数据包含将由再现设备20-1与音频流#1混合的声音数据。在步骤S144中，控制器34-1控制开关61以将涉及播放项文件的音频流#1提供给音频解码器75。

步骤S145至S148与图38的步骤S18至S21基本上相同。更具体的说，将读取数据提供给对应的缓冲器用于缓冲。PID过滤器和开关受到控制，从而由对应解码器解码缓冲的基于视频的数据，并由视频数据处理器96处理解码的数据。

控制PID过滤器和开关，由此将在缓冲器53上缓冲的音频流#1通过将开关61提供给音频解码器75以便进行解码。混合器97混合解码的数据与在缓冲器95上缓冲的声音数据。因为控制开关61被控制使得音频流#1由音频解码器75解码，混合音频流#1和声音数据。

编码混合的未压缩音频数据，然后通过压缩音频信号接口82输出到装置的外部。编码由视频数据处理器96处理的未压缩视频数据，然后通过压缩视频信号接口84输出到装置的外部。

在步骤S149中，控制器34-1参考播放列表以确定是否存在下一个播放项。如果在步骤S149中确定有下一个播放项，处理返回到步骤S135以重复步骤S135以及随后的步骤。开关61的控制可以根据在随后读取的播放项中描述的标志值改变。

如果在步骤S149中确定没有下一个播放项，控制器34-1在步骤S150中确定重放处理是否结束。如果在步骤S150中确定不结束重放处理，处理返回到步骤S133以重复步骤S133和随后的步骤。如果在步骤S150中确定重放处理将结束，处理结束。

如果在步骤S131中确定来自再现设备20-1的输出不是编码流，那么执行步骤S151-S160，这些步骤分别与图38的步骤S24-S33基本上相同。

更具体的说，如果输出不是编码流，无论将与音频流#1混合的声音数据是否存在，解码音频流#1。这样控制开关61以便将音频流#1提供给音频解码器75。控制器34-1确定是否已经发出读取播放列表的读取命令。如果控制器34-1确定已经发出读取命令，读取播放列表。读取由播放列表指定的播放项，然后读取对应片断(AV流)的数据。将读取的数据提供给对应缓冲器用于缓冲。控制PID过滤器和开关使得由对应解码器解码缓冲的基于视频的数据，然后由视频数据处理器96处理解码的数据。而且，控制PID过滤器和开关以便通过将开关61将在缓冲器53上缓冲的音频流#1提供给音频解码器75以便进行解码。如果声音数据被提供给并存在于缓冲器95上，混合器97对解码数据和声音数据执行混合处理。

未压缩音频信号接口81将从混合器97提供的经过处理的未压缩音频数据输出到装置的外部。未压缩视频信号接口83将从视频数据处理器96提供的未压缩视频数据输出到装置的外部。D/A转换器43数模转换未压缩的音频数据。模拟音频信号接口85将模拟信号输出到装置的外部。D/A转换器44数模转换未压缩视频数据。模拟视频信号接口86将模拟信号输出到装置的外部。

在步骤S159中确定是否有下一个将被再现的播放项。如果在步骤S159中确定有下一个播放项，处理返回步骤S154以重复步骤S154和随后的步骤。如果在步骤S159中确定没有下一个播放项，那么控制器34-1在步骤S160中确定重放处理是否结束。如果在步骤S160中确定不结束重放处理，处理返回到步骤S152。如果在步骤S160中确定重放处理结束，处理结束。

在上面的处理中，再现设备20-1参考在播放项文件中描述的标志。如果播放项引用的数据不包含声音数据，再现设备20-1将音频流#1输出到装置的外部作为没有解码的压缩(编码)数据。因此音质免于下降。因为在播放项文件中描述标志，在逐个播放项基础上设置是否包含声音数据。因此增加创作的自由性。

也在上述的处理中，控制器34-1在处理的早期阶段确定输出是压缩数据还是未压缩数据，然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合过程，然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅仅在其顺序方面改变处理。

作为本发明第二个实施例的再现设备20-2可以再现音频流#1和音频流#2这两个音频流。图41是描述再现设备20-2的框图。再现设备20-2再现具有主路径和子路径的播放列表。再现设备20-2可以混合由audio_stream_id2识别的音频流#2和声音数据以及由audio_stream_id识别的音频流#1。

与参考图37讨论的再现设备20-1的元件相同的元件用相同的附图标记指定，在这里相应地省略其讨论。

如同再现设备20-1，再现设备20-2包括重放数据获取单元31、开关32、音频编码器41、视频编码器42、D/A转换器43、D/A转换器44、未压缩音频信号接口81、压缩音频信号接口82、未压缩视频信号接口83、压缩视频信号接口84、模拟音频信号接口85、以及模拟视频信号接口86。再现设备20-2进一步包括AV解码器33-2和控制器34-2，而不是在再现设备20-1中的AV解码器33-1和控制器34-1。

与先前参考图37讨论的相同方式，图41的控制器34-2通过重放数据获取单元31读取Index文件，响应于产生的命令读取播放列表文件、并根据播放列表文件的信息读取播放项。控制器34-2获取对应片断(AV流或AV数据)。使用用户接口，用户发出命令以转换音频或字幕。从存储器(未示出)向控制器34-2提供在再现设备20-2中初始语言设置的信息。

控制器34-2根据is_MixApp标志或is_MixApp_2标志的值和is_MixApp_1标志的值来控制开关61。所述is_MixApp标志、is_MixApp_1标志和is_MixApp_2标志被描述在Index文件和播放列表文件(AppInfoPlayList()、PlayList()、和PlayItem)之一中。is_MixApp标志和is_MixApp_2标志表示是否存在将与音频流#1混合的声音数据，以及is_MixApp_1标志表示是否存在将与音频流#1混合的音频流#2。

如同AV解码器33-1，AV解码器33-2包括缓冲器51-55、PID过滤器55、PID过滤器56、开关57和58、开关61、开关102、背景解码器71、视频解码器72、呈现图形解码器73、交互图形解码器74、文本子标题合成解码器76、开关77、背景平面产生器91、视频平面产生器92、呈现图形平面产生器93、交互图形平面产生器94、缓冲器95、视频数据处理器96和混合器97。AV解码器33-2进一步包含开关101而非开关59，第一音频解码器75-1而不是音频解码器75，以及另外包括第二音频解码器75-2和混合器102。

第一音频解码器75-1解码音频流#1，而第二音频解码器75-2解码音频流#2。更具体的说，第一音频解码器75-1解码由在图25的STN_table()中audio_stream_id识别的音频流，以及第二音频解码器75-2解码由图25的STN_table()中audio_stream_id2识别的音频流。

因此，再现设备20-2包括两个解码器(第一音频解码器75-1和第二音频解码器75-2)用于解码两个音频流。

由控制器34-2读取的文件数据由ECC解码器(未示出)解码，然后对经过解码的多路复用的流进行纠错处理。在控制器34-2的控制下，开关32从解码和纠错的数据按照类型选择流，然后将流提供给各个缓冲器51-54。

包含在主片断和子片断中的AV流的格式可以与先前描述的一样。用于读取数据的重放数据获取单元31的方法可以与上面讨论的一样(也就是，可以以时分形式读取数据或预先装载数据)。

从作为主片断AV流读取缓冲器的缓冲器52读取的流数据在预定时间被输出到随后的PID(包ID)过滤器55。PID过滤器55将输入的主片断AV流按PID(包ID)分类为流并将分类的流输出到基本流的各个解码器。更具体的说，PID过滤器55向视频解码器72提供视频流、向用作向呈现图形解码器73的提供源的开关57提供呈现图形流，向用作向交互图形解码器74的提供源的开关58提供交互图形流、并向用作向开关61和第二音频解码器75-2的提供源的开关101提供音频流。

提供到开关61并然后通过压缩音频信号接口82输出或输入到第一音频解码器75-1的视频流是从主片断或子片断分离的流。类似的，输入到第二音频解码器75-2的音频流是从主片断或子片断分离的流。例如，如果主片断包含音频流#1和音频流#2，PID过滤器55根据音频流的PID过滤音频流#1和音频流#2，并将产生的流提供给开关101。

以与再现设备20-1相同的方式，再现设备20-1对视频数据、位图数据和交互图形数据执行重放处理。

开关101在从PID过滤器55提供的主片断中包含的音频流和在子片断中包含的音频流之间切换。将所选的音频流提供给随后开关61和随后第二音频解码器75-2之一。

例如，开关101从PID过滤器55选择音频流#1以将音频流#1提供给开关61，并从PID过滤器55选择音频流#2以将音频流#2提供给第二音频解码器75-2。

在控制器34-2的控制下，开关61将提供的音频数据提供给第一音频解码器75-1和压缩音频信号接口82之一。

第一音频解码器75-1解码音频流并然后将解码音频流的数据提供给混合器102。第二音频解码器75-2解码音频流，并然后将解码的音频流提供给混合器102。

如果音频流#1和音频流#2将被混合并再现(也就是，如果用户选择两个音频流为重放音频流)，将由第一音频解码器75-1解码的音频流#1和由第一音频解码器75-1解码的音频流#2提供给混合器102。

混合器102混合(叠加)来自第一音频解码器75-1的音频数据和来自第二音频解码器75-2的音频数据，并将混合的音频数据输出到随后的混合器97。在本说明书的内容中，混合(叠加)从第一音频解码器75-1输出的音频数据和从第二音频解码器75-2输出的音频数据也被称为合成。换句话说，合成指混合两条音频数据。

将由开关32选择的声音数据提供给缓冲器95用于缓冲。缓冲器95在预定时间将声音数据提供给混合器97。声音数据是在菜单上选择的声效果声音果数据并独立于流。混合器97混合(叠加或混合)从缓冲器95提供的声音数据和由混合器102混合的音频数据(也就是，从第一音频解码器75-1输出的音频数据和从第二音频解码器75-2输出的音频数据的混合音频数据)，并输出产生的数据作为音频信号。

当在Index文件的Index()中描述表示将与音频流#1混合的其他音频数据的存在的标志时，再现设备20-2执行重放处理4以再现数据。下面参考图42的流程图描述重放处理4。

在步骤S201中，控制器34-2确定来自再现设备20-2的输出是否是编码流。如果在步骤S201中确定来自再现设备20-2的输出不是编码流，处理进行到步骤S224。

如果在步骤S201中确定来自再现设备20-2的输出是编码流，控制器34-2在步骤S202中读取从开关32提供的Index文件。

在步骤S203中，控制器34-2确定在Index文件的Index()中描述并表示将与作为主音频流的音频流#1混合的数据的存在的标志之一是否为1。更具体的说，控制器34-2确定表示声音数据存在的is_MixApp标志和is_MixApp_2标志和表示音频流#2存在的is_MixApp_1标志之一是否是1。

在除了由audio_stream_id识别的音频流#1之外具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据存在的is_MixApp_2标志之外，描述表示音频流#2存在的is_MixApp_1标志。具有再现由audio_stream_id2识别的音频流#2的功能的再现设备20-2，在步骤S203中不仅参考is_MixApp标志和is_MixApp_2标志的值而且参考is_MixApp_1标志的值。

如果在步骤S203中确定标志之一是1，处理进行到稍后讨论的步骤S214。

如果在步骤S203中确定任何一个标志不是1，涉及Index文件的数据不包含声音数据和将在再现设备20-2中与音频流#1混合的音频流#2。在步骤S204中，控制器34-2控制控制开关61以将涉及Index文件的音频数据提供给用作压缩(编码)音频信号的输出终端的压缩音频信号接口82。

在步骤S205中，控制器34-2确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件(例如图13的xxxxx.mpls)。如果在步骤S205中确定还没有发出读取播放列表文件的读取命令，重复步骤S205直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S205中确定已经发出读取播放列表文件的读取命令，控制器34-2在步骤S206中读取从开关32提供的播放列表文件。

在步骤S207中，控制器34-2读取在播放列表文件中描述的播放列表(图13的PlayList())指定的播放项，读取对应的主片断AV流，子片断AV流和文本子标题数据，并将读取的数据提供给开关32。

在步骤S208中，控制器34-2将读取的数据提供给对应缓冲器用于缓冲。更具体的说，控制器34-2控制开关32向缓冲器51提供背景图像数据、向缓冲器52提供主片断AV流、向缓冲器53提供子片断AV流，向缓冲器54提供文本子标题的数据。缓冲器51-54缓冲其中提供的数据。更具体的说，缓冲器51缓冲背景图像数据，缓冲器52缓冲主片断AV流，缓冲器53缓冲子片断AV流、以及缓冲器54缓冲文本子标题数据。

在步骤S209中，控制器34-2控制PID过滤器55和56，和开关67-59，从而利用预定解码器解码基于视频的数据，并利用视频数据处理器96处理解码数据。

在步骤S210中，视频编码器42编码从视频数据处理器96提供的经过处理的视频数据。

在步骤S211中，用作压缩(编码)音频信号的输出终端的压缩音频信号接口82将音频流#2输出到装置的外部作为从开关61输出的编码音频数据。用作压缩(编码)视频信号的输出终端的压缩视频信号接口84将编码视频数据输出到装置的外部。

在步骤S211中从压缩音频信号接口82输出的压缩(编码)音频数据没有在音质上下降，因为再现设备20-2的AV解码器33-2没有执行解码处理。

在步骤S212中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S212中确定有下一个播放项，处理进行到步骤S207以重复步骤S207和随后的步骤。

如果在步骤S212中确定没有下一个播放项，在步骤S213中控制器34-2确定重放处理是否结束。如果在步骤S213中确定不结束重放处理，处理返回到步骤S205以重复步骤S205和随后的步骤。如果在步骤S213中确定重放处理将结束，处理结束。

如果在步骤S203中确定标志之一是1，涉及Index文件的数据包含声音数据和将由再现设备20-1与音频流#1混合的音频流#2中的至少一个。在步骤S214中，控制器34-2控制开关61以将涉及Index文件的音频流#1提供给音频解码器75-1。

步骤S215至S219与步骤S205至S209基本上相同。更具体的说，控制器34-2确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件。如果确定已发布读取播放列表文件的读取命令，读取播放列表，并读取播放列表指定的播放项。将对应于读取播放项的片断数据(AV流)提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，使得缓冲的基于视频的数据由对应解码器解码并然后被视频数据处理器96处理。

在步骤S220中，控制器34-2控制PID过滤器和开关，以将由缓冲器53缓冲的音频流#1通过开关61和开关101提供给音频解码器75-1用于解码，通过开关101将音频流#2提供给第二音频解码器75-2用于解码。控制器34-2控制混合器102，以便适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制混合器97以便对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合处理。

因为开关61被控制以便用音频解码器75-1解码音频流#1，音频流#2和声音数据与音频流#1相混合。

在步骤S221中，音频编码器41编码混合的未压缩音频数据，并将编码(压缩)的音频数据提供给压缩音频信号接口82以便输出到装置的外部。视频编码器42编码由视频数据处理器96处理的未压缩视频数据，并将编码(压缩)视频数据提供给压缩视频信号接口84以便输出到装置的外部。

在步骤S222中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S222中确定存在下一个播放项，处理返回到步骤S217以重复步骤S217和随后的步骤。

如果在步骤S222中确定没有下一个播放项存在，控制器34-2在步骤S223中确定是否结束重放处理。如果在步骤S223中确定不结束重放处理，处理返回到步骤S215以重复步骤S215和随后的步骤。如果在步骤S223中确定结束重放处理，处理结束。

如果在步骤S201中确定来自再现设备20-2的输出是编码流，在步骤S224中控制器34-2控制开关61以将提供的音频流#1提供给音频解码器75。

如果输出不是编码流，无论是否存在将与音频流#1混合的声音数据，解码音频流#1。

步骤S225至S230分别与步骤S215至S220基本上相同。更具体的说，控制器34-2确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件。如果确定已发出读取播放列表文件的读取命令，读取播放列表，并读取由播放列表文件中的播放列表指定的播放项。对应于读取的播放项的片断数据(AV流)被提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，使得缓冲的基于视频的数据被对应的解码器解码并然后由视频数据处理器96处理。而且，PID过滤器和开关受到控制，以将由缓冲器53缓冲的音频流#1通过开关61和开关101提供给音频解码器75-1用于解码，通过开关101将音频流#2提供给第二音频解码器75-2用于解码。控制器34-2控制混合器102以便适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制混合器97以便对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合处理。

在步骤S231中，未压缩音频信号接口81将从混合器97提供的经过处理的未压缩音频数据输出到装置的外部。未压缩视频信号接口83将从视频数据处理器96提供的未压缩视频数据输出到装置的外部。D/A转换器43数模转换未压缩的音频数据。模拟音频信号接口85将模拟信号输出到装置的外部。D/A转换器44数模转换未压缩视频数据。模拟视频信号接口86将模拟信号输出到装置的外部。

在步骤S232中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S232中确定下一个播放项存在，处理返回到步骤S227以重复步骤S227和随后的步骤。

如果在步骤S232中确定没有下一个播放项存在，控制器34-2在步骤S233中确定是否结束重放处理。如果在步骤S233中确定不结束重放处理，处理返回到步骤S225以重复步骤S225和随后的步骤。如果在步骤S233中确定结束重放处理，处理结束。

在上面的处理中，再现设备20-2参考在Index()中描述的标志。如果Index()引用的数据不包含声音数据和音频流#2，音频流#1被输出到装置的外部作为没有解码的压缩(编码)数据。因此音频流#1免于音质下降。

还是在上面的处理中，控制器34-2在处理的初期阶段确定输出是压缩数据还是未压缩数据，然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合处理，然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅仅在其顺序方面改变处理。

当在播放列表文件中描述表示将与音频流#1混合的其他音频数据存在的标志时再现设备20-2执行重放处理5以便再现数据。下面参考图43的流程图描述重放处理5。

在步骤S261中，控制器34-2确定来自再现设备20-2的输出是否是编码流。如果在步骤S261中确定来自再现设备20-2的输出不是编码流，处理进行到下文描述的步骤S282。

如果在步骤S261中确定来自再现设备20-2的输出是编码流，控制器34-2在步骤S262中读取从开关32提供的Index文件。

在步骤S263中，控制器34-2确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件(例如图13的xxxxx.mpls)。如果在步骤S263中确定还没有发出读取播放列表文件的读取命令，重复步骤S263直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S263中确定已经发出读取播放列表文件的读取命令，控制器34-2在步骤S264中读取从开关32提供的播放列表文件。

在步骤S265中，控制器34-2确定在Index文件中描述的标志之一，也就是AppInfoPlayList()和PlayList()之一是否是1，所述两个标志表示将与作为主音频流的音频流#1混合的数据的存在。更具体的说，控制器34-2确定表示声音数据(或音频流#2)的存在的is_MixApp标志、表示声音数据的存在的is_MixApp_2标志以及表示音频流#2的存在的is_MixApp_1标志之一是否是1。

在除了由audio_stream_id识别的音频流#1之外具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据的存在的is_MixApp_2标志之外，描述了表示音频流#2的存在的is_MixApp_1标志。具有再现由audio_stream_id2识别的音频流#2的功能的再现设备20-2在步骤S265中不仅引用is_MixApp_2标志的值，也引用is_MixApp_1标志的值。

如果在步骤S265中确定标志之一是1，处理进行到稍后讨论的步骤S274。

如果在步骤S265中确定任何一个标志不是1，涉及Index文件的数据不包含将在再现设备20-2中与音频流#1混合的声音数据和音频流#2。在步骤S266中，控制器34-2控制开关61以将涉及Index文件的音频数据提供给用作压缩(编码)音频信号的输出终端的压缩音频信号接口82。

步骤S267至S271分别与图42的步骤S207至S211基本上相同。读取由播放列表指定的播放项。读取对应主片断或子片断中包含的数据和文本子标题数据并将之提供给开关32然后将读取的数据提供给对应缓冲器用于缓冲。控制PID过滤器55和56以及开关57-59，使得基于视频的数据由对应的解码器解码，并然后由视频数据处理器96处理。然后编码经过处理的视频数据。

作为从开关61输出的编码音频数据的音频流#1通过用作压缩(编码)音频信号的输出终端的压缩音频信号接口82被输出到装置的外部。编码视频数据通过用作压缩(编码)视频信号的终端的压缩视频信号接口84被输出到装置的外部。

在步骤S271中从压缩音频信号接口82输出的压缩(编码)音频数据的音质没有降低，因为再现设备20-2的AV解码器33-2没有执行解码处理。

在步骤S272中，控制器34-2参考播放列表以确定是否存在下一个播放项。如果在步骤S272中确定有下一个播放项，处理返回到步骤S267以重复步骤S267和随后的步骤。

如果在步骤S272中确定没有下一个播放项，控制器34-2在步骤S273中确定是否结束重放处理。如果在步骤S273中确定不结束重放处理，处理返回到步骤S263以重复步骤S263和随后的步骤。开关61的控制可以取决于在接下来读取的播放列表文件中描述的标志的值改变。如果在步骤S273中确定结束重放处理，处理结束。

如果在步骤S265中确定标志之一是1，涉及Index文件的数据包含声音数据和将由再现设备20-2与音频流#1混合的音频流#2中的至少一个。在步骤S274中，控制器34-2控制开关61以将涉及Index文件的音频流#1提供给音频解码器75-1。

步骤S275至S279分别与图42的步骤S215至S221基本上相同。更具体的说，读取由播放列表指定的播放项。并根据读取的播放项，将对应片断中包含的数据提供给对应的缓冲器。控制PID过滤器和开关，使得由对应解码器解码缓冲的基于视频的数据，并由视频数据处理器96处理解码的数据。

而且，PID过滤器和开关受到控制，以通过开关61和开关101将由缓冲器53缓冲的音频流#1提供给音频解码器75-1用于解码，并通过开关101将由缓冲器53缓冲的音频流#2提供给第二音频解码器75-2用于解码。控制器34-2控制混合器102以便适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制混合器97以对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合处理。

因为控制开关61以便利用音频解码器75-1解码音频流#1，因而将音频流#2和声音数据与音频流#1相混合。

音频编码器41编码混合的未压缩音频数据，并将编码(压缩)的音频数据提供给压缩音频信号接口82以便输出到装置的外部。视频编码器42编码由视频数据处理器96处理的未压缩视频数据，并将编码(压缩)的视频数据提供给压缩音频信号接口84以便输出到装置的外部。

在步骤S280中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S280中确定存在下一个播放项，处理返回到步骤S275以重复步骤S275和随后的步骤。

如果在步骤S280中确定没有下一个播放项，在步骤S281中控制器34-2确定重放处理是否结束。如果在步骤S281中确定不结束重放处理，处理返回到步骤S263以重复步骤S263和随后的步骤。开关61的控制可以取决于接下来读取的播放列表中描述的标志的值改变。如果在步骤S281中确定重放处理将结束，处理结束。

如果在步骤S261中确定来自再现设备20-2的输出不是编码流，执行步骤S282-S291，这些步骤与图42的步骤S224-S233基本上相同。

更具体的说，如果输出不是编码流，不管是否存在将与音频流#1混合的声音数据，解码音频流#1。

控制器34-2确定是否已经发出读取播放列表的命令。如果确定已经发出读取播放列表的读取命令，那么读取播放列表，并读取由播放列表文件中的播放列表指定的播放项。将对应读取的播放项的片断数据(AV流)提供给对应缓冲器用于缓冲。控制PID过滤器和开关，以便由对应解码器解码缓冲的基于视频的数据，并然后由视频数据处理器96处理解码的数据。而且，控制PID过滤器和开关以通过开关61和开关101将由缓冲器53上缓冲的音频流#1提供给音频解码器75-1，并通过开关101将音频流#2提供给第二音频解码器75-2。控制器34-2控制混合器102以便适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制混合器97，以便对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合过程。从混合器97提供的经过处理的未压缩音频数据在被数模转换时或之后被输出到装置的外部。从视频数据处理器96提供的未压缩视频数据在被数模转换时或之后被输出到装置的外部。

控制器34-2参考播放列表以在步骤S290中确定是否存在将被再现的下一个播放项。如果在步骤S290中确定有下一个播放项，处理进行到步骤S285以重复步骤S285和随后的步骤。如果在步骤S290中确定没有下一个播放项，在步骤S291中控制器34-2确定重放处理是否结束。如果在步骤S291中确定不结束重放处理，处理返回到步骤S283以重复步骤S283和随后的步骤。如果在步骤S291中确定重放处理将结束，处理结束。

以该方式，再现设备20-2参考在播放列表文件中描述的标志，并且如果声音数据和音频流#2都不包含在播放列表文件引用的数据中时，音频流#1在没有解码的情况下被输出到装置的外部。因此，音质不会过度下降。

作为声音数据提供的音频数据中按钮的点击声音是响应用户操作产生的效果声音。点击声音是否与音频流#1混合是未知的。在上述的重放处理的流程中，已经描述表示声音数据或音频数据存在的is_MixApp标志、is_MixApp_1标志和is_MixApp_2标志。可以使用任何标志，只要该标志表示由该标志指定的数据不可被解码用于混合。更具体的说，即使标志是1，混合处理不是必然发生，而装置可以根本不执行混合处理。如果混合处理不发生，将标志设置为0。因为Index()可以指定多个播放列表文件，通过在播放列表中描述标志，在每个播放列表基础上设置是否包含声音数据。通过在Index()中描述标志信息获得灵活的控制，并提高创作的自由性。

在上面的处理中，控制器34-2在处理的初期阶段确定输出是压缩数据还是未压缩数据，并然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合处理，然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅仅在其顺序方面改变处理。

当在播放列表中描述将与音频流#1混合的其他音频数据存在的标志时，再现设备20-2执行重放处理6以便再现数据。下面参考图44的流程图描述重放处理6。

在步骤S331中，控制器34-2确定来自再现设备20-2的输出是否是编码流。如果在步骤S331中确定来自再现设备20-2的输出不是编码流，处理进行到下文将描述的步骤S351。

如果在步骤S331中确定来自再现设备20-2的输出是编码流，控制器34-2在步骤S332中读取从开关32提供的Index文件。

在步骤S333中，控制器34-2确定是否发出了响应于从用户输入的操作而产生的命令以读取播放列表文件(例如图13的xxxxx.mpls)。如果在步骤S333中确定还没有发出读取播放列表文件的读取命令，重复步骤S333直到确定已经发出读取播放列表文件的读取命令。

如果在步骤S333中确定已经发出读取播放列表文件的读取命令，在步骤S334中控制器34-2读取从开关32提供的播放列表文件。

在步骤S335中，控制器34-2读取由在播放列表文件中描述的播放列表(图13的PlayList())指定的播放项，读取对应的主片断AV流、子片断AV流和文本子标题数据，并将这些数据输出到开关32。

在步骤S336中，控制器34-2确定在播放项中描述的标志之一是否是1，所述标志表示将与作为主音频流的音频流#1混合的数据的存在。更具体的说，控制器34-2确定表示声音数据的存在的is_MixApp标志和is_MisApp_2标志和表示音频流#2的存在的is_MisApp_1标志之一是否是1。

在除了由audio_stream_id识别的音频流#1之外具有由audio_stream_id2识别的音频流#2的内容中，除了表示声音数据存在的is_MixApp_2标志之外，描述了表示音频流#2存在的is_MixApp_1标志。具有再现由audio_stream_id2识别的音频流#2的功能的再现设备20-2在步骤S336中不仅参考is_MixApp标志或is_MixApp_2标志的值，并引用is_MixApp_1标志的值。

如果在步骤S336中确定标志之一是1，处理进行到稍后讨论的步骤S344。

如果在步骤S336中确定任何一个标志不是1，涉及播放项的数据不包含将在再现设备20-2中与音频流#1混合的声音数据和音频流#2。在步骤S337中，控制器34-2控制开关61以将涉及播放项的音频数据提供给用作压缩(编码)音频信号的输出终端的压缩音频信号接口82。

步骤S338-S341分别与图42的步骤S208-S2211基本上相同。将读取的数据提供给对应的缓冲器以便缓冲。控制PID过滤器55和56、以及开关59-67以便由对应解码器解码基于视频的数据，然后由视频数据处理器96处理。然后编码经处理的视频数据。

将作为从开关61输出的编码音频数据的音频流#1通过用作压缩(编码)音频信号的输出终端的压缩音频信号接口82输出到装置的外部。将编码视频数据通过用作压缩(编码)视频信号的终端的压缩视频信号接口84输出到装置的外部。

因为再现设备20-2的AV解码器33-2没有执行解码处理，在步骤S341中从压缩音频信号接口82输出的压缩(编码)音频数据在音质上不会降低。

在步骤S342中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S342中确定有下一个播放项，处理进行到步骤S335以重复步骤S335和随后的步骤。开关61的控制可以取决于接下来读取的播放列表中描述的标志值改变。

如果在步骤S342中确定没有下一个播放项，控制器34-2在步骤S343中确定重放处理是否结束。如果在步骤S343中确定不结束重放处理，处理返回到步骤S333以重复步骤S333和随后的步骤。如果在步骤S343中确定重放处理将结束，处理结束。

如果在步骤S336中确定标志之一是1，涉及播放项文件的数据包含将由再现设备20-2与音频流#1混合的声音数据和音频流#2中的至少一个。在步骤S344中，控制器34-2控制开关61以将涉及播放列表文件的音频流#1提供给音频解码器75-1。

步骤S345至S348分别与图42的步骤S218至S221基本上相同。将对应于播放项的片断的数据提供给对应缓冲器用于缓冲。控制PID过滤器和开关，使得缓冲的基于视频数据由对应解码器解码，并使得解码的数据被视频数据处理器96处理。

而且，PID过滤器和开关受到控制，以通过开关61和开关101将由缓冲器53缓冲的音频流#1提供给音频解码器75-1用于解码，通过开关101将由缓冲器53缓冲的音频流#2提供给第二音频解码器75-2用于解码。控制器34-2控制混合器102以便适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制器混合器97以对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合处理。

因为开关61被控制以利用音频解码器75-1解码音频流#1，将音频流#2和声音数据中的每一个都与音频流#1混合。

音频编码器41对混合的未压缩音频数据进行编码，并将编码(压缩)的音频数据提供给压缩音频信号接口82以便输出到装置的外部。视频编码器42对由视频数据处理器96处理的未压缩视频数据进行编码，并将编码(压缩)的视频数据提供给压缩视频信号接口84以输出到装置的外部。

在步骤S349中，控制器34-2参考播放列表以确定是否存在将被再现的下一个播放项。如果在步骤S349中确定存在下一个播放项，处理返回到步骤S335以重复步骤S335和随后的步骤。开关61的控制可以取决于接下来读取的播放列表中描述的标志的值改变。

如果在步骤S349中确定没有下一个播放项存在，控制器34-2在步骤S350中确定是否结束重放处理。如果在步骤S350中确定不结束重放处理，处理返回到步骤S333以重复步骤S333和随后的步骤。如果在步骤S350中确定结束重放处理，处理结束。

如果在步骤S331中确定来自再现设备20-2的输出不是编码流，执行步骤S351-S360，这些步骤分别与图42的步骤S224-S233基本上相同。

如果输出不是编码流，无论将与音频流#1混合的声音数据是否存在，解码音频流#1。

更具体的说，控制器34-2确定是否发出了读取播放列表文件的命令。如果确定已发出读取播放列表文件的命令，读取播放列表文件，并读取由播放列表文件中的播放列表指定的播放项。对应于读取的播放项的片断数据(AV流)被提供给对应的缓冲器用于缓冲。控制PID过滤器和开关，使得缓冲的基于视频的数据被对应的解码器解码并然后由视频数据处理器96处理。而且，PID过滤器和开关受到控制，以将由缓冲器53缓冲的音频流通过开关61和开关101提供给音频解码器75-1用于解码，通过开关101将音频流#2提供给第二音频解码器75-2用于解码。控制器34-2控制混合器102以适当地混合由第一音频解码器75-1和第二音频解码器75-2解码的音频流。控制器34-2控制混合器97对由混合器102混合的音频流和在缓冲器95上缓冲的声音数据执行混合处理。从混合器97提供的经过处理的未压缩音频数据在被数模转换时或之后被输出到装置的外部。从视频数据处理器96提供的未压缩视频数据在被数模转换时或之后被输出到装置的外部。

控制器34-2参考播放列表以便在步骤S359中确定是否存在将被再现的下一个播放项。如果在步骤S359中确定有下一个播放项，处理进行到步骤S354以重复步骤S354和随后的步骤。如果在步骤S359中确定没有下一个播放项，在步骤S360中控制器34-2确定重放处理是否结束。如果在步骤S360中确定不结束重放处理，处理返回到步骤S352以重复步骤S352和随后的步骤。如果在步骤S369中确定重放处理将结束，处理结束。

以该方式，再现设备20-2参考在播放项中描述的标志，并如果声音数据和音频流#2都不包含在播放项引用的数据中时，音频流#1在没有解码的情况下被输出到装置的外部。因此，音质不会过分下降。具有在播放项中描述的标志信息，可以在每个播放项基础上设置是否包含声音数据，这导致分创作的自由度增加。

利用在播放项中描述的标志信息，可以更灵活的执行控制。然而，如果在由单一播放列表确保无缝重放时将重新编码切换为开/关，再现设备的软件设计实施变的非常困难。取决于软件实施的要求，可以优选的在每个播放列表文件基础上记录标志信息。

在上面的处理中，控制器34-2在处理的早期阶段确定输出是压缩数据还是未压缩数据，并然后参考标志以确定是否执行混合处理。或者，可以首先参考标志以确定是否执行混合处理，并然后确定输出信号是压缩数据还是未压缩数据。在该配置中，不是在其实质内容方面而是仅仅在其顺序方面改变处理。

如上所述，确定是否对音频数据执行混合处理。根据该确定，确定当对主音频数据执行解码处理时执行的处理、以及当不对主音频数据执行解码处理时执行的处理。这些处理不仅适用于音频数据的混合而且适用于视频数据的混合。

如上所述，表示在流中将与主视频数据、也就是用视频解码器72解码的视频数据混合的背景平面、呈现图形平面和交互图形平面中的每一个的存在的标志被描述在Index、播放列表和播放项之一中。图45的再现设备20-3的AV解码器33-3包括开关151。在AV解码器33-3的控制下，开关151将来自PID过滤器55的主视频数据提供给视频解码器72和压缩视频信号接口84之一。以该方式，主视频数据被输出为压缩(编码)数据，并且如果没有背景平面、呈现图形平面和交互图形平面与主视频数据混合，在不解码的情况下输出主视频数据。因此避免不必要的图像降级。

下面参考图46和47描述存储可在再现设备20上重放的数据的记录介质21的制造方法。这里，记录介质是盘状记录介质。

如图46所示，准备由玻璃制成的主盘。将由光阻材料等制成的记录材料应用于主盘。因此产生了记录主盘。

如图47所示，在软件制造部分中由视频编码器编码的、采用可在再现设备20上重放的格式的视频数据被临时存储在缓冲器上。由音频编码器编码的音频数据被临时存储在缓冲器上。除了由数据编码器编码的流之外的数据(例如，索引、播放列表、播放项等)被临时存储在缓冲器上。与同步信号同步，视频数据、音频数据、和除了在各个缓冲器上存储的流之外的数据被多路复用器(MPX)多路复用，以及纠错编码(ECC)电路将纠错码附加到多路复用的信号。产生的信号由调制器(MOD)电路调制，并然后根据预定格式存储在磁带上。因此，制造了软件程序以将其记录在可在再现设备20上重放的记录介质21上。

根据需要编辑(预管理)软件程序，并因此产生具有要在光盘上记录的格式的信号。根据记录信号调制激光束，然后引导至如图46所示的主盘上的光阻材料。因此，主盘上的光阻材料暴露于用记录信号调制的激光束。

然后对主盘进行显影，并且在主盘上排列凹坑。然后对主盘进行电铸以便制造其中转印了玻璃主盘的凹坑的金属主盘。从金属主盘产生了金属压模(stamper)并用作模子(mold)。

诸如PMMA(丙烯)或PC(聚碳酸酯)的物质被注入到模子并被固化。或者，在金属压模上涂覆2P(紫外线固化树脂)之后，紫外光被指向金属压模以便进行固化。以该方式，金属压模上的凹坑被转印到由树脂制成的复制品。

使用沉积或溅蚀技术在这样构造的复制品上形成反射膜。或者，使用旋涂技术在复制品上形成反射膜。

然后平滑成形盘的内部圆边和外部圆边，并且也执行将两个盘结合在一起所需的处理。而且，在盘上粘上标签，将盘心安装在盘上，并将产生的盘插入盘盒中。这样制造了具有可在再现设备20上重放的数据的记录介质21。

可以使用硬件或软件执行上述序列的处理步骤。可以由图48的个人计算机500执行上述处理。

参考图48，中央处理单元(CPU)501在存储在只读存储器(ROM)502上的程序或存储在随机访问存储器(RAM)503的程序的控制下执行各种处理。RAM503也存储CPU501执行多项处理所需要的数据。

CPU501、ROM502、和RAM503通过内部总线504互相连接。内部总线504也连接到输入-输出接口505。

输入-输出接口505也连接到包括键盘、鼠标等的输入单元505，包括显示设备诸如阴极射线管(CRT)或液晶显示器(LCD)和扬声器的输出单元507，包括硬盘的存储单元508、包括调制解调器的通信单元509、终端适配器等。通信单元509通过包括电话线或有线电视(CACT)线的多个网络执行通信处理。

输入-输出接口505也可以根据需要连接到驱动器510。将诸如磁盘、光盘、电-磁盘、或半导体存储器的可移除介质521装载在驱动器510上。必要时将从可移除介质521读取的计算机程序安装在存储单元508上。

当使用软件执行处理步骤序列时，将形成软件的程序通过网络或从程序存储介质安装在计算机上。

如图48所示，程序存储介质可以是诸如可移除介质521的封装介质，所述介质记录计算机程序并独立于计算机分发以便向用户提供计算机程序。程序存储介质还可以是存储计算机程序并在装置中向用户提供的ROM502，或包含存储单元508的硬盘。

可以以如上所述的时序序列执行描述存储在记录介质上的计算机程序的处理步骤。或者，可以并行或独立地执行处理步骤。

驱动器510不仅读取记录在安装的可移除介质521上的数据而且将数据写到安装的可移除介质521上。个人计算机500具有与参考图47讨论的软件产品部分相同的功能(个人计算机500执行用于执行与使用CPU501的软件产品部分相同的功能的程序)。

通过CPU501的处理，个人计算机501可以产生与由图47的软件产品部分产生的数据相同的数据。通过通信单元509或从装载在驱动器510上的可移除介质521，个人计算机500可以获取由外部装置产生并类似于由图47的软件产品部分产生的数据的数据。个人计算机500提供记录装置的功能，用于在装载在驱动器510上的可移除介质521上记录类似于由图47的软件产品部分产生的数据的产生或获取的数据。

本领域技术人员应该理解，只要在所附权利要求书或其等同物的范围之内，根据设计需求和其他因素，可以发生各种修改、组合、子组合和改变。

Claims (2)

1.一种将能够在再现设备上重放的数据记录在记录介质上的记录设备，包括：

产生装置，用于产生具有下述数据结构的数据，所述数据结构包括用于管理流数据的重放顺序的第一信息，所述第一信息包含第二信息，该第二信息不同于流数据并与将与流数据混合的数据的存在或缺乏相关；以及

记录装置，用于将由产生装置产生的数据记录在记录介质上。

2.一种用于在记录介质上记录能够在再现设备上重放的数据的方法，包括步骤：

产生具有下述数据结构的数据，所述数据结构包括用于管理流数据的重放顺序的第一信息，第一信息包含第二信息，该第二信息不同于流数据并与将与流数据混合的数据的存在或缺乏相关；以及

将产生的数据记录在记录介质上。

Images