CN101164103B

CN101164103B - 复用器和复用方法

Info

Publication number: CN101164103B
Application number: CN2006800135587A
Authority: CN
Inventors: 岩濑绫子; 加藤元树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-22
Filing date: 2006-04-20
Publication date: 2011-12-21
Anticipated expiration: 2026-04-20
Also published as: US20090052469A1; WO2006115163A1; TW200709177A; US20100142554A1; EP1873755A1; JP4882269B2; US7688822B2; US7974281B2; TWI319564B; JP2006301442A; EP1873755A4; EP1873755B1; CN101164103A

Abstract

本发明提供了一种复用器和复用方法、程序及记录介质，从而利用不同编码方法编码的TS分组可以被复用。在复用其中利用第一编码器被编码的BS音频ES 171被进行TS分组化的BS音频TS 173中的每个TS分组以及其中利用第二编码器编码的HQ音频ES 181被进行TS分组化的HQ音频TS 183中的每个TS分组的情况下，控制单元假设仅能解码BS音频ES的第一虚拟解码器和能够解码HQ音频ES的第二虚拟解码器，并且基于每个虚拟解码器的基本缓冲器、基本缓冲器的数据传送速率以及用于随机访问的复用约束条件，确定要被复用的TS分组。本发明可以被应用于被配置为复用TS分组的复用器。

Description

复用器和复用方法

技术领域

本发明涉及复用器和复用方法、程序及记录介质，尤其涉及使得利用不同编码方法被编码的音频流的TS分组可以被复用的复用器和复用方法、程序及记录介质。

背景技术

在利用MPEG(运动图片专家组)方法对视频流或音频流进行TS(传输流)分组化和复用的情况下，假设一种用作解码器的标准模型(系统目标解码器(STD))，并且编码处理被执行以利用这个STD正确地执行解码处理。

例如，参考专利文献1，公开了一种技术，其中假设图2中所示的STD模型，例如图1中所示的编码装置对基本流(elementary stream)进行TS分组化以生成MPEG传输流。

图1中所示的编码装置包括访问单元检测器1、伪访问单元(pseudo-access-unit)计算器2、打包器3和调度器4。另外，图2中所示的STD模型包括前级缓冲器21、后级缓冲器22和解码器23。

编码装置的访问单元检测器1从基本流中得到访问单元，并且检测该访问单元的大小和解码时间点信息。当将访问单元划分成具有取决于图2中所示的前级缓冲器21大小的预定大小且具有针对前级缓冲器21的数据传送速率的伪访问单元时，伪访问单元计算器2计算其中的伪访问单元被输入到前级缓冲器21时的时间点(输入完成时间点) (伪访问单元的解码后的时间点)。调度器4基于伪访问单元的大小和伪解码时间点，计算复用后的流被提供给解码器的时间点(时钟基准)和分组的大小(分组大小)。

打包器3根据分组大小对基本流进行分组化，对解码后的时间点和时钟基准进行编码，并且生成MPEG传输流。所生成的MPEG传输流经由传输路径5被发送，或者被记录在记录介质6中。

顺便提及，在利用MPEG方法对音频流进行TS分组化并且将分组化后的TS分组复用到一个传输流中的情况下，其音频流已经预先利用预定的编码方法被编码。这种编码的示例包括固定长度编码方法和可变长度编码方法。

因此，可以设想这样的情形，其中利用不同编码方法被编码的两个音频流被复用到一个传输流中。

[专利文献1]日本未审查专利申请公开No.9-261604

发明内容

发明要解决的问题

然而，例如图2中所示的STD模型没有假设如下情形，其中利用不同编码方法被编码的两个音频流被分组化为具有相同PID的TS分组并且被复用，所以难以将利用不同编码方法被编码的两个音频流分组化为具有相同PID的TS分组，并将具有相同PID的TS分组复用到一个传输流中。

根据这种情形而提出的本发明将利用不同编码方法被编码的两个音频流的TS分组复用到一个传输流中。

根据本发明的复用器，包括：第一编码装置，其被配置为利用用作预定编码方法的第一编码方法对音频数据进行编码；第二编码装置，其被配置为利用第二编码方法对音频数据进行编码，第二编码方法是可变长度编码方法并且与第一编码方法不同，第二编码装置被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；PES分组化装置，其被配置为将通过第一编码装置被编码的音频数据和通过第二编码装置被编码的音频数据分组化为PES分组，并且还为多个经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化装置，其被配置为将通过PES分组化装置被分组化的PES分组分组化为TS分组，并且还为多个经分组化的TS分组添加相同的ID；确定装置，其被配置为从通过TS分组化装置被分组化的多个TS分组中确定要被复用的TS分组；以及复用装置，其被配置为复用确定装置所确定的TS分组；其中PES分组化装置将通过第一编码装置被编码的音频数据和通过第二编码装置被编码的音频数据分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净荷的头部；并且，其中确定装置被配置为假设第一虚拟解码器和第二虚拟解码器，第一虚拟解码器被配置为对通过第一编码装置被编码的音频数据进行解码，并且第二虚拟解码器被配置为基于被添加给通过第二编码装置被编码的音频数据的定时值，对通过第二编码装置被编码的音频数据进行解码，并且确定装置还基于被安排用于随机访问经复用的TS分组的复用约束条件，确定要被复用的TS分组。

确定装置可以被配置为基于第一虚拟解码器中所包括的第一基本缓冲器和针对第一基本缓冲器的数据传送速率以及第二虚拟解码器中所包括的第二基本缓冲器和针对第二基本缓冲器的数据传送速率，从通过TS分组化装置被分组化的多个TS分组中确定要被复用的TS分组。

确定装置可以被配置为从通过TS分组化装置被分组化的多个TS分组中确定要被复用的TS分组，同时使第一虚拟解码器中所包括的第一基本缓冲器和第二虚拟解码器中所包括的第二基本缓冲器既不上溢也不下溢。

根据本发明的复用器可以被配置为还包括记录装置，该记录装置被配置为将通过复用装置被复用的TS分组记录在记录介质中。

音频数据单元可以被安排为音频访问单元。

第一虚拟解码器可以被配置为包括在第一基本缓冲器的前一级的传输缓冲器，并且第二虚拟解码器可以被配置为包括在第二基本缓冲器的前一级的传输缓冲器，并且还包括在第二基本缓冲器的后一级的第三基本缓冲器。

确定装置可以被配置为在假设针对第三基本缓冲器的输入定时为针对定时值的定时的情况下，从通过TS分组化装置被分组化的多个TS分组中确定要被复用的TS分组。

定时值可以被安排为是用其中音频流被发送给第三基本缓冲器的音频信息的采样周期表示的值。

PES分组化装置可以被配置为在对通过第二编码装置被编码的音频数据进行PES分组化的情况下，对通过第二编码装置被编码的音频数据进行分组化，以使得满足周期并且包括用于从相关位置开始解码的解码信息的音频数据单元出现在PES净荷的头部。

复用约束条件是这样的约束条件，其中在TS包括具有与通过第一编码装置被编码的音频数据的TS分组中所包括的时间点信息相同的时间点信息的通过第二编码装置被编码的音频数据的TS分组的情况下，通过第一编码装置被编码的音频数据的TS分组在通过第二编码装置被编码的音频数据的TS分组之前被复用，并且确定装置可被配置为基于对第一虚拟解码器和第二虚拟解码器的假设以及复用约束条件，确定要被复用的TS分组。

根据本发明的复用方法包括：第一编码步骤，其被安排为利用用作预定编码方法的第一编码方法对音频数据进行编码；第二编码步骤，其被安排为利用第二编码方法对音频数据进行编码，第二编码方法是可变长度编码方法并且与第一编码方法不同，第二编码步骤被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；PES分组化步骤，其被安排为将通过第一编码步骤中的处理被编码的音频数据和通过第二编码步骤中的处理被编码的音频数据分组化为PES分组，并且还为多个经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化步骤，其被安排为将通过PES分组化步骤中的处理被分组化的PES分组分组化为TS分组，并且还为多个经分组化的TS分组添加相同的ID；确定步骤，其被安排为从通过TS分组化步骤中的处理被分组化的多个TS分组中确定要被复用的TS分组；以及复用步骤，其被安排为复用确定步骤中的处理所确定的TS分组；其中，利用PES分组化步骤中的处理，通过第一编码步骤中的处理被编码的音频数据和通过第二编码步骤中的处理被编码的音频数据被分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净荷的头部；并且，其中判断步骤中的处理被安排为假设第一虚拟解码器和第二虚拟解码器，第一虚拟解码器被配置为对通过第一编码步骤中的处理被编码的音频数据进行解码，并且第二虚拟解码器被配置为基于被添加给通过第二编码步骤中的处理被编码的音频数据的定时值，对通过第二编码步骤中的处理被编码的音频数据进行解码，并且确定步骤还基于被安排为随机访问经复用的TS分组的复用约束条件，确定要被复用的TS分组。

根据本发明被安排为控制计算机执行处理的程序包括：第一编码步骤，其被安排为利用用作预定编码方法的第一编码方法对音频数据进行编码；第二编码步骤，其被安排为利用第二编码方法对音频数据进行编码，第二编码方法是可变长度编码方法并且与第一编码方法不同，第二编码步骤被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；PES分组化步骤，其被安排为将通过第一编码步骤中的处理被编码的音频数据和通过第二编码步骤中的处理被编码的音频数据分组化为PES分组，并且还为多个经分组化的PES分组添加用于被解码的情况的时间点信息；TS分组化步骤，其被安排为将通过PES分组化步骤中的处理被分组化的PES分组分组化为TS分组，并且还为多个经分组化的TS分组添加相同的ID；确定步骤，其被安排为从通过TS分组化步骤中的处理被分组化的多个TS分组中确定要被复用的TS分组；以及复用步骤，其被安排为复用确定步骤中的处理所确定的TS分组；其中，利用PES分组化步骤中的处理，通过第一编码步骤中的处理被编码的音频数据和通过第二编码步骤中的处理被编码的音频数据被分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净荷的头部；并且，其中判断步骤中的处理被安排为假设第一虚拟解码器和第二虚拟解码器，第一虚拟解码器被配置为对通过第一编码步骤中的处理被编码的音频数据进行解码，并且第二虚拟解码器被配置为基于被添加给通过第二编码步骤中的处理被编码的音频数据的定时值，对通过第二编码步骤中的处理被编码的音频数据进行解码，并且确定步骤还基于被安排为随机访问经复用的TS分组的复用约束条件，确定要被复用的TS分组。

根据本发明的第一方面，利用第一编码方法被编码的音频数据和利用第二编码方法被编码的音频数据被分组化为PES分组，并且用于被解码的情况的时间点信息被添加给多个经分组化的PES分组，并且PES分组被分组化为TS分组，并且相同的ID被添加给多个TS分组。此外，从多个TS 分组中确定要被复用的TS分组，并且所确定的TS分组被复用。利用第一编码方法被编码的音频数据和利用第二编码方法被编码的音频数据被分组化为PES分组，以使得满足预定周期的音频数据单元出现在PES净荷的头部。此外，就关于要被复用的TS分组的确定而言，基于被安排用于随机访问要被复用的复用约束条件，通过假设被配置为对利用第一编码方法被编码的音频数据进行解码的第一虚拟解码器和基于被添加给利用第二编码方法被编码的音频数据的定时值对利用第二编码方法被编码的音频数据进行解码的第二虚拟解码器，确定要被复用的TS分组。

就根据本发明的记录介质而言，通过将利用用作预定编码方法的第一编码方法被编码的音频数据分组化为多个PES分组，并且再将多个PES分组分组化为多个TS分组而得到的多个TS分组，以及通过将利用第二编码方法被编码的音频数据分组化为多个PES分组，并且再将多个PES分组分组化为多个TS分组而得到的多个TS分组被复用并记录，第二编码方法是可变长度编码方法并且与第一编码方法不同，并且被安排用于为每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值，多个PES分组包括用于被解码的情况的时间点信息，并且通过对利用第一编码方法被编码的音频数据和利用第二编码方法被编码的音频数据进行PES分组化以使得满足预定周期的音频数据单元出现在PES净荷的头部来得到多个PES分组，并且多个TS分组包括相同的ID，并且是通过以下步骤得到的TS分组，步骤包括假设被配置为对利用第一编码方法被编码的音频数据进行解码的第一虚拟解码器和基于被添加给利用第二编码方法被编码的音频数据的定时值对利用第二编码方法被编码的音频数据进行解码的第二虚拟解码器，以及基于被安排用于随机访问被复用的TS分组的复用约束条件确定要被复用的TS分组。

根据本发明的第二方面，通过将利用第一编码方法被编码的音频数据分组化为多个PES分组，再将这多个PES分组分组化为多个TS分组而得到的多个TS分组，以及通过将利用第二编码方法被编码的音频数据分组化为多个PES分组，再将多个PES分组分组化为多个TS分组而得到的多个TS分组被复用并记录，第二编码方法被安排为给每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值，多个PES分组包括用于被解码的情况的时间点信息，并且通过对利用第一编码方法被编码的音频数据和利用第二编码方法被编码的音频数据进行PES分组化以使得满足预定周期的音频数据单元出现在PES净荷的头部来得到多个PES分组，并且多个TS分组包括相同的ID，并且是通过以下步骤得到的TS分组，所述步骤包括假设被配置为对利用第一编码方法被编码的音频数据进行解码的第一虚拟解码器和基于被添加给利用第二编码方法被编码的音频数据的定时值对利用第二编码方法被编码的音频数据进行解码的第二虚拟解码器，以及基于被安排用于随机访问被复用的TS分组的复用约束条件确定要被复用的TS分组。

根据本发明，音频流的TS分组可以被复用。具体而言，根据本发明，利用不同编码方法被编码的两个音频流的TS分组可以被复用到一个传输流中。

附图说明

图1是描述现有编码装置的配置的图。

图2是示出了图1中的编码装置所假设的STD模型的图。

图3是描述在应用了本发明的发送装置利用MPEG2-TS方法对音频流进行编码的情况下的约束条件的图。

图4是示出了图3中的发送装置的配置示例的图。

图5是描述BS音频ES和HQ音频ES的数据流的图。

图6是描述BS音频ES和HQ音频ES的数据配置示例的图。

图7是描述其中BS音频ES被转换为BS音频TS的示例的图。

图8是描述其中HQ音频ES被转换成HQ音频TS的示例的图。

图9是描述其中BS音频TS和HQ音频TS被复用的示例的图。

图10是描述要被输入到图4中所示的TS复用单元的TS的图。

图11是描述HQ音频PES分组和HQ音频TS分组的数据配置示例的图。

图12是用于描述BS音频TS分组和HQ音频TS分组的复用约束条件的图。

图13是用于描述BS音频TS分组和HQ音频TS分组的复用约束条件的图。

图14是示出了图3中所示的虚拟解码器的模型示例的图。

图15是描述图14中所示的音频数据解码处理单元的详细示例的图。

图16是描述图15中所示的具有可变比特率的音频解码器的图。

图17是描述TS分组发送处理的流程图。

图18是描述TS分组发送处理的流程图。

图19是描述PES分组化处理的流程图。

图20是描述对针对BS音频的被占用缓冲器的量的计算处理的流程图。

图21是描述对针对HQ音频的被占用缓冲器的量的计算处理的流程图。

图22是描述用于随机访问的复用约束条件处理的流程图。

图23是示出了被配置来创建EP_map的记录装置的配置示例的框图。

图24是示出了光盘上的应用格式示例的图。

图25是描述EP_map和剪辑AV流之间的关系的图。

图26是描述音频EP_map的配置的图。

图27是描述在TS被配置有BS音频ES和HQ音频TS的情况下的EP_map的图。

图28是描述剪辑信息文件的记录处理的流程图。

图29是描述用于创建针对BS音频ES和HQ音频ES的EP_map的处理的流程图。

图30是示出了重放装置的配置示例的框图。

图31是示出了图30中所示的AV解码器的配置示例的框图。

图32是示出了图30中所示的AV解码器的另一配置示例的框图。

图33是描述针对BS音频ES的随机访问重放处理的流程图。

图34是描述针对HQ音频ES的随机访问重放处理的流程图。

图35是示出了个人计算机的配置示例的图。

参考标号

111 发送装置

120 虚拟接收装置

121 虚拟解码器

131 输入单元

132 音频解码器

133 缓冲器

134 提取信息添加单元

135 控制单元

136 PES分组化单元

137 TS分组化单元

138 复用单元

139 发送单元

141 第一编码器

142 第二编码器

143 第一缓冲器

144 第二缓冲器

171 BS音频ES

172 BS音频PES

173 BS音频TS

181 HQ音频ES

182 HQ音频PES

183 HQ音频TS

190 传输流

231-1到231-j BS音频TS分组

232-1到232-k HQ音频TS分组

261 PTS_DTS flags

263 PTS

275 输入定时信息

276 详细信息

341 PID滤波器

361-1、361-2 传输优先滤波器

362-1、362-2 传输缓冲器

363-1、363-2 基本缓冲器

364-1 音频解码器

364-2 可变比特率的音频解码器

391 FIFO缓冲器

392 音频解码器

501 记录装置

521 控制器

522 操作输入单元

526 记录控制单元

具体实施方式

下面将参考附图描述本发明的实施例。

图3是描述在应用了本发明的发送装置111利用MPEG(运动图片专家组)2-TS(传输流)(下文中称为MPEG2-TS)方法发送音频流的情况下的约束条件的图。

发送装置111是这样的装置，其中在利用使用MPEG2-TS方法对流进行PES分组化之后，PES分组被分组化为TS分组，TS分组被复用以生成MPEG2-TS(MPEG2传输流)，并且MPEG2-TS被发送。例如，发送装置111通过驱动器112将所生成的MPEG2-TS记录在可移动介质113中，或者控制通信单元114以将MPEG2-TS发送到网络115。此时，在利用MPEG2-TS方法将视频流或音频流分组化为TS分组的情况下，发送装置111通过假设虚拟接收装置120中所提供的虚拟解码器121以在这个虚拟解码器中正确地执行解码处理，来生成MPEG2-TS。被连接到驱动器122 的虚拟接收装置120被假设通过驱动器122读出可移动介质113中所记录的MPEG2-TS，或者控制通信单元123以从网络115获得MPEG2-TS。注意，可移动介质113由磁盘、光盘、磁光盘或半导体存储器等等构成。另外，后面将参考图14和图15描述虚拟解码器121的配置示例。

图4是示出了图3中所示的发送装置111的配置示例的框图。在图4中，将描述这样的安排，其中发送装置111对音频流进行编码，将音频流分组化为TS分组(即MPEG2-TS分组)，并且发送这些MPEG2-TS分组。

发送装置111设有输入单元131、音频编码器132、缓冲器133、提取信息添加单元134、控制单元135、PES(经分组化的基本流)分组化单元136、TS分组化单元137、复用单元138和发送单元139。另外，音频编码器132设有第一编码器141和第二编码器142。此外，缓冲器133设有第一缓冲器143和第二缓冲器144。

要被发送的音频数据被输入到输入单元131。输入单元131将输入音频数据提供给音频编码器132的第一编码器141和第二编码器142。

第一编码器141是被配置为利用能够用通用音频解码器解码的音频编码方法(例如，固定长度编码方法)对音频数据进行编码的编码器。第二编码器142是被配置为利用仅用高性能音频解码器解码的音频编码方法(例如，可变长度编码方法)对音频数据进行编码的编码器。具体而言，第二编码器142针对具有可变比特率(VBR)的音频并且利用采用FIFO(先入先出)缓冲器的音频编码方法执行编码，其中FIFO缓冲器被配置用于在解码时压低VBR的峰值速率。此外，第二编码器142在编码时添加用音频信息的采样周期表示的指示时间的定时值，其中在该采样周期中音频访问单元被传送到虚拟解码器的FIFO缓冲器(后面将描述的图10中所示的FIFO缓冲器391)。注意，当第二编码器142执行编码时被添加的用其中音频访问单元被传送给虚拟解码器的FIFO缓冲器的音频信息的采样周期表示的指示时间的定时值，在下面也被称为输入定时。注意，第一编码器141在编码时不添加输入定时。

现在，与第一编码器141相比，第二编码器142使用高性能编码方法执行编码，因此音频重放质量提高，与解码和播放利用第一编码器141编码所产生的音频流的情况相比，在解码和播放利用第二编码器142编码所产生的音频流的情况下，功能性提高。

注意，下文中，第一编码器141所利用的编码方法将被称为第一编码方法，并且第二编码器142所利用的编码方法将被称为第二编码方法。第二编码方法针对可变比特率(VBR)音频，并且是在解码时利用被配置为压低VBR的峰值速率的FIFO(先入先出)缓冲器的音频编码方法。就是说，第二编码方法是可变长度编码方法，并且在对利用该方法编码的音频ES进行解码时，在解码侧需要FIFO缓冲器。现在，可以说要利用可变长度编码方法被编码且要被输出的音频流的输出比特率为可变长度。相反，可以说要利用固定长度编码方法编码并且要被输出的音频流的输出比特率为固定长度。下文中，第一编码器141利用第一编码方法对音频数据进行编码所产生的流将被称为BS音频ES(basic audio elementary stream，基本音频基本流)，并且第二编码器142利用第二编码方法对音频数据进行编码所产生的流将被称为HQ音频ES(high qulity audio elementary stream，高质量音频基本流)。

第一编码器141利用第一编码方法对从输入单元131提供的音频数据进行编码，并且将作为其结果而得到的BS音频ES提供给缓冲器133的第一缓冲器143。第二编码器142利用第二编码方法对从输入单元131提供的音频数据进行编码，并将作为其结果而得到的HQ音频ES提供给缓冲器133的第二缓冲器144。从而，第一缓冲器143存储(缓冲)BS音频ES，并且第二缓冲器144存储(缓冲)HQ音频ES。随后，第一缓冲器143和第二缓冲器144各自基于来自控制单元135的控制，在预定的定时处读出被存储在其自身中的音频流，并将该音频流提供给PES分组化单元136。

控制单元135监视被存储在第一缓冲器143中的BS音频ES和被存储在第二缓冲器144中的HQ音频ES，或者控制PES分组化单元136、TS分组化单元137、复用单元138和发送单元139中的每个单元。此外，控制单元135管理用作在被解码的情况下所利用的时间点信息的PTS(显示时间戳)，或者向TS分组化单元137提供要被添加到TS分组的用于标识流的类型的PID(分组标识)。此外，假设图14和图15中所示的后面会描述的虚拟解码器121作为虚拟解码器，控制单元135执行对虚拟解码器121的被占用缓冲器的量的计算，并且还基于用于随机访问的复用约束条件，从被TS分组化单元137分组化的多个TS分组中确定要被复用的TS分组。换句话说，控制单元135基于对虚拟解码器121的被占用缓冲器的量的计算以及用于随机访问的复用约束，来确定(控制)复用单元138复用的TS分组。

PES分组化单元136在基于来自控制单元135的控制的定时处，提取被存储在第一缓冲器143中的BS音频ES和被存储在第二缓冲器144中的HQ音频ES，并且基于来自控制单元135的控制对这些流进行分组化。此时，PES分组化单元136将从控制单元135提供的PTS存储在PES的每个PES分组中。就是说，PTS被存储在从PES分组化单元136输出的每个PES分组(与BS音频ES相对应的PES分组和与HQ音频ES相对应的PES分组)中。

就本实施例而言，假设基于BS音频ES所产生的多个PES分组(BS音频PES分组)中的各个分组被按照预定顺序连续地从PES分组化单元136提供给TS分组化单元137。因此在这种情况下，由多个BS音频PES分组构成的一个流(下文中，这个流将被称为BS音频PES)被从PES分组化单元136提供给TS分组化单元137。此外，假设基于HQ音频ES所产生的多个PES分组(HQ音频PES分组)中的各个分组被按照预定顺序连续地从PES分组化单元136提供给TS分组化单元137。因此在这种情况下，由多个HQ音频PES分组构成的一个流(下文中，这个流将被称为HQ音频PES)被从PES分组化单元136提供给TS分组化单元137。

提取信息添加单元134将具有唯一地被添加到BS音频流和HQ音频流中的每种类型的唯一值的ID(标识)提供给TS分组化单元137，以允许解码侧(图3中所示的虚拟接收装置120侧)提取BS音频流和HQ音频流(即，利用不同编码方法被编码的流)。就是说，提取信息添加单元134将用于标识BS音频流和HQ音频流中的每一种的标识信息(ID)提供给TS分组化单元137。

例如，就这个ID而言，可以利用被包括在传输分组头中的Transport_priority标志。提取信息添加单元134向TS分组化单元137提供信息(提取信息)，例如对于用于发送BS音频流的传输分组，设置Transport_priority＝1，并且对于用于发送HQ音频流的传输分组，设置Transport_priority＝0。

TS分组化单元137基于控制单元135的控制，将从PES分组单元136提供的PES分组流分组化为TS分组(传输流分组)。具体而言，TS分组化单元137将从PES分组化单元136提供的BS音频PES分组化为TS分组，并且还将从PES分组化单元136提供的HQ音频PES分组化为TS分组。此时，不仅从提取信息添加单元134提供的ID(例如Transport_priority标志)，而且来自控制单元135的PID，都被提供给TS分组化单元137。就本实施例而言，可以说BS音频流中所包括的PID和HQ音频流中所包括的PID是相同的ID。就是说，在利用两个不同编码方法被编码的音频TS分组被复用到一个音频流中的情况下，PID被添加以使得这一个音频流作为整体具有相同的ID。TS分组化单元137生成TS分组使得包括从提取信息添加单元134提供的提取信息(例如Transport_priority标志)以及从控制单元135提供的PID(其在TS分组头中)。注意，下文中，BS音频PES被分组化为TS分组的结果被称为BS音频TS分组，并且HQ音频PES被分组化为TS分组的结果被称为HQ音频TS分组。此外，就BS音频TS分组和HQ音频TS分组而言，被添加到每个TS分组的提取信息(例如Transport_priority标志)不同，但是它们具有相同的PID。

复用单元138基于控制单元135的控制，复用从TS分组化单元137提供的TS分组。具体而言，复用单元138基于控制单元135的控制，复用从TS分组化单元137提供的BS音频ES分组和HQ音频ES分组，并生成整个流具有相同PID的音频流(MPEG2-TS)。此时，后面将进行关于诸如要被PES分组化单元136复用的TS分组的顺序之类的约束条件和当PES分组化单元136执行PES分组化时的约束条件的描述。复用单元138 将经复用的所产生的MPEG2-TS发送给后一级的发送单元139。

发送单元139发送从复用单元138提供的MPEG2-TS。例如，发送单元139(如图3中所示)控制驱动器112，以将MPEG2-TS记录在可移动介质113中，或者控制通信单元114，以经由网络115将MPEG2-TS发送给外部装置。

注意，提取信息添加单元134不仅向TS分组化单元137提供用作提取信息的ID，而且还可以向PES分组化单元136发送提取信息。例如，提取信息添加单元134将具有唯一地被添加到BS音频流和HQ音频流中的每种类型的唯一值的ID(标识)提供给PES分组化单元136，以允许解码侧(图3所示的虚拟接收装置121侧)提取BS音频流和HQ音频流中的每一种流。

就这个ID而言，利用本实施例，Stream_id或Sream_id_extension被采用。Stream_id表示被包括在符合MPEG2系统规范的PES分组头中的Stream_id。此外，Sream_id_extension表示被包括在符合MPEG2系统规范修改2(2003)的PES分组头中的Sream_id_extension。在音频流是除MPEG音频(MPEG-1/-2音频、MPEG ACC)以外的流的情况下，优选利用Sream_id_extension。在利用Sream_id_extension的情况下，MPEG2系统规范修改2(2003)规定将“1111 1101”(表示为extended_stream_id的值)设置给Stream_id。而且，MPEG2系统规范修改2(2003)规定允许使用具有用于标识流的类型(BS音频流和HQ音频流)的唯一值的Sream_id_extension。

在提取信息添加单元134向PES分组化单元136提供流ID(例如Sream_id_extension)的情况下，PES分组化单元136将所获得的BS音频流和HQ音频流中的每一个分组化为PES分组，以将从提取信息添加单元134提供的流ID(例如Sream_id_extension)中相应的一个流ID包括在PES分组中。PES分组中的每个流ID是用于标识相应的PES分组的类型的ID。现在，PES分组的类型是BS音频流或HQ音频流。例如，BS音频流类型的PES分组表示包括至少一部分BS音频流的数据的PES分组(BS音频ES)。因此，为了使用作接收侧的图3中所示的虚拟接收装置120选择所需要类型的音频流的PES分组，需要识别被添加到相关PES分组的流ID的值。

接下来，将参考图5中所示的流程图简单描述图4中所示的发送装置111中的数据(流)流动示例。

输入单元131在步骤S1中将输入音频数据提供给第一编码器141，并在步骤S11中还将该音频数据提供给第二编码器142。第一编码器141在步骤S2中对输入音频数据进行编码，并且在步骤S3中将BS音频ES提供给PES分组化单元136。PES分组化单元136将从第一编码器141提供的BS音频ES分组化为PES分组，并将BS音频PES提供给TS分组化单元137。TS分组化单元137在步骤S6中将从PES分组化单元136提供的BS音频PES分组化为TS分组，并在步骤S7中将BS音频TS提供给复用单元138。此外，类似地，第二编码器142在步骤S12中对音频数据输入进行编码，并且在步骤S13中将HQ音频ES提供给PES分组化单元136。PES分组化单元136在步骤S14中将从第二编码器142提供的HQ音频ES分组化为PES分组，并在步骤S15中将HQ音频PES提供给TS分组化单元137。TS分组化单元137在步骤S16中将从PES分组化单元136提供的HQ音频PES分组化为TS分组，并在步骤S17中将HQ音频TS提供给复用单元138。复用单元138在步骤S21中复用在步骤S7和步骤S17中的处理中所提供的BS音频TS和HQ音频TS，以产生一个MPEG2-TS(传输流)，并且在步骤S22中输出所产生的MPEG2-TS(在图4的情形中是输出到发送单元139)。

因而，通过第一编码器141被编码并得到的BS音频ES和通过第二编码器142被编码并得到的HQ音频ES被分别独立地分组化为PES分组(步骤S4和步骤S14)，并进而被分组化为TS分组(步骤S6和步骤S16)，并且在复用单元138处被复用到一个音频流(传输流)中。

将参考图6描述更具体的实施例。在图6中，针对与图5中的处理相对应的处理，附加相同的步骤编号。

利用图6中所示的示例，第一级示出了BS音频ES 171和HQ音频ES181，第二级示出了BS音频PES 172和HQ音频PES 182，第三级示出了 BS音频TS 173和HQ音频TS 183，第四级示出了TS(传输流)190。

BS音频ES 171示出了利用图4中所示的第一编码器141被编码并输出的状态，BS音频PES 172示出了利用图4中所示的PES分组化单元136被PES分组化(步骤S4)并输出的状态，并且BS音频TS 173示出利用图4中所示的TS分组化单元137被进行TS分组化(步骤S6)并输出的状态。此外，HQ音频ES 181示出了利用图4中所示的第二编码器142被编码并输出的状态，HQ音频PES 182示出了利用图4中所示的PES分组化单元136被PES分组化(步骤S14)并输出的状态，并且HQ音频TS183示出了利用图4中所示的TS分组化单元137被进行TS分组化(步骤S16)并输出的状态。TS 90示出了利用图4中所示的复用单元138被复用(步骤S21)并输出的状态。

BS音频ES 171和HQ音频ES 181都是按照预定数目的音频样本作为一个单元的方式被编码的，并且通过在针对每个单元的圆括号中所示的标记被区分并示出。具体而言，例如，BS音频ES 171通过被分成诸如BS(1)、BS(2)一直到BS(n)(n是任意整数)的多个单元(音频访问单元)而被编码。类似地，例如，HQ音频ES 181通过被分成诸如HQ(1)、HQ(2)一直到HQ(m)(m是任意整数)的多个单元(音频访问单元)而被编码。音频访问单元是构成音频ES的编码单元，并且也是解码单元。例如，假设在播放BS音频ES的一个音频访问单元的情况下，其重放时间是32毫秒，并且在播放HQ音频ES的一个音频访问单元的情况下，其重放时间是1/1200秒。

图4中所示的PES分组单元136将BS音频ES 171和HQ音频ES181分组化为具有不同流ID的PES分组。例如，PES分组单元136将与BS音频ES 171对应的每个PES分组的流ID设为“Stream_id_extension＝b1”，并且将这个流ID添加到要被生成的PES分组的PES头部。此外，例如，PES分组单元136将与HQ音频ES 181对应的每个PES分组的流ID设为“Stream_id_extension＝b2”，并且将这个流ID添加到要被生成的PES分组的PES头部。在图4中，BS音频PES 172被配置有由PES头部和PES净荷构成的PES分组172-1到172-n’(图中的BS(1)、BS(2)一直到 BS(n’))。换言之，BS音频PES 172被配置有n’(n’是任意整数)个PES分组172-1到172-n’。此外，HQ音频PES 182被配置有由PES头部和PES净荷构成的HQ音频PES分组182-1到182-m’(图中的HQ(1)、HQ(2)一直到HQ(m’))。换言之，HQ音频PES 182被配置有m’(m’是任意整数)个HQ音频PES分组182-1到182-m’。

就在PES分组化情况下的约束条件而言，存在如下约束条件：其中PES分组化需要被执行以使得在一秒内应当有这样的PES分组，其中被存储在BS音频PES 172中的PES头部中的PTS值等于被存储在HQ音频PES 182的PES头部中的PTS值。这里，就BS音频PES分组172-1(由图中的PES头部和PES净荷构成的PES分组(被表示为BS(1)))和HQ音频PES分组182-1(由图中的PES头部和PES净荷构成的PES分组(被表示为HQ(1)))之间而言，两者的PES头部中所包括的PTS值相等。PES分组化被执行以使得在将PTS转换(计算)为时间的情况下具有相同PTS的这种PES分组应当存在于一秒内。就是说，PES分组化被执行以使得具有与BS音频PES分组的PTS相同的PTS的HQ音频PES分组存在于一秒内。注意，就图4中所示的发送装置111而言，PES分组化单元136被配置为基于这种约束条件执行PES分组化。

例如，如图7中的第一级和第二级中所示，PES分组化单元136将PTS添加到构成BS音频PES 172的多个BS音频PES分组的每个PES头部(例如，将PTS＝BS1添加到BS音频PES分组172-1)，并且还将BS音频ES 171中所包括的一个或多个访问单元存储到每个PES净荷。此外，例如，如图8中的第一级和第二级中所示，PES分组化单元136将PTS添加到构成了HQ音频PES 182的多个HQ音频PES分组的每个PES头部(例如，将PTS＝HQ1添加到HQ音频PES分组182-1)，并且还将HQ音频ES 181中所包括的一个或多个访问单元存储到每个PES净荷。从而，PES分组单元136生成图6中所示的BS音频PES 172和HQ音频PES182，并将这些PES提供给TS分组化单元137。

另一方面，TS分组化单元137将构成BS音频PES 172的每个PES分组分组化为TS分组，并且还将构成HQ音频PES 182的每个PES分组分组化为TS分组。此时，TS分组化单元137将用于标识BS音频PES 172和HQ音频PES 182的transport_priority标志和用于标识音频流的PID添加到要被生成的TS分组的头部(TS头部)。就是说，可以说被存储在构成所生成的BS音频TS 173的多个TS分组231-1到231-j(j是任意整数)的每个TS头部中的PID和被存储在构成所生成的HQ音频TS 183的多个TS分组232-1到232-k(k是任意整数)的每个TS头部中的PID是相同的PID，但是被存储在构成所生成的BS音频TS 173的多个TS分组231-1到231-j(j是任意整数)的每个TS头部中的transport_priority标志和被存储在构成所生成的HQ音频TS 183的多个TS分组232-1到232-k(k是任意整数)的每个TS头部中的transport_priority标志是不同的。

具体而言，如图7中的第二级和第三级中所示，TS分组化单元137将“PID＝a0，tp(transport_priority)＝1”添加到构成BS音频TS 173的多个BS音频TS分组的每个TS头部，并且如图8中的第二级和第三级所示，TS分组化单元137将“PID＝a0，tp(transport_priority)＝0”添加到构成HQ音频TS 183的多个HQ音频TS分组的每个头部。

从而，相同的PID被添加到一个音频流(TS190)，并且不同的tp(transport_priority)被添加到其中，以标识一个流中所包括的BS音频ES和HQ音频ES。

复用单元138基于来自控制单元135的控制，复用BS音频TS 173和HQ音频TS 183，以生成一个传输流(MPEG2-TS)190。就图6中所示的示例而言，TS(MPEG2-TS)190被配置使得包括与PAT(节目关联表)相对应的TS分组221、与PMT(节目映射表)相对应的TS分组222、BS音频TS 231-1到231-j(j是任意整数)以及HQ音频TS 232-1到232-k(k是任意整数)。

关于在复用情况下的约束条件，存在以下两个约束条件。

第一约束条件是这样的约束条件：其中在对相当于一个PES分组的TS分组的复用完成之后，对相当于下一个PES分组的TS分组的复用需要被执行。就是说，就BS音频ES和HQ音频ES两者而言，相当于一个PES分组的TS分组需要被连续地复用，并且包括不同类型的PES分组的 TS分组不需要被混合。就特定示例而言，在BS音频PES分组172-1被存储在BS音频TS分组231-1到231-3的TS净荷中并且HQ音频PES分组182-1被存储在HQ音频TS分组232-1到232-3的TS净荷中的情况下，BS音频TS分组231-1到231-3需要被连续地复用，并且HQ音频TS分组232-1到232-3也需要被连续地复用。基于这个约束条件，例如，在BS音频TS分组231-1到231-3之后，HQ音频TS分组232-1到232-3被连续地复用。根据这个约束条件，例如，利用能够重放其它类型的音频流的重放装置，音频可以顺利地被管理。

第二约束条件是这样的约束条件(用于随机访问的复用约束条件)：其中，就具有相同PTS值的BS音频TS分组和HQ音频TS分组之间的关系而言，复用应当被执行以使得HQ音频TS分组必定被置于BS音频TS分组之后。例如，在BS音频TS分组231-1中所存储的PTS值和HQ音频TS分组232-2中所存储的PTS值具有相同的PTS值的情况下，必须执行复用以使得HQ音频TS分组232-2被置于BS音频TS分组231-1之后(不一定是紧接在其后，只要在其后即可)。就是说，设有这样的约束条件：其中就存储有具有相同PTS值的PES分组和PES净荷的TS分组而言，HQ音频ES的TS分组被置于BS音频ES的TS分组之后。这第二个约束条件是基于如下限制的约束条件：其中用于执行随机访问的EP_map的入口点必须为1秒或更短的间隔。后面将参考图23到图29描述EP_map的细节。

就这个周期而言，例如，在与BS音频ES 171的5个音频访问单元相对应的重放时间等于与HQ音频ES 181的192个音频访问单元相对应的重放时间的情况下，相应地具有相同PTS的访问单元存在于相当于BS音频ES 171的5个音频访问单元(即，相当于HQ音频ES 181的192个音频访问单元)的周期中。

接下来，将参考图7简单描述关于在图6中所示的BS音频ES 171被分组化为BS音频PES 172并且BS音频PES 172又被TS分组化为BS音频TS 173的情况下的数据配置的变化。注意，在图7中，与图6中所示的部分相对应的部分具有相同的标号和相同的步骤编号。

如图7中所示，在BS音频ES 171被进行PES分组化(步骤S4)的情况下，BS音频ES 171中所包括的多个音频访问单元(BS(1)、BS(2)等等，直到BS(n))被存储在构成BS音频PES 172的BS音频PES分组172-1到172-n’的PES净荷中。在图7中所示的示例的情况下，BS音频ES 171的3个音频访问单元BS(1)到BS(3)被存储在BS音频PES分组172-1的PES净荷中，并且值PTS＝BS1被存储在BS音频PES分组172-1的PES头部中。而且，例如，BS音频ES 171的3个音频访问单元BS(4)到BS(6)被存储在BS音频PES分组172-2的PES净荷中，并且值PTS＝BS2被存储在BS音频PES分组172-2的PES头部中。此外，例如，BS音频ES 171的2个音频访问单元BS(n-1)到BS(n)被存储在BS音频PES分组172-n’的PES净荷中，并且值PTS＝BSn’被存储在BS音频PES分组172-n’的PES头部中。

随后，在BS音频PES 172被进行TS分组化(步骤S6)的情况下，BS音频PES 172的数据被分别存储在构成BS音频TS 173的BS音频TS分组231-1到231-j的TS净荷中。例如，BS音频PES分组172-1被存储在BS音频TS分组231-1和231-2的TS净荷中，并且BS音频PES分组172-2被存储在BS音频TS分组231-3和231-4的TS净荷中。此时，BS音频PES分组172-1的PES头部的PTS(即，PTS＝BS1)被存储在BS音频TS分组231-1的TS净荷中，BS音频PES分组172-2的PES头部的PTS(即，PTS＝BS2)被存储在BS音频TS分组231-3的TS净荷中，并且BS音频PES分组172-n’的PES头部的PTS(即，PTS＝BSn’)被存储在BS音频TS分组231-j-1的TS净荷中。

因而，在BS音频TS分组中，存在其TS净荷存储PTS值的TS分组。

接下来，将参考图8简单描述关于在图6中所示的HQ音频ES 181被分组化为HQ音频PES 182并且HQ音频PES 182又被TS分组化为HQ音频TS 183的情况下的数据配置的变化。注意，在图8中，与图6中所示的部分相对应的部分具有相同的标号和相同的步骤编号。而且，图8中所示的HQ音频ES与图7中所示的BS音频ES的情况基本相同。

如图8中所示，在HQ音频ES 181被进行PES分组化(步骤S14)的情况下，HQ音频ES 181中所包括的多个音频访问单元(HQ(1)、HQ(2)一直到HQ(m))被存储在构成HQ音频PES 182的HQ音频PES分组182-1到182-m’的PES净荷中。在图8中所示的示例的情况下，HQ音频ES 181的3个音频访问单元HQ(1)到HQ(3)被存储在HQ音频PES分组182-1的PES净荷中，并且值PTS＝HQ1被存储在HQ音频PES分组182-1的PES头部中。而且，例如，HQ音频ES 181的3个音频访问单元HQ(4)到HQ(6)被存储在HQ音频PES分组182-2的PES净荷中，并且值PTS＝HQ2被存储在HQ音频PES分组182-2的PES头部中。而且，例如，HQ音频ES181的2个音频访问单元HQ(m-1)到HQ(m)被存储在HQ音频PES分组182-m’的PES净荷中，并且值PTS＝HQm’被存储在HQ音频PES分组182-m’的PES头部中。

随后，在HQ音频PES 182被进行TS分组(步骤S16)的情况下，HQ音频PES 182的数据被分别存储在构成HQ音频TS 183的HQ音频TS分组232-1到232-k的TS净荷中。例如，HQ音频PES分组182-1被存储在HQ音频TS分组232-1和232-2的TS净荷中，并且HQ音频PES分组182-2被存储在HQ音频TS分组232-3和232-4的TS净荷中。此时，HQ音频PES分组182-1的PES头部的PTS(即，PTS＝HQ1)被存储在HQ音频TS分组232-1的TS净荷中，HQ音频PES分组182-2的PES头部的PTS(即，PTS＝HQ2)被存储在HQ音频TS分组232-4的TS净荷中，并且HQ音频PES分组182-m’的PES头部的PTS(即，PTS＝HQm’)被存储在HQ音频TS分组232-k-2的TS净荷中。

因此，在HQ音频TS分组中，存在其TS净荷存储PTS值的TS分组。

随后，在复用图7中所示的BS音频TS 173和图8中所示的HQ音频TS 183的情况下，基于以下两个约束条件执行复用：在一个约束条件中，在完成对相当于一个PES分组的TS分组的复用之后，需要执行对相当于下一个PES分组的TS分组的复用，并且在另一个约束条件中，就具有相同PTS值的BS音频TS分组和HQ音频TS分组之间的关系而言，复用需要被执行以使得HQ音频TS分组被置于BS音频TS分组之后。

将参考图9描述基于上述约束条件的复用的特定示例。在图9中，第一级示出了BS音频TS 173和HQ音频TS 183，并且第二级示出了在复用BS音频TS 173和HQ音频TS 183的情况下的TS 190。

例如，在BS音频TS分组231-1中所存储的PTS值(＝BS1)和HQ音频TS分组232-1中所存储的PTS值(＝HQ1)相等的情况下，如图9中的第二级中所示，复用被执行以使得HQ音频TS分组232-1被置于具有PTS＝BS1的BS音频TS分组231-1之后(第二复用约束条件)。而且，此时，图7中所示的BS音频PES分组172-1的数据的一部分被存储在BS音频TS分组231-1中，并且BS音频PES分组172-1的数据不仅被存储在BS音频TS分组231-1中，而且被存储在BS音频TS分组231-2中，因此BS音频TS分组231-1和BS音频TS分组231-2需要被连续地复用(第一复用约束条件)。类似地，图8中所示的HQ音频PES分组182-1的数据的一部分被存储在HQ音频TS分组232-1中，并且HQ音频PES分组182-1的数据不仅被存储在HQ音频TS分组232-1中，而且被存储在HQ音频TS分组232-2和232-3中，因此HQ音频TS分组232-1到232-3需要被连续地复用(第一复用约束条件)。

因此，如图9中的第二级中所示，HQ音频TS分组232-1到232-3被置于BS音频TS分组231-1和231-2之后。注意，就图9中所示的示例而言，进行这样的布置，其中HQ音频TS分组232-1到232-3被置于紧接在BS音频TS分组231-1和231-2之后，但是也进行如下布置，其中其它数据被置于BS音频TS分组231-1和231-2以及HQ音频TS分组232-1到232-3之间。

注意，就一直到图9的描述而言，已经描述了关于其中图4中所示的发送装置111发送音频数据的情形，但是实际上，图4中所示的发送装置111还发送视频数据和系统数据(图像流数据、文本字幕流等等)。在这种情况下，视频数据也是通过未示出的视频编码器被编码、被PES分组化并且被TS分组化，随后与音频TS分组一起在复用单元138处被复用。此时，与视频数据相对应的TS分组的PID和与音频数据相对应的TS分组的 PID不同(不言而喻，BS音频TS分组的PID和HQ音频TS分组的PID是相同的)，如图10中所示。在图10中所示的示例的情况下，“PID＝V0”被添加到作为视频数据(视频ES)的TS 241中所包括的每个TS分组的头部，如第一级中所示，“PID＝E0”被添加到作为其它数据(系统数据)的TS 242中所包括的每个TS分组的头部，如第四级中所示。从而，具有一个或多个不同PID的流被包括在一个节目流中。

就是说，流作为诸如视频TS 241、BS音频TS 173、HQ音频TS 283和其它TS 242之类的单独的流被输入到复用单元138。这里，BS音频ES和HQ音频ES是没有等级关系的相互独立的流。因此，在复用时没有约束条件(例如，没有诸如将BS音频ES和HQ音频ES复用为一组这样的约束条件)。而且，就该实施例而言，利用不同编码方法被编码的音频ES具有相同的PID，从而生成传输流。

接下来，将参考图11描述具有与BS音频PES 172的PTS值相同的PTS值的HQ音频ES 181的PES分组配置和TS分组配置。具体而言，图11是描述HQ音频ES 181的PES分组182-1(图8)的配置和在图6到图9中PTS＝BS1＝HQ1的情况下的TS分组232-1的配置的图。

如参考图6和图8所描述的，HQ音频PES分组182-1被配置有PES头部和PES净荷。PES头包括PTS_DTS_flags 261、其它数据262、PTS263以及其它数据264。

PTS_DTS_flags 261是表示PTS和DTS(解码时间戳)的有/无的信息。值为“00(b)”的PTS_DTS_flags表示PTS字段和DTS字段都没有被包括在PES头中，值为“10(b)”的PTS_DTS_flags表示只有PTS字段被包括在PES头中，并且值为“11(b)”的PTS_DTS_flags的表示PTS和DTS字段都被包括在PES头中。在图11中所示的示例的情况下，PTS_DTS_flags的值被设置为PTS_DTS_flags＝10(b)，其表示只有PTS 263的值被包括在PES头中，并且其中不包括DTS值，并且在PTS 263的字段中描述PTS值。在图11中所示的示例的情况下，与相应的BS音频PES分组172-1中所存储的PTS(＝BS1)具有相同值的PTS＝HQ 1被存储在PTS 263的字段中。

在图11中所示的示例的情况下，四个音频访问单元(AU)271到274被包括在HQ音频PES分组182-1的PES净荷中。音频访问单元271到274是高质量音频。音频访问单元271包括输入定时信息275和详细信息276。输入定时信息275是当第二编码器142进行编码时所应用的用其中音频访问单元被传送到虚拟解码器的FIFO缓冲器的音频信息的采样周期表示的指示时间的定时值。详细信息276是解码信息，其使得能够开始在其位置处的解码。换句话说，详细信息276是从其位置处开始解码的信息。可以通过其开始解码的这个信息(详细信息)例如包括采样频率、信道信息等等。此外，详细信息276不是被包括在全部的访问单元中。

从而，具有与BS音频PES的PTS相同的PTS的HQ音频PES分组的(PES净荷的)最开头的音频访问单元包括输入定时信息275和详细信息276。

注意，详细信息276不总是被包括在HQ音频PES分组中。具体而言，详细信息276被包括在具有与BS音频PES的PTS相同的PTS的HQ音频PES分组中，但在一些情况下不被包括在不具有与BS音频PES的PTS相同的PTS的HQ音频PES分组中。

作为HQ音频PES分组182-1被进行TS分组化的结果的TS分组232-1到232-3中的每一个包括TS头部和TS净荷，例如参考图6和图8所描述的。上面参考图10所提及的PID和tp被添加到TS头部，但是图11中没有示出。

从而，当第二编码器142执行编码时要被添加的定时值(输入定时)作为输入定时信息275被存储在其中存储有音频访问单元271的最开头的数据的PES净荷中。例如，假设PTS 263的数据长度为32位，DTS的数据长度为33位，并且输入定时的数据长度为16位。

现在，将参考图12描述满足在复用图6中所示的BS音频TS 173和HQ音频TS 183的情况下(在得到TS 190的情况下)的约束条件的两个示例。

如上所述，在将BS音频TS 173和HQ音频TS 183复用成TS 190的情况下的约束条件是：其中在完成对相当于一个PES分组的TS分组的复用之后，需要执行对相当于下一个PES分组的TS分组的复用的约束条件(第一约束条件)，以及就具有相同PTS值的BS音频TS分组和HQ音频TS分组之间的关系而言，复用需要被执行以使得HQ音频TS分组被置于BS音频TS分组之后的约束条件(第二约束条件)。

将参考图12的上面部分描述分组布局的第一示例。这里注意，BS音频TS分组281-1和BS音频TS分组281-2对应于BS音频TS分组231-1到231-j中的任一个，并且HQ音频TS分组282-1就HQ音频TS分组282-2对应于图6中所示的HQ音频TS分组232-1到232-k中的任一个。

在图12的上面部分，在BS音频TS分组281-1和HQ音频TS分组282-1的PTS值都是PTS#1的情况下，HQ音频TS分组282-1被置于BS音频TS分组281-1之后。就是说，就具有相同PTS值(都是PTS#1)的TS分组而言，BS音频TS分组281-1被置于HQ音频TS分组282-1之前。类似地，在BS音频TS分组281-2和HQ音频TS分组282-2的PTS值都是PTS#2的情况下，HQ音频TS分组282-2被置于BS音频TS分组281-2之后。就是说，就具有相同PTS值(都是PTS#2)的TS分组而言，BS音频TS分组281-2被置于HQ音频TS分组282-2之前。

此时，根据PES分组化时的上述约束条件，具有相同PTS的PES分组被进行PES分组化，使得存在于一秒内(在将PTS转换(计算)成时间的情况下)，因此，在将从PTS#1到PTS#2转换成时间的情况下，其时间被设置为一秒以内。就是说，如图13中所示，((PTS#2)-(PTS#1))被设置为一秒以内。

这里，其中一个周期间隔等于或短于一秒的周期在下文中被称为周期N，这个周期是其中BS音频ES访问单元的显示时间点和HQ音频ES访问单元的显示时间点相等的周期(例如，图13中所示的周期“PTS#2-PTS#1”)。在流内，这个周期N可以变化。

将参考图12的下面部分描述分组布局的第二示例。在图12的下面部分，在BS音频TS分组281-1和HQ音频TS分组282-1的PTS值都是PTS#1的情况下，HQ音频TS分组282-1被置于BS音频TS分组281-1之后。就是说，就具有相同PTS值(都是PTS#1)的TS分组而言，BS音频 TS分组281-1被置于HQ音频TS分组282-1之前。类似地，在BS音频TS分组281-2和HQ音频TS分组282-2的PTS值都是PTS#2的情况下，HQ音频TS分组282-2被置于BS音频TS分组281-2之后。就是说，就具有相同PTS值(都是PTS#2)的TS分组而言，BS音频TS分组281-2被置于HQ音频TS分组282-2之前。

就图12的下面部分处的TS而言，HQ音频TS分组282-1被置于BS音频TS分组281-2之后，这一点不同于上面部分。就是说，其PTS值为PTS#2的BS音频TS分组281-2被置于其PTS值为PTS#1的HQ音频TS分组282-1之前。然而，根据约束条件，就具有相同PTS值的TS分组而言，HQ音频TS分组需要被置于BS音频TS分组之后。就是说，其它数据可以被包括在具有相同PTS值的BS音频TS分组和HQ音频TS分组之间，因此，就图12的下面部分的TS而言，这个约束条件也是受保障的。

从而，具有与BS音频TS分组的PTS值相同的PTS值的HQ音频TS分组需要被置于BS音频TS分组之后，如图12的下面部分所述，即使在具有PTS#1的HQ音频TS分组282-1被置于具有PTS#2的BS音频TS分组281-2之后的情况下也是如此，只要在对相当于一个PES分组的TS分组的复用完成之后执行对相当于下一个PES分组的TS分组的复用，约束条件就相应地被满足。

注意，在图12的下面部分也是一样，具有相同PTS的PES分组已经被进行PES分组化以始终存在于一秒内(在PTS被转换(计算)成时间的情况下)，因此，在将从PTS#1到PTS#2转换成时间的情况下，其时间被设置为一秒以内。

就该实施例而言，在发送装置111将BS音频ES 171和HQ音频ES181分组化为TS分组，并且将构成BS音频TS 173的多个BS音频TS分组和作为其结果而得到的构成HQ音频TS 183的多个HQ音频TS分组复用到一个传输流190(MPEG2-TS)中的情况下，根据虚拟接收装置120(图3)的性能和用于随机访问的复用约束条件来确定要被复用的TS分组。就是说，即使在虚拟接收装置120是能够处理BS音频ES和HQ音频ES两者(能够解码BS音频ES和HQ音频ES两者)的虚拟接收装置的情况下，或者即使在虚拟接收装置120是只能处理BS音频ES(仅能解码BS音频ES)的虚拟接收装置的情况下，都可以在发送装置111侧调节复用TS分组的定时(要被复用的TS分组可以被顺序地确定)，以使得解码可以被执行，同时使得虚拟接收装置120中所设的缓冲器既不上溢(overflow)也不下溢(underflow)，并且用于随机访问的复用约束条件可以被保障。

具体而言，发送装置111调整要被复用的TS分组，以应对能够解码图6中所示的BS音频TS 173的虚拟接收装置(下文中被称为第一虚拟接收装置)和能够解码图6中所示的HQ音频TS 183的接收装置(下文中被称为第二虚拟接收装置)，以生成图6中所示的传输流190。就是说，发送装置111确定要被复用的TS分组以使得在虚拟接收装置120提取并解码BS音频ES的情况下，具有预定大小的用于BS音频ES的解码器缓冲器既不会上溢也不会下溢，并且还使得在虚拟接收装置120提取并解码HQ音频ES的情况下，具有预定大小的用于HQ音频ES的解码器缓冲器既不会上溢也不会下溢，并且从而保障用于随机访问的复用约束条件。

就是说，假定有两种类型的虚拟接收装置，一方面是只能解码BS音频ES的虚拟接收装置120，一方面是能够解码HQ音频ES的虚拟接收装置120，并且复用TS分组的定时被调整，以能够解码利用这两种类型的虚拟接收装置中的每一种装置(第一虚拟接收装置和第二虚拟接收装置)并且基于用于随机访问的复用约束条件而被复用的TS 190。

图14是描述针对在复用BS音频TS和HQ音频TS的情况下的编码约束条件的虚拟解码器121的模型的图。就是说，图14示出了在发送装置111利用MPEG2-TS方法复用BS音频TS和HQ音频TS的情况下所采用的虚拟接收装置120中所包括的虚拟解码器121(图3)的模型的配置示例。换句话说，图14中所示的虚拟解码器121是在发送装置111复用BS音频TS和HQ音频TS的情况下所采用的虚拟解码器121的模型。

被发送到虚拟接收装置120(图3)的MPEG-TS被提供给虚拟解码器121。被提供给虚拟解码器121的MPEG2-TS(如图14中所示)通过滤波器341被进行滤波以得到各种类型的TS分组。

具体而言，MPEG2-TS由多个TS分组构成，并且每个TS分组都附带有用于标识其TS分组的PID。基于被添加到构成MPEG2-TS的每个分组的PID，滤波器341将构成视频流的TS分组(在图10中所示的示例的情况下是PID＝V0的TS分组)提供给被配置为处理视频流的视频数据解码处理单元350，并且将构成音频流的TS分组(在图10中所示的示例的情况下是PID＝a0的TS分组)提供给被配置为处理音频流的音频数据解码处理单元360，并且将与系统有关的TS分组(在图10中所示的示例的情况下是PID＝E0的TS分组)提供给被配置为处理与系统有关的数据的系统数据解码处理单元370。

视频数据解码处理单元350被提供有传输缓冲器(在图中被表示为TBv)351、复用器缓冲器(在图中被表示为MBv)352、基本缓冲器(elementary buffer)(在图中被表示为EBv)353、视频解码器(在图中被表示为Dv)354以及输出重排序缓冲器(在图中被表示为Ov)355。

一旦构成视频流的TS分组(在图10中所示的示例的情况下是PID＝V0的TS分组)经由滤波器341被提供给视频数据解码处理单元350，TS分组就被存储在传输缓冲器351中。随后，数据按预定的比特率被提供给复用缓冲器352。复用缓冲器352存储被提供的数据以对数据进行平滑，并且随后按预定的比特率将数据提供给基本缓冲器353。视频解码器354按预定的定时提取基本缓冲器353中所存储的视频访问单元，并且解码并输出视频访问单元。解码后的数据的一部分被经由输出重排序缓冲器355从端子356输出，并且其它数据被从端子357输出并且被播放。

音频数据解码处理单元360被提供有传输优先滤波器361、传输缓冲器(在图中被表示为TBn)362、基本缓冲器(在图中被表示为Bn)363以及音频解码器(在图中被表示为Dn)364。

一旦构成音频流的TS分组(在图10中所示的示例的情况下是PID＝a0的TS分组)经由滤波器341被提供给音频数据解码处理单元360，传输优先滤波器361就对TS分组进行取决于虚拟解码器121的性能的滤波。例如，传输优先滤波器361基于被添加到TS分组的头部(例如，图11中所示的TS头部282)的tp(参见图10)的值执行滤波。经传输优先滤波器361滤波后的TS分组被提供给后一级的传输缓冲器362。传输缓冲器362存储经传输优先滤波器361滤波并提供的TS分组。

传输缓冲器362中所存储的TS分组按取决于虚拟解码器121的性能的速率Rxn被提供给基本缓冲器363。Rxn是从传输缓冲器362的泄漏速率，并且在传输缓冲器362中存在数据的情况下，数据以速率Rxn从传输缓冲器362被输入到基本缓冲器363。此外，在传输缓冲器362中没有数据的情况下，Rxn变为0。

基本缓冲器存储从传输缓冲器362以Rxn的比特率被提供的数据。这里，可以说基本缓冲器363的大小因音频编码方法(MPEG1音频、MPEG2 AAC音频等等)的不同而不同。注意，在传输缓冲器362中存在数据的情况下，数据以Rxn的比特率(速度)从传输缓冲器362被提供给基本缓冲器363，但是在传输缓冲器362中没有数据的情况下，没有数据从传输缓冲器362被提供给基本缓冲器363(即，变为Rxn＝0)。

音频解码器364按预定的定时提取基本缓冲器363中所存储的音频访问单元，对其进行解码，经端子365将其输出，并且播放该音频访问单元。具体而言，当音频访问单元的PTS等于T-STD的系统时钟上的时间时，音频解码器364从基本缓冲器363中提取其音频访问单元。注意，音频访问单元是构成音频流的编码单元，并且也成为解码单元。注意，后面将参考图15描述图14中所示的音频数据解码处理单元360的细节。

系统数据解码处理单元370被提供有传输缓冲器(在图中被表示为TBsys)371、基本缓冲器(在图中被表示为Bsys)372、系统解码器(在图中被表示为Dsys)373。

一旦与系统有关的TS分组(在图10中所示的示例的情况下是PID＝E0的TS分组)经由滤波器341被提供给系统数据解码处理单元370，TS分组就被存储在传输缓冲器371中。传输缓冲器371中所存储的数据被提供给基本缓冲器372。系统解码器373按预定的定时提取基本缓冲器372中所存储的系统访问单元，对其进行解码并且经由端子374将其输出。

注意，与系统有关的TS分组的示例包括TS分组221和图6中所示的作为PMT的TS分组222。

下面，将参考图15描述图14中所示的音频数据解码处理单元360的细节。

如图15中所示，音频数据解码处理单元360的内部被分成BS音频数据解码处理单元360-1和HQ音频数据解码处理单元360-2两个系统。提供这种配置以确保BS音频数据解码处理单元360-1用作要被解码的对象只是BS音频ES的解码器模型，并且HQ音频数据解码处理单元360-2用作要被解码的对象在某些时候是HQ音频ES的解码器模型。

BS音频数据解码处理单元360-1被提供有传输优先滤波器(在图中被表示为传输优先滤波器(tp＝1))361-1、传输缓冲器(在图中被表示为TB1)362-1、基本缓冲器(在图中被表示为B1)363-1以及音频解码器(在图中被表示为D1)364-1。就是说，图15中所示的音频数据解码处理单元360-1的传输优先滤波器361-1、传输缓冲器362-1、基本缓冲器363-1以及音频解码器364-1分别对应于图14中所示的音频数据解码处理单元360的传输优先滤波器361、传输缓冲器362、基本缓冲器363以及音频解码器364。

传输优先滤波器361-1只选择tp＝1(Transport priority＝1)的TS分组，并且将其提供给传输缓冲器362-1。传输缓冲器362-1按照针对基本缓冲器363-1的输入比特率值(Rxn)Rx1将数据提供给基本缓冲器363-1。基本缓冲器363-1存储以Rx1的比特率从传输缓冲器362-1提供的数据。这里，假定基本缓冲器363-1的容量(Bn)为B1。音频解码器364-1按预定的定时提取基本缓冲器363-1中所存储的音频访问单元，对其解码并将其输出。具体而言，当音频访问单元的PTS等于T-STD的系统时钟上的时间时，音频解码器364-1从基本缓冲器363-1中提取其音频访问单元。

因而，BS音频数据解码处理单元360-1是假定对BS音频ES的解码的虚拟解码器。下文中，其中音频数据解码处理单元360被利用BS音频数据解码处理单元360-1代替的虚拟解码器121将被称为第一虚拟解码器。就是说，第一虚拟接收装置中所提供的虚拟解码器将被称为第一虚拟解码器。

另一方面，HQ音频数据解码处理单元360-2被提供有传输优先滤波器(在图中被表示为传输优先滤波器(tp＝0))361-2、传输缓冲器(在图中被表示为TB2)362-2、基本缓冲器(在图中被表示为B2_1)363-2以及可变比特率的音频解码器364-2。而且，可变比特率的音频解码器364-2被提供有FIFO缓冲器(图中被称为B2_2)391以及音频解码器(在图中被称为D2)392。换句话说，HQ音频数据解码处理单元360-2的基本缓冲器被划分成两个部分(基本缓冲器363-2和FIFO缓冲器391)。就是说，图15中所示的音频数据解码处理单元360-2的传输优先滤波器361-2、传输缓冲器362-2、基本缓冲器363-2以及音频解码器364-2分别对应于图14中所示的音频数据解码处理单元360的传输优先滤波器361、传输缓冲器362、基本缓冲器363以及音频解码器364。

传输优先滤波器361-2只选择tp＝0(Transport_priority＝0)的TS分组，并且将其提供给传输缓冲器362-2。传输缓冲器362-2按照针对基本缓冲器363-2的输入比特率的值(R×n)R×2将数据提供给基本缓冲器363-2。基本缓冲器363-2存储以R×2的比特率从传输缓冲器362-2提供的数据。这里，基本缓冲器363-2的容量(Bn)将被称为B2_1。

可变比特率的音频解码器364-2按预定的定时提取基本缓冲器363-2中所存储的音频访问单元，对其解码并将其输出。具体而言，如图16中所示，根据HQ音频ES中所包括的输入定时(定时值)确定就可变比特率的音频解码器364-2的FIFO缓冲器391而言的数据输入定时。如以上参考图11所描述的，这个输入定时是当第二编码器142对音频数据进行编码时要被添加的值(图11中所示的输入定时信息275)。就是说，数据按基于HQ音频ES(可变比特率的音频流)中所包含的输入定时(图11中所示的输入定时信息275)的定时被输入到FIFO缓冲器391。而且，当音频访问单元的PTS等于T-STD的系统时钟上的时间时，音频解码器392从FIFO缓冲器391中提取相关的音频访问单元，对其解码并将其输出。就是说，FIFO缓冲器391被用于可变比特率的音频解码器364-2。从而，利用FIFO缓冲器391和音频解码器392实现了可变比特率的音频解码器364-2。

此时，就FIFO缓冲器391而言的数据输入定时被安排为基于输入定时(定时值)被确定，这就不需要为流添加DTS(解码时间戳)，并且随后发送装置111(图4)的PES分组化单元136在对HQ音频ES进行PES分组化时可以顺利地执行PES分组化，而不需要执行用于得到DTS的计算。而且，PES分组化单元136可以只通过预先在PES分组的PES净荷253(图11)中存储HQ音频ES中所包括的输入定时，来很容易地执行PES分组化。此外，PES分组化单元136不需要将DTS值存储在要被生成的PES分组中，从而PES分组的数据量可以被压缩。就是说，PES分组的数据量可以被进一步减少。

因而，HQ音频数据解码处理单元360-2是假定对HQ音频ES进行解码的虚拟解码器。下文中，其中音频数据解码处理单元360被利用HQ音频数据解码处理单元360-2代替的虚拟解码器121将被称为第二虚拟解码器。就是说，第二虚拟接收装置中所提供的虚拟解码器将被称为第二虚拟解码器。

就图15中所示的基本缓冲器363-2(B2_1)而言，在基于输入定时的定时处，被占用的缓冲器的量被减少。而且，FIFO缓冲器391(B2_2)不会上溢，但是可能会下溢。因此，有必要按一个定时来复用TS分组，使得防止FIFO缓冲器391(B2_2)下溢并且防止基本缓冲器363-2(B2_1)上溢和下溢。

现在，在图15中，例如假设基本缓冲器363-1(B1)的缓冲器大小是18640个字节，基本缓冲器363-2(B2_1)加上FIFO缓冲器391的缓冲器大小是524250个字节，泄漏速率R×1是2Mbps，并且泄漏速率R×2是48Mbps。

图4中所示的发送装置111需要通过顺序地确定要基于用于随机访问的复用约束条件从BS音频TS分组和HQ音频TS分组复用的TS分组来执行复用，以使得包括图15中所示的虚拟解码器121的虚拟接收装置120可以正确地执行解码。

就是说，发送装置111需要通过确定(调整)要基于用于随机访问的复用约束条件被复用的音频TS分组来执行复用，以防止图15中所示的虚拟解码器121的传输缓冲器362-1和传输缓冲器362-2上溢，并且防止基本缓冲器363-1和基本缓冲器363-2上溢和下溢，并且还防止FIFO缓冲器391下溢。

因此，发送装置111调整被安排用于基于用于随机访问的复用约束条件复用图6中所示的BS音频TS 173和HQ音频TS 183以生成传输流190的复用定时，使得满足上述图15中所示的虚拟解码器121的要求，即，使得利用BS音频数据解码处理单元360-1和HQ音频数据解码处理单元360-2两者来执行解码。就是说，发送装置111通过顺序地确定要基于用于随机访问的复用约束条件被复用的TS分组来在定时处执行复用，以防止第一虚拟接收装置(第一虚拟解码器，即包括BS音频数据解码处理单元360-1的虚拟解码器)和第二虚拟接收装置(第二虚拟解码器，即包括HQ音频数据解码处理单元360-2的虚拟解码器121)的每个缓冲器上溢和下溢。

接下来，将进行关于如下情况下的处理的描述：其中所描述的发送装置111考虑虚拟接收装置121的性能，并且还基于用于随机访问的复用约束条件，对音频流进行编码、TS分组化、复用和发送。图17和图18是描述图4中所示的发送装置111的TS分组发送处理的流程图。注意，当发送装置111的电源接通时，该处理开始，并且音频流被输入到输入单元131。

在步骤S51中，输入单元131接受音频数据的输入，并将所接受的音频数据输出到音频编码器132。具体而言，输入单元131将音频数据提供给音频编码器132中的第一编码器141和第二编码器142。

在步骤S52中，第一编码器141利用第一编码方法对音频数据进行编码。如上所述，例如固定长度编码方法被用作第一编码方法。第一编码器141将作为编码结果而得到的BS音频ES提供给下一级的缓冲器133中的第一缓冲器143。

在步骤S53中，第二编码器142利用第二编码方法对音频数据进行编码。如上所述，第二编码方法是可变长度编码方法，并且第二编码器142在编码时添加输入定时(图11中所示的输入定时信息275)。第二编码器 142将作为编码结果而得到的HQ音频ES提供给下一级的缓冲器133中的第二缓冲器144。

注意，在步骤S52中从第一编码器141输出的BS音频ES对应于图6中所示的BS音频ES 171，在步骤S53中从第二编码器142输出的HQ音频ES对应于图6中所示的HQ音频ES 181。

在步骤S54中，第一缓冲器143存储(缓存)从音频编码器132中的第一编码器141提供的BS音频ES 171(参见图6)。

在步骤S55中，第二缓冲器144存储(缓存)从音频编码器132中的第二编码器142提供的HQ音频ES 181(参见图6)。

在步骤S56中，控制单元135判断要被发送的音频访问单元是否被存储在缓冲器133中，并且一直等到判断出缓冲器133中存在音频访问单元为止。控制单元135监测缓冲器133(第一缓冲器143和第二缓冲器144)中所存储的基本流(BS音频ES 171和HQ音频ES 181)，并且还管理PTS，从而基于这些在步骤S56中执行判断。具体而言，在BS音频ES的情况下，控制单元135基于PTS判断要被发送的音频访问单元是否被存储在第一缓冲器143中，并且在HQ音频ES的情况下，控制单元135基于输入定时(图11中所示的输入定时信息275)判断要被发送的音频访问单元是否被存储在第二缓冲器144中。

例如，BS音频ES 171的音频访问单元中的每一个(例如，图6中所示的BS(1)、BS(2)等等，一直到BS(n))被安排为具有固定长度，因此控制单元135判断PTS(N)＝PTS0+TT×h(“PTS0”表示第一音频访问单元的PTS，“TT”表示访问单元的显示间隔，并且h表示图6中所示的圆括号中所示的标记的数字)是否被存储在第一缓冲器143中。此外，例如，HQ音频ES 181(例如，图6中所示的HQ(1)、HQ(2)等等，一直到HQ(m))的音频访问单元中的每一个被安排为具有可变长度，因此控制单元135基于被添加给HQ音频ES 181的输入定时判断是否有音频访问单元被存储在第二缓冲器144中。这是因为，就HQ音频ES而言，音频访问单元具有可变长度，这与BS音频ES的情况不同，因此基于利用PTS所执行的控制，例如，在访问单元的大小很大的情况下，由于不能按时传送可能会引起下溢，并且相应地，必须在早于PTS的时间点的输入定时(图11中所示的输入定时信息275)所期望的时间点处将音频访问单元传送到可变比特率的音频解码器。

注意，上述固定长度和可变长度是就音频访问单元的数据大小的定义，并且关于一个音频访问单元的每个显示间隔被安排为固定的。例如，假设BS音频ES的显示间隔是每个访问单元为32毫秒，并且HQ音频ES的显示间隔是每个访问单元为1/1200秒。

在步骤S56中判断出存在要被发送的音频访问单元的情况下，在步骤S57中，控制单元135执行控制以从作为目标的缓冲器133中读出要发送的音频访问单元，并将其提供给PES分组化单元136。例如，控制单元135执行控制以从第一缓冲器143中读出要被发送的音频访问单元，并将其提供给PES分组化单元136。此外，例如，控制单元135执行控制以从第二缓冲器144中读出要被发送的音频访问单元，并将其提供给PES分组化单元136。此外，控制单元135指示PES分组化单元136执行PES分组化，并进行到步骤S58中的处理。

在步骤S58中，PES分组化单元136对在步骤S57中的处理中所提供的音频访问单元进行PES分组化。具体而言，PES分组化单元136将从控制单元135提供的PTS包括在在步骤S57中的处理中从第一缓冲器143或第二缓冲器144提供的音频访问单元(BS音频ES或HQ音频ES的音频访问单元)中，并且对这个音频访问单元进行PES分组化以满足约束条件。PES分组化单元136将被进行了PES分组化所生成的PES分组提供给TS分组化单元137。

例如，PES分组化单元136获得从第一缓冲器143提供的BS音频ES(获得与PTS相对应的音频访问单元)，并且将该BS音频ES分组化为PES分组。此外，例如，PES分组化单元136获得从第二缓冲器144提供的HQ音频ES(获得与输入定时相对应的音频访问单元)，并且将该HQ音频ES分组化为PES分组。此时，PES分组化单元136将从控制单元135提供的PTS存储在构成PES分组流(例如图6中所示的BS音频PES172或HQ音频PES 182)的每个PES分组中。随后，PES分组化单元136 将所生成的PES分组(例如，在图6中所示的BS音频PES 172中的在步骤S57中的处理中被进行PES分组化的PES分组，或者在图6中所示的HQ音频PES 182中的在步骤S57中的处理中被进行PES分组化的PES分组)提供给TS分组化单元137。此时，PES分组化单元136基于PES分组化时的约束条件执行PES分组化。后面将参考图19描述PES分组化处理的细节。

注意，在步骤S58中从PES分组化单元136输出的BS音频PES对应于图6中所示的BS音频PES 172，并且在步骤S58中从PES分组化单元136输出的HQ音频PES对应于图6中所示的HQ音频PES 182。

在步骤S59中，TS分组化单元137对从PES分组化单元136提供的PES分组进行TS分组化，并将被进行了TS分组化的TS分组提供给复用单元138。例如，TS分组化单元137对构成BS音频PES 172的多个BS音频PES分组进行TS分组化，得到例如构成图6中所示的BS音频TS 173的多个BS音频TS分组。随后，TS分组化单元137将构成BS音频TS173的多个BS音频TS分组提供给后一级的复用单元138。类似地，例如，TS分组化单元137对构成HQ音频PES 182的多个HQ音频PES分组进行TS分组化，得到例如构成图6中所示的HQ音频TS 183的多个HQ音频TS分组。随后，TS分组化单元137将构成HQ音频TS 183的多个HQ音频TS分组提供给后一级的复用单元138。

此时，如图10中所示，相同的PID和不同值的transport_priority被添加到进行了TS分组化的BS音频TS 173和HQ音频TS 183的每个TS头部。在图5中所示的示例的情况下，“PID＝a0，tp＝1”被包括在BS音频TS 173的每个TS分组中，并且“PID＝a0，tp＝0”被包括在HQ音频TS183的每个TS分组中。

在步骤S60中，控制单元135基于对虚拟解码器121的被占用缓冲器的量的计算和用于随机访问的复用约束条件确定要被复用的TS分组。具体而言，控制单元135基于对第一虚拟解码器和第二虚拟解码器(参见图14和图15)的被占用缓冲器的量的计算和用于随机访问的复用约束条件，确定接下来要被复用的TS分组(BS音频TS分组和HQ音频TS分组中的任意TS分组)，并且控制复用单元138以复用被确定为要被复用的TS分组。就是说，控制单元135确定要被复用的TS分组的顺序，以复用图6中所示的BS音频TS 173和HQ音频TS 183以生成传输流190。注意，后面将参考图20和图21进行关于对虚拟解码器121(第一虚拟解码器和第二虚拟解码器)的被占用缓冲器的量的计算处理的描述，并且后面将参考图22进行关于用于随机访问的复用约束条件处理的描述。

在步骤S61中，在从TS分组化单元137提供的TS分组中，复用单元138复用通过控制单元135在步骤S60的处理中被确定为要被复用的TS分组。具体而言，在图6中所示的BS音频TS 173的各个TS分组和HQ音频TS 183的各个TS分组中，复用单元138(顺序地)复用在步骤S60的处理中被确定为要被复用的TS分组。从而，图6中所示的传输流190被生成。复用单元138将通过复用BS音频TS 173和HQ音频TS 183所生成的传输流190提供给发送单元139。

在步骤S62中，发送单元139发送从复用单元138提供的传输流190(图6)。例如，如图3中所示，发送单元139控制驱动器112来将传输流(MPEG2-TS)发送给可移动介质113，或者控制通信单元114以将其经由网络115发送给接收装置。该接收装置不是参考图3和图14所描述的虚拟接收装置120，而是实际接收MPEG2-TS的未示出的接收装置(包括解码器)。

在步骤S63中，控制单元135确定是否结束处理。例如，在完成了向输入单元131的音频数据输入的情况下、在用户指示结束TS分组发送处理的情况下、在完成了一个音频流的发送的情况下等等，控制单元135确定结束处理。在步骤S63中，在确定不结束处理的情况下，处理返回到步骤851，其中后续处理被重复。就是说，音频数据的输入被再次接受，音频数据被进行TS分组化，要被复用的TS分组基于对虚拟解码器121的被占用缓冲器的量的计算和用于随机访问的复用约束条件被确定，所确定的TS分组被复用，并且作为复用的结果而生成的传输流被发送。在步骤S63中，在确定结束处理的情况下，处理结束。

根据图17和图18中所示的处理，TS分组按一定顺序被复用，其中 TS分组已经基于对参考图14和图15所描述的第一虚拟解码器和第二虚拟解码器(虚拟解码器121)的被占用缓冲器的量的计算和用于随机访问的复用约束条件被确定为要被复用的，因此，只要使用包括与图14和图15中所示的虚拟解码器121的模型兼容的解码器的接收装置(未示出)，利用该处理被复用的传输流(多个TS分组)就可以按可靠的方式被解码。

接下来，将参考图19中所示的流程图描述PES分组化单元136所执行的PES分组化处理(即，图17中所示的步骤S58中的处理)的细节。

在步骤S71中，PES分组化单元136判断从第一缓冲器143或第二缓冲器144提供的音频访问单元(BS音频ES或HQ音频ES的音频访问单元)是否是BS音频ES的音频访问单元。例如，在图6中所示的示例的情况下，第一级的BS音频ES 171或HQ音频ES 181的音频访问单元被提供给PES分组化单元136，从而判断所提供的音频访问单元是BS音频ES还是HQ音频ES。

在步骤S71中判断出所提供的音频访问单元是BS音频ES的访问单元的情况下，处理进行到步骤S72，并且PES分组化单元136判断该BS音频ES的访问单元是否是满足周期N的访问单元。就是说，PES分组化单元136判断该BS音频ES的访问单元是否是满足以上参考图13所描述的周期N的访问单元。

在步骤S72中判断出BS音频ES的访问单元是满足周期N的访问单元的情况下，在步骤S73中，PES分组化单元136对该访问单元进行PES分组化，以使得该访问单元出现在PES分组的头部。此时，PES分组化单元136将从控制单元135提供的PTS存储在PES净荷的PES头部。在图7中所示的示例中，在判断出BS音频ES 171的访问单元BS(1)是满足周期N的访问单元的情况下，PES分组化单元136对该访问单元BS(1)进行PES分组化，以使得该访问单元BS(1)出现在PES分组172-1的PES净荷的头部。随后，PES分组化单元136将从控制单元135提供的PTS＝BS1存储在PES分组172-1的PES头部中。

另一方面，在步骤S72中判断出BS音频ES的访问单元不是满足周期N的访问单元的情况下，处理进行到步骤S74，其中PES分组化单元136 对访问单元进行PES分组化。在图7中所示的示例中，在判断出BS音频ES 171的访问单元BS(2)不是满足周期N的访问单元的情况下，PES分组化单元136将访问单元BS(2)存储在PES分组172-1的PES净荷中，从而执行PES分组化。

从而，根据步骤S72、步骤S73和步骤S74中的处理，BS音频ES的访问单元可以被顺序地进行PES分组化。具体而言，就满足周期N的BS音频ES的访问单元而言，PES分组化被执行以使得访问单元出现在PES净荷的头部，并且就其它访问单元而言，PES分组化被执行，而不设置约束条件。

另一方面，在步骤S71中判断出被提供的音频访问单元是HQ音频ES的访问单元的情况下，即在被提供给PES分组化单元136的音频访问单元是HQ音频ES的音频访问单元的情况下，处理进行到步骤S75，其中PES分组化单元136判断HQ音频ES的访问单元是否是满足周期N的访问单元。就是说，PES分组化单元136判断该HQ音频ES的访问单元是否是满足以上参考图13所描述的周期N的访问单元。

在步骤S75中判断出HQ音频ES的访问单元是满足周期N的访问单元的情况下，在步骤S76中，PES分组化单元136判断该访问单元是否是其中头部包括详细信息的访问单元。具体而言，PES分组化单元136判断以上参考图11所描述的详细信息276是否被包括在音频访问单元的头部中。

在步骤S76中判断出访问单元是其中头部包括详细信息276的访问单元的情况下，处理进行到步骤S77，其中PES分组化单元136对该访问单元进行PES分组化，以使得该访问单元出现在PES净荷的头部。此时，PES分组化单元136将从控制单元135提供的PTS存储在PES净荷的PES头部中。在图8中所示的示例中，在判断出HQ音频ES 181的访问单元HQ(1)是满足周期N的访问单元的情况下(步骤S75中为是)，PES分组化单元136对该访问单元HQ(1)进行PES分组化，以使得该访问单元HQ(1)出现在PES分组182-1的的PES净荷的头部。随后，PES分组化单元136将从控制单元135提供的PTS＝HQ1存储在PES分组182-1的PES 头部中。

另一方面，在步骤S75中判断出HQ音频ES的访问单元不是满足周期N的访问单元的情况下，或者在步骤S76中判断出HQ音频ES的访问单元是其头部包括详细信息276的访问单元的情况下，处理进行到步骤S74，其中PES分组化单元136对访问单元进行PES分组化。在图8中所示的示例中，在判断出HQ音频ES 181的访问单元HQ(2)不是满足周期N的访问单元的情况下，或者在判断出HQ音频ES 181的访问单元HQ(2)是满足周期N的访问单元而不是其头部包括详细信息276的访问单元的情况下，PES分组化单元136将访问单元(HQ(2))存储在PES分组182-1的PES净荷中，从而执行PES分组化。

从而，根据步骤S74到步骤S77中的处理，HQ音频ES的访问单元可以被顺序地进行PES分组化。具体而言，就其头部包括详细信息276(图11)的HQ音频ES的访问单元而言，PES分组化被执行以使得访问单元出现在PES净荷的头部，并且就其它访问单元而言，PES分组化被执行，而不设置约束条件。

在步骤S73中的处理之后，或者在步骤S74中的处理之后，或者在步骤S77中的处理之后，处理结束。

从而，周期N(图13)被定义以使得BS音频ES访问单元的显示时间点和HQ音频ES访问单元的显示时间点相同，并且一个周期间隔等于或短于一秒，BS音频ES访问单元基于这个周期被进行PES分组化，并且HQ音频ES访问单元被进行的PES分组化不仅基于这个周期而且与头部是否包括详细信息有关，从而可以在考虑复用情况下和随机访问情况下的约束条件的基础上生成PES分组。

接下来，将参考图20和图21描述关于在图18中所示的步骤S60中由控制单元135执行的对虚拟解码器的被占用缓冲器的量的计算。

首先，将参考图20中所示的流程图描述就BS音频而言的被占用缓冲器的量的计算处理。注意，该处理是这样的处理，其中图4中所示的控制单元135计算复用TS分组的定时，假设作为接收方的虚拟解码器121仅能解码BS音频ES。就是说，该处理是在假设作为接收方的虚拟解码器 121是第一虚拟解码器的情况下控制单元135所执行的处理。

在步骤S101中，在图15中所示的BS音频数据解码处理单元360-1的传输缓冲器362-1有空间来存储tp＝1的TS分组的情况下，控制单元135控制复用单元138来复用TS分组。就是说，在图15中所示的传输缓冲器362-1有空间来存储BS音频TS分组(与BS音频ES相对应的TS分组)的情况下，控制单元135控制复用单元138以复用那些BS音频TS分组。

在步骤S102中，控制单元135执行计算，假设在图15中所示的虚拟解码器121中的基本缓冲器363-1(Bn＝B1)有空间的情况下，数据从传输缓冲器362-1中以R×1(R×n＝R×1)的比特率被提取，并且被提供给基本缓冲器363-1(B1)。如上所述，就第一虚拟解码器的基本缓冲器363-1而言的输入比特率是R×1，因此控制单元135在假设数据以R×1的比特率被提取的情况下执行计算，并且还在假设基本缓冲器363-1的存储容量为Bn＝B1的情况下执行计算。

在步骤S103中，控制单元135执行计算，假设当音频访问单元的PTS变得等于虚拟解码器121的系统时钟上的时间时，该音频访问单元从基本缓冲器363-1(B1)中被提取并且被提供给音频解码器364-1。例如，控制单元135执行计算，假设当虚拟解码器121的系统时钟变得等于音频访问单元的PTS时，具有该PTS的音频访问单元从基本缓冲器363-1中被提取并且被提供给音频解码器364-1。随后，处理结束。

注意，图20中所示的处理是在执行图18中所示的步骤S60中的处理的情况下被执行的处理，该处理被重复执行。

从而，控制单元135计算解码器的被占用缓冲器的量，假设解码器(第一虚拟解码器)仅能解码BS音频ES。就是说，控制单元135计算第一虚拟解码器的被占用缓冲器的量，假设图15中所示的BS音频数据解码处理单元360-1被提供在图14中所示的音频数据解码处理单元360中，并且基于这个以及后面要描述的图22中所示的用于随机访问的约束条件，控制单元135确定TS分组的复用定时。从而，仅能对BS音频ES进行解码的解码器(实际解码器)可以按可靠的方式解码BS音频ES，同时使被占用缓冲器的量既不下溢也不上溢。

接下来，将参考图20中所示的流程图描述就HQ音频而言的被占用缓冲器的量的计算处理。注意，该处理是这样的处理，其中图4中所示的控制单元135计算复用TS分组的定时，假设作为接收方的虚拟解码器121可以解码HQ音频ES。就是说，该处理是在假设作为接收方的虚拟解码器121是第二虚拟解码器的情况下控制单元135所执行的处理。

在步骤S151中，在图15中所示的HQ音频数据解码处理单元360-2的传输缓冲器362-2有空间来存储tp＝0的TS分组的情况下，控制单元135控制复用单元138来复用TS分组。就是说，在图15中所示的传输缓冲器362-2有空间来存储HQ音频TS分组(与HQ音频ES相对应的TS分组)的情况下，控制单元135控制复用单元138来复用其HQ音频TS分组。

在步骤S152中，控制单元135执行计算，假设在图15中所示的虚拟解码器121中的基本缓冲器363-2(Bn＝B2_1)有空间的情况下，数据从传输缓冲器362-2中以R×2(R×n＝R×2)的比特率被提取，并且被提供给基本缓冲器363-2(B2_1)。如上所述，就第二虚拟解码器的基本缓冲器363-2而言的输入比特率是R×2，因此控制单元135在假设数据以R×2的比特率被提取的情况下执行计算，并且还在假设基本缓冲器363-2的存储容量为Bn＝B2_1的情况下执行计算。

在步骤S153中，控制单元135执行计算，假设基于音频访问单元的输入定时，音频访问单元从基本缓冲器363-2(B2_1)中被提取，并且被提供给FIFO缓冲器391(B2_2)。如上所述，输入定时(参见图11)被添加到由第二编码器142编码并输出的HQ音频ES，因此控制单元135执行计算，假设基于这个输入定时，音频访问单元从基本缓冲器363-2(B2_1)中被提取，并且被提供给FIFO缓冲器391(B2_2)。

在步骤S154中，控制单元135执行计算，假设基于音频访问单元的PTS，相关的音频访问单元从FIFO缓冲器391(B2_2)中被提取，并且被提供给音频解码器392。具体而言，控制单元135执行计算，假设当音频访问单元的PTS变得等于虚拟解码器121(第二虚拟解码器)的系统时钟上的时间时，该音频访问单元从FIFO缓冲器391中被提取，并且被提供给音频解码器392。随后，处理结束。

从而，就基本缓冲器363-2(B2_1)而言，被占用缓冲器的量在基于输入定时的定时处会扩大。此外，FIFO缓冲器391(B2_2)不会上溢，但是可能下溢。因此，必须按一定的定时复用TS分组，使得防止FIFO缓冲器391(B2_2)下溢，并且还防止基本缓冲器363-2(B2_1)上溢和下溢。

接下来，将参考图22中所示的流程图描述关于在图18中所示的步骤S60中由控制单元135执行的用于随机访问的复用约束条件处理。注意，该处理是这样的处理，其中图4中所示的控制单元135根据被创建用于随机访问的EP_map(后面将描述细节)来约束TS分组的复用定时。

在步骤S201中，控制单元135判断在BS音频TS和HQ音频TS中是否存在包括具有与BS音频TS分组的TS净荷中所包括的PES头部的PTS值相同的PTS值的HQ音频PES分组的TS分组。例如，控制单元135判断在BS音频TS 173和HQ音频TS 183中是否存在包括具有与图7中所示的BS音频TS分组的净荷中所包括的PES头部(图7中所示的BS音频PES分组172-1)的PTS值PTS＝BS1相同的PTS值的HQ音频PES分组的TS分组。在PTS＝BS1(图7)＝HQ1(图8)的情况下，控制单元135判断出在BS音频TS 173和HQ音频TS 183中存在包括具有与BS音频TS分组的TS净荷中所包括的PES头部的PTS值(BS1)相同的PTS值(BS1＝HQ1)的HQ音频PES分组的TS分组(图8中所示的HQ音频TS分组232-1)。

将参考图9描述更具体的示例。PES头部的PTS值被存储在BS音频TS分组231-1、231-3和231-j-1中。类似地，PES头部的PTS值被存储在HQ音频TS分组232-1、232-4和232-k-2中。现在，假设保持PTS#1＝BS1＝HQ1和PTS#2＝BS2n′＝HQm′，并且BS2和HQ2不同。此时，判断出在BS音频TS 173和HQ音频TS 183中存在包括具有与BS音频TS分组231-1的TS净荷中所包括的PES头部的PTS值(PTS#1＝BS1)相同的PTS值(PTS#1＝HQ1)的HQ音频PES分组的TS分组232-1。另一方面，BS2和HQ2不同，因此判断出在BS音频TS 173和HQ音频TS 183中不存在包括具有与BS音频TS分组231-3的TS净荷中所包括的PES头部的PTS值(BS2)相同的PTS值的HQ音频PES分组的TS分组。

在步骤S201中判断出在BS音频TS和HQ音频TS中存在包括具有与BS音频TS分组的TS净荷中所包括的PES头部的PTS值相同的PTS值的HQ音频PES分组的TS分组的情况下，处理进行到步骤S202，其中控制单元135确定包括BS音频PES分组的TS分组作为在包括HQ音频PES分组的TS分组之前要被复用的TS分组。例如，在图9中，在判断出在BS音频TS 173和HQ音频TS 183中存在包括具有与BS音频TS分组231-1的TS净荷中所包括的PES头部的PTS值(PTS#1＝BS1)相同的PTS值(PTS#1＝HQ1)的HQ音频PES分组的TS分组232-1的情况下，在步骤S202中，控制单元135确定包括BS音频PES分组172-1(参见图7)的TS分组231-1作为在包括HQ音频PES分组182-1(参见图8)的TS分组232-1之前要被复用的TS分组。

在步骤S201中判断出在BS音频TS和HQ音频TS中不存在包括具有与BS音频TS分组的TS净荷中所包括的PES头部的PTS值相同的PTS值的HQ音频PES分组的TS分组的情况下，或者在步骤S202中的处理之后，处理结束。

根据图22中所示的处理，假设在BS音频TS分组和HQ音频TS分组中所包括的PTS值相等的情况下，就包括PES分组的TS分组而言，BS音频TS分组被复用在HQ音频TS分组之前。

注意，图22中所示的处理是在执行图18中所示的步骤S60中的处理的情况下被执行的处理，该处理被重复执行。

从而，控制单元135执行用于随机访问的复用约束条件处理。因此，被创建用于随机访问的EP_map可以被创建，从而TS可以被复用以实现随机访问。从而，实际的解码器可以按可靠的方式对BS音频ES进行解码，同时使被占用缓冲器的量既不上溢也不下溢，并且还能够实现随机访问。

注意，图21和图22中所示的处理是在执行图18中所示的步骤S60中的处理的情况下被执行的处理，该处理被重复执行。就是说，在执行图18中所示的步骤S60中的处理的情况下，图20中所示的处理、图21中所示的处理以及图22中所示的处理被并行执行。更具体而言，在执行图18中所示的步骤S60中的处理的情况下，控制单元控制单元135通过图20中所示的处理，计算与BS音频相对应的TS分组的复用定时，并且还通过图21中所示的处理，计算与HQ音频相对应的TS分组的复用定时，并且还通过图22中所示的处理，重复执行用于随机访问的复用约束条件处理。

换句话说，控制单元135确定(调整)要被复用的音频TS分组，以在图15中所示的虚拟解码器121中，防止传输缓冲器362-1和传输缓冲器362-2上溢，并且还防止基本缓冲器363-1和基本缓冲器363-2上溢和下溢，并且还防止FIFO缓冲器391下溢。

从而，控制单元135计算解码器的被占用缓冲器的量，并且还执行用于随机访问的复用约束条件处理以确定要被复用的TS分组(确定要被复用的TS分组的顺序)，所述解码器假设为能够对BS音频ES进行解码的虚拟解码器(第一虚拟解码器)和能够对HQ音频ES进行解码的虚拟解码器(第二虚拟解码器)。从而，即使就仅能对BS音频ES进行解码的解码器(实际解码器)而言，并且即使就能够对HQ音频ES进行解码的解码器(实际解码器)而言，解码都可以按可靠的方式被执行，同时使被占用缓冲器的量既不上溢也不下溢。而且，就被复用的TS 190而言，随机访问可以被执行。

就是说，即使在实际的接收装置(接收通过发送装置被复用的TS分组(MPEG2-TS))实际只能够对BS音频ES进行解码或者能够对HQ音频ES进行解码的情况下，解码也可以被顺利地执行，同时使每个接收装置中所包括的缓冲器既不上溢也不下溢。

注意，BS音频ES和HQ音频ES是可利用例如图10中所示的transport_priority(tp)的值标识的，但是具有彼此独立的关系，所以在复用BS音频ES和HQ音频ES的情况下不存在约束条件。因此，BS音频ES和HQ音频ES可以作为独立的流而被处理。

接下来，将描述一个示例，其中利用通过图17和图18中所示的处理而发送的MPEG2-TS创建用于随机访问的EP-map。例如，将描述关于在基于MPEG2-TS而生成的剪辑AV流文件被记录在记录介质中的情况下并且在用于随机访问的EP_map基于该剪辑AV流文件被创建并记录的情况下的处理。

图23是示出了基于光盘511中所记录的剪辑AV流文件创建并记录EP_map的记录装置501的配置示例的框图。

记录装置501设有光盘511、控制器521、操作输入单元522、AV(音频视频)编码器524、缓冲器525、记录控制单元526、驱动器527和可移动介质528。

控制器521执行预先准备的控制程序，从而控制记录装置501的整体操作。例如，控制器521可以控制被安排为记录EP_map等的处理，该处理使得后面将描述的重放装置(图30中所示的重放装置641)能够基于作为被安装的记录介质的光盘511中所记录的剪辑AV流文件，随机访问光盘511。

操作输入单元522被配置有输入设备和接收单元，所述输入设备例如按钮、按键、触摸板、滚轮、鼠标等等，并且所述接收单元被配置为接收诸如从预定的遥控器发送的红外射线之类的信号，所述操作输入单元522获得用户的操作输入以将其提供给控制器521。

数据获取单元523从外部获取AV数据(即视频数据和音频数据)，并将这些数据提供给AV编码器524。AV编码器524利用预定的编码方法对被提供的视频数据和音频数据进行编码，并将视频ES(基本流)和音频ES提供给缓冲器525。缓冲器525暂时地缓存被编码的数据，并按预定的定时将其提供给记录控制单元526。

记录控制单元526根据控制器521的控制，将从缓冲器525或控制器521提供的数据(MPEG2-TS)记录在光盘511中。

此外，例如，操作输入单元522接受来自用户的AV流中对预定重放区域的说明的输入，并将其提供给控制器521。另一方面，控制器521创建AV流(剪辑)的数据库、其中AV流的重放区域(播放项)被编组(播放列表)的数据库、以及光盘511的被记录内容的管理信息 (index.bdmv和MovieObject.bdmv)。由这种信息构成的应用数据库信息与AV流一起被输入到记录控制单元526。记录控制单元526基于从控制器521输出的控制信号将数据库文件记录在光盘511中。

此外，控制器521在必要时与驱动器527相连接，并且驱动器527例如被安装有磁盘(包括柔性盘)、光盘(CD-ROM(紧致盘只读存储器)，包括DVD)、磁光盘(MD(注册商标)，包括迷你盘)或者由半导体存储器等构成的可移动介质528。

不言而喻，除了光盘511之外，例如磁盘或半导体存储器也可以被用作被配置为记录内容的记录介质。

图24是示出了要被安装在图23中所示的记录装置501或者后面将描述的图30中所示的重放装置641上的光盘511上的应用格式示例。

应用格式包括两层，即被安排为管理AV流的播放列表和剪辑。这里，一对相伴的AV流和剪辑信息被当作一个对象，被总地称为剪辑。此外，剪辑信息也被称为剪辑信息文件。

一个AV流文件存储其中MPEG(运动图片专家组)2传输流按应用格式所规定的结构被放置的数据。总地来说，被用于计算机等的文件被处理为字节行，AV流文件的内容被呈现在时间轴上，并且剪辑的访问点主要就是利用播放列表指定的时间戳。就是说，播放列表和剪辑是被安排为管理AV流的层。

在剪辑中的访问点是用播放列表指示的时间戳的情况下，剪辑信息文件(例如，EP_map)被用于搜索地址信息以参考时间戳开始AV流文件中的解码。

播放列表是AV流的一组重放区域。某个AV流中的一个重放区域被称为播放项，该播放项用时间轴上的播放项的一对IN点(重放开始点)和OUT点(重放结束点)来表示。因此，播放列表由一个或多个播放项构成，例如图24中所示的。

在图24中，最左边的播放列表由两个播放项构成，并且根据这两个播放项，左手侧的剪辑中所包括的AV流的前半部分和后半部分被分别引用。此外，从左边数第二个播放列表由一个播放项构成，从而左侧剪辑中所包括的整个AV流被引用。此外，从左边数第三个播放列表由两个播放项，并且根据这两个播放项，左侧剪辑中所包括的AV流的某个部分和右侧剪辑中所包括的AV流的某个部分被分别引用。

例如，在最左边的播放列表中所包括的左侧播放项被用户利用图24中所示的盘导航程序指定为指示那时的重放位置的信息的情况下，播放项所引用的左侧剪辑中所包括的AV流的前半部分被播放。从而，播放列表被用作被安排为管理AV流文件的重放的重放管理信息。

盘导航程序包括被安排为控制播放列表的重放顺序和播放列表的交互重放的功能。此外，盘导航程序还包括被安排为显示被配置为允许用户执行各种类型的重放的菜单屏幕的功能，等等。这个盘导航程序例如是用诸如Java(注册商标)之类的程序语言描述的，并且被准备在记录介质上。

就该实施例而言，在播放列表中，由一个或多个播放项行(连续的播放项)所创建的重放路径被称为主路径，并且由与主路径平行(同时)的一个或多个子路径行(不连续或连续的子播放项)所创建的重放路径被称为子路径。就是说，要被安装在记录装置501或重放装置(后面将参考图30描述的重放装置641)上的记录介质上的应用格式在播放列表中具有与主路径相关(一起)的要被播放的子路径。

接下来，将进行关于剪辑信息文件(图24中所示的剪辑信息)的描述。根据本实施例的记录装置501将一个剪辑AV流和与其相对应的剪辑信息文件作为单独的文件记录在光盘511中。这里，剪辑AV流是在图17和图18中所示的上述处理中被发送的MPEG-TS所转换而成的文件。剪辑信息文件包括CPI(特性点信息)和ClipMark(剪辑标记)。

CPI是剪辑信息文件中所包括的数据，并且主要被用于找到剪辑AV流文件的数据的读取应当从其开始的数据地址。就该实施例而言，利用EP_map的类型的CPI。

图25是描述EP_map和剪辑AV流之间的关系的图。

EP_map是入口点(EP)数据的列表，入口点数据是从基本流和传输流中被提取的数据。这具有用于找到应当从其开始对AV流的解码的入口点的位置的地址信息。一条EP数据由一对显示时间戳(PTS)和与该PTS 相对应的访问单元的AV流的数据地址构成。

EP_map主要被用于实现两个目的。首先，EP_map被用于找到要利用播放列表的显示时间戳来引用的访问单元的AV流的数据地址。随机访问重放的情况也与此相对应。其次，EP_map被用于快进重放或快退重放。当记录装置501记录AV流或分析AV流的语法时，EP_map被创建并且被记录在磁盘中。

如图25中所示，当剪辑中的访问点利用显示时间戳(PTS)而被指定时，EP_map被用于找到剪辑AV流文件的流的解码应当从其开始的地址信息。因而，EP_map是指示与利用上述播放列表显示的时间轴上的IN点和OUT点相对应的地址的表，并且被用于将诸如播放列表等之类的显示时间戳(PTS)转换为与其相对应的地址。就是说，EP_map是一个表，从而显示时间戳(PTS)和剪辑AV流的源分组编号(传输流的TS(传输流)分组编号)被彼此关联起来。

根据这个EP_map，可以从剪辑AV流中选择并读出相应的数据。此外，在执行随机访问的情况下利用EP_map。例如，在用户向操作输入单元522输入操作以利用时间戳(PTS)指定剪辑中的访问点的情况下，控制器521参考EP_map得到剪辑AV流文件内的流的解码应当起始的地址信息，并且控制记录控制单元526以基于此执行随机访问。注意，就EP_map的类型而言，存在视频EP_map和音频EP_map。

图26是描述音频EP_map的配置的图。具体而言，图26(A)是描述根据剪辑AV流的显示时间戳(PTS)的图，图26(B)是放大并示出了图26(A)中所示的剪辑AV流的一部分的图，并且图26(C)是示出了音频EP_map的数据配置的图。

如图26(C)中所示，音频EP_map是一个表，其中描述了剪辑AV流的显示时间戳(PTS_EP_start)和指示与其相对应的源分组编号(TS分组编号)的信息(SPN_EP_start)。

这里，就地址的表示而言，可以利用源分组编号(SPN)。就源分组编号(SPN)而言，一系列编号被分配给剪辑AV流中的所有源分组。就源分组编号SPN而言，假设在剪辑AV流中，第一源分组的源分组编号 SPN被设置为0(SPN＝0)，下一个源分组的源分组编号SPN被设置为1(SPN＝1)等等，即对于每下一个分组，源分组编号SPN加1。因此，就音频EP_map的SPN_EP_start而言，源分组编号(SPN)被描述。

接下来，将参考图27描述关于基于利用图17和图18中所示的处理被复用并生成的TS 190(参见图6和图9)所生成的EP_map示例。

图27示出了在复用BS音频TS 173和HQ音频TS 183的情况下的TS190的EP_map示例。就是说，就音频而言，包括BS音频TS 173和HQ音频TS 183这两种音频ES。

在图27中所示的示例的情况下，剪辑AV流由BS音频ES和HQ音频ES的TS分组构成。此时，在具有与BS音频TS分组的(PES分组)的PTS值相同的PTS值的HQ音频TS分组存在于BS音频TS分组之后的情况下，BS音频TS分组可以成为入口点。此时，在复用已经被执行以满足图22中所示的上述约束条件的情况下，就具有相同PTS值的音频TS分组而言，结果是BS音频TS分组存在于HQ音频TS分组之前。

SPN_EP_start是指示源分组(TS分组)的入口点的信息，并且在图27中，利用SPN_EP_start的箭头所显示的BS音频TS分组311-1的位置利用SPN_EP_start来指示。就图27中所示的TS而言，按照从SPN_EP_start中所示出的TS分组开始的顺序，BS音频TS分组311-1和311-2以及HQ音频TS分组321-1到321-4被放置。

现在，剪辑AV流文件中所存储的多个TS分组包括多个PES分组(分组化的基本流)。因此，从如图27中所示的多个TS分组(图27中所示的示例中的7个TS分组)中，PES分组(在图27中所示的示例中是3个PES分组)可以被提取。图27中所示的PES分组是从包括作为源分组的入口点的TS分组的多个TS分组中被提取的PES分组。更详细地说，假设图27中所示的PES分组的最开头的数据被包括在作为源分组的入口点的TS分组中。在这个示例的情况下，从包括作为源分组的入口点的TS分组的多个TS分组311-1、311-2、321-1到321-4中被提取的PES分组是PES分组301到303。PES分组301到303都是由PES头部和PES净荷构成。

PES分组301是通过对BS音频ES进行PES分组化而得到的，并且PES分组302和303是通过对HQ音频ES进行PES分组化而得到的。PES分组301由PES头部301-1和PES净荷301-2构成，PES分组302由PES头部302-1和PES净荷302-2构成，并且PES分组303由PES头部303-1和PES净荷303-2构成。此时，BS音频ES数据被存储在PES分组301的PES净荷301-2中，并且HQ音频ES数据被存储在PES分组302和303的PES净荷302-2和303-2中。

现在，假设最开头的PES分组301的PES头部301-1中所存储的PTS是PTS_EP_start(PES分组的PTS值)。就是说，假设SPN_EP_start是包括PTS_EP_start所引用的PES分组301的第一个字节的TS分组311-1的源分组编号。

PES分组301的PES净荷301-2包括作为BS音频ES的多个音频访问单元(BS音频AU)。在图27中所示的示例的情况下，BS音频ES利用固定长度编码方法(第一编码方法)被编码，所以每个音频访问单元的大小是固定的。PES分组302的PES净荷302-2包括作为HQ音频ES的多个音频访问单元(HQ音频AU)。在图31中所示的示例的情况下，HQ音频ES利用可变长度编码方法(第二编码方法)被编码，所以每个音频访问单元的大小是可变的。现在，假设PES分组302的PES头部302-1中所包括的PTS值(从由PTS_EP_start指示的BS音频TS分组311-1中得到的PTS值)和PES分组301的PES头部301-1中所包括的PTS值相同。PES分组303的PES净荷303-2包括作为HQ音频ES的多个音频访问单元。在图27中所示的示例的情况下，HQ音频ES利用可变长度编码方法被编码，所以每个音频访问单元的大小是可变的。

因而，PTS_EP_start表示PES分组的PTS值，并且SPN_EP_start是包括PTS_EP_start所引用的PES分组301的第一个字节的TS分组311-1的源分组编号。

接下来，将参考图28中所示的流程图描述关于被安排为创建并记录与光盘511中所记录的剪辑AV流文件相关的剪辑信息文件的处理。这个处理例如开始于图4中所示的发送装置111处在剪辑AV流文件被记录在光盘511中的状态下。就是说，这个处理开始于其中图23中所示的记录装置501被安装有光盘511的状态，在光盘511中记录有由BS音频TS分组和HQ音频TS分组构成的TS 190(满足上述约束条件的TS)被转换而成的剪辑AV流文件。

在步骤S311中，记录控制单元526读出被记录在光盘511中的剪辑AV流文件，并将其提供给控制器521。被读出的剪辑AV流文件是作为图17到图22中的处理的结果被复用和生成的MPEG2-TS所转换而成的文件。

在步骤S312中，控制器521创建关于剪辑AV流文件的ClipInfo。ClipInfo()是被安排为存储与其相对应的AV流文件(剪辑AV流)的属性信息的信息。

在步骤S313，控制器521创建关于剪辑AV流文件的SequenceInfo。

在步骤S314，控制器521创建关于剪辑AV流文件的ProgramInfo。

在步骤S315，控制器521创建关于剪辑AV流文件的CPI(EP_map)。

具体而言，控制器521创建被包括在剪辑信息文件的CPI()中的EP_map。

注意，这个处理的细节将参考图29来描述。

在步骤S316中，控制器521创建关于剪辑AV流文件的ClipMark。

在步骤S317中，控制器521记录其中存储有ClipInfo()、SequenceInfo()、ProgramInfo()、CPI()和ClipMark()的剪辑信息文件。

根据图28中所示的处理，可以基于剪辑AV流文件创建并记录剪辑信息文件。

注意，在图28中，每个处理都是按照时间序列的顺序描述的，但是步骤S312到步骤S316中的处理实际上是同时进行的。

接下来，将参考图29中所示的流程图描述关于被安排为在图28中所示的步骤S315中创建EP_map的处理的细节。注意，该处理开始于其中图1中所示的记录装置501被安装有光盘511的状态，在光盘511中记录有诸如参考图6、图9或图27描述的TS 190。就是说，该处理开始于其中记录介质501被安装有光盘511的状态，在光盘511中记录有由BS音频ES和HQ音频ES构成的TS 190。

在步骤S351中，记录控制单元526读出被记录在光盘511中的剪辑信息文件，并且接受由BS音频ES和HQ音频ES所构成的TS 190的输入。如上所述，TS具有图6、图9和图27中所示的配置，并且由BS音频ES的TS分组和HQ音频ES的TS分组构成。其输入被接受的TS由多个TS分组构成，因此这些TS分组被顺序地提供给控制器521。

在步骤S352中，控制器521得到从记录控制单元526提供的TS分组，并且判断这个TS分组是否是BS音频ES的TS分组。如图27中所示，该TS分组是BS音频TS分组311-1(BS音频ES的TS分组)或者HQ音频TS分组321-1(HQ音频ES的TS分组)，所以控制器521判断所得到的TS分组是否是BS音频ES的TS分组。每个TS分组的头部被添加有transport_priority标志(tp标志)，该标志被安排为标识相关的TS分组是BS音频ES的TS分组还是HQ音频ES的TS分组，所以控制器521基于被添加到TS分组的头部的tp标志进行判断。例如，当tp标志为1时，控制器521判断出相关的TS分组是BS音频ES的TS分组。

在步骤S352中，在判断出相关的TS分组不是BS音频ES的TS分组的情况下，处理返回到步骤S352，其中后续处理被重复。就是说，在BS音频ES的TS分组的情况下，步骤S352中的处理被执行。

在步骤S352中，在判断出相关的TS分组是BS音频ES的TS分组的情况下，处理进行到步骤S353，其中控制器521从TS分组的净荷中得到PES分组的PTS值。现在，TS分组由TS头部和TS净荷构成，并且PES分组的数据被存储在TS净荷中。因此，例如图27中所示的TS分组311-1的TS净荷包括PES头部301-1，所以控制器521得到被存储在PES头部301-1中的PTS值。例如，控制器521得到作为PTS值的PTS#1。

注意，一个PES分组由多个TS分组构成，所以要被处理的TS分组在某些情况下不包括PES头部。因此，例如，在TS分组的净荷不包括PES头部而只包括PES净荷的情况下，处理返回到步骤S352，下一个TS分组被获得，并且相关的后续处理被重复。

在步骤S354中，控制器521判断包括具有与所获得的PTS(例如PTS#1)相同的PTS值的HQ音频ES的PES分组的TS分组是否存在于 TS之后，并且判断最开头的访问单元是否包括具有详细信息(图11中所示的详细信息276)的头部。首先，例如，控制器521判断是否有包括具有与在步骤S353的处理中所获得的PTS#1相同的PTS值的HQ音频ES的PES分组存在于TS之后(即，就TS而言，在步骤S352的处理中所获得的TS分组之后)。换句话说，控制器521判断是否有具有PTS#1的HQ音频ES的TS分组存在于TS中其中获得PTS#1的BS音频ES的TS分组之后的位置处。随后，接下来，在上述判断结果是肯定结果(是)的情况下(在具有PTS#1的HQ音频ES的TS分组存在于TS中其中获得PTS#1的BS音频ES的TS分组之后的位置处的情况下)，控制器521进一步判断具有PTS#1的HQ音频TS分组的PES净荷302-2(更具体地说是PES净荷302-2的头部)是否包括详细信息(图11中所示的详细信息276)。就是说，控制器521判断参考图12所描述的上述布置是否被满足，以及从具有相同PTS的HQ音频TS分组中提取的PES净荷是否包括详细信息276(图11)。注意，复用和PES分组化被执行以满足针对此原因的上述约束条件。

在步骤S354中判断出没有包括具有与所获得的PTS(例如PTS#1)相同的PTS值的HQ音频ES的PES分组的TS分组存在于TS之后的情况下，或者在判断出最开头的访问单元不包括具有详细信息276的头部的情况下，处理返回到步骤S352，其中后续处理等被重复。就是说，在这两个条件都被满足的情况下(在判断结果为是的情况下)，处理进行到步骤S355。

在步骤S354中判断出包括具有与所获得的PTS(例如PTS#1)相同的PTS值的HQ音频ES的PES分组的TS分组存在于TS之后的情况下，并且在判断出最开头的访问单元包括具有详细信息的头部的情况下，在步骤S355中，控制器521将当前的TS分组作为入口点。例如，控制器521将图27中所示的TS分组311-1作为入口点。就是说，在PTS值匹配的情况下，并且在具有匹配的PTS的BS音频TS分组被置于具有相匹配的PTS的HQ音频TS分组之后并且从HQ音频TS分组中获得的PES净荷包括详细信息276的情况下，相关的BS音频TS分组被作为入口点。

因而，详细信息被包括在具有与作为入口点的PTS相同的PTS的HQ音频TS分组中，从而在播放HQ音频时可以顺利地获得详细信息，并且因此重放可以被快速执行。

在步骤S356中，控制器521基于BS音频ES和HQ音频ES的PID、TS分组的编号以及在步骤S353的处理中所获得的PTS值，创建EP_mqp。现在，假设如上所述，当执行TS分组化时，PID被添加，并且BS音频ES和HQ音频ES的PID相同(例如PID＝a0)。因此，例如，控制器521基于PID＝a0、TS分组的编号(图27中所示的BS音频TS分组311-1的源分组编号)和PTS#1创建EP_map。

在步骤S357中，控制器521判断当前被处理的TS分组是否是最后一个TS分组。在当前被处理的TS分组不是最后一个TS分组的情况下，即在判断出还存在未被处理的TS分组的情况下，处理返回到步骤S352，其中后续处理等被重复。就是说，处理被重复，一直到最后一个TS分组被处理为止。在步骤S357中判断出当前被处理的TS分组是最后一个TS分组的情况下，处理结束。

可以通过图29中所示的处理来生成EP_map。

接下来，将描述通过图28中所示的处理播放被记录在光盘511中的剪辑AV流文件和被记录在光盘511中的剪辑信息文件(剪辑)的情形。图30是示出了被配置为播放光盘511中所记录的数据的重放装置641的配置示例的框图。

控制器651通过执行预先准备好的控制程序或者控制重放控制单元654读出被记录在光盘511中的控制程序，将其放在存储器653中并且执行该控制程序，来基于通过操作输入单元652输入的用户操作控制重放装置641的总体操作。例如，当光盘511被安装时，控制器651可以在外部显示设备上显示预定的菜单屏幕。

操作输入单元652由输入设备和接收单元构成，所述输入设备例如按钮、按键、触摸板、滚轮、鼠标等等，并且所述接收单元被配置为接收诸如从预定的遥控器发送的红外射线之类的信号，所述操作输入单元652获得用户的操作输入以将其提供给控制器651。

存储器653存储控制器651根据情况执行各种类型的处理所必需的数据。

重放控制单元654从光盘511中读出数据，并且将其输出到缓冲器655以根据控制器651的控制将所读出的数据提供给控制器651、存储器653或AV解码器656。在从光盘511读出的信息是控制程序、控制信息或剪辑信息文件(EP_map)等的情况下，由重放控制单元654读出的信息被输出到控制器651或存储器653。在从光盘511读出的信息是诸如AV流文件等之类的AV数据的情况下，由重放控制单元654读出的信息被输出到缓冲器655以将其提供给AV解码器656。

缓冲器655暂时地缓存重放控制单元654从光盘511读出的诸如AV流等之类的AV数据，并将其提供给AV解码器656。注意，AV流实际由TS 190构成，所以控制器651从TS中获得PES，并且进而获得ES。BS音频ES、HQ音频ES和视频ES被包括在这个ES中。

AV解码器656对从重放控制单元654提供的诸如AV流等之类的AV数据进行解码，并且将所获得的视频信号和音频信号输出到外部显示设备。具体而言，编码后的BS音频ES、HQ音频ES和视频ES被包括在这个AV流中。

AV解码器656例如是如图31中所示的包括被配置为对利用第一编码方法编码的音频ES进行解码的第一音频解码器656-1和被配置为对视频ES进行解码的视频解码器656-3的AV解码器，或者如图32中所示的包括被配置为对利用第二编码方法编码的音频ES进行解码的第二音频解码器656-2和被配置为对视频ES进行解码的视频解码器656-3的AV解码器。

就是说，图31中所示的AV解码器656就音频而言只能对BS音频ES进行解码，而不能对HQ音频ES进行解码。图32中所示的AV解码器656就音频而言可以对HQ音频ES进行解码。注意，图32中所示的AV解码器656包括具有比第一音频解码器656-1的性能更好的第二音频解码器656-2，因此当然可以对BS音频ES进行解码，但是它通常针对播放具有更高性能的音频，并且相应地，将在假设图32中所示的AV解码器656 可以对HQ音频ES进行解码的情况下进行描述。

现在，返回到图30，其中，利用显示设备，基于由解码器656解码的数据(视频数据和音频数据)执行光盘511中所记录的内容的输出(图片的显示、音频的输出)。

此外，控制器651还在必要时与驱动器657相连接，并且驱动器657被安装有可移动介质658，例如磁盘(包括柔性盘)、光盘(CD-ROM(紧致盘只读存储器)和DVD)、磁光盘(MD(注册商标) (迷你盘))或者半导体存储器。

接下来，将描述被安排为利用通过图29中所示的处理所创建的EP_map(该EP_map通过图28中所示的步骤S315中的处理被创建和记录)执行特殊重放的方法。EP_map对于执行随机访问重放是有用的。

在数字广播的传输流中，音频PID时常变化，因此AV解码器(图30中所示的重放装置641的AV解码器656)有必要知道被记录的传输流的PID映射。因此，EP_map具有被称为EP_map_for_one_stream_PID()的针对每个子表的音频PID值，并且ProgramInfo具有关于PID映射的信息。

图33是描述关于BS音频ES的随机访问重放的流程图。这个处理例如是在包括图31中所示的AV解码器656的图30中所示的重放装置641播放来自通过上述处理被记录在光盘511中的剪辑(剪辑AV流文件和剪辑信息文件)的BS音频ES的情况下被执行的处理。就是说，这个处理在重放装置641只能处理BS音频ES和视频ES的情况(其中重放装置641不能处理HQ音频ES的情况)下被执行，并且还在执行对BS音频ES的随机访问重放的情况下被执行。此外，这个处理是被安排为执行随机访问重放的处理，即不是从光盘511中所记录的剪辑AV流文件的顶部开始重放，而是从用户所指示的重放位置开始重放。注意，当其中记录有剪辑的光盘511被安装在图30中所示的重放装置641(包括图31中所示的AV解码器656的重放装置)上时，这个处理开始。

在步骤S411中，重放控制单元654基于来自控制器651的控制从包括被记录在光盘511中的BS音频ES和HQ音频ES的剪辑中获得EP(例如，在图29中所示的处理中创建的EP_map)。重放控制单元654将所获得的EP_map提供给控制器651。

在步骤S412中，操作输入单元652接受来自用户的随机访问重放指示。操作输入单元652将与所接收到的指示相对应的信号提供给控制器651。例如，用户利用时间点(这个AV流上的重放时间点)指示重放位置(入口点)作为随机访问重放指示，因此操作输入单元652将与所接受的入口点的时间点相对应的信号提供给控制器651。如参考图29的描述，入口点被设置为针对预定的BS音频TS分组。控制器651基于与从操作输入单元652提供的时间点相对应的信号执行预定的计算，并且获得PTS。就是说，控制器651可以将用户所指定的时间点(这个AV流上的时间点)转换为PTS。

在步骤S413中，控制器651基于所获得的EP_map获得被接受的入口点的源分组编号和PTS值。例如，在图27中，在利用SPN_EP_start所指示的位置(时间点)被接受作为入口点的情况下，控制器651获得SPN_EP_start SPN#1(即，BS音频TS分组311-1的编号)作为入口点的源分组编号，并且还获得PTS#1作为被存储在从包括BS音频TS分组311-1的TS分组(TS分组的TS净荷的部分)中提取的PES分组的PES头部中的PTS值(PTS_EP_start)。

在步骤S414中，控制器651将包括BS音频ES和HQ音频ES的剪辑的读出位置作为所获得的源分组编号。例如，控制器651将所获得的源分组编号SPN#1(SPN_EP_start)作为光盘511的剪辑的读出位置。此时，入口点可以被设置为只针对BS音频TS分组，如参考图29所描述的，因此光盘511的读出位置被设置为针对BS音频TS分组。

在步骤S415中，重放控制单元654基于来自控制器651的控制读出具有相关的源分组编号的BS音频ES的TS分组，并将其提供给第一音频解码器656-1。例如，重放控制单元654读出具有源分组编号SPN#1的BS音频ES的TS分组，并将其提供给图31中所示的第一音频解码器656-1。

在步骤S416中，第一音频解码器656-1从被提供的BS音频ES的TS分组开始解码。就是说，重放开始于具有源分组编号SPN#1的BS音频TS分组311-1(图27)。具有诸如图31之类的配置的第一音频解码器656-1 可以对BS音频ES进行解码，因此BS音频ES的TS分组被顺序地读出，被解码并输出。随后的TS分组的重放与普通的重放相同，因此将省略相关的详细描述，但是只有BS音频TS分组被顺序地提取并解码。

根据图33中所示的处理，包括可以处理BS音频ES的图31中所示的AV解码器656的重放装置641(图30)可以参考EP_map基于来自用户的随机访问重放指示执行对BS音频ES的随机访问重放。

接下来，将参考图34中所示的流程图描述针对HQ音频ES的随机访问重放处理。这个处理是在包括图32中所示的AV解码器656的图30中所示的重放装置641播放来自通过上述处理被记录在光盘511中的剪辑(剪辑AV流文件和剪辑信息文件)的HQ音频ES的情况下被执行的处理。就是说，这个处理是在重放装置641能够处理HQ音频ES和视频ES的情况下以及在执行对HQ音频ES的随机访问重放的情况下被执行的处理。此外，这个处理是被安排为执行随机访问重放的处理，即不是从光盘511中所记录的剪辑AV流文件的顶部开始重放，而是从用户所指示的重放位置开始重放。注意，当其中记录有剪辑的光盘511被安装在图30中所示的重放装置641(包括图32中所示的AV解码器656的重放装置)上时，这个处理开始。

在步骤S451中，重放控制单元654基于来自控制器651的控制从包括被记录在光盘511中的BS音频ES和HQ音频的剪辑中获得EP_map(例如，在图29中所示的处理中所创建的EP_map)。重放控制单元654将所获得的EP_map提供给控制器651。

在步骤S452中，操作输入单元652接受来自用户的随机访问重放指示。操作输入单元652将与所接收到的指示相对应的信号提供给控制器651。例如，用户利用时间点指示重放位置(入口点)作为随机访问重放指示，因此操作输入单元652将与所接受的入口点的时间点相对应的信号提供给控制器651。如参考图29的描述，入口点被设置为针对预定的BS音频TS分组。就是说，包括图32中所示的AV解码器656的重放装置641可以处理HQ音频ES，因此，例如在图27中所示的示例的情况下，从HQ音频TS分组321-1开始的重放被请求，但是这里所获得的入口点是 BS音频TS分组311-1。因此，就随后的处理而言，必须设置针对最合适的HQ音频TS分组的读出位置。注意，用户可以指定从PTS转换而来的时间(重放时间)作为随机访问的重放位置。

在步骤S453中，控制器651基于所获得的EP_map获得被接受的入口点的源分组编号和PTS值。例如，在图27中，在利用SPN_EP_start所指示的位置(时间点)被接受作为入口点的情况下，控制器651获得SPN_EP_start SPN#1(即，BS音频TS分组311-1的编号)作为入口点的源分组编号，并且还获得PTS#1作为被存储在从包括BS音频TS分组311-1的TS分组(TS分组的TS净荷的部分)中提取的PES分组的PES头部中的PTS值(PTS_EP_start)。

在步骤S454中，控制器651将包括BS音频ES和HQ音频ES的剪辑的读出位置作为所获得的源分组编号。例如，控制器651将所获得的源分组编号SPN#1(SPN_EP_start)作为光盘511的剪辑的读出位置。此时，入口点可以被设置为只针对BS音频TS分组，如参考图29所描述的，因此光盘511的读出位置被设置为针对BS音频TS分组。

在步骤S455中，重放控制单元654读出基于来自控制器651的控制从当前的读出位置开始读光盘511，并且获得在读出位置之后(在。。记录时间之后)最先被记录的HQ音频TS分组。例如，在图27中所示的示例中，在读出位置被设置为BS音频TS分组311-1的情况下，重放控制单元654获得其源分组编号在BS音频TS分组311-1(SPN#1)之后的HQ音频TS分组321-1，该HQ音频TS分组321-1是第一个HQ音频TS分组。重放控制单元654将所获得的HQ音频TS分组321-1提供给控制器651。

在步骤S456中，控制器651判断所获得的HQ音频TS分组的TS净荷中所包括的PTS头部的PTS值是否等于所获得的PTS值。在图27中所示的示例的情况下，控制器651判断所获得的HQ音频TS分组321-1的TS净荷中所包括的PTS头部302-1的PTS值是否等于在步骤S453中的处理处获得的PTS值。在判断出与所获得的HQ音频TS分组相对应的PTS值不等于在步骤S453中的处理处所获得的PTS值的情况下，处理返回到步骤S453，其中后续处理被重复。例如，在当前被读出的HQ音频TS分组321-1之后的位置处被记录的HQ音频TS分组321-2(其源分组编号在后)，并且在步骤S456中进行关于所获得的HQ音频TS分组321-2的判断。注意，一个PES分组由多个TS分组构成，所以要被处理的HQ音频TS分组在某些情况下可能不包括PES头部。因此，例如，在HQ音频TS分组的净荷不包括PES头部而只包括PES净荷的情况下，处理返回到步骤S455，其中下一个HQ音频TS分组被获得，并且后续的处理被重复。

在步骤S456中判断出与所获得的HQ音频TS分组相对应的PTS值等于在步骤S453中的处理处所获得的PTS值的情况下，控制器651将相关的HQ音频TS分组作为新的读出位置。随后，处理进行到步骤S457，其中重放控制单元654基于来自控制器651的控制读出其PTS值被判断为等于在步骤S453的处理中所获得的PTS值的HQ音频TS分组，并且将其提供给图32中所示的第二音频解码器656-5。就是说，在与所获得的HQ音频TS分组321-1相对应的PTS值等于在步骤S453中的处理中所获得的PTS值的情况下，BS音频TS分组311-1和HQ音频TS分组321-1对应于相同的重放时间点。因此，重放控制单元654从其PTS值被判断为等于在步骤S453的处理中所获得的PTS值的HQ音频TS分组的位置处开始重放。

在步骤S458中，第二音频解码器656-2从被提供的HQ音频TS分组321-1开始解码。就是说，重放开始于具有与作为被指定为要被播放的位置的入口点的BS音频TS分组311-1(图27)相同的PTS#1的HQ音频TS分组321-1。具有诸如图32之类的配置的第二音频解码器656-2可以对HQ音频ES进行解码，因此HQ音频ES的TS分组被顺序地读出，被解码并输出。随后的TS分组的重放与普通的重放相同，因此将省略相关的详细描述，但是只有HQ音频TS分组被顺序地提取并解码。

如就图29中的步骤S354和步骤S355中的处理所描述的，进行如下安排，其中EP_map被创建以包括详细信息276(图11)，即指示具有与作为入口点的BS音频TS分组相同的PTS的HQ音频TS分组中的解码开始位置的信息，因此第二音频解码器656-2可以从被提供的HQ音频TS分组开始解码，从而重放可以被快速执行。如果相关的HQ音频TS分组中不包括详细信息276，则必须搜索包括详细信息的HQ音频TS分组，并且相应地，HQ音频ES的快速重放不能被执行，但是就该实施例而言，在具有与BS音频TS分组的PTS相同的PTS值的HQ音频TS分组包括详细信息276的情况下，BS音频TS分组被作为入口点(图29中的处理)，从而HQ音频ES可以被快速播放。

根据图34中的处理，包括可以处理HQ音频ES的图32中所示的AV解码器656的重放装置641(图30)可以基于来自用户的随机访问重放指示通过参考EP_map执行对HQ音频ES的随机访问重放。

从而，在复用BS音频TS分组和HQ音频TS分组的情况下，进行如下安排，其中诸如图18到图22中所示的处理被执行，复用被执行以满足进行PES分组化时的约束条件和用于随机访问的复用约束条件，并且就其中记录有利用上述处理所生成的剪辑AV流文件的光盘511而言，通过以上参考图29所描述的处理创建EP_map，从而随机访问重放可以基于EP_map被执行。就是说，图22中所示的用于随机访问的复用约束条件是被安排为创建图29中所示的EP_map的复用约束条件。

此外，在利用不同编码方法被编码的音频数据被进行TS分组和复用并且被记录在光盘中的情况下，存在具有与可以被设置为入口点的一个音频流(BS音频ES的TS分组)的TS分组的PTS相同的PTS值的HQ音频TS分组，就TS而言，具有相关的PTS值的HQ音频TS分组被记录以被放置在具有相关的PTS值的BS音频TS分组之后，相关的BS音频TS分组被设置为入口点，从而创建EP_map，因此即使在播放与用户所指定的位置相对应的HQ音频ES的情况下，具有与作为入口点的BS音频TS分组的PTS相同的PTS的HQ音频TS也可以被读出，因而对HQ音频ES的随机访问播放可以被执行。

此外，在BS音频TS分组和HQ音频TS分组具有相同的PTS，HQ音频TS分组被置于BS音频TS分组之后并且详细信息276(图11)被记录在HQ音频TS分组中的情况下，入口点被安排为要被设置，并且因此，详细信息276始终被记录在具有与作为入口点的BS音频TS分组的 PTS相同的PTS的HQ音频TS中，并且因而，可以从相关的位置开始快速地播放HQ音频ES。

注意，在图33和图34中，已经描述了其中利用音频EP_map(相关的被记录的剪辑中所包括的EP_map播放光盘511中所记录的剪辑(剪辑AV流文件和剪辑信息文件)的情况。现在，例如，就其中利用音频EP_map的情况而言，除了其中可以使用浏览器的幻灯片被播放的情况之外，可以想到如下情况，其中被预先记录在另一个第一记录介质(未示出)中的视频流和经由网络或另一第二记录介质(第二记录介质可以是例如图30中所示的光盘511)下载的音频流以同步方式被播放。在预先被记录在另一第一记录介质中的视频流和经由网络或另一第二记录介质被下载的音频流以同步方式被播放的情况下，来自用户的随机访问指示在步骤S412和步骤S452中被接受，并且就步骤S413和步骤S453中的处理而言，首先，视频EP_map(被预先记录在另一第一记录介质中的视频EP_map被参考，从音频EP_map(与所下载的音频相对应的EP_map)获得与视频EP_map的入口点同步的音频流的入口点，并且接下来，入口点的源分组编号和PTS被获得，利用步骤S413和步骤S453中的上述处理。

注意，就本实施例而言，记录装置501(图23)和重放装置641(图30)被描述为单独的装置，但是本实施例可以被应用于那些装置被集成到其中的记录/重放装置。在这种情况下，因此，上述记录处理和重放处理都由该记录/重放装置来执行。此外，发送装置111(图4)和记录装置501(图23)可以被集成到一个装置中。

因而，在利用不同编码方法被编码并生成的BS音频ES和HQ音频ES被分别进行TS分组化并且被复用到一个传输流中的情况下，要被复用的TS分组被安排为被确定以满足用于随机访问的约束条件，假设第一虚拟接收装置120包括只能处理BS音频ES的第一虚拟解码器(包括图15中所示的BS音频数据解码处理单元360-1的图14中所示的虚拟解码器121)并且第二虚拟接收装置120包括可以处理HQ音频ES的第二虚拟解码器(包括图15中所示的HQ音频数据解码处理单元360-2的图14中所示的虚拟解码器121)，从而解码可以被顺利地执行，不管是只能处理BS音频ES的接收装置还是能够处理HQ音频ES的接收装置。

就是说，发送装置111调整(确定)要被复用的TS分组，同时在包括第一虚拟解码器的第一虚拟接收装置中，使传输缓冲器362-1不上溢，并且同时使基本缓冲器363-1既不上溢也不下溢，并且还调整(确定)要被复用的TS分组，同时在包括第二虚拟解码器的第二接收装置中，使得传输缓冲器362-2不上溢，同时使基本缓冲器363-2既不上溢也不下溢，并且还要满足用于随机访问的复用约束条件，从而解码可以被顺利地执行，不管是只能处理BS音频ES的接收装置还是能够处理HQ音频ES的接收装置。

此外，在对HQ音频ES进行PES分组化的情况下，PES分组化单元136不需要计算DTS，从而PES分组化处理也可以被顺利地执行。此外，PES分组化单元136也不需要在要被生成的PES分组中存储DTS值，从而PES分组的数据量可以被压缩。就是说，PES分组的数据量可以被进一步减少。

注意，本发明不局限于图4中所示的发送装置BS音频TS分组，而是可以被应用于被配置为复用音频流(音频ES)的TS分组的所有复用装置。

此外，就上述示例而言，已经描述了在对利用第一编码器141被编码的BS音频ES和利用第二编码器142被编码的HQ音频ES中的每一个进行TS分组化并且复用到一个流中的情况下的顺序(定时)，但是本发明可以被应用于其它情况，只要其中利用不同编码方法被编码的音频ES被分别进行TS分组化并且复用到一个流中即可。

上述一系列处理不仅可以用硬件来实现，也可以用软件来实现。在这种情况下，上述处理通过例如图35中所示的个人计算机700来执行。

在图35中，CPU 701根据被存储在ROM 702中的程序或者从存储单元708装载到RAM 703的程序执行各种类型的处理。RAM 703还存储CPU 701执行各种类型的处理所必需的数据。

CPU 701、ROM 702和RAM 703经由内部总线704被相互连接。这个内部总线704还与输入/输出接口705相连接。

输入/输出接口705与由键盘和鼠标等构成的输入单元706、由CRT或LCD等构成的显示器、由扬声器等构成的输出单元707、由硬盘等构成的存储单元708和由调制解调器或终端适配器等的通信单元709相连接。通信单元709经由包括电话线和CATV的各种类型的网络来执行通信处理。

输入/输出接口705在必要时与驱动器710相连接，并且从中读出的计算机程序在必要时被安装到存储单元708中，在所述驱动器710上按需要安装有由磁盘、光盘、磁光盘或半导体存储等构成的可移动介质721。

在使用软件执行这一系列处理的情况下，构成相关软件的程序从网络或记录介质被安装。

如图35中所示，这个记录介质不仅包括由其中记录有程序的可移动介质521构成的封装介质(其被分配以向远离计算机的用户提供程序)，而且包括其中记录有程序的包括ROM 702和存储单元708的硬盘等(其在预先被构建在装置主要单元中的状态下被提供给用户)。

注意，就本说明书而言，描述计算机程序的步骤不仅包括要根据所描述的顺序串行处理的处理，还包括在不必要被串行处理的情况下被并行或单独执行的处理。

Claims

1.一种被配置为将音频数据复用为传输流TS分组的复用器，包括：

第一编码装置，被配置为利用用作预定编码方法的第一编码方法对所述音频数据进行编码；

第二编码装置，被配置为利用第二编码方法对所述音频数据进行编码，所述第二编码方法是可变长度编码方法并且与所述第一编码方法不同，所述第二编码装置被安排为对每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；

PES分组化装置，被配置为将通过所述第一编码装置被编码的所述音频数据和通过所述第二编码装置被编码的所述音频数据分组化为PES分组，并且还对多个所述经分组化的PES分组添加用于被解码的情况的时间点信息；

TS分组化装置，被配置为将通过所述PES分组化装置被进行PES分组化的所述PES分组分组化为TS分组，并且还对多个所述经分组化的TS分组添加相同的ID；

确定装置，被配置为从通过所述TS分组化装置被分组化的多个所述TS分组中，确定要被复用的TS分组；以及

复用装置，被配置为复用由所述确定装置确定的所述TS分组；

其中，所述PES分组化装置将通过所述第一编码装置被编码的所述音频数据和通过所述第二编码装置被编码的所述音频数据分组化为PES分组，使得满足预定周期的所述音频数据单元出现在PES净荷的头部；

并且其中，所述确定装置被配置为假设第一虚拟解码器和第二虚拟解码器，所述第一虚拟解码器被配置为对通过所述第一编码装置被编码的所述音频数据进行解码，所述第二虚拟解码器被配置为基于被添加给通过所述第二编码装置被编码的所述音频数据的所述定时值，对通过所述第二编码装置被编码的所述音频数据进行解码，并且，所述确定装置还基于被安排用于对所述经复用的TS进行分组随机访问的复用约束条件，确定要被复用的TS分组。

2.根据权利要求1所述的复用器，其中，所述确定装置基于所述第一虚拟解码器中所包括的第一基本缓冲器和针对所述第一基本缓冲器的数据传送速率以及所述第二虚拟解码器中所包括的第二基本缓冲器和针对所述第二基本缓冲器的数据传送速率，来从通过所述TS分组化装置被分组化的多个所述TS分组中确定要被复用的TS分组。

3.根据权利要求2所述的复用器，其中，所述确定装置从通过所述TS分组化装置被分组化的多个所述TS分组中确定要被复用的TS分组，同时使所述第一虚拟解码器中所包括的所述第一基本缓冲器和所述第二虚拟解码器中所包括的第二基本缓冲器既不上溢也不下溢。

4.根据权利要求1所述的复用器，还包括：

记录装置，被配置为将通过所述复用装置被复用的所述TS分组记录在记录介质中。

5.根据权利要求1所述的复用器，其中，所述音频数据单元是音频访问单元。

6.根据权利要求2所述的复用器，其中，所述第一虚拟解码器包括在所述第一基本缓冲器的前级的传输缓冲器；

并且其中，所述第二虚拟解码器包括在所述第二基本缓冲器的前级的传输缓冲器，并且还包括在所述第二基本缓冲器的后级的第三基本缓冲器。

7.根据权利要求6所述的复用器，其中，在假设针对所述第三基本缓冲器的输入定时是针对所述定时值的定时的情况下，所述确定装置从通过所述TS分组化装置被分组化的多个所述TS分组中确定要被复用的TS分组。

8.根据权利要求7所述的复用器，其中，所述定时值是用音频信息的采样周期表示的值，在所述采样周期处所述音频数据被发送给所述第三基本缓冲器。

9.根据权利要求1所述的复用器，其中，在对通过所述第二编码装置被编码的所述音频数据进行PES分组化的情况下，所述PES分组化装置对通过所述第二编码装置被编码的所述音频数据进行分组化，以使得满足所述周期并且包括有从其位置处开始解码的解码信息的所述音频数据单元出现在PES净荷的头部。

10.根据权利要求1所述的复用器，其中，所述复用约束条件是这样的约束条件：其中在TS包括具有与通过所述第一编码装置被编码的音频数据的TS分组中所包括的所述时间点信息相同的时间点信息的通过所述第二编码装置被编码的音频数据的TS分组的情况下，通过所述第一编码装置被编码的音频数据的TS分组先于通过所述第二编码装置被编码的音频数据的TS分组而被复用；

并且其中，所述确定装置基于对所述第一虚拟解码器和所述第二虚拟解码器的假设以及所述复用约束条件，确定要被复用的TS分组。

11.一种被配置为将音频数据复用为传输流TS分组的复用器的复用方法，包括：

第一编码步骤，被安排为利用用作预定编码方法的第一编码方法对所述音频数据进行编码；

第二编码步骤，被安排为利用第二编码方法对所述音频数据进行编码，所述第二编码方法是可变长度编码方法并且与所述第一编码方法不同，所述第二编码步骤被安排为对每个预定的音频数据单元添加用于被解码的情况的表示定时的定时值；

PES分组化步骤，被安排为将通过所述第一编码步骤中的处理被编码的所述音频数据和通过所述第二编码步骤中的处理被编码的所述音频数据分组化为PES分组，并且还对多个所述经分组化的PES分组添加用于被解码的情况的时间点信息；

TS分组化步骤，被安排为将通过所述PES分组化步骤中的处理被进行PES分组化的所述PES分组分组化为TS分组，并且还对多个所述经分组化的TS分组添加相同的ID；

确定步骤，被安排为从通过所述TS分组化步骤中的处理被分组化的多个所述TS分组中，确定要被复用的TS分组；以及

复用步骤，被安排为复用通过所述确定步骤中的处理所确定的所述TS分组；

其中，利用所述PES分组化步骤中的处理，通过所述第一编码步骤中的处理被编码的所述音频数据和通过所述第二编码步骤中的处理被编码的所述音频数据被分组化为PES分组，使得满足预定周期的所述音频数据单元出现在PES净荷的头部；

并且其中，所述确定步骤中的处理被安排为假设第一虚拟解码器和第二虚拟解码器，所述第一虚拟解码器被配置为对通过所述第一编码步骤中的处理被编码的所述音频数据进行解码，所述第二虚拟解码器被配置为基于被添加给通过所述第二编码步骤中的处理被编码的所述音频数据的所述定时值，对通过所述第二编码步骤中的处理被编码的所述音频数据进行解码，并且，所述确定步骤还基于被安排用于对所述经复用的TS分组进行随机访问的复用约束条件，确定要被复用的TS分组。