CN101076852A - 数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备、多路复用方法、以及程序 - Google Patents
数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备、多路复用方法、以及程序 Download PDFInfo
- Publication number
- CN101076852A CN101076852A CNA200580042654XA CN200580042654A CN101076852A CN 101076852 A CN101076852 A CN 101076852A CN A200580042654X A CNA200580042654X A CN A200580042654XA CN 200580042654 A CN200580042654 A CN 200580042654A CN 101076852 A CN101076852 A CN 101076852A
- Authority
- CN
- China
- Prior art keywords
- stream
- grouping
- audio stream
- pes
- packetizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000010365 information processing Effects 0.000 title claims abstract description 13
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 239000000872 buffer Substances 0.000 claims abstract description 338
- 238000003860 storage Methods 0.000 claims description 94
- 230000014509 gene expression Effects 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 52
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 230000005055 memory storage Effects 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 7
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 60
- 230000008569 process Effects 0.000 description 56
- 238000005516 engineering process Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 18
- 230000003139 buffering effect Effects 0.000 description 14
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 13
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 13
- 230000008901 benefit Effects 0.000 description 13
- 101100465559 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PRE7 gene Proteins 0.000 description 12
- 101150076896 pts1 gene Proteins 0.000 description 12
- GUGNSJAORJLKGP-UHFFFAOYSA-K sodium 8-methoxypyrene-1,3,6-trisulfonate Chemical group [Na+].[Na+].[Na+].C1=C2C(OC)=CC(S([O-])(=O)=O)=C(C=C3)C2=C2C3=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C2=C1 GUGNSJAORJLKGP-UHFFFAOYSA-K 0.000 description 12
- 230000014759 maintenance of location Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000033228 biological regulation Effects 0.000 description 6
- 238000004513 sizing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 101150109471 PID2 gene Proteins 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000034179 segment specification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J13/00—Code division multiplex systems
- H04J13/10—Code generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Communication Control (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Systems (AREA)
Abstract
本发明提供一种数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备、多路复用方法、以及程序，使得接收端能够确保解码包括基础流和扩展流、并经过分级编码的音频流。TS分组化部分(537)分组化基础音频流和扩展音频流为TS分组，控制部分(535)控制发送TS分组的定时。此处，按照虚拟接收器的基本缓冲器不会上溢或下溢的定时，控制部分(535)控制多路复用TS分组的定时。本发明可以适用于多路复用TS分组的多路复用设备。
Description
技术领域
本发明涉及数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备和多路复用方法、和程序，更具体地说，涉及一种确保接收端解码每个均包括基础流和扩展流的分级编码音频流的数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备、多路复用方法、以及程序。
背景技术
分组化和编码(多路复用)视频和音频流的方法包括MPEG(运动图像专家组)传输流技术(以下被称为MPEG2-TS技术)。
图1是在发送器1使用MPEG2-TS技术来执行编码的情况下的限制的示意图。发送器1使用MPEG2-TS技术来编码视频和音频流并且发送该编码流。在这种情况下，通过假定虚拟接收器2，发送器1判断其分组化MPEG2-TS视频和音频流的定时，以便在虚拟接收器2中的虚拟解码器3能够解码通过发送器1发送的MPEG2-TS分组。这里，虚拟接收器2包括虚拟解码器3，其是在例如，ISO/IEC 13818-1 MPEG2制式中被定义的T-STD(传输流标准目标解码器)。
图2示出图1中的虚拟解码器3的配置的示例。换句话说，图2中的虚拟解码器3是在MPEG2制式中被定义的T-STD的模型。
MPEG2制式的标准在使用MPEG2-TS技术来编码诸如MPEG1视频、MPEG2视频、和MPEG4 AVC视频的以MPEG标准定义的视频流、以及诸如MPEG1音频、MPEG2 AAC音频的以MPEG标准定义的音频流的情况下有限制。具体地，发送器1编码视频和音频流，以便编码视频和音频能够通过虚拟解码器3解码。换句话说，发送器1编码并且分组化视频和音频流，以便所获得的视频和音频能够适合于图2中的虚拟解码器3的模型的限制。
发送到虚拟接收器2(图1)的MPEG2-TS被提供给虚拟解码器3。如图2所示，过滤器2通过分组类型来过滤被提供到虚拟解码器3的MPEG2-TS。
具体地，MPEG2-TS包括多个分组，每个分组承载有用于标识分组的PID(分组标识符)。基于由包括在MPEG2-TS中的分组所承载的PID，过滤器4提供视频流形成TS分组到用于处理视频流的视频数据解码部分5、提供音频流形成TS分组到用于处理音频流的音频数据解码部分6、以及提供系统相关TS分组到用于处理系统数据的系统解码部分7。
视频数据解码部分5包括传输缓冲器(在图2中用TBv表示)11、多路复用缓冲器(在图2中用MBv表示)12、基础缓冲器(在图2中用EBv表示)13、视频解码器(在图2中用Dv表示)14、以及输出排序缓冲器(在图2中用Ov表示)15。
当视频流形成TS分组通过过滤器4被提供给视频数据解码部分5时，视频流形成TS分组被存储在传输缓冲器11中。被存储在传输缓冲器11中的TS分组以预定定时被提供给多路复用缓冲器12并且被平滑。平滑分组被提供给基础缓冲器13。视频解码器14以预定定时提取存储在基础缓冲器13中的分组的视频存取单元，解码该视频存取单元，并且输出解码视频存取单元。解码数据的一部分通过输出排序缓冲器15从终端56输出，以及解码数据的其它部分从终端17被输出并且被回放。
音频数据解码部分6包括传输缓冲器(在图2中用TBn表示)18、基础缓冲器(在图2中用Bn表示)19、以及音频解码器(在图2中用Dn表示)20。
当音频流形成TS分组通过过滤器4被提供给音频数据解码部分6时，音频流形成TS分组被存储在传输缓冲器18中。传输缓冲器18的大小(容量)是512字节。基础缓冲器19的大小取决于诸如MPEG1音频或MPEG2AAC音频的音频编码类型而不同。在音频数据解码部分6中，Rxn表示来自传输缓冲器18的漏率(leak rate)。当传输缓冲器18存储数据时，来自传输缓冲器18的数据以Rxn的速率(速度)被提供。当传输缓冲器18不存储数据时，没有数据从传输缓冲器18被提供到基础缓冲器19(即，Rxn＝0)。
音频解码器20以预定定时提取被存储在基础缓冲器19中的音频存取单元，解码该音频存取单元，并且输出用于回放的解码音频存取单元。具体地，当音频存取单元的表示时间戳(PTS)与T-STD的系统时间时钟的时间相等时，音频解码器20从基础缓冲器19中提取音频存取单元。音频存取单元是形成音频流的编码单元，以及还被用作解码单元。
系统解码部分7包括传输缓冲器(在图2中用TBsys表示)22、基础缓冲器(在图2中用Bsys表示)23、以及系统解码器(在图2中用Dsys表示)24。
当系统相关TS分组通过过滤器4被提供给系统解码部分1时，系统相关TS分组被作为数据@被存储在传输缓冲器22中。被存储在传输缓冲器22中的数据被提供给基本缓冲器23。系统解码器24以预定定时提取被存储在基本缓冲器23中的系统存取单元，解码该系统存取单元，并且通过终端25输出解码系统存取单元。
图1中的发送器1需要执行分组化视频和音频流，判断发送定时，以及编码，以便发送数据能够通过包括虚拟解码器3的虚拟接收器2被正确地解码。
换句话说，发送器1需要@执行确定分组化音频流和编码的定时，以便根据在图2中的虚拟解码器3的音频解码器模型(T-STD)，传输缓冲器18不上溢，以及基本缓冲器19不上溢和下溢。
考虑接收器(回放设备)，如专利文件1所示，处理和回放基础流和对于基础流具有可扩展性的扩展流的接收器已经被提出。
MPEG-2(运动图像专家组)音频流是向后兼容的，以便即使通过MPEG-1音频解码器，它也能够被回放。换句话说，MPEG2音频流具有包括作为基础部分的MPEG-1音频流部分和作为扩展部分的MPEG-2音频部分的结构。
在DVD(数字多功能盘)视频格式中，多路复用MPEG2音频流以生成程序流的方法被公开(例如，非专利文件1)。图3是用DVD视频格式的程序流的结构的示意图。图3中的程序流30包括视频包31、MPEG2音频包32、以及多个包33-1至33-j(j表示任意自然数)。
MPEG2音频包32包括包报头34、PES(分组化基本流)分组报头35、MPEG1音频数据(基础)36、PES分组报头37、和mpeg2音频数据(扩展)38。另外，MPEG2音频包32的有效载荷包括：包括PES分组报头35和音频数据36的MPEG1音频PES分组、和包括PES分组报头37和MPEG2音频数据38的MPEG2音频扩展PES分组。
当MPEG2音频包32被回放时，仅仅能够解码MPEG1音频流的回放设备(仅用于MPEG1的回放设备)仅仅个别地回放PES分组报头35和作为MPEG1音频流部分的MPEG1音频数据36。能够执行回放直到MPEG2音频流的回放设备(具有回放直到扩展音频流的能力的回放设备)个别地回放基础和扩展音频流两者。具体地，除PES分组报头35和MPEG1音频数据36之外，后者回放设备回放PES分组报头37和作为MPEG2音频流的MPEG2音频数据38。
[专利文件1]日本未经审查的专利公报No.11-31362
[非专利文件1]DVD Specifications for Read-only Disc Part3；Version 1.1
发明内容
要解决的技术问题
然而，近年来对于流的可扩展性，在图3所示的程序流的情况下，流结构被确定为格式。因此，其它音频流扩展不能被添加。
这与可扩展性的降低有关，并且成为问题，因为难以实现回放设备的标准化。
另外，当音频流被广播时，通过使用TS(传输流)执行广播是共通的。然而，在图3所示的程序流编码方法中使用TS是不适当的。具体地，因为与包(例如，在图3中的MPEG2音频包32)相对应的TS分组具有相对小的188字节的长度，当两个PES分组，基础部分(MPEG1)和扩展部分(MPEG2)，在TS包中被多路复用时，低编码效率的问题发生。
而且，流的使用最近已经被研究，其特征在于，即使在基础部分没有音频流(以下被称为基础音频流)，流也能够用扩展部分中的音频流(以下被称为扩展音频流)独立地解码。然而，如果仅仅使用现有的技术，则难以处理在上述流之中不包含基础音频流的流，即其中仅仅扩展音频流被多路复用的流。另外，当其中仅仅扩展音频流被多路复用的这样的流被提供时，仅仅能够解码基础音频流的回放设备，难以判断是否通过使用方法而不是实际企图解码流，来回放与该流相对应的音频。
换句话说，在发送器11，以多路复用的形式，发送包括对于基础流具有可扩展性的扩展流的分级编码流的情况下，当在图2中包括虚拟解码器3的虚拟接收器2被假定时，能够处理基础和扩展流两者的接收器(实际的接收器，其未被示出)能够执行解码。然而，对于仅仅能够处理基础流的接收器(实际的接收器，其未被示出)，执行解码是困难的。因此，存在传输缓冲器18上溢的可能，以及存在基本缓冲器19上溢和下溢的可能。
换句话说，在发送器1发送包括基础和扩展流的分级编码流的情况下，如果如图2所示在虚拟接收器2中的虚拟解码器3被简单假定，则存在仅仅接收基础流的接收器难以充分地解码流的情况。
鉴于上述情况，本发明已经被提出，意图确保接收端能够解码包括基础和扩展流的@分级编码音频流。
解决技术问题的技术方案
本发明的数据结构是用于如下情况的数据的数据结构，所述情况为，在预定流被编码，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括之后，成为一个或多个分组的分组化被执行，以及包括该一个或多个分组的流被提供给信息处理设备，对该流的预定处理被信息处理设备执行，其中，该数据包括表示基础流的类型的分组是否存在于流中的基础流存在/不存在信息。
在信息处理设备中使用的数据还包括表示第1至第n扩展音频流的类型的分组是否存在于流中的扩展流存在/不存在信息。
流可以是程序流。
流可以是TS(传输流)。
被信息处理设备使用、并且包括基础流存在/不存在信息的数据是在被包括在TS中的TS分组中、与关于预定流的PAT(程序关联表)和PMT(程序映射表)相对应的TS分组。
被信息处理设备使用、并且包括基础流存在/不存在信息的数据是关于从流中被个别地提供到信息处理设备的预定流的元数据。
除基础流存在/不存在信息之外，被信息处理设备使用的数据还包括在预定流被编码时表示编码类型的信息。
在本发明的数据结构中，作为用于如下情况的数据，在所述情况中，在预定流被编码，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括之后，成为一个或多个分组的分组化被执行，以及包括该一个或多个分组的流被提供给信息处理设备，对该流的预定处理被信息处理设备执行，规定该数据包括表示基础流的类型的分组是否存在于该流中的基础流存在/不存在信息。
本发明的第一信息处理设备包括：编码装置，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；第一分组化装置，其在基础流和第1至n扩展流的类型中，向作为编码装置编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，以及其分组化具有所添加的流ID的一个或多个类型的流为一个或多个PES(分组化基本流)分组，并且输出该一个或多个PES分组；第二分组化装置，其分组化从第一分组化装置输出的一个或多个PES分组为一个或多个预定分组，并且输出该一个或多个预定分组；以及生成装置，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于从第二分组化装置输出的一个或多个分组中。
生成装置还生成扩展流存在/不存在信息，用于表示第1至n扩展流的类型的分组是否存在于从第二分组化装置输出的一个或多个分组中。
第一信息处理设备还包括输出装置，其输出至少包括从第二分组化装置输出的一个或多个分组的流以及由生成装置生成的基础流存在/不存在信息到信息处理设备自身的外部。
从第二分组化装置输出的分组可以形成程序流。
从第二分组化装置输出的分组可以是TS(传输流)分组。
生成装置还生成PAT(程序关联表)和PMT(程序映射表)，作为至少包括基础流存在/不存在信息的表。第二分组化装置还可以分组化被生成装置生成的PAT和PMT为一个或多个TS分组，并且输出该TS分组。除与从第二分组化装置输出的流相对应的一个或多个TS分组之外，输出装置还可以输出包括与从第二分组化装置输出的PAT和PMT相对应的一个或多个TS分组的TS到信息处理设备自身的外部。
被生成装置生成的PMT还可以包括被第一分组化装置添加的流ID。
本发明的第一信息处理设备还可以包括元数据生成装置，其生成关于预定流的元数据，该元数据至少包括被生成装置生成的基础流存在/不存在信息。输出装置个别地输出由从第二分组化装置输出的一个或多个分组形成的流和被元数据生成装置生成的元数据到信息处理设备自身的外部。
生成装置还可以生成表示在预定流被编码装置编码时的编码类型的信息。
第一信息处理方法包括：编码步骤，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；第一分组化步骤，其在基础流和第1至n扩展流的类型中，向作为在编码步骤中编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，以及分组化具有所添加的流ID的一个或多个类型的流成一个或多个PES(分组化基本流)分组，并且输出一个或多个PES分组；第二分组化步骤，其分组化在第一分组化步骤中输出的一个或多个PES分组为一个或多个预定分组，并且输出该一个或多个预定分组；以及生成步骤，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于从第二分组化步骤中输出的一个或多个分组中。
本发明的第一程序是将被计算机执行以控制关于预定流的处理的程序，该程序包括：编码步骤，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；第一分组化步骤，其在基础流和第1至n扩展流的类型中，向作为在编码步骤中编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，以及分组化具有所添加的流ID的该一个或多个类型的流为一个或多个PES(分组化基本流)分组，并且输出该一个或多个PES分组；第二分组化步骤，分组化在第一分组化步骤中输出的一个或多个PES分组的每一个为一个或多个预定的分组，并且输出该一个或多个预定的分组；以及生成步骤，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于在第二分组化步骤中输出的一个或多个分组中。
在本发明的第一信息处理设备和方法、以及第一程序中，预定流被编码，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括。作为流ID(标识符)的不同的唯一值被添加到作为编码的结果而实际上所获得的一个或多个流，以及具有所添加的流ID的一个或多个流被分组化为一个或多个PES(分组化基本流)分组，由此，一个或多个PES分组的每一个被分组化为预定分组。另外，至少表示基础流的类型的分组是否存在于一个或多个分组中的基础流存在/不存在信息被生成。
本发明的第二信息处理设备包括：获取装置，其中，当不同的设备执行：编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流，以及分组化具有所添加的流ID的一个或多个流为一个或多个PES(分组化基本流)分组；分组化一个或多个PES分组的每一个为预定分组；生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每一个是否存在于一个或多个分组中；以及输出由一个或多个分组形成的流和流存在/不存在信息时，该获取装置获取流和流存在/不存在信息；存储装置，其从被获取装置获取的流中还原一个或多个PES分组；解码装置，其在被存储在存储装置中的一个或多个PES分组中，解码从存储装置中读取的PES分组；以及控制装置，其基于被获取装置获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能被解码装置处理的类型的分组是否被包括在被获取装置获取的流中，以及当控制装置判断该类型的分组没有被包括时，其执行禁止从存储装置读取PES分组的控制，而当控制装置判断该类型的分组被包括时，其执行读取具有所添加的流ID的PES分组的控制，该流ID与能被解码装置处理的类型相对应。
被获取装置获取的流可以是程序流。
被获取装置获取的流可以是包括一个或多个TS分组的TS(传输流)。
当该不同的设备还执行生成有关预定流的PAT(程序关联表)和PMT(程序映射表)，作为至少包括流存在/不存在信息的表，还分组化PAT和PMT为一个或多个TS分组，以及除与流相对应的一个或多个TS分组之外，还输出包括与PAT和PMT相对应的一个或多个TS分组的TS时，获取装置可以获取TS，以及控制装置从被获取装置获取的TS中提取与PAT和PMT相对应的TS分组，并且可以从TS分组中识别流存在/不存在信息。
PMT可以包括由不同的设备添加的流ID，以及，当判断能够被解码装置处理的类型的TS分组被包括在被获取装置获取的TS中时，控制装置可以从PMT中识别与能够被解码装置处理的类型相对应的流ID，并且可以执行从存储装置中读取具有流ID的PES分组的控制。
当不同的设备还执行生成有关预定流的元数据，该元数据至少包括流存在/不存在信息，以及个别地输出流和元数据时，控制装置可以个别地获取流和元数据，以及控制装置可以从被获取装置获取的元数据中识别流存在/不存在信息。
表示在预定流被编码时的编码类型的信息可以从不同的设备输出。获取装置还获取信息，以及控制装置还可以基于被获取装置获取的信息而执行被获取装置获取的流的编码类型的识别，并且判断能够被解码装置处理的类型的分组是否能够被包括在流中，并且，当控制装置确定该类型的分组被包括时，控制装置执行能够被解码装置处理的类型的分组是否被包括在TS中的判断，以及，当控制装置确定该类型的分组不能够被包括时，控制装置禁止该判断。
本发明的第二信息处理方法是用于信息处理设备的信息处理方法，其中，当不同的设备执行：编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流，以及分组化具有所添加的流ID的一个或多个流为一个或多个PES(分组化基本流)分组；分组化一个或多个PES分组的每一个为预定分组；生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每一个是否存在于一个或多个分组中；以及输出由一个或多个分组形成的流和流存在/不存在信息时，流和流存在/不存在信息被获取，以及流存在/不存在信息被用于对流执行处理，该信息处理方法包括：存储控制步骤，其从被信息处理设备获取的流中还原一个或多个PES分组，并且存储该一个或多个PES分组到信息处理设备的缓冲器中；解码步骤，其在存储控制步骤中被存储的一个或多个PES分组中，解码从缓冲器中读取的PES分组；以及控制步骤，其基于被信息处理设备获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能够被解码装置处理的类型的分组是否被包括在被获取装置所获取的流中，以及当确定该类型的分组不被包括时执行禁止从存储装置读取PES分组的控制，以及，当确定该类型的分组被包括时，执行控制以从缓冲器读取具有所添加的流ID的PES分组，作为在解码步骤中将被处理的分组，所述流ID与能够在解码步骤中被处理的类型相对应。
本发明的第二程序是将被计算机执行用来控制接收器的程序，其中，当发送器执行：编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流；以及分组化具有所添加的流ID的一个或多个流为一个或多个PES(分组化基本流)分组；分组化一个或多个PES分组的每一个为预定分组；生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每个是否存在于一个或多个分组中；以及输出由一个或多个分组形成的流和流存在/不存在信息时，流和流存在/不存在信息被接收，以及流存在/不存在信息被用于执行对流的处理，该程序包括：存储控制步骤，其从形成被接收器接收的TS的一个或多个分组中还原一个或多个PES分组，并且存储该PES分组到接收器的缓冲器中；解码步骤，在存储控制步骤中存储的一个或多个PES分组之中，解码从缓冲器读取的PES分组；以及控制步骤，其基于被接收器获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能够在解码步骤中被处理的类型的分组是否包括在被接收器接收的流中，当确定该类型的分组不被包括时，执行控制以禁止从存储装置读取PES分组，以及，当确定该类型的分组被包括时，执行控制以从缓冲器读取具有所添加的流ID的该PES分组，作为在解码步骤中将被处理的分组，所述流ID与能够在解码步骤中被处理的类型相对应。
在本发明的第二信息处理设备和方法、以及第二程序中，当不同的设备(或发送设备，以下仅称为不同的设备)执行：编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流；以及分组化具有所添加的流ID的一个或多个流为一个或多个PES(分组化基本流)分组；分组化一个或多个PES分组的每一个为预定分组；生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的每个分组是否存在于一个或多个分组中；以及输出由一个或多个分组形成的流和流存在/不存在信息时，第二信息处理设备(或接收设备，以下仅称为第二信息处理设备)获取流和流存在/不存在信息，以及使用流存在/不存在信息执行对流的处理。具体地，一个或多个PES分组从被包括在所获取的流中的至少一个分组中被还原，以及一个或多个PES分组被存储在第二信息处理设备的缓冲器(或存储装置，以下仅称为缓冲器)中。预定PES分组在被解码之前从缓冲器中被读取。在此情况下，基于所获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型之中，能够被第二信息处理设备处理的类型的分组是否被包括在所获取的流中。当确定该分组未被包括时，从缓冲器读取PES分组被禁止。反之，当确定该分组被包括时，具有所添加的流ID的PES分组被作为将被解码的分组从缓冲器中读取，所述流ID与能够被第二信息处理设备自身处理的类型相对应。
本发明的发送设备包括：编码装置，其编码输入流，以便基础流和对于基础流具有可扩展性的扩展流被包括；分组化装置，其分组化被编码装置获得的基础流和扩展流的每个为TS(传输流)分组；控制装置，其控制分组化装置所获得的TS分组被发送的定时；以及发送装置，其以被控制装置控制的定时，来发送TS分组到接收器。该控制装置当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，控制TS分组发送定时，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
基本缓冲器的第一容量小于第二容量，以及作为到基本缓冲器的输入比特率的第一速率小于第二速率。
通过假定被第一虚拟接收器获取的TS分组仅仅是在被发送装置发送的TS分组之中的形成基础流的TS分组，以及假定被第二虚拟接收器获取的TS分组是形成被发送装置发送的基础流和扩展流的TS分组，控制装置可以控制TS分组发送定时。
第一虚拟接收器和第二虚拟接收器还分别在第一虚拟接收器和第二虚拟接收器中的基本缓冲器之前的段中包括传输缓冲器，以及控制装置可以在传输缓冲器被防止上溢时，控制TS分组发送定时。
在计算防止第一虚拟接收器中的基本缓冲器上溢和下溢的定时之后，通过计算防止第二虚拟接收器中的基本缓冲器上溢和下溢的定时，控制装置可以控制TS分组发送定时。
本发明的发送方法包括：编码步骤，其编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；分组化步骤，其分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；控制步骤，控制在分组化步骤中获得的TS分组被发送的定时；以及发送步骤，其以由控制步骤所控制的定时，来发送TS分组到接收器。在控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，TS分组发送定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
本发明的第三程序是允许计算机执行处理的程序，其包括：编码步骤，其编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；分组化步骤，其分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；控制步骤，其控制在分组化步骤中获得的TS分组被发送的定时；以及发送步骤，其以由控制步骤控制的定时来发送TS分组到接收器，其中，在控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，TS分组发送定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
在本发明的发送设备和方法、以及第三程序中，输入流被编码，以便基础流和对于基础流具有可扩展性的基本流被包括。基础流和扩展流的每个被分组化为TS分组。按照定时，TS分组被发送，以及TS分组被发送到接收器。当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，TS分组发送定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
本发明的多路复用设备包括：编码装置，其编码输入流，以便基础流和对于基础流具有可扩展性的扩展流被包括；分组化装置，其分组化被编码装置获得的基础流和扩展流的每个为TS(传输流)分组；控制装置，其控制被分组化装置所获得的TS分组被多路复用的定时；以及多路复用装置，其以被控制装置控制的定时，来多路复用TS分组。该控制装置当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，控制TS分组多路复用定时，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
基本缓冲器的第一容量可以小于第二容量，以及作为到基本缓冲器的输入比特率的第一速率可以小于第二速率。
通过假定被第一虚拟接收器获取的TS分组仅仅是在被多路复用装置多路复用的TS分组之中的形成基础流的TS分组，以及假定被第二虚拟接收器获取的TS分组是形成被多路复用装置多路复用的基础流和扩展流的TS分组，控制装置可以控制TS分组多路复用定时。
第一虚拟接收器和第二虚拟接收器还可以在基本缓冲器之前的段中分别包括传输缓冲器，以及控制装置可以在传输缓冲器被防止上溢时，控制TS分组多路复用定时。
在计算防止第一虚拟接收器中的基本缓冲器上溢和下溢的定时之后，通过计算防止在第二虚拟接收器中的基本缓冲器上溢和下溢的定时，控制装置可以控制TS分组多路复用定时。
控制装置还可以在第一虚拟接收器和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，控制传输流分组多路复用定时。
本发明的多路复用设备还可以包括记录控制装置，其执行控制，以便被多路复用装置多路复用的TS分组被记录在记录介质中。
输入流可以包括音频流部分和视频流部分的至少一个。
本发明的多路复用方法或程序包括：编码步骤，其编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；分组化步骤，其分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；控制步骤，其控制在分组化步骤中获得的TS分组被多路复用的传输流分组多路复用定时；以及多路复用步骤，其以被控制步骤控制的定时来多路复用TS分组。在控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，TS分组多路复用定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
在本发明的多路复用设备和方法、以及第四程序中，输入流被编码，以便基础流和对于基础流具有可扩展性的基本流被包括。基础流和扩展流的每个被分组化为TS分组。传输流分组多路复用定时被控制，以便所获得的TS分组被多路复用，以及TS分组以被控制的定时被多路复用。当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，TS分组多路复用定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
多路复用设备可以是独立的设备，并且可以是执行发送器的多路复用的块。
有益效果
根据本发明，确保每个均包括基础流和扩展流的分级编码音频流能在接收端被解码。
附图说明
图1是说明其中发送器使用MPEG2-TS来编码的相关技术的情况下的限制的方框图。
图2是示出图1所示的解码器的配置的示例的方框图。
图3是在DVD视频格式中程序流的配置的示例的示意图。
图4是示出本发明被应用到的发送/接收系统的整体配置的示例的方框图。
图5是示出在图4中的发送/接收系统中的发送器的配置的示例的方框图。
图6是其中基础音频流和第1扩展音频流被多路复用的TS结构的示例的示意图。
图7是在本发明被应用到的表中的PAT的配置的示例的示意图。
图8是在本发明被应用到的表中的PAT的配置的示例的示意图。
图9是在本发明被应用到的表中的PAT的配置的示例的示意图。
图10是被插入图9的PMT中的audio_stream_descriptor()结构的另一示例的示意图。
图11是在图10中的Base_Ex_audio_coding_mode的示意图。
图12是本发明被应用到的应用格式的结构的示例的示意图。
图13是在图12中本发明被应用到、以及能被包括在播放列表或剪辑信息文件中的元数据的结构的示例的示意图。
图14是在图12中本发明被应用到、以及能被包括在播放列表或剪辑信息文件中的元数据的结构的另一示例的示意图。
图15是在图12中本发明被应用到、以及能被包括在播放列表或剪辑信息文件中的元数据的结构的又一示例的示意图。
图16是说明被图5中的发送器执行的“TS分组接收处理”的示例的流程图。
图17是说明在图16的步骤S19中被执行的“PMS分组生成处理”的示例的流程图。
图18是说明在图16的步骤S20中“TS分组接收处理”的流程图。
图19是示出在图4的发送/接收系统中的接收器的配置的示例的方框图。
图20是示出在图19的接收器中的音频流处理部分的配置的详细示例的方框图。
图21是说明在图20中被音频流处理部分执行的“TS分组接收处理”的示例的流程图。
图22是其中仅仅第1扩展音频流而不包括基础音频流被多路复用的TS结构的示例的示意图。
图23是说明在图20中被音频流处理部分执行的“TS分组接收处理”的另一示例的流程图。
图24是说明在图20中被音频流处理部分执行的“TS分组接收处理”的另一示例的流程图。
图25是示出在图19的接收器中的音频流处理部分的另一详细示例的方框图。
图26是说明在图25中被音频流处理部分执行的“TS分组接收处理”的另一示例的流程图。
图27是示出在图19的接收器中的音频流处理部分的另一详细示例的方框图。
图28是其中仅仅基础音频流和第1至第n扩展音频流被多路复用的TS的另一示例的示意图。
图29是说明在发送器的实施例被应用到的发送器使用MPEG2-TS技术来编码音频流的情况下的限制的方框图。
图30是示出图29所示的发送器的配置的示例的方框图。
图31是其中基础音频流和扩展音频流被多路复用的传输流的结构的示意图。
图32是其中基础音频流被多路复用的传输流的结构的示意图。
图33是说明图29所示的虚拟解码器的模式的方框图。
图34是说明TS分组发送处理的流程图。
图35是说明TS分组发送处理的流程图。
图36是说明用于计算用于基础音频流的缓冲器占用量的处理的流程图。
图37是解码器的系统时间时钟的示意图。
图38是说明用于计算用于基础音频流和扩展音频流的缓冲器占用量的处理的流程图。
图39是说明TS分组发送定时的时序图。
图40是说明在发送器的实施例被应用到的发送器使用MPEG2-TS技术来编码音频流的情况下的限制的方框图。
图41是示出图40所示的发送器的配置的示例的方框图。
图42是其中基础音频流和扩展音频流被多路复用的传输流的结构的示意图。
图43是其中基础音频流被多路复用的传输流的结构的示意图。
图44是说明图40所示的虚拟解码器的模式的方框图。
图45是说明TS分组发送处理的流程图。
图46是说明TS分组发送处理的流程图。
图47是说明用于计算用于基础音频流的缓冲器占用量的处理的流程图。
图48是解码器的系统时间时钟的示意图。
图49是说明用于计算用于基础音频流和扩展音频流的缓冲器占用量的处理的流程图。
图50是说明TS分组发送定时的时序图。
图51是示出发送器的配置的示例、以及说明多路复用的细节的方框图。
图52是其中基础音频流和扩展音频流被多路复用的传输流的示意图。
图53是视频流、音频流、及其它基本流的多路复用的流程的示意图。
图54是与视频流、音频流、和另一基本流相对应的传输流的示例的示意图。
图55是示出图44所示的音频数据解码部分的配置的示例的方框图。
图56是说明TS分组发送处理的另一示例的流程图。
图57是说明TS分组发送处理的另一示例的流程图。
图58是在确定将被多路复用的TS分组的情况下第一方法的示意图。
图59是说明与图58的方法相对应、用于计算音频流的缓冲器占用量的处理的流程图。
图60是在确定将被多路复用的TS分组的情况下第二方法的示意图。
图61是说明与图60的方法相对应、用于计算音频流的缓冲器占用量的处理的流程图。
图62是示出发送器的配置的另一示例的方框图。
图63是图25所示用于发送器的流的结构的示意图。
图64是示出个人计算机的配置的示例的方框图。
附图标记
40 发送/接收系统
41 发送器
42 接收器
71 输入部分
72 音频编码器
73 基础缓冲器
74-1至74-n 扩展缓冲器
75 提取信息添加部分
76 PES分组化部分
77 TS分组化部分
78 元数据生成部分
79 发送部分
79-1 TS发送部分
79-2 元数据发送部分
81 基础音频流
82 扩展音频流
91 PES分组流
101至110 TS分组
111 播放列表
112 剪辑
121 剪辑AV流文件
122 剪辑信息文件
131，131-1至131-3元数据
151 接收部分
152，152-1至152-3 音频流处理部分
153 输出部分
161 元数据输入部分
162 TS输入部分
163 主控部分
164 PID过滤器
165 传输缓冲器
166 流ID过滤器
167 基础缓冲器
168 用于基础的解码器
171 PES分组流
181至186 TS分组
201 元数据输入部分
202 TS输入部分
203 主控部分
204 PID过滤器
205 传输缓冲器
206 流ID过滤器
207 基础缓冲器
208 用于基础的解码器
209 扩展缓冲器
221 元数据输入部分
222 TS输入部分
223 主控部分
224 PID过滤器
225 传输缓冲器
226 扩展缓冲器
227 用于基础和扩展的解码器
211 PES分组流
301-1至301-n 扩展音频流
311 PES分组流
321 至330 TS分组
511 发送器
512 虚拟接收器
521 虚拟解码器
531 输入部分
532 音频编码器
533 缓冲器
534 提取信息添加部分
535 控制部分
536 PES分组化部分
537 TS分组化部分
538 发送部分
541 基础缓冲器
542 扩展缓冲器
581 基础音频流
582 扩展音频流
591 PES分组流
601 传输流
741 PID过滤器
761 传输优先级过滤器
762 传输缓冲器
763 基本缓冲器
764 音频解码器
811 发送器
812 虚拟接收器
821 虚拟解码器
831 输入部分
832 音频编码器
833 缓冲器
834 提取信息添加部分
835 控制部分
836 PES分组化部分
837 TS分组化部分
838 发送部分
841 基础缓冲器
842 扩展缓冲器
881 基础音频流
882 扩展音频流
891 PES分组流
901 传输流
1041 PID过滤器
1061 传输优先级过滤器
1062 传输缓冲器
1063 基本缓冲器
1064 音频解码器
901 TS分组化部分
902 多路复用部分
具体实施方式
第一实施例
图4是示出本发明被应用到的发送/接收系统的第一实施例的整体配置的示例的图。
这个发送/接收系统40包括发送器41和接收器42。发送器41是，例如，设备，诸如发送多个TS分组的广播台，以及接收器42是，例如，家用设备，诸如家用机顶盒。
在第一实施例中，发送器41编码音频流并且发送结果的TS分组，而接收器42接收以及解码该TS分组并且获得结果的音频流。
图5是示出图4中的发送器41的配置的示例的方框图。
发送器41包括：输入部分71、音频编码器72、基础缓冲器73、扩展缓冲器74-1至74-n、提取信息添加部分75、PES分组化部分76、TS分组化部分77、元数据生成部分78、以及发送部分79。字母n表示等于或大于1的任意数。
将被发送的音频流被输入到输入部分71中。被输入到输入部分71的音频流被提供到音频编码器72。
音频编码器72编码从输入部分71提供的音频流。在图5中的音频编码器72是用于n段扩展音频流的编码器。换句话说，音频编码器72能编码音频流以便在从第1段至第n段的多个段中基础音频流和扩展音频流的至少一种类型的流被包括。
k段扩展音频流(k表示1至n之间的值)以下被简称为第k扩展音频流。
在第一实施例中，随着段数n变大，可扩展性变高，音频回放质量变高，并且功能变强。另外，第一实施例考虑音频流的情况，该音频流的特征在于即使没有基础音频流，仅仅使用扩展音频流它们也能被独立地解码。
详细地，音频编码器72编码音频流。音频编码器72分别提供编码基础音频流和第1至第n扩展音频流到基础缓冲器73和扩展缓冲器74-1至74-n。具体地，例如，音频编码器72提供基础音频流至编码基础音频流再到基础缓冲器73，提供编码第1扩展音频流到扩展缓冲器74-1，提供编码第2扩展音频流到扩展缓冲器74-2，以及类似地提供编码第n音频流到扩展缓冲器74-n。如上所述，在第一实施例中，在扩展音频流的段数和缓冲器标记之间相对应。以下，连同图5的描述，基础音频流用BS表示，以及第1至第n扩展音频流用Ext1至ExtN表示。
在将音频流分为基础音频流和第1至第n扩展音频流之后，在第一实施例中的音频编码器72编码流。或者，作为编码音频流的结果，基础音频流和第1至第n扩展音频流可以被输出。
基础缓冲器73存储(缓冲)基础音频流，以及扩展缓冲器74-1至74-n存储(缓冲)第1至第n扩展音频流。在PES分组化部分76的控制下，基础缓冲器73和扩展缓冲器74-1至74-n读取被存储在其中的音频流，并且提供所读取的流到PES分组化部分76。
提取信息添加部分75向PES分组化部分76提供被唯一地添加到基础音频流和第1至第n扩展音频流的ID(标识符)的唯一值，以便解码端能从基础音频流和第1至第n扩展音频流的类型中提取至少一种类型的流。
以下ID被具体称为流ID，以便区别于其它的ID。虽然流ID的形成不被具体限制，但是在第一实施例中，Stream_id或Stream_id_extension被作为流ID使用。
如上所述，流ID是识别流类型(基础音频流和第1至第n扩展音频流)的ID，以及被PES分组化部分76添加到相应的PES分组，如后文所描述。
另外，提取信息添加部分75生成作为提取信息的信息，表示在基础音频流和第1至第n扩展音频流中，在被发送部分79发送的TS中多路复用的音频流中，哪种类型的流存在以及哪种类型的流不存在(以下被称为流存在/不存在信息)，如后文所描述。
提取信息添加部分75提供这个流存在/不存在信息到元数据生成部分78，以及生成包括这个流存在/不存在信息的表。因为这个表在从发送部分79发送的TS中被多路复用，如后文所描述，即，这个表被TS分组化部分77分组化为传输分组(以下被称为TS分组)，如后文所描述，TS分组ID(PID：分组标识符)也被描述。具体地，这个表包括PAT(程序关联表)和PMT(程序映射表)。这个表的细节在后文参考图7至11被描述。提取信息添加部分75提供这个表到TS分组化部分77。
PES分组化部分76通过控制基础缓冲器73和扩展缓冲器74-1至74-n来获取基础音频流和第1至第n扩展音频流，分组化每个音频流为具有从提取信息添加部分75提供的流ID中的相应一个的PES分组，以及顺序地提供PES分组到TS分组化部分77。
换句话说，被提供到TS分组化部分77的每个PES分组的流ID将识别相应的PES分组类型。PES分组类型是基础音频流和第1至第n扩展音频流中的一个。换句话说，例如，基础音频流的类型的PES分组表示包括至少一部分基础音频流数据的PES分组。因此，为了使图4中的接收器42在接收端选择所希望的段数的扩展音频流的PES分组，被添加到PES分组的流ID的值被识别。
如上所述，如果它是使能上述标识符的ID，则流ID的形式不被具体限制。在第一实施例中，流ID是Stream_id或Stream_id_extension。Stream_id表示被包括在MPEG2制式标准中定义的PES分组报头中的Stream_id。另外，Stream_id_extension表示被包括在MPEG2标准Amendment2(第二版修订)(2003)中定义的PES分组报头内的Stream_id_extension。当音频流是除了MPEG音频(MPEG-1/-2音频，MPEGAAC)之外的一个时，Stream_id_extension被使用是优选的。当Stream_id_extension被使用时，MPEG2制式标准Amendment2(2003)规定在Stream_id中的1111 1101(意味着extended_stream_id)的设置。MPEG2制式标准Amendment2(2003)规定具有标识流类型(基础音频流和第1至第n扩展音频流)的唯一值的Stream_id_extension能被使用。
另外，例如，在第一实施例中，上述PES分组以预定次序被顺序地从PES分组化部分76提供到TS分组化部分77。在这种情况下，结果，包括多个PES分组的一个流(以下被称为PES分组流)从PES分组化部分76被提供到TS分组化部分77。PES分组流的具体的示例在后文参考图6描述。
TS分组化部分77分组化从PES分组化部分76提供的PES分组为TS分组，以及分组化从提取信息添加部分75提供的表为TS分组。TS分组化部分77以预定次序顺序地提供这些TS分组到发送部分79的TS发送部分79-1。每个TS分组的具体示例在后文参考图6描述。
元数据生成部分78生成有关在从发送部分79被发送的TS中被多路复用的音频流的元数据(附加的信息)，如后文所描述。此时，元数据生成部分78生成至少包括从提取信息添加部分75提供的流存在/不存在信息的元数据。元数据生成部分78提供所生成的元数据到发送部分79的元数据发送部分79-2。元数据的具体示例在后文参考图12和13描述。
发送部分79被配置以包括TS发送部分79-1和元数据发送部分79-2。
TS发送部分79-1发送以预定次序从TS分组化部分77顺序地提供的TS分组到图4中的接收器42。换句话说，TS发送部分79-1顺序地发送TS分组到接收器42，以便包括TS分组的一个流，即，TS，被发送到接收器42。TS的具体示例在后文参考图6被描述。
元数据发送部分79-2发送从元数据生成部分78提供的元数据到接收器42。
如上所述，图5中的发送器41能以在TS中被多路复用的形式发送流存在/不存在信息、与相应的音频流，以及能以被包括在元数据内的形式发送流存在/不存在信息到接收器42。从发送器41到接收器42的流存在/不存在信息的提供形式不被限制在图5中的示例而可以是任意形式。换句话说，明确地，可以按照接收器42的情况，发送器41以在TS中被多路复用的形式发送流存在/不存在信息和相应的音频流，而不使用被包括在元数据中的形式。在这种情况下，元数据生成部分78和元数据发送部分79-2不是用于发送器41的必需部件。反之，明确地，也可以发送器41以被包括在元数据内的形式而不使用被包括在TS内的形式，发送流存在/不存在信息到接收器42。
发送器41的配置的示例已经参考图5被描述。
然后，从具有图5的配置的发送器41发送的TS，即，通过多路复用基础音频流和第1扩展音频流获得的TS的结构参考图6被描述，作为本发明被应用到的TS地例子。换句话说，为了便利于理解本发明被应用到的TS，在一个扩展音频流的情况下的TS的结构参考图6首先被描述。在描述之后，如果需要，其中没有基础音频流存在的TS、以及其中基础音频流和第1至第n扩展音频流存在的TS的结构被描述。
在图6的示例中，TS被配置为包括：与基础音频流81和扩展音频流82相对应的TS分组103至110；以及包括有关它们的流存在/不存在信息的表，即，分别与PAT和PMT相对应的TS分组101和102。
每一基础音频流81和扩展音频流82具有其中音频采样的预定数被用作一个单元的编码形式。每个单元通过在括号内加下标来表示。具体地，例如，基础音频流181被个别以编码为多个单元(音频存取单元)，BS(1)，BS(2)，...，BS(n)。类似地，例如，扩展音频流82被个别，以编码为多个单元，Ext1(1)，Ext1(2)，...，Ext1(n)。关于基础音频流81和扩展音频流82，具有相同下标的一组单元，例如，单元BS(1)和Ext1(1)，在编码时通过图5中的音频编码器72被同步地获得，以及通过图6中的接收器42被同步地回放(解码)。
图5中的PES分组化部分76分组化基础音频流81和扩展音频流82，以生成具有不同的流ID的PES分组，如图6所示。具体地，在图6的示例中，与基础音频流81相对应的PES分组的流ID被设置为“0”，如被描述为“PESHSid＝0”。另外，与扩展音频流82相对应的PES分组的流ID被设置为“1”，如被描述为“PESH Sid＝1”。
如上所述，PES分组化部分76生成并且提供图6所示的PES分组流91到TS分组化部分77。
TS分组化部分77分组化PES分组流91的每个PES分组为具有相同PID的分组103至110，如图6所示。另外，TS分组化部分77分组化从提取信息添加部分75提供的表为TS分组。具体地，TS分组化部分77分组化从提取信息添加部分75提供的表的PAT为TS分组101，并且分组化提供的表的PMT为TS分组102。
虽然，在图6的第一实施例中，与PMT相对应的TS分组102被示出，如在与PAT相对应的TS分组101之后，在TS分组103之前，它能从TS发送部分79-1被发送，实际上，它在每个预定的时间段从TS发送部分79-1被发送。
另外，在诸如图6中的示例的第一实施例中，与一个音频流相对应的TS分组的PID，换句话说，与基础音频流和该音频流的第1至第n扩展音频流的全部类型相对应的TS分组的PID被设置为相同。因为这与在接收器42端的第一实施例的配置(此配置在后文参考图19以及随后的附图被描述)相匹配。因此，取决于接收器42的配置，并不总是要求与基础音频流和该音频流的第1至第n扩展音频流的全部类型相对应的TS分组的PID被设置为相同。例如，通过使用基础音频流和第1至第n扩展音频流的每一类型来作为单元，不同的PID被添加到该类型的TS分组。
然后，与TS分组101相对应的PAT的结构的示例参考图7被描述，以及，随后，与TS分组102相对应的PMT的结构的示例参考图8和9被描述。
图7示出PAT的结构的示例。在这个PAT中，program_entry被写入。这个program_entry(程序入口)描述在包括这个PAT的TS中被多路复用的程序的编号(program-number(程序号))、和在program-number中用于程序的PMT的TS分组的PID。具体地，program_entry表示用于program-number 1的PMT-PID是“X”以及用于program-number 2的PMT-PID是“Y”。PMT-PID的值由图8和9所示的PMT参照。换句话说，PMT的TS分组102承载PID，以及此PID被作为在PAT中的PMT-PID值写入。具体地，例如，当TS分组102的PMT是用于program-number 1的PMT时，TS分组102的PID(PMT-PID)是“X”。另外，例如，当TS分组102的PMT是用于program-number 2的PMT时，TS分组102的PID(PMT-PID)是“Y”。
图8示出PMT的结构的示例。在这个PMT中，当PID是“x”时的stream_entry()(流入口)，即，在program-number 1的情况下的stream_entry()，被写入。在这个stream_entry()中，写入了与具有“y”作为PID的音频流(音频流PID＝y)相对应的TS分组被包括在相应的TS中。如上所述，具有“y”作为PID的TS分组包括PES分组，该PES分组包括在基础音频流和第1至第n扩展音频流中的至少一种类型的流。因此，如图8所示，在这个PMT中，audio_stream_descriptor()(音频流描述符)作为流存在/不存在信息的信息被写入。换句话说，在audio_stream_descriptor()中，表示基础音频流是否存在的标志is_base、和分别表示第1至第n扩展音频流是否存在的标志is_Ext1至is_extN被写入。在第一实施例中，如图8所示，当每个标志是on(1)时，表示相对应的类型的音频流存在。反之，当每个标志是off(0)时，表示相对应的类型的音频流不存在。
因此，例如，当在图6的TS中，包括基础音频流81和扩展音频流82中的一个的分组103至110的PID是“y”时，在TS分组102的PMT中，仅仅标志is_base和is_Ext1是“1”，而其它标志is_Ext2至is_extN全是“0”。
虽然，如上所述，在图8中的PMT中，标志作为有关基础音频流和第1至第n扩展音频流的类型的流存在/不存在信息而被使用，但是明确地，流存在/不存在信息的形式并不局限于该标志。换句话说，其它形式的信息，例如，包括单个预定符号或预定符号的组合的信息也能作为PMT中的流存在/不存在信息被写入。
另外，在图8的PMT中，写入了与具有“z”作为PID(视频流PID＝z)的视频流和具有“y2”作为PID(音频流PID2＝y2)的音频流相对应的TS分组的集合被包括在相对应的TS内。
在许多情况下，实际上，接续音频流PID＝y2的描述，虽然它在图8的PMT中未写入，但与此相对应的audio_stream_descriptor()被写入。另外，类似于音频流，当视频流被编码，以便在基础音频流和第1至第n扩展音频流中，至少一种类型被包括时，优选的是，接续视频流PID＝z的描述，在结构上类似于audio_stream_descriptor的Video_stream_descriptor()(视频流描述符)的描述被添加。
另外，在图9的PMT中，除图8中的PMT结构之外，在audio_stream_descriptor()中，基础音频流和第1至第n扩展音频流的类型的PES分组的流ID(Stream_id(流标识符)或Stream_id_extension(流标识符扩展))被附加地写入。换句话说，图9示出具有不同于在图8中的结构的PMT。详细地，在这个PMT中，当标志is_Base是on(if(is_Base＝＝1))时，规定基础音频流的类型的流ID(例如，在图9的示例中的Base_stream_id_extension(基础流标识符扩展))被写入。类似地，在这个PMT中，当标志is_Extq(q表示1至N中一个的值)是on(if(is_Extq＝＝1))时，规定第q扩展音频流的流ID(例如，在图9的示例中的Extq_stream_id_extension(第q扩展流标识符扩展))被写入。
所以，如上所述，如果，例如，在图6的TS中，包括基础音频流81和扩展音频流82中的一个的分组103至110的PID是“y”，则在TS分组102的PMT中，仅仅标志is_base和is_Ext1是“1”，而其它标志is_Ext2至is_extN是“0”。因此，接续标志is_ExtN(＝0)的描述，“0”作为基础音频流的类型的流ID(Base_stream_id_extension)被写入，以及“1”作为第1扩展音频流的类型的流ID(Ext1_stream_id_extension)被写入。
通过使用具有图9的结构的PMT，优点能被获得，因为，使用规则以判断在发送和接收端PES分组的流ID的值的必要性被消除。换句话说，在使用具有其中如图8所示PES分组的流ID未被写入的结构的PMT的情况下，需要使用规则以判断PES分组的流ID的值。
图10中的HDMV_Base_Ex_audio_descriptor示出插入图8和9中的PMT的audio_stream_descriptor()的其它示例。
在Descriptor_tag(描述符标签)中，“0x05”(在ISO/IEC 13818-1中被定义)被写入。
在Descriptor_length(描述符长度)中，“8”被写入。
在Format_identifier(格式标识符)中，值“0x48 44 4D 56”被写入。这个值表示ASCII码的“HDMV”。
在Stream_coding_type(流编码类型)中，例如，表示，例如，MPEG、AC3、DTS、等等的值被写入。具体地，例如，当MPEG被使用时，表示MPEG的“0x82”被作为Stream_coding_ype写入。
在这种情况下，MPEG音频流具有流特征，该流特征为具有对于基础音频流具有可扩展性的流。因此，作为表示诸如MPEG的音频流编码模式的信息，如图11所示，Base_Ex_audio_coding_mode(基础扩展音频编码模式)被提供。在Base_Ex_audio_coding_mode中，如图11所示，“0”至“15”的值能被写入，以及“0”和“4”至“15”是保留的。Base_Ex_audio_coding_mode实际上具有值“1”至“3”。具体地，当“1”被写入Base_Exaudio_coding_mode时，表示“这个音频流仅仅具有基础音频流”。当“2”被写入Base_Ex_audio_coding_mode时，表示“这个音频流具有基础流和具有可扩展性的流(扩展流)两者”。当“3”被写入Base_Ex_audio_coding_mode时，表示“这个音频流仅仅具有具有可扩展性的流而不具有基础流”。如上所述，可以说Base_Ex_audio_coding_mode表示流存在/不存在信息的其它示例。
表示音频流编码方法的信息，诸如Stream_coding_type，被包括在PMT等等中，以及，在确认流存在/不存在信息之前，在接收端的图4中的接收器42确认表示音频流编码方法的信息，由此，优点能被获得，因为，能够判断将被处理的音频流是否具有可扩展性(音频流是否被编码以具有可扩展性)。换句话说，优点能被获得，因为，还能更快地判断将被处理的音频流是否具有可扩展性。
从图5中的TS发送部分79-1被发送的TS的示例已经参考图6被描述，以及，随后，在这个TS中被多路复用的表，即，PAT和PMT的结构的示例已经参考图7至11被描述。
通过生成包括流存在/不存在信息的表，即，例如，通过生成图7至11所示的PAT和PMT，以及执行分组化为TS分组，在图5中的发送器41能以在TS以及相对应的音频流中被多路复用的形式发送流存在/不存在信息到图4中的接收器42。
如上所述，发送器41能生成包括流存在/不存在信息的元数据，以及能发送元数据到接收器42。因此，元数据的示例参考图12至15被描述如下。
图12示出用于在预定记录/回放系统中使用的记录介质上的应用格式的简化结构。换句话说，图12示出，在其中例如图4中的接收器42形成至少一部分预定记录/回放系统的情况下，在记录介质上的应用格式的简化结构。
图12中示出的格式具有两层，播放列表111和剪辑112，用于管理AV(Audio&Visual)(音频和视频)流。
因此，一个AV流和附加信息被认为是对象，以及该对象被称为剪辑112。换句话说，如图12所示，剪辑AV流文件121是AV流，以及剪辑信息文件122是附加信息。换句话说，剪辑AV流文件121与上述的包括基础音频流和在第1至第n扩展音频流中的至少一种类型的流的音频流相对应。
当播放列表111使用时间戳(时间信息)来表示在剪辑112中的存取点时，剪辑信息文件122是有用的信息，其用于在剪辑AV流文件121中查找流解码将开始的地址信息。
播放列表111是在剪辑112中的回放间隔集合。在剪辑112中的一个回放间隔被称作播放项目。播放项目通过时间轴上的IN(入)点和OUT(出)点对表示。因此，可以说，播放列表111是一个或多个播放项目的集合。
在应用格式中，如图12所示，包括上述流存在/不存在信息的元数据131能被包括在播放列表111或剪辑信息文件122中。换句话说，可以说，图12示出包括元数据131(流存在/不存在信息)的应用格式的示例。
在图4中的发送/接收系统中，当在图12中的应用格式被使用时，发送器41能执行例如下列处理。
换句话说，例如，在图5中的输入部分71、音频编码器72、基础缓冲器73、扩展缓冲器74-1至74-n、PES分组化部分76、TS分组化部分77、以及TS发送部分79-1能接收作为剪辑AV流文件121而被输入的音频流，以及能生成并且发送相对应的TS到接收器42。
另外，例如，元数据生成部分78能生成与作为TS而从TS发送部分79-1发送的剪辑AV流文件121有关的播放列表111和剪辑信息文件122。在元数据生成部分78生成包括与剪辑AV流文件121有关的流存在/不存在信息的元数据131，以及包括在播放列表111或剪辑信息文件122中的元数据之后，元数据生成部分78能提供播放列表111和剪辑信息文件122到元数据发送部分79-2。元数据发送部分79-2能发送播放列表111和剪辑信息文件122到接收器42。
在这种情况下，当接收器42接收例如剪辑AV流文件121、剪辑信息文件122、播放列表111时，接收器42能按照图12中的应用格式记录它们到预定的记录介质。
如果能被发送器41和接收器42处理，则被包括在播放列表111或剪辑信息文件122内的元数据131的形式不被具体限制。具体地，元数据131能具有，例如，图13所示的结构。换句话说，图13示出包括流存在/不存在信息的元数据131的结构的示例。
在下文中，当具有图13中的结构的元数据131需要区别于具有诸如图14中的另一结构的元数据131时，它被称作元数据131-1。
在图13的元数据131-1中，Audio_stream_info()(音频流信息)被写入。在Audio_stream_info()中，写入了用于具有“y”作为PID的音频流的TS分组被包括在相对应的TS中。另外，在stream_coding_type中，音频流编码方法，诸如MPEG音频或MPEGAAC，被写入。当音频流具有对于基础流具有可扩展性的音频特征时，音频流编码方法被写入stream_coding_ype。在Audio_stream_info()中，descriptor()(描述符)作为上述流存在/不存在信息被写入。该descriptor()是与图8中的PMT的audio_stream_descriptor()相对应的信息。换句话说，在descriptor()中，表示基础音频流是否存在的标志is_base和分别表示第1至第n扩展音频流是否存在的标志is_Ext1至is_extN被写入。而且，在descriptor()中，在第一实施例中，类似于Audio_stream_info()，当每个标志是on(1)时，表示相对应的类型的音频流存在。反之，当每个标志是off(0)时，表示相对应的类型的音频流不存在。
因此，例如，如果在图6的TS中，包括基础音频流81和扩展音频流82中的一个的分组103至110的PID是“y”，则在接续在相对应的元数据131中的音频流PID＝y的描述的descriptor()中，仅仅标志is_base和is_Ext1是“1”，而其它标志is_Ext2至is_extN是“0”。
虽然，以上述方式，在图13的元数据131-1中，标志被用作为与基础音频流和第1至第n扩展音频流的类型有关的流存在/不存在信息，明确地，流存在/不存在信息的形式并不局限于标志。换句话说，明确地，其它形式的信息，例如，包括例如单个预定符号或预定符号的组合的信息，能作为在元数据131中的流存在/不存在信息而被写入。
另外，在图13的元数据131-1中，写入了用于每个具有“y2”作为PID的音频流的TS分组被包括在相对应的TS中。因此，实际上，在许多情况下，接续音频流PID2＝y2的描述，虽然未被写入图13的元数据131-1中，但与此相对应的descriptor()被写入。
在使用具有如图13所示的结构的元数据，其中PES分组的流ID未被写入的情况下，对于发送和接收端，需要使用规则来判断PES分组的值。因此，为了消除对于这种规则的需要，类似于图9中的PMT，可以使用元数据131，除图13中的结构之外，其还具有其中用于基础音频流和第1至第n扩展音频流的类型的PES分组的流ID(Stream_id或Stream_id_extension)被附加地写入的结构。
在第一实施例中，MPEG2传输流的示例被描述为流存在/不存在信息的元数据将被关于其使用的对象。然而，本发明并不局限于第一实施例，而是可以被应用到DSS传输流和MPEG2程序流。
当MPEG2程序流被使用时，具有对于基础流具有可扩展性的流特征的音频流在例如在图3中描述的程序流中被多路复用。当流存在/不存在信息的元数据131被添加到MPEG2程序流时，具有图14中的结构的元数据131-2可以代替具有图13中的结构的元数据131-1而被使用。换句话说，代替图13中的Audio_stream_PID信息，例如，如图14所示，被包括在音频流内的基础流和扩展流的每个的PES分组报头的流ID可以被写入。当被写入的信息是例如扩展流的流ID，以及基础流的流ID不存在时，发现在目标程序流的音频流中，仅仅扩展流被编码。换句话说，发现用于基础流的PES分组不存在，以及仅仅扩展流的PES分组存在。
另外，图15示出被添加到图12中的剪辑信息文件122和播放列表111的音频流的元数据131的另一示例。当具有图15中的结构的元数据131需要区别于具有另一结构的元数据时，它被称作元数据131-3。关于元数据131-3，StreamCodingInfo(流编码信息)表示被添加到剪辑或播放列表的音频流的另一示例。
项目ref_to_PID是与图13中的音频流PID相对应的信息。因此，在元数据131-3中，写入了当被称为ref_to_PID的音频流的stream_coding_type值是“0x82”时，该状态表示音频流是具有对于基础流具有可扩展性的流特征的音频流，以及写入了Base_Ex_audio_coding_mode的字段表示音频流的编码模式。在Base_Ex_audio_coding_mode中，图11中的“1”至“3”中的一个值被写入。
在图5中从元数据发送部分79-2发送的元数据的结构的示例已经参考图12至16被描述。
类似于PMT，在元数据131中，通过包括表示用于音频流的编码方法的信息，诸如Stream_coding_ype，上述优点能被获得。具体地，优点能被获得，因为，在确认流存在/不存在信息之前，通过确认表示用于音频流的编码方法的信息，在接收端的在图4中的接收器42能判断将被处理的音频流是否具有可扩展性(它是否被编码以具有可扩展性)。换句话说，优点能被获得，因为，能进一步快速地判断将被处理的音频流是否具有可扩展性。
然后，在图5中的发送器41的TS分组发送处理参考图16的流程图被描述。当发送器41的电源被接通以输入音频流到输入部分71时，这个处理开始。
在步骤S11中，输入部分71接收输入音频流。在步骤S12中，输入部分71输出所接收的音频流到音频编码器72。
在步骤S13中，音频编码器72编码基础音频流和第1至第n扩展音频流。结果，音频编码器72以(垂直地)同步形式输出如图6所示的基础音频流和第1至第n扩展音频流。
在步骤S14中，音频编码器72输出分别关于其中级别(流类型)的编码的音频流。具体地，音频编码器72输出编码的基础音频流到基础缓冲器73，输出编码的第1扩展音频流到扩展缓冲器74-1，输出编码的第2扩展音频流到扩展缓冲器74-2，以及输出编码的第n扩展音频流到扩展缓冲器74-n。
在步骤S15中，基础缓冲器73和第1至n扩展缓冲器74-1至74-n分别存储(缓冲)编码的音频流。
在步骤S16中，基础缓冲器73和第1至n扩展缓冲器74-1至74-n分别以预定定时输出编码的音频流。实际上，PES分组化部分76控制第1至n扩展缓冲器74-1至74-n，以便相对应的音频流被读取。
在步骤S17中，提取信息添加部分75提供流ID(Stream_id或Stream_id_extension)到PES分组化部分76。在步骤S18中，提取信息添加部分75生成并且提供图7至11所示的PAT和PMT到TS分组化部分77。
在步骤S19中，PES分组化部分76执行“PES分组生成处理”。该“PES分组生成处理”指的是基础缓冲器73和扩展缓冲器74-1至74-n被分别控制，以获取基础音频流和第1至第n扩展音频流，以及在被顺序地提供到提取信息添加部分75之前，音频流被分组化为具有从提取信息添加部分75提供的流ID中的相应一个的PES分组。“PES分组生成处理”的细节在后文参考图17中的流程图描述。
在步骤S20中，TS分组化部分77执行“TS分组生成处理”。该“TS分组生成处理”指的是，如上所述，在从PES分组化部分76提供的PES分组被分组化为TS分组，以及从提取信息添加部分75提供的表被分组化为TS分组之后，TS分组以预定次序被顺序地提供到发送部分79的TS发送部分79-1。“TS分组生成处理”的细节将参考图18中的流程图描述。
在步骤S21中，发送部分79的TS发送部分79-1发送TS分组(TS，其是包括多个TS分组的音频流)到接收器42。具体地，例如，在上述图6的示例中，包括表的TS分组101和102以及音频流的TS分组103至110的流被发送。之后，“TS分组生成处理”完成。虽然，在第一实施例中，TS分组被发送到接收器42，但是它们可以被记录在未示出的各种类型的记录介质中。另外，当TS分组被发送到接收器42时，通过在提供记录介质到接收器42之前临时地记录它们在记录介质中，它们可以被间接地发送。
另外，虽然处理未被显示，但是，如果必要，则与“TS分组生成处理”相独立，发送器41能执行图13中的生成元数据131的处理，以及向接收器42发送作为单个项目的元数据131、或者其中元数据131被包括在任何一个中的图12中的播放列表111和剪辑信息文件122。
当这个处理被执行时，单独的元数据131、或者其中元数据131被包括在任何一个中的在图12中的播放列表111和剪辑信息文件122，可以被记录在未示出的各种类型的记录介质中。另外，当向接收器42发送单独的元数据131、或者其中元数据131被包括在任何一个中的图12中的播放列表111和剪辑信息文件122时，通过临时记录元数据131或它们，并且提供记录介质到接收器42，元数据131或者它们可以被间接地发送。
然后，“PES分组生成处理”的详细示例将参考图17中的流程图被描述。
在步骤S31中，PES分组化部分76从提取信息添加部分75中获取与基础音频流和第1至第n扩展音频流相对应的PES分组的流ID。
在步骤S32中，PES分组化部分76添加流ID到来自基础缓冲器73和第1至n扩展缓冲器74-1至74-n的音频流。
在步骤S33中，PES分组化部分76基于来自基础缓冲器73和第1至n扩展缓冲器74-1至74-n的音频流而生成PES分组流。
在步骤S34中，PES分组化部分76输出在步骤S33中生成的PES分组流到TS分组化部分77。
这样完成“PES分组生成处理”。换句话说，在图16中的步骤S19完成，并且处理进行至步骤S20。
然后，在步骤S20中执行的“TS分组生成处理”将参考图18中的流程图描述。
在步骤S41中，TS分组化部分77从PES分组化部分76获取包括基础音频流和第1至第n扩展音频流中至少一个的PES分组流。具体地，例如，在图6的示例中，包括基础音频流81和扩展音频流82的PES分组流91被获取。另外，例如，在图22的示例中，其在后文将被描述，不包括基础音频流、包括第1扩展音频流82的PES分组流171被获取。此外，例如，在图28的示例中，其在后文将被描述，包括基础音频流81以及所有第1至n音频流301-1至301-n的PES分组流311被获取。
在步骤S42中，TS分组化部分77从提取信息添加部分75获取PAT和PMT的表。
在步骤S43中，TS分组化部分77从在步骤S41中获取的PES分组流中，生成承载相同PID(分组ID)的一个或多个TS分组，以及生成PAT和PMT的TS分组。具体地，例如，在图6的示例中，TS分组103至110从PES分组流91中生成，以及PATTS分组101和PMTTS分组102被生成。另外，例如，在图22的示例中，其在后文将被描述，TS分组183至186从PES分组流171生成，以及PATTS分组181和PMTTS分组182被生成。此外，例如，在图28的示例中，其在后文将被描述，TS分组323至330从PES分组流311被生成，以及PATTS分组321和PMTTS分组322被生成。
在步骤S44中，TS分组化部分77顺序地输出在步骤S43中生成的一个或多个TS分组到发送部分79的TS发送部分79-2。
发送器41执行的“TS分组生成处理”的示例参考图16至18中的流程图已经被描述。
如上所述，通过执行上述“TS分组生成处理”，能编码第n扩展音频流的发送器41能将编码音频流划分为基础音频流和第1至第n扩展音频流的类型。另外，在分组化它们为PES分组之前发送器41能添加唯一的流ID到基础音频流和第1至第n扩展音频流的类型，以及在发送TS分组之前能分组化PES分组为TS分组。此时，表示在被分组化为PES分组之后被分组化为TS分组的音频流中、在基础音频流和第1至第n扩展音频流的类型之中、哪种类型被包括以及哪种类型不被包括的信息，即，包括流存在/不存在信息的表，能被接收器42分组化为TS分组，以用于发送。换句话说，在分组化承载用于标识流类型的流ID的多个PES分组、以及表示PES分组的类型(包括在PES分组内的流类型)的表为TS分组之后，发送器41能发送包括结果的TS分组的TS到接收器42。
如上所述，在通过发送器41发送的TS中，在第1至第n扩展音频流中至少一种类型的流的PES分组被多路复用，以及该PES分组承载标识流的类型(基础音频流和第1至第n扩展音频流的类型之一)的流ID。因此，在接收端的接收器42能通过参考流ID，根据它的处理能力，来执行解码。
另外，表示在TS中基础音频流和第1至第n扩展音频流的每个类型是否存在的信息，也即，流存在/不存在信息，以在TS中被多路复用的形式被发送到接收器42。在执行实际的解码之前，接收器42能识别，使用它的处理能力，音频流是否能被多路复用。结果，优点能被获得，因为接收器42能缩短用于找到它能解码的流的时间。
当流存在/不存在信息以被包括在元数据内的形式被发送到接收器42时，这个优点也同样地能获得。换句话说，提供流存在/不存在信息的形式不局限于图3的示例。以任何提供形式，这个优点能被获得。
在图4中的发送/接收系统40中的发送端的发送器41已经被描述。
然后，在接收端的接收器42被描述。
在第一实施例中，在接收(回放)时接收器42至少具有解码基础音频流(BS)的能力。另外，当在回放端的接收器42能回放扩展音频流，直到预定的第m段(m表示等于或大于1的自然数)时，接收器42能解码基础音频流和第1至第n扩展音频流。关于基础音频流和扩展音频流之间的关系，如上所述，例如，随着直到具有值更大的n的扩展音频流的扩展音频流能被解码，音频回放质量被改进，以及功能被增强。具有能通过扩展音频流而不通过基础音频流来解码的特征的音频流的情况也被考虑。
图19是示出图4中的接收器42的配置的示例的方框图。
接收器42包括：接收部分151、音频流处理部分152、以及输出部分153。接收部分151接收TS分组，以及音频流处理部分152执行音频流处理。具体地，音频流处理部分152通过执行诸如解码所接收的TS分组的处理来提取音频流。输出部分153输出由音频流处理部分152处理的音频流。
音频流处理部分152根据它的解码能力来提取不同的音频流。音频流处理部分152描述如下。
图20是示出包括能仅仅解码基础音频流的音频解码器(以下被称为用于基础的解码器)的音频流处理部分152的配置的示例的方框图。当需要区别包括用于基础的解码器的音频流处理部分152与另一音频流处理部分152时，它被称作音频流处理部分152-1。
如图20所示，音频流处理部分152-1被配置以包括到用于基础的解码器168的元数据输入部分161。
被接收部分151所接收的元数据被输入到元数据输入部分161。换句话说，从图5中的发送器41中的元数据发送部分79-2发送的元数据被输入到元数据输入部分161。具体地，例如，具有图13至15等等的结构的元数据131，被输入到元数据输入部分161。
当发送器41和接收器42使用图12中的应用格式时，元数据131被包括在剪辑信息文件122和播放列表111中的任意一个中。因此，在这样的情况下，其中元数据131被包括在它们的任何一个中的剪辑信息文件122和播放列表111被输入到元数据输入部分161。
被接收部分151接收的TS被输入到TS输入部分162。换句话说，被图5中的发送器41中的TS发送部分79-1发送的TS被输入到TS输入部分162。具体地，例如，如图6、在后文将被描述的图22、或在后文将被描述的图28所示的TS被输入到TS输入部分162。
主控部分163控制音频流处理部分152-1的整体。
例如，163从被输入到TS输入部分162的TS中获取与表相对应的TS分组，以及基于所获取的TS分组而在PID过滤器164中设置PID。PID的设置在后文将作为PID过滤器164的描述而被描述。
另外，例如，主控部分163控制写入到传输缓冲器165和基础缓冲器167，以及从传输缓冲器165和基础缓冲器167读取。
此外，例如，主控部分163在流ID过滤器166中设置流ID。流ID的设置在后文将作为流ID过滤器166的描述而被描述。
另外，例如，主控部分163控制用于基础的解码器168的解码。
此外，例如，主控部分163获取被输入到元数据输入部分161的元数据或被包括在被输入到TS输入部分162的TS中的表TS分组内的流存在/不存在信息。基于其，为了执行实际的解码，它能判断是否对被输入到TS输入部分162的TS执行解码。
换句话说，基于流存在/不存在信息，主控部分163能判断在基础音频流和第1至第n扩展音频流的类型之中，能够被用于基础的解码器168处理的TS分组是否被包括在TS输入部分162中。在图20中的示例中，主控部分163仅仅能处理基础音频流的类型，以及，如在后文所述，与被输入到TS输入部分162的TS相对应的PES分组流被存储在传输缓冲器165中。因此，当判断基础音频流不被包括时，主控部分163执行控制，以便从传输缓冲器165读取PES分组被禁止。当判断基础音频流被包括时，主控部分163能进行控制以读取承载与基础音频流的类型相对应的流ID(例如“(sid＝)0”)的PES分组。
主控部分163的这个处理的细节在后文参考图21以及随后的附图描述。
从输入TS输入部分162的TS中，PID过滤器164有选择地提取承载所设置的PID的TS分组，以及从相对应的输出端输出所选择的TS分组。换句话说，PID过滤器164被提供与PID相对应的输出端，以及开关被转换到与所设置的PID相对应的输出端。设置PID由主控部分163执行，如上所述。另外，在包括在TS内的每个TS分组中的PID在PAT或PMT中被描述。因此，当TS被输入到TS输入部分162时，主控部分163在PID过滤器164中设置PAT或PMT的PID。这样，PID过滤器164的开关转换到由所示的“PAT/PMT”表示的输出端。PID过滤器164从TS输入部分162中有选择地提取PAT或PMTTS分组，以及提供所提取的分组到主控部分163。然后，通过参考PAT或PMT，主控部分163识别音频流(在后文被描述的关注的音频流)或将被处理的视频流的PID，并且在PID过滤器164中设置PID。
具体地，例如，图6的示例中的TS被输入到TS输入部分162。在这种情况下，首先，PATTS分组101或PMTTS分组102通过PID过滤器164被提供到主控部分163。在这种情况下，当TS分组103至110的每个PID是“y”时，主控部分163在PID过滤器164中设置“y”作为PID。换句话说，如图20所示，PID过滤器164转换开关到由所示的“PID＝y”表示的输出端。PID过滤器164有选择地提取在被输入到TS输入部分162的TS中PID是“y”的TS分组，即，TS分组103至110，并且提供该TS分组到传输缓冲器165。
在图20的示例中的PID过滤器164是图7至11所示的PAT和PMT的PID过滤器。因此，除“y”之外，仅仅“y1”和“z”能被设置为PID。因为音频流的PID是“y”或“y1”，因此仅仅由“PID＝y”和“PID＝y1”表示的输出端被连接到传输缓冲器165。另外，由“PID＝z”表示的输出端被连接到用于处理视频流的未示出的块。
传输缓冲器165从由PID过滤器164提供的TS分组中还原原始PES分组，并且存储它们。具体地，例如，在这种情况下，传输缓冲器165从由PID过滤器164提供的图6中的TS分组103至110还原PES分组流91，并且存储PES分组流91。
流ID过滤器166从存储在传输缓冲器165中的PES分组中有选择地提取具有所设置的流ID的PES分组，以及输出PES分组到相对应的端。换句话说，流ID过滤器166被提供与流ID相对应的输出端，并且开关被转换到与所设置的流ID相对应的输出端。
流ID的设置被主控部分163执行，如上所述。换句话说，因为它包括仅仅能处理基础音频流的用于基础的解码器168，所以在图20中的音频流处理部分152-1不具有解码第1至第n扩展音频流的能力。在这种情况下，主控部分163仅仅存储基础音频流的类型作为它能处理的流的类型，并且在流ID过滤器166中设置针对基础音频流的类型而添加的流ID。在这种情况下，当发送和接收端预先具有有关的流ID值的约定时，即，当针对基础音频流的类型而添加的流ID被预先存储时，流ID在流ID过滤器166中被设置。另外，当没有这种约定时，具有图9所示结构的PMT，即，包括流ID值的PMT，被使用。因此，主控部分163获取PMTTS分组，识别针对基础音频流类型而添加的流ID，并且在流ID过滤器166中设置流ID。
具体地，例如，假定针对基础音频流的类型而添加的流ID是“0”，在流ID过滤器166中“0”被设置。换句话说，如图20所示，开关被转换到由“Sid＝0”表示的输出端。流ID过滤器166从存储在传输缓冲器165中的部分回放规格中有选择地提取流ID是“0”的PES分组，即，基础音频流的类型的PES分组，并且提供被提取的PES分组到基础缓冲器167。
换句话说，基础缓冲器167存储基础音频流的类型的PES分组。具体地，例如，在图6的示例中，在被存储在传输缓冲器165中的PES分组流91中，仅仅基础音频流81的PES分组被流ID过滤器166有选择地提取，并且被存储在基础缓冲器167中。
用于基础的解码器168获取被存储在基础缓冲器167中的PES分组，解码所获取的分组，并且提供作为回放音频的结果的解码音频到输出部分153。
仅仅能解码基础音频流的音频流处理部分152-1的配置的示例已经参考图20描述。
然后，被音频流处理部分152-1执行的“TS分组接收处理”参考图21中的流程图描述。
在图21中的“TS分组接收处理”基于从图4中的发送器41发送到接收器42的TS(音频流)至少包括基础音频流的情况。然而，如上所述，TS包括不包括基础音频流的一种。因此，其中不包括基础音频流的TS也被考虑的“TS分组接收处理”在后文参考图22至24描述。
另外，TS可以包括多个音频流，即，具有不同的PID的音频流的TS分组。因此，鉴于这种情况，将被解码的关注的音频流，即，包括具有经受解码的PID的TS分组的音频流，被称作关注的音频流。
当TS被输入到TS输入部分162时，图21中的“TS分组接收处理”开始。当TS被输入到相对应的TS输入部分时，如后文所描述的另一“TS分组接收处理”开始。
在步骤S61中，主控部分163通过PID过滤器164从TS输入部分162接收与关注的音频流相对应的PAT和PMT(TS分组)。
在步骤S62中，主控部分163从PAT或PMT中识别关注的音频流的PID，以及在PID过滤器164中设置关注的音频流的PID。
在步骤S63中，在流ID过滤器166中，主控部分163设置在关注的音频流中的基础音频流的流ID。
在步骤S64中，PID过滤器164从被输入到TS输入部分162的TS中选择承载在步骤S62中设置的PID的TS分组，以及提供该TS分组到传输缓冲器165。此时，传输缓冲器165分组化TS分组形式的关注的音频流为PES分组。
在步骤S65中，流ID过滤器166从存储在传输缓冲器165中的PES分组中选择承载在步骤S63中设置的流ID的PES分组，以及，在步骤S66中，提供所选择的PES分组到基础缓冲器167。
在步骤S67中，用于基础的解码器168获取并解码存储在基础缓冲器167中的PES分组。
这样完成在图21中的“TS分组接收处理”。
图21中的“TS分组接收处理”，即，用于至少包括基础音频流的关注的音频流的“TS分组接收处理”已经被描述。
然而，如上所述，在图4中的发送器41可以向接收器42发送其中仅仅扩展音频流被多路复用而不包括基础音频流的TS。这样的TS的示例在图22中被示出。
在图22的示例中，在图6中示出的基础音频流81和第1扩展音频流82之间，仅仅第1扩展音频流82被分组化为PES分组，以及，结果，PES分组流171被生成。PES分组流171被分组化为TS分组，以及，结果，TS分组183至186被生成。另外，包括表示仅仅第1扩展音频流82存在的信息的表，即，PAT和PMTTS分组181和182，被生成。换句话说，在图22的示例中，TS被配置以包括TS分组181至186。
当接收诸如在图22中的示例的、其中扩展音频流被多路复用的TS时，音频流处理部分，诸如在图20中的音频流处理部分152-1，不能解码TS。
在这种情况下，当接收诸如在图22中的示例的、其中扩展音频流被多路复用的TS时，不具有解码扩展音频流能力的相关技术的音频流处理部分不能识别解码TS是不可能的，直到执行对TS的实际解码。
不同于相关技术，在本发明中，表示音频流的哪种类型存在于TS中的信息，即，流存在/不存在信息，从图4中的发送器41被发送到接收器42。因此，当图20中的音频流处理部分152-1接收诸如图22中的示例的、其中仅仅扩展音频流被多路复用的TS时，通过参考流存在/不存在信息，而不执行对TS的实际解码，它能容易地识别没有能力解码。这样使音频流处理部分152-1能够减少用于查找它能解码的另一流的时间。
流存在/不存在信息可以以在TS中被多路复用的形式被提供到音频流处理部分152-1，也可以以被包括在元数据内的形式被提供到音频流处理部分152-1，如上所述。因此，在前者情况下，音频流处理部分152-1能执行例如图23中示出的“TS分组接收处理”。在后者情况下，音频流处理部分152-1能执行例如图24中的“TS分组接收处理”。换句话说，图23和24中的每个流程图示出考虑到不包括基础音频流的流能够是关注的音频流的“TS分组接收处理”的示例。前者示出“TS分组接收处理”的示例，其使用被包括在TS内的流存在/不存在信息(PAT和PMT)，以及后者示出“TS分组接收处理”的示例，其使用被包括在元数据内的流存在/不存在信息。
图23和24中的“TS分组接收处理”按所给的次序被分别描述如下。
图23中的“TS分组接收处理”表示在使用具有图8或9中的结构的PMT的情况下“TS分组接收处理”的示例。
在图23中的步骤S81中，图20中的主控部分163从TS输入部分162通过PID过滤器164接收与关注的音频流相对应的PAT和PMT(TS分组)。
在步骤S82中，通过参考PMT中的有关关注的音频流的Audio_stream_descripter()的信息，在步骤S83中，主控部分163判断标志is_Base是否为零(0)。
如上所述，标志is_Base是流存在/不存在信息，用于表示基础音频流是否存在于关注的音频流(在图8和9的示例中，其中PID是“y”的音频流)中。
表示基础音频流是否存在的流存在/不存在信息，诸如标志is_Base，以下被具体地称为基础流存在/不存在信息。类似地，表示扩展音频流是否存在的流存在/不存在信息，以下被具体地称为扩展音频流存在/不存在信息。
换句话说，当标志is_Base的值作为基础流存在/不存在信息的示例时，表示基础音频流存在于关注的音频流(在图8和9的示例中，其中PID是“y”的音频流)中。反之，当标志is_Base是“零(0)”时，表示基础音频流不存在于关注的音频流中。
因此，在步骤S83中，主控部分163判断标志is_Base是否为零(0)，由此，判断关注的音频流是否包括能够被主控部分163解码的基础音频流。
具体地，例如，当图22中示出的TS被输入到TS输入部分162时，在PMTTS分组182的Audio_stream_descriptor中，仅仅标志is_Ext1被设置为“1”，以及其它标志被设置为“0”。换句话说，标志is_Base也被设置为“0”。在这种情况下，在步骤S83中，主控部分163确定标志is_Base的值是零，即，关注的音频流不能被解码，以及处理进行到步骤S84。
在步骤S84中，主控部分163设置其它音频流，即，具有诸如“y2”的其它PID的关注的音频流，为关注的音频流，以及接收与关注的音频流相对应的PMT。
之后，处理回到步骤S82，以及后面的步骤被重复。换句话说，通过重复地执行在步骤S82至S84中的循环处理，而不实际地解码被输入到TS输入部分162的TS，主控部分163能从TS中查找到其中标志is_Base是“1”的关注的音频流，即，包括基础音频流的音频流。
当这样的包括基础音频流的音频流被找到时，在步骤S83中，确定标志is_Base不是零，以及处理进行步骤S85。
换句话说，包括基础音频流的音频流被设置为关注的音频流，以及有关关注的音频流的步骤S85至S90被执行。在S85至S90的每个步骤中的处理基本上类似于图21中的S62至S67的每个步骤。因此，它们的描述被省略。
在图23中使用被包括在TS内的流存在/不存在信息(PAT和PMT)的“TS分组接收处理”已经被描述。
例如，当具有该结构的PMT从发送器41被发送时，在步骤S82至S84中的循环处理之前，在步骤S81之后，主控部分163执行下列处理。换句话说，主控部分163通过参考stream_coding_ype的信息来识别关注的音频流的编码类型(诸如MPEG、AC3、和DTS的类型之一)。基于识别的结果，用于基础的解码器168判断关注的音频流是否包括能够被用于基础的解码器168解码的类型的TS分组。如果确定它们能被包括，则处理进行至步骤S82。如果确定它们不能被包括，则通过执行与步骤S84相对应的处理，其重复的判断被执行。通过执行上述处理，在接收端的接收器42具有能更快地找到它能解码的音频流的优点。
然后，图24中的使用被包括在元数据内的流存在/不存在信息的“TS分组接收处理”被描述。
图24中的“TS分组接收处理”表示使用具有图13中的结构的元数据131的“TS分组接收处理”的示例。而且，在使用具有图14和15中的结构以及另一结构的元数据131的情况下的“TS分组接收处理”的流程基本上是类似的。
在图24的步骤S101中，图20中的主控部分163从元数据输入部分161中获取关注的音频流的元数据131(Audio_stream_info)。
在步骤S102中，主控部分163判断在元数据131中的标志is_Base是否为零(0)。
在步骤S102中，如果确定标志is_Base的值是零，即，如果确定关注的音频流不能被解码，则处理进行步骤S103。
在步骤S103中，在主控部分163中，另一音频流，即，具有另一PID的音频流被设置为关注的音频流。
之后，处理回到步骤S101，以及后面的步骤被重复。换句话说，通过重复地执行步骤S101至S103中的循环处理，而不实际地解码被输入到TS输入部分162的TS，主控部分163能从TS中查找其中标志is_Base的值是“1”的音频流，即，包括基础音频流的音频流。
当包括基础音频流的音频流被找到时，在步骤S102中，确定is_Base的值不是零，以及处理进行至步骤S104。
换句话说，包括基础音频流的音频流被设置为关注的音频流，以及在步骤S104至S109中用于关注的音频流的处理被执行。因为步骤S104至S109基本上类似于上述图23中的步骤S85至S90，即，它们基本上类似于上述图21中的步骤S62至S67，所以它们的描述被省略。
因为，如上所述，由于和执行图23中的“TS分组接收处理”的情况相比，通过优选地执行图24中的“TS分组接收处理”，图20中的音频流处理部分152-1不需要接收TS的PMT，因此它能更快地找到它能解码的音频流，因而，优点能被获得。
此外，优点的程度还被增强，使得主控部分163在步骤S101之后在步骤S102之前执行下列处理。换句话说，通过参考被包括在元数据内的stream_coding_type的信息，主控部分163还识别关注的音频流的编码类型(诸如MPEG、AC3、以及DTS的类型之一)，以及，基于识别的结果，而判断能够被用于基础的解码器168处理的类型的TS分组是否能被包括在关注的音频流内。如果确定它们能被包括，则处理进行步骤S102。如果它们不能被包括，则处理进行步骤S103。
仅仅能解码基础音频流的音频流处理部分152-1已经参考图20至24被描述。
然后，包括能解码基础音频流和第1扩展音频流的音频解码器(以下被称为用于基础和扩展的解码器)的音频流处理部分152被描述。当包括用于基础和扩展的解码器的音频流处理部分152需要区别于另一音频流处理部分152时，它被称作音频流处理部分152-2。
图25是示出音频流处理部分152-2的配置的示例的方框图。
如图25所示，音频流处理部分152被配置以包括到缓冲器209的元数据输入部分201。
到基础缓冲器207的元数据输入部分201基本上具有类似于图20中的到基础缓冲器167的元数据输入部分161的功能和配置。因此，到排除ID过滤器206的基础缓冲器207的元数据输入部分201的块的描述被省略。ID过滤器206在后文将被描述。
换句话说，可以说，对于音频流处理部分152-1，图25中的音频流处理部分152-2具有如下配置，其中包括代替用于基础的解码器168的用于基础和扩展的解码器208、以及还有扩展缓冲器209。
ID过滤器206从存储在传输缓冲器205中的PES分组中有选择地提取承载所设置的流ID的PES分组，以及输出所提取的分组到相对应的输出端。换句话说，ID过滤器206被提供与流ID相对应的输出端，以及它的开关被转换到与所设置的流ID相对应的输出端。
流ID的设置由主控部分203执行。换句话说，图25中的音频流处理部分152-2包括用于基础和扩展的解码器208，用于处理基础音频流和第1扩展音频流。在这种情况下，主控部分203预先存储表示能够由主控部分203处理的流的类型是基础音频流和第1扩展音频流的信息，主控部分203在ID过滤器206中设置被添加到基础音频流的类型的流ID和从第1扩展音频流的类型添加的流ID。在这种情况下，当在发送和接收端之间存在有关流ID值的预先约定时，即，当针对基础音频流和第1扩展音频流的类型而添加的两个流ID被预先存储时，在ID过滤器206中，两个流ID均被设置。反之，当没有这种约定时，具有图9中示出的结构的PMT，即，包括流ID值的PMT，被使用。因此，主控部分203获取PMT的TS分组，基于其而识别针对基础音频流和第1扩展音频流的类型而添加的流ID，以及在ID过滤器206中设置两个流ID。
具体地，例如，假定针对基础音频流的类型所添加的流ID是“0” ，以及针对第1扩展音频流的类型的流ID是“1”。在这种情况下，每个“0”和“1”在ID过滤器206中被设置。换句话说，在图25中，开关被转换到用“Sid＝0”表示的输出端和用“Sid＝1”表示的输出端。因此，通过转换开关到用“Sid＝0”表示的输出端，流ID过滤器206能在被存储在传输缓冲器205中的PES分组中有选择地提取在其中流ID是“0”的PES分组，即，基础音频流的类型的PES分组，以及能提供该分组到基础缓冲器207。另外，通过转换到用“Sid＝1”表示的输出端，流ID过滤器166能在存储在传输缓冲器205中的PES分组中有选择地提取其中流ID是“1”的PES分组，以及能提供该分组到扩展缓冲器209。
换句话说，基础缓冲器207存储基础音频流类型的PES分组，以及缓冲器209存储第1扩展音频流类型的PES分组。具体地，例如，在上述图6中的示例中，在存储在传输缓冲器205中的PES分组流91中，基础音频流81的PES分组被存储在基础缓冲器207中，以及第1扩展音频流82的PES分组被存储在缓冲器209中。
用于基础和扩展的解码器208获取存储在基础缓冲器207中的PES分组，以及解码所获取的分组以获得第一解码音频。另外，用于基础和扩展的解码器208获取存储在缓冲器209中的PES分组，以及解码所获取的分组以获得第2解码音频。此时，用于基础和扩展的解码器208组合具有相同的PTS(表示时间戳)的第1音频和第2音频，以及提供作为回放音频的结果的组合解码音频到输出部分153。
用于基础和扩展的解码器208还可以执行仅仅获取存储在基础缓冲器207中的PES分组，仅仅解码这些分组，以及提供作为回放音频的结果的第1解码音频到输出部分153。类似地，用于基础和扩展的解码器208还可以执行获取存储在缓冲器209中的PES分组，仅仅解码这些分组，以及提供作为回放音频的结果的第2解码音频到输出部分153。
至少能解码基础音频流和第1扩展音频流中的一个的音频流处理部分152-2的配置的示例已经参考图25被描述。
然后，由音频流处理部分152-2执行的“TS分组接收处理”参考图26中的流程图被描述。
在步骤S121中，主控部分203从TS输入部分202通过PID过滤器204接收与关注的音频流相对应的PAT和PMT(TS分组)。
在步骤S122中，主控部分203从PAT和PMT中识别关注的音频流的PID，并且在PID过滤器204中设置关注的音频流的PID。
在步骤S123中，通过参考PMT，主控部分203判断基础音频流是否被包括在关注的音频流内。
在PMT中，当有关关注的音频流的标志is_Base的值(见图8或图9)是“1”时，在步骤S123中，确定基础音频流被包括在关注的音频流内，并且处理进行至步骤S124。
在步骤S124中，主控部分163在流ID过滤器206中设置在关注的音频流中的基础音频流的流ID(在图25的示例中为“0”)。然后，处理进行至步骤S125。
反之，在PMT中，当有关关注的音频流的标志is_Base的值是“0”时，在步骤S123中，它判断基础音频流未被包括在关注的音频流内。处理进行至步骤S125，而不执行步骤S124，即，不在流ID过滤器206中设置在关注的音频流中的基础音频流的流ID。
在步骤S125中，通过参考PMT，主控部分203判断第1扩展音频流是否被包括在关注的音频流内。
在PMT中，当有关关注的音频流的标志is_Ext1的值(见图8或图9)是“1”时，在步骤S125中，确定第1扩展音频流被包括在关注的音频流内，并且处理进行至步骤S126。
在步骤S126中，主控部分163在流ID过滤器206中设置在关注的音频流中的第1扩展音频流的流ID(在图25的示例中为“1”)。然后，处理进行至步骤S127。
反之，在PMT中，当有关关注的音频流的标志is_Ext1的值(见图8或图9)是“0”时，在步骤S125中，确定第1扩展音频流未被包括在关注的音频流内。因此，处理进行至步骤S127，而不执行步骤S126，即，不在流ID过滤器206中设置在关注的音频流中的第1扩展音频流的流ID。
在步骤S127中，PID过滤器204从被输入到TS输入部分202的TS中选择承载在步骤S122中设置的PID的TS分组，以及提供该TS分组到传输缓冲器205。此时，被分组化为TS分组的形式的关注的音频流被传输缓冲器205分组化为PES分组。
在步骤S128中，流ID过滤器206从存储在传输缓冲器205中的PES分组中选择承载在步骤S124和S126中的至少一个中设置的流ID的PES分组。
在步骤S129中，流ID过滤器206提供在步骤S128中选择的PES分组到相对应的缓冲器。换句话说，当所选择的PES分组的类型是基础音频流的类型时，流ID过滤器206提供PES分组到基础缓冲器207，以及，当所选择的PES分组的类型是第1扩展音频流的类型时，流ID过滤器206提供PES分组到扩展缓冲器209。
在步骤S130中，用于基础和扩展的解码器208获取存储在每个缓冲器中的PES分组，即，存储在基础缓冲器207和扩展缓冲器209中的PES分组，以及解码所获取的PES分组。
在步骤S131中，用于基础和扩展的解码器208判断与两种类型的PES分组相对应的解码的音频是否存在。
在步骤S130中，当存储在基础缓冲器207中的PES分组和用于基础和扩展的解码器208被获取和解码时，在步骤S131中，确定与两种类型的PES分组相对应的解码音频存在，以及处理进行至步骤S132。
在步骤S132中，用于基础和扩展的解码器208组合相同PTS的解码音频，以及输出结果的回放音频(组合解码音频)到输出部分153。这样，通过音频流处理部分152-2，完成图37中的“TS分组接收处理”。
反之，在步骤S130中，当仅仅存储在基础缓冲器207和扩展缓冲器209的一个中的PES分组被获取和解码时，在步骤S131中，确定按照两种类型的PES分组的解码音频存在，以及处理进行至步骤S133。
在步骤S133中，用于基础和扩展的解码器208向输出部分153输出作为回放音频的、作为步骤S130的结果而获得的解码音频，即，与基础音频流和第1扩展音频流中的仅仅一个相对应的解码音频。这样，通过音频流处理部分152-2，完成图37中的“TS分组接收处理”。
例如，当具有图10中的结构的PMT从发送器41发送时，在步骤S122之前，主控部分163可以执行下列处理。具体地，通过参考stream_coding_type的信息，主控部分163识别关注的音频流的编码类型(诸如MPEG、AC3、和DTS的类型之一)，以及，基于识别的结果，而判断用于基础和扩展的解码器208所能处理的类型的TS分组是否能被包括在关注的音频流内。如果确定它们能被包括，则处理进行至步骤S122。如果确定它们不能被包括，则处理可以被执行，其中，在关注的音频流中设置另一关注的音频流之后，处理回到步骤S121。接收器42能具有如下优点，即通过执行处理，其能更快地找到能够被它解码的音频流。
至少能解码音频流和第1扩展音频流中的一种的音频流处理部分152-2已经参考图25和26被描述。
当在发送和接收端之间存在有关流ID值的预定约定，并且直到基础音频流和第1扩展音频流的操作被执行时，作为在图19中的音频流处理部分152，代替图25中的音频流处理部分152-2，通过简化音频流处理部分152-2而获得的在图27中示出的音频流处理部分152-3能被包括。换句话说，图27是音频流处理部分152的配置的示例的示意图，其不同于图25中的示例。
如图27所示，音频流处理部分152-3被配置以包括到用于基础和扩展的解码器227的元数据输入部分221。
到用于基础和扩展的解码器227的元数据输入部分221分别具有基本上类似于到图25中的扩展缓冲器209的元数据输入部分201的相对应的块的功能和配置。因此，到用于基础和扩展的解码器227的元数据输入部分221的描述被省略。
换句话说，可以说，音频流处理部分152-3被重新配置，以用于音频流处理部分152-2，以便流ID过滤器206和基础缓冲器207被消除，以及扩展缓冲器226(与图25中的扩展缓冲器209相对应)缓冲基础音频流和第1扩展音频流的全部类型的PES分组。换句话说，扩展缓冲器226不以划分的形式存储基础音频流和第1扩展音频流的类型的PES分组，而存储PES分组流211，如图27所示。
如上所述，用于基础和扩展的解码器227不需要如在图25中的用于基础和扩展的解码器208一样，从两种不同的缓冲器(基础缓冲器207和扩展缓冲209)中分别地获取PES分组，由此解码能被容易且更快地执行。另外，与用于基础和扩展的解码器208的电路规模相比，这样也导致用于基础和扩展的解码器227的电路规模的减少。因此，从图27中的音频流处理部分152-3的整体来看，音频流处理部分152-3的电路规模能被减小，小于图25中的音频流处理部分152-2，以消除流ID过滤器206和基础缓冲器207，以及减小用于基础和扩展的解码器227的规模等等。
在图27中的音频流处理部分152-3的“TS分组接收处理”基本上类似于在图25中的音频流处理部分152-2的图24中的“TS分组接收处理”中的、其中包括基础音频流和第1扩展音频流的流被设置为关注的音频流的情况中的处理。因此，它的描述被省略。
如上所述，在图4中的发送器41向接收器42不仅能发送其中基础音频流和第1扩展音频流被多路复用的TS，而且能发送其中基础音频流和第1至第n扩展音频流被多路复用的TS。这种TS的示例在图28中被示出。
在图28的示例中，在图6中示出的基础音频流81和扩展音频流82(在图28的示例中的第1扩展音频流301-1)，以及，另外，第2至第n扩展音频流301-2至301-n被分组化为PES分组，由此PES分组流311被生成。此外，PES分组流311被分组化为TS分组，以便TS包323至330被生成。另外，包括表示基础音频流81和第1至第n扩展音频流301-1至301-n存在的流存在/不存在信息的表，即，PAT和PMTTS分组321和322被生成。换句话说，在图28的示例中，TS被配置以包括TS分组321至330。
既然，例如，在图25中音频流处理部分152-2不具有解码比第1扩展音频流级别更高的类型的流的能力，当它接收如在图28的示例中的TS时，它仅仅解码与在TS中的基础音频流81和第1扩展音频流301-1相对应的TS分组。
因此，当图19中的音频流处理部分152需要具有解码能力或比第1扩展音频流级别更高的流时，虽然未示出，但下列音频流处理部分152可以被使用。换句话说，例如，对于在图25中的音频流处理部分152-2，音频流处理部分152可以被使用，其包括：代替流ID过滤器206，能分别地设置基础音频流和第1至第n扩展音频流的类型的流ID过滤器、缓冲基础音频流和第1至第n扩展音频流的缓冲器；以及代替用于基础和扩展的解码器208，处理每一基础音频流和第1至第n扩展音频流的用于基础和扩展的解码器。
而且，具有解码级别比第1扩展音频流更高的流的解码能力的音频流处理部分152的“TS分组接收处理”结果具有基本上类似于图26中的“TS分组接收处理”的处理流程。然而，在这种情况下，与有关第2至第n扩展音频流的类型的步骤S125和S126相对应的处理是必要的。另外，在步骤S132中，解码音频通过在步骤S130中的解码类型的组合被生成。
如上所述，根据第1实施例的发送/接收系统，用于流的扩展的处理能被执行。具体地，根据本发明，而且，在扩展流被输入的情况下，输入流能根据执行处理的一个的处理能力来被解码。另外，既然，在企图流解码之前，能知道解码是否能根据执行处理的一个的处理能力而被执行，用于查找能够被执行处理的那一个来解码的流的时间能减少。
本发明并不局限于包括编码器的发送器41，而是能被应用到所有执行编码的信息处理设备。另外，本发明，并不局限于包括解码器的接收器42，而是能被应用到所有执行解码的信息处理设备。
在上述示例中，本发明被应用到音频流的编码和解码的情况已经被描述。然而，本发明并不被限制于此，而是能被应用到视频流的编码和解码。
第二实施例
然后，本发明被应用到的发送/接收系统的第二实施例被描述。
图29示出本发明被应用到的发送/接收系统的第二实施例的示例。在发送器511通过使用MPEG(运动图像专家组)2-TS(传输流)(以下被称为MPEG2-TS)技术来编码音频流的情况下的限制参考图29被描述。
发送器511是在诸如广播台的地点的器件，用于发送包括多个MPEG2-TS分组的流。例如，当假定在接收端的虚拟接收器512时发送器511通过使用MPEG2-TS技术来编码视频或音频流，以及发送编码流到实际的接收器(未示出)。
假定发送器511编码音频流为TS分组(作为MPEG2-TS分组)，以及发送该分组，来描述第二实施例。另外，在第二实施例中，对于基础流具有可扩展性的分级编码音频流被编码和发送的情况被描述。这里，关于在基础音频流和扩展音频流之间的关系，单独的基础音频流能被回放为音频。当基础音频流和扩展音频流两者都被解码时，音频回放质量高于仅仅回放基础音频流的情况，以及，另外，功能被增强。
发送器511通过使用MPEG2-TS技术来编码音频流。此时，发送器511内部假定虚拟接收器512，以及执行分组化音频流并且判断分组发送定时，以便在发送器511中的虚拟解码器521能解码通过发送器511发送的MPEG2-TS分组。虚拟解码器521的配置的示例在后文参考图33描述。
图30是示出在图29中的发送器511的示例的方框图。
发送器511包括：输入部分531、音频编码器532、缓冲器533、提取信息添加部分534、控制部分535、PES(分组化基础流)分组化部分536、TS分组化部分537、以及发送部分538。缓冲器533包括基础缓冲器541和扩展缓冲器542。
将被发送的音频流被输入到输入部分531。被输入到输入部分531的音频流被提供到音频编码器532。
从输入部分531提供的音频流通过音频编码器532编码以及提供到缓冲器533。在图30中的音频编码器532是用于分级编码的编码器。换句话说，音频编码器532能编码该输入音频流，以便基础和扩展音频流被包括。详细地，音频编码器532编码音频流，以便基础和扩展音频流被包括。音频编码器532提供该编码基础音频流到缓冲器533中的基础缓冲器541，以及提供扩展音频流到缓冲器533中的扩展缓冲器542。
基础缓冲器541存储(缓冲)基础音频流，扩展缓冲器542存储(缓冲)扩展音频流。在控制部分535的控制下，基础缓冲器541和扩展缓冲器542读取其中存储的音频流，以及提供音频流到PES分组化部分536。
控制部分535监视存储(缓冲)在缓冲器533中的(基础和扩展)音频流，以及控制PES分组化部分536、TS分组化部分537、和发送部分538。控制部分535还管理PTS。控制部分535计算图33中示出的虚拟解码器521(在后文描述)的缓冲器占用量，并且判断(调整)TS分组发送定时。换句话说，基于计算的缓冲器占用量，控制部分535调整(控制)发送部分538发送TS分组的发送定时。
在控制部分535的控制下，PES分组化部分536执行对从基础缓冲器541和扩展缓冲器542提供的音频流的PES分组化。具体地，PES分组化部分536通过控制基础缓冲器541和扩展缓冲器542来获取基础和扩展音频流，并且分组化所获取的音频流为PES分组。此时，PES分组化部分536存储从控制部分535提供的PTS到PES分组。换句话说，从PES分组化部分536输出的PES分组存储PTS。
当流ID(例如，stream_id_extension)从提取信息添加部分534提供时，PES分组化部分536可以分组化基础和扩展音频流为PES分组，其每一个具有从提取信息添加部分534提供的流ID中的相对应的一个(stream_id_extension)。每个PES分组的流ID被用来识别相对应的PES分组类型。PES分组类型表示基础和扩展音频流中的任意一个。例如，基础音频流类型的PES分组表示包括基础流的至少一部分数据的PES分组。因此，为了在图29中在接收端的虚拟接收器512选择所希望的音频流类型的PES分组，被添加到PES分组的流ID的值可以被识别。
在第二实施例中，PES分组以预定次序被顺序地从PES分组化部分536提供到TS分组化部分537。在这种情况下，从而包括多个PES分组的一个流(以下被称为PES分组流)从PES分组化部分536提供到TS分组化部分537。PES分组流的具体示例在后文参考图31和32描述。
在控制部分535的控制下，TS分组化部分537分组化从PES分组化部分536提供的PES分组流为TS分组。
提取信息添加部分534提供针对基础和扩展音频流类型而添加的唯一ID给TS分组化部分537，以便基础和扩展音频流能在解码端(在图29中的虚拟接收器512端)被提取。换句话说，提取信息添加部分534提供用于标识基础和扩展音频流的标识信息(ID)给TS分组化部分537。
例如，在传输分组报头中的Transport_priority(传输优先级)标志能作为ID使用。提取信息添加部分534向TS分组化部分537提供信息(提取信息)，其为用于发送基础音频流的传输分组设置Transport_priority＝1，以及其为用于扩展音频流的传输分组设置Transport_priority＝0。
提取信息添加部分534可以不仅提供作为提取信息的ID到TS分组化部分537，而且还可以发送该提取信息到PES分组化部分536。例如，为了使解码端(例如，在图29中的虚拟接收器512)能够提取基础和扩展音频流，提取信息添加部分534提供用于基础和扩展音频流的唯一值ID给PES分组化部分536。PES分组化部分536添加从提取信息添加部分534提供的ID到生成的PES分组。
在第二实施例中，Stream_id或Stream_id_extension被作为每个ID使用。Stream_id表示在以MPEG2制式标准定义的PES分组报头中的Stream_id。另外，Stream_id_extension表示在以MPEG2制式中的Amendment2(2003)定义的PES分组报头中的Stream_id_extension。当音频流是除了MPEG音频(MPEG-1/-2音频、MPEG AAC)之外的流中的一个时，优选使用Stream_id_extension。MPEG2制式Amendment2(2003)规定，当Stream_id_extension被使用时，值“1111 1101”(表示extension_stream_id)被设置为Stream_id。另外，MPEG2制式Amendment2(2003)规定具有用于标识流类型(基础和扩展音频流)的唯一值的Stream_id_extension能被使用。
实际上，虽然在图30中的发送器511除了音频流之外还解码系统数据和视频数据，但是仅仅已经被描述发送音频流的情况。
发送器511的配置的示例参考图30被描述如下。
然后，参考图31和32，描述基础流和扩展音频流被多路复用的TS的结构，作为从图30中的发送器511发送的示例TS，即，本发明被应用到的TS。在图5的示例中，在顶部的基础音频流581和扩展音频流582表示通过图30中的音频编码器532编码以及输出的状态。在第二部分的PES分组流191表示通过图30中的PES分组化部分536输出的状态。在第三部分的TS 601表示通过图30中的TS分组化部分537输出的状态。
在图5的示例中，TS(MPEG2-TS)被配置以包括与PAT(程序关联表)相对应的TS分组221、与PMT(程序映射表)相对应的TS分组622、以及与基础音频流581和扩展音频流582相对应的TS分组241至250。
基础音频流581和扩展音频流582的每个具有其中音频采样的预定数被用作一个单元的编码形式。每个单元用括号括起的下标表示。具体地，例如，基础音频流581被分离以编码为多个单元(音频存取单元)，BS(1)、BS(2)、...、BS(n)。类似地，例如，扩展音频流582被分离以编码为多个单元(音频存取单元)，Ext1(1)、Ext1(2)、...、Ext1(n)。关于基础音频流581和(第1)扩展音频流582，具有相同下标的单元集合，例如，单元BS(1)和Ext1(1)，在由图30中的音频编码器532编码时被同步地获得，以及通过未示出的接收器同步地回放(解码)。下标n表示任意自然数。
图30中的PES分组化部分536分组化基础音频流581和扩展音频流582，以生成具有不同的流ID的PES分组，如图31所示。具体地，在图31的示例中，与基础音频流581相对应的PES分组的流ID是“Stream_id_extension＝b1”，如它被描述为“PESHId_ex＝b1”。与扩展音频流582相对应的PES分组的流ID是Stream_id_extension＝b2，如它被描述为PESHId_ex＝b2。下标n’是任意自然数。
如上所述，PES分组化部分536生成以及提供图31中示出的PES分组流191到TS分组化部分537。
与之不同，TS分组化部分537分组化PES分组流591的每个PES分组为具有相同的PID的每个TS分组，如图31中的第三部分所示。具体地，TS分组化部分537分组化基础音频流581和扩展音频流582的PES分组，以生成具有不同ID的传输分组，如图31所示。在图31的示例中，与基础音频流581相对应的传输分组的ID是“transport_priority＝1”，如它被描述为“PID＝a0，tp＝1”。与扩展音频流582相对应的传输分组的ID是“transport_priority＝0”，如它被描述为“PID＝a0，tp＝0”。因此，传输流(TS)601由TS分组化部分537生成(TS分组被形成)。
如上所述，相同的PID对于一个流而被添加，以及，为了标识包括在一个流内的基础和扩展流，不同的“tp”(transport_priority(传输优先级))项目被添加到它们中。
在第二实施例中，被同步地回放的编码单元需要按在传输流中基础音频流和扩展音频流的集合的次序被排序和编码。换句话说，在传输流中，BS(1)、Ext1(1)、BS(2)、Ext1(2)、...、BS(n)、以及Ext1(n)需要按所给的次序被编码。
图32示出其中TS681被形成以便包括与PAT相对应的TS分组621、与PMT相对应的TS分组622、和基础音频流581的情况的示例。换句话说，在图32的情况下，TS 681表示通过仅仅多路复用基础音频流581所获得的传输流的结构。在图31和32之间的比较表示图32是从图31中提取的基础音频流581。与图31中那些相对应的部分用相同的参考标号表示，以及为了避免重复描述，它们的描述被省略。
在图32的情况下，在图32的顶部的基础音频流581表示由图30中的音频编码器532编码以及输出的状态。在图32的第二部分的参考标号271表示由图30中的PES分组化部分536输出的PES分组。在图32的第三部分的参考标号681表示由图30中的TS分组化部分537输出的TS分组。
如图32所示，在图30中的PES分组化部分536分组化基础音频流581，以生成具有相同流ID的PES分组。具体地，在图32的情况下，与基础音频流581相对应的每个PES分组的流ID是“Stream_id_extension＝b1”，如它被描述为“PESHId_ex＝b1”。如上所述，PES分组化部分536生成以及提供图32中示出的PES分组到TS分组化部分537。
TS分组化部分537分组化形成PES分组流271的每个PES分组为具有相同的PID的TS分组，如图32的第三部分所示，以及多路复用TS分组以生成传输流(TS)681。如图32所示，TS分组化部分537分组化基础音频流581的PES分组为具有相同的ID的传输分组291至296。具体地，在图32的情况下，基础音频流581的每个传输分组的ID是“transport_priority＝1”，如它被描述为“PID＝a0，tp＝1”。
如上所述，当相同PID被添加到一个流，以及在流中流的类型仅仅包括基础音频流时，相同的tp(transport_priority)被添加。
在第二实施例中，当发送器511发送具有包括基础音频流和扩展音频流的结构的分级编码音频流时，发送器511根据虚拟接收器512(图29)的能力来调整TS分组发送定时。换句话说，即使虚拟接收器512能处理(解码)基础音频流和扩展音频流两者、或仅仅基础音频流，发送器511仍调整其发送TS分组的定时，以便虚拟接收器512能执行解码而没有虚拟接收器512的缓冲器的上溢和下溢。
具体地，当发送形成图31中的TS601的TS分组时，发送器511调整TS分组发送定时，以便响应能解码在图31中的传输流601的虚拟接收器(第一虚拟接收器)，以及响应仅仅能解码图32中的TS681的虚拟接收器(第二虚拟接收器)。换句话说，当虚拟接收器512仅仅提取并解码基础音频流时，发送器511调整其分组化分级编码音频流的定时(分组发送定时)，以便用于基础音频流的预定大小的解码器缓冲器不上溢和下溢。
因此，当虚拟接收器512仅仅具有解码基础音频流的能力时，即，当虚拟接收器512仅仅具有仅仅解码与图32中的基础音频流581相对应的TS681的能力时，虚拟接收器512的音频缓冲器的最小必需大小(容量)被确定，以及，另外，到音频缓冲器的输入比特率的值被确定。
另外，当虚拟接收器512具有解码基础音频流和扩展音频流两者的能力时，即，当虚拟接收器512具有解码图31中的基础音频流581和扩展音频流582两者的能力时，虚拟接收器512确定它的音频缓冲器的最小必需大小(容量)，以及还确定到音频缓冲器的输入比特率的值。
音频缓冲器的大小与图2中的基本缓冲器19的大小相对应，以及到音频缓冲器的输入比特率的值与图2中的Rxn相对应。
换句话说，对于其中虚拟接收器512具有解码基础音频流的能力、以及其中虚拟接收器512具有解码基础音频流和扩展音频流两者的能力的情况中的每个，音频缓冲器的大小和到音频缓冲器的输入比特率的值被设置。
在第二实施例中，仅仅具有解码基础音频流的能力的虚拟接收器512的基本缓冲器的大小被设置为Bn＝bn0，以及到音频缓冲器的输入比特率的值(到音频缓冲器的漏率)被设置为Rxn＝rxn0。另外，具有解码基础音频流和扩展音频流两者的能力的虚拟接收器512的基本缓冲器的大小被设置为Bn＝bn1，以及到音频缓冲器的输入比特率的值(到音频缓冲器的漏率)被设置为Rxn＝rxn1。此外，关系bn0＜bn1和rxn0＜rxn1保持。换句话说，其中基本缓冲器的大小Bn0小于大小Bn1、以及其中到基本缓冲器的输入比特率的值rxn0小于值rxn1的关系被建立。
图33说明用于限制其中基础音频流和扩展音频流被多路复用的传输流的编码的虚拟解码器521的模型。具体地，图33示出在当使用MPEG2-TS技术来编码基础音频流和扩展音频流以发送时由发送器511假定的虚拟接收器512中的虚拟解码器521(图29)的示例模型。换句话说，图33示出当基础音频流和扩展音频流由发送器511解码和分组化以发送时所假定的虚拟解码器521的模型。
被发送到虚拟接收器512的MPEG2-TS被提供到虚拟解码器521。被提供到虚拟解码器521的MPEG2-TS在过滤器741中通过分组类型被过滤，如图33所示。
具体地，MPEG2-TS包括多个分组，每个分组承载用于标识分组的PID(分组标识符)。基于被添加到形成MPEG2-TS的分组的PID，过滤器741提供视频流形成TS分组到用于处理视频流的视频数据解码部分750，提供音频流形成TS分组到用于处理音频流的音频数据解码部分760，以及提供系统相关TS分组到用于处理系统数据的系统数据解码部分770。
视频数据解码部分750包括：传输缓冲器(在图33中用TBv表示)751、多路复用缓冲器(在图33中用MBv表示)752、基本缓冲器(在图33中用EBv表示)753、视频解码器(在图33中用Dv表示)754、以及输出重排序缓冲器(在图33中用Ov表示)755。
当视频流形成传输分组通过过滤器741被提供到视频数据解码部分750时，视频流形成传输分组被存储为传输缓冲器751中的数据。该数据以预定比特率被提供到多路复用缓冲器752。在存储并平滑所提供的数据之后，多路复用缓冲器752提供平滑数据到基本缓冲器753。视频解码器754以预定定时来提取存储在基本缓冲器753中的视频存取单元，解码提取的视频存取单元，以及输出解码视频存取单元。解码数据的一部分从终端756通过输出重排序缓冲器755被输出，以及其它数据从终端357被输出以及被回放。
音频数据解码部分760包括：传输优先级过滤器761、传输缓冲器762(用TBn表示)、基本缓冲器763(用Bn表示)、以及音频解码器764(用Dn表示)。
当音频流形成TS分组通过过滤器741被提供到音频数据解码部分760时，传输优先级过滤器761根据虚拟解码器521的能力来过滤TS分组。例如，传输优先级过滤器761基于被添加到每个TS分组的tp的值(见图31)而执行过滤。被传输优先级过滤器761过滤的TS分组被提供到随后的段中的传输缓冲器762。传输缓冲器762存储由传输优先级过滤器761过滤和提供的TS分组。传输优先级过滤器761的大小(容量)是512字节。
存储在传输缓冲器762中的TS分组，根据虚拟解码器521的能力，以速率Rxn被提供到基本缓冲器763。Rxn是来自传输缓冲器762的漏率，以及，当传输缓冲器762储存数据时，数据以速率Rxn从传输缓冲器762被输入到基本缓冲器763。当传输缓冲器762不存储数据时，Rxn是零。
基本缓冲器763存储以速率Rxn从传输缓冲器762提供的数据。取决于音频编码类型(诸如MPEG1音频和MPEG2AAC音频)，基本缓冲器763的大小不同。当传输缓冲器762存储数据时，数据以速率(速度)Rxn从传输缓冲器762被提供到基本缓冲器763。当传输缓冲器762不存储数据时，没有数据从传输缓冲器762被提供到基本缓冲器763(即，Rxn＝0)。
音频解码器764以预定定时来提取存储在基本缓冲器763中的音频存取单元，解码所提取的音频存取单元，以及从终端365输出解码音频存取单元以回放。具体地，当音频存取单元的PTS(表示时间戳)等于T-STD的系统时间时钟的时间时，音频解码器764从基本缓冲器763中提取音频存取单元。音频存取单元是形成音频流的编码单元，并被用作解码单元。
在图33中的音频数据解码部分760中根据虚拟解码器521的能力而被改变的值描述如下。
(1)当从通过多路复用基础音频流和扩展音频流而获得的传输流，基础音频流被提取和解码时，或当通过仅仅多路复用基础音频流而获得的传输流被解码时，虚拟解码器521(在第一虚拟接收器中的第一虚拟解码器)满足以下条件。
(1-1)传输优先级过滤器761仅仅选择其中tp＝1的TS分组，以及提供所选择的TS分组到传输缓冲器762。
(1-2)从传输缓冲器762到基本缓冲器763的输入比特率的值Rxn被设置为rxn0。
(1-3)基本缓冲器763的大小Bn被设置为bn0。
(2)当从通过多路复用基础音频流和扩展音频流而获得的传输流，基础音频流和扩展音频流两者被解码时，虚拟解码器522(在第二虚拟接收器中的第二虚拟解码器)满足以下条件。
(2-1)传输优先级过滤器761提供所有传输分组(其中tp＝0以及tp＝1的TS分组)给传输缓冲器762。
(2-2)从传输缓冲器762到基本缓冲器763的输入比特率的值Rxn被设置为rxn1。
(2-3)基本缓冲器763的大小Bn被设置为bn1。
如上所述，取决于虚拟解码器521的能力，传输优先级过滤器761的过滤条件(1-1以及2-1)、到基本缓冲器763的输入比特率的值(1-2以及2-2)、基本缓冲器763的大小(1-3以及2-3)不同。当控制发送定时时，发送器511能发送TS分组，以便在情况(1)中假定的第一虚拟接收器和在情况(2)中假定的第二虚拟接收器中的每个中，基本缓冲器的大小不上溢和下溢。在下文的描述中，通过应用情况(1)中的条件到其中包括的虚拟接收器512和虚拟解码器521所获得的那些被称作“第一虚拟接收器512”和“第一虚拟解码器521”，以及通过应用情况(2)中的条件到其中包括的虚拟接收器512和虚拟解码器521所获得的那些被称作“第二虚拟接收器512”和“第二虚拟解码器521”。
系统数据解码部分770包括传输缓冲器(用TBsys表示)771、基本缓冲器(用Bsys表示)772、以及系统解码器(用Dsys表示)773。
当系统相关TS分组通过过滤器741被提供到系统数据解码部分770时，系统相关TS分组被存储为传输缓冲器771中的数据。存储在传输缓冲器771中的数据被提供到基本缓冲器772。系统解码器773以预定定时来提取存储在基本缓冲器72中的系统存取单元，解码系统存取单元，以及从终端374输出解码单元。
系统相关TS分组包括，例如，图31和32中的PAT TS分组221和PMTTS分组622。
图30中的发送器511需要执行分组化与基础音频流和扩展音频流相对应的传输流，以及在确定发送定时之后编码分组，以便分组由包括图33中的虚拟解码器521的虚拟接收器512正确地解码。
换句话说，需要发送器511执行音频流分组化定时以及编码，以便，例如，在图33中的虚拟解码器521中的传输缓冲器762不上溢，以及基本缓冲器763不上溢和下溢。
因此，发送器511调整音频流分组化定时，以便在图31中通过多路复用基础音频流和扩展音频流获得的传输流满足在情况(1)和(2)中的条件。具体地，在第一虚拟发送器和第二虚拟发送器的缓冲器被防止上溢和下溢时，发送器511控制TS分组发送定时。换句话说，发送器511确定音频流分组化定时，以及执行编码，以便图33中虚拟解码器521的模型的传输缓冲器762不上溢，以及基本缓冲器763不上溢和下溢。
然后，描述上述发送器511的处理，其中，它编码和分组化音频流，以及基于考虑虚拟接收器512的能力而发送结果的分组。图34和35是说明图30中的发送器511的TS分组发送处理的流程图。当发送器511的电源导通，以输入音频流到输入部分531时，此处理开始。
在步骤S211中，输入部分531接收输入音频流，以及输出所接收的音频流到音频编码器532。
在步骤S212中，音频编码器532编码音频流，以便编码的结果包括基础音频流和扩展音频流(对于基础音频流具有可扩展性)。结果，音频编码器532以(垂直地)同步形式输出在图31中的基础音频流581和扩展音频流582。
在步骤S213中，音频编码器532输出分别用于每个级别(流类型)的编码结果。具体地，音频编码器532输出基础音频流581到缓冲器533的基础缓冲器541，以及输出扩展音频流582到缓冲器533的扩展缓冲器542。
在步骤S214中，基础缓冲器541和扩展缓冲器542存储(缓冲)从音频编码器532提供的编码音频流。具体地，基础缓冲器541存储从音频编码器532提供的编码基础音频流，以及扩展缓冲器542存储从音频编码器532提供的编码扩展音频流。
在步骤S215中，控制部分535判断将被发送的PTS音频存取单元是否存储在缓冲器533中。控制部分535处于待机状态，直到它确定将被发送的PTS音频存取单元存储在缓冲器533中。控制部分535监视存储在缓冲器533中的音频流(基础音频流和扩展音频流)，以及执行PTS管理。因此，在步骤S215中，控制部分535基于这些而判断。音频存取单元(例如，BS(1)、BS(2)、...、BS(n))具有固定长度(例如，时间T0)。因此，控制部分535判断与例如PTS＝T0×j(j表示图31中用括号括起的下标数字)相对应的音频存取单元(与图31中用括号括起的下标j相对应的音频存取单元)是否存储在缓冲器533中。在步骤S215中，如果确定将被发送的PTS音频存取单元存储在缓冲器533中，则控制部分535提供与音频存取单元相对应的PTS到PES分组化部分536，以及指令PES分组化部分536以执行PES分组化。处理进行至步骤S216。
在步骤S216中，PES分组化部分536执行对每个音频存取单元的PES分组化。例如，PES分组化部分536控制基础缓冲器541和扩展缓冲器542，以获取基础音频流和扩展音频流，以及以分组化音频流为PES分组。此时，PES分组化部分536在形成PES分组流的PES分组中存储从控制部分535提供的PTS。PES分组化部分536提供生成的PES分组(例如，在图31中的PES分组流591中，在步骤S216中生成的PES分组)给TS分组化部分537。
在步骤S217中，TS分组化部分537分组化从PES分组化部分536提供的PES分组为TS分组，以及提供TS分组到发送部分538。具体地，TS分组化部分537分组化基础音频流581和扩展音频流582的每个，以生成具有不同的ID的TS分组，如图31中的第三部分所示。因此，如图31所示，与基础音频流581相对应的每个TS分组包括“PID＝a0，tp＝1”，以及与扩展音频流582相对应的每个TS分组包括“PID＝a0，tp＝0”。
在步骤S218中，控制部分535基于所计算的图33中的虚拟解码器521的缓冲器占用量，而确定TS分组发送定时。具体地，基于所计算的第一虚拟解码器和第二虚拟解码器的缓冲器占用量(即，基于计算的在两种条件下的虚拟解码器521的缓冲器占用量)，控制部分535确定TS分组发送定时，以及控制发送部分538以发送TS分组。图33中的(第一虚拟解码器和第二虚拟解码器)虚拟解码器521的缓冲器占用量的计算在后文参考图36和38描述。
在步骤S219中，发送部分538以在步骤S218中通过控制部分535确定的发送定时，发送从TS分组化部分537提供的TS分组到接收端的接收器。这个接收器不是图29中的虚拟接收器512，而是未示出的实际地接收TS分组的接收器(包括解码器)。虽然，在这个示例中，发送部分538发送TS分组到未示出的接收器，但是发送部分538可以发送TS分组到驱动器，以及可以使用驱动器来记录TS分组到可移动的介质。
在步骤S220中，控制部分535判断是否完成处理。例如，在音频流到输入部分531的输入完成、用户给出指令以完成TS分组发送处理、以及一个音频流的发送完成的情况中的一种情况下，控制部分535确定完成处理。如果，在步骤S220中，控制部分535已经确定未完成处理，则处理回到步骤S211，以及后面的步骤被重复地执行。换句话说，输入音频流再次被接收，以及被分组化以生成TS分组，以及按照基于虚拟解码器521的计算的缓冲器占用量而控制的发送定时，TS分组被发送。如果，在步骤S220中，控制部分535已经确定完成处理，则处理被完成。
因为，在图34和35的TS分组发送处理中，按照基于图33中的虚拟解码器521的缓冲器占用量(在两个条件下)而控制的发送定时，TS分组被发送，因此能确保包括用于图33的虚拟解码器521的模型的解码器的任何接收器(未示出)能解码在TS分组发送处理中发送的TS分组。
然后，在图35中在步骤S218中执行的虚拟解码器(在两个条件下的虚拟解码器521)的缓冲器占用量的计算参考图35至39被描述如下。
首先，计算用于基础音频流的缓冲器占用量的处理参考图36的流程图被描述。假定在接收端的虚拟解码器521仅仅能解码基础音频流，即，假定在接收端的虚拟解码器521是第一虚拟解码器，这个处理被图30中的控制部分535执行。换句话说，在上述处理中，假定它仅仅发送图32中的基础音频流581，控制部分535计算TS分组解码(发送)定时。
在步骤S241中，如果在图33中的虚拟解码器521(第一虚拟解码器)中的传输缓冲器762具有存储tp＝1的TS分组的空余空间，则控制部分535控制发送部分538以发送TS分组。换句话说，如果传输缓冲器762具有存储与基础音频流相对应的TS分组的存储空间，则控制部分535控制发送部分538以发送TS分组。
在步骤S242中，如果图33中的虚拟解码器521中的基本缓冲器763(Bn＝bn0)具有空余空间，则假定数据以Rxn(＝rxn0)的比特率被提取以及被提供到基本缓冲器763，计算被执行。如上所述，到第一虚拟解码器的基本缓冲器763的输入比特率是Rxn＝rxn0。因此，假定数据以rxn0的速率被提取，计算被执行，以及假定基本缓冲器763的容量是Bn＝bn0，计算被执行。
在步骤S243中，当音频存取单元的PTS等于虚拟解码器521的系统时间时钟的时间时，假定音频存取单元被提取以及被提供到音频解码器764，控制部分535执行计算。例如，如果虚拟解码器521的系统时间时钟被表示为t＝PTS0(水平轴t表示时间)，如图37所示，则假定PTS＝PTS0的音频存取单元被提取以及被提供到音频解码器764，控制部分535执行计算。例如，当在图37中t＝PTS1时，假定PTS＝PTS1的音频存取单元(承载PTS1)从基本缓冲器763中被提取以及被提供到音频解码器764，控制部分535执行计算。然后，处理完成。
当在图35中的步骤S218被执行时，在图36中的处理被执行。在图36中的处理被重复地执行。
如上所述，假定仅仅能解码基础音频流的解码器(第一虚拟解码器)，控制部分535计算解码器-缓冲器占用量。换句话说，假定参考图33所述的情况(1)中的三种条件，控制部分535计算虚拟解码器521的缓冲器占用量，以及确定TS分组发送定时。这确保仅仅能解码基础音频流的解码器(实际的解码器)能解码基础音频流，而不导致缓冲器占用量的上溢和下溢。
然后，用于计算用于基础音频流和扩展音频流的每个的缓冲器占用量的处理参考图38的流程图被描述如下。这个处理被执行，使得在图30中的控制部分535假定在接收端的虚拟解码器521能解码基础音频流和扩展音频流，即，在接收端的虚拟解码器521是第二虚拟解码器。换句话说，在这个处理中，假定在图31中的基础音频流581和扩展音频流582被发送，控制部分535计算TS分组解码(发送)定时。
在步骤S281中，如果图33中的虚拟解码器521(第二虚拟解码器)中的传输缓冲器762具有存储tp＝1的TS分组的空余空间，则控制部分535控制发送部分538以发送TS分组，以及，如果传输缓冲器762具有存储tp＝0的TS分组的空余空间，则缓冲器533控制发送部分538以发送TS分组。换句话说，如果传输缓冲器762具有存储与基础音频流相对应的TS分组的空余空间，则控制部分535控制(满足在图36中在步骤S241中的条件)发送部分538来发送TS分组。如果传输缓冲器762具有存储与扩展音频流相对应的TS分组的空余空间，则控制部分535控制发送部分538来发送TS分组。
在步骤S282中，如果在图33中的虚拟解码器521中的基本缓冲器763(Bn＝bn1)具有空余空间，则控制部分535以Rxn(＝rxn1)的比特率从传输缓冲器762提取数据，以及提供数据到基本缓冲器763。如上所述，到第二虚拟解码器的基本缓冲器763的输入比特率是Rxn＝rxn1。因此，假定数据以rxn1的速率被提取，计算被执行，以及假定基本缓冲器763的容量被Bn＝bn1表示，计算被执行。
在步骤S283中，如果音频存取单元的PTS等于虚拟解码器521的系统时间时钟的时间，则假定音频存取单元从基本缓冲器763中被提取以及被提供到音频解码器764，控制部分535执行计算。例如，当虚拟解码器521的系统时间时钟被表示为t＝PTS0，如图37所示时，假定PTS＝PTS0的音频存取单元从基本缓冲器763提取以及被提供到音频解码器764，控制部分535执行计算。类似地，当在图37中t＝PTS1时，假定PTS＝PTS1的音频存取单元(承载PTS1)从基本缓冲器763被提取以及被提供到音频解码器764，控制部分535执行计算。然后，处理完成。
当步骤S218被执行时，图38中的处理被执行。图38中的处理被重复地执行。换句话说，当图35中的步骤S218被执行时，图36和38中的处理被并行地执行。更具体地说，当图35中的步骤S219被执行时，控制部分535开始执行图36中的处理，以计算与基础音频流相对应的TS分组被发送的定时，以及还执行图38中的处理，以计算与基础音频流和扩展音频流相对应的TS分组被发送的定时。控制部分535重复地执行这个处理(图36中的处理被再执行，以及图38中的处理随后被再执行)。
换句话说，在控制部分535计算这样的定时，使得包括第一虚拟解码器的第一虚拟解码器的基本缓冲器不上溢和下溢之后，控制部分535计算这样的定时，使得包括第二虚拟解码器的第二虚拟接收器中的基本缓冲器不上溢和下溢，以及控制发送部分538来发送TS分组，以便满足用于第一和第二虚拟接收器的定时。
如上所述，假定能解码基础音频流和扩展音频流的虚拟解码器(第二虚拟解码器)，控制部分535计算解码器-缓冲器占用量。换句话说，假定在如上参考图33所述的情况(2)中的三种条件，控制部分535计算第二虚拟解码器521的缓冲器占用量，以及确定TS分组发送定时。这确保能解码基础音频流和扩展音频流的解码器(实际的解码器)能解码基础音频流和扩展音频流，而不导致缓冲器占用量的上溢和下溢。
通过并行地重复地执行图36和38的处理，以及计算虚拟解码器521的缓冲器占用量，在发送器511中的控制部分535调整(确定)TS分组发送定时。因此，仅仅能解码基础音频流的第一虚拟解码器(121)、和能解码基础音频流和扩展音频流两者的第二虚拟解码器(121)中的任意一个能执行解码。换句话说，即使实际地接收从发送器511发送的TS分组的接收器仅仅能解码基础音频流或能解码基础音频流和扩展音频流两者，接收器仍能平滑地执行解码，而不导致它的缓冲器上溢和下溢。
例如，在图30中的发送器511向未示出的实际的接收器发送与基础音频流和扩展音频流相对应的TS分组的情况下，如果控制部分535仅仅执行作为图35中的步骤S218的图38中的处理(即，第二虚拟解码器被假定)，则TS分组以在图39的上部示出的定时被发送。如图39的上部所示，与基础音频流相对应的TS分组在时间t1、t4、和t7被发送，与扩展音频流相对应的TS分组在时间t2、t5、和t8被发送，以及其它TS分组(在图39中用ETC表示)在时间t3、t6、和t9被发送。在这种情况下，在发送与基础音频流相对应的第一TS分组(在图31的情况下的TS分组241)之后、直到发送与基础音频流相对应的第二TS分组(在图31的情况下的TS分组242)的时间，用时间T1表示。
另外，在图30中的发送器511向未示出的实际的接收器发送与基础音频流和扩展音频流相对应的TS分组的情况下，当控制部分535还与图38中的处理并行地执行作为图35中的步骤S218的图36中的处理时(即，当第一和第二虚拟解码器被假定时)，按照在图39的下部中示出的定时，TS分组被发送。如图39的下部所示，与基础音频流相对应的TS分组在时间t11、t14、和t17被发送，与扩展音频流相对应的TS分组在时间t12、t15、和t18被发送，以及其它TS分组(在图39中用ETC表示)在时间t13、t16、和t19被发送。在这种情况下，在发送与基础音频流相对应的第一TS分组(在图31的情况下的TS分组241)之后、直到发送与基础音频流相对应的第二TS分组(在图31的情况下的TS分组242)的时间，用时间T11表示。
在图39的上部和下部之间的比较表示，在发送基础音频流之后、直到发送下一基础音频流的时间不同(时间T11-T1)。在以图39的下部示出的定时来发送的情况下，即使仅仅能解码基础音频流的解码器也能够平滑地执行解码而不导致它的缓冲器(基本缓冲器763)上溢和下溢。然而，在以图39的上部示出的定时来发送的情况下，仅仅能解码基础音频流的解码器可以使缓冲器(基本缓冲器763)上溢。这是因为，只有能解码基础音频流和扩展音频流两者的解码器被假定作为用于按照图39的上部示出的定时来发送的虚拟解码器521。在能解码基础音频流和扩展音频流两者的解码器中，基本缓冲器763的数据容量(bn1)和到基本缓冲器763的输入比特率的值(rxn1)大于仅仅能解码基础音频流的解码器的那些(bn0和rxn0)。因此，当TS分组以图39的上部示出的定时被发送到仅仅能解码基础音频流的解码器时，TS分组的上溢和下溢发生。然而，除图38中的条件之外，通过考虑仅仅与使用图36描述的基础音频流相对应的第一虚拟解码器的缓冲器占用量，即使仅仅能解码基础音频流的解码器也能平滑地执行解码。
如上所述，在以编码为MPEG2-TS的形式发送包括基础音频流和扩展音频流的分级编码音频流的情况下，通过考虑在接收端的接收器的能力，TS分组能被发送，使得甚至通过包括仅仅能解码基础音频流的解码器的(第一)虚拟接收器512，TS分组也能被解码。换句话说，当虚拟接收器512包括仅仅能解码基础音频流的解码器(第一虚拟解码器)，并且虚拟接收器512仅仅解码所提取的基础音频流时，发送器511确定分级编码音频流(包括基础音频流和扩展音频流)的分组化(分组发送)定时，以便用于基础音频流的预定大小的解码器缓冲器不上溢和下溢。因此，即使在接收端仅仅基础音频流被解码，平滑地解码也能被执行。
换句话说，发送器511确定用于与分级编码音频流相对应的TS分组的发送定时，以便在包括仅仅能解码基础音频流的解码器(第一虚拟解码器)、和能解码基础音频流和扩展音频流两者的第二虚拟解码器(第二虚拟解码器)的每个第一虚拟接收器中，传输缓冲器762不上溢，并且基本缓冲器不上溢和下溢。因此，即使在接收端仅仅基础音频流被解码，平滑地解码也能被执行。
如上所述，根据第二实施例的发送/接收系统，考虑接收端的能力，流能被编码和发送。具体地，分级编码音频流能被编码和发送，以便编码流能由接收端平滑地解码。
第三实施例
下面，本发明被应用到的发送/接收系统的第三实施例被描述。
图40示出本发明被应用到的发送/接收系统的第三实施例的配置的示例。在发送器811使用MPEG(运动图像专家组)2-TS(传输流)(以下被称为MPEG2-TS)技术来编码音频流的情况中的限制参考图40被描述。
发送器811是在诸如广播台的场所中的用于发送包括多个MPEG2-TS分组的流的器件。例如，发送器811通过当假定在接收端的虚拟接收器812时使用MPEG2-TS技术来编码视频或音频流，以及发送编码的流到实际的接收器(未示出)。发送器811还通过当假定虚拟接收器812时使用MPEG2-TS技术来编码(多路复用TS分组)流，以及使用驱动器来记录编码的流到可拆卸介质，诸如磁盘、光盘、磁光盘、或半导体存储器。换句话说，在这种情况下，发送器811发送流到可拆卸介质。记录在可拆卸介质中的流由例如实际的接收器(未示出)读取。换句话说，发送器811还被配置以通过可拆卸介质发送流到未示出的实际的接收器。
在第三实施例中，发送器811编码音频流为TS分组(MPEG2-TS分组)，多路复用该分组，以及发送该多路复用的分组。另外，在第三实施例中，编码包括对于基础流具有可扩展性的扩展流的分级编码音频流、以及发送编码的分级编码音频流的情况被描述。关于在基础音频流和扩展音频流之间的关系，仅仅使用基础音频流使得能够回放音频，以及，当基础和扩展音频流两者被解码时，与仅仅回放基础音频流的情况相比，音频再现的质量被改进，以及功能被增强。基础音频流的一个存取单元具有固定的长度。扩展存取单元的一个存取单元不被限制在固定长度，而能具有可变的长度。
发送器811通过使用MPEG2-TS技术来编码音频流。此时，发送器811内部假定虚拟接收器812，以及执行分组化音频流并且判断分组发送定时，以便在发送器811中的虚拟解码器121能解码被发送器811发送的MPEG2-TS分组。虚拟解码器821的配置的示例稍后参考图44被描述。
图41是示出在图40中的发送器811的示例的方框图。
发送器811包括：输入部分831、音频编码器832、缓冲器833、提取信息添加部分834、控制部分835、PES(分组化基础流)分组化部分836、TS分组化部分837、以及发送部分838。缓冲器833包括基本缓冲器841和扩展缓冲器842。
将被发送的音频流被输入到输入部分831。被输入到输入部分831的音频流被提供到音频编码器832。
从输入部分831提供的音频流由音频编码器832编码并提供到缓冲器833。在图41中的音频编码器832是用于分级编码的编码器。换句话说，音频编码器832能编码输入音频流，以便基础和扩展音频流被包括。具体地，音频编码器832编码音频流，以便基础和扩展音频被包括。音频编码器832提供编码的基础音频流到缓冲器833中的基本缓冲器841，以及提供扩展音频流到缓冲器833中的扩展缓冲器842。
基本缓冲器841存储(缓冲)基础音频流，扩展缓冲器842存储(缓冲)扩展音频流。在控制部分835的控制下，基本缓冲器841和扩展缓冲器842读取存储在其中的音频流，以及提供音频流到PES分组化部分836。
控制部分835监视存储(缓冲)在缓冲器833中的(基础和扩展)音频流，以及控制PES分组化部分836、TS分组化部分837、和发送部分838。控制部分835还管理PTS。控制部分835计算图41中示出的虚拟解码器821(稍后描述)的缓冲器占用量，并且确定(调整)TS分组发送定时。换句话说，基于计算的缓冲器占用量，控制部分835调整(控制)发送部分838发送TS分组的发送定时。
在控制部分835的控制下，PES分组化部分836执行对从基本缓冲器841和扩展缓冲器842中提供的音频流的PES分组化。具体地，PES分组化部分836通过控制基本缓冲器841和扩展缓冲器842来获取基础和扩展音频流，并且分组化所获取的音频流为PES分组。此时，PES分组化部分836存储从控制部分835中提供的PTS到PES分组中。换句话说，从PES分组化部分836输出的PES分组存储PTS。
当流ID(例如，stream_id_extension)从提取信息添加部分834中提供时，PES分组化部分836可以分组化基础和扩展音频流为PES分组，其每个具有从提取信息添加部分834中提供的流ID中相应的一个(stream_id_extension)。每个PES分组的流ID被用来标识相对应的PES分组类型。PES分组类型表示基础和扩展音频流的任意一个。例如，基础音频流类型的PES分组表示包括至少一部分基础流数据的PES分组。因此，为了在接收端的图40中的虚拟接收器812选择所希望的音频流类型的PES分组，添加到PES分组的流ID的值被识别。
在第三实施例中，PES分组以预定次序被连续地从PES分组化部分836提供到TS分组化部分837。在这种情况下，作为结果而包括多个PES分组的一个流(以下被称为“PES分组流”)从PES分组化部分836被提供到TS分组化部分837。PES分组流的具体示例稍后参考图5和6被描述。
在控制部分835的控制下，TS分组化部分837分组化从PES分组化部分836提供的PES分组流为TS分组。
提取信息添加部分834向TS分组化部分837提供针对基础和扩展音频流类型而添加的唯一ID，以便基础和扩展音频流能在解码端(在图40中的虚拟接收器812端)被提取。换句话说，提取信息添加部分834向TS分组化部分837提供用于标识基础和扩展音频流的标识信息(ID)。
例如，在传输分组报头中的Transport_priority(传输优先级)标志能作为ID使用。提取信息添加部分834向TS分组化部分837提供信息(提取信息)，该信息针对用于发送基础音频流的传输分组设置Transport_priority＝1，以及针对用于扩展音频流的传输分组设置Transport_priority＝0。
提取信息添加部分834可以不仅提供作为提取信息的ID到TS分组化部分837，而且还可以发送所提取的信息到PES分组化部分836。例如，为了使解码端(例如，在图40中的虚拟接收器812)能提取基础和扩展音频流，提取信息添加部分834向PES分组化部分836提供用于基础和扩展音频流的唯一值ID。PES分组化部分836添加从提取信息添加部分834提供的ID到生成的PES分组。
在第三实施例中，Stream_id或Stream_id_extension被作为每个ID使用。Stream_id表示在以MPEG2制式标准定义的PES分组报头中的Stream_id。另外，Stream_id_extension表示在以MPEG2制式的Amendment2(2003)定义的PES分组报头中的Stream_id_extension。当音频流是除MPEG音频(MPEG-1/2音频、MPEGAAC)之外的一个流时，优选使用Stream_id_extension。MPEG2制式Amendment2(2003)规定，当Stream_id_extension被使用时，值“1111 1101”(表示extension_stream_id)被设置为Stream_id。另外，MPEG2制式Amendment2(2003)规定具有用于标识流类型(基础和扩展音频流)的唯一值的Stream_id_extension能被使用。
事实上，虽然在图41中的发送器811除了音频流之外还解码系统数据和视频数据，但是只有发送音频流的情况已经被描述。
发送器811的配置的示例参考图41被描述如下。
下面，参考图42和43，基础流和扩展音频流在其中被多路复用的TS的结构被描述，作为从图41中的发送器811发送的示例TS，即，本发明被应用到的TS。在图42的示例中，在顶部的基础音频流181和扩展音频流182表示通过图41中的音频编码器832编码以及输出的状态。在第二部分的PES分组流891表示由图41中的PES分组化部分836输出的PES分组的状态。在第三部分的TS901表示通过图41中的TS分组化部分837输出的@TS分组@。
在图42的示例中，传输流(MPEG2-TS)被配置为包括与PAT(程序关联表)相对应的TS分组921、与PMT(程序映射表)相对应的TS分组922、以及与基础音频流881和扩展音频流882相对应的TS分组941至950。
基础音频流881和扩展音频流882的每个具有其中预定的音频采样数被用作一个单元的编码形式。每个单元用括号括起的下标表示。具体地，例如，基础音频流881被分离，以编码为多个单元(音频存取单元)，BS(1)、BS(2)、...、BS(n)。类似地，例如，扩展音频流882被分离，以编码为多个单元(音频存取单元)，Ext1(1)、Ext1(2)、...、Ext1(n)。关于基础音频流881和(第1)扩展音频流882，具有相同下标的一组单元，例如，单元BS(1)和Ext1(1)在通过图41中的音频编码器832编码时被同步地获得，以及通过未示出的接收器来同步地回放(解码)。下标n表示任意自然数。
在图41中的PES分组化部分836分组化基础音频流881和扩展音频流882，以生成具有不同流ID的PES分组，如图42所示。具体地，在图42的示例中，与基础音频流881相对应的PES分组的流ID是“Stream_id_extension＝b1”，如它被描述为“PESHId_ex＝b1”。与扩展音频流882相对应的PES分组的流ID是Stream_id_extension＝b2，如它被描述为PESHId_ex＝b2。下标n′是任意自然数。
如上所述，PES分组化部分836生成以及提供图42中示出的PES分组流891到TS分组化部分837。
与之不同，TS分组化部分837分组化PES分组流891的每个PES分组为具有相同的PID的每个TS分组，如图42中的第三部分所示。具体地，TS分组化部分837分组化基础音频流881和扩展音频流882的PES分组，以生成具有不同的ID的传输分组，如图42所示。在图42的示例中，与基础音频流881相对应的传输分组的ID是“transport_priority＝1”，如它被描述为“PID＝a0，tp＝1”。与扩展音频流882相对应的传输分组的ID是“transport_priority＝0”，如它被描述为“PID＝a0，tp＝0”。因此，TS 901被TS分组化部分837生成(TS分组被形成)。
如上所述，对于一个流，相同的PID被添加，以及，为了标识被包括在一个流中的基础和扩展流，不同的“tp”(transport_priority)项目被添加到它们。
在第三实施例中，被同步地回放的编码单元需要按在传输流中基础音频流和扩展音频流的集合的次序被排序以及编码。换句话说，在传输流中，BS(1)、Ext1(1)、BS(2)、Ext1(2)、...、BS(n)、以及Ext1(n)需要按所给的次序被编码。
图43示出其中传输流981被形成以便包括与PAT相对应的TS分组921、与PMT相对应的TS分组922、和基础音频流881的情况的示例。换句话说，在图43中的情况下，传输流981表示通过仅仅多路复用基础音频流881所获得的传输流的结构。在图42和43之间的比较表示图43是从图42中提取的基础音频流881。与图42中的那些相对应的部分用相同的参考标号表示，以及它们的描述被省略以避免重复描述。
在图43中的情况下，在图43的顶部的基础音频流881表示通过图41中的音频编码器832编码和输出的状态。在图43中的第二部分中的参考标号271表示由图41中的PES分组化部分836输出的PES分组。在图43中的第三部分中的参考标号281表示从图41中的TS分组化部分837输出的TS分组。
如图43所示，在图41中的PES分组化部分836分组化基础音频流881，以生成具有相同的流ID的PES分组。具体地，在图43的情况下，与基础音频流881相对应的每个PES分组的流ID是“Stream_id_extension＝b1”，如它被描述为“PESH Id_ex＝b1”。如上所述，PES分组化部分836生成以及提供图43中示出的PES分组到TS分组化部分837。
TS分组化部分837分组化形成PES分组流271的每个PES分组为具有相同的PID的TS分组，如图43的第三部分所示，以及多路复用TS分组以生成传输流(TS)281。如图43所示，TS分组化部分837分组化基础音频流881的PES分组为具有相同的ID的传输分组291至296。具体地，在图43的情况下，基础音频流881的每个传输分组的ID是“transport_priority＝1”，如它被描述为“PID＝a0，tp＝1”。
如上所述，当相同PID被添加到一个流，以及在流中的流的类型仅仅包括基础音频流时，相同的tp(transport_priority)被添加。
在第三实施例中，当发送器811发送具有包括基础音频流和扩展音频流的结构的分级编码的音频流时，发送器811根据虚拟接收器812(图40)的能力来调整TS分组发送定时。换句话说，即使虚拟接收器812能处理(解码)基础音频流和扩展音频流两者，或仅仅基础音频流，发送器811仍调整其发送TS分组的定时，以便虚拟接收器812能执行解码，而没有虚拟接收器812的缓冲器上溢和下溢。
具体地，当发送形成图42中的TS 801的TS分组时，发送器811调整TS分组发送定时，以便响应于能解码在图42中的TS 901的虚拟接收器(第一虚拟接收器)，以及响应于仅仅能解码图43中的传输流981的虚拟接收器(第二虚拟接收器)。换句话说，当虚拟接收器812仅仅提取并解码基础音频流时，发送器811调整其分组化分级编码的音频流的定时(分组发送定时)，以便用于基础音频流的预定大小的解码器缓冲器不上溢和下溢。
因此，当虚拟接收器812仅仅具有解码基础音频流的能力时，即，当虚拟接收器812仅仅具有仅仅解码与图43中的基础音频流881相对应的传输流981的能力时，虚拟接收器812的音频缓冲器的最小必需大小(容量)被确定，以及，另外，到音频缓冲器的输入比特率的值被确定。
另外，当虚拟接收器812具有解码基础音频流和扩展音频流两者的能力时，即，当虚拟接收器812具有解码图42中的基础音频流881和扩展音频流882两者的能力时，虚拟接收器812确定它的音频缓冲器的最小必需大小(容量)，以及还确定到音频缓冲器的输入比特率的值。
音频缓冲器的大小与图2中的基本缓冲器19的大小相对应，以及到音频缓冲器的输入比特率的值与图2中的Rxn相对应。
换句话说，对于其中虚拟接收器812具有解码基础音频流的能力、以及其中虚拟接收器812具有解码基础音频流和扩展音频流两者的能力的每一情况，音频缓冲器的大小和到音频缓冲器的输入比特率的值被设置。
在第三实施例中，仅仅具有解码基础音频流的能力的虚拟接收器812的基本缓冲器的大小被设置为Bn＝bn0，以及到音频缓冲器的输入比特率的值(到音频缓冲器的漏率)被设置为Rxn＝rxn0。另外，具有解码基础音频流和扩展音频流两者的能力的虚拟接收器812的基本缓冲器的大小被设置为Bn＝bn1，以及到音频缓冲器的输入比特率的值(到音频缓冲器的漏率)被设置为Rxn＝rxn1。此外，关系bn0＜bn1和rxn0＜rxn1保持。换句话说，其中基本缓冲器的大小Bn0小于大小Bn1、以及其中到基本缓冲器的输入比特率的值rxn0小于值rxn1的关系被建立。
图41说明虚拟解码器821的模型，该虚拟解码器821用于限制基础音频流和扩展音频流在其中被多路复用的传输流的编码。具体地，图41示出虚拟接收器812中的虚拟解码器821(图40)的示例模型，当发送器811使用MPEG2-TS技术来编码基础音频流和扩展音频流以发送时假定所述虚拟解码器821。换句话说，图41示出当由发送器811解码和分组化基础音频流和扩展音频流以发送时假定的虚拟解码器821的模型。
发送到虚拟接收器812的MPEG2-TS被提供到虚拟解码器821。提供到虚拟解码器821的MPEG2-TS在PID过滤器741中通过分组类型被过滤，如图41所示。
具体地，MPEG2-TS包括多个分组，每个分组承载用于标识分组的PID。基于添加到形成MPEG2-TS的分组的PID，过滤器741提供视频流形成TS分组到用于处理视频流的视频数据解码部分1050，提供音频流形成TS分组到用于处理音频流的音频数据解码部分1060，以及提供系统相关TS分组到用于处理系统数据的系统数据解码部分1070。
视频数据解码部分1050包括传输缓冲器1051(在图41中用TBv表示)、多路复用缓冲器1052(在图41中用MBv表示)、基本缓冲器1053(在图41中用EBv表示)、视频解码器1054(在图41中用Dv表示)、以及输出重排序缓冲器1055(在图41中用Ov表示)。
当视频流形成传输分组通过过滤器741被提供到视频数据解码部分1050时，视频流形成传输分组被存储为传输缓冲器1051中的数据。该数据以预定比特率被提供到多路复用缓冲器1052。在存储以及平滑所提供的数据之后，多路复用缓冲器1052提供平滑数据到基本缓冲器1053。视频解码器1054按预定定时提取存储在基本缓冲器1053中的视频存取单元，解码提取的视频存取单元，以及输出解码视频存取单元。解码数据的部分从终端1056通过输出重排序缓冲器1055输出，以及其它数据从终端1057输出以及被回放。
音频数据解码部分1060包括：传输优先级过滤器1061、传输缓冲器1062(用TBn表示)、基本缓冲器1063(用Bn表示)、以及音频解码器1064(用Dn表示)。
当音频流形成TS分组通过过滤器741被提供到音频数据解码部分1060时，传输优先级过滤器1061根据虚拟解码器821的能力来过滤TS分组。例如，传输优先级过滤器1061基于添加到每个TS分组的tp的值(见图42)而执行过滤。被传输优先级过滤器1061过滤的TS分组被提供到随后的段中的传输缓冲器1062。传输缓冲器1062存储被传输优先级过滤器1061过滤和提供的TS分组。传输优先级过滤器1061的大小(容量)是512字节。
存储在传输缓冲器1062中的TS分组根据虚拟解码器821的能力，以速率Rxn被提供到基本缓冲器1063。Rxn是来自传输缓冲器1062的漏率，以及，当传输缓冲器1062储存数据时，数据以速率Rxn从传输缓冲器1062被输入到基本缓冲器1063。当传输缓冲器1062不存储数据时，Rxn是零。
基本缓冲器1063存储以速率Rxn从传输缓冲器1062提供的数据。取决于音频编码类型(诸如MPEG1音频和MPEG2 AAC音频)，基本缓冲器1063的大小不同。当传输缓冲器1062存储数据时，数据以速率(速度)Rxn从传输缓冲器1062被提供到基本缓冲器1063。当传输缓冲器1062不存储数据时，没有数据从传输缓冲器1062被提供到基本缓冲器1063(即，Rxn＝0)。
音频解码器1064按预定定时提取存储在基本缓冲器1063中的音频存取单元，解码所提取的音频存取单元，以及从终端1065输出解码音频存取单元以回放。具体地，当音频存取单元的PTS(表示时间戳)等于T-STD的系统时间时钟的时间时，音频解码器1064从基本缓冲器1063中提取音频存取单元。音频存取单元是形成音频流的编码单元，以及被用作解码单元。
根据音频数据解码部分1060中的虚拟解码器821的能力而改变的值被描述如下。
(1)当从通过多路复用基础音频流和扩展音频流而获得的传输流中基础音频流被提取和解码，或通过仅仅多路复用基础音频流而获得的传输流被解码时，虚拟解码器821(在第一虚拟接收器中的第一虚拟解码器)满足以下条件。
(1-1)传输优先级过滤器1061仅仅选择其中tp＝1的TS分组，以及提供被选择的TS分组到传输缓冲器1062。
(1-2)从传输缓冲器1062到基本缓冲器1063的输入比特率的值Rxn被设置为rxn0。
(1-3)基本缓冲器1063的大小Bn被设置为bn0。
(2)当从通过多路复用基础音频流和扩展音频流获得的传输流中基础音频流和扩展音频流两者被解码时，虚拟解码器821(在第二虚拟接收器中的第二虚拟解码器)满足以下条件。
(2-1)传输优先级过滤器1061向传输缓冲器1062提供全部传输分组(其中tp＝0以及tp＝1的TS分组)。
(2-2)从传输缓冲器1062到基本缓冲器1063的输入比特率的值Rxn被设置为rxn1。
(2-3)基本缓冲器1063的大小Bn被设置为bn1。
如上所述，取决于虚拟解码器821的能力，传输优先级过滤器1061的过滤条件(1-1以及2-1)、到基本缓冲器1063的输入比特率的值(1-2以及2-2)、基本缓冲器1063的大小(1-3以及2-3)不同。当控制发送定时时发送器811能发送TS分组，以便在情况(1)中被假定的第一虚拟接收器和在情况(2)中被假定的第二虚拟接收器的每一个中，基本缓冲器的大小不上溢和下溢。在下文的描述中，通过应用情况(1)中的条件到包括在其中的虚拟接收器812和虚拟解码器821所获得的那些被称作“第一虚拟接收器812”和“第一虚拟解码器821”，通过应用情况(2)中的条件到包括在其中的虚拟接收器812和虚拟解码器821所获得的那些被称作“第二虚拟接收器812”和“第二虚拟解码器821”。
系统数据解码部分1070包括传输缓冲器1071(用TBsys表示)、基本缓冲器1072(用Bsys表示)、以及系统解码器1073(用Dsys表示)。
当系统相关TS分组通过过滤器741被提供到系统数据解码部分1070时，系统相关TS分组被存储为传输缓冲器1071中的数据。存储在传输缓冲器1071中的数据被提供到基本缓冲器1072。系统解码器1073按预定定时来提取存储在基本缓冲器23中的系统存取单元，解码系统存取单元，以及从终端1074输出解码单元。
系统相关TS分组包括，例如，图42和43中的PATTS分组221和PMTTS分组222。
图41中的发送器811需要执行分组化与基础音频流和扩展音频流相对应的传输流，以及在确定发送定时之后编码分组，以便分组被图41中的包括虚拟解码器821的虚拟接收器812正确地解码。
换句话说，需要发送器811执行音频流分组化定时以及编码，以便，例如，在图41中的虚拟解码器821中的传输缓冲器1062不上溢，以及基本缓冲器1063不上溢和下溢。
因此，发送器811调整音频流分组化定时，以便在图42中通过多路复用基础音频流和扩展音频流获得的传输流满足在情况(1)和(2)中的条件。具体地，在第一虚拟发送器和第二虚拟发送器的缓冲器被防止上溢和下溢时，发送器811控制TS分组发送定时。换句话说，发送器811判断音频流分组化定时，以及执行编码，以便图41中虚拟解码器821的模型的传输缓冲器1062不上溢，以及基本缓冲器1063不上溢和下溢。
下面，上述发送器811的处理被描述如下，在发送器811中，它编码和分组化音频流，以及基于考虑虚拟接收器812的能力而发送结果的分组。图45和46是说明图41中的发送器811的TS分组发送处理的流程图。当发送器811的电源被接通以输入音频流到输入部分831时，此处理开始。
在步骤S311中，输入部分831接收输入音频流，以及输出所接收的音频流到音频编码器832。
在步骤S312中，音频编码器832编码音频流，以便编码的结果包括基础音频流和扩展音频流(对于基础音频流具有可扩展性)。结果，音频编码器832以(垂直地)同步形式输出在图42中的基础音频流881和扩展音频流882。
在步骤S313中，音频编码器832输出分别关于每个级别(流类型)的编码结果。具体地，音频编码器832输出基本音频流881到缓冲器833的基本缓冲器841，以及输出扩展音频流882到缓冲器833的扩展缓冲器842。
在步骤S314中，基本缓冲器841和扩展缓冲器842存储(缓冲)从音频编码器832提供的编码音频流841。具体地，基本缓冲器841存储从音频编码器832提供的编码基础音频流，以及扩展缓冲器842存储从音频编码器832提供的编码扩展音频流。
在步骤S315中，控制部分835判断将被发送的PTS音频存取单元是否存储在缓冲器833中。控制部分835处于待机状态，直到它确定将被发送的PTS音频存取单元被存储在缓冲器833中。控制部分835监视存储在缓冲器833中的音频流(基础音频流和扩展音频流)，以及执行PTS管理。因此，在步骤S315中控制部分835基于这些而判断。音频存取单元(例如，BS(1)、BS(2)、...、BS(n))具有固定长度(例如，时间T0)。因此，控制部分835判断与例如，PTS＝T0×j(图42中j表示用括号括起的下标号)相对应的音频存取单元(与图42中用括号括起的下标j相对应的音频存取单元)是否被存储在缓冲器833中。在步骤S315中，如果确定将被发送的PTS音频存取单元被存储在缓冲器833中，则控制部分835提供与音频存取单元相对应的PTS到PES分组化部分836，以及指令PES分组化部分836执行PES分组化。处理进行至步骤S316。
在步骤S316中，PES分组化部分836执行对每个音频存取单元的PES分组化。例如，PES分组化部分836控制基本缓冲器841和扩展缓冲器842以获取基础音频流和扩展音频流，以及分组化音频流为PES分组。此时，PES分组化部分836存储从形成PES分组流的PES分组中的控制部分835提供的PTS。PES分组化部分836向TS分组化部分837提供生成的PES分组(例如，在图42中的PES分组流891中，在步骤S316中生成的PES分组)。
在步骤S317中，TS分组化部分837分组化从PES分组化部分836提供的PES分组为TS分组，以及提供TS分组到发送部分838。具体地，TS分组化部分837分组化基础音频流881和扩展音频流882的每个以生成具有不同ID的TS分组，如图42中的第三部分所示。因此，如图42所示，与基础音频流881相对应的每个TS分组包括“PID＝a0，tp＝1”，以及与扩展音频流882相对应的每个TS分组包括“PID＝a0，tp＝0”。
在步骤S318中，控制部分835基于计算的图41中的虚拟解码器821的缓冲器占用量，而确定TS分组发送定时。具体地，基于计算的第一虚拟解码器和第二虚拟解码器的缓冲器占用量(即，基于计算的在两种条件下的虚拟解码器821的缓冲器占用量)，控制部分835确定TS分组发送定时，以及控制发送部分838发送TS分组。图41中的虚拟解码器821(第一虚拟解码器和第二虚拟解码器)的缓冲器占用量的计算稍后参考图10和12描述。
在步骤S319(图46)中，发送部分838按在步骤S318(图46)中由控制部分835确定的发送定时来发送从TS分组化部分837提供的TS分组到接收器。这个接收器不是图40中的虚拟接收器812，而是实际地接收TS分组的接收器(包括解码器)，其未示出。虽然，在这个示例中，发送部分838发送TS分组到未示出的接收器，但是发送部分838可以发送TS分组到驱动器，以及可以使用驱动器来记录TS分组到可拆卸介质。
在步骤S320中，控制部分835判断是否结束处理。例如，在其中音频流到输入部分831的输入结束、其中用户给出指令以结束TS分组发送处理、以及其中一个音频流的发送结束的情况中的一种情况下，控制部分835确定结束处理。在步骤S320中，如果控制部分835已经确定未结束处理，则处理回到步骤S311，以及后面的步骤被重复地执行。换句话说，输入音频流再次被接收，以及被分组化以生成TS分组，以及按基于虚拟解码器821的计算的缓冲器占用量而控制的发送定时，TS分组被发送。在步骤S320中，如果控制部分835已经确定结束处理，则处理结束。
在图45和46的TS分组发送处理中，因为按基于图44中的虚拟解码器821的缓冲器占用量(在两个条件下)而控制的发送定时，TS分组被发送，所以能确保包括用于图44的虚拟解码器821的模型的解码器的任何接收器(未示出)能解码在TS分组发送处理中被发送的TS分组。
下面，在图46中的步骤S318中被执行的虚拟解码器(在两个条件下的虚拟解码器821)的缓冲器占用量的计算参考图10至13被描述如下。
首先，用于计算用于基础音频流的缓冲器占用量的处理参考图47的流程图被描述。假定在接收端的虚拟解码器821仅仅能解码基础音频流，即，假定在接收端的虚拟解码器821是第一虚拟解码器，这个处理被图41中的控制部分835执行。换句话说，在上述处理中，假定仅仅发送图43中的基础音频流881，控制部分835计算TS分组解码(发送)定时。
在步骤S341中，如果在图44中的虚拟解码器821(第一虚拟解码器)中的传输缓冲器1062具有存储tp＝1的TS分组的空余空间，则控制部分835控制发送部分838以发送TS分组。换句话说，如果传输缓冲器1062具有存储与基础音频流相对应的TS分组的存储空间，则控制部分835控制发送部分838以发送TS分组。
在步骤S342中，如果图44中的虚拟解码器821中的基本缓冲器1063(Bn＝bn0)具有空余空间，则假定数据以Rxn(＝rxn0)的比特率被提取以及被提供到基本缓冲器1063，计算被执行。如上所述，到第一虚拟解码器的基本缓冲器1063的输入比特率是Rxn＝rxn0。因此，假定数据以rxn0的速率被提取，计算被执行，以及假定基本缓冲器1063的容量是Bn＝bn0，计算被执行。
在步骤S343中，当音频存取单元的PTS等于虚拟解码器821的系统时间时钟的时间时，假定音频存取单元被提取以及被提供到音频解码器1064，控制部分835执行计算。例如，如果虚拟解码器821的系统时间时钟被表示为t＝PTS0(水平轴t表示时间)，如图11所示，则假定PTS＝PTS0的音频存取单元被提取以及被提供到音频解码器1064，控制部分835执行计算。例如，当在图47中t＝PTS1时，假定PTS＝PTS1的音频存取单元(承载PTS1)从基本缓冲器1063中被提取以及被提供到音频解码器1064，控制部分835执行计算。之后，处理结束。
当在图35中步骤S318被执行时，在图47中的处理被执行。在图47中的处理被重复地执行。
如上所述，假定仅仅能解码基础音频流的解码器(第一虚拟解码器)，控制部分535计算解码器-缓冲器占用量。换句话说，假定参考图44所述的情况(1)中的三种条件，控制部分535计算虚拟解码器821的缓冲器占用量，以及确定TS分组发送定时。这确保仅仅能解码基础音频流的解码器(实际的解码器)能解码基础音频流，而不导致缓冲器占用量的上溢和下溢。
下面，计算关于基础音频流和扩展音频流的每个的缓冲器占用量的处理参考图49的流程图被描述如下。这个处理被执行，使得在图41中的控制部分835假定在接收端的虚拟解码器821能解码基础音频流和扩展音频流，即，在接收端的虚拟解码器821是第二虚拟解码器。换句话说，在这个处理中，假定在图42中基础音频流881和扩展音频流882被发送，控制部分835计算TS分组解码(发送)定时。
在步骤S81中，如果图44中的虚拟解码器821(第二虚拟解码器)中的传输缓冲器1062具有存储tp＝1的TS分组的空余空间，则控制部分835控制发送部分838发送TS分组，以及，如果传输缓冲器1062具有存储tp＝0的TS分组的空余空间，则缓冲器833控制发送部分838发送TS分组。换句话说，如果传输缓冲器1062具有存储与基础音频流相对应的TS分组的空余空间，则控制部分835控制(满足在图47中在步骤S341中的条件)发送部分838以发送TS分组。如果传输缓冲器1062具有存储与扩展音频流相对应的TS分组的空余空间，则控制部分835控制发送部分838以发送TS分组。
在步骤S82中，如果在图44中的虚拟解码器821中的基本缓冲器1063(Bn＝bn1)具有空余空间，则控制部分835以Rxn(＝rxn1)的比特率从传输缓冲器1062提取数据，以及提供数据到基本缓冲器1063。如上所述，到第二虚拟解码器的基本缓冲器1063的输入比特率是Rxn＝rxn1。因此，假定数据以rxn1的速率被提取，计算被执行，以及假定基本缓冲器1063的容量由Bn＝bn1表示，计算被执行。
在步骤S383中，如果音频存取单元的PTS等于虚拟解码器821的系统时间时钟的时间，则假定音频存取单元从基本缓冲器1063中被提取以及被提供到音频解码器1064，控制部分835执行计算。例如，当虚拟解码器821的系统时间时钟表示为t＝PTS0，如图37所示时，假定PTS＝PTS0的音频存取单元从基本缓冲器1063被提取以及被提供到音频解码器1064，控制部分835执行计算。类似地，当在图47中t＝PTS1时，假定PTS＝PTS1的音频存取单元(承载PTS1)从基本缓冲器1063中被提取以及被提供到音频解码器1064，控制部分835执行计算。然后，处理结束。
当步骤S318被执行时，图49中的处理被执行。图49中的处理被重复地执行。换句话说，当图46中的步骤S318被执行时，图10和12中的处理被并行地执行。更具体地说，当图46中的步骤S319被执行时，控制部分835开始执行图47中的处理，以计算与基础音频流相对应的TS分组被发送的定时，以及还执行图49中的处理以计算与基础音频流和扩展音频流相对应的TS分组被发送的定时。控制部分835重复地执行这个处理(图47中的处理被再次执行，以及图49中的处理随后被再次执行)。
换句话说，在控制部分835计算这样的定时，使得包括第一虚拟解码器的第一虚拟接收器的基本缓冲器不上溢和下溢之后，控制部分835计算这样的定时，使得包括第二虚拟解码器的第二虚拟接收器中的基本缓冲器不上溢和下溢，以及控制发送部分838发送TS分组，以便满足第一和第二虚拟接收器的定时。
如上所述，假定能解码基础音频流和扩展音频流的虚拟解码器(第二虚拟解码器)，控制部分835计算解码器-缓冲器占用量。换句话说，假定在如上参考图44所述的情况(2)中的三种条件下，控制部分835计算第二虚拟解码器821的缓冲器占用量，以及确定TS分组发送定时。这确保能解码基础音频流和扩展音频流的解码器(实际的解码器)能解码基础音频流和扩展音频流，而不导致缓冲器占用量的上溢和下溢。
通过重复地并行执行图47和49的处理以及计算虚拟解码器821的缓冲器占用量，在发送器811中的控制部分835调整(确定)TS分组发送定时。因此，仅仅能解码基础音频流的第一虚拟解码器(121)、和能解码基础音频流和扩展音频流两者的第二虚拟解码器(121)中的任意一个能执行解码。换句话说，即使实际地接收从发送器811中发送的TS分组的接收器仅仅能解码基础音频流或能解码基础音频流和扩展音频流两者，接收器也能执行平滑的解码，而不导致它的缓冲器上溢和下溢。
例如，在图41中发送器811向未示出的实际的接收器发送与基础音频流和扩展音频流相对应的TS分组的情况下，如果控制部分835执行图49中的处理作为图46中的步骤S318(即，第二虚拟解码器被假定)，则按在图50的上部示出的定时，TS分组被发送。如图50的上部所示，与基础音频流相对应的TS分组在时间t1、t4、和t7被发送，与扩展音频流相对应的TS分组在时间t2、t5、和t8被发送，以及其它TS分组(在图50中用ETC表示)在时间t3、t6、和t9被发送。在这种情况下，在发送与基础音频流相对应的第一TS分组(在图42的情况下的TS分组941)之后直到发送与基础音频流相对应的第二TS分组(在图42的情况下的TS分组942)的时间用时间T1表示。
另外，在图41中的发送器811发送与基础音频流和扩展音频流相对应的TS分组到未示出的实际的接收器，当控制部分835还与图49中的处理并行地执行图47中的处理作为图46中的步骤S318时(即，当第一和第二虚拟解码器被假定时)，按在图50的下部中示出的定时，TS分组被发送。如图50的下部所示，与基础音频流相对应的TS分组在时间t11、t14、和t17被发送，与扩展音频流相对应的TS分组在时间t12、t15、和t18被发送，以及其它TS分组(在图50中用ETC表示)在时间t13、t16、和t19时被发送。在这种情况下，在发送与基础音频流相对应的第一TS分组(在图42的情况下的TS分组941)之后直到发送与基础音频流相对应的第二TS分组(在图42的情况下的TS分组942)的时间用时间T11表示。
在图50的上部及下部之间的比较表示在发送基础音频流之后直到发送下一基础音频流的时间不同(时间T11-T1)。在按图50的下部中示出的定时来发送的情况下，即使仅仅能解码基础音频流的解码器也能执行平滑的解码，而不导致它的缓冲器(基本缓冲器1063)上溢和下溢。然而，在按图50的上部示出的定时来发送的情况下，仅仅能解码基础音频流的解码器可能使缓冲器(基本缓冲器1063)上溢。这是因为仅仅能解码基础音频流和扩展音频流两者的解码器被假定作为按图50上部示出的定时来进行发送的虚拟解码器821。在能解码基础音频流和扩展音频流两者的解码器中，基本缓冲器1063的数据容量(bn1)和到基本缓冲器1063的输入比特率的值(rxn1)大于仅仅能解码基础音频流的解码器的那些(bn0和rxn0)。因此，当按照图50的上部示出的定时，TS分组被发送到仅仅能解码基础音频流的解码器时，TS分组的上溢和下溢发生。然而，除了图49中的条件之外，通过考虑第一虚拟解码器的缓冲器占用量，即使仅仅能解码基础音频流的解码器也能执行平滑的解码。
如上所述，在以被编码为MPEG2-TS的形式发送包括基础音频流和扩展音频流的分级编码音频流的情况下，通过考虑在接收端的接收器的能力，TS分组能被发送，以便即使通过包括仅仅能解码基础音频流的解码器的(第一)虚拟接收器812，TS分组也能被解码。换句话说，当虚拟接收器812包括仅仅能解码基础音频流的解码器(第一虚拟解码器)，以及虚拟接收器812仅仅解码所提取的基础音频流时，发送器811确定分级编码音频流(包括基础音频流和扩展音频流)的分组化(分组发送)定时，以便基础音频流的预定大小的解码器缓冲器不上溢和下溢。因此，即使在接收端仅仅基础音频流被解码，平滑的解码也能被执行。
换句话说，发送器811确定与分级编码音频流相对应的TS分组的发送定时，以便在包括仅仅能解码基础音频流的解码器(第一虚拟解码器)的第一虚拟接收器、和能解码基础音频流和扩展音频流两者的第二虚拟解码器(第二虚拟解码器)的每个中，传输缓冲器1062不上溢，以及基本缓冲器不上溢和下溢。因此，即使在接收端仅仅基础音频流被解码，平滑的解码也能被执行。
在上述描述中，TS分组化部分837执行TS分组化和多路复用，以及按照基于由控制部分835进行的控制的定时，发送部分838顺序地发送结果的多路复用的传输流。然而，在按照基于由控制部分835进行的控制的定时，由TS分组化部分837生成的TS分组被多路复用之后，发送部分838简单地以顺序的方式发送多路复用的传输流。换句话说，多路复用的传输流被发送的定时可以被控制，以及，另外，通过当多路复用TS分组时控制TS分组的配置(定时)，类似的传输流能被发送。这表示等同。
因此，当执行分组化为TS分组以及多路复用时在发送器811中的TS分组化部分837调整多路复用定时的方法被作为第二实施例描述。具体地，在图41中的发送器811中，TS分组化部分837分组化PES分组为TS分组以及多路复用TS分组的多路复用处理被描述如下。
为了具体地描述多路复用，图51示出发送器811的配置的示例。在图51中，与图41中的那些相对应的部分通过相同的参考标号被表示，以及其中重复的描述被省略。
在图51和41之间的比较表示在图51中的TS分组化部分837包括TS分组化处理部分901和多路复用部分902。换句话说，因为，如还参考图41所述，TS分组化部分837分组化PES分组为TS分组，以及多路复用TS分组以生成传输流，因此，在图51中，它的功能被划分成TS分组化处理部分901和多路复用部分902。
在控制部分835的控制下，图51中的TS分组化处理部分901分组化从PES分组化部分836提供的PES分组(PES分组流)以生成TS分组，以及提供TS分组到多路复用部分902。在控制部分835的控制下，多路复用部分902通过多路复用从TS分组化处理部分901提供的TS分组来生成传输流，以及向发送部分838提供该传输流。
在图51的发送器811中，除了TS分组化部分837之外的部分在配置上类似于图41中的那些，它们的描述被省略。虽然，在第二实施例的描述中，发送器811中的发送部分838发送MPEG2-TS，发送部分838使用驱动器来记录MPEG2-TS到可拆卸介质，诸如磁盘、光盘、磁光盘、或半导体存储器。例如，发送部分838记录MPEG2-TS到可拆卸介质中，以及未示出的接收器从可拆卸介质读取MPEG2-TS，由此，MPEG2-TS被发送到接收器。
下面，参考图52描述从图51中的发送器811发送的传输流的结构，即，其中基础音频流和扩展音频流被多路复用的传输流的结构。在图52中，与图31中的那些相对应的部分通过相同的参考标号表示，以及为避免重复，它们的描述被省略。
在图52的示例中，图52的顶部的基础音频流881和扩展音频流882表示从图51中的音频编码器532被编码以及输出的状态，以及，在图52中的第二部分的PES分组流891表示由图51中的PES分组化部分836以PES分组形式输出的状态。在图52中的第三部分的多个TS分组900表示由TS分组化部分837中的TS分组化处理部分901以TS分组形式输出的状态，以及在图52中的第四部分的TS901表示以多路复用形式通过多路复用部分902输出的状态。
换句话说，TS901被生成，使得多路复用部分902多路复用通过TS分组化处理部分901生成的TS分组900。按照基于控制部分835进行的控制的定时，多路复用部分902多路复用TS分组以生成TS901。此时，假定在接收端的虚拟接收器812，控制部分835控制TS分组多路复用定时。这个控制的细节稍后参考图21至24描述。
虽然图51和52被用来描述音频流，但是，实际上，与视频流及其它数据(系统数据)相对应的TS分组被多路复用以及发送为传输流。这个示例参考图53被简要地描述。
参考图53，之后，在步骤S401中，音频流被输入到音频编码器532(图51)，在步骤S402中，音频流被音频编码器532编码。在步骤S403中，编码的结果以分成基础音频ES(基本流)和扩展音频ES的形式被输出到PES分组化部分836。在步骤S404中，通过分组化基础音频ES和扩展音频ES为PES分组，PES分组化部分836生成音频PES(包括多个PES分组的音频PES)。在步骤S405中，PES分组化部分836提供音频PES到TS分组化部分837的TS分组化处理部分901。在步骤S406中，TS分组化处理部分901分组化音频PES为TS分组。在步骤S407中，TS分组化处理部分901提供TS分组到TS分组化部分837的多路复用部分902。
在步骤S403中从音频编码器832输出的基础音频ES和扩展音频ES分别与图52中示出的基础音频流881和扩展音频流882相对应。在步骤S405中从PES分组化部分836输出的音频PES与图52中示出的PES分组流891相对应。在步骤S407中从TS分组化部分837的TS分组化处理部分901输出的TS分组与图52中示出的TS分组900相对应。
类似于音频流的情况，视频流及其它ES被分组化为TS分组。视频流通过诸如MPEG2或MPEG-AVC的MPEG标准设想。其它ES包括，例如，图形流和诸如文本字幕(文本字幕数据)的流。
具体地，在视频流的情况下，之后，在步骤S411中，视频流被输入到视频编码器(未示出)，在步骤S412中，输入视频流被视频编码器编码为视频ES，以及，在步骤S413中，视频ES被输出。在步骤S414中，视频ES被分组化为PES分组。在步骤S415中，结果的视频PES被输出。在步骤S416中，视频PES被分组化为TS分组。在步骤S417中，TS分组被提供到TS分组化部分837的多路复用部分902。
另外，在其它ES的情况下，之后，在步骤S431中，其它ES被输入到PES分组化部分836，在步骤S432中，输入ES被分组化为PES分组。在步骤S433中，作为结果的其它PES被输出。在步骤S434中，其它PES被分组化为TS分组。在步骤S435中，TS分组被提供到TS分组化部分837的多路复用部分902。
在步骤S441中，在TS分组化部分837的多路复用部分902中，在步骤S407中提供的音频的TS分组、在步骤S417中提供的视频的TS分组、以及在步骤S435中提供的其它TS分组，按基于控制部分835的控制的定时被多路复用。在步骤S441中，通过多路复用而生成的结果的MPEG2-TS(TS)被输出。此时，MPEG2-TS被生成，以便满足图44中示出的虚拟解码器821(图40)的模型。
如上所述，音频、视频、及其它数据的TS分组被多路复用以及输出为MPEG2-TS。
在这种情况下，参考图52所述，PAT921和PMT922还被包括在多路复用的TS分组中。PAT921和PMT922包括与视频、音频、及其它数据相对应的数据项目。
下面，多路复用的TS分组的示例，即，在图53中的步骤S407、S417、和S435中输出的TS分组参考图54被描述如下。
参考图54，在图53中的步骤S417中，视频传输流1131(用于视频的TS分组)被输出，在图53中的步骤S407中，音频传输流1132(用于音频的TS分组)被输出，以及在图53中的步骤S435中，另一传输流1133(用于其它数据的TS分组)被输出。音频传输流1132与图52中的上述TS分组900相对应。
如图54所示，组成视频传输流1131的TS分组的报头承载相同的PID。具体地，组成视频传输流1131的每个TS分组的PID被表示为PID＝V0。
组成音频传输流1132的TS分组的报头承载相同的PID。具体地，组成音频传输流1132的每个TS分组的PID被表示为PID＝a0。用于基础音频流881的每个TS分组和用于扩展音频流882的每个TS分组具有不同ID。在图54中的示例中，用于基础音频流881的TS分组具有“tp＝1”，而用于扩展音频流882的TS分组具有“tp＝0”，如图54中所述。如上所述，相同的PID被添加到一个流，以及，为了区别包括在一个流中的基础音频流和扩展音频流，不同的tp(transport_priority)被添加到每个流。
组成其它传输流1133的TS分组的报头承载相同的PID。具体地，组成其它传输流1133的每个TS分组的PID被表示为PID＝E0。虽然，在图54中，其它TS分组的PID数是一个(PID＝E0)，但是当其它TS分组包括诸如交互式图形流和表示图形流的两个流类型时，不同的PID被分配给每个流类型。换句话说，当其它传输流包括两个流类型时，在其它传输流中两个PID类型被分配。
如上所述，因为对于视频流、音频流、和另外的基本流，当流被分组化为TS分组时，PID的不同类型被分配，所以仅仅通过确认TS分组的PID，每个TS分组类型能被识别。另外，仅仅通过确认被添加到TS分组的报头的tp标志，识别用于音频流的TS分组是否与基础音频流881和扩展音频流882的一个相对应。
在图53中的步骤S441中，视频传输流1131、音频传输流1132、和其它传输流1133被多路复用，以生成一个传输流。
如上所述，当发送传输流时，发送器811根据虚拟接收器812(图40)的能力，来调整TS分组发送(多路复用)定时。换句话说，即使虚拟接收器812能处理(解码)基础音频流和扩展音频流两者，或即使虚拟接收器812仅仅能处理(解码)基础音频流，发送器811调整发送(多路复用)编码TS分组的定时，以便分组能被解码，而不导致虚拟接收器812的缓冲器上溢和下溢。
发送器811假定的虚拟接收器812被描述如下。如上所述，发送器811假定虚拟解码器812(图40)的图44中的模型。换句话说，当发送器811解码基础音频流和扩展音频流，对流分组化，以及对分组多路复用时，发送器811假定虚拟解码器812的在图44中的模型。
因为图44在上文被描述，所以不描述。然而，在图44中的音频数据解码部分1060的配置的详细示例参考图18描述。在这个配置的示例中，在参考图44描述的情况(1)和(2)中的条件被应用到的那些以框图形式示出。具体地，情况(1)中的条件被应用到的那个是基础音频数据解码部分1060-1，以及情况(2)中的条件被应用到的那个是基础和扩展音频数据解码部分1060-2。
如图55所示，音频数据解码部分1060内部被分成两个系统，即，基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2。这是因为作为仅仅解码基础音频流的解码器模型的基础音频数据解码部分1060-1和作为解码基础音频流和扩展音频流二者的解码器模型的基础和扩展音频数据解码部分1060-2每次被验证。
基础音频数据解码部分1060-1包括传输优先级过滤器1061-1(在图55中用TRANSPORT PRIORITY FILTER(传输优先级过滤器)(tp＝1)表示)、传输缓冲器1062-1(在图55中用TB1表示)、基本缓冲器1063-1(在图55中用B1表示)、以及音频解码器1064-1(在图55中用D1表示)。换句话说，图55中的基础音频数据解码部分1060-1的传输优先级过滤器1061-1、传输缓冲器1062-1、基本缓冲器1063-1、以及音频解码器1064-1分别与图44中的音频数据解码部分1060的传输优先级过滤器1061、传输缓冲器1062、基本缓冲器1063、以及音频解码器1064相对应。
传输优先级过滤器1061-1仅仅选择其中tp＝1的TS分组，以及提供TS分组到传输缓冲器1062-1。传输缓冲器1062-1以向基本缓冲器1063-1的输入比特率(Rxn)作为Rx1，来提供数据。基本缓冲器1063-1存储以Rx1的比特率从传输缓冲器1062-1提供的数据。基本缓冲器1063-1的容量(Bn)被设置为B1。音频解码器1064-1按预定定时提取存储在基本缓冲器1063-1中的音频存取单元，解码音频存取单元，以及输出解码单元。具体地，当音频存取单元的PTS等于T-STD的系统时间时钟的时刻时，音频解码器1064-1从基本缓冲器1063-1提取音频存取单元。提取的音频存取单元被音频解码器1064-1解码以及输出。
如上所述，基础音频数据解码部分1060-1是假定基础音频ES的解码的虚拟解码器。其中虚拟解码器812的音频数据解码部分1060由基础音频数据解码部分1060-1代替的解码器以下被称为第一虚拟解码器。换句话说，包括在第一虚拟接收器内的虚拟解码器是第一虚拟解码器。
基础和扩展音频数据解码部分1060-2包括：传输缓冲器1062-2(在图55中用TB2表示)、基本缓冲器1063-2(在图55中用B21表示)、以及音频解码器1064-2。换句话说，在图55中的基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2、基本缓冲器1063-2、以及音频解码器1064-2分别与在图44中的音频数据解码部分1060的传输缓冲器1062、基本缓冲器1063、以及音频解码器1064相对应。基础和扩展音频数据解码部分1060-2不包括传输优先级过滤器1061的理由是基础和扩展音频数据解码部分1060-2处理基础音频ES和扩展音频ES两者。换句话说，这是因为，由于全部基础音频ES和扩展音频ES(其中tp＝1和tp＝0的全部音频TS分组)被基础和扩展音频数据解码部分1060-2处理，因此没有过滤器是必需的。
传输缓冲器1062-2被提供基础音频ES和扩展音频ES(其中tp＝1和tp＝0的音频ES)。传输缓冲器1062-2通过使用作为Rx2的到基本缓冲器1063-2的输入比特率(Rxn)，来提供数据。基本缓冲器1063-2存储以比特率Rx2从传输缓冲器1062-2提供的数据。基本缓冲器1063-2的容量(Bn)被设置为B2。
音频解码器1064-2提取存储在基本缓冲器1063-2中的音频存取单元，解码音频存取单元，以及输出解码的单元。具体地，当音频存取单元的PTS等于T-STD的系统时间时钟的时刻时，音频解码器1064-2从基本缓冲器1063-2中提取音频存取单元。音频解码器1064-2解码提取的音频存取单元，以及输出解码的音频存取单元。
如上所述，基础和扩展音频数据解码部分1060-2是假定基础音频ES和扩展音频ES的解码的虚拟解码器。其中虚拟解码器812的音频数据解码部分1060被基础和扩展音频数据解码部分1060-2代替的解码器以下被称为第二虚拟解码器。换句话说，被包括在第二虚拟接收器内的虚拟解码器是第二虚拟解码器。
到目前为止的虚拟解码器的描述被总结如下。如上参考图44所述的情况(1)的条件被应用到的虚拟解码器812，即，其中虚拟解码器812的音频数据解码部分1060被图55中的基础音频数据解码部分1060-1代替的那个，是第一虚拟解码器。另外，如上参考图44所述的情况(2)的条件被应用到的虚拟解码器812，即，其中虚拟解码器812的音频数据解码部分1060被图55中的基础和扩展音频数据解码部分1060-2代替的那个，是第二虚拟解码器。
在图55中，基本缓冲器1063-1(B1)的容量大于基本缓冲器1063-2的，以及到基本缓冲器1063-1(B1)的漏率Rx1大于到基本缓冲器1063-2的。例如，基本缓冲器1063-1(B1)具有43972字节的缓冲器大小，以及基本缓冲器1063-2具有714×210字节的缓冲器大小。另外，漏率Rx1是2Mbps，以及漏率Rx2是29.4Mbps。
在图51中发送器811需要执行从基础音频TS分组和基础和扩展音频TS分组中顺序地确定将被多路复用的TS分组，以及多路复用所确定的分组，以便正确的解码能被包括图44中的虚拟解码器812的虚拟接收器20执行。
换句话说，发送器811被要求执行确定(调整)将被多路复用的音频TS分组，以及多路复用TS分组，以便在虚拟解码器812中的传输缓冲器1062-1和传输缓冲器1062-2(图55)不上溢，以及基本缓冲器1063-1和基本缓冲器1063-2不上溢和下溢。
因此，发送器811调整多路复用TS分组900(在图52中)(通过分组化基础音频流881生成的TS分组、和通过分组化扩展音频流882生成的TS分组)的多路复用定时，以生成TS901，以便在图44中的上述虚拟解码器812被满足，即，以便解码能被图55中的基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者执行。换句话说，发送器811顺序地确定将被多路复用的TS分组，以及多路复用TS分组，以便第一虚拟接收器(第一虚拟解码器，即，包括基础音频数据解码部分1060-1的虚拟解码器812)和第二虚拟接收器(第二虚拟解码器，即，包括基础和扩展音频数据解码部分1060-2的虚拟解码器812)的缓冲器不上溢和下溢。
下面，描述处理如下，其中，考虑虚拟接收器812的能力，在图51中的发送器811编码及分组化音频流为TS分组，以及以多路复用的形式发送TS分组。图56和57是说明图51中的发送器811的TS分组发送处理的流程图。当发送器811的电源接通，以输入音频流到输入部分831时，这个处理开始。
因为类似于图45中的步骤S311至S316，步骤S511至S516未被描述，以及步骤S517和后面的步骤被描述如下。
在步骤S517中，TS分组化部分837的TS分组化处理部分901分组化从PES分组化部分836提供的PES分组为TS分组，以及提供TS分组到发送部分838。例如，TS分组化部分837分组化与基础音频流881和扩展音频流882相对应的PES分组为图52的第三部分示出的TS分组900。TS分组化处理部分901提供与基础音频和扩展音频流相对应的TS分组给多路复用部分902。
此时，如图52所示，每个基础音频TS分组和每个扩展音频TS分组的报头承载相同的PID和不同的transport_priority值。在图52的情况中，每个基础音频TS分组的报头包括“PID＝a0，tp＝1”，以及每个扩展音频TS分组的报头包括“PID＝a0，tp＝0”。
在步骤S518中，基于计算的虚拟解码器812的缓冲器占用量，控制部分835确定将被多路复用的TS分组。具体地，基于计算的第一虚拟解码器和第二虚拟解码器(见图44和55)的缓冲器占用量，控制部分835确定下个将被多路复用的TS分组(在基础音频TS分组和扩展音频TS分组之间的TS分组的任一类型)，以及控制TS分组化部分838以多路复用被确定将被多路复用的TS分组。换句话说，为了多路复用图52中的TS分组900(图54中的音频TS分组)以生成TS901，控制部分835确定将被多路复用的TS分组的次序。用于计算虚拟解码器812(第一和第二虚拟解码器)的缓冲器占用量的处理稍后参考图59和61描述。
当能被多路复用的TS分组数是多个时，控制部分835可以执行控制，以便在能被多路复用的TS分组中，具有较早的DTS(解码时间戳)的TS分组被顺序地多路复用，以及可以执行控制，以便具有虚拟解码器812的较小缓冲器占用量的流的TS分组被顺序地多路复用。
当将被多路复用的TS分组包括图54示出的视频TS分组431和其它TS分组433时，控制部分835从基础音频TS分组、扩展音频TS分组、视频TS分组431、其它TS分组433中确定将被多路复用的TS分组。
在步骤S519中，在从TS分组化处理部分901提供的TS分组中，多路复用部分902多路复用在步骤S518中被控制部分835确定将被多路复用的TS分组。具体地，在图52中的基础音频TS分组和扩展音频TS分组中，在步骤S519中确定将被多路复用的TS分组被(顺序地)多路复用。这样生成被多路复用的TS901(图52)，以便在接收端被解码。多路复用部分902提供通过多路复用基础音频TS分组和扩展音频TS分组而生成的TS901给发送部分838。
在步骤S520中，发送部分838发送从TS分组化部分837的多路复用部分902提供的TS901(图52)。在发送TS901到例如未示出的驱动器之后，发送部分838使用驱动器记录作为MPEG2-TS的TS901到可拆卸介质中，以及控制未示出的通信部分，以通过网络发送TS901到接收器。此接收器不是参考图40描述的接收器20，而是实际地接收MPEG2-TS的接收器(包括解码器)。
在步骤S521中，控制部分835判断是否结束处理。例如，在音频数据到输入部分831的输入结束、发送器811被指令结束TS分组发送处理、以及音频流的发送结束的情况中的一种情况下，控制部分835确定结束处理。在步骤S521中，如果控制部分835已经确定不结束处理，则处理回到步骤S511，以及后面的步骤被重复地执行。换句话说，输入音频数据被再次接收以及分组化为TS分组。基于虚拟解码器812的缓冲器占用量，将被多路复用的TS分组被确定并被多路复用，以及通过多路复用生成的传输流被发送。如果，在步骤S521中，控制部分835已经确定不结束处理，则处理被结束。
在图56和57的处理中，基于计算的第一虚拟解码器和第二虚拟解码器(虚拟解码器812)的每个的缓冲器占用量，按被确定用于多路复用的定时，TS分组被多路复用。因此，能确保包括与图44和55中的虚拟解码器812的模型相对应的解码器的任何接收器(未示出)能解码在上述处理中通过多路复用而生成的传输流(TS分组)。
下面，在图57的步骤S518中执行的用于计算虚拟解码器(在两个条件下的虚拟解码器812)的缓冲器占用量的方法、以及确定将被多路复用的TS分组的方法被描述如下。
如上所述在图57的步骤S518中，控制部分835假定第一虚拟解码器和第二虚拟解码器，以及基于每个虚拟解码器的缓冲器占用量，确定将被多路复用的TS分组。对此的两种方法被描述如下。
在第一方法(以下被称为方法1)中，在音频数据解码部分1060(图55)把其整体确定为将被多路复用的TS分组的情况下，当基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2能执行多路复用时，确定TS分组能被多路复用。
换句话说，在方法1中，根据图58示出的条件，基于在任意时刻计算的两个虚拟解码器(第一虚拟解码器和第二虚拟解码器)的缓冲器占用量，确定TS分组是否能被多路复用。
在图58中，在当假定基础音频数据解码部分1060-1时确定TS分组多路复用的结果表示“具有多路复用TS分组的能力”(TS分组能被多路复用)，以及当假定基础和扩展音频数据解码部分1060-2时确定TS分组多路复用的结果表示“具有多路复用TS分组的能力”(TS分组能被多路复用)的情况下，判断是否多路复用TS分组的结果表示“具有多路复用TS分组的能力”。换句话说，当确定将被发送的TS分组能在任意时刻由基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者多路复用时，确定TS分组能被多路复用。
在当假定基础音频数据解码部分1060-1时确定TS分组多路复用的结果表示“不具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时确定TS分组多路复用的结果表示“具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“不具有多路复用TS分组的能力”。换句话说，当确定在任意时刻基础音频数据解码部分1060-1不能多路复用将被发送的TS分组时，即使基础和扩展音频数据解码部分1060-2能多路复用传输分组，也确定没有多路复用传输分组的能力。
在当假定基础音频数据解码部分1060-1时确定TS分组多路复用的结果表示“具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时确定TS分组多路复用的结果表示“不具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“不具有多路复用TS分组的能力”。换句话说，即使，在任意时刻，将被发送的传输分组能通过基础音频数据解码部分1060-1多路复用，当基础和扩展音频数据解码部分1060-2不能多路复用TS分组时，确定没有多路复用TS分组的能力。
在当假定基础音频数据解码部分1060-1时确定TS分组多路复用的结果表示“不具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时确定TS分组多路复用的结果表示“不具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“不具有多路复用TS分组的能力”。换句话说，如果判断在任意时刻基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者不能多路复用将被发送的TS分组，则确定TS分组不能被多路复用。
换句话说，在方法1中，只有当确定在任意时刻将被发送的TS分组具有被基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者多路复用的能力时，TS分组具有被多路复用的能力。
下面，通过音频流来计算缓冲器占用量的、与图58中的方法1相对应的处理被描述如下。这样的处理被执行，使得图51中的控制部分835假定虚拟解码器812的两个类型，即，第一虚拟解码器和第二虚拟解码器。另外，此处理是在图57中的步骤S518中执行的处理的详细示例(方法1)。
在步骤S601中，控制部分835判断基础音频数据解码部分1060-1的传输缓冲器1062-1是否具有存储TS分组的空余空间。具体地，基于传输缓冲器1062-1的容量和从传输缓冲器1062-1到基本缓冲器1063-1的输入比特率Rx1，控制部分835判断传输缓冲器1062-1是否具有存储TS分组的空余空间(每TS分组188字节)。
如果在步骤S601中，确定基础音频数据解码部分1060-1的传输缓冲器1062-1具有存储TS分组的空余空间，则处理进行至步骤S602。在步骤S602中，控制部分835判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2是否具有存储TS分组的空余空间。具体地，基于传输缓冲器1062-2的容量和从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2，控制部分835判断传输缓冲器1062-2是否具有存储TS分组的空余空间(每TS分组188字节)。
如果在步骤S602中，确定基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2具有存储TS分组的空余空间，则处理进行至步骤S603。在步骤S603中，控制部分835判断基础音频数据解码部分1060-1的基本缓冲器1063-1是否具有存储TS分组的空余空间。具体地，基于从传输缓冲器1062-1到基本缓冲器1063-1的输入比特率Rx1、基本缓冲器1063-1的容量、和与TS分组相对应的PTS(即，由音频解码器1064-1执行提取的定时)，控制部分835判断基本缓冲器1063-1是否具有存储TS分组的空余空间(188字节)。
如果在步骤S603中，确定基础音频数据解码部分1060-1的基本缓冲器1063-1具有存储TS分组的空余空间，则处理进行至步骤S604。在步骤S604中，控制部分835判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2是否具有存储TS分组的空余空间。具体地，基于从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2、基本缓冲器1063-2的容量、和与TS分组相对应的PTS(即，音频解码器1064-2执行提取的定时)，控制部分835判断基本缓冲器1063-2是否具有存储TS分组的空余空间(188字节)。
如果在步骤S604中，确定基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2具有存储TS分组的空余空间，则处理进行至步骤S605，以及控制部分835确定TS分组能被多路复用。换句话说，如果在步骤S604中肯定地判断，则，通过执行步骤S601至S604，在图58中当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果、和在图58中当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果两者均表示能够多路复用TS分组。这样，则判断TS分组能被多路复用。更具体地说，在图22中的步骤S601和S603中的判断与“当假定基础音频数据解码部分1060-1时判断TS分组多路复用的如图58所示的结果”相对应。如果在两者步骤中判断的结果均是肯定的(是(YES))，则判断TS分组能被多路复用。在图58中的步骤S603和S604中的判断与当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的图58中的结果相对应。如果在两者步骤中判断的结果是肯定的(是)，则判断TS分组能被多路复用。
处理进行至如下所述情况中的一种情况下的步骤S606，所述情况包括：其中在步骤S601中，判断基础音频数据解码部分1060-1的传输缓冲器1062-1没有存储TS分组的空余空间；其中在步骤S602中，判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2没有存储TS分组的空余空间；其中在步骤S603中，判断基础音频数据解码部分1060-1的基本缓冲器1063-1没有存储TS分组的空余空间；以及其中在步骤S604中，判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2没有存储TS分组的空余空间。
在步骤S606中，控制部分835判断TS分组不具有被多路复用的能力。换句话说，当“没有多路复用TS分组的能力”由当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果、以及当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果中的至少一个表示时，控制部分835判断TS分组不具有被多路复用的能力。
在步骤S605或S606之后，处理结束。在图58中的处理中，在判断基础音频数据解码部分1060-1的传输缓冲器1062-1和基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2具有存储TS分组的空余空间之后，判断基础音频数据解码部分1060-1的基本缓冲器1063-1和基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2是否具有存储TS分组的空余空间。这是因为，即使基础音频数据解码部分1060-1的基本缓冲器1063-1具有存储TS分组的空余空间，也判断TS分组不具有被多路复用的能力，除非基础和扩展音频数据解码部分1060-2的传输缓冲器1062-1没有空余空间。
当图57中的步骤S518被执行时，图59中的处理被执行。图58中的处理被重复地执行。
如上所述，通过假定包括仅仅能解码基础音频流的基础音频数据解码部分1060-1的第一虚拟解码器、和包括能够解码基础和扩展音频流的基础和扩展音频数据解码部分1060-2的第二虚拟解码器，控制部分835计算缓冲器占用量。基于计算量，判断将被多路复用的TS分组是否能被多路复用。
换句话说，通过假定在图55中的基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2，控制部分835计算作为第一虚拟解码器的虚拟解码器812的缓冲器占用量、和作为第二虚拟解码器的虚拟解码器812的缓冲器占用量，以及判断将被多路复用的TS分组是否能被多路复用。这样确保基础音频流的解码，而不导致在仅仅能够解码基础音频流的解码器(实际的解码器)和能够解码基础和扩展音频流的解码器(实际的解码器)两者中的缓冲器占用量上溢和下溢。
下面，描述在假定第一和第二解码器以及基于每个虚拟解码器的缓冲器占用量而判断将被多路复用的TS分组的情况下的第二方法。
在第二方法(以下被称为方法2)中，音频数据解码部分1060(图55)的整体基于考虑基础和扩展音频流的特征而判断TS分组多路复用。基础和扩展音频流的特征意指基础音频数据解码部分1060-1仅仅处理基础音频TS分组，基础和扩展音频数据解码部分1060-2处理基础音频TS分组和扩展音频TS分组两者。在方法2的更具体的描述中，当将被处理的TS分组是扩展音频流的TS分组时，如果基础和扩展音频数据解码部分1060-2能多路复用TS分组，则判断TS分组能被多路复用。
换句话说，在方法2中，根据图60示出的条件，基于在任意时刻的两个虚拟解码器(第一虚拟解码器和第二虚拟解码器)的缓冲器占用量，判断TS分组是否能被多路复用。
在图60中，在当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示“具有多路复用TS分组的能力”(TS分组能被多路复用)，以及当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示“具有多路复用TS分组的能力”(TS分组能被多路复用)的情况下，判断是否多路复用TS分组的结果表示“具有多路复用TS分组的能力”。换句话说，当判断将被发送的TS分组能在任意时刻通过基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者被多路复用时，判断TS分组能被多路复用。
在当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示“不具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示“具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“具有仅仅多路复用扩展音频TS分组的能力”。换句话说，当判断，在任意时刻，基础音频数据解码部分1060-1不能多路复用将被发送的TS分组，以及判断基础和扩展音频数据解码部分1060-2能执行多路复用时，如果TS分组是扩展音频TS分组，则判断TS分组能被多路复用，以及，如果TS分组是基础音频TS分组，则判断TS分组不能被多路复用。
在当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示“具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示“不具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“不具有多路复用TS分组的能力”。换句话说，即使，在任意时刻，将被发送的传输分组能通过基础音频数据解码部分1060-1被多路复用，当基础和扩展音频数据解码部分1060-2不能多路复用TS分组时，判断TS分组不能被多路复用。
在当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示“不具有多路复用TS分组的能力”，以及当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示“不具有多路复用TS分组的能力”的情况下，判断是否多路复用TS分组的结果表示“不具有多路复用TS分组的能力”。换句话说，如果判断，在任意时刻，基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2两者均不能多路复用将被发送的TS分组，则判断TS分组不能被多路复用。
换句话说，在方法2中，除其中判断将被发送的TS分组在任意时刻能通过基础音频数据解码部分1060-1和通过基础和扩展音频数据解码部分1060-2两者多路复用的情况(如在方法1中的条件)外，而且，在其中将被发送的TS分组是扩展音频TS分组，并且能被基础和扩展音频数据解码部分1060-2多路复用的情况中，判断TS分组能被多路复用。
下面，基于对基础和扩展音频流特征的考虑，与图60中的方法2相对应的缓冲器占用量计算处理被描述如下。当假定两个虚拟解码器(121)，即，第一和第二虚拟解码器时，由在图51中的控制部分835执行此处理。另外，此处理是在图57中的步骤S518中执行的处理的详细示例(方法2)。
在步骤S651中，控制部分835判断将被发送(多路复用)的、包括PTS音频存取单元的TS分组是否是tp＝1的TS分组(即，基础音频TS分组)。换句话说，控制部分835判断将被多路复用的、包括PTS音频存取单元的下一TS分组是否是基础音频TS分组。当将被发送(多路复用)的、包括PTS音频存取单元的TS分组是tp＝1的TS分组(即，基础音频TS分组)时，处理进行至步骤S652。
在步骤S652中，控制部分835判断基础音频数据解码部分1060-1的传输缓冲器1062-1是否具有存储TS分组的空余空间。具体地，基于传输缓冲器1062-1的容量和从传输缓冲器1062-1到基本缓冲器1063-1的输入比特率Rx1，控制部分835判断传输缓冲器1062-1是否具有存储TS分组的空余空间(每TS分组188字节)。在这种情况下，TS分组是基础音频TS分组。
如果在步骤S652中，判断基础音频数据解码部分1060-1的传输缓冲器1062-1具有存储TS分组的空余空间，则处理进行至步骤S653。在步骤S653中，控制部分835判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2是否具有存储TS分组的空余空间。具体地，基于传输缓冲器1062-2的容量和从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2，控制部分835判断传输缓冲器1062-2是否具有存储TS分组的空余空间(每TS分组188字节)。
如果在步骤S653中，判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2具有存储TS分组的空余空间，则处理进行至步骤S654，以及控制部分835判断基础音频数据解码部分1060-1的基本缓冲器1063-1具有存储TS分组的空余空间。具体地，基于从传输缓冲器1062-1到基本缓冲器1063-1的输入比特率Rx1、基本缓冲器1063-1的容量、和与TS分组相对应的PTS(即，音频解码器1064-1执行提取的定时)，控制部分835判断基本缓冲器1063-1是否具有存储TS分组的空余空间(188字节)。
如果在步骤S654中，判断基础音频数据解码部分1060-1的基本缓冲器1063-1具有存储TS分组的空余空间，则处理进行至步骤S655，以及控制部分835判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2是否具有存储TS分组的空余空间。具体地，基于从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2、基本缓冲器1063-2的容量、和与TS分组相对应的PTS(即，音频解码器1064-2执行提取的定时)，控制部分835判断基本缓冲器1063-2是否具有存储TS分组的空余空间(188字节)。
如果在步骤S655中，判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2具有存储TS分组的空余空间，则处理进行至步骤S656，以及控制部分835判断TS分组能被多路复用。换句话说，如果在步骤S655中肯定地判断，则，通过执行步骤S652至S655，在图60中当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果、和在图60中当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果两者均表示能够多路复用TS分组。因此，判断TS分组能被多路复用。更具体地说，在图24中步骤S652和S654与当假定基础音频数据解码部分1060-1时判断TS分组多路复用的、如图60所示的结果中的基础音频TS分组相对应。如果在两者步骤中的判断结果是肯定的(是)，则判断TS分组能被多路复用。在步骤S653和S655中的判断与图60中当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果中的基础音频TS分组相对应。如果在两者步骤中的判断结果被表示为是(YES)，则判断TS分组能被多路复用。在步骤S656之后，处理结束。
如果，在步骤S651中，判断将被发送(多路复用)的、包括PTS音频存取单元的TS分组不是tp＝1(即，基础音频)的传输分组，即，如果将被发送(多路复用)的、包括PTS音频存取单元的TS分组是tp＝0(即，扩展音频)的TS分组，则处理进行至步骤S657。
在步骤S657中，控制部分835判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2是否具有存储TS分组的空余空间。具体地，基于传输缓冲器1062-2的容量、以及从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2，控制部分835判断传输缓冲器1062-2是否具有到TS分组的空余空间(每TS分组188字节)。
如果在步骤S657中，判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2具有存储TS分组的空余空间，则处理进行至步骤S658，以及控制部分835判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2是否具有存储TS分组的空余空间。具体地，基于从传输缓冲器1062-2到基本缓冲器1063-2的输入比特率Rx2、基本缓冲器1063-2的容量、以及与TS分组相对应的PTS(即，音频解码器1064-2执行提取的定时)，控制部分835判断基本缓冲器1063-2是否具有存储TS分组的空余空间(188字节)。
如果在步骤S658中，判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2具有存储TS分组的空余空间，则处理进行至步骤S659，以及控制部分835判断TS分组(即，扩展音频TS分组)能被多路复用。换句话说，如果在步骤S658中肯定地判断，则，通过执行步骤S657和S658，在图60中当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果指示能够多路复用TS分组。因此，判断将被发送的扩展音频TS分组能被多路复用。更具体地说，在图61中的步骤S657和S658与图60中当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果中的扩展音频TS分组相对应。如果在两者步骤中判断的结果是肯定的(是)，则判断扩展音频TS分组能被多路复用。
换句话说，如果在步骤S651中，将被发送的、包括PTS音频存取单元的TS分组是扩展音频TS分组，则TS分组是否能被多路复用的判断可以仅仅由基础和扩展音频数据解码部分1060-2执行。这是因为，扩展音频TS分组不被基础音频数据解码部分1060-1使用，而仅仅被基础和扩展音频数据解码部分1060-2使用。因此，如果在步骤S651中否定地判断(否(NO))，则有关基础音频数据解码部分1060-1的判断不被执行，而仅仅步骤S657和S658被执行。
如上所述，如图60所示，即使当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示“没有多路复用TS分组的能力”，当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示“具有多路复用TS分组的能力”，以及，将被发送的、包括PTS音频存取单元的TS分组是扩展音频TS分组时，判断TS分组能被多路复用。在步骤S659之后，处理结束。
如果在步骤S652中，判断基础音频数据解码部分1060-1的传输缓冲器1062-1没有存储TS分组的空余空间，如果，在步骤S653中，判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2没有存储TS分组的空余空间，如果在步骤S654中，判断基础音频数据解码部分1060-1的基本缓冲器1063-1没有存储TS分组的空余空间，如果，在步骤S655中，判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2没有存储TS分组的空余空间，如果在步骤S657中，判断基础和扩展音频数据解码部分1060-2的传输缓冲器1062-2没有存储TS分组的空余空间，或，如果在步骤S658中，判断基础和扩展音频数据解码部分1060-2的基本缓冲器1063-2没有存储TS分组的空余空间，则处理进行至步骤S660。
在步骤S660中，控制部分835判断TS分组不具有被多路复用的能力。例如，当在步骤S652、S653、S654、和S655的一个中否定地判断之后执行步骤S660时，被判断为不具有被多路复用的能力的TS分组是基础音频TS分组。另外，当在步骤S657和S658的一个中否定地判断之后执行步骤S660时，被判断为不具有被多路复用的能力的TS分组是扩展音频TS分组。在步骤S660之后，处理结束。
在图57中的步骤S518被执行之后，在图61中的处理被执行。图61中的处理被重复地执行。
如上所述，通过假定包括仅仅能解码基础音频流的基础音频数据解码部分1060-1的第一虚拟解码器，以及假定包括能够解码基础和扩展音频流的基础和扩展音频数据解码部分1060-2的第二虚拟解码器，控制部分835计算缓冲器占用量。基于计算量，控制部分835判断将被多路复用的TS分组是否能被多路复用。
换句话说，通过假定图55中的基础音频数据解码部分1060-1和基础和扩展音频数据解码部分1060-2，控制部分835计算缓冲器占用量，并且判断将被多路复用的TS分组是否能被多路复用。这确保，在仅仅能够解码基础音频流的解码器(实际的解码器)和能够解码基础和扩展音频流的解码器(实际的解码器)两者中，基础音频流能被解码，而不导致缓冲器占用量的上溢和下溢。
另外，在控制部分835多路复用基础音频TS分组的情况下，当“不具有多路复用TS分组的能力”由当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果、和当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果的至少一个表示时，控制部分835判断TS分组不具有被多路复用的能力。在控制部分835多路复用扩展音频TS分组的情况下，即使“不具有多路复用TS分组的能力”由当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示，如果“具有多路复用TS分组的能力”由当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示，则控制部分835判断扩展音频TS分组能被多路复用。
在上述方式中，即使方法1判断“不具有多路复用TS分组的能力”，方法2也能判断扩展音频TS分组能被多路复用，从而扩展多路复用限制。
具体地，在“不具有多路复用TS分组的能力”由当假定基础音频数据解码部分1060-1时判断TS分组多路复用的结果表示，并且“具有多路复用TS分组的能力”由当假定基础和扩展音频数据解码部分1060-2时判断TS分组多路复用的结果表示时，即使将被发送(多路复用)的TS分组是任一类型，方法1仍判断“不具有多路复用TS分组的能力”，而如果将被发送(多路复用)的TS分组是扩展音频TS分组，则方法2判断“具有多路复用TS分组的能力”。因此，根据方法2，多路复用的灵活性能被改进。
在参考图55所述的基本缓冲器1063-1(B1)和基本缓冲器1063-2(B2)的大小关系(B1＜B2)，以及在漏率Rx1和Rx2之间的关系(Rx1＜Rx2)中，基础音频数据解码部分1060-1不能执行多路复用。然而，基础和扩展音频数据解码部分1060-2能执行多路复用的情况很可能发生(音频流比特率越高，发生的频率越高)。因此，根据方法2，多路复用的灵活性能被改进。
根据上文，当包括基础音频流和扩展音频流的分级编码音频流被编码为用于发送的MPEG2-TS时，基于对在接收端的接收器的能力的考虑，TS分组能被发送，以便TS分组甚至能由作为包括仅仅能够处理基础音频流的解码器的第一虚拟解码器的虚拟接收器812解码。换句话说，当虚拟接收器812包括能仅仅解码基础音频流的解码器(第一虚拟解码器)，以及虚拟接收器812仅仅提取用于解码的基础音频流时，发送器811判断发送分级编码音频流(包括基础音频流和扩展音频流)的TS分组的发送定时，以便用于基础音频流的预定大小的解码器缓冲器不上溢和下溢。因此，即使仅仅基础音频流在接收端被解码，平滑的解码能被执行。
具体地，在图41中的发送器811中，发送通过多路复用基础音频流和扩展音频流的TS分组而获得的传输流的定时能基于对虚拟接收器的能力的考虑而被调整，以及，在图51中的发送器811中，当基础音频流和扩展音频流的多路复用TS分组被多路复用时，多路复用定时能基于对虚拟接收器的能力的考虑而被调整，由此，传输流能基于对接收端能力的考虑而被相应地发送。因此，在接收端，平滑的解码能被执行。
换句话说，发送器811判断发送分级编码音频流的TS分组的定时，以便在包括仅仅能够解码基础音频流的解码器(第一虚拟解码器)的第一接收器、和包括能够解码基础音频流和扩展音频流的解码器(第二虚拟解码器)的第二虚拟接收器这两者中，传输缓冲器1062(图55中的传输缓冲器1062-1和传输缓冲器1062-2)不上溢，以及基本缓冲器1063(图55中的基本缓冲器1063-1和基本缓冲器1063-2)的容量不上溢和下溢。因此，即使基础音频流在接收端被解码，以及，即使基础和扩展音频流在接收端被解码，平滑的解码能被执行。
如图40至61所示，PES分组化部分836(图41或51)控制缓冲器833(包括基础缓冲器841和扩展缓冲器842)，以获取基础音频流和扩展音频流，以及通过分组化音频流为PES分组而生成一个PES分组流891(图42或52)。除上述之外，音频编码器832可以调整基础音频流和扩展音频流的次序，以及可以安排所述流以输出一个基本流(ES)。
换句话说，在上文中，考虑被分别地输入的基础音频流和扩展音频流的次序，PES分组化部分836生成一个PES分组流891(图42或图52)。然而，考虑基础音频流和扩展音频流的次序，音频编码器832可以生成一个基本流(ES)，而基本流可以被提供到PES分组化部分836。
在这种情况下，发送器可以是具有例如图62中示出的配置的发送器451。在图62中，与图41和51中的那些相对应的部分通过相同的参考标号表示，以及为了避免重复其描述被省略。
在图62中的发送器451中，当音频编码器461编码音频流时，考虑基础音频流和扩展音频流的次序，音频编码器461分别提供基础音频流和扩展音频流到基础缓冲器841和扩展缓冲器842。换句话说，因为包括基础缓冲器841和扩展缓冲器842的缓冲器833被顺序地提供其次序被调整的音频流，因此缓冲器833组合所提供的流。相应地，从缓冲器833输出的音频流是基础音频流和扩展音频流的次序被调整的基本流。
例如，当仅仅基础和扩展音频流被生成和发送(多路复用)时，音频编码器461控制图63中示出的基础音频流881和扩展音频流882的次序，以及提供它们到缓冲器833的基础缓冲器841和扩展缓冲器842。因此，结果，缓冲器833向PES分组化部分836提供基础音频流881和扩展音频流882在其中被组合(安排)为一个的基本流883。之后，类似于图41和51，基本流883通过PES分组化部分836而被分组化为PES分组流891，以及PES分组流891被分组化为传输流(TS)。
如上所述，在基本流883的时刻(在基本流883从缓冲器833输出的时刻)，基础音频流和扩展音频流被组合成一个，由此，这个基本流的次序被保证。PES分组化部分836可以顺序地分组化从缓冲器833提供的基本流883为PES分组，以便分组化为PES分组能被执行，而无需考虑基础音频流和扩展音频流的次序。
根据第三实施例的发送/接收系统，能通过考虑接收端的能力而编码流来多路复用流。具体地，包括基础和扩展流的分级编码音频流能被多路复用，以便通过接收器平滑地解码。
本发明并不局限于包括音频编码器的发送器811，以及能被应用于执行编码的全部信息处理设备。另外，本发明并不局限于发送器811，而能同时被应用于执行分组化为TS分组和多路复用以生成传输流的多路复用器。换句话说，多路复用器可以是执行多路复用的发送器811的块，以及可以是独立的。
在上文中，本发明被应用于音频流的编码和解码的情况已经被描述。然而，本发明并不限制于此，而是能应用于视频流的编码和解码。换句话说，本发明能应用于各种类型的流，诸如音频流或视频流。
上述的连续处理能通过硬件或软件执行。在这种情况下，处理通过图64示出的个人计算机1500执行。
在图64中，根据存储在ROM1502中的程序、或从存储部分808加载到RAM1503中的程序，CPU1501执行各种类型的处理。如果需要，RAM1503还存储CPU1501执行各种类型的处理所需的数据等等。
CPU1501、ROM1502、和RAM1503通过内部总线1504相互连接。内部总线1502连接到输入/输出接口1505。
输入/输出接口1505连接到：输入部分1506，包括键盘和鼠标；输出部分1507，包括诸如阴极射线管或液晶显示器的显示器、和扬声器；存储部分1508，包括硬盘；和通信部分1509，包括调制解调器和终端适配器。通信部分1509通过包括电话线和CATV的各种网络执行通信。
如果需要，输入/输出接口1505还连接到驱动器1510。在驱动器1510中，加载可拆卸介质1521，诸如磁盘、光盘、磁光盘、或半导体存储器，以及如果需要，从介质读取的计算机程序被安装到存储部分1508中。
当连续的处理通过软件执行时，组成软件的程序从网络或记录介质被安装。
此记录介质不仅由封装介质、而且由硬盘等等形成，如图64所示，所述封装介质具有记录有程序的可拆卸介质1521，并且为了提供程序给用户而被分离地分布到计算机，所述硬盘等等以内置于个人计算机的状态被提供给用户，并且包括其中记录有程序的包括ROM1502和存储部分1508的硬盘。
在此说明书中，组成计算机程序的步骤确定地包括以时间序列方式按照给定的次序执行的处理步骤，而且，如果处理步骤不必然以时间序列方式执行，则包括以并行或个别的方式执行的处理步骤。
Claims (44)
1.一种数据结构，关于用于如下情况中的数据，所述情况为，在预定流被编码，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括之后，成为一个或多个分组的分组化被执行，以及包括所述一个或多个分组的流被提供给信息处理设备，对所述流的预定处理由信息处理设备执行，
其中，所述数据包括表示基础流的类型的分组是否存在于所述流中的基础流存在/不存在信息。
2.按照权利要求1所述的数据结构，其中，在信息处理设备中使用的所述数据还包括表示第1至第n扩展音频流的类型的分组是否存在于所述流中的扩展流存在/不存在信息。
3.按照权利要求1所述的数据结构，其中，所述流是程序流。
4.按照权利要求1所述的数据结构，其中，所述流是TS(传输流)。
5.按照权利要求4所述的数据结构，其中，由信息处理设备使用、并且包括基础流存在/不存在信息的所述数据是在包括在TS中的TS分组中、与关于预定流的PAT(程序关联表)和PMT(程序映射表)相对应的TS分组。
6.按照权利要求1所述的数据结构，其中，由信息处理设备使用、并且包括基础流存在/不存在信息的所述数据是关于从所述流中被分别地提供到信息处理设备的预定流的元数据。
7.按照权利要求1所述的数据结构，其中，除基础流存在/不存在信息之外，由信息处理设备使用的所述数据还包括在预定流被编码时表示编码类型的信息。
8.一种信息处理设备，包括：
编码装置，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
第一分组化装置，其在基础流和第1至n扩展流的类型中，向作为编码装置编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，以及其分组化具有所添加的流ID的所述一个或多个类型的流为一个或多个PES(分组化基本流)分组，并且输出所述一个或多个PES分组；
第二分组化装置，其分组化从第一分组化装置输出的所述一个或多个PES分组为一个或多个预定分组，并且输出所述一个或多个预定分组；以及
生成装置，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于从第二分组化装置输出的所述一个或多个分组中。
9.按照权利要求8所述的信息处理设备，其中，所述生成装置还生成扩展流存在/不存在信息，用于表示第1至n扩展流的类型的分组是否存在于从第二分组化装置输出的所述一个或多个分组中。
10.按照权利要求8所述的信息处理设备，还包括输出装置，其输出至少包括从第二分组化装置输出的所述一个或多个分组的流以及由生成装置生成的基础流存在/不存在信息到信息处理设备自身的外部。
11.按照权利要求10所述的信息处理设备，其中，从第二分组化装置输出的分组形成程序流。
12.按照权利要求10所述的信息处理设备，其中，从第二分组化装置输出的分组是TS(传输流)分组。
13.按照权利要求12所述的信息处理设备，其中，
所述生成装置还生成PAT(程序关联表)和PMT(程序映射表)，作为至少包括基础流存在/不存在信息的表；
所述第二分组化装置还分组化由生成装置生成的PAT和PMT为一个或多个TS分组，并且输出该TS分组；
除与从第二分组化装置输出的流相对应的所述一个或多个TS分组之外，所述输出装置还输出包括与从第二分组化装置输出的PAT和PMT相对应的所述一个或多个TS分组的TS到信息处理设备自身的外部。
14.按照权利要求13所述的信息处理设备，其中，由生成装置生成的PMT还包括由第一分组化装置添加的流ID。
15.按照权利要求10所述的信息处理设备，还包括元数据生成装置，其生成关于预定流的元数据，该元数据至少包括由生成装置生成的基础流存在/不存在信息；
其中，所述输出装置个别地输出由从第二分组化装置输出的所述一个或多个分组形成的流、和由元数据生成装置生成的元数据到信息处理设备自身的外部。
16.按照权利要求8所述的信息处理设备，其中，所述生成装置还生成表示在预定流由编码装置编码时的编码类型的信息。
17.一种信息处理方法，包括：
编码步骤，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
第一分组化步骤，其在基础流和第1至n扩展流的类型中，向作为在编码步骤中编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，分组化具有所添加的流ID的所述一个或多个类型的流成一个或多个PES(分组化基本流)分组，以及输出所述一个或多个PES分组；
第二分组化步骤，其分组化在第一分组化步骤中输出的所述一个或多个PES分组为一个或多个预定分组，并且输出所述一个或多个预定分组；以及
生成步骤，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于在第二分组化步骤中输出的所述一个或多个分组中。
18.一种程序，将由计算机执行，以控制关于预定流的处理，所述程序包括：
编码步骤，其编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
第一分组化步骤，其在基础流和第1至n扩展流的类型中，向作为在编码步骤中编码预定流的结果而实际上所获得的一个或多个类型的流，添加作为流ID(标识符)的不同的唯一值，分组化具有所添加的流ID的所述一个或多个类型的流为一个或多个PES(分组化基本流)分组，以及输出所述一个或多个PES分组；
第二分组化步骤，分组化在第一分组化步骤中输出的所述一个或多个PES分组的每个为一个或多个预定的分组，并且输出所述一个或多个预定的分组；以及
生成步骤，其生成基础流存在/不存在信息，用于表示基础流的类型的分组是否存在于在第二分组化步骤中输出的所述一个或多个分组中。
19.一种信息处理设备，包括：
获取装置，其中，当不同的设备执行：
编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流，以及分组化具有所添加的流ID的所述一个或多个流为一个或多个PES(分组化基本流)分组；
分组化所述一个或多个PES分组的每个为预定分组；
生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每个是否存在于所述一个或多个分组中；以及
输出由所述一个或多个分组形成的流和流存在/不存在信息时，所述获取装置获取流和流存在/不存在信息；
存储装置，其从由获取装置获取的流中还原所述一个或多个PES分组；
解码装置，其在存储在存储装置中的所述一个或多个PES分组中，解码从存储装置中读取的PES分组；以及
控制装置，其基于由获取装置获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能由解码装置处理的类型的分组是否包括在由获取装置获取的流中，以及当控制装置判断该类型的分组没有被包括时，其执行禁止从存储装置读取PES分组的控制，而当控制装置判断该类型的分组被包括时，其执行读取具有所添加的流ID的PES分组的控制，该流ID与能由解码装置处理的类型相对应。
20.按照权利要求19所述的信息处理设备，其中，由获取装置获取的所述流是程序流。
21.按照权利要求19所述的信息处理设备，其中，由获取装置获取的所述流是包括一个或多个TS分组的TS(传输流)。
22.按照权利要求21所述的信息处理设备，其中，
当所述不同的设备还执行生成有关预定流的PAT(程序关联表)和PMT(程序映射表)，作为至少包括流存在/不存在信息的表，还分组化PAT和PMT为一个或多个TS分组，以及除与流相对应的所述一个或多个TS分组之外，还输出包括与PAT和PMT相对应的所述一个或多个TS分组的TS时，所述获取装置获取TS，以及
所述控制装置从由获取装置获取的TS中提取与PAT和PMT相对应的TS分组，并且从TS分组中识别流存在/不存在信息。
23.按照权利要求22所述的信息处理设备，其中，
所述PMT包括由不同的设备添加的流ID；以及
当判断能够由解码装置处理的类型的TS分组包括在由获取装置获取的TS中时，所述控制装置从PMT中识别与能够由解码装置处理的类型相对应的流ID，并且执行从存储装置中读取具有该流ID的PES分组的控制。
24.按照权利要求19所述的信息处理设备，其中，
当所述不同的设备还执行生成有关预定流的元数据，该元数据至少包括流存在/不存在信息，以及个别地输出该流和元数据时，所述控制装置个别地获取该流和元数据，以及
所述控制装置从由获取装置获取的元数据中识别流存在/不存在信息。
25.按照权利要求19所述的信息处理设备，其中，
表示在预定流被编码时的编码类型的信息从所述不同的设备输出；
所述获取装置还获取该信息；以及
所述控制装置还基于由获取装置获取的信息而执行识别由获取装置获取的流的编码类型，并且判断能够由解码装置处理的类型的分组是否能够被包括在该流中，并且，当所述控制装置判断该类型的分组能够被包括时，所述控制装置执行判断能够由解码装置处理的类型的分组是否被包括在TS中，以及，当所述控制装置判断该类型的分组不能够被包括时，所述控制装置禁止该判断。
26.一种信息处理方法，用于信息处理设备，其中，当不同的设备执行：
编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流，以及分组化具有所添加的流ID的所述一个或多个流为一个或多个PES(分组化基本流)分组；
分组化所述一个或多个PES分组的每个为预定分组；
生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每个是否存在于所述一个或多个分组中；以及
输出由所述一个或多个分组形成的流、和流存在/不存在信息时，流和流存在/不存在信息被获取，并且该流存在/不存在信息用于对该流执行处理，
所述信息处理方法包括：
存储控制步骤，从由信息处理设备获取的流中还原所述一个或多个PES分组，并且存储所述一个或多个PES分组到信息处理设备的缓冲器中；
解码步骤，在存储控制步骤中存储的所述一个或多个PES分组中，解码从缓冲器中读取的PES分组；以及
控制步骤，基于由信息处理设备获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能够由解码装置处理的类型的分组是否包括在由获取装置所获取的流中，以及当判断该类型的分组未被包括时，执行控制来禁止从存储装置读取PES分组，以及，当判断该类型的分组被包括时，执行控制以从缓冲器读取具有所添加的流ID的PES分组，作为在解码步骤中将被处理的分组，所述流ID与能够在解码步骤中处理的类型相对应。
27.一种程序，将由计算机执行用来控制接收器，其中，当发送器执行：
编码预定流，以便在基础流和对于基础流具有可扩展性的第1至n(n表示等于或大于1的整数值)扩展流的类型中，至少一种类型的流被包括；
添加作为流ID(标识符)的不同的唯一值到作为编码的结果而实际上所获得的一个或多个流，以及分组化具有所添加的流ID的所述一个或多个流为一个或多个PES(分组化基本流)分组；
分组化所述一个或多个PES分组的每个为预定分组；
生成流存在/不存在信息，用于表示包括在基础流和第1至n扩展流之中的基础流的类型的一个或多个类型的分组的每个是否存在于所述一个或多个分组中；以及
输出由所述一个或多个分组形成的流、和流存在/不存在信息时，该流和流存在/不存在信息被接收，以及该流存在/不存在信息用于执行对该流的处理，
所述程序包括：
存储控制步骤，从形成由接收器接收的TS的所述一个或多个分组中还原所述一个或多个PES分组，并且存储该PES分组到接收器的缓冲器中；
解码步骤，在存储控制步骤中存储的所述一个或多个PES分组之中，解码从缓冲器读取的PES分组；以及
控制步骤，基于由接收器获取的流存在/不存在信息，而判断在基础音频流和第1至n扩展流的类型中，能够在解码步骤中处理的类型的分组是否包括在由接收器接收的流中，当判断该类型的分组未被包括时，执行控制以禁止从存储装置读取PES分组，以及，当判断该类型的分组被包括时，执行控制以从缓冲器读取具有所添加的流ID的PES分组，作为在解码步骤中将处理的分组，所述流ID与能够在解码步骤中处理的类型相对应。
28.一种发送设备，包括：
编码装置，其编码输入流，以便基础流和对于基础流具有可扩展性的扩展流被包括；
分组化装置，其分组化由编码装置获得的基础流和扩展流的每个为TS(传输流)分组；
控制装置，其控制分组化装置所获得的TS分组被发送的定时；以及
发送装置，其以由控制装置控制的定时，来发送TS分组到接收器，
其中，所述控制装置当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，控制TS分组发送定时，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
29.按照权利要求28所述的发送设备，其中，
基本缓冲器的所述第一容量小于所述第二容量；以及
作为到基本缓冲器的输入比特率的所述第一速率小于所述第二速率。
30.按照权利要求28所述的发送设备，其中，通过假定由第一虚拟接收器获取的TS分组仅仅是在由发送装置发送的TS分组之中的形成基础流的TS分组，以及假定由第二虚拟接收器获取的TS分组是形成由发送装置发送的基础流和扩展流的TS分组，所述控制装置控制TS分组发送定时。
31.按照权利要求28所述的发送设备，其中，
所述第一虚拟接收器和第二虚拟接收器还分别在第一虚拟接收器和第二虚拟接收器中的基本缓冲器之前的段中包括传输缓冲器；以及
所述控制装置在传输缓冲器被防止上溢时，控制TS分组发送定时。
32.按照权利要求28所述的发送设备，其中，在计算防止第一虚拟接收器中的基本缓冲器上溢和下溢的定时之后，通过计算防止第二虚拟接收器中的基本缓冲器上溢和下溢的定时，所述控制装置控制TS分组发送定时。
33.一种发送方法，包括：
编码步骤，编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；
分组化步骤，分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；
控制步骤，控制在分组化步骤中获得的TS分组被发送的定时；以及
发送步骤，以由控制步骤所控制的定时，来发送TS分组到接收器，
其中，在所述控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，所述TS分组发送定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
34.一种程序，使计算机执行处理，包括：
编码步骤，编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；
分组化步骤，分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；
控制步骤，控制在分组化步骤中获得的TS分组被发送的定时；以及
发送步骤，以由控制步骤控制的定时来发送TS分组到接收器，
其中，在所述控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，TS分组发送定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
35.一种多路复用设备，包括：
编码装置，其编码输入流，以便基础流和对于基础流具有可扩展性的扩展流被包括；
分组化装置，其分组化由编码装置获得的基础流和扩展流的每个为TS(传输流)分组；
控制装置，其控制由分组化装置所获得的TS分组被多路复用的定时；以及
多路复用装置，其以由控制装置控制的定时，来多路复用TS分组，
其中，所述控制装置当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，控制TS分组多路复用定时，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
36.按照权利要求35所述的多路复用设备，其中，
基本缓冲器的所述第一容量小于所述第二容量；以及
作为到基本缓冲器的输入比特率的所述第一速率小于所述第二速率。
37.按照权利要求35所述的多路复用设备，
其中，通过假定由第一虚拟接收器获取的TS分组仅仅是在由多路复用装置多路复用的TS分组之中的形成基础流的TS分组，以及假定由第二虚拟接收器获取的TS分组是形成由多路复用装置多路复用的基础流和扩展流的TS分组，所述控制装置控制TS分组多路复用定时。
38.按照权利要求35所述的多路复用设备，其中，
所述第一虚拟接收器和第二虚拟接收器还在基本缓冲器之前的段中分别包括传输缓冲器；以及
所述控制装置在传输缓冲器被防止上溢时，控制TS分组多路复用定时。
39.按照权利要求35所述的多路复用设备，
其中，在计算防止第一虚拟接收器中的基本缓冲器上溢和下溢的定时之后，通过计算防止在第二虚拟接收器中的基本缓冲器上溢和下溢的定时，所述控制装置控制TS分组多路复用定时。
40.按照权利要求35所述的多路复用设备，
其中，所述控制装置在第一虚拟接收器和第二虚拟接收器中的基本缓冲器被防止上溢和下溢时，控制传输流分组多路复用定时。
41.按照权利要求35所述的多路复用设备，还包括记录控制装置，其执行控制，以便由多路复用装置多路复用的TS分组记录在记录介质中。
42.按照权利要求35所述的多路复用设备，
其中，所述输入流包括音频流部分和视频流部分的至少一个。
43.一种多路复用方法，包括：
编码步骤，编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；
分组化步骤，分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；
控制步骤，控制在分组化步骤中获得的TS分组被多路复用的传输流分组多路复用定时；以及
多路复用步骤，以由控制步骤控制的定时，来多路复用TS分组，
其中，在所述控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，TS分组多路复用定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
44.一种程序，使计算机执行处理，包括：
编码步骤，编码输入流，以便基础流和对于基础流具有可扩展性的基本流被包括；
分组化步骤，分组化在编码步骤中获得的基础流和扩展流的每个为TS分组；
控制步骤，控制在分组化步骤中获得的TS分组被多路复用的传输流分组多路复用定时；以及
多路复用步骤，以由控制步骤控制的定时，来多路复用TS分组，
其中，在所述控制步骤中，当在包括第一虚拟解码器的第一虚拟接收器和包括第二虚拟解码器的第二虚拟接收器中，在第一和第二虚拟接收器中的基本缓冲器被防止上溢时，TS分组多路复用定时被控制，其中，所述第一虚拟解码器仅仅处理基础流，并且假定基本缓冲器具有第一容量，以及到基本缓冲器的输入比特率是第一速率，以及所述第二虚拟解码器处理基础流和扩展流，并且假定基本缓冲器具有第二容量，以及到基本缓冲器的输入比特率是第二速率。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004297683 | 2004-10-12 | ||
| JP297683/2004 | 2004-10-12 | ||
| JP363959/2004 | 2004-12-16 | ||
| JP2004363959 | 2004-12-16 | ||
| JP2005197050A JP4872253B2 (ja) | 2004-10-12 | 2005-07-06 | 多重化装置、多重化方法、プログラム、および記録媒体 |
| JP197050/2005 | 2005-07-06 | ||
| PCT/JP2005/017606 WO2006040917A1 (ja) | 2004-10-12 | 2005-09-26 | データ構造、情報処理装置および情報処理方法、送信装置および送信方法、多重化装置および多重化方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101076852A true CN101076852A (zh) | 2007-11-21 |
| CN101076852B CN101076852B (zh) | 2012-05-30 |
Family
ID=36148215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200580042654XA Expired - Fee Related CN101076852B (zh) | 2004-10-12 | 2005-09-26 | 信息处理、发送、或多路复用的设备和方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7782846B2 (zh) |
| EP (2) | EP2107555B1 (zh) |
| JP (1) | JP4872253B2 (zh) |
| KR (1) | KR101202051B1 (zh) |
| CN (1) | CN101076852B (zh) |
| MX (1) | MXPA05010669A (zh) |
| TW (3) | TW200951945A (zh) |
| WO (1) | WO2006040917A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179420A (zh) * | 2009-04-08 | 2013-06-26 | 索尼公司 | 记录设备、记录方法、回放设备、回放方法、程序和记录介质 |
| CN103338180A (zh) * | 2012-01-04 | 2013-10-02 | 罗伯特·博世有限公司 | 用于获取音频数据包的识别码的方法和装置 |
| CN106716524A (zh) * | 2014-09-30 | 2017-05-24 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4997720B2 (ja) * | 2004-12-16 | 2012-08-08 | ソニー株式会社 | 多重化装置、多重化方法、プログラム、および記録媒体 |
| JP4423301B2 (ja) * | 2005-01-18 | 2010-03-03 | 三菱電機株式会社 | 多重化装置及び送受信装置 |
| JP4678486B2 (ja) * | 2005-03-11 | 2011-04-27 | ソニー株式会社 | 多重化装置および多重化方法、プログラム、並びに記録媒体 |
| US9063881B2 (en) * | 2010-04-26 | 2015-06-23 | Cleversafe, Inc. | Slice retrieval in accordance with an access sequence in a dispersed storage network |
| KR100942142B1 (ko) * | 2007-10-11 | 2010-02-16 | 한국전자통신연구원 | 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치 |
| EP2053821B1 (en) * | 2007-10-22 | 2013-05-15 | Nokia Siemens Networks Oy | Method, apparatus and computer program product for service decomposition in IP-broadcast networks |
| KR100948260B1 (ko) * | 2007-12-18 | 2010-03-18 | 한국전자통신연구원 | 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법 |
| US8504708B2 (en) * | 2010-07-01 | 2013-08-06 | Broadcom Corporation | Method and system for generic IP multimedia residential gateways |
| JP5857661B2 (ja) * | 2011-11-18 | 2016-02-10 | 沖電気工業株式会社 | パケット処理装置及び方法 |
| WO2013142154A1 (en) * | 2012-03-20 | 2013-09-26 | Tricopian, Llc | Two-way exchange vending |
| JP2014064124A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 動画処理装置、動画処理方法及びプログラム |
| GB2524333A (en) * | 2014-03-21 | 2015-09-23 | Nokia Technologies Oy | Audio signal payload |
| CN106664441A (zh) * | 2014-07-07 | 2017-05-10 | 汤姆逊许可公司 | 根据元数据增强视频内容 |
| CN104660328B (zh) * | 2015-03-11 | 2018-11-02 | 深圳市新岸通讯技术有限公司 | 光纤复用设备的远程管理系统及远程管理方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5726989A (en) * | 1995-11-06 | 1998-03-10 | Stellar One Corporation | Method for ensuring synchronization of MPEG-1 data carried in an MPEG-2 transport stream |
| JPH09139937A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ltd | 動画ストリーム変換装置 |
| JPH09322161A (ja) * | 1996-05-30 | 1997-12-12 | Ekushingu:Kk | デコード装置 |
| KR0175570B1 (ko) * | 1996-10-16 | 1999-04-01 | 양승택 | Atm망의 정합을 위한 mpeg-2 ts 다중화장치 |
| JP3516585B2 (ja) * | 1997-03-17 | 2004-04-05 | 松下電器産業株式会社 | データ処理装置及びデータ処理方法 |
| KR100215476B1 (ko) | 1997-06-02 | 1999-08-16 | 윤종용 | 디지털 다기능 디스크(dvd) 및 dvd재생장치 |
| US6252873B1 (en) * | 1998-06-17 | 2001-06-26 | Gregory O. Vines | Method of ensuring a smooth transition between MPEG-2 transport streams |
| US6816491B1 (en) * | 1998-11-04 | 2004-11-09 | Hitachi, Ltd. | Multiplexed audio data decoding apparatus and receiver apparatus |
| JP3848805B2 (ja) * | 1998-11-04 | 2006-11-22 | 株式会社日立製作所 | 受信装置 |
| JP4489248B2 (ja) * | 1999-06-02 | 2010-06-23 | パナソニック株式会社 | 光ディスク、光ディスクに対してデータの記録、再生を行なう装置及び方法 |
| US6801707B1 (en) * | 1999-09-20 | 2004-10-05 | Matsushita Electric Industrial Co., Ltd. | Encoding/recording device that suspends encoding for video data and sampling for an audio signal in response to a recording pause instruction so as to allow data recorded before and after recording pause to be continuously reproduced |
| JP2001160968A (ja) * | 1999-09-20 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 符号化記録装置 |
| EA003213B1 (ru) * | 1999-12-21 | 2003-02-27 | Конинклейке Филипс Электроникс Н.В. | Введение первого цифрового информационного сигнала во второй цифровой информационный сигнал для передачи через среду передачи |
| JP2001251616A (ja) * | 2000-03-02 | 2001-09-14 | Media Glue Corp | 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体 |
| EP1139665A1 (en) * | 2000-03-29 | 2001-10-04 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for changing the output delay of audio or video data encoding |
| JP3542976B2 (ja) * | 2000-03-29 | 2004-07-14 | 松下電器産業株式会社 | 圧縮符号化データ再生方法および装置 |
| JP2001285234A (ja) * | 2000-04-04 | 2001-10-12 | Sony Corp | データ多重化装置およびデータ多重化方法、並びに記録媒体 |
| US7088911B2 (en) * | 2000-04-26 | 2006-08-08 | Sony Corporation | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
| KR100398610B1 (ko) * | 2001-01-30 | 2003-09-19 | 한국전자통신연구원 | 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법 |
| JP2002247565A (ja) * | 2001-02-22 | 2002-08-30 | Hitachi Ltd | ネットワークａｖカメラおよびシステム |
| JP2003199045A (ja) * | 2001-12-26 | 2003-07-11 | Victor Co Of Japan Ltd | 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム |
| JP2003242717A (ja) | 2002-02-19 | 2003-08-29 | Sanyo Electric Co Ltd | 記録再生装置 |
| JP4077264B2 (ja) * | 2002-07-25 | 2008-04-16 | パイオニア株式会社 | 情報記録媒体、情報記録装置、情報記録方法、情報再生装置、及び情報再生方法 |
| KR20040009927A (ko) * | 2002-07-26 | 2004-01-31 | 삼성전자주식회사 | Ｄｔｖ 스트림 생성을 위한 정보를 저장하는정보저장매체, ｄｔｖ 스트림 변환 방법 및 그 장치 |
| JP4678486B2 (ja) * | 2005-03-11 | 2011-04-27 | ソニー株式会社 | 多重化装置および多重化方法、プログラム、並びに記録媒体 |
-
2005
- 2005-07-06 JP JP2005197050A patent/JP4872253B2/ja not_active Expired - Fee Related
- 2005-09-26 KR KR1020077008226A patent/KR101202051B1/ko not_active IP Right Cessation
- 2005-09-26 EP EP09009133.1A patent/EP2107555B1/en not_active Expired - Fee Related
- 2005-09-26 WO PCT/JP2005/017606 patent/WO2006040917A1/ja active Application Filing
- 2005-09-26 EP EP05785990.2A patent/EP1801781B1/en not_active Expired - Fee Related
- 2005-09-26 CN CN200580042654XA patent/CN101076852B/zh not_active Expired - Fee Related
- 2005-09-26 US US11/577,137 patent/US7782846B2/en active Active
- 2005-10-04 MX MXPA05010669A patent/MXPA05010669A/es active IP Right Grant
- 2005-10-05 TW TW098128836A patent/TW200951945A/zh unknown
- 2005-10-05 TW TW098128842A patent/TW201001401A/zh not_active IP Right Cessation
- 2005-10-05 TW TW094134842A patent/TW200629245A/zh not_active IP Right Cessation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179420A (zh) * | 2009-04-08 | 2013-06-26 | 索尼公司 | 记录设备、记录方法、回放设备、回放方法、程序和记录介质 |
| CN103179417A (zh) * | 2009-04-08 | 2013-06-26 | 索尼公司 | 记录设备、记录方法、回放设备、回放方法、程序和记录介质 |
| CN103179417B (zh) * | 2009-04-08 | 2014-12-31 | 索尼公司 | 记录设备、记录方法、回放设备和回放方法 |
| CN103179420B (zh) * | 2009-04-08 | 2015-12-09 | 索尼公司 | 记录设备、记录方法、回放设备、回放方法、程序和记录介质 |
| CN103338180A (zh) * | 2012-01-04 | 2013-10-02 | 罗伯特·博世有限公司 | 用于获取音频数据包的识别码的方法和装置 |
| CN103338180B (zh) * | 2012-01-04 | 2016-12-28 | 罗伯特·博世有限公司 | 用于获取音频数据包的识别码的方法和装置 |
| CN106716524A (zh) * | 2014-09-30 | 2017-05-24 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
| CN106716524B (zh) * | 2014-09-30 | 2021-10-22 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7782846B2 (en) | 2010-08-24 |
| KR101202051B1 (ko) | 2012-11-15 |
| TW200629245A (en) | 2006-08-16 |
| EP1801781B1 (en) | 2015-08-19 |
| EP2107555B1 (en) | 2015-01-07 |
| EP2107555A3 (en) | 2010-10-06 |
| TW201001401A (en) | 2010-01-01 |
| KR20070083656A (ko) | 2007-08-24 |
| JP4872253B2 (ja) | 2012-02-08 |
| EP1801781A4 (en) | 2009-03-25 |
| TWI349273B (zh) | 2011-09-21 |
| TW200951945A (en) | 2009-12-16 |
| EP1801781A1 (en) | 2007-06-27 |
| EP2107555A2 (en) | 2009-10-07 |
| CN101076852B (zh) | 2012-05-30 |
| TWI380291B (zh) | 2012-12-21 |
| JP2006197542A (ja) | 2006-07-27 |
| US20090028189A1 (en) | 2009-01-29 |
| MXPA05010669A (es) | 2006-04-18 |
| WO2006040917A1 (ja) | 2006-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101076852A (zh) | 数据结构、信息处理设备、信息处理方法、发送设备、发送方法、多路复用设备、多路复用方法、以及程序 | |
| CN1310508C (zh) | 数据传输装置及方法 | |
| CN1118772C (zh) | 数字数据发送接收系统及其方法 | |
| CN1535465A (zh) | 信息记录介质,将信息记录到信息记录介质的装置及方法 | |
| CN1529419A (zh) | 用于视听设备的声象定位装置和方法 | |
| CN1265646C (zh) | 流变换方法和装置,数据记录方法和装置,和数据记录介质 | |
| CN1293755C (zh) | 流变换方法和装置、数据记录方法和装置、数据记录介质 | |
| CN1771728A (zh) | 信息记录介质,将信息记录到信息记录介质的装置及方法 | |
| CN1437750A (zh) | 数据记录设备 | |
| CN1596545A (zh) | 运动图像编码方法及运动图像解码方法 | |
| CN1856036A (zh) | 字幕产生设备和方法 | |
| CN1879409A (zh) | 记录装置及方法、再生装置及方法、记录媒体及程序 | |
| CN1926872A (zh) | 信息处理设备、信息处理方法、程序和数据结构 | |
| CN1515115A (zh) | 多路复用装置及逆多路复用装置 | |
| CN1291053A (zh) | 记录装置及编码装置 | |
| CN1767616A (zh) | 数据处理装置及方法、程序及介质、数据介质和数据结构 | |
| CN1334675A (zh) | 数字视频记录装置和方法 | |
| CN1833438A (zh) | 节目记录装置 | |
| CN1287354C (zh) | 代码转换方法与设备 | |
| CN1822201A (zh) | 信息记录/再生装置 | |
| CN1236608C (zh) | 重放装置和方法、记录装置和方法、以及输出和输入装置 | |
| CN1215403C (zh) | 传输装置、源分组生成装置、分组模式确定方法 | |
| CN1620147A (zh) | 编码信号分离装置、合成装置、分离合成系统及其方法 | |
| CN1270237C (zh) | 用有关图形数据压缩的元语言产生输入文件的方法和系统 | |
| CN1961576A (zh) | 记录可以高速转换的流的信息记录介质，及其记录装置和记录方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20071121 Assignee: Shanghai Epic Music Co.,Ltd. Assignor: Blue light United Co.,Ltd. Contract record no.: 2016990000555 Denomination of invention: Information processing device, information processing method, transmission device, transmission method, multiplexing device, multiplexing method Granted publication date: 20120530 License type: Common License Record date: 20161228 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120530 Termination date: 20210926 |