JP2012042972A - 情報処理装置、情報処理方法、プログラム、データ構造、および記録媒体 - Google Patents

Abstract

【課題】基本ストリームと複数段階の拡張ストリームを含むストリームをエンコードし、デコードできるようにする。
【解決手段】送信装置は、オーディオストリームをエンコードして、基本ストリームＢＳ、第１乃至第ｎの拡張ストリームＥｘｔ１乃至ＥｘｔＮとする。また、送信装置は、テーブル９０，９１を参照して、それぞれストリームの種類毎にPIDを付したＴＳパケット９２、並びに９３−１乃至９３−ｎと、テーブルのＴＳパケット９０，９１を生成して、受信装置に送信する。受信装置は、テーブルのＴＳパケット９０，９１を参照して、自分が処理できるストリームの種類を判別し、自分が処理できるストリームに関連付けられたPIDが付されているＴＳパケットを選択して、デコードする。本発明は、エンコードやデコードを行う送信装置、受信装置に適用することができる。
【選択図】図５

Description

本発明は、情報処理装置、情報処理方法、プログラム、データ構造、および記録媒体に関し、特に、基本ストリームと複数段階の拡張ストリームを含むストリームを処理する情報処理装置、情報処理方法、プログラム、データ構造、および記録媒体に関する。

MPEG（Moving Picture Experts Group）２オーディオストリームは、MPEG１オーディオデコーダでも再生できるように後方互換性がある。すなわち、MPEG２オーディオストリームは、基本部分としてのMPEG１オーディオストリーム部分と、それの拡張部分としてのMPEG２オーディオ部分を含む構造とされている。

DVD（Digital Versatile Disc）ビデオのフォーマットでは、MPEG２オーディオストリームをプログラムストリーム（Program Stream）に多重化する技術が開示されている（例えば、非特許文献１）。図１は、DVDビデオのフォーマットにおけるプログラムストリーム１の構造を示す図である。図１のプログラムストリーム１には、ビデオパック（Video Pack）１１、MEPG２オーディオパック（Audio Pack）１２、および複数のパック（Pack）１３−１乃至１３−ｊ（ｊは任意の自然数）が含まれている。

MPEG２オーディオパック１２には、パックヘッダ（Pack Header）２１、PES（Packetized Elementary Stream）パケットヘッダ２２、MPEG１オーディオデータ（Base）２３、PESパケットヘッダ２４、およびMPEG２オーディオデータ（Extension）２５が含まれる。また、MPEG２オーディオパック１２のペイロードは、PESパケットヘッダ２２とMPEG１オーディオデータ２３からなるMPEG１オーディオのPESパケット、およびPESパケットヘッダ２４とMPEG２オーディオデータ２５からなるMPEG２オーディオの拡張部分のPESパケットを持つ。

このMPEG２オーディオパック１２を再生する場合、MPEG１オーディオストリームしかデコードできない再生装置（MPEG１のみに対応した再生装置）はMPEG１オーディオストリーム部分であるPESパケットヘッダ２２およびMPEG１オーディオデータ２３だけを分離して再生し、MPEG２オーディオストリームまでデコードできる再生装置（拡張オーディオストリームまでの再生能力を持った再生装置）では、基本と拡張の両方のオーディオストリームを分離して再生する。具体的には、後者の再生装置では、PESパケットヘッダ２２およびMPEG１オーディオデータ２３の他に、MPEG２拡張オーディオストリームであるPESパケットヘッダ２４およびMPEG２オーディオデータ２５を再生する。

DVD Specifications for Read-Only Disc Part 3;Version1.1

しかしながら、近年のストリームにおける拡張性に対し、図１に示されるようなプログラムストリームの場合には、ストリーム構造をフォーマットとして決めてしまうため、さらなるオーディオストリームの拡張を追加することができないという課題があった。

このことは、拡張性の縮小に繋がるとともに、再生装置の共通化を実現しにくいという課題となる。

また、オーディオストリームを放送する場合、ＴＳ（Transport Stream）に適用させて放送するのが一般的であるが、図１に示されるようなプログラムストリームの符号化方法では、ＴＳに適用するには適していない。具体的には、パック（例えば、図１のMPEG２オーディオパック１２）に相当するＴＳパケットは、１８８バイト長と比較的小さいので、この中に基本部分（MPEG１）と拡張部分（MPEG２）の２個のPESパケットを多重化した場合、符号化効率が悪いという問題がある。

本発明はこのような状況に鑑みてなされたものであり、基本ストリームと複数段階の拡張ストリームを含むストリームをエンコードし、デコードできるようにするものである。

本発明の第１の情報処理装置は、基本ストリームと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコード手段と、基本ストリーム、並びに拡張ストリームのうち、エンコード手段によりエンコードされたものに、全体ストリームを識別するための第１の識別情報を付加する第１の付加手段と、基本ストリーム、並びに拡張ストリームのうち、エンコード手段によりエンコードされたものに、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加手段と、基本ストリーム、並びに、拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化されたＴＳパケットのヘッダに、第１の付加手段と第２の付加手段により付加された第１の識別情報及び第２の識別情報を格納するパケット化手段とを備え、エンコード手段は、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードすることを特徴とする。

エンコード手段は、基本ストリームのそれぞれの同期単位に対応する拡張ストリームの同期単位が存在する場合、その同期単位において、拡張ストリームと、基本ストリームとをエンコードするものとすることができる。

本発明の第１の情報処理方法は、基本ストリームと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコードステップと、基本ストリーム、並びに拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、全体ストリームを識別するための第１の識別情報を付加する第１の付加ステップと、基本ストリーム、並びに拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加ステップと、基本ストリーム、並びに、拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化されたＴＳパケットのヘッダに、第１の付加ステップと第２の付加ステップの処理により付加された第１の識別情報及び第２の識別情報を格納するパケット化ステップとを含み、エンコードステップの処理において、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードすることを特徴とする。

本発明の第１のプログラムは、基本ストリームと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコードステップと、基本ストリーム、並びに拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、全体ストリームを識別するための第１の識別情報を付加する第１の付加ステップと、基本ストリーム、並びに拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加ステップと、基本ストリーム、並びに、拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化されたＴＳパケットのヘッダに、第１の付加ステップと第２の付加ステップの処理により付加された第１の識別情報及び第２の識別情報を格納するパケット化ステップとを含み、エンコードステップの処理において、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードする処理をコンピュータに実行させることを特徴とする。

第１の本発明によれば、基本ストリームと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリーム、を含む全体ストリームのうち、少なくとも基本ストリームがエンコードされ、基本ストリーム、並びに拡張ストリームのうち、エンコードされたものに、全体ストリームを識別するための第１の識別情報が付加されるとともに、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報が付加され、それぞれＴＳパケットにパケット化され、パケット化されたＴＳパケットのヘッダに、第１の識別情報及び第２の識別情報が格納される。全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードされる。

本発明の第２の情報処理装置は、基本ストリームを構成するＴＳパケットと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力手段と、入力手段により入力されたＴＳパケットのそれぞれのヘッダに格納されている、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、全体ストリームから選択する選択手段と、選択手段により選択されたＴＳパケットをデコードするデコード手段とを備え、入力手段には、同時刻に再生される基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並んだ全体ストリームが入力されることを特徴とする。

入力手段に入力される全体ストリームには、少なくともエンコードされている基本ストリームが含まれ、基本ストリームのそれぞれの同期単位に対応する拡張ストリームが可変ビットレートでエンコードされてさらに含まれるものとすることができる。

本発明の第２の情報処理方法は、基本ストリームを構成するＴＳパケットと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力ステップと、入力ステップの処理により入力されたＴＳパケットのそれぞれのヘッダに格納されている、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、全体ストリームから選択する選択ステップと、選択ステップの処理により選択されたＴＳパケットをデコードするデコードステップとを含み、入力ステップの処理において、同時刻に再生される基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並んだ全体ストリームが入力されることを特徴とする。

本発明の第２のプログラムは、基本ストリームを構成するＴＳパケットと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力ステップと、入力ステップの処理により入力されたＴＳパケットのそれぞれのヘッダに格納されている、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、全体ストリームから選択する選択ステップと、選択ステップの処理により選択されたＴＳパケットをデコードするデコードステップとを含み、入力ステップの処理において、同時刻に再生される基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並んだ全体ストリームが入力される処理をコンピュータに実行させることを特徴とする。

第２の本発明によれば、基本ストリームを構成するＴＳパケットと、基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットを含む全体ストリームが、同時刻に再生される基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットが連続するように、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並んで入力され、ＴＳパケットのそれぞれのヘッダに格納されている、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットが、全体ストリームから選択され、デコードされる。

本発明のデータ構造は、全体ストリームには、基本ストリームを構成するＴＳパケットと、基本ストリームのそれぞれの同期単位に対応する拡張ストリームの同期単位が存在する場合には、その同期単位において、拡張ストリームを構成するＴＳパケットとが含まれ、基本ストリームを構成するＴＳパケットと、拡張ストリームのそれぞれを構成するＴＳパケットのそれぞれのヘッダには、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報とが含まれ、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並べられていることを特徴とする。

全体ストリームには、少なくとも基本ストリームが含まれ、基本ストリームのそれぞれの同期単位に対応する拡張ストリームを構成するＴＳパケットの個数が可変長とされてさらに含まれるものとすることができる。

本発明の記録媒体は、コンピュータによる再生処理の用に供する全体ストリームであって、基本ストリームと基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームとを含む全体ストリームのデータが記録された記録媒体であって、全体ストリームには、基本ストリームを構成するＴＳパケットと、基本ストリームのそれぞれの同期単位に対応する拡張ストリームの同期単位が存在する場合には、その同期単位において、拡張ストリームを構成するＴＳパケットとが含まれ、基本ストリームを構成するＴＳパケットと、拡張ストリームのそれぞれを構成するＴＳパケットのそれぞれのヘッダには、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報とが含まれ、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並べられているデータ構造を有するデータが記録されていることを特徴とする。

第３の本発明であるデータ構造およびそのデータ構造を有するデータが記録されている記録媒体によれば、全体ストリームには、基本ストリームを構成するＴＳパケットと、基本ストリームのそれぞれの同期単位に対応する拡張ストリームの同期単位が存在する場合には、その同期単位において、拡張ストリームを構成するＴＳパケットとが含まれ、基本ストリームを構成するＴＳパケットと、拡張ストリームのそれぞれを構成するＴＳパケットのそれぞれのヘッダには、全体ストリームを識別するための第１の識別情報と、基本ストリーム、並びに拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報とが含まれ、全体ストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、基本ストリームを構成するＴＳパケット、並びに、拡張ストリームを構成するＴＳパケットの順に並べられている。

第１の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、
本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置に対応
するようにエンコードを行うことができる。

第２の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、
本発明によれば、拡張されたストリームが入力された場合においても、自分の処理能力に
応じてデコードすることができる。

第３の本発明によれば、ストリームの拡張に対応したデータ構造とすることができる。
特に、本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置
に対応するデータ構造とすることができる。

DVDビデオのフォーマットにおけるプログラムストリームの構造を示す図である。 本発明を適用した第１の実施の形態の送受信システムの全体の構成例を示す図である。 図２の送信装置の構成例を示すブロック図である。 基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したＴＳの構造を説明する図である。 基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したＴＳの構造を説明する図である。 図３の送信装置におけるＴＳパケット送信処理を説明するフローチャートである。 PATのテーブルの例を説明する図である。 PMTのテーブルの例を説明する図である。 ＴＳパケット生成処理を説明するフローチャートである。 図２の受信装置の構成例を示すブロック図である。 基本オーディオストリームだけを復号できるオーディオストリーム処理部の構成例を示す図である。 図１０の受信装置におけるＴＳパケット受信処理を説明するフローチャートである。 図１１のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。 基本オーディオストリームと第１の拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 基本オーディオストリームと第１、第２の拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 図１６のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。 基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 ＴＳパケットの順番を説明する図である。 本発明を適用した第２の実施の形態の送信装置の構成例を示すブロック図である。 PMTのテーブルの他の例を説明する図である。 基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したＴＳの構造を説明する図である。 基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したＴＳの構造を説明する図である。 ＴＳパケット生成処理を説明するフローチャートである。 図２３に対応するＴＳパケットの構造を説明する図である。 基本オーディオストリームと第１の拡張オーディオストリームを多重化したＴＳの構造を説明する図である。 図２６に対応するＴＳパケットの構造を説明する図である。 基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 ＴＳパケットの順番を説明する図である。 図２８のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。 図２８のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。 基本オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 ＴＳパケットの順番を説明する図である。 基本オーディオストリームと第１の拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 ＴＳパケットの順番を説明する図である。 パーソナルコンピュータを説明する図である。 ＴＳパケットの他の構成例を説明する図である。

以下、図２乃至図１９を参照して、本発明の第１の実施の形態について説明する。

図２は、本発明を適用した送受信システムの全体の構成例を示す図である。

この送受信システム４０には、送信装置４１と受信装置４２が設けられている。送信装置４１は、例えば、放送局などのように複数のＴＳパケットからなるストリームを送信する装置であり、受信装置４２は、例えば、家庭内のセットトップボックスなどの、家庭内においてストリームを受信する装置である。

本実施の形態では、送信装置４１でオーディオストリームが符号化されるとともに、ＴＳパケット化されて送信され、受信装置４２で、ＴＳパケットが受信され、復号され、オーディオストリームが取得される。

図３は、図２の送信装置４１の構成例を示すブロック図である。

送信装置４１には、入力部７１、オーディオエンコーダ７２、基本バッファ７３、拡張バッファ７４−１乃至７４−ｎ、抽出情報付加部７５、ＴＳパケット化部７６、および送信部７７が設けられている。ｎは１以上の任意の自然数である。

入力部７１には、送信するオーディオストリームが入力される。オーディオエンコーダ７２は、オーディオストリームをエンコード（符号化）する。図３のオーディオエンコーダ７２は、第ｎ段の拡張オーディオストリームに対応したエンコーダである。すなわちオーディオエンコーダ７２は、オーディオストリームを、基本ストリーム、並びに第１段から第ｎ段までの複数段階の拡張オーディオストリームとしてエンコードすることができる。

本実施の形態では、段数ｎが大きい値であるほど、拡張性が高く、オーディオの再生品質が高くなったり、機能性が高くなる。オーディオエンコーダ７２は、オーディオストリームを基本ストリームと第１乃至第ｎの拡張ストリームにエンコードし、それぞれ対応する基本バッファ７３、並びに、対応する段数の拡張バッファ７４−１乃至７４−ｎにエンコードしたストリームを供給する。例えば、オーディオエンコーダ７２は、エンコードした基本オーディオストリーム（ＢＳ）を基本バッファ７３に供給し、エンコードした第１の拡張オーディオストリーム（Ｅｘｔ１）を拡張バッファ７４−１に供給し、エンコードした第２の拡張オーディオストリーム（Ｅｘｔ２）を拡張バッファ７４−２に供給し、同様に、エンコードした第ｎの拡張オーディオストリーム（ＥｘｔＮ）を拡張バッファ７４−ｎに供給する。ここで、拡張オーディオストリームの段数とバッファの符号は対応している。なお、基本オーディオストリームをＢＳと記述し、第１乃至第ｎの拡張オーディオストリームを、それぞれＥｘｔ１乃至ＥｘｔＮと記述する。

なお、本実施の形態のオーディオエンコーダ７２は、オーディオストリームを、基本ストリーム、並びに第１乃至第ｎの拡張オーディオストリームに分離した後、それぞれをエンコードするようにしてもよいし、オーディオストリームをエンコードした結果、基本ストリーム、並びに第１乃至第ｎの拡張オーディオストリームが出力されるようにしてもよい。

基本バッファ７３は、基本オーディオストリームを格納（バッファリング）し、拡張バッファ７４−１乃至７４−ｎは、それぞれ第１乃至第ｎの拡張オーディオストリームを格納（バッファリング）する。そして、ＴＳパケット化部７６からの制御に基づいて、それぞれ基本バッファ７３、拡張バッファ７４−１乃至７４−ｎに格納されているオーディオストリームを読み出す。

抽出情報付加部７５は、基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームの中から、所望の段数の拡張オーディオストリームをデコード側で抽出するために、抽出情報であるテーブルを生成する。このテーブルには、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのそれぞれを識別するＩＤ（第１の実施の形態においてはPID（Packet Identification））と、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームとを関連付ける情報が記述されている。具体的には、テーブルは、PAT（Program Association Table）とPMT（Program Map Table）により構成されている。なお、テーブルの詳細については、図７と図８を参照して後述する。抽出情報付加部７５は、テーブルを、ＴＳパケット化部７６に供給する。

ＴＳパケット化部７６は、基本バッファ７３、並びに拡張バッファ７４−１乃至７４−ｎを制御して基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを取得するとともに、抽出情報付加部７５から供給されたテーブルを取得する。またＴＳパケット化部７６は、テーブルをＴＳパケット化したり、テーブルに基づいて基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをそれぞれＴＳパケット化する（ＴＳパケットを生成する）。このとき、ＴＳパケット化部７６は、ストリームの種類（基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリーム）を識別するPIDをテーブルに基づいて付加する。ＴＳパケット化部７６は、生成したＴＳパケットを送信部７７に供給する。送信部７７は、ＴＳパケットを送信する。このとき、複数のＴＳパケットが連続して送信されるため、結果として（複数のＴＳパケットからなる）１つのストリームが送信されることになる。

この第１の実施の形態においては、PIDは、MPEGのＴＳを構成する各パケット（ＴＳパケット（トランスポートストリームパケット））を識別するためのものであり、各パケットには、ユニークな値のPIDが付されるようになされている。すなわち、受信側の受信装置４２で、所望の段数の拡張オーディオストリームのパケットを選択するためには、そのパケットに付されているPIDの値が必要となる。

次に、図４と図５を参照して、基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したＴＳ（トランスポートストリーム）の構造を説明する。

図４の例の場合、ＴＳは、基本オーディオストリーム８１、第１の拡張オーディオストリーム８２−１乃至第ｎの拡張オーディオストリーム８２−ｎにより構成されている。また、基本オーディオストリーム８１と第１乃至第ｎの拡張オーディオストリーム８２−１乃至８２−ｎは、ともに、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示している。具体的な例としては、基本オーディオストリーム８１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）というように、複数の単位に分離され、符号化されている。また、添え字の同じもの同士、例えば、ＢＳ(１),Ｅｘｔ１(１),Ｅｘｔ２(１)、・・・、ＥｘｔＮ(１)は、同期してオーディオエンコーダ７２にエンコードされるとともに、同期して再生（デコード）される。

ＴＳパケット化部７６は、これらの基本オーディオストリーム８１と第１乃至第ｎの拡張オーディオストリーム８２−１乃至８２−ｎを、図５に示されるように、それぞれ別々のPID（パケットＩＤ）のＴＳパケットで多重化する。１つのＴＳパケットには、例えば、１８８バイト長のデータが格納される。

図５のＴＳストリームには、PAT(Program Association Table)が記載されたテーブルのＴＳパケット９０、PMT（Program Map Table）が記載されたテーブルのＴＳパケット９１、PID＝ａ０である基本オーディオストリーム（ＢＳ）のＴＳパケット９２、PID＝ａ１である第１の拡張オーディオストリーム（Ｅｘｔ１）のＴＳパケット９３−１、PID＝ａ２である第２の拡張オーディオストリーム（Ｅｘｔ２）のＴＳパケット９３−２、・・・、PID＝ａＮである第ｎの拡張オーディオストリーム（ＥｘｔＮ）のＴＳパケット９３−ｎが含まれている。ここで、テーブルのＴＳパケット９１は所定の周期毎に送信装置４１によって送信されるものである。

本実施の形態では、再生側の受信装置４２は、少なくとも、基本オーディオストリーム（ＢＳ）をデコードする能力を持つとする。また、再生側の受信装置４２が、所定の第ｍ段階(ｍは１以上の自然数であり、ｍ≦ｎである)までの拡張オーディオストリームを再生可能な場合、受信装置４２は、基本オーディオストリームと第１乃至第ｍまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、ｎが大きな値の拡張オーディオストリームまでをデコードできるほど、オーディオの再生品質が高くなったり、また、機能性が高くなったりする。

次に、図６のフローチャートを参照して、図３の送信装置４１における、ＴＳパケット送信処理を説明する。なお、この処理は、送信装置４１の電源がオンされ、入力部７１にオーディオストリームが入力されたとき開始される。

ステップＳ１１において、入力部７１は、オーディオストリームの入力を受け付け、ステップＳ１２において、受け付けたオーディオストリームをオーディオエンコーダ７２に出力する。

ステップＳ１３において、オーディオエンコーダ７２は、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをエンコードする。その結果、オーディオエンコーダ７２からは、図４に示される基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームが、（縦に）同期して出力される。

ステップＳ１４において、オーディオエンコーダ７２は、エンコードしたオーディオストリームをレベル（ストリームの種類）ごとに分けてそれぞれ出力する。具体的には、オーディオエンコーダ７２は、エンコードした基本オーディオストリームを基本バッファ７３に出力し、エンコードした第１の拡張オーディオストリームを拡張バッファ７４−１に出力し、エンコードした第２の拡張オーディオストリームを拡張バッファ７４−２に出力し、エンコードした第ｎの拡張オーディオストリームを拡張バッファ７４−ｎに出力する。

ステップＳ１５において、基本バッファ７３、並びに、第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎは、エンコードされたオーディオストリームをそれぞれ格納する（バッファリングする）。

ステップＳ１６において、基本バッファ７３、並びに、第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎは、それぞれ所定のタイミングでエンコードされたオーディオストリームを出力する。なお実際には、ＴＳパケット化部７６がそれぞれのバッファ（基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎ）からオーディオストリームを読み出すよう制御している。

ステップＳ１７において、抽出情報付加部７５は、テーブルを生成し、ＴＳパケット化部７６に供給する。具体的には、抽出情報付加部７５は、図７および図８に示されるようなテーブルを生成し、これをＴＳパケット化部７６に供給する。

図７には、PAT（Program Association Table）が記述されている。具体的には、program-numberに対するPMT-PIDがそれぞれ記述されており、図７の例の場合、program-number１に対するPMT-PIDはXであり、program-number２に対するPMT-PIDはYである。このPMT-PIDの値は、図８のPMT（Program Map Table）で参照される。図８においては、PIDがXの場合のstream_entryが記述されている。具体的には、BASE_PID＝ａ０、Ext1_PID＝ａ１,Ext2_PID＝ａ２，・・・、ExtN_PID＝ａＮと記述されている。図７と図８によれば、基本オーディオストリーム（ＢＳ）のPIDがａ０であり、第１の拡張オーディオストリームＥｘｔ１のPIDがａ１であり、第２の拡張オーディオストリームＥｘｔ２のPIDがａ２であり、同様に、第ｎの拡張オーディオストリームＥｘｔＮのPIDがａＮであることがわかる。これにより、図５に示されるように、エンコードレベルに対するPIDを識別することができる。

本実施の形態では、PATとPMTは、それぞれ異なるＴＳパケットで送信される。すなわち、図５に示されるように、PATが記載されたテーブルのＴＳパケット９０と、PMTが記載されたテーブルのＴＳパケット９１として送信される。

図６に戻って、ステップＳ１８において、ＴＳパケット化部７６は、ＴＳパケット生成処理を実行する。なお、この処理の詳細は、図９を参照して後述する。ＴＳパケット化部７６により生成されたＴＳパケットは、送信部７７に出力される。

ステップＳ１９において、送信部７７は、ＴＳパケット（複数のＴＳパケットからなるオーディオストリーム）を受信装置４２に対して送信する。具体的には、テーブルのＴＳパケット９０、９１、基本オーディオストリームのＴＳパケット９２、第１乃至第ｎの拡張オーディオストリームのＴＳパケット９３−１乃至９３−ｎを含むストリームが送信される。その後、処理は終了される。本実施の形態では、ＴＳパケットを受信装置４２に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、受信装置４２にＴＳパケットを送信する場合に、一旦、記録媒体に記録して、その記録媒体を受信装置４２に提供することで、間接的に送信するようにしてもよい。

次に、図６のステップＳ１８のＴＳパケット生成処理の詳細を、図９のフローチャートを参照して説明する。

ステップＳ３１において、ＴＳパケット化部７６は、テーブルを取得する。このテーブルは、図６のステップＳ１７で生成された、図７および図８に示されるようなテーブルである。すなわち、テーブルには、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのそれぞれを識別するPIDと、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのそれぞれを識別する情報が記載された情報が含まれている。

ステップＳ３２において、ＴＳパケット化部７６は、テーブルをＴＳパケット化して（テーブルに基づいてＴＳパケットを生成し）、送信部７７に出力する（なお、送信部７７はこれを受信装置４２に送信する）。これにより、図５のPATが記述されたＴＳパケット９０、PMTが記述されたＴＳパケット９１が生成され、送信部７７に出力される。なお、この処理では、１回だけＴＳパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述されたＴＳパケットが送信される。これにより、ストリームの途中で受信装置４２が受信し始めた場合においても、受信装置４２は、テーブルを取得できるため確実にデコードすることができる。

ステップＳ３３において、ＴＳパケット化部７６は、テーブルに基づいて、基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎからのオーディオストリームのそれぞれにPIDを付す。なお、テーブルはステップＳ３１の処理でＴＳパケット化されて送信されたが、ここでは、ＴＳパケット化部７６が保持しているものとする。これにより、基本オーディオストリーム（ＢＳ）にPID＝ａ０が付され、第１の拡張オーディオストリーム（Ｅｘｔ１）にPID＝ａ１が付され、第２の拡張オーディオストリーム（Ｅｘｔ２）にPID＝ａ２が付され、以下同様にして、第ｎの拡張オーディオストリーム（ＥｘｔＮ）にPID＝ａＮが付される。

ステップＳ３４において、ＴＳパケット化部７６は、基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎからのオーディオストリームに基づいて、それぞれＴＳパケットを生成する。図５に示されるように、これらの基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームは、それぞれ別々のPID（パケットＩＤ）のＴＳパケットとして生成される。すなわち、ストリームの種類を判別するためのPIDがＴＳパケットに付される。

ステップＳ３５において、ＴＳパケット化部７６は、生成したＴＳパケットを送信部７７に出力する。その後、処理は図６のステップＳ１８に戻る。

図６および図９の処理により、第ｎの拡張オーディオストリームをエンコード可能な送信装置４１は、エンコードしたデータを、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームに分けるとともに、テーブルに基づいてPIDを付し、ＴＳパケット化して送信するとともに、テーブルをＴＳパケット化して送信する。換言すると、ストリームの種類を識別するPIDが付された複数のＴＳパケットと、テーブルのＴＳパケットを含むオーディオストリームが受信装置４２に対して送信される。

送信装置４１が送信するストリームには、基本オーディオストリームを構成するＴＳパケット、第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケット、これらのＴＳパケットを識別するPIDと基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームとを関連付ける情報が記載されたテーブルのＴＳパケットが含まれるとともに、基本オーディオストリームを構成するＴＳパケットおよび第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットには、オーディオストリームの種類を識別するためのPIDが付されているので、受信側では、自分の処理能力に合わせたデコードを行うことができる。以下に受信側の受信装置４２について説明する。

図１０は、図２の受信装置４２の構成例を示すブロック図である。

受信装置４２は、受信部１２１、オーディオストリーム処理部１２２、および出力部１２３により構成されている。受信部１２１は、ＴＳパケットを受信し、オーディオストリーム処理部１２２は、オーディオストリームに関する処理を実行する。具体的には、オーディオストリーム処理部１２２は、受信したＴＳパケットをデコードするなどして、オーディオストリームを取り出す。出力部１２３は、オーディオストリーム処理部１２２により処理されたオーディオストリームを出力する。

このオーディオストリーム処理部１２２は、そのデコード能力によって、取り出すオーディオストリームが異なってくる。以下、このオーディオストリーム処理部１２２について説明する。

図１１は、基本オーディオストリームだけを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２の構成例を示す図である。

図１１のオーディオストリーム処理部１２２には、入力部１５１、フィルタ制御部１５２、PIDフィルタ１５３、基本バッファ１５４、およびオーディオデコーダ１５５が設けられている。

入力部１５１は、図１０の受信部１２１から供給されるオーディオストリームのＴＳパケットの入力を受け付ける。入力部１５１は、オーディオストリームのＴＳパケットのうち、テーブル（図７、図８で説明したテーブル）のＴＳパケットをフィルタ制御部１５２に供給し、それ以外のＴＳパケット（例えば、図５のPIDが付された基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケット）をPIDフィルタ１５３に供給する。また、例えば、入力部１５１は、受信部１２１でビデオストリームとオーディオストリームのＴＳパケットが受信された場合、オーディオストリームのＴＳパケットのみを取得する。

フィルタ制御部１５２は、取得したテーブルに基づいて、PIDフィルタ１５３の動作を制御する。具体的には、フィルタ制御部１５２は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部１５２は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたＴＳパケットを選択するようにPIDフィルタ１５３を制御する。例えば、フィルタ制御部１５２は、デコードできるストリームの種類に関連づけられたPIDの番号を、選択するPIDの番号としてフィルタ１５３に通知する。

PIDフィルタ１５３は、フィルタ制御部１５２からの制御に基づいて、ＴＳパケットを選択する（取り出す）。具体的には、フィルタ制御部１５２から通知されたPIDに基づいて、同じPIDが付されたＴＳパケットを選択し、それぞれ対応するバッファに供給する。各バッファは、PIDフィルタ１５３により選択されたＴＳパケットを格納（バッファリング）する。オーディオデコーダ１５５は、各バッファに格納されているＴＳパケットを取得し、これをデコードする。

図１１の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリームに対応するオーディオデコーダ１５５のみを有し、第１乃至第ｎの拡張オーディオストリームをデコードできる能力がない。この場合、フィルタ制御部１５２は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、テーブルから、基本オーディオストリームに対応するPIDを参照する。この場合、オーディオストリーム処理部１２２は、BASE_PIDが、自分が処理できるストリームの種類であると判断し、テーブルからPID＝ａ０を参照する。そして、フィルタ制御部１５２は、デコードできるストリームのPIDが付されたＴＳパケットを選択するようにPIDフィルタ１５３を制御する。例えば、フィルタ制御部１５２は、デコードできるストリームのＩＤを通過させてよいPIDの番号をPIDフィルタ１５３に通知する。PIDフィルタ１５３は、フィルタ制御部１５２から通知されたPID、すなわちPID＝ａ０に基づいて、PID＝ａ０が付されたＴＳパケットを選択し、これを基本バッファ１５４に供給する。このとき、第１乃至第ｎの拡張オーディオストリームのＴＳパケットが供給されてきた場合、PIDフィルタ１５３は、そのパケットを選択しない。すなわち、PID＝ａ０が付された基本オーディオストリームのＴＳパケットのみが供給されてきた場合に、PIDフィルタ１５３は、そのＴＳパケットを選択して、後段の基本バッファ１５４に供給する。

基本バッファ１５４は、PIDフィルタ１５３により選択され、供給された基本オーディオストリームのＴＳパケットを格納する。基本バッファ１５４は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ１５５に対する同期を取るために動作する。図１１の例では、基本バッファ１５４を１つだけ設けるようにしたが、受信側のＴＳパケットの同期を取るためのバッファと、オーディオデコーダ１５５に対する同期を取るためのバッファを２つ直列に設けるようにしてもよい。オーディオデコーダ１５５は、基本オーディオストリームのＴＳパケットをデコードし、デコードした基本オーディオストリームを出力する。

次に、図１２のフローチャートを参照して、図１０の受信装置４２におけるＴＳパケット受信処理を説明する。なお、この処理は、受信装置４２にＴＳパケットを受信する指令がなされたとき開始される。

ステップＳ５１において、受信装置４２の受信部１２１は、ＴＳパケット（複数のＴＳパケットからなるストリーム）を受信する。このＴＳパケットは、例えば、上述した図６のステップＳ１９の処理で、送信装置４１により送信されたＴＳパケットとされる。

ステップＳ５２において、受信部１２１は、オーディオストリームのＴＳパケットを抽出し、オーディオストリーム処理部１２２に供給する。例えば、受信部１２１が受信したＴＳパケットにビデオストリームのＴＳパケットが含まれていた場合には、受信部１２１は、オーディオストリームのＴＳパケットのみを抽出して、オーディオストリーム処理部１２２に供給する。

ステップＳ５３において、オーディオストリーム処理部１２２は、オーディオストリームのＴＳパケット（すなわち、複数のＴＳパケットからなるオーディオストリーム）をオーディオストリーム処理部１２２のデコード能力に応じてデコード処理するオーディオストリーム処理を実行する。この処理の詳細は、図１３を参照して後述する。オーディオストリーム処理部１２２によりオーディオストリーム処理されたオーディオストリームは、出力部１２３に供給される。

ステップＳ５４において、出力部１２３は、デコードされたオーディオストリームを出力する。例えば、図示せぬスピーカなどに出力する。その後、処理は終了される。

図１２の処理により、ＴＳパケットが受信され、オーディオストリームのＴＳパケットがオーディオストリーム処理（デコード）されて出力される。

次に、図１３のフローチャートを参照して、図１２のステップＳ５３の一例である、基本オーディオストリーム処理を説明する。この処理は、図１１のオーディオストリーム処理部１２２により実行される処理である。すなわち、基本オーディオストリームのみをデコードできるオーディオストリーム処理部１２２が実行する処理である。

ステップＳ７１において、入力部１５１はオーディオストリームのＴＳパケット（複数のＴＳパケットからなるオーディオストリーム）の入力を受け付ける。ここで、オーディオストリームのＴＳパケットは、上述した図６のステップＳ１９で送信装置４１により送信された、テーブルのＴＳパケット、基本オーディオストリームのＴＳパケット、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットを含むオーディオストリームのことを示している。

ステップＳ７２において、入力部１５１は、テーブルのＴＳパケットをフィルタ制御部１５２に供給する。具体的には、オーディオストリームのＴＳパケットには、テーブルのＴＳパケット、基本オーディオストリームのＴＳパケット、並びに、第１乃至第ｎの拡張オーディオストリームのＴＳパケットが含まれているので、入力部１５１は、これらのＴＳパケットのうち、テーブルのＴＳパケットをフィルタ制御部１５２に供給する。

ステップＳ７３において、入力部１５１は、PIDが付されているＴＳパケットをPIDフィルタ１５３に供給する。具体的には、図５において、PIDが付されている基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットをPIDフィルタ１５３に供給する。

ステップＳ７４において、フィルタ制御部１５２は、テーブルを参照して、オーディオデコーダ１５５が処理できるストリームの種類を判断する。具体的には、フィルタ制御部１５２は、自分が処理できるストリームの種類が基本オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部１５２は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できる基本ストリームに関連付けられたPID＝ａ０が付されたＴＳパケットを選択するようにPIDフィルタ１５３を制御する。

ステップＳ７５において、PIDフィルタ１５３は、フィルタ制御部１５２からの制御（判断）に基づいて、対応するＴＳパケットを選択し、基本バッファ１５４に供給する。具体的には、フィルタ制御部１５２からの制御に基づいて、PIDフィルタ１５３は、PID＝ａ０であるＴＳパケット、すなわち、基本オーディオストリームのＴＳパケットを選択し、これを基本バッファ１５４に供給する。

ステップＳ７６において、基本バッファ１５４は、供給されたＴＳパケットを格納する。このとき格納されたＴＳパケットは、基本オーディオストリームのＴＳパケットである。

ステップＳ７７において、基本バッファ１５４は、所定のタイミングでＴＳパケットをオーディオデコーダ１５５に出力する。

ステップＳ７８において、オーディオデコーダ１５５は、供給された基本オーディオストリームのＴＳパケットをデコードし、ステップＳ７９において、デコードしたオーディオストリームを出力する。

このように、ＴＳパケットに、PIDが付されているとともに、テーブルにPIDとＴＳパケットの種類（基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケット）の関係が記載されているので、図１１に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部１２２（受信装置４２）においても、基本オーディオストリームに対応するＴＳパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図１１のオーディオストリーム処理部１２２を備える受信装置４２においては、基本オーディオストリームのみを取り出し、再生することができる。

次に、基本オーディオストリームと第１の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２について、図１４を参照して説明する。

図１４は、基本オーディオストリームと第１の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２の構成例を示す図である。図中、図１１と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

図１４のオーディオストリーム処理部１２２は、図１１のオーディオストリーム処理部１２２に、第１の拡張バッファ２０２を加え、オーディオデコーダ２０３が基本オーディオストリームだけでなく、第１の拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ１５３は、基本オーディオストリームだけでなく、第１の拡張オーディオストリームをも抽出可能とする。

図１４のオーディオストリーム処理部１２２には、入力部１５１、フィルタ制御部１５２、PIDフィルタ２０１、基本バッファ１５４、第１の拡張バッファ２０２、並びにオーディオデコーダ２０３が設けられている。

フィルタ制御部１５２は、テーブルに基づいて、PIDフィルタ２０１の動作を制御する。具体的には、フィルタ制御部１５２は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部１５２は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたＴＳパケットを選択するようにPIDフィルタ２０１を制御する。図１４の例の場合、フィルタ制御部１５２は、PID＝ａ０が付されたＴＳパケットを基本バッファ１５４に供給するよう制御するとともに、PID＝ａ１が付されたＴＳパケットを第１の拡張バッファ２０２に供給するよう制御する。PIDフィルタ２０１は、フィルタ制御部１５２からの制御に基づいて、ＴＳパケットを取り出す。すなわち、PIDフィルタ２０１は、PID＝ａ０が付されたＴＳパケットを選択して基本バッファ１５４に供給し、PID＝ａ１が付されたＴＳパケットを選択して第１の拡張バッファ２０２に供給する。

基本バッファ１５４は、PIDフィルタ２０１により取り出された基本オーディオストリームのＴＳパケットを格納（バッファリング）し、第１の拡張バッファ２０２は、PIDフィルタ２０１により取り出された第１の拡張オーディオストリームのＴＳパケットを格納する。オーディオデコーダ２０３は、基本バッファ１５４と第１の拡張バッファ２０２に格納されているＴＳパケットを取得し、これをデコードする。

図１４の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリームと第１の拡張オーディオストリームに対応するオーディオデコーダ２０３を有し、第２乃至第ｎの拡張オーディオストリームをデコードする能力がない。この場合、PIDフィルタ２０１は、フィルタ制御部１５２からの制御（フィルタ制御部１５２の判断）に基づいて、PID＝ａ０のＴＳパケットと、PID＝ａ１のＴＳパケットを取り出す。すなわち、第２乃至第ｎの拡張オーディオストリームのＴＳパケットが供給されてきた場合、PIDフィルタ２０１は、そのパケットを選択せず、PID＝ａ０が付された基本オーディオストリームのＴＳパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ１５４に供給し、PID＝ａ１が付された第１の拡張オーディオストリームのＴＳパケットが供給されてきた場合、そのパケットを選択して、後段の第１の拡張バッファ２０２に供給する。

基本バッファ１５４は、PIDフィルタ２０１により選択され、供給された基本オーディオストリームのＴＳパケット（PID＝ａ０）を格納する。基本バッファ１５４は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２０３に対する同期を取るために動作する。第１の拡張バッファ２０２は、PIDフィルタ２０１により選択され、供給された第１の拡張オーディオストリームのＴＳパケット（PID＝ａ１）を格納する。第１の拡張バッファ２０２は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２０３に対する同期を取るために動作する。なお、図１４の例では、基本バッファ１５４、拡張バッファ２０２を１つずつ設けるようにしたが、受信側のＴＳパケットの同期を取るためのバッファと、オーディオデコーダ２０３に対する同期を取るためのバッファをそれぞれ２つ直列に設けるようにしてもよい。オーディオデコーダ２０３は、基本オーディオストリームのＴＳパケットと、第１の拡張オーディオストリームのＴＳパケットをデコードし、デコードした基本オーディオストリームと第１の拡張オーディオストリームを出力する。

このように、基本オーディオストリームと第１の拡張オーディオストリームを復号（デコード）可能な受信装置４２（図１４のオーディオストリーム処理部１２２）においては、基本オーディオストリームと第１の拡張オーディオストリームだけを分離して再生することができる。

次に、基本オーディオストリーム、並びに第１および第２の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２について、図１５を参照して説明する。

図１５は、基本オーディオストリームと第１、第２の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２の構成例を示す図である。図中、図１１および図１４と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

図１５のオーディオストリーム処理部１２２は、図１４の第１の拡張バッファ２０２を第１の拡張バッファ２０２−１とし、第２の拡張バッファ２０２−２を加え、オーディオデコーダ２３２が基本オーディオストリームと第１の拡張オーディオストリームだけでなく、第２の拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ２３１は、基本オーディオストリーム、並びに第１および第２の拡張オーディオストリームをも抽出可能なとする。

図１５のオーディオストリーム処理部１２２には、入力部１５１、フィルタ制御部１５２、PIDフィルタ２３１、基本バッファ１５４、第１の拡張バッファ２０２−１、第２の拡張バッファ２０２−２、およびオーディオデコーダ２３２が設けられている。

フィルタ制御部１５２は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部１５２は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたＴＳパケットを選択するようにPIDフィルタ２３１を制御する。図１５の例の場合、フィルタ制御部１５２は、PID＝ａ０が付されたＴＳパケットを基本バッファ１５４に供給するよう制御し、PID＝ａ１が付されたＴＳパケットを第１の拡張バッファ２０２−１に供給するよう制御し、PID＝ａ２が付されたＴＳパケットを第２の拡張バッファ２０２−２に供給するよう制御する。PIDフィルタ２３１は、フィルタ制御部１５２からの制御に基づいて、ＴＳパケットを取り出す。すなわち、PIDフィルタ２３１は、PID＝ａ０が付されたＴＳパケットを選択して基本バッファ１５４に供給し、PID＝ａ１が付されたＴＳパケットを選択して第１の拡張バッファ２０２−１に供給し、PID＝ａ２が付されたＴＳパケットを選択して第２の拡張バッファ２０２−２に供給する。

第２の拡張バッファ２０２−２は、PIDフィルタ２３１により選択された第２の拡張オーディオストリームのＴＳパケットを格納する。オーディオデコーダ２３２は、基本バッファ１５４、第１、第２の拡張バッファ２０２−１，２０２−２に格納されているＴＳパケットを取得し、これをデコードする。

図１５の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリーム、第１、第２の拡張オーディオストリームに対応するオーディオデコーダ２３２を有し、第３乃至第ｎの拡張オーディオストリームをデコードする能力がない。この場合、PIDフィルタ２３１は、フィルタ制御部１５２からの制御に基づいて、PID＝ａ０のＴＳパケット、PID＝ａ１のＴＳパケット、およびPID＝ａ２のＴＳパケットを取り出す（選択する）。すなわち、第３乃至第ｎの拡張オーディオストリームのＴＳパケットが供給されてきた場合、PIDフィルタ２３１は、そのパケットを選択せず、PID＝ａ０が付された基本オーディオストリームのＴＳパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ１５４に供給し、PID＝ａ１が付された第１の拡張オーディオストリームのＴＳパケットが供給されてきた場合、そのパケットを選択して、後段の第１の拡張バッファ２０２−１に供給し、PID＝ａ２が付された第２の拡張オーディオストリームのＴＳパケットが供給されてきた場合、そのパケットを選択して、後段の第２の拡張バッファ２０２−２に供給する。

基本バッファ１５４は、PIDフィルタ２３１により選択され、供給された基本オーディオストリームのＴＳパケット（PID＝ａ０）を格納する。基本バッファ１５４は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２３２に対する同期を取るために動作する。第１の拡張バッファ２０２−１は、PIDフィルタ２３１により選択され、供給された第１の拡張オーディオストリームのＴＳパケット（PID＝ａ１）を格納する。第１の拡張バッファ２０２−１は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２３２に対する同期を取るために動作する。第２の拡張バッファ２０２−２は、PIDフィルタ２３１により選択され、供給された第２の拡張オーディオストリームのＴＳパケット（PID＝ａ２）を格納する。第１の拡張バッファ２０２−２は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２３２に対する同期を取るために動作する。

なお、図１５の例では、基本バッファ１５４、拡張バッファ２０２−１、および２０２−２を１つずつ設けるようにしたが、受信側のＴＳパケットの同期を取るためのバッファと、オーディオデコーダ２３２に対する同期を取るためのバッファをそれぞれ２つ直列に設けるようにしてもよい。オーディオデコーダ２３２は、基本オーディオストリームのＴＳパケット、並びに第１、第２の拡張オーディオストリームのＴＳパケットをデコードし、デコードした基本オーディオストリーム、並びに第１、第２の拡張オーディオストリームを出力する。

このように、基本オーディオストリーム、並びに第１、第２の拡張オーディオストリームを復号（デコード）可能な受信装置４２（図１５のオーディオストリーム処理部１２２）においては、基本オーディオストリーム、並びに第１、第２の拡張オーディオストリームだけを分離して再生することができる。

次に、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２について、図１６を参照して説明する。

図１６は、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部１２２の構成例を示す図である。図中、図１５と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

図１６のオーディオストリーム処理部１２２は、図１５に第３乃至第ｎの拡張バッファ２０２−３乃至２０２−ｎを加え、オーディオデコーダ２６２が基本オーディオストリーム、第１、第２の拡張オーディオストリームだけでなく、第３乃至第ｎの拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ２６１は、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをも抽出可能とする。

図１６のオーディオストリーム処理部１２２には、入力部１５１、フィルタ制御部１５２、PIDフィルタ２６１、基本バッファ１５４、第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎ、並びにオーディオデコーダ２６２が設けられている。

フィルタ制御部１５２は、自分が処理できるストリームの種類として基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部１５２は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたＴＳパケットを選択するようにPIDフィルタ２６１を制御する。図１６の例の場合、フィルタ制御部１５２は、PID＝ａ０が付されたＴＳパケットを基本バッファ１５４に供給するよう制御し、PID＝ａ１が付されたＴＳパケットを第１の拡張バッファ２０２−１に供給するよう制御し、PID＝ａ２が付されたＴＳパケットを第２の拡張バッファ２０２−２に供給するよう制御し、同様にして、PID＝ａＮが付されたＴＳパケットを第ｎの拡張バッファ２０２−ｎに供給するよう制御する。PIDフィルタ２６１は、フィルタ制御部１５２からの制御に基づいて、ＴＳパケットを取り出す。すなわち、PIDフィルタ２６１は、PID＝ａ０が付されたＴＳパケットを選択して基本バッファ１５４に供給し、PID＝ａ１が付されたＴＳパケットを選択して第１の拡張バッファ２０２−１に供給し、PID＝ａ２が付されたＴＳパケットを選択して第２の拡張バッファ２０２−２に供給し、同様にして、PID＝ａＮが付されたＴＳパケットを選択して第ｎの拡張バッファ２０２−ｎに供給する。

第３乃至第ｎの拡張バッファ２０２−３乃至２０２−ｎは、PIDフィルタ２６１により取り出された第３乃至第ｎの拡張オーディオストリームのＴＳパケットをそれぞれ格納する。オーディオデコーダ２６２は、基本バッファ１５４、第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎに格納されているＴＳパケットを取得し、これをデコードする。

図１６の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームに対応するオーディオデコーダ２６２を有している。すなわち、受信された第ｎまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、PIDフィルタ２６１は、フィルタ制御部１５２からの制御に基づいて、PID＝ａ０乃至ａＮのＴＳパケットを取り出し、それぞれ対応するバッファ（基本バッファ１５４、並びに第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎ）に供給する。

基本バッファ１５４は、PIDフィルタ２６１により選択され、供給された基本オーディオストリームのＴＳパケット（PID＝ａ０）を格納する。基本バッファ１５４は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２６２に対する同期を取るために動作する。第１の拡張バッファ２０２−１は、PIDフィルタ２６１により選択され、供給された第１の拡張オーディオストリームのＴＳパケット（PID＝ａ１）を格納する。第１の拡張バッファ２０２−１は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２６２に対する同期を取るために動作する。第２の拡張バッファ２０２−２は、PIDフィルタ２６１により選択され、供給された第２の拡張オーディオストリームのＴＳパケット（PID＝ａ２）を格納する。第２の拡張バッファ２０２−２は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２６２に対する同期を取るために動作する。同様にして、第ｎの拡張バッファ２０２−ｎは、PIDフィルタ２６１により選択され、供給された第ｎの拡張オーディオストリームのＴＳパケット（PID＝ａＮ）を格納する。第ｎの拡張バッファ２０２−ｎは、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ２６２に対する同期を取るために動作する。なお、図１６の例では、基本バッファ１５４、拡張バッファ２０２−１乃至２０２−ｎを１つずつ設けるようにしたが、受信側のＴＳパケットの同期を取るためのバッファと、オーディオデコーダ２６２に対する同期を取るためのバッファをそれぞれ２つ直列に設けるようにしてもよい。オーディオデコーダ２６２は、基本オーディオストリームのＴＳパケット、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットをデコードし、デコードした基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを出力する。

次に、図１７のフローチャートを参照して、図１２のステップＳ５３の一例である、第ｎ段の拡張オーディオストリーム処理を説明する。この処理は、図１６のオーディオストリーム処理部１２２により実行される処理である。すなわち、基本オーディオストリームに加え、第１乃至第ｎの拡張オーディオストリームをデコードできるオーディオストリーム処理部１２２が実行する処理である。

ステップＳ９１において、入力部１５１はオーディオストリームのＴＳパケットの入力（複数のＴＳパケットからなるオーディオストリーム）を受け付ける。このオーディオストリームのＴＳパケットは、上述した図６のステップＳ１９で送信装置４１により送信された、テーブルのＴＳパケット、基本オーディオストリームＴＳパケット、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットを含むオーディオストリームである。

ステップＳ９２において、入力部１５１は、テーブルのＴＳパケットをフィルタ制御部１５２に供給する。具体的には、オーディオストリームのＴＳパケットには、テーブルのＴＳパケット、基本オーディオストリームのＴＳパケット、並びに、第１乃至第ｎの拡張オーディオストリームのＴＳパケットが含まれているので、入力部１５１は、これらのＴＳパケットのうち、テーブルのＴＳパケットをフィルタ制御部１５２に供給する。

ステップＳ９３において、入力部１５１は、PIDが付されているＴＳパケットをPIDフィルタ２６１に供給する。具体的には、図５において、PIDが付されている基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットをPIDフィルタ２６１に供給する。

ステップＳ９４において、フィルタ制御部１５２は、テーブルを参照して、オーディオデコーダ２６２が処理できるストリームの種類を判断する。具体的には、フィルタ制御部１５２は、自分が処理できるストリームの種類が、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類、すなわち、テーブルの中から基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを判断する。換言すると、フィルタ制御部１５２は、自分が処理できるストリームの種類を、テーブルを参照して判断し、そのストリームに関連付けられたPIDを、自分が処理できるストリームの種類と判断する。また、フィルタ制御部１５２は、基本ストリームに関連付けられたPID＝ａ０が付されたＴＳパケット、第１乃至第ｎの拡張オーディオストリームに関連付けられたPID＝ａ１乃至ａＮが付されたＴＳパケットを選択するようにPIDフィルタ２６１を制御する。

このように、フィルタ制御部１５２は、基本オーディオストリームのＴＳパケット、並びに、第１乃至第ｎの拡張オーディオストリームのＴＳパケットをそれぞれ基本バッファ１５４、並びに第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎに供給するようPIDフィルタ２６１を制御する。図１７の処理の場合、オーディオデコーダ２６２は、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをデコードする能力を有しているため、フィルタ制御部１５２は、PID＝ａ０，ａ１，ａ２，・・，ａＮが付されたＴＳパケットをそれぞれ対応するバッファに供給するよう、PIDフィルタ２６１を制御する。

ステップＳ９５において、PIDフィルタ２６１は、フィルタ制御部１５２からの判断（自分が処理できると判断されたストリームの種類）に基づいて、スイッチを選択し、対応するＴＳパケットを後段のバッファに供給する。具体的には、PIDフィルタ２６１は、PID＝ａ０であるＴＳパケット、すなわち、基本オーディオストリームのＴＳパケットを、スイッチで選択し、後段の基本バッファ１５４に供給する。また、PIDフィルタ２６１は、PID＝ａ１乃至ａＮであるＴＳパケット、すなわち、第１乃至第ｎの拡張オーディオストリームのＴＳパケットをスイッチで選択し、後段の第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎにそれぞれ供給する。

ステップＳ９６において、基本バッファ１５４、並びに第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎは、供給されたＴＳパケットをそれぞれ格納する。

ステップＳ９７において、基本バッファ１５４、並びに第１乃至第ｎの拡張バッファ２０２−１乃至２０２−ｎは、所定のタイミングでＴＳパケットをオーディオデコーダ２６２に出力する。

ステップＳ９８において、オーディオデコーダ２６２は、供給された基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームのＴＳパケットをデコードし、ステップＳ９９において、デコードしたオーディオストリームを出力する。

このように、受信するストリームには、基本オーディオストリームを構成するＴＳパケット、第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケット、これらのＴＳパケットを識別するPIDと基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームとを関連付ける情報が記載されたテーブルのＴＳパケットが含まれるとともに、基本オーディオストリームを構成するＴＳパケットおよび第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットには、オーディオストリームの種類を識別するためのPIDが付されているので、図１６に示されるような基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームをデコード可能なオーディオストリーム処理部１２２（受信装置４２）においても、デコードを行うことができる。

なお、基本オーディオストリーム、並びに第１乃至第ｍ（ｍは、１以上ｎ以下の自然数である）の拡張オーディオストリームを復号（デコード）可能な受信装置４２においては、基本オーディオストリーム、並びに第１乃至第ｍの拡張オーディオストリームを分離して再生することができる。

次に、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを復号可能なオーディオストリーム処理部１２２を備えた受信装置４２の他の構成例を説明する。図１８は、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを復号するオーディオストリーム処理部１２２の構成例を示す図である。

図１８のオーディオストリーム処理部１２２では、ＴＳの多重化方法に制限が加えられる。具体的には、ＴＳの中で、基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化されていなければならない。すなわち、ＴＳの中で、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・ＥｘｔＮ（２）の順番に並んで符号化されていなければならない。換言すれば、受信装置４２の受信部１２１により受信されたＴＳパケットは、図１９に示されるように、ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・ＥｘｔＮ（２）の順に入力部１５１に入力され、入力部１５１は、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・ＥｘｔＮ（２）の順にPIDフィルタ３０１にＴＳパケットを供給する。すなわち、全体のストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、第１乃至第ｎの拡張ストリームのそれぞれを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、基本ストリームを構成するＴＳパケット、並びに、第１乃至第ｎの拡張ストリームのそれぞれを構成するＴＳパケットの順に並べられている（エンコーダ側の送信装置４１が、この順番に並べてＴＳパケットを出力している）。

なお、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位は、必ずしも存在しなくても良い。例えば、全体のストリームが、基本オーディオストリームと第１の拡張ストリームから構成されるとき、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位がすべて存在する場合は、ＢＳ（１）,Ｅｘｔ１（１）,ＢＳ（２）,Ｅｘｔ１（２）,ＢＳ（３）,Ｅｘｔ１（３），・・・の並びになるように、ＴＳパケットが並ぶが、例えば、ＢＳ（２）に対応するＥｘｔ１（２）が存在しない場合は、図３７に示されるように、ＢＳ（１）,Ｅｘｔ１（１）,ＢＳ（２）,ＢＳ（３）,Ｅｘｔ１（３），・・・の並びになるように、ＴＳパケットが並ぶ。

すなわち、オーディオストリームには、少なくとも基本オーディオストリームを構成するＴＳパケットが含まれ、基本オーディオストリームのそれぞれの同期単位に対応する第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットの個数が可変長とされてさらに含まれる。換言すれば、１本のオーディオストリームには、基本オーディオストリームが少なくとも含まれるとともに、第１乃至第ｎの拡張オーディオストリームが含まれうるものとされる。また、基本オーディオストリームのそれぞれの同期単位（同じ時刻に再生される、所定の単位）に対応する第１乃至第ｎの拡張オーディオストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において第１乃至第ｎの拡張オーディオストリームのうちの存在する拡張ストリームがエンコードされる。その結果、基本オーディオストリームは、オーディオストリーム全体にわたって含まれるが、拡張オーディオストリームを構成するＴＳパケットの数は可変長とされる（第１の拡張オーディオストリームに対応するＴＳパケットだけが含まれたり、第１乃至第３の拡張オーディオストリームに対応するそれぞれのＴＳパケットが含まれたりする）。

このような符号化方法は、オーディオストリームを可変ビットレートで符号化する場合において、オリジナルのオーディオ信号の情報量が少ない部分（時間区間）で、基本ストリームの情報だけで十分であり、拡張ストリームの情報が必要ない場合に用いられる。拡張ストリームの情報が存在しない時間区間のビットレートは小さく抑えられる。

図１８のオーディオストリーム処理部１２２には、入力部１５１、フィルタ制御部１５２、PIDフィルタ３０１、バッファ３０２、およびオーディオデコーダ３０３が設けられている。

フィルタ制御部１５２は、PID＝ａ０乃至ａＮが付されたＴＳパケットをバッファ３０２に供給するようPIDフィルタ３０１を制御する。PIDフィルタ３０１は、フィルタ制御部１５２からの制御に基づいて、ＴＳパケットを取り出す。すなわち、PIDフィルタ３０１は、PID＝ａ０乃至ａＮが付されたＴＳパケットを順次バッファ３０２に供給する。このとき、ＴＳの中で、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・ＥｘｔＮ（２）の順番に並んで符号化されているため、PIDフィルタ３０１は、ＴＳの中で、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・ＥｘｔＮ（２）の順番で、ＴＳパケットをバッファ３０２に供給する。

バッファ３０２は、ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番に並んで供給されたＴＳパケットを格納する。オーディオデコーダ３０３は、バッファ３０２に格納されているＴＳパケットを取得し、これをデコードする。

図１８の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームに対応するオーディオデコーダ３０３を有している。すなわち、受信された基本オーディオストリーム、並びに第１乃至第ｎまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、PIDフィルタ３０１は、フィルタ制御部１５２からの制御に基づいて、PID＝ａ０乃至ａＮのＴＳパケットを取り出し、バッファ３０２に供給する。

バッファ３０２は、PIDフィルタ３０１により順次選択され、供給されたオーディオストリームのＴＳパケット（PID＝ａ０乃至ａＮ）を格納する。バッファ３０２は、受信側のＴＳパケットの同期を取り、また、オーディオデコーダ３０３に対する同期を取るために動作する。なお、図１８の例では、バッファ３０２を１つ設けるようにしたが、受信側のＴＳパケットの同期を取るためのバッファと、オーディオデコーダ３０３に対する同期を取るためのバッファを２つ直列に設けるようにしてもよい。オーディオデコーダ３０３は、基本オーディオストリームのＴＳパケット、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットを順次デコードし、デコードした基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを出力する。

図１８によれば、バッファの数を図１６より少なくすることができ、もって低コストで実現することができる。また、図１６では、図１８に比べてバッファの数は多いが、符号化のＴＳパケットの順番に制限がないという利点がある。

以上の第１の実施の形態によれば、基本オーディオストリームと複数段階の拡張オーディオストリームの多重化ストリームからオーディオを再生する場合に、基本オーディオストリームだけの復号能力を持った受信装置４２（例えば、図１１のオーディオストリーム処理部１２２を有する受信装置４２）では基本オーディオストリームだけを分離して再生でき、所定の段階ｎの拡張オーディオストリームまでの再生能力を持った再生装置４２（例えば、図１６のオーディオストリーム処理部１２２を有する受信装置４２）では、基本とその段階ｎまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号化および復号方法を提供することができる。

すなわち、基本オーディオストリームと複数段階の拡張オーディオストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置は、基本オーディオストリームと複数段階の拡張オーディオストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。

また、各ＴＳパケットにPIDを付すとともにテーブルを付加すればよいため、トランスポートストリームへ容易に適用することができる。

以上、本発明の第１の実施の形態では、MPEG-TSを構成する各パケット（ＴＳパケット）を識別するためにPIDを用いるようにし、このPIDに基づいて、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのそれぞれを識別するようにしたが、以下に、MPEG-TSを構成する各パケット（ＴＳパケット）を識別するためにSub_idを用いるようにし、Sub_idに基づいて、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのそれぞれを識別する場合の例を、図２０乃至図３５を用いて、本発明の第２の実施の形態として説明する。なお、第１の実施の形態と重複する実施の形態については、適宜、第１の実施の形態（図１乃至図１９）を参照して説明する。

この第２の実施の形態の送受信システムは、上述した図２の送受信システム４０と同様である。以下に、この実施の形態の送受信システム４０を構成する、送信装置と受信装置の構成例について説明する。

図２０は、本発明の第２の実施の形態における送信装置の構成例を示すブロック図である。

送信装置３１０には、入力部７１、オーディオエンコーダ７２、基本バッファ７３、拡張バッファ７４−１乃至７４−ｎ、および送信部７７の他、抽出情報付加部３１１およびＴＳパケット化部３１２が設けられている。なお、ｎは１以上の任意の自然数（１以上の整数値）である。また、図中、図３と対応する部分については、同一の符号を付してあり、その詳細な説明は、繰り返しになるので省略する。すなわち、入力部７１、オーディオエンコーダ７２、基本バッファ７３、および拡張バッファ７４−１乃至７４−ｎ、および送信部７７の各部は、上述した図３の各部と同様の機能を有する。

抽出情報付加部３１１は、デコード側で１本のオーディオストリームを抽出するために、抽出情報であるテーブル（PATとPMT）を生成する。ここで、１本のオーディオストリームの例としては、所定の映画（コンテンツ）の日本語音声であったり、英語音声であったりする。このテーブルでは、所定の種類のオーディオストリームを定義している。例えば、抽出情報付加部３１１は、上述した図７に示されるPATと、図２１に示されるPMTを生成し、ＴＳパケット化部３１２に供給する。

図２１は、トランスポートストリーム（ＴＳ）のPMTの例を示す図である。上述した図８（第１の実施の形態）では、stream_entry()に、複数のPIDが記述（エントリ）されているが、図２１の例では、オーディオストリームの符号化方式を示すAudio_stream_type（符号化タイプを示す情報）と、１つのPIDとが記述される。ここで、ＴＳのPATは、図７と同様である。

具体的には、図７のPMT-PIDの値が、図２１のPMTで参照される。図２１においては、PIDがXの場合のstream_entryが記述されている。すなわち、Audio_stream_typeと、Audio_PID＝ａ０とが記述されている。図７と図２１によれば、同種のオーディオストリーム（１本のオーディオストリーム）を識別することができる。換言すれば、図７と図２１のテーブル（PATとPMT）により、１つのコンテンツに対応する１本のオーディオストリームを識別することができる。

図２０に戻って、ＴＳパケット化部３１２には、Sub_id付加部３１３が設けられている。Sub_id付加部３１３には、Sub_idとＴＳパケットの種類とを関係付けた所定の条件があらかじめ設定されており、Sub_id付加部３１３は、その条件に従って、ＴＳパケットのヘッダにSub_idを付加する。例えば、Sub_id付加部３１３は、基本バッファ７３から供給されてきた基本オーディオストリーム（BS）にはSub_id＝０を付加し、第１の拡張バッファ７４−１から供給されてきた第１の拡張オーディオストリーム（Ｅｘｔ１）にはSub_id＝１を付加し、第２の拡張バッファ７４−２から供給されてきた第２の拡張オーディオストリーム（Ｅｘｔ２）にはSub_id＝２を付加し、同様にして、第ｎの拡張バッファ７４−ｎから供給されてきた第ｎの拡張オーディオストリーム（ＥｘｔＮ）にはSub_id＝Ｎを付加する、といった条件が設定されている。なお、この条件と同様の条件が、後述する受信側（デコーダ側）にも設定されている。

ＴＳパケット化部３１２は、基本バッファ７３、並びに拡張バッファ７４−１乃至７４−ｎを制御して基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを取得するとともに、抽出情報付加部３１１から供給されたテーブル（図７と図２１）を取得する。またＴＳパケット化部３１２は、テーブルをＴＳパケット化したり、Sub_id付加部３１３に設定されている所定の条件とテーブルとに従って、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをそれぞれＴＳパケット化する（ＴＳパケットを生成する）。このとき、ＴＳパケット化部３１２は、１本のオーディオストリームに対して共通する識別情報であるPIDをＴＳパケットのヘッダ部に付加するとともに、ＴＳパケット化部３１２のSub_id付加部３１３は、ストリームの種類（基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリーム）を識別するためのSub_idを、所定の条件に従ってＴＳパケットのヘッダ部に付加する。また、ＴＳパケット化部３１２は、生成したＴＳパケットを送信部７７に供給する。

送信部７７は、ＴＳパケットを送信する。このとき、複数のＴＳパケットが連続して送信されるため、結果として（複数のＴＳパケットからなる）１つのストリームが送信されることになる。

本発明の第２の実施の形態においては、PIDは、ＴＳパケットのエンコードの種類の拡張性を示す情報ではなく、１本のオーディオストリームを識別するための情報であり、Sub_idは、ＴＳパケットのエンコードの種類の拡張性を示す情報である。すなわち、Sub_idによれば、ストリームの種類（基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリーム）を識別することができる。各ＴＳパケットのヘッダには、このSub_idが付加されているので、デコーダ側の受信装置において、所望の段数の拡張オーディオストリームのパケットを選択することができる。

次に、基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化したＴＳ（トランスポートストリーム）の構造を、図２２と図２３を参照して説明する。

ＴＳパケット化部３１２（Sub_id付加部３１３）は、上述した図４の基本オーディオストリーム８１と第１乃至第ｎの拡張オーディオストリーム８２−１乃至８２−ｎとに対して、図２２に示されるように、ヘッダ部に、同一（共通の）PID（PID＝ａ０）を付加するとともに、それぞれ別々のSub_id（パケットＩＤ）を付加し、ＴＳパケットとする。なお、１つのＴＳパケットには、例えば、１８８バイト長のデータが格納される。

図２２のＴＳストリームには、PATが記載されたテーブルのＴＳパケット３２０（図５のPAT９０、すなわち図７のPATと同様の情報）、PMTが記載されたテーブルのＴＳパケット３２１（図２１のPMTと同様の情報）、PID＝ａ０でありSub_id＝０である基本オーディオストリーム（ＢＳ）のＴＳパケット３２２、PID＝ａ０でありSub_id＝１である第１の拡張オーディオストリーム（Ｅｘｔ１）のＴＳパケット３２３−１、PID＝ａ０でありSub_id＝２である第２の拡張オーディオストリーム（Ｅｘｔ２）のＴＳパケット３２３−２、・・・、PID＝ａ０でありSub_id＝Ｎである第ｎの拡張オーディオストリーム（ＥｘｔＮ）のＴＳパケット３２３−ｎが含まれている。ここで、テーブルのＴＳパケット３２０，３２１は所定の周期毎に送信装置３１０によって送信されるものである。また、PIDは、トランスポートパケットヘッダのPIDを示す。

なお、図４の基本オーディオストリーム８１、並びに第１乃至第ｎの拡張オーディオストリーム８２−１乃至８２−ｎは、何れも、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には、基本オーディオストリーム８１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）というように、複数の単位に分離されて符号化されている。同様に例えば、第１の拡張オーディオストリーム８２−１は、Ｅｘｔ１(１),Ｅｘｔ１(２)，・・・，Ｅｘｔ１（ｎ）というように、複数の単位に分離されて符号化されている。係る基本オーディオストリーム８１、並びに第１乃至第ｎの拡張オーディオストリーム８２−ｎにおいて、添え字の同じもの同士、例えば、ＢＳ(１)、並びにＥｘｔ１(１)乃至ＥｘｔＮ(１)とは、同期して図２０のオーディオエンコーダ７２によりエンコードされるとともに、同期して受信側の受信装置４２により再生（デコード）される。

ここで、図２２の基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化したＴＳ（トランスポートストリーム）の構造を、図２３を参照してより詳細に説明する。

ＴＳパケット化部３１２は、最初に、図２３の基本オーディオストリーム８１、並びに第１乃至第ｎの拡張オーディオストリーム８２−１乃至８２−ｎ（図２３中の上段部）を、図２３中の中段に示されるように、PESパケットストリーム化し、PESパケットストリーム３３０とする。ここで、PESHは、PESパケットヘッダを示す。次に、ＴＳパケット化部３１２は、ＰＥＳパケットストリーム３３０を構成する各ＰＥＳパケットのそれぞれを、図２３の下段に示されるように、ＴＳパケット化して多重化し、ＴＳパケット３３３乃至３４０とする。このとき、ＴＳパケット化部３１２は、Sub_id付加部３１３に設定されている条件と、抽出情報付加部３１１から供給されるテーブルとに従って、各ＴＳパケットのヘッダ部にPIDとSub_idとを付加する。ここでPIDは、Transport packet HeaderのPIDを示し、SidはSub_idを示す。なお、実際には、ＴＳパケット化部３１２は、その他の各種情報も付加するが、これらについては本発明とは直接関係がないためここでは説明を省略する。また、ＴＳパケット化部３１２は、抽出情報付加部３１１から供給されたテーブルをＴＳパケットにパケット化する。すなわち、ＴＳパケット化部３１２は、抽出情報付加部３１１から供給されたテーブルのうちの、ＰＡＴをＴＳパケット３３１に、ＰＭＴをＴＳパケット３３２に、それぞれパケット化する。

このとき、図２３の下段に示されるように、１つのＴＳパケットに１オーディオフレーム（ＢＳ（１）全体や、Ｅｘｔ１（１）の全体など）が含まれている訳ではない。具体的には、１つのＴＳパケットには、所定のデータ長のデータが格納されるので、１オーディオフレーム（例えば、ＢＳ（１）全体）が、複数のＴＳパケットに分割（分離）される。図２３の例の場合、ＢＳ（１）は、ＴＳパケット３３３とＴＳパケット３３４に分割される。

なお、図２３の例では、PMTのＴＳパケット３３２は、PATのＴＳパケット３３１の後であってＴＳパケット３３３よりも前に送信部７７から送信されるように図示されているが、実際には、所定の周期毎に送信部７７から送信されるものである。

図２２と図２３に示される第２の実施の形態では、１つのオーディオストリームに対応する各ＴＳパケットのPID、即ち、そのオーディオストリームについての基本オーディオストリーム並びに第１乃至第ｎの拡張オーディオストリームの全種類に対応する各ＴＳパケットのPIDは同一（PID＝ａ０）とされている。このことは、受信装置側の本実施の形態の構成（この構成については図２８以降の図面を参照して後述する）にあわせるためである。従って、受信装置の構成によっては、オーディオストリームについての基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームの全種類に対応する各ＴＳパケットのPIDの全てを同一にする必要は必ずしも無い。例えば、基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームの各種類を単位として、それぞれの種類のＴＳパケットに対して異なるPIDを付してもよい。

次に、図２０の送信装置３１０におけるＴＳパケット送信処理について説明する。基本的には、図６のフローチャートで示される処理と同様であるので、図６のフローチャートを流用して、図６の処理と異なる点についてのみ説明する。ステップＳ１１乃至ステップＳ１６の処理は、図６を用いて上述した処理と同様であるのでその説明は省略する。

ステップＳ１７において、図２０の抽出情報付加部３１１は、テーブルを生成し、ＴＳパケット化部３１２に供給する。具体的には、抽出情報付加部３１１は、図７および図２１に示されるようなPATとPMTのテーブルを生成し、これをＴＳパケット化部３１１に供給する。

ステップＳ１８において、ＴＳパケット化部３１２は、ＴＳパケット生成処理を実行する。なお、この処理の詳細は、図２４を参照して後述する。ＴＳパケット化部３１２により生成されたＴＳパケットは、送信部７７に出力される。

ステップＳ１９において、送信部７７は、ＴＳパケット（複数のＴＳパケットからなるオーディオストリーム）を受信装置４２（図１０）に対して送信する。具体的には、PATとPMT（テーブル）のＴＳパケット３２０，３２１、基本オーディオストリームのＴＳパケット３２２、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケット３２３−１乃至３２３−ｎを含むストリームが受信装置４２に対して送信される。その後、処理は終了される。なお、本実施の形態では、ＴＳパケットを受信装置４２（図１０）に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、一旦、記録媒体に記録して、その記録媒体を受信装置４２（図１０）に提供することで、間接的に送信するようにしてもよい。

次に、第２の実施の形態における、図６のステップＳ１８のＴＳパケット生成処理の詳細を、図２４のフローチャートを参照して説明する。

ステップＳ１３１において、ＴＳパケット化部３１２は、テーブル(PATとPMT)を取得する。このテーブルは、図６のステップＳ１７で生成された、図７および図２１に示されるPATとPMTである。

ステップＳ１３２において、ＴＳパケット化部３１２は、テーブル(PATとPMT)をＴＳパケット化して（PATとPMTに基づいてＴＳパケットを生成し）、送信部７７に出力する。なお、送信部７７はこのテーブルを受信装置４２に送信する。これにより、図７のPATが記述されたＴＳパケット３２０、PMTが記述されたＴＳパケット３２１（図２２参照）が生成され、送信部７７に出力される。なお、この処理では、１回だけＴＳパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述されたＴＳパケットが送信される。これにより、ストリームの途中で受信装置が受信し始めた場合においても、受信装置は、テーブルを取得できるため確実にデコードすることができる。

ステップＳ１３３において、ＴＳパケット化部３１２は、Sub_id付加部３１３に設定されている所定の条件と、テーブルとに従って、基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎからのオーディオストリームのそれぞれにPIDとSub_idとを付す。なお、テーブルそのものはステップＳ１３１の処理でＴＳパケット化されて送信されたが、ここでは、ＴＳパケット化部３１２が保持しているものとする。ＴＳパケット化部３１２は、このテーブルに従って、基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎからのオーディオストリームのそれぞれにPID＝ａ０をそれぞれ付加するとともに、Sub_id付加部３１３に設定されている所定の条件に従って、対応するSub_idをそれぞれ付加する。ここで、第２の実施の形態においては、PID＝ａ０（同一）とされ、Sub_idの値が０，１，２，・・・，Ｎと変化する。

この処理により、基本オーディオストリーム（ＢＳ）にPID＝ａ０，Sub_id＝０が付加され、第１の拡張オーディオストリーム（Ｅｘｔ１）にPID＝ａ０，Sub_id＝１が付加され、第２の拡張オーディオストリーム（Ｅｘｔ２）にPID＝ａ０， Sub_id＝２が付加され、同様にして、第ｎの拡張オーディオストリーム（ＥｘｔＮ）にPID＝ａ０， Sub_id＝Ｎが付加される。すなわち、ストリームの種類毎に異なる識別情報が付加される。

ステップＳ１３４において、ＴＳパケット化部３１２は、基本バッファ７３、並びに第１乃至第ｎの拡張バッファ７４−１乃至７４−ｎからのオーディオストリームに基づいて、それぞれＴＳパケットを生成する。これにより、図２２に示されるように、これらの基本オーディオストリームと第１乃至第ｎの拡張オーディオストリームは、それぞれ同一のPIDが付されるとともに、それぞれ異なるSub_idが付され、ＴＳパケットとして生成される。なお、詳細には、同じ１オーディオフレームである場合には、同じSub_idが付される（図２３のSid参照）。

ステップＳ１３５において、ＴＳパケット化部３１２は、生成したＴＳパケットを送信部７７に出力する。その後、処理は図６のステップＳ１８に戻る。

図６および図２４の処理により、第ｎの拡張オーディオストリームをエンコード可能な送信装置３１０（図２０）は、エンコードしたデータを、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームに分けるとともに、Sub_id付加部３１３に設定されている条件とテーブルとに基づいて、PIDおよびSub_idを付し、ＴＳパケット化して送信する。また、送信装置３１０は、PATとPMTのテーブルをＴＳパケット化して送信する。すなわち、送信装置３１０（図２０）は、ストリームの種類を識別するSub_idをヘッダ部に付した複数のＴＳパケットと、テーブルのＴＳパケットを含むオーディオストリームを受信装置４２に対して送信する。

送信装置３１０が送信するストリームには、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットと、PATとPMTが記述されたＴＳパケットとが含まれるとともに、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットのヘッダには、１本のオーディオストリームを識別するPIDと、オーディオストリームに含まれるＴＳパケットのそれぞれの種類を識別するためのSub_idとが含まれるので、受信側では、自分の処理能力に合わせたデコードを行うことができる。

次に、送信装置３１０により送信されるＴＳパケットの構成例を説明する。図２５は、図２２のＴＳ（トランスポートストリーム）の基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを伝送するＴＳパケットの構造を示す図である。

図２５に示されるMPEG2 systemsのＴＳパケットヘッダのシンタクスでは、adaptation_field()の中に、private_data_byteを入れるようにすることができる。このprivate_data_byteの１バイトをSub_idの目的に使うようにする。図２５の例の場合、Sub_idと記述されている箇所がprivate_data_byteとされている。

より詳細には、transport_packetのsync_byteからSub_idまでの記述により、ＴＳパケットのヘッダ部が構成され（すなわち、PIDやSub_idが記述され）、payloadの記述により、実データ（オーディオストリーム）が構成される。図２２の例の場合、ＴＳパケット３２２の前半PID＝ａ０、Sub_id＝０と記述されているブロックがＴＳパケットのヘッダ部とされ、ＴＳパケット３２２の後半、ＢＳと記述されているブロックがＴＳパケットのペイロード部とされる。

また、adaptation_fieldのadaptation_field_lengthには、adaptation_fieldのデータ長が記述され、flagはその他の情報とされる。また、transport_private_data_flagは、private_dataの有無を示すフラグであり、図２５の例では１、すなわち、private_dataがあることを示している。また、transport_private_data_lengthには、private_dataのデータ長が記述され、図２５の例では１、すなわち、private_data（Sub_id）のデータ長が１バイトであることを示している。さらに、Sub_idがprivate_dataとして設定されている。Sub_idのデータ長は、transport_private_data_length＝１で記述されているように、１バイトとされる。すなわち、Sub_idには、ＴＳパケットの種類に応じて、０，１，２，・・・，ｎの値が記述される。具体的には、基本オーディオストリームに対応するＴＳパケットの場合、０が記述され、第１の拡張オーディオストリームに対応するＴＳパケットの場合、１が記述される。このように、ＴＳパケットのヘッダ部に、PIDとSub_idとが記述される。

図２３，図２５の例では、基本オーディオストリームと複数段階の拡張オーディオストリームからなるオーディオストリームのＴＳパケットの構造について説明したが、次に、基本オーディオストリームと拡張オーディオストリームが第１段階までしかないオーディオストリームのＴＳパケットについて図２６と図２７を参照して説明する。

図２６は、基本オーディオストリームと第１の拡張オーディオストリームを多重化した場合のトランスポートストリームの構造を説明する図である。図中、図２３と対応する部分については同一の符号を付してある。

図２６では、ＴＳパケットの種類を識別するためにSub_idではなく、transport_priority（図２６中ではｔｐと記述する）を用いる。ＴＳパケット化部３１２は、最初に、図２６の基本オーディオストリーム８１および第１の拡張オーディオストリーム８２−１（図２６中の上段部）を、図２６の中段に示されるように、PESパケットストリーム化し、PESパケットストリーム３７０とする。次に、ＴＳパケット化部３１２は、ＰＥＳパケットストリーム３７０を構成する各ＰＥＳパケットのそれぞれを、図２６の下段に示されるように、ＴＳパケット化して多重化し、ＴＳパケット３７１乃至３７８とする。このとき、ＴＳパケット化部３１２は、Sub_id付加部３１３に設定されている条件と、抽出情報付加部３１１から供給されるテーブルとに従って、各ＴＳパケットのヘッダ部にPIDとtransport_priorityとを付加する。なお、実際には、ＴＳパケット化部３１２は、その他の各種情報も付加する。また、ＴＳパケット化部３１２は、抽出情報付加部３１１から供給されたテーブル（PATとPMT）をＴＳパケットにパケット化する。すなわち、ＴＳパケット化部３１２は、ＰＡＴをＴＳパケット３３１に、ＰＭＴをＴＳパケット３３２に、それぞれパケット化する。

図２７は、図２６のＴＳ（トランスポートストリーム）の基本オーディオストリーム、および第１の拡張オーディオストリームを伝送するＴＳパケットの構造を示す図である。

図２７に示されるMPEG2 systemsのＴＳパケットヘッダのシンタクスでは、transport_priorityフラグを使って、そのトランスポートパケットのペイロードのデータが、基本オーディオストリームであるか、第１の拡張オーディオストリームであるかを区別する。図２７の例の場合、transport_priority＝１であれば基本オーディオストリームを示し、transport_priority＝０であれば第１の拡張オーディオストリームを示す。このように、優先度の高いストリーム（基本オーディオストリーム）に対してtransport_priority＝１を付している。

なお、図２７のtransport_packetのsync_byteからcontinuity_counterまでの記述により、ＴＳパケットのヘッダ部が構成され（すなわち、PIDやtransport_priorityが記述され）、payloadの記述により、実データ（オーディオストリーム）が構成される。図２６の例の場合、ＴＳパケット３７１の前半PID＝ａ０、ｔｐ＝１と記述されているブロックがＴＳパケットのヘッダ部とされ、ＴＳパケット３７１の後半、ＢＳと記述されているブロックがＴＳパケットのペイロード部とされる。

オーディオストリームが、基本オーディオストリームと第１の拡張オーディオストリームのみで構成される場合に、ＴＳパケットを図２７に示されるような構造とすることで、図２５のＴＳパケットの構造と比較して、より、ヘッダのデータ量を減らすことができる。なお、勿論、オーディオストリームが基本オーディオストリームと第１の拡張オーディオストリームのみからなる場合に、図２５のＴＳパケットの構造を用いるようにしてもよい。

また、トランスポートパケットヘッダの中でのSub_idの定義の方法は、図２５と図２７の方法に限らず、他のシンタクスフィールドを適用することも可能である。

次に、第２の実施の形態における再生側の受信装置４２（図１０）の構成例について説明する。本実施の形態では、再生側の受信装置４２は、少なくとも、基本オーディオストリーム（ＢＳ）をデコードする能力を有する。また、再生側の受信装置４２が、所定の第ｍ段階(ｍは１以上の自然数であり、ｍ≦ｎである)までの拡張オーディオストリームを再生可能な場合、受信装置４２（図１０）は、基本オーディオストリームと第１乃至第ｍまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、ｎが大きな値の拡張オーディオストリームまでをデコードできるほど、オーディオの再生品質が高くなったり、また、機能性が高くなったりする。

最初に、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームを復号可能なオーディオストリーム処理部１２２を備えた受信装置４２（図１０）の第２の実施の形態における構成例を、図２８を参照して説明する。図２８の例では、図１８および図１９の場合と同様に、ＴＳの多重化方法に制限が加えられた場合にストリーム処理を実行するオーディオストリーム処理部１２２について説明する。すなわち、図２８は、ＴＳの中で、基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化される場合に適用されるオーディオストリーム処理部１２２の例である。換言すれば、全体のストリームに含まれる基本ストリームを構成するＴＳパケット、並びに、第１乃至第ｎの拡張ストリームのそれぞれを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、基本ストリームを構成するＴＳパケット、並びに、第１乃至第ｎの拡張ストリームのそれぞれを構成するＴＳパケットの順に並べられている（エンコーダ側の送信装置４１が、この順番に並べてＴＳパケットを出力している）。

図２８のオーディオストリーム処理部１２２には、入力部４０１、PIDフィルタ制御部４０２、PIDフィルタ４０３、Sub_idフィルタ制御部４０４、Sub_idフィルタ４０５、バッファ４０６、およびオーディオデコーダ４０７が設けられている。

入力部４０１は、（図１０の）受信部１２１から供給されるオーディオストリームのＴＳパケット（基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで入力されるＴＳパケット）の入力を受け付ける。入力部４０１は、オーディオストリームのＴＳパケットのうち、テーブル（図７と図２１を用いて上述したPATとPMTのテーブル）のＴＳパケットをPIDフィルタ制御部４０２に供給し、それ以外のＴＳパケット（例えば、図２３のPIDやSub_idが付された基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケット）をPIDフィルタ４０３に供給する。また、入力部４０１は、PIDやSub_idが付された基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケット（PATとPMT以外のＴＳパケット）のヘッダ部を、Sub_idフィルタ制御部４０４に供給する。例えば、入力部４０１に入力されるオーディオストリームのＴＳパケットが図２５に示される構成であった場合、図２５のsync_byteからSub_idまでのヘッダ部をSub_idフィルタ制御部４０４に供給し、入力部４０１に入力されるオーディオストリームのＴＳパケットが図２７に示される構成であった場合、図２７のsync_byteからcontinuity_counterまでのヘッダ部をSub_idフィルタ制御部４０４に供給する。

PIDフィルタ制御部４０２は、取得したテーブル（図７および図２１）に基づいて、PIDフィルタ４０３の動作を制御する。例えば、PIDフィルタ制御部４０２は、図７および図２１のPATとPMTに基づいて、ＴＳパケットのヘッダ部に記述されているAudio_PID＝ａ０であるＴＳパケットを、Sub_idフィルタ４０４に供給させるよう、PIDフィルタ４０３の動作を制御する（PIDフィルタ４０３のスイッチを切り換える）。

PIDフィルタ４０３は、PIDフィルタ制御部４０２からの制御に基づいて、ＴＳパケットを選択する（取り出す）。例えば、PIDフィルタ４０３は、PIDフィルタ制御部４０２からの制御に基づいて、ヘッダに記述されているPID＝ａ０であるＴＳパケットを、後段のSub_idフィルタ４０５に供給する。

Sub_idフィルタ制御部４０４は、入力部４０１から供給されたＴＳパケットのヘッダ部に記述されているSub_idの情報（値）と、Sub_idフィルタ制御部４０４にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ４０５の動作を制御する。Sub_idフィルタ制御部４０４には、上述した送信装置３１０（図２０）のSub_id付加部３１３に設定されている条件と同じ条件が設定されているので、Sub_idフィルタ制御部４０４は、この設定されている条件と、入力部４０１から供給されたＴＳパケットのSub_idの値に基づいて、オーディオデコーダ４０７が処理可能なストリームの種類を判断し、Sub_idフィルタ４０５の動作を制御する（Sub_idフィルタ４０５のスイッチを切り換える）。図２８の例の場合、Sub_idフィルタ制御部４０４は、オーディオデコーダ４０７が処理可能なストリームの種類が、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームであると判断し、Sub_id＝０乃至Ｎが付されたＴＳパケットを、バッファ４０６に供給するようSub_idフィルタ４０５を制御する。

Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ＴＳパケットを選択する（取り出す）。具体的には、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ヘッダに記述されているSub_idの値に対応するスイッチを選択する。例えば、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ＴＳパケットのヘッダ部に記述されているSub_idの値が０，１，２，・・・，ＮであるＴＳパケットを、後段のバッファ４０６に順次供給する。このとき、図２２や図２３に示されるように、ＴＳの中で、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番に並んで符号化されているため、Sub_idフィルタ４０５は、図２９に示されるように、ＴＳの中で、ＢＳ（１）,Ｅｘｔ１（１）, Ｅｘｔ２（１）,・・・ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番で、ＴＳパケットのペイロードデータをバッファ４０６に供給する。

バッファ４０６は、Sub_idフィルタ４０５から供給されたＴＳパケットを格納（バッファリング）する。このバッファ４０６は、オーディオデコーダ４０７に対する同期を取るために動作するオーディオバッファである。具体的には、バッファ４０６は、ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・，ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番に並んで供給されたＴＳパケット（データ）を格納する。また、バッファ４０６は、バッファリングしているＴＳパケットを、所定のタイミングでオーディオデコーダ４０７に出力する（すなわち、オーディオデコーダ４０７は、バッファ４０６に格納されているＴＳパケットを、所定のタイミングで取得する）。オーディオデコーダ４０７は、バッファ４０６から供給されたＴＳパケットをデコードする。オーディオデコーダ４０７は、デコードしたオーディオストリームを、後段の出力部１２３（図１０）に供給する。

第２の実施の形態における、図２８によれば、PIDの値をストリームの種類（基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリーム）で異なる値を用いないようにし、Sub_idの値をストリームの種類で異なる値を用いるようにしたので、基本と拡張を組み合わせたオーディオストリームを１つの実体と考えて、それに１つのPIDの値を与えて管理することができる。このことは、基本オーディオストリームと複数段階の拡張オーディオストリームを１つのストリームとして管理するアプリケーションに適用した場合に、特に有効となる。

なお、図２８のオーディオストリーム処理部１２２を設けた受信装置４２（図１０）におけるＴＳパケット受信処理の処理は、基本的には、図１２の処理と同様であるが、図１２のステップＳ５３のオーディオストリーム処理の詳細が異なる。そこで、図３０と図３１のフローチャートを用いて、図１２のステップＳ５３の処理の一例である、第ｎ段の拡張オーディオストリーム処理を説明する。この処理は、図２８のオーディオストリーム処理部１２２により実行される処理である。すなわち、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームをデコードできるオーディオストリーム処理部１２２が実行する処理である。

ステップＳ１７１において、入力部４０１はオーディオストリームのＴＳパケットの入力（複数のＴＳパケットからなるオーディオストリーム）を受け付ける。このオーディオストリームのＴＳパケットは、上述した図６のステップＳ１９で送信装置４１により送信された、テーブル（図７と図２１）のＴＳパケット、基本オーディオストリームＴＳパケット、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットを含む１本のオーディオストリームである。

ステップＳ１７２において、入力部４０１は、テーブル（図７と図２１）のＴＳパケットをPIDフィルタ制御部４０２に供給する。具体的には、オーディオストリームのＴＳパケットには、テーブル（PATとPMT）のＴＳパケット、基本オーディオストリームのＴＳパケット、並びに、第１乃至第ｎの拡張オーディオストリームのＴＳパケットが含まれているので（図２２、図２３参照）、入力部４０１は、これらのＴＳパケットのうち、テーブル（図７と図２１）のＴＳパケットをPIDフィルタ制御部４０２に供給する。

ステップＳ１７３において、入力部４０１は、PIDが付されているＴＳパケットをPIDフィルタ４０３に供給する。具体的には、図２２や図２３において、PIDが付されている基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームのＴＳパケットをPIDフィルタ４０３に供給する。

ステップＳ１７４において、PIDフィルタ制御部４０２は、テーブル（図７と図２１）を参照して、オーディオデコーダ４０７が処理できるストリームを判断する。すなわち、PIDフィルタ制御部４０２は、自分が処理できる１本のストリーム（この例の場合、PID＝ａ０のオーディオストリーム）を、テーブルを参照して判断し、そのストリームに関連付けられたPIDを自分が処理できるストリームの種類と判断する。また、PIDフィルタ制御部４０２は、自分が処理できると判断したPID＝a０が付されたＴＳパケット（オーディオストリームに関連付けられたＴＳパケット）を選択するようにPIDフィルタ４０３を制御する。

このステップＳ１７４の処理で、PIDフィルタ制御部４０２は、同じPIDが付された（PID＝ａ０が付された）１本のオーディオストリームを構成する、基本オーディオストリームのＴＳパケット、並びに、第１乃至第ｎの拡張オーディオストリームのＴＳパケットを、Sub_idフィルタ４０５に供給するよう、PIDフィルタ４０３を制御することになる。

ステップＳ１７５において、PIDフィルタ４０３は、PIDフィルタ制御部４０２からの制御に基づいて、スイッチを選択し、対応するＴＳパケットを後段のSub_idフィルタ４０５に供給する。具体的には、PIDフィルタ４０３は、PID＝ａ０であるＴＳパケット、すなわち、１本のオーディオストリームを、スイッチを切り換えて選択し、後段のSub_idフィルタ４０５に供給する。

ステップＳ１７６において、Sub_idフィルタ制御部４０４は、ステップＳ１７３の処理で入力部４０１から供給されたＴＳパケットのヘッダ部の情報と、Sub_idフィルタ制御部４０４にあらかじめ設定されている所定の条件に基づいて、オーディオデコーダ４０７が処理できるストリームの種類を判断し、Sub_idフィルタ４０５を制御する。例えば、Sub_idフィルタ制御部４０４は、オーディオデコーダ４０７が処理可能なストリームの種類が、基本オーディオストリーム、並びに第１乃至第ｎの拡張オーディオストリームであると判断する。また、Sub_idフィルタ制御部４０４には、Sub_id＝０が基本オーディオストリームに対応しており、Sub_id＝１が第１の拡張オーディオストリームに対応しており、同様にして、Sub_id＝Ｎが第ｎの拡張オーディオストリームに対応している、といった条件があらかじめ設定されているので、Sub_idフィルタ制御部４０４は、この条件に基づいて、自分自身が処理可能であると判断した種類のストリームを、後段のバッファ４０６に供給するよう、Sub_idフィルタ４０５の動作を制御する。なお、Sub_idフィルタ制御部４０４に設定されている条件は、上述した送信装置３１０（図２０）のSub_id付加部３１３に設定されている条件と同じ条件（Sub_id＝０が基本オーディオストリームに対応しているなどの条件）であるので、Sub_idにより、正確にストリームの種類を識別することができる。

ステップＳ１７７において、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、スイッチを選択し、対応するＴＳパケットを後段のバッファ４０６に供給する。例えば、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ヘッダ部にSub_id＝０が付されたＴＳパケットを、Sub_idフィルタ４０５のSub_id＝０のラインを介してバッファ４０６に供給されるよう、スイッチを切り換える。また、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ヘッダ部にSub_id＝１が付されたＴＳパケットを、Sub_idフィルタ４０５のSub_id＝１のラインを介してバッファ４０６に供給されるよう、スイッチを切り換える。これにより、図２９に示されるようなＴＳパケットの順番で、バッファ４０６にデータが供給される。

ステップＳ１７８において、バッファ４０６は、Sub_idフィルタ４０５から供給されたＴＳパケットを格納（バッファリング）する。これにより、バッファ４０６には、図２９に示されるような、ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・，ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番に並んで供給されたＴＳパケットが格納される。

ステップＳ１７９において、バッファ４０６は、所定のタイミングでＴＳパケットをオーディオデコーダ４０７に出力する。例えば、バッファ４０６は、図２９に示されるような、ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・，ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番に並んでバッファリングしていたＴＳパケットを、所定のタイミングで、順次オーディオデコーダ４０７に出力する。

ステップＳ１８０において、オーディオデコーダ４０７は、バッファ４０６から供給されたＴＳパケット（ＢＳ（１）,Ｅｘｔ１（１）,Ｅｘｔ２（１）,・・・，ＥｘｔＮ（１）,ＢＳ（２）,Ｅｘｔ１（２）,Ｅｘｔ２（２）,・・・，ＥｘｔＮ（２）の順番で供給されたＴＳパケット）を順次デコードし、ステップＳ１８１において、デコードしたオーディオストリームを順次出力する。

図３０と図３１の処理により、受信するストリームに、基本オーディオストリームを構成するＴＳパケット、第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケット、PIDを振り分けるためのテーブル（図７と図２１のPATとPMT）が含まれるとともに、基本オーディオストリームを構成するＴＳパケットおよび第１乃至第ｎの拡張オーディオストリームを構成するＴＳパケットには、１本のオーディオストリームを識別するためのPIDと、オーディオストリームの種類を識別するためのSub_idが付されているので、図２８に示されるような基本オーディオストリーム、第１乃至第ｎの拡張オーディオストリームをデコード可能なオーディオストリーム処理部１２２（受信装置４２）においても、容易にデコードを行うことができる。

図２８乃至図３１では、図２２と図２３のＴＳを復号可能なオーディオストリーム処理部１２２を備えた受信装置４２（図１０）について説明したが、その他の例として、図２２と図２３のＴＳを復号可能なオーディオストリーム処理部１２２のオーディオデコーダ４０７が、基本オーディオストリームのみをデコードする能力を有する場合の構成例について、図３２を用いて説明する。なお、図中、図２８と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。

Sub_idフィルタ制御部４０４は、入力部４０１から供給されたＴＳパケットのヘッダ部に記述されているSub_idの情報（値）と、Sub_idフィルタ制御部４０４にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ４０５の動作を制御する。図３２の例の場合、Sub_idフィルタ制御部４０４は、オーディオデコーダ４０７が処理可能なストリームの種類が、基本オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームがSub_id＝０に対応することを確認する。そして、Sub_idフィルタ制御部４０４は、Sub_id＝０が付されたＴＳパケットを、バッファ４０６に供給するようSub_idフィルタ４０５を制御する。

Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ＴＳパケットを選択する（取り出す）。図３２の例の場合、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ヘッダに記述されているSub_id＝０の値に対応するスイッチを選択し、基本オーディオストリームを、バッファ４０６に供給する。

図３２の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリームに対応するオーディオデコーダ４０７のみを有し、第１乃至第ｎの拡張オーディオストリームをデコードできる能力がない。この場合、Sub_idフィルタ制御部４０４は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、あらかじめ設定されている所定の条件（例えば、Sub_id＝０が基本オーディオストリームに対応し、Sub_id＝１が第１の拡張オーディオストリームに対応するなどの条件）から、基本オーディオストリームに対応するSub_idを参照する。この場合、Sub_idフィルタ制御部４０４は、Sub_id＝０が、自分が処理できるストリームの種類であると判断し、デコードできるストリームのSub_idが付されたＴＳパケットを選択するようにSub_idフィルタ４０５を制御する。例えば、Sub_idフィルタ制御部４０４は、デコードできるストリームのＩＤを通過させてよいSub_idの番号（Sub_id＝０）をSub_idフィルタ４０５に通知する。Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４から通知されたSub_id、すなわちSub_id＝０に基づいて、Sub_id＝０が付されたＴＳパケットを選択し、これをバッファ４０６に供給する。このとき、第１乃至第ｎの拡張オーディオストリームのＴＳパケットが供給されてきた場合、Sub_idフィルタ４０５は、そのパケットを選択しない。すなわち、Sub_id＝０が付された基本オーディオストリームのＴＳパケットのみが供給されてきた場合に、Sub_idフィルタ４０５は、その基本オーディオストリームのＴＳパケットを選択して、後段のバッファ４０６に供給する。これにより、Sub_idフィルタ４０５では、図３３に示されるように、基本オーディオストリームのＴＳパケットが選択され、後段のバッファ４０６に供給される。

なお、図３２のオーディオストリーム処理部１２２を設けた受信装置４２（図１０）におけるＴＳパケット受信処理の処理は、図１２、図３０および図３１の処理と同様であるのでその説明は省略する。ただし、図３２のSub_idフィルタ制御部４０４は、Sub_id＝０が付されたＴＳパケットを、後段のバッファ４０６に供給させるよう、Sub_idフィルタ４０５を制御し、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいてスイッチを切り換える。その結果、Sub_idフィルタ４０５は、図３３に示されるように、基本オーディオストリームのＴＳパケットのみを、バッファ４０６に供給する。そして、オーディオデコーダ４０７は、所定のタイミングでバッファ４０６から供給されてきた基本オーディオストリームのＴＳパケットをデコードする。

このように、ＴＳパケットのヘッダに、１本のストリームを示すPIDと、ストリームの種類を識別するSub_idが付されているので、図３２に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部１２２（受信装置４２）においても、基本オーディオストリームに対応するＴＳパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図３２のオーディオストリーム処理部１２２を備える受信装置４２においては、基本オーディオストリームのみを取り出し、再生することができる。また、ＴＳパケットのペイロード部ではなく、ヘッダにSub_idが付加されているので、受信装置４２においてＴＳパケットのペイロード部を見ずとも、自分自身が処理可能であるか否かをヘッダ部に基づいて判断することができ、もって、迅速に処理することができる。

上述した第２の実施の形態では、図２２と図２３のＴＳを復号可能なオーディオストリーム処理部１２２を備えた受信装置４２（図１０）の例について説明したが、さらにその他の例として、図２２と図２３のＴＳを復号可能なオーディオストリーム処理部１２２のオーディオデコーダ４０７が、基本オーディオストリームと第１の拡張オーディオストリームのみをデコードする能力を有する場合の構成例について、図３４を用いて説明する。

Sub_idフィルタ制御部４０４は、入力部４０１から供給されたＴＳパケットのヘッダ部に記述されているSub_idの情報（値）と、Sub_idフィルタ制御部４０４にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ４０５の動作を制御する。図３４の例の場合、Sub_idフィルタ制御部４０４は、オーディオデコーダ４０７が処理可能なストリームの種類が、基本オーディオストリームと第１の拡張オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームと第１の拡張オーディオストリームがSub_id＝０，１に対応することを確認する。そして、Sub_idフィルタ制御部４０４は、Sub_id＝０，１が付されたＴＳパケットを、バッファ４０６に供給するようSub_idフィルタ４０５を制御する。

Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ＴＳパケットを選択する（取り出す）。図３４の例の場合、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいて、ヘッダに記述されているSub_id＝０，１の値に対応するスイッチを選択し、基本オーディオストリームと第１の拡張オーディオストリームを、バッファ４０６に供給する。

図３４の例の場合、オーディオストリーム処理部１２２は、基本オーディオストリームと第１の拡張オーディオストリームとに対応するオーディオデコーダ４０７のみを有し、第２乃至第ｎの拡張オーディオストリームをデコードできる能力がない。この場合、Sub_idフィルタ制御部４０４は、自分が処理できるストリームの種類が基本オーディオストリームと第１の拡張オーディオストリームであることを記憶しており、あらかじめ設定されている所定の条件（例えば、Sub_id＝０が基本オーディオストリームに対応し、Sub_id＝１が第１の拡張オーディオストリームに対応するなどの条件）から、基本オーディオストリームと第１の拡張オーディオストリームとに対応するSub_idを参照する。この例の場合、Sub_idフィルタ制御部４０４は、Sub_id＝０，１が、自分が処理できるストリームの種類であると判断し、デコードできるストリームのSub_idが付されたＴＳパケットを選択するようにSub_idフィルタ４０５を制御する。例えば、Sub_idフィルタ制御部４０４は、デコードできるストリームのＩＤを通過させてよいSub_idの番号（Sub_id＝０，１）をSub_idフィルタ４０５に通知する。Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４から通知されたSub_id、すなわちSub_id＝０，１に基づいて、Sub_id＝０，１が付されたＴＳパケットを選択し、これをバッファ４０６に供給する。このとき、第２乃至第ｎの拡張オーディオストリームのＴＳパケットが供給されてきた場合、Sub_idフィルタ４０５は、そのパケットを選択しない。すなわち、Sub_id＝０，１が付された基本オーディオストリームと第１の拡張オーディオストリームのＴＳパケットのみが供給されてきた場合に、Sub_idフィルタ４０５は、その基本オーディオストリームと第１の拡張オーディオストリームのＴＳパケットを選択して、後段のバッファ４０６に供給する。これにより、Sub_idフィルタ４０５では、図３５に示されるように、基本オーディオストリームと第１の拡張オーディオストリームのＴＳパケットが選択され、後段のバッファ４０６に供給される。

なお、図３４のオーディオストリーム処理部１２２を設けた受信装置４２（図１０）におけるＴＳパケット受信処理の処理は、図１２、図３０および図３１の処理と同様であるのでその説明は省略する。ただし、図３４のSub_idフィルタ制御部４０４は、Sub_id＝０，１が付されたＴＳパケットを、後段のバッファ４０６に供給させるよう、Sub_idフィルタ４０５を制御し、Sub_idフィルタ４０５は、Sub_idフィルタ制御部４０４からの制御に基づいてスイッチを切り換える。その結果、Sub_idフィルタ４０５は、図３５に示されるように、基本オーディオストリームと第１の拡張オーディオストリームのＴＳパケットのみを、バッファ４０６に供給する。そして、オーディオデコーダ４０７は、所定のタイミングでバッファ４０６から供給されてきた基本オーディオストリームと第１の拡張オーディオストリームのＴＳパケットをデコードする。

このように、基本オーディオストリームと第１の拡張オーディオストリームを復号（デコード）可能な受信装置４２（図３４のオーディオストリーム処理部１２２）においては、基本オーディオストリームと第１の拡張オーディオストリームだけを分離して再生することができる。

また、ＴＳの中で、基本オーディオストリーム、並びに、第１乃至第ｎの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化され、供給されたオーディオストリームであれば、図２８、図３２、および図３４に示されるような構成を適用することができ、第１の実施の形態の図１６などと比較して、バッファの数を少なくすることができる。また、低コストにオーディオストリーム処理部を実現することができる。

なお、第２の実施の形態の受信装置４２のオーディオストリーム処理部１２２（図２８、図３２、および図３４）の例では、図１８の場合と同様に、ＴＳの多重化方法に制限が加えられた場合にストリーム処理をするときについて説明したが、第１の実施の形態の図１１、図１４、図１５、および図１６に示されるように、ストリームの種類毎に対応するバッファを個別に設けるようにしてもよい。その場合、バッファの数は増えるが、ＴＳの多重化方法の制限がなくなり、より、受信装置４２の自由度を広げることができる。

また、図２８、図３２、図３４の例のオーディオストリーム処理部１２２では、入力部４０１が、ＴＳパケットのヘッダを、Sub_idフィルタ制御部４０４に供給するようにしたが、これに限らず、PIDフィルタ４０３の出力（PID＝ａ０のＴＳパケット）を、Sub_idフィルタ制御部４０４に供給させるようにしてもよい。この場合、Sub_idフィルタ制御部４０４は、入力部４０１ではなく、PIDフィルタ４０３から供給されたＴＳパケットのヘッダ部に基づいて、Sub_idフィルタ４０５を制御する。

以上の第２の実施の形態によれば、基本オーディオストリームと複数段階の拡張オーディオストリームの多重化ストリームからオーディオを再生する場合に、基本オーディオストリームだけの復号能力を持った受信装置４２（例えば、図３２のオーディオストリーム処理部１２２を有する受信装置４２）では基本オーディオストリームだけを分離して再生でき、所定の段階ｎの拡張オーディオストリームまでの再生能力を持った再生装置４２（例えば、図２８のオーディオストリーム処理部１２２を有する受信装置４２）では、基本とその段階ｎまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号化および復号方法を提供することができる。

すなわち、送信側の送信装置４１（例えば、図２０の送信装置４１））によれば、基本オーディオストリームと複数段階の拡張ストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置（例えば、図２８、図３２、および図３４）は、基本オーディオストリームと複数段階の拡張ストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。

また、各ＴＳパケットのヘッダ部にPIDとSub_idを付すようにすればよいため、トランスポートストリームへ容易に適用することができる。

さらに、１つのＴＳパケットが１８８バイト長と比較的小さいデータの中に、１種類のストリームしか入れなくて良い、すなわち、１つのＴＳパケットに基本オーディオストリームと拡張オーディオストリームを入れる必要はないため、符号化効率のよい符号化を行うことができる。

また、オーディオストリームの拡張が追加された場合、すなわち、ｎが増えた場合においても、ストリーム構造はフォーマットで決められていないため、符号化、復号の両方で対応することができる。すなわち、基本オーディオストリームしか復号できない装置においても、拡張が追加されたオーディオストリームを復号することができる。

なお、本発明は、エンコーダを有する送信装置４１に限らず、エンコードを行う全ての情報処理装置に適用することができる。また、本発明は、デコーダを有する受信装置４２に限らず、デコードを行う全ての情報処理装置に適用することができる。

さらに、以上の例では、本発明をオーディオストリームのエンコード、デコードに適用した場合について説明したが、これに限らず、ビデオストリームのエンコード、デコードに適用することもできる。すなわち、本発明は、オーディオストリームまたはビデオストリームでなどのストリームに適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図３６に示されるようなパーソナルコンピュータ５００により実行される。

図３６において、CPU５０１は、ROM５０２に記憶されているプログラム、または、記憶部５０８からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３６に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

４０ 送受信システム， ４１ 送信装置， ４２ 受信装置， ７１ 入力部， ７２ オーディオエンコーダ， ７３ 基本バッファ， ７４−１乃至７４−ｎ 拡張バッファ， ７６ ＴＳパケット化部， ７７ 送信部， ９０乃至９２、９３−１乃至９３−ｎ ＴＳパケット， １２１ 受信部， １２２ オーディオストリーム処理部， １２３ 出力部， １５１ 入力部， １５２ フィルタ制御部， １５３ PIDフィルタ， １５４ 基本バッファ， １５５ オーディオデコーダ， ２０１ PIDフィルタ， ２０２ 拡張バッファ， ２０３ オーディオデコーダ， ２３１ PIDフィルタ， ２３２ オーディオデコーダ， ２６１ PIDフィルタ， ２６２ オーディオデコーダ， ３０１ PIDフィルタ， ３０２ バッファ， ３０３ オーディオデコーダ， ３１０ 送信装置， ３１１ 抽出情報付加部， ３１２ ＴＳパケット化部， ３１３ Sub_id付加部， ４０４ Sub_idフィルタ制御部， ４０５ Sub_idフィルタ

Claims (11)

1. 基本ストリームと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも前記基本ストリームをエンコードするエンコード手段と、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコード手段によりエンコードされたものに、前記全体ストリームを識別するための第１の識別情報を付加する第１の付加手段と、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコード手段によりエンコードされたものに、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加手段と、
   前記基本ストリーム、並びに、前記拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化された前記ＴＳパケットのヘッダに、前記第１の付加手段と前記第２の付加手段により付加された前記第１の識別情報及び前記第２の識別情報を格納するパケット化手段と
   を備え、
   前記エンコード手段は、前記全体ストリームに含まれる前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードする
   ことを特徴とする情報処理装置。
2. 前記エンコード手段は、前記基本ストリームのそれぞれの同期単位に対応する前記拡張ストリームの同期単位が存在する場合、その同期単位において、前記拡張ストリームと、前記基本ストリームとをエンコードする
   ことを特徴とする請求項１に記載の情報処理装置。
3. 基本ストリームと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも前記基本ストリームをエンコードするエンコードステップと、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコードステップの処理によりエンコードされたものに、前記全体ストリームを識別するための第１の識別情報を付加する第１の付加ステップと、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコードステップの処理によりエンコードされたものに、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加ステップと、
   前記基本ストリーム、並びに、前記拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化された前記ＴＳパケットのヘッダに、前記第１の付加ステップと前記第２の付加ステップの処理により付加された前記第１の識別情報及び前記第２の識別情報を格納するパケット化ステップと
   を含み、
   前記エンコードステップの処理において、前記全体ストリームに含まれる前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードする
   ことを特徴とする情報処理方法。
4. 基本ストリームと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームと、を含む全体ストリームのうち、少なくとも前記基本ストリームをエンコードするエンコードステップと、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコードステップの処理によりエンコードされたものに、前記全体ストリームを識別するための第１の識別情報を付加する第１の付加ステップと、
   前記基本ストリーム、並びに前記拡張ストリームのうち、前記エンコードステップの処理によりエンコードされたものに、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報を付加する第２の付加ステップと、
   前記基本ストリーム、並びに、前記拡張ストリームを、それぞれＴＳパケットにパケット化し、パケット化された前記ＴＳパケットのヘッダに、前記第１の付加ステップと前記第２の付加ステップの処理により付加された前記第１の識別情報及び前記第２の識別情報を格納するパケット化ステップと
   を含み、
   前記エンコードステップの処理において、前記全体ストリームに含まれる前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットを、同時刻に再生されるＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並ぶようにエンコードする
   処理をコンピュータに実行させることを特徴とするプログラム。
5. 基本ストリームを構成するＴＳパケットと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力手段と、
   前記入力手段により入力された前記ＴＳパケットのそれぞれのヘッダに格納されている、前記全体ストリームを識別するための第１の識別情報と、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、前記全体ストリームから選択する選択手段と、
   前記選択手段により選択された前記ＴＳパケットをデコードするデコード手段と
   を備え、
   前記入力手段には、同時刻に再生される前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並んだ前記全体ストリームが入力される
   ことを特徴とする情報処理装置。
6. 前記入力手段に入力される前記全体ストリームには、少なくともエンコードされている前記基本ストリームが含まれ、前記基本ストリームのそれぞれの同期単位に対応する前記拡張ストリームが可変ビットレートでエンコードされてさらに含まれる
   ことを特徴とする請求項５に記載の情報処理装置。
7. 基本ストリームを構成するＴＳパケットと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力ステップと、
   前記入力ステップの処理により入力された前記ＴＳパケットのそれぞれのヘッダに格納されている、前記全体ストリームを識別するための第１の識別情報と、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、前記全体ストリームから選択する選択ステップと、
   前記選択ステップの処理により選択された前記ＴＳパケットをデコードするデコードステップと
   を含み、
   前記入力ステップの処理において、同時刻に再生される前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並んだ前記全体ストリームが入力される
   ことを特徴とする情報処理方法。
8. 基本ストリームを構成するＴＳパケットと、前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームを構成するＴＳパケットとを含む全体ストリームを入力する入力ステップと、
   前記入力ステップの処理により入力された前記ＴＳパケットのそれぞれのヘッダに格納されている、前記全体ストリームを識別するための第１の識別情報と、前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と、あらかじめ設定されている所定の条件とに基づいて、自分が処理できるＴＳパケットを、前記全体ストリームから選択する選択ステップと、
   前記選択ステップの処理により選択された前記ＴＳパケットをデコードするデコードステップと
   を含み、
   前記入力ステップの処理において、同時刻に再生される前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットが連続するように、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並んだ前記全体ストリームが入力される
   処理をコンピュータに実行させることを特徴とするプログラム。
9. コンピュータによる再生処理の用に供する全体ストリームであって、基本ストリームと前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームとを含む全体ストリームのデータ構造において、
   前記全体ストリームには、
   前記基本ストリームを構成するＴＳパケットと、
   前記基本ストリームのそれぞれの同期単位に対応する前記拡張ストリームの同期単位が存在する場合には、その同期単位において、前記拡張ストリームを構成するＴＳパケットと
   が含まれ、
   前記基本ストリームを構成するＴＳパケットと、前記拡張ストリームのそれぞれを構成するＴＳパケットのそれぞれのヘッダには、
   前記全体ストリームを識別するための第１の識別情報と、
   前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と
   が含まれ、
   前記全体ストリームに含まれる前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並べられている
   ことを特徴とするデータ構造。
10. 前記全体ストリームには、少なくとも前記基本ストリームが含まれ、前記基本ストリームのそれぞれの同期単位に対応する前記拡張ストリームを構成するＴＳパケットの個数が可変長とされてさらに含まれる
    ことを特徴とする請求項９に記載のデータ構造。
11. コンピュータによる再生処理の用に供する全体ストリームであって、基本ストリームと前記基本ストリームに対して拡張性を有する少なくとも１つの拡張ストリームとを含む全体ストリームのデータが記録された記録媒体であって、
    前記全体ストリームには、
    前記基本ストリームを構成するＴＳパケットと、
    前記基本ストリームのそれぞれの同期単位に対応する前記拡張ストリームの同期単位が存在する場合には、その同期単位において、前記拡張ストリームを構成するＴＳパケットと
    が含まれ、
    前記基本ストリームを構成するＴＳパケットと、前記拡張ストリームのそれぞれを構成するＴＳパケットのそれぞれのヘッダには、
    前記全体ストリームを識別するための第１の識別情報と、
    前記基本ストリーム、並びに前記拡張ストリームの優先順位を識別するための１ビットのフラグである第２の識別情報と
    が含まれ、
    前記全体ストリームに含まれる前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットは、同時刻に再生されるＴＳパケットが連続して、かつ、前記基本ストリームを構成するＴＳパケット、並びに、前記拡張ストリームを構成するＴＳパケットの順に並べられている
    データ構造を有するデータが記録されていることを特徴とする記録媒体。

Images