JP2006251428A - 多重化装置および多重化方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】 異なる符号化方式でエンコードされたＴＳパケットを多重化する。
【解決手段】 第１のエンコーダによりエンコードされて生成されたＢＳオーディオＥＳ１７１がさらにＴＳパケット化されたＢＳオーディオＴＳ１７３の各ＴＳパケットと、第２のエンコーダによりエンコードされて生成されたＨＱオーディオＥＳ１８１がさらにＴＳパケット化されたＨＱオーディオＴＳ１８３の各ＴＳパケットとを多重化する場合、制御部は、ＢＳオーディオＥＳのみを復号可能な第１の仮想デコーダとＨＱオーディオＥＳを復号可能な第２の仮想デコーダとを想定し、それぞれの仮想デコーダのエレメンタリバッファとエレメンタリバッファへのデータ転送レートに基づいて、多重化するＴＳパケットを決定する。本発明は、ＴＳパケットを多重化する多重化装置に適用することができる。
【選択図】図６

Description

本発明は、多重化装置および多重化方法、プログラム、並びに記録媒体に関し、特に、異なる符号化方式によりエンコードされたオーディオストリームのＴＳパケットを多重化する多重化装置および多重化方法、プログラム、並びに記録媒体に関する。

MPEG（Moving Picture Expert Group）方式を用いて、ビデオストリームやオーディオストリームをＴＳ（Transport Stream）パケット化し、多重化する場合、デコーダとして標準的なモデル（システムターゲットデコーダ（STD））が想定され、このSTDにおいて正しくデコード処理（復号処理）できるように、符号化処理（エンコード処理）が行われる。

例えば、特許文献１には、図１に示されるような符号化装置が、図２に示されるSTDモデルを想定し、エレメンタリストリームをＴＳパケット化し、MPEGトランスポートストリームを生成する技術が開示されている。

図１の符号化装置は、アクセスユニット検出器１、疑似アクセスユニット計算機２、パケッタイザ３、およびスケジューラ４を備えている。また、図２のSTDモデルは、前段バッファ２１、後段バッファ２２、およびデコーダ２３を備えている。

符号化装置のアクセスユニット検出器１は、エレメンタリストリームよりアクセスユニットを取得し、そのアクセスユニットの大きさとデコード時刻情報を検出する。疑似アクセスユニット計算機２は、図２の前段バッファ２１の大きさと、前段バッファ２１へのデータ転送レートに応じて、アクセスユニットを、所定の大きさの疑似アクセスユニットに分割したときに、その疑似アクセスユニットが前段バッファ２１へ入力される時刻（入力完了時刻）（疑似アクセスユニットのデコード時刻）を計算する。スケジューラ４は、疑似アクセスユニットの大きさと疑似デコード時刻から、多重化ストリームをデコーダに供給する時刻（クロックリファレンス）とパケットの大きさ（パケットサイズ）を計算する。

パケッタイザ３は、エレメンタリストリームを、パケットサイズに従ってパケット化し、デコード時刻とクロックリファレンスをエンコードし、MPEGトランスポートストリームを生成する。生成されたMPEGトランスポートストリームは、伝送路５を介して送信されたり、記録媒体５に記録される。

ところで、オーディオストリームを、MPEG方式を用いてＴＳパケット化し、１つのトランスポートストリームに多重化する場合、そのオーディオストリームは、予め所定の符号化方式によりエンコードされている。この符号化方式には、例えば、固定長符号化方式や、可変長符号化方式などがある。

そこで、異なる符号化方式により符号化された２つのオーディオストリームを、１つのトランスポートストリームに多重化することが考えられる。
特開平９−２６１６０４号公報

しかしながら、異なる符号化方式でエンコードされた２つのオーディオストリームを、ＴＳパケット化して多重化することは、図２に示されるようなSTDモデルでは想定されておらず、異なる符号化方式でエンコードされた２つのオーディオストリームを、ＴＳパケット化して１つのトランスポートストリームに多重化することは困難であった。

本発明はこのような状況に鑑みてなされたものであり、異なる符号化方式でエンコードされた２つのオーディオストリームのＴＳパケットを、１つのトランスポートストリームに多重化するものである。

本発明の多重化装置は、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコード手段と、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコード手段と、第１のエンコード手段によりエンコードされたオーディオデータと、第２のエンコード手段によりエンコードされたオーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するパケット化手段と、パケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定手段と、決定手段により決定されたＴＳパケットを多重化する多重化手段とを備え、決定手段は、第１のエンコード手段によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコード手段によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコード手段によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定することを特徴とする。

決定手段は、第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、パケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定するものとすることができる。

決定手段は、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、パケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定するものとすることができる。

多重化手段により多重化されたＴＳパケットを記録媒体に記録する記録手段をさらに備えるものとすることができる。

オーディオデータの単位は、オーディオアクセスユニットであるものとすることができる。

第１の仮想デコーダは、第１のエレメンタリバッファの前段にトランスポートバッファを有し、第２の仮想デコーダは、第２のエレメンタリバッファの前段にトランスポートバッファを有するとともに、第２のエレメンタリバッファの後段に、第３のエレメンタリバッファをさらに有するものとすることができる。

決定手段は、第３のエレメンタリバッファへの入力タイミングが、タイミング値に対するタイミングであると想定して、パケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定するものとすることができる。

タイミング値は、オーディオストリームの単位が、第３のエレメンタリバッファに渡される、オーディオ情報のサンプリング周期で表される値であるものとすることができる。

本発明の多重化方法は、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコードステップと、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するパケット化ステップと、パケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、決定ステップの処理により決定されたＴＳパケットを多重化する多重化ステップとを含み、決定ステップの処理は、第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコードステップの処理によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定することを特徴とする。

本発明のプログラムは、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコードステップと、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するパケット化ステップと、パケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、決定ステップの処理により決定されたＴＳパケットを多重化する多重化ステップとを含む処理をコンピュータに実行させ、決定ステップの処理は、第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコードステップの処理によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定することを特徴とする。

第１の本発明においては、第１の符号化方式によりエンコードされたオーディオデータと、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式によりエンコードされたオーディオデータとが、ＴＳパケットにパケット化される。また、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータをデコードする第２の仮想デコーダとが想定されて、多重化するＴＳパケットが決定され、そのＴＳパケットが多重化される。

本発明の記録媒体は、所定の符号化方式である第１の符号化方式でエンコードされたオーディオデータがＴＳパケット化された複数のＴＳパケットと、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される第２の符号化方式でエンコードされたオーディオデータがパケット化された複数のＴＳパケットとが、多重化されて記録され、ＴＳパケットは、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータに付加されているタイミング値に基づいて、オーディオデータをデコードする第２の仮想デコーダとが想定され、多重化すると決定されたＴＳパケットであることを特徴とする。

第２の本発明においては、第１の符号化方式でエンコードされたオーディオデータがＴＳパケット化された複数のＴＳパケットと、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される第２の符号化方式でエンコードされたオーディオデータがパケット化された複数のＴＳパケットとが、多重化されて記録される。また、ＴＳパケットは、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータに付加されているタイミング値に基づいて、オーディオデータをデコードする第２の仮想デコーダとが想定され、多重化すると決定されたＴＳパケットとされる。

本発明によれば、オーディオストリームのＴＳパケットを多重化することができる。特に、本発明によれば、異なる符号化方式でエンコードされた２つのオーディオストリームのＴＳパケットを、１つのトランスポートストリームに多重化することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の多重化装置（例えば、図４の送信装置１１１）は、
オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置であって、
前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコード手段（例えば、図４の第１のエンコーダ１４１）と、
前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位（例えば、オーディオアクセスユニット）ごとに、デコードされる場合に利用されるタイミングを表すタイミング値（例えば、インプットタイミング）を付加する前記第２の符号化方式でエンコードする第２のエンコード手段（例えば、図４の第２のエンコーダ１４２）と、
前記第１のエンコード手段によりエンコードされた前記オーディオデータと、前記第２のエンコード手段によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤ（例えば、ＰＩＤ）を付加するパケット化手段（例えば、図４のＴＳパケット化部１３７）と、
前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定手段（例えば、図４の制御部１３５）と、
前記決定手段により決定された前記ＴＳパケットを多重化する多重化手段（例えば、図４の多重化部１３８）と
を備え、
前記決定手段は、前記第１のエンコード手段によりエンコードされたオーディオデータをデコードする第１の仮想デコーダ（例えば、図１０のＢＳオーディオデータデコード処理部３６０−１が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）と、前記第２のエンコード手段によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコード手段によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダ（例えば、図１０のＨＱオーディオデータデコード処理部３６０−２が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）とを想定し、多重化するＴＳパケットを決定する（例えば、図１３のステップＳ６０）ことを特徴とする。

請求項２に記載の多重化装置の前記決定手段は、前記第１の仮想デコーダが有する第１のエレメンタリバッファ（例えば、図１０のエレメンタリバッファ３６３−１）および前記第１のエレメンタリバッファへのデータ転送レート（例えば、図１０のＲｘ１）と、前記第２の仮想デコーダが有する第２のエレメンタリバッファ（例えば、図１０のエレメンタリバッファ３６３−２）および前記第２のエレメンタリバッファへのデータ転送レート（例えば、図１０のＲｘ２）とに基づいて、前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定することを特徴とする。

請求項４に記載の多重化装置は、
前記多重化手段により多重化された前記ＴＳパケットを記録媒体に記録する記録手段（例えば、図３のドライブ１１２）をさらに備えることを特徴とする。

請求項６に記載の多重化装置の前記第１の仮想デコーダは、前記第１のエレメンタリバッファの前段にトランスポートバッファ（例えば、図１０のトランスポートバッファ３６２−１）を有し、
前記第２の仮想デコーダは、前記第２のエレメンタリバッファの前段にトランスポートバッファ（例えば、図１０のトランスポートバッファ３６２−２）を有するとともに、前記第２のエレメンタリバッファの後段に、第３のエレメンタリバッファ（例えば、図１０のFIFOバッファ３９１）をさらに有することを特徴とする。

請求項８に記載の多重化装置の前記タイミング値（例えば、インプットタイミング）は、前記オーディオストリームの単位が、前記第３のエレメンタリバッファに渡される、オーディオ情報のサンプリング周期で表される値であることを特徴とする。

請求項９に記載の多重化方法は、
オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置（例えば、図４の送信装置１１１）の多重化方法であって、
前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップ（例えば、図１２のステップＳ５２）と、
前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位（例えば、オーディオアクセスユニット）ごとに、デコードされる場合に利用されるタイミングを表すタイミング値（例えば、インプットタイミング）を付加する前記第２の符号化方式でエンコードする第２のエンコードステップ（例えば、図１２のステップＳ５３）と、
前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤ（例えば、ＰＩＤ）を付加するパケット化ステップ（例えば、図１３のステップＳ５９）と、
前記パケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップ（例えば、図１３のステップＳ６０）と、
前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップ（例えば、図１３のステップＳ６１）と
を含み、
前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダ（例えば、図１０のＢＳオーディオデータデコード処理部３６０−１が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）と、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダ（例えば、図１０のＨＱオーディオデータデコード処理部３６０−２が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）とを想定し、多重化するＴＳパケットを決定することを特徴とする。

請求項１０に記載のプログラムは、
オーディオデータをＴＳ（Transport Stream）パケットとして多重化するプログラムであって、
前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップ（例えば、図１２のステップＳ５２）と、
前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位（例えば、オーディオアクセスユニット）ごとに、デコードされる場合に利用されるタイミングを表すタイミング値（例えば、インプットタイミング）を付加する前記第２の符号化方式でエンコードする第２のエンコードステップ（例えば、図１２のステップＳ５３）と、
前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤ（例えば、ＰＩＤ）を付加するパケット化ステップ（例えば、図１３のステップＳ５９）と、
前記パケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップ（例えば、図１３のステップＳ６０）と、
前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップ（例えば、図１３のステップＳ６１）と
を含む処理をコンピュータに実行させ、
前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダ（例えば、図１０のＢＳオーディオデータデコード処理部３６０−１が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）と、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダ（例えば、図１０のＨＱオーディオデータデコード処理部３６０−２が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）とを想定し、多重化するＴＳパケットを決定することを特徴とする。

請求項１１に記載の記録媒体（例えば、図３のリムーバブルメディア１１３）は、
多重化されたＴＳ（Transport Stream）パケットが記録されている記録媒体（例えば、図３のリムーバブルメディア１１３）であって、
所定の符号化方式である第１の符号化方式でエンコードされたオーディオデータがＴＳパケット化された複数のＴＳパケットと、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位（例えば、オーディオアクセスユニット）ごとに、デコードされる場合に利用されるタイミングを表すタイミング値（例えば、インプットタイミング）が付加される前記第２の符号化方式でエンコードされたオーディオデータがパケット化された複数のＴＳパケットとが、多重化されて（例えば、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とが多重化され、ＴＳ１９０とされて）記録され、
前記ＴＳパケットは、
前記第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダ（例えば、図１０のＢＳオーディオデータデコード処理部３６０−１が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）と、前記第２の符号化方式でエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記オーディオデータをデコードする第２の仮想デコーダ（例えば、図１０のＨＱオーディオデータデコード処理部３６０−２が、図９のオーディオデータデコード処理部３６０に当てはめられた仮想デコーダ１２１）とが想定され、多重化すると決定されたＴＳパケットであることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図３は、本発明を適用した送信装置１１１がMPEG（Moving Picture Experts Group）2-TS（Transport stream）（以下、MPEG2-TSと称する）の方式を用いてオーディオストリームを送信する場合の制約を説明する図である。

この送信装置１１１は、例えば、MPEG2-TS方式を用いて、ストリームをＴＳパケット化し、多重化してMPEG2-TS（MPEG2トランスポートストリーム）を生成し、送信する装置である。例えば、送信装置１１１は、生成したMPEG2-TSを、ドライブ１１２を介してリムーバブルメディア１１３に記録させたり、通信部１１４を制御して、ネットワーク１１５に送信させる。このとき、送信装置１１１は、ビデオストリームやオーディオストリームをMPEG2-TSの方式を用いてＴＳパケット化する場合、デコーダの標準的なモデル（システムターゲットデコーダ（STD））として、仮想的な受信装置１２０に設けられている仮想デコーダ１２１を想定し、この仮想デコーダにおいて正しくデコード処理（復号処理）できるように、MPEG2-TSを生成する。仮想的な受信装置１２０は、ドライブ１２２に接続されており、ドライブ１２２を介してリムーバブルメディア１１３に記録されたMPEG2-TSを読み出したり、通信部１２３を制御して、ネットワーク１１５からMPEG2-TSを取得するものとして想定されている。なお、リムーバブルメディア１１３は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成される。また、仮想デコーダ１２１の構成例は、図９と図１０を参照して後述する。

図４は、図３の送信装置１１１の構成例を示すブロック図である。図４においては、送信装置１１１が、オーディオストリームを符号化し、これをＴＳパケット化して（MPEG2-TSパケットとして）送信するものとして説明する。

送信装置１１１には、入力部１３１、オーディオエンコーダ１３２、バッファ１３３、抽出情報付加部１３４、制御部１３５、ＰＥＳ（Packetized Elementarty Stream）パケット化部１３６、ＴＳパケット化部１３７、多重化部１３８、および送信部１３９が設けられている。また、オーディオエンコーダ１３２には、第１のエンコーダ１４１と第２のエンコーダ１４２とが設けられている。さらに、バッファ１３３には、第１のバッファ１４３と第２のバッファ１４４とが設けられている。

入力部１３１には、送信対象のオーディオデータが入力される。入力部１３１は、入力されたオーディオデータを、オーディオエンコーダ１３２の第１のエンコーダ１４１と、第２のエンコーダ１４２のそれぞれに供給する。

第１のエンコーダ１４１は、汎用のオーディオデコーダでデコード可能な音声符号化方式（例えば、固定長符号化方式）でオーディオデータのエンコードを行うエンコーダである。第２のエンコーダ１４２は、高性能なオーディオデコーダでのみでデコード可能な音声符号化方式（可変長符号化方式）でオーディオデータのエンコードを行うエンコーダである。具体的には、第２のエンコーダ１４２は、可変ビットレート（ＶＢＲ）オーディオであり、復号時に、ＶＢＲのピークレートを低く抑えるためのFIFO（First-In First-Out）バッファを用いるオーディオ符号化方式を用いてエンコードを行う。また、第２のエンコーダ１４２は、オーディオアクセスユニットが仮想デコーダのFIFOバッファ（後述する図１０のFIFOバッファ３９１）に渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値を、エンコードする際に付加する。なお、第２のエンコーダ１４２がエンコードする際に付加する、オーディオアクセスユニットが仮想デコーダのFIFOバッファに渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値を、以下においては、インプットタイミング（Input timing）とも称する。なお、第１のエンコーダ１４１は、エンコードする際にインプットタイミングは付加しない。

ここで、第２のエンコーダ１４２は、第１のエンコーダ１４１よりも高性能な符号化方式を用いてエンコードを行うので、第１のエンコーダ１４１によりエンコードされた結果のオーディオストリームを復号して再生した場合よりも、第２のエンコーダ１４２によりエンコードされた結果のオーディオストリームを復号して再生した場合の方が、オーディオの再生品質が高くなったり、機能性が高くなったりする。

なお、以下において、第１のエンコーダ１４１が用いる符号化方式を第１の符号化方式と称し、第２のエンコーダ１４２が用いる符号化方式を第２の符号化方式と称する。第２の符号化方式は、可変ビットレート（ＶＢＲ）オーディオであり、復号時に、ＶＢＲのピークレートを低く抑えるためのFIFO（First-In First-Out）バッファを用いるオーディオ符号化方式である。すなわち、第２の符号化方式は、可変長符号化方式であり、この方式により符号化されたオーディオＥＳを復号する場合、復号側では、FIFOバッファが必要となる。ここで、可変長符号化方式によりエンコードされて出力されるオーディオストリームの出力ビットレートは可変長とされる。逆に固定長符号化方式によりエンコードされて出力されるオーディオストリームの出力ビットレートは固定長とされる。以下において、第１のエンコーダ１４１が第１の符号化方式を用いてオーディオデータをエンコードした結果のストリームを、ＢＳオーディオＥＳ（基本オーディオエレメンタリストリーム）と称し、第２のエンコーダ１４２が第２の符号化方式を用いてオーディオデータをエンコードした結果のストリームを、ＨＱオーディオＥＳ（高品質オーディオエレメンタリストリーム）と称する。

第１のエンコーダ１４１は、入力部１３１から供給されたオーディオデータを、第１の符号化方式を用いてエンコード（符号化）し、その結果得られたＢＳオーディオＥＳをバッファ１３３の第１のバッファ１４３に供給する。第２のエンコーダ１４２は、入力部１３１から供給されたオーディオデータを、第２の符号化方式を用いてエンコード（符号化）し、その結果得られたＨＱオーディオＥＳを、バッファ１３３の第２のバッファ１４４に供給する。このように、第１のバッファ１４３は、ＢＳオーディオＥＳを格納（バッファリング）し、第２のバッファ１４４は、ＨＱオーディオＥＳを格納（バッファリング）する。そして、第１のバッファ１４３と第２のバッファ１４４のそれぞれは、制御部１３５からの制御に基づいて、自分自身に格納されているオーディオストリームを所定のタイミングで読み出し、ＰＥＳパケット化部１３６に供給する。

制御部１３５は、第１のバッファ１４３と第２のバッファ１４４のそれぞれに格納されたＢＳオーディオＥＳとＨＱオーディオＥＳを監視したり、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、多重化部１３８、および送信部１３９の各部を制御したりする。また、制御部１３５は、ＰＴＳ（Presentation Time Stamp）を管理したり、ＴＳパケットに付加するＰＩＤ（Packet Identification）を、ＴＳパケット化部１３７に供給したりする。さらに、制御部１３５は、仮想デコーダとして、後述する図９と図１０の仮想デコーダ１２１を想定し、この仮想デコーダ１２１のバッファ占有量の計算を行ない、ＴＳパケット化部１３７によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する。すなわち、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算に基づいて、多重化部１３８が多重化するＴＳパケットを決定（制御）する。

ＰＥＳパケット化部１３６は、第１のバッファ１４３に格納されているＢＳオーディオＥＳおよび第２のバッファ１４４に格納されているＨＱオーディオＥＳを、制御部１３５からの制御に基づくタイミングでそれぞれ引き抜き、制御部１３５からの制御に基づいて、これをＰＥＳパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳの各ＰＥＳパケットに格納する。すなわち、ＰＥＳパケット化部１３６から出力されるＰＥＳパケット（ＢＳオーディオＥＳに対応するＰＥＳパケットとＨＱオーディオＥＳに対応するＰＥＳパケット）には、それぞれＰＴＳが格納されている。

本実施の形態では、ＢＳオーディオＥＳに基づいて生成された複数のＰＥＳパケット（ＢＳオーディオＰＥＳパケット）がそれぞれ、所定の順番で連続してＴＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＢＳオーディオＰＥＳパケットからなる１つのストリーム（この１つのストリームを、以下においては、ＢＳオーディオＰＥＳと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。また、ＨＱオーディオＥＳに基づいて生成された複数のＰＥＳパケット（ＨＱオーディオＰＥＳパケット）がそれぞれ、所定の順番で連続してＴＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＨＱオーディオＰＥＳパケットからなる１つのストリーム（この１つのストリームを、以下においては、ＨＱオーディオＰＥＳと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。

抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームとが（すなわち、異なる符号化方式によりエンコードされたストリーム）の抽出がデコード側（図３の仮想的な受信装置１２０側）で可能となるように、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤ（Identification）を、ＴＳパケット化部１３７に供給する。すなわち、抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれを識別するための識別情報（ＩＤ）を、ＴＳパケット化部１３７に供給する。

このＩＤには、例えば、トランスポートパケットヘッダにあるTransport_priorityフラグを用いることができる。抽出情報付加部１３４は、ＢＳオーディオストリームを伝送するトランスポートパケットには、Transport_priority＝１をセットし、ＨＱオーディオストリームを伝送するトランスポートパケットには、Transport_priority＝０をセットするような情報（抽出情報）を、ＴＳパケット化部１３７に供給する。

ＴＳパケット化部１３７は、制御部１３５からの制御に基づいて、ＰＥＳパケット化部１３６から供給されたＰＥＳパケットストリームをＴＳパケット（トランスポートストリームパケット）にパケット化する。具体的には、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されたＢＳオーディオＰＥＳをＴＳパケット化するとともに、ＰＥＳパケット化部１３６から供給されたＨＱオーディオＰＥＳをＴＳパケット化する。このとき、ＴＳパケット化部１３６には、抽出情報１３４からＩＤ（例えば、Transport_priorityフラグ）が供給されてくる他、制御部１３５から、ＰＩＤが供給されてくる。本実施の形態においては、ＰＩＤは、ＢＳオーディオストリームと、ＨＱオーディオストリームとで同一のＩＤとされる。すなわち、２つの異なる符号化方式により符号化されたオーディオＴＳパケットを、多重化して１本のオーディオストリームとする場合に、この１本のオーディオストリーム全体で、同一のＩＤとなるようにＰＩＤを付す。ＴＳパケット化部１３７は、抽出情報付加部１３４から供給された抽出情報（例えば、Transport_priorityフラグ）と、制御部１３５から供給されたＰＩＤを含めるように（ＴＳパケットのヘッダに含めるように）、ＴＳパケットを生成する。なお、以下においては、ＢＳオーディオＰＥＳがＴＳパケット化された結果を、ＢＳオーディオＴＳパケットと称し、ＨＱオーディオＰＥＳがＴＳパケット化された結果を、ＨＱオーディオＴＳパケットと称する。また、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットでは、各ＴＳパケットに付された抽出情報（例えば、Transport_priorityフラグ）は異なるが、ＰＩＤは同一とされる。

多重化部１３８は、ＴＳパケット化部１３７から供給されたＴＳパケットを、制御部１３５からの制御に基づいて多重化する。具体的には、多重化部１３８は、ＴＳパケット化部１３７から供給されたＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットとを、制御部１３５からの制御に基づいて多重化し、１本のＰＩＤが同一となるオーディオストリーム（MPEG2-TS）を生成する。このとき、多重化部１３８が多重化するＴＳパケットの順番については、図１２乃至図１５を参照して後述する。多重化部１３８は、多重化して生成したMPEG2-TSを、後段の送信部１３９に送信する。

送信部１３９は、多重化部１３８から供給されたMPEG2-TSを送信する。例えば、送信部１３９は、図３に示されるように、ドライブ１１２を制御してリムーバブルメディア１１３に記録させたり、通信部１１４を制御してネットワーク１１５を介して外部機器に送信する。

なお、抽出情報付加部１３４は、ＴＳパケット化部１３７に抽出情報としてＩＤを供給するだけでなく、ＰＥＳパケット化部１３６にさらに抽出情報を送信するようにしてもよい。例えば、抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類のストリームの抽出がデコード側（例えば、図３の仮想的な受信装置１２１側）で可能となるように、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤを、ＰＥＳパケット化部１４６に供給する。

このＩＤについて、本実施の形態では、Stream_idまたはStream_id_extensionを用いる。Stream_idは、MPEG2 systems規格で規定されているＰＥＳパケットヘッダにあるStream_idを指す。また、Stream_id_extensionは、MPEG2 systems規格Amendment2(2003)で規定されているＰＥＳパケットヘッダにあるStream_id_extensionを指す。オーディオストリームがMPEG Audio(MPEG-1/-2 Audio, MPEG AAC)以外のストリームである場合、Stream_id_extensionを採用すると好適である。Stream_id_extensionを用いる場合、MPEG2 systems規格Amendment2(2003)は、Stream_idに「1111 1101」（extended_stream_idを意味する値）をセットすることを規定している。また、MPEG2 systems規格Amendment2(2003)は、ストリームの種類（ＢＳオーディオストリームとＨＱオーディオストリーム）を識別するユニークな値のStream_id_extensionの使用ができることを規定している。

抽出情報付加部１３４が、ＰＥＳパケット化部１３６にストリームＩＤ（例えば、stream_id_extension）を供給する場合、ＰＥＳパケット化部１４６は、取得したＢＳオーディオストリームとＨＱオーディオストリームのそれぞれを、抽出情報付加部１３４から供給されたストリームＩＤ（例えば、stream_id_extension）のうちの対応する１つのストリームＩＤを、ＰＥＳパケットに含めるようにそれぞれパケット化する。各ＰＥＳパケットのそれぞれのストリームＩＤは、対応するＰＥＳパケットの種類を識別するためのものである。ここで、ＰＥＳパケットの種類とは、ＢＳオーディオストリームとＨＱオーディオストリームのうちのいずれかとなる。例えば、ＢＳオーディオストリームの種類のＰＥＳパケットとは、ＢＳオーディオストリーム（ＢＳオーディオＥＳ）のうちの少なくとも一部のデータが含まれているＰＥＳパケットを指す。従って、受信側の図３の仮想的な受信装置１２０で、所望のオーディオストリームの種類のＰＥＳパケットを選択するためには、そのＰＥＳパケットに付されているストリームＩＤの値を認識すればよい。

次に、図５のフローチャートを参照して、図４の送信装置１１１におけるデータ（ストリーム）の流れの例を簡単に説明する。

入力部１３１は、入力されたオーディオデータを、ステップＳ１において第１のエンコーダ１４１に供給するとともに、ステップＳ１１において第２のエンコーダ１４２に供給する。第１のエンコーダ１４１は、ステップＳ２において入力されたオーディオデータを符号化し、ステップＳ３においてＢＳオーディオＥＳをＰＥＳパケット化部１３６に供給する。ＰＥＳパケット化部１３６は、ステップＳ４において第１のエンコーダ１４１から供給されたＢＳオーディオＥＳをＰＥＳパケット化し、ステップＳ５においてＢＳオーディオＰＥＳをＴＳパケット化部１３７に供給する。ＴＳパケット化部１３７は、ステップＳ６においてＰＥＳパケット化部１３６から供給されたＢＳオーディオＰＥＳをＴＳパケット化し、ステップＳ７においてＢＳオーディオＴＳを、多重化部１３８に供給する。また、同様にして、第２のエンコーダ１４２は、ステップＳ１２において入力されたオーディオデータを符号化し、ステップＳ１３においてＨＱオーディオＥＳをＰＥＳパケット化部１３６に供給する。ＰＥＳパケット化部１３６は、ステップＳ１４において第２のエンコーダ１４２から供給されたＨＱオーディオＥＳをＰＥＳパケット化し、ステップＳ１５においてＨＱオーディオＰＥＳをＴＳパケット化部１３７に供給する。ＴＳパケット化部１３７は、ステップＳ１６においてＰＥＳパケット化部１３６から供給されたＨＱオーディオＰＥＳをＴＳパケット化し、ステップＳ１７においてＨＱオーディオＴＳを、多重化部１３８に供給する。多重化部１３８は、ステップＳ７とステップＳ１７の処理で供給されてきたＢＳオーディオＴＳとＨＱオーディオＴＳとを、ステップＳ２１において多重化し、１つのMPEG2-TS（トランスポートストリーム）を生成し、ステップＳ２２において生成したMPEG2-TSを出力する（図４の場合、送信部１３９に出力する）。

このように、第１のエンコーダ１４１によりエンコードされて得られたＢＳオーディオＥＳと、第２のエンコーダ１４２によりエンコードされて得られたＨＱオーディオＥＳとは、それぞれ独立に、ＰＥＳパケット化が行われる（ステップＳ４とステップＳ１４）とともに、ＴＳパケット化が行われ（ステップＳ６とステップＳ１６）、多重化部１３８で、多重化されて１つのオーディオストリーム（トランスポートストリーム）となる。

より具体的な例を、図６を参照して説明する。図６において、図５と対応する処理については、同一のステップ番号を付してある。

図６の例において、１段目は、ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とを示しており、２段目は、ＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを示しており、３段目は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを示しており、４段目はＴＳ（トランスポートストリーム）１９０を示している。

ＢＳオーディオＥＳ１７１は、図４の第１のエンコーダ１４１によりエンコードされて出力された状態を示しており、ＢＳオーディオＰＥＳ１７２は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて（ステップＳ４）出力された状態を示しており、ＢＳオーディオＴＳ１７３は、図４のＴＳパケット化部１３７によりＴＳパケット化されて（ステップＳ６）出力された状態を示している。また、ＨＱオーディオＥＳ１８１は、図４の第２のエンコーダ１４２によりエンコードされて出力された状態を示しており、ＨＱオーディオＰＥＳ１８２は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて（ステップＳ１４）出力された状態を示しており、ＨＱオーディオＴＳ１８３は、図４のＴＳパケット化部１３７によりＴＳパケット化されて（ステップＳ１６）出力された状態を示している。そして、ＴＳ１９０は、図４の多重化部１３８により多重化されて（ステップＳ２１）出力された状態を示している。

ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とは何れも、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には例えば、ＢＳオーディオＥＳ１７１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）（ｎは任意の自然数）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。同様に例えば、ＨＱオーディオＥＳ１８１は、ＨＱ１(１), ＨＱ(２)，・・・，ＨＱ（ｍ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。オーディオアクセスユニットとは、オーディオＥＳを構成する符号化の単位であり、また、復号単位でもある。例えば、ＢＳオーディオＥＳの１つのオーディオアクセスユニットを再生した場合、その再生時間は、３２ミリ秒とされ、ＨＱオーディオＥＳの１つのオーディオアクセスユニットを再生した場合、その再生時間は１２００分の１秒とされる。

図４のＰＥＳパケット化部１３６は、ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とを、それぞれ別のストリームＩＤのＰＥＳパケットにパケット化する。例えば、ＰＥＳパケット化部１３６は、ＢＳオーディオＥＳ１７１に対応するＰＥＳパケットのストリームＩＤを、「Stream_id_extension＝ｂ１」とし、これを生成するＰＥＳパケットのＰＥＳヘッダに含める。また、例えば、ＰＥＳパケット化部１３６は、ＨＱオーディオＥＳ１８１に対応するＰＥＳパケットのストリームＩＤを、「Stream_id_extension＝ｂ２」とし、これを生成するＰＥＳパケットのＰＥＳヘッダに含める。このようにして、ＰＥＳパケット化部１３６は、図６に示されるＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを生成して、ＴＳパケット化部１３７に供給する。

これに対して、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２を構成する各ＰＥＳパケットのそれぞれを、ＴＳパケットにパケット化するとともに、ＨＱオーディオＰＥＳ１８２を構成する各ＰＥＳパケットのそれぞれを、ＴＳパケット化にパケット化する。このとき、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを識別するためのtransport_priorityフラグと、オーディオストリームを識別するためのＰＩＤを、生成するＴＳパケットのヘッダ（ＴＳヘッダ）に付加する。すなわち、生成されたＢＳオーディオＴＳ１７３を構成する複数のＴＳパケットの各ＴＳヘッダに格納されているＰＩＤと、ＨＱオーディオＴＳ１８３を構成する複数のＴＳパケットの各ＴＳヘッダに格納されているＰＩＤとは、同一のＰＩＤとされ、生成されたＢＳオーディオＴＳ１７３を構成する複数のＴＳパケットの各ＴＳヘッダに格納されているtransport_priorityフラグと、ＨＱオーディオＴＳ１８３を構成する複数のＴＳパケットの各ＴＳヘッダに格納されているtransport_priorityフラグとは、異なるtransport_priorityフラグとされる。

具体的には、ＴＳパケット化部１３７は、図７の２段目と３段目に示されるように、ＢＳオーディオＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットの各ＴＳヘッダに「ＰＩＤ＝ａ０,ｔｐ（transport_priority）＝１」を付加し、ＨＱオーディオＴＳ１８３を構成する複数のＢＳオーディオＴＳパケットの各ヘッダに「ＰＩＤ＝ａ０,ｔｐ（transport_priority）＝０」を付加する。

なお、図６までの説明では、図４の送信装置１１１が、オーディオデータを送信する場合について説明したが、実際には、図４の送信装置１１１がオーディオデータ以外のデータとして、ビデオデータやシステムデータ（グラフィックスストリームやテキストサブタイトルストリームのデータなど）も送信する。この場合についても、ビデオデータが図示せぬビデオエンコーダによりエンコードされ、ＰＥＳパケット化されてＴＳパケット化された後、多重化部１３８で、オーディオのＴＳパケットとともに多重化される。このとき、ビデオデータに対応するＴＳパケットと、オーディオデータに対応するＴＳパケットとでは、図７に示されるように、ＰＩＤが異なっている（勿論、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットのＰＩＤは同一である）。図７の例の場合、ビデオデータ（ビデオＥＳ）のＴＳ２４１に含まれる各ＴＳパケットのヘッダには、１段目に示されるように「ＰＩＤ＝Ｖ０」が付加されており、その他のデータ（システムデータ）のＴＳ２４２に含まれる各ＴＳパケットのヘッダには、４段目に示されるように「ＰＩＤ＝Ｅ０」が付加されている。このように、１つのプログラムストリームには、１つ以上の異なるＰＩＤを有するストリームが含まれる。

すなわち、多重化部１３８には、ビデオのＴＳ２４１、ＢＳオーディオＴＳ１７３、ＨＱオーディオＴＳ２８３、およびその他のＴＳ２４２というように、別々のストリームとして入力される。ここで、ＢＳオーディオＥＳとＨＱオーディオＥＳとは、互いに独立したストリームであり、階層関係がない。そのため、多重化する際の制約が存在しない（例えば、ＢＳオーディオＥＳとＨＱオーディオＥＳとをセットで多重化するなどの制約がない）。また、本実施の形態では、異なる符号化方式により符号化されたオーディオＥＳに、同一のＰＩＤが付されてトランスポートストリームが生成される。

多重化部１３８は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを、制御部１３５からの制御に基づいて多重化し、１本のトランスポートストリーム (MPEG2-TS)１９０を生成する。図６の例において、ＴＳ（MPEG2-TS）１９０は、ＰＡＴ(Program Association Table)に対応するＴＳパケット２２１およびＰＭＴ（Program Map Table）に対応するＴＳパケット２２２、ＢＳオーディオＴＳ２３１−１乃至２３１−ｊ（ｊは任意の自然数）、並びに、ＨＱオーディオＴＳ２３２−１乃至２３２−ｋ（ｋは任意の自然数）を含むように構成されている。

このように、１本のオーディオストリーム（ＴＳ１９０）に対しては同一のＰＩＤが付され、１本のストリームに含まれるＢＳオーディオＥＳとＨＱオーディオＥＳとを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。

次に、図８を参照して、ＨＱオーディオＥＳ１８１をＰＥＳパケット化した場合と、これをさらにＴＳパケット化した場合のデータ構造の例を説明する。

ＨＱオーディオＥＳ１８１がＰＥＳパケット化された結果のＰＥＳパケット２５１には、ＰＥＳヘッダ（PES header）２５２とＰＥＳペイロード（PES payload）２５３とが含まれている。ＰＥＳヘッダ２５２には、PTS_DTS_flags２６１、その他のデータ２６２、ＰＴＳ２６３、およびその他のデータ２６４が含まれている。

PTS_DTS_flagsの値が「００（ｂ）」である場合、ＰＴＳとＤＴＳのフィールドがＰＥＳヘッダ２５２に存在しないことを示し、PTS_DTS_flagsの値が「１０（ｂ）」である場合、ＰＴＳのフィールドのみがＰＥＳヘッダ２５２に存在することを示し、PTS_DTS_flagsの値が「１１（ｂ）」である場合、ＰＴＳとＤＴＳのフィールドがＰＥＳヘッダ２５２に存在することを示す。図８の例の場合、PTS_DTS_flags２６１の値は、PTS_DTS_flags＝１０（ｂ）とされている。すなわち、図８では、ＰＥＳヘッダ２５２に、ＰＴＳの値のみが存在し、ＤＴＳの値は存在しないことを示しており、ＰＴＳの値は、ＰＴＳ２６３のフィールドに記述されている。

また、ＰＥＳペイロード２５３には、ＡＵ（オーディオユニット）２７１乃至２７４が含まれている。ＡＵ２７１は、高品質（高品位）オーディオであり、内部には、Input timing情報２７５が含まれている。このInput timing（タイミング値）は、オーディオアクセスユニットの先頭のデータが格納されるＰＥＳペイロード２５３（ＡＵ２７１）に格納される。上述したように、Input timing（インプットタイミング）は、第２のエンコーダ１４２がエンコードする際に付加する、オーディオアクセスユニットが仮想デコーダのFIFOバッファに渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値である。

ＨＱオーディオＰＥＳ１８２がＴＳパケット化された結果のＴＳパケット２８１には、ＴＳヘッダ（TS header）２８２と、ＴＳペイロード（TS payload）２８３とが含まれている。ＴＳヘッダ２８２には、図８では図示していないが、図７に示されるようなＰＩＤとｔｐが付加されている。図８に示されるように、ＰＥＳパケット２５１のＰＥＳペイロード２５３のデータが、ＴＳパケット２８１のＴＳペイロード２８３に格納されて、ＴＳパケット化される。

このように、第２のエンコーダ１４２がエンコードする際に付加するタイミング値（インプットタイミング）は、オーディオアクセスユニットの先頭のデータが格納されるＰＥＳペイロード２５３に格納される。なお、例えば、ＰＴＳ２６３のデータ長は、３３bitとされ、ＤＴＳのデータ長は３３bitとされ、Input timingのデータ長は１６bitとされる。

本実施の形態においては、送信装置１１１が、ＢＳオーディオＥＳとＨＱオーディオＥＳとをそれぞれＴＳパケット化し、その結果得られたＢＳオーディオＴＳを構成する複数のＢＳオーディオＴＳパケットとＨＱオーディオＴＳを構成する複数のＨＱオーディオＴＳパケットとを、多重化して１本のトランスポートストリーム１９０（MPEG2-TS）にする場合に、仮想的な受信装置１２０（図３）の能力に応じて多重化するＴＳパケットを決定するようにする。すなわち、仮想的な受信装置１２０が、ＢＳオーディオＥＳとＨＱオーディオＥＳの両方に対応した（ＢＳオーディオＥＳとＨＱオーディオＥＳの両方を復号可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１２０が、ＢＳオーディオＥＳのみに対応した（ＢＳオーディオＥＳのみ復号可能な）受信装置である場合であっても、それらの仮想的な受信装置１２０に設けられているバッファがオーバーフローおよびアンダーフローせずに復号可能となるように、送信装置１１１側で、ＴＳパケットを多重化するタイミングを調整する（多重化するＴＳパケットを順次決定する）ようにする。

具体的には、送信装置１１１は、図６のＢＳオーディオＴＳ１７３を復号可能な仮想的な受信装置（以下、第１の仮想的な受信装置と称する）と、図６のＨＱオーディオＴＳ１８３を復号可能な受信装置（以下、第２の仮想的な受信装置と称する）とに対応するように、多重化するＴＳパケットを調整して、図６のトランスポートストリーム１９０を生成する。すなわち、送信装置１１１は、仮想的な受信装置１２０がＢＳオーディオＥＳを抽出して復号する場合に、所定のサイズのＢＳオーディオＥＳ用のデコーダバッファをオーバーフローおよびアンダーフローさせることがないように、かつ、仮想的な受信装置１２０がＨＱオーディオＥＳを抽出して復号する場合に、所定のサイズのＨＱオーディオＥＳ用のデコーダバッファをオーバーフローおよびアンダーフローさせることがないように、多重化するＴＳパケットを決定する。

すなわち、仮想的な受信装置１２０が、ＢＳオーディオＥＳしか復号できない場合、または、ＨＱオーディオＥＳを復号できる場合の、２種類の仮想的な受信装置を想定し、この２種類の仮想的な受信装置（第１の仮想的な受信装置と第２の仮想的な受信装置）のそれぞれで多重化したＴＳ１９０が復号可能となるように、ＴＳパケットの多重化のタイミングを調整する。

図９は、ＢＳオーディオＴＳとＨＱオーディオＴＳとを多重化する場合の、符号化制約のための仮想的なデコーダ１２１のモデルを説明する図である。すなわち、送信装置１１１が、ＢＳオーディオＴＳとＨＱオーディオＴＳとを、MPEG2-TSの方式で多重化する場合に想定する、仮想的な受信装置１２０が有する仮想デコーダ１２１（図３）モデルの構成例が、図９に示されている。換言すれば、図９の仮想デコーダ１２１は、送信装置１１１がＢＳオーディオＴＳとＨＱオーディオＴＳとを多重化する場合に想定する仮想デコーダ１２１のモデルである。

仮想的な受信装置１２０（図３）に送信されてきたMPEG2-TSは、仮想デコーダ１２１に供給される。仮想デコーダ１２１に供給されたMPEG2-TSは、図９に示されるように、フィルタ３４１によって、ＴＳパケットの種類ごとにフィルタリングされる。

具体的には、MPEG2-TSは、複数のＴＳパケットにより構成されており、各ＴＳパケットには、そのＴＳパケットを識別するためのＰＩＤが付されている。フィルタ３４１は、MPEG2-TSを構成する各パケットに付されたＰＩＤに基づいて、ビデオストリームを構成するＴＳパケット（図７の例の場合、ＰＩＤ＝Ｖ０のＴＳパケット）を、ビデオストリームを処理するためのビデオデータデコード処理部３５０に供給し、オーディオストリームを構成するＴＳパケット（図７の例の場合、ＰＩＤ＝ａ０のＴＳパケット）を、オーディオストリームを処理するためのオーディオデータデコード処理部３６０に供給し、システムに関するＴＳパケット（図７の例の場合、ＰＩＤ＝Ｅ０のＴＳパケット）を、システムに関するデータを処理するためのシステムデータデコード処理部３７０に供給する。

ビデオデータデコード処理部３５０には、トランスポートバッファ（図中、ＴＢｖと記述する）３５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）３５２、エレメンタリバッファ（図中、ＥＢｖと記述する）３５３、ビデオデコーダ（図中、Ｄｖと記述する）３５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）３５５が設けられている。

ビデオストリームを構成するＴＳパケット（図７の例の場合、ＰＩＤ＝Ｖ０のＴＳパケット）が、フィルタ３４１を介してビデオデータデコード処理部３５０に供給されると、トランスポートバッファ３５１に蓄積される。そして、所定のビットレートでマルチプレクスバッファ３５２にデータが供給される。マルチプレクスバッファ３５２は、供給されたデータを蓄積してスムージングした後、所定のビットレートでエレメンタリバッファ３５３にデータを供給する。ビデオデコーダ３５４は、エレメンタリバッファ３５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ３５５を介して端子３５６から出力され、その他のデータは、端子３５７から出力され、再生される。

オーディオデータデコード処理部３６０には、トランスポートプリオリティフィルタ（Transport priority filter）３６１、トランスポートバッファ（図中、ＴＢｎと記述する）３６２、エレメンタリバッファ（図中、Ｂｎと記述する）３６３、およびオーディオデコーダ（図中、Ｄｎと記述する）３６４が設けられている。

オーディオストリームを構成するＴＳパケット（図７の例の場合、ＰＩＤ＝ａ０のＴＳパケット）が、フィルタ３４１を介してオーディオデータデコード処理部３６０に供給されると、トランスポートプリオリティフィルタ３６１は、仮想デコーダ１２１の能力に応じて、ＴＳパケットのフィルタリングを行う。例えば、トランスポートプリオリティフィルタ３６１は、ＴＳパケットのヘッダ（例えば、図８のＴＳヘッダ２８２）に付されたｔｐの値（図７参照）に基づいてフィルタリングを行う。トランスポートプリオリティフィルタ３６１によりフィルタリングされたＴＳパケットは、後段のトランスポートバッファ３６２に供給される。トランスポートバッファ３６２は、トランスポートプリオリティフィルタ３６１によりフィルタリングされて供給されてきたＴＳパケットを蓄積する。

トランスポートバッファ３６２に蓄積されたＴＳパケットは、仮想デコーダ１２１の能力に応じたレートＲｘｎでエレメンタリバッファ３６３に供給される。Ｒｘｎは、トランスポートバッファ３６２からのLeak rate（リークレート）であり、トランスポートバッファ３６２にデータが入っている場合、データはＲｘｎのレートでトランスポートバッファ３６２からエレメンタリバッファ３６３へ入力される。また、トランスポートバッファ３６２にデータが入っていない場合、Ｒｘｎは０となる。

エレメンタリバッファ３６３は、トランスポートバッファ３６２からＲｘｎのビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。なお、トランスポートバッファ３６２にデータが入っている場合にはトランスポートバッファ３６２から、Ｒｘｎのビットレート（速度）でエレメンタリバッファ３６３に供給されるが、トランスポートバッファ３６２にデータが入っていない場合には、トランスポートバッファ３６２からのデータは、エレメンタリバッファ３６３には供給されない（すなわちＲｘｎ＝０となる）。

オーディオデコーダ３６４は、エレメンタリバッファ３６３に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３６５を介して出力し、再生する。具体的には、オーディオデコーダ３６４は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜く。なお、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。なお、図９のオーディオデータデコード処理部３６０の詳細は、図１０を参照して後述する。

システムデータデコード処理部３７０には、トランスポートバッファ（図中、TBsysと記述する）３７１、エレメンタリバッファ（図中、Bsys記述する）３７２、およびシステムデコーダ（図中、Dsysと記述する）３７３が設けられている。

システムに関するＴＳパケット（図７の例の場合、ＰＩＤ＝Ｅ０のＴＳパケット）が、フィルタ３４１を介してシステムデータデコード処理部３７０に供給されると、トランスポートバッファ３７１に蓄積される。トランスポートバッファ３７１に蓄積されたデータは、エレメンタリバッファ３７２に供給される。システムデコーダ３７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３７４を介して出力する。

なお、システムに関するＴＳパケットには、例えば、図６のＰＡＴのＴＳパケット２２１やＰＭＴのＴＳパケット２２２が含まれる。

次に、図１０を参照して、図９のオーディオデータデコード処理部３６０の詳細を説明する。

オーディオデータデコード処理部３６０の内部は、図１０に示されるように、ＢＳオーディオデータデコード処理部３６０−１とＨＱオーディオデータデコード処理部３６０−２の２系統にわかれている。これは、ＢＳオーディオＥＳのみのデコードを対象としたデコーダモデルであるオーディオデータデコード処理部３６０−１と、ＨＱオーディオＥＳのデコードを対象としたデコーダモデルであるオーディオデータデコード処理部３６０−２の２つを一度に検証するためである。

ＢＳオーディオデータデコード処理部３６０−１には、トランスポートプリオリティフィルタ（図中、transport priority filter (tp=1)と記述する）３６１−１、トランスポートバッファ（図中、ＴＢ１と記述する）３６２−１、エレメンタリバッファ（図中、Ｂ１と記述する）３６３−１、およびオーディオデコーダ（図中、Ｄ１と記述する）３６４−１が設けられている。すなわち、図９のオーディオデータデコード処理部３６０のトランスポートプリオリティフィルタ３６１、トランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１０のオーディオデータデコード処理部３６０−１のトランスポートプリオリティフィルタ３６１−１、トランスポートバッファ３６２−１、エレメンタリバッファ３６３−１、およびオーディオデコーダ３６４−１がそれぞれ対応している。

トランスポートプリオリティフィルタ３６１−１は、ｔｐ＝１（Transport_priority＝１）のＴＳパケットだけを選択し、トランスポートバッファ３６２−１へ供給する。トランスポートバッファ３６２−１は、エレメンタリバッファ３６３−１への入力ビットレートの値（Ｒｘｎ）をＲｘ１としてデータを供給する。エレメンタリバッファ３６３−１は、トランスポートバッファ３６２−１からＲｘ１のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−１の容量（Ｂｎ）は、Ｂ１とされる。オーディオデコーダ３６４−１は、エレメンタリバッファ３６３−１に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、オーディオデコーダ３６４−１は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３−１から引き抜く。

このように、ＢＳオーディオデータデコード処理部３６０−１は、ＢＳオーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、ＢＳオーディオデータデコード処理部３６０−１に置き換えられているものを、第１の仮想デコーダと称する。すなわち、第１の仮想的な受信装置に設けられている仮想デコーダが、第１の仮想デコーダとされる。

一方、ＨＱオーディオデータデコード処理部３６０−２には、トランスポートプリオリティフィルタ（図中、transport priority filter (tp=0)と記述する）３６１−２、トランスポートバッファ（図中、ＴＢ２と記述する）３６２−２、エレメンタリバッファ（図中、Ｂ２＿１と記述する）３６３−２、および可変ビットレートのオーディオデコーダ３６４−２が設けられている。また、可変ビットレートのオーディオデコーダ３６４−２には、FIFOバッファ（図中、Ｂ２＿２と記述する）３９１とオーディオデコーダ（図中、Ｄ２と記述する）３９２とが設けられている。換言すれば、ＨＱオーディオデータデコード処理部３６０−２のエレメンタリバッファは、２つ（エレメンタリバッファ３６３−２とFIFOバッファ３９１の２つ）に分割されている。すなわち、図９のオーディオデータデコード処理部３６０のトランスポートプリオリティフィルタ３６１、トランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１０のオーディオデータデコード処理部３６０−２のトランスポートプリオリティフィルタ３６１−２、トランスポートバッファ３６２−２、エレメンタリバッファ３６３−２、および可変ビットレートのオーディオデータ３６４−２がそれぞれ対応している。

トランスポートプリオリティフィルタ３６１−２は、ｔｐ＝０（Transport_priority＝０）のＴＳパケットだけを選択し、トランスポートバッファ３６２−２へ供給する。トランスポートバッファ３６２−２は、エレメンタリバッファ３６３−２への入力ビットレートの値（Ｒｘｎ）をＲｘ２としてデータを供給する。エレメンタリバッファ３６３−２は、トランスポートバッファ３６２−２からＲｘ２のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−２の容量（Ｂｎ）は、Ｂ２＿１とされる。

可変ビットレートのオーディオデコーダ３６４−２は、エレメンタリバッファ３６３−２に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、図１１に示されるように、可変ビットレートのオーディオデコーダ３６４−２のFIFOバッファ３９１へのデータの入力タイミングは、ＨＱオーディオＥＳの中に存在するInput timing（タイミング値）により決定される。このInput timingは、上述したように、第２のエンコーダ１４２がオーディオデータを符号化する際に付加する値である。すなわち、ＨＱオーディオＥＳ（可変ビットレートのオーディオストリーム）に埋め込まれているInput timingに基づくタイミングで、FIFOバッファ３９１にデータが入力される。また、オーディオデコーダ３９２は、オーディオアクセスユニットのＰＴＳがT-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをFIFOバッファ３９１から引き抜き、これを復号し、出力する。すなわち、FIFOバッファ３９１は、可変ビットレートのオーディオデコーダ３６４−２のためのバッファとされている。このように、FIFOバッファ３９１とオーディオデコーダ３９２とにより、可変ビットレートのオーディオデコーダ３６４−２が実現される。

このとき、FIFOバッファ３９１へのデータの入力タイミングを、Input timing（タイミング値）に基づいて決定するようにしたので、ＤＴＳ(Decoding Time Stamp)をストリームに付加する必要がなくなり、その結果、送信装置１１１（図４）のＰＥＳパケット化部１３６は、ＨＱオーディオＥＳをＰＥＳパケット化する場合に、ＤＴＳを求めるための計算を行う必要がなくなり、ＰＥＳパケット化の処理を、より円滑に行うことができる。また、ＰＥＳパケット化部１３６は、あらかじめＨＱオーディオＥＳに含まれているInput timingを、そのままＰＥＳパケットのＰＥＳペイロード２５３（図８）に格納するだけでよく、容易にＰＥＳパケット化を行うことができる。さらに、ＰＥＳパケット化部１３６は、生成するＰＥＳパケットに、ＤＴＳの値を格納せずに済むので、ＰＥＳパケットのデータ量を抑えることができる。すなわち、ＰＥＳパケットのデータ量を、より削減することができる。

このように、ＨＱオーディオデータデコード処理部３６０−２は、ＨＱオーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、ＨＱオーディオデータデコード処理部３６０−２に置き換えられているものを、第２の仮想デコーダと称する。すなわち、第２の仮想的な受信装置に設けられている仮想デコーダが、第２の仮想デコーダとされる。

図１０のエレメンタリバッファ３６３−２（Ｂ２＿１）は、Input timingに基づくタイミングでバッファの占有量が減少する。また、FIFOバッファ３９１（Ｂ２＿２）は、オーバーフローすることはないが、アンダーフローする可能性はある。そのため、FIFOバッファ３９１（Ｂ２＿２）がアンダーフローしないように、エレメンタリバッファ３６３−２（Ｂ２＿１）がオーバーフローおよびアンダーフローしないようなタイミングでＴＳパケットを多重化するようにしなければならない。

なお、図１０において、例えば、エレメンタリバッファ３６３−１（Ｂ１）のバッファサイズは１８６４０bytesとされ、エレメンタリバッファ３６３−１（Ｂ２＿１）＋FIFOバッファ３９１のバッファサイズは５２４２５０bytesとされ、リークレートＲｘ１は２Mbpsとされ、リークレートＲｘ２は１．２×１８Mbpsとされる。

図４の送信装置１１１は、図１０の仮想デコーダ１２１を有する仮想的な受信装置１２０によって正しくデコードされるように、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットの中から、多重化するＴＳパケットを順次決定して、多重化する必要がある。

すなわち、送信装置１１１は、例えば図１０の仮想デコーダ１２１の中のトランスポートバッファ３６２−１およびトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−１およびエレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、さらに、FIFOバッファ３９１がアンダーフローすることがないように、多重化するオーディオのＴＳパケットを決定（調整）し、多重化しなければならない。

そのため、送信装置１１１は、上述した図１０の仮想デコーダ１２１を満たすように、すなわち、図１０のＢＳオーディオデータデコード処理部３６０−１とＨＱオーディオデータデコード処理部３６０−２の両方でデコードできるように、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを多重化してトランスポートストリーム１９０を生成するための多重化のタイミングを調整する。すなわち、送信装置１１１は、第１の仮想的な受信装置（第１の仮想デコーダ、すなわち、ＢＳオーディオデータデコード処理部３６０−１を有する仮想デコーダ１２１）と第２の仮想的な受信装置（第２の仮想デコーダ、すなわち、ＨＱオーディオデータデコード処理部３６０−２を有する仮想デコーダ１２１）のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングで、多重化するＴＳパケットを順次決定し、多重化する。

次に、これまでに説明した送信装置１１１が、仮想的な受信装置１２１の能力を考慮して、オーディオストリームをエンコードおよびＴＳパケット化し、多重化して送信する場合の処理を説明する。図１２と図１３は、図４の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。

ステップＳ５１において、入力部１３１は、オーディオデータの入力を受け付け、受け付けたオーディオデータをオーディオエンコーダ１３２に出力する。具体的には、入力部１３１は、オーディオデータを、オーディオエンコーダ１３２の中の第１のエンコーダ１４１と第２のエンコーダ１４２とに供給する。

ステップＳ５２において、第１のエンコーダ１４１は、オーディオデータを第１の符号化方式でエンコードする。上述したように、第１の符号化方式は、例えば、固定長符号化方式とされる。第１のエンコーダ１４１は、エンコードした結果得られたＢＳオーディオＥＳを、後段のバッファ１３３の第１のバッファ１４３に供給する。

ステップＳ５３において、第２のエンコーダ１４２は、オーディオデータを第２の符号化方式でエンコードする。上述したように、第２の符号化方式は可変長符号化方式であり、第２のエンコーダ１４２は、エンコードする際にインプットタイミングを付加する（図８のInput timing参照）。第２のエンコーダ１４２は、エンコードした結果得られたＨＱオーディオＥＳを、後段のバッファ１３３の第２のバッファ１４４に供給する。

なお、ステップＳ５２で第１のエンコーダ１４１から出力されるＢＳオーディオＥＳが、図６のＢＳオーディオＥＳ１７１に対応し、ステップＳ５３で第２のエンコーダ１４２から出力されるＨＱオーディオＥＳが、図６のＨＱオーディオＥＳ１８１に対応する。

ステップＳ５４において、第１のバッファ１４３は、オーディオエンコーダ１３の第１のエンコーダ１４１から供給されたＢＳオーディオＥＳ１７１（図６参照）を格納（バッファリング）する。

ステップＳ５５において、第２のバッファ１４４は、オーディオエンコーダ１３の第２のエンコーダ１４２から供給されたＨＱオーディオＥＳ１８１（図６参照）を格納（バッファリング）する。

ステップＳ５６において、制御部１３５は、送るべきオーディオアクセスユニットがバッファ１３３にあるか否かを判定し、送るべきオーディオアクセスユニットがバッファ１３３にあると判定するまで処理を待機する。制御部１３５は、バッファ１３３（第１のバッファ１４３と第２のバッファ１４４）にそれぞれ格納されたエレメンタリストリーム（ＢＳオーディＥＳ１７１とＨＱオーディオＥＳ１８１）を監視するとともに、ＰＴＳを管理しているので、これらに基づいてステップＳ５６の判定を行う。具体的には、制御部１３５は、ＢＳオーディオＥＳの場合、送るべきオーディオアクセスユニットが第１のバッファ１４３にあるか否かをＰＴＳに基づいて判定し、ＨＱオーディオＥＳの場合、送るべきオーディオアクセスユニットが第２のバッファ１４４にあるか否かをInput timingに基づいて判定する。

例えば、ＢＳオーディオＥＳ１７１のオーディオアクセスユニット（例えば、図６のＢＳ（１）、ＢＳ（２）、・・・、ＢＳ（ｎ））のそれぞれは固定長とされているので、制御部１３５は、ＰＴＳ(Ｎ)＝ＰＴＳ０＋ＴＴ×ｈ（「ＰＴＳ０」は一番最初のオーディオアクセスユニットのＰＴＳとされ、「ＴＴ」はアクセスユニットの表示間隔とされ、ｈは図６の括弧で示される添え字の数とされる）に対応するオーディオアクセスユニット（図６の括弧で示される添え字ｈに対応するオーディオアクセスユニット）が、第１のバッファ１４３に格納されたか否かを判定する。また、例えば、ＨＱオーディオＥＳ１８１のオーディオアクセスユニット（例えば、図６のＨＱ（１）、ＨＱ（２）、・・・、ＨＱ（ｍ））のそれぞれは可変長とされているので、制御部１３５は、オーディオアクセスユニットが、第２のバッファ１４４に格納されたか否かを、ＨＱオーディオＥＳ１８１に付加されているInput timingに基づいて判定する。これは、ＨＱオーディオＥＳは、ＢＳオーディオＥＳのときと違い、オーディオアクセスユニットが可変長であるため、ＰＴＳで制御すると、例えばアクセスユニットのサイズが大きい場合に、転送が間に合わずに、アンダーフローを起こす可能性があるため、ＰＴＳの時刻よりも早いInput timingで求められる時刻に可変ビットレートオーディオデコーダに渡さないといけないためである。

なお、ここでいう固定長、可変長とは、オーディオアクセスユニットのデータサイズに対しての定義であって、１つのオーディオアクセスユニットに対する表示間隔はいずれも一定とされる。例えば、ＢＳオーディオＥＳの表示間隔は、１アクセスユニットあたり３２ミリ秒とされ、ＨＱオーディオＥＳの表示間隔は、１アクセスユニットあたり１２００分の１秒とされる。

ステップＳ５６において、送るべきオーディオアクセスユニットがあると判定された場合、ステップＳ５７において、制御部１３５は、送るべきオーディオアクセスユニットを対象となるバッファ１３３から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。例えば、制御部１３５は、送るべきオーディオアクセスユニットを第１のバッファ１４３から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。また、例えば、制御部１３５は、送るべきオーディオアクセスユニットを第２のバッファ１４４から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。また、制御部１３５は、ＰＥＳパケット化部１３６にＰＥＳパケット化を指令し、処理をステップＳ５８に進める。

ステップＳ５８において、ＰＥＳパケット化部１３６は、ステップＳ５７の処理で供給されてきたオーディオアクセスユニットをＰＥＳパケット化する。具体的には、ＰＥＳパケット化部１３６は、ステップＳ５７の処理で第１のバッファ１４３または第２のバッファ１４４から供給されてきたオーディオアクセスユニット（ＢＳオーディオＥＳまたはＨＱオーディオＥＳのオーディオアクセスユニット）に、制御部１３５から供給されたＰＴＳを含め、ＰＥＳパケット化する。ＰＥＳパケット化部１３６は、ＰＥＳパケット化して生成したＰＥＳパケットを、ＴＳパケット化部１３７に供給する。

例えば、ＰＥＳパケット化部１３６は、第１のバッファ１４３から供給されたＢＳオーディオＥＳを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、ＢＳオーディオＥＳを、ＰＥＳパケットにパケット化する。また、例えば、ＰＥＳパケット化部１３６は、第２のバッファ１４４から供給されたＨＱオーディオＥＳを取得し（Input timingに対応するオーディオアクセスユニットを取得し）、ＨＱオーディオＥＳを、ＰＥＳパケットにパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳパケットストリーム（例えば、図６のＢＳオーディオＰＥＳ１７２またはＨＱオーディオＰＥＳ１８２）を構成するＰＥＳパケットのそれぞれに格納する。そして、ＰＥＳパケット化部１３６は、生成したＰＥＳパケット（例えば、図６のＢＳオーディオＰＥＳ１７２の中で、このステップＳ５７の処理でＰＥＳパケット化したＰＥＳパケット、または、図６のＨＱオーディオＰＥＳ１８２の中で、このステップＳ５７の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７に供給する。

なお、ステップＳ５８でＰＥＳパケット化部１３６から出力されるＢＳオーディオＰＥＳが、図６のＢＳオーディオＰＥＳ１７２に対応し、ステップＳ５８でＰＥＳパケット化部１３６から出力されるＨＱオーディオＰＥＳが、図６のＨＱオーディオＰＥＳ１８２に対応する。

ステップＳ５９において、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケットをＴＳパケット化し、ＴＳパケット化したＴＳパケットを多重化部１３８に供給する。例えば、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２を構成する複数のＢＳオーディオＰＥＳパケットを、図６のＢＳオーディオＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットのように、ＴＳパケット化する。そして、ＴＳパケット化部１３７は、ＢＳオーディＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットを、後段の多重化部１３８に供給する。また、例えば、ＴＳパケット化部１３７は、ＨＱオーディオＰＥＳ１８２を構成する複数のＨＱオーディオＰＥＳパケットを、図６のＨＱオーディオＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットのように、ＴＳパケット化する。そして、ＴＳパケット化部１３７は、ＨＱオーディＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットを、後段の多重化部１３８に供給する。

このとき、ＴＳパケット化されたＢＳオーディオＴＳ１７３と、ＨＱオーディオＴＳ１８３の各ＴＳヘッダには、図７に示されるように、同一のＰＩＤが付されているとともに、異なるtransport_priorityの値が付されている。図５の例の場合、ＢＳオーディオＴＳ１８３の各ＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝１」が含まれ、ＨＱオーディオＴＳ１８３の各ＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝０」が含まれる。

ステップＳ６０において、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算に基づいて、多重化するＴＳパケットを決定する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダ（図９と図１０参照）のバッファ占有量の計算に基づいて、次に多重化するＴＳパケット（ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットのうちのいずれかのＴＳパケット）を決定し、多重化すると決定されたＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、制御部１３５は、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを多重化して、トランスポートストリーム１９０を生成するために、多重化するＴＳパケットの順番を決定する。なお、この仮想デコーダ１２１（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算の処理については、図１４と図１５を参照して後述する。

ステップＳ６１において、多重化部１３８は、ＴＳパケット化部１３７から供給されたＴＳパケットのうち、制御部１３５によるステップＳ６０の処理で多重化すると決定されたＴＳパケットを多重化する。具体的には、多重化部１３８は、図６のＢＳオーディオＴＳ１７３の各ＴＳパケットとＨＱオーディオＴＳ１８３の各ＴＳパケットのうち、ステップＳ６０の処理で多重化すると決定されたＴＳパケットを（順次）多重化する。これにより、図６のトランスポートストリーム１９０が生成される。多重化部１３８は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３を多重化して生成したトランスポートストリーム１９０を、送信部１３９に供給する。

ステップＳ６２において、送信部１３９は、多重化部１３８から供給されたトランスポートストリーム１９０（図６）を送信する。送信部１３９は、例えば、図３に示されるように、ドライブ１１２を制御して、リムーバブルメディア１１３にトランスポートストリーム（MPEG2-TS）を送信したり、通信部１１４を制御して、ネットワーク１１５を介して、受信装置に送信したりする。この受信装置は、図３や図９を参照して説明した仮想的な受信装置１２０ではなく、実際にMPEG2-TSを受信する（デコーダを有する）図示せぬ受信装置である。

ステップＳ６３において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオデータの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ６３において、終了しないと判定された場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオデータの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算に基づいて多重化するＴＳパケットが決定されて多重化され、多重化された結果生成されたトランスポートストリームが送信される。ステップＳ６３において、終了すると判定された場合、処理は終了される。

図１２と図１３の処理により、図９と図１０を参照して説明した第１の仮想デコーダと第２の仮想デコーダ（仮想デコーダ１２１）のバッファ占有量の計算に基づいて、多重化すると決定された順番でＴＳパケットが多重化されるので、図９と図１０の仮想デコーダ１２１のモデルに対応するデコーダを有する受信装置（図示せず）であれば、この処理で多重化されたトランスポートストリーム（複数のＴＳパケット）を確実にデコード（復号）することができる。

次に、図１３のステップＳ６０で制御部１３５により実行される、仮想デコーダのバッファ占有量の計算を、図１４と図１５を参照して説明する。

最初に、図１４のフローチャートを参照して、ＢＳオーディオに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１がＢＳオーディオＥＳのみをデコード可能であると想定してＴＳパケットの多重化のタイミングを計算する処理である。すなわち、制御部１３５が、受信側の仮想デコーダ１２１が、第１の仮想デコーダであると想定して実行する処理である。

ステップＳ１０１において、制御部１３５は、図１０のＢＳオーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、図１０のトランスポートバッファ３６２−１にＢＳオーディオＴＳパケット（ＢＳオーディオＥＳに対応するＴＳパケット）を入れる空きがあれば、そのＢＳオーディオＴＳパケットを多重化するよう多重化部１３８を制御する。

ステップＳ１０２において、制御部１３５は、図１０の仮想デコーダ１２１のエレメンタリバッファ３６３−１（Ｂｎ＝Ｂ１）に空きがあれば、トランスポートバッファ３６２−１からＲｘ１（Ｒｘｎ＝Ｒｘ１）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３−１（Ｂ１）に供給するものとして計算する。上述したように、第１の仮想デコーダのエレメンタリバッファ３６３−１への入力ビットレートはＲｘ１であるので、Ｒｘ１のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３−１の記憶容量はＢｎ＝Ｂ１であるものとして計算される。

ステップＳ１０３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３−１（Ｂ１）から引き抜き、オーディオデコーダ３６４−１に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、オーディオアクセスユニットのＰＴＳと等しくなったとき、そのＰＴＳのオーディオアクセスユニットをエレメンタリバッファ３６３−１から引き抜き、オーディオデコーダ３６４−１に供給されるものとして計算する。その後、処理は終了される。

なお、図１４の処理は、図１３のステップＳ６０の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。

このように、制御部１３５は、ＢＳオーディオＥＳのみをデコード可能なデコーダ（第１の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図１０のＢＳオーディオデータデコード処理部３６０−１が、図９のオーディオデータデコード処理部３６０に設けられているものとして、第１の仮想デコーダのバッファ占有量を計算し、ＴＳパケットの多重化タイミングを決定する。これにより、ＢＳオーディオＥＳのみをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実にＢＳオーディオＥＳをデコード（復号）することができる。

次に、図１４のフローチャートを参照して、ＨＱオーディオに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１がＨＱオーディオＥＳをデコード可能であると想定してＴＳパケットの多重化のタイミングを計算する処理である。すなわち、制御部１３５が、受信側の仮想デコーダ１２１が、第２の仮想デコーダであると想定して実行する処理である。

ステップＳ１５１において、制御部１３５は、図１０のＨＱオーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にｔｐ＝０のＴＳパケットを入れる空きがあれば、ＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、図１０のトランスポートバッファ３６２−２にＨＱオーディオＴＳパケット（ＨＱオーディオＥＳに対応するＴＳパケット）を入れる空きがあれば、そのＨＱオーディオＴＳパケットを多重化するよう多重化部１３８を制御する。

ステップＳ１５２において、制御部１３５は、図１０の仮想デコーダ１２１のエレメンタリバッファ３６３−２（Ｂｎ＝Ｂ２＿１）に空きがあれば、トランスポートバッファ３６２−２からＲｘ２（Ｒｘｎ＝Ｒｘ２）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３−２（Ｂ２＿１）に供給するものとして計算する。上述したように、第２の仮想デコーダのエレメンタリバッファ３６３−２への入力ビットレートはＲｘ２であるので、Ｒｘ２のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３−２の記憶容量はＢｎ＝Ｂ２＿１であるものとして計算される。

ステップＳ１５３において、制御部１３５は、オーディオアクセスユニットのInput timingに基づいて、そのオーディオアクセスユニットをエレメンタリバッファ３６３−２（Ｂ２＿１）から引き抜き、FIFOバッファ３９１（Ｂ２＿２）に供給するものとして計算する。上述したように、第２のエンコーダ１４２によりエンコードされて出力されるＨＱオーディオＥＳには、Input timing（図８参照）が付加されているので、制御部１３５は、このInput timingに基づいて、オーディオアクセスユニットをエレメンタリバッファ３６３−２（Ｂ２＿１）から引き抜き、FIFOバッファ３９１（Ｂ２＿２）に供給するものとして計算する。

ステップＳ１５４において、制御部１３５は、オーディオアクセスユニットのＰＴＳに基づいて、そのオーディオアクセスユニットをFIFOバッファ３９１（Ｂ２＿２）から引き抜き、オーディオデコーダ３９２に供給するものとして計算する。具体的には、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１（第２の仮想デコーダ）のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをFIFOバッファ３９１から引き抜き、オーディオデコーダ３９２に供給するものとして計算する。その後、処理は終了される。

このように、エレメンタリバッファ３６３−２（Ｂ２＿１）は、Input timingに基づくタイミングでバッファの占有量が現象する。また、FIFOバッファ３９１（Ｂ２＿２）は、オーバーフローすることはないが、アンダーフローする可能性はある。そのため、図１５に示されるように、FIFOバッファ３９１（Ｂ２＿２）がアンダーフローしないように、エレメンタリバッファ３６３−２（Ｂ２＿１）がオーバーフローおよびアンダーフローしないようなタイミングでＴＳパケットを多重化するようにする。

なお、図１５の処理は、図１３のステップＳ６０の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。すなわち、図１３のステップＳ６０の処理を実行する場合に、図１４と図１５の処理が並行して実行される。より具体的には、図１３のステップＳ６０の処理を実行する場合に、制御部１３５は、図１４の処理によりＢＳオーディオに対応するＴＳパケットの多重化のタイミングを計算するとともに、図１５の処理により、ＨＱオーディオに対応するＴＳパケットの多重化のタイミングを計算する処理を繰り返し実行する。

換言すれば、制御部１３５は、図１０の仮想デコーダ１２１の中のトランスポートバッファ３６２−１およびトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−１およびエレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、さらに、FIFOバッファ３９１がアンダーフローすることがないように、多重化するオーディオのＴＳパケットを決定（調整）する。

このように、制御部１３５は、ＢＳオーディオＥＳをデコード可能な仮想デコーダ（第１の仮想デコーダ）と、ＨＱオーディオＥＳをデコード可能な仮想デコーダ（第２の仮想デコーダ）とを想定してデコーダのバッファ占有量を計算し、多重化するＴＳパケットを決定（多重化するＴＳパケットの順番を決定）する。これにより、ＢＳオーディオＥＳのみをデコード可能なデコーダ（実際のデコーダ）であっても、ＨＱオーディオＥＳをデコード可能なデコーダ（実際のデコーダ）であっても、バッファ占有量をオーバーフローやアンダーフローすることなく、確実にデコードすることができる。

すなわち、実際に送信装置１１１により多重化されたＴＳパケット(MPEG2-TS)を受信する実際の受信装置が、ＢＳオーディオＥＳのみしかデコードできない場合であっても、ＨＱオーディオＥＳをデコードできる場合であっても、それぞれの受信装置が有するバッファをオーバーフローおよびアンダーフローさせることなく、円滑にデコードすることができる。

なお、ＢＳオーディオＥＳとＨＱオーディオＥＳとは、図７に示されるように、transport_priority（ｔｐ）の値によって識別されているものの、互いが独立した関係にあるため、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットとを多重化する場合の制約がない。そのため、ＢＳオーディオＥＳとＨＱオーディオＥＳとを、独立したストリームとして扱うことができる。

以上により、異なる符号化方式によりエンコードされて生成されたＢＳオーディオＥＳとＨＱオーディオＥＳを、それぞれＴＳパケット化して、１本のトランスポートストリームに多重化する場合に、ＢＳオーディオＥＳのみに対応している第１の仮想デコーダ（図１０のＢＳオーディオデータデコード処理部３６０−１を備える図９の仮想デコーダ１２１）を有する第１の仮想的な受信装置１２０と、ＨＱオーディオＥＳに対応している第２の仮想デコーダ（図１０のＨＱオーディオデータデコード処理部３６０−２を備える図９の仮想デコーダ１２１）を有する第２の仮想的な受信装置１２０とを想定して、多重化するＴＳパケットを決定するようにしたので、ＢＳオーディオＥＳのみにしか対応していない受信装置であっても、ＨＱオーディオＥＳに対応している受信装置であっても、円滑にデコードすることができる。

すなわち、送信装置１１１は、第１の仮想デコーダを備える仮想的な第１の受信装置のトランスポートバッファ３６２−１がオーバーフローすることなく、エレメンタリバッファ３６３−１がオーバーフローおよびアンダーフローすることがないように、多重化するＴＳパケットを調整（決定）するとともに、第２の仮想デコーダを備える仮想的な第２の受信装置のトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、かつ、FIFOバッファ３９１がアンダーフローすることがないように、多重化するＴＳパケットを調整（決定）するようにしたので、ＢＳオーディオＥＳのみにしか対応していない受信装置であっても、ＨＱオーディオＥＳに対応している受信装置であっても、円滑にデコードすることができる。

また、ＰＥＳパケット化部１３６は、ＨＱオーディオＥＳをＰＥＳパケット化する場合に、ＤＴＳを求めるための計算を行う必要がなくなり、ＰＥＳパケット化の処理を、より円滑に行うことができる。さらに、ＰＥＳパケット化部１３６は、生成するＰＥＳパケットに、ＤＴＳの値を格納せずに済むので、ＰＥＳパケットのデータ量を抑えることができる。すなわち、ＰＥＳパケットのデータ量を、より削減することができる。

なお、本発明は、図４の送信装置１１１に限らず、オーディオストリーム（オーディオＥＳ）のＴＳパケットを多重化する全ての多重化装置に適用することができる。

また、以上の例では、第１のエンコーダ１４１によりエンコードされたＢＳオーディオＥＳと第２のエンコーダ１４２によりエンコードされたＨＱオーディオＥＳを、それぞれＴＳパケット化して１つのストリームに多重化する場合の順番（タイミング）について説明したが、異なる符号化方式により符号化（エンコード）されたオーディオＥＳを、それぞれＴＳパケット化して、１つのストリームに多重化する場合であれば、他の場合においても適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図１６に示されるようなパーソナルコンピュータ５００により実行される。

図１６において、CPU５０１は、ROM５０２に記憶されているプログラム、または、記憶部５０８からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１６に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の符号化装置の構成を説明する図である。 図１の符号化装置が想定するSTDモデルを示す図である。 本発明を適用した送信装置がMPEG2-TSの方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。 図３の送信装置の構成例を示す図である。 ＢＳオーディオＥＳとＨＱオーディオＥＳのデータの流れを説明する図である。 ＢＳオーディオＥＳとＨＱオーディオＥＳのデータの構成例を説明する図である。 図４のＴＳ多重化部に入力されるＴＳを説明する図である。 ＰＥＳパケットとＴＳパケットのデータ構造の例を説明する図である。 図３の仮想的なデコーダのモデルの例を示す図である。 図９のオーディオデータデコード処理部の詳細な例を説明する図である。 図１０の可変ビットレートのオーディオデコーダを説明する図である。 ＴＳパケット送信処理を説明するフローチャートである。 ＴＳパケット送信処理を説明するフローチャートである。 ＢＳオーディオに対するバッファ占有量の計算処理を説明するフローチャートである。 ＨＱオーディオに対するバッファ占有量の計算処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示す図である。

符号の説明

１１１ 送信装置， １１２ 仮想的な受信装置， １２１ 仮想デコーダ， １３１ 入力部， １３２ オーディオエンコーダ， １３３ バッファ， １３４ 抽出情報付加部， １３５ 制御部， １３６ ＰＥＳパケット化部， １３７ ＴＳパケット化部， １３８ 多重化部， １３９ 送信部， １４１ 第１のエンコーダ， １４２ 第２のエンコーダ， １４３ 第１のバッファ， １４４ 第２のバッファ， １７１ ＢＳオーディオＥＳ， １７２ ＢＳオーディオＰＥＳ， １７３ ＢＳオーディオＴＳ， １８１ ＨＱオーディオＥＳ， １８２ ＨＱオーディオＰＥＳ， １８３ ＨＱオーディオＴＳ， １９０ トランスポートストリーム， ２６１ PTS_DTS_flags， ２６３ ＰＴＳ， ２７５ Input timing情報， ３４１ ＰＩＤフィルタ， ３６１−１，３６１−２ トランスポートプリオリティフィルタ， ３６２−１．３６２−２ トランスポートバッファ， ３６３−１，３６３−２ エレメンタリバッファ， ３６４−１ オーディオデコーダ， ３６４−２ 可変ビットレートのオーディオデコーダ， ３９１ FIFOバッファ， ３９２ オーディオデコーダ

Claims (11)

1. オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置において、
   前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコード手段と、
   前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコード手段と、
   前記第１のエンコード手段によりエンコードされた前記オーディオデータと、前記第２のエンコード手段によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するパケット化手段と、
   前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定手段と、
   前記決定手段により決定された前記ＴＳパケットを多重化する多重化手段と
   を備え、
   前記決定手段は、前記第１のエンコード手段によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコード手段によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコード手段によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定する
   ことを特徴とする多重化装置。
2. 前記決定手段は、前記第１の仮想デコーダが有する第１のエレメンタリバッファおよび前記第１のエレメンタリバッファへのデータ転送レートと、前記第２の仮想デコーダが有する第２のエレメンタリバッファおよび前記第２のエレメンタリバッファへのデータ転送レートとに基づいて、前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
   ことを特徴とする請求項１に記載の多重化装置。
3. 前記決定手段は、前記第１の仮想デコーダが有する前記第１のエレメンタリバッファと、前記第２の仮想デコーダが有する前記第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
   ことを特徴とする請求項２に記載の多重化装置。
4. 前記多重化手段により多重化された前記ＴＳパケットを記録媒体に記録する記録手段をさらに備える
   ことを特徴とする請求項１に記載の多重化装置。
5. 前記オーディオデータの単位は、オーディオアクセスユニットである
   ことを特徴とする請求項１に記載の多重化装置。
6. 前記第１の仮想デコーダは、前記第１のエレメンタリバッファの前段にトランスポートバッファを有し、
   前記第２の仮想デコーダは、前記第２のエレメンタリバッファの前段にトランスポートバッファを有するとともに、前記第２のエレメンタリバッファの後段に、第３のエレメンタリバッファをさらに有する
   ことを特徴とする請求項２に記載の多重化装置。
7. 前記決定手段は、前記第３のエレメンタリバッファへの入力タイミングが、前記タイミング値に対するタイミングであると想定して、前記パケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
   ことを特徴とする請求項６に記載の多重化装置。
8. 前記タイミング値は、前記オーディオストリームの単位が、前記第３のエレメンタリバッファに渡される、オーディオ情報のサンプリング周期で表される値である
   ことを特徴とする請求項７に記載の多重化装置。
9. オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置の多重化方法において、
   前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、
   前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコードステップと、
   前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するパケット化ステップと、
   前記パケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、
   前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップと
   を含み、
   前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定する
   ことを特徴とする多重化方法。
10. オーディオデータをＴＳ（Transport Stream）パケットとして多重化するプログラムであって、
    前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、
    前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコードステップと、
    前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するパケット化ステップと、
    前記パケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、
    前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップと
    を含む処理をコンピュータに実行させ、
    前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定し、多重化するＴＳパケットを決定する
    ことを特徴とするプログラム。
11. 多重化されたＴＳ（Transport Stream）パケットが記録されている記録媒体であって、
    所定の符号化方式である第１の符号化方式でエンコードされたオーディオデータがＴＳパケット化された複数のＴＳパケットと、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される前記第２の符号化方式でエンコードされたオーディオデータがパケット化された複数のＴＳパケットとが、多重化されて記録され、
    前記ＴＳパケットは、
    前記第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、前記第２の符号化方式でエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記オーディオデータをデコードする第２の仮想デコーダとが想定され、多重化すると決定されたＴＳパケットである
    ことを特徴とする記録媒体。

Images