JP2008516275A - コンパクトなサイド情報を用いたマルチチャネルの階層的オーディオ符号化 - Google Patents

Abstract

マルチチャネルオーディオ信号のパラメトリック表現は、第１および第２のチャネル間のコヒーレンスを表現するコヒーレンス情報が、聴取位置に関して左側からの情報だけを有する第１のチャネルを含みさらに聴取位置に関して右側からの情報だけを有する第２のチャネルを含むチャネルペアに対してだけ階層的符号化処理において導出される場合、コンパクトなサイド情報を用いてオーディオ信号の空間特性をうまく表現する。階層的処理においてオーディオ信号の複数のオーディオチャネルが反復してモノラルチャネルにダウンミックスされるので、マルチチャネルオーディオ信号の空間特性を表現するために必要な情報を伝えるチャネルペアだけに関与する符号化ステップから適切なパラメータを選ぶことができる。
【選択図】図１

Description

本発明は、マルチチャネルオーディオ処理に関し、特に、マルチチャネルオーディオ信号の空間特性を表現するためのコンパクトなパラメトリックサイド情報の生成および使用に関する。

近年、マルチチャネルオーディオ再生技術がますます重要になっている。これは、周知のＭＰ３技術等のオーディオ圧縮／符号化技術により、制限のある帯域幅を有するインターネットまたは他の伝送チャネルを介して、オーディオ記録を配信することが可能になったという事実によるものである。ステレオフォーマットにおいてすべての記録を配信すること、すなわち、第１のつまり左ステレオチャネルと第２のつまり右ステレオチャネルとを含むオーディオ記録のデジタル表現を配信することが可能であるという事実により、ＭＰ３符号化技術はよく知られるようになった。

しかしながら、従来の２チャネルサウンドシステムには基本的な欠点がある。したがって、サラウンド技術が開発されている。推奨されるマルチチャネルサラウンド表現フォーマットは、２つのステレオチャネルＬおよびＲに加えて、追加のセンターチャネルＣおよび２つのサラウンドチャネルＬｓ、Ｒｓをさらに含む。この基準サウンドフォーマットは、３ステレオ／２ステレオとも呼ばれるもので、３つのフロントチャネルおよび２つのサラウンドチャネルを意味する。再生環境では、５つの適切な位置での少なくとも５つのスピーカは、５つの適切に配置されたスピーカの特定の距離において、最適なスイートスポットを得る必要がある。

マルチチャネルオーディオ信号のパラメトリック符号化（パラメトリックステレオ（ＰＳ）、「空間オーディオ符号化」、「バイノーラルキュー符号化」（ＢＣＣ）等）のための近年のアプローチでは、（モノラルチャネルとすることも、いくつかのチャネルとすることもできる）ダウンミックス信号およびパラメトリックサイド情報（「空間キュー」）によってマルチチャネルオーディオ信号を表し、その知覚空間サウンドステージを特徴付ける。種々のアプローチおよび技術を、以下の段落で簡単にレビューする。

パラメトリックステレオとして周知の関連した技術については、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンション予稿集６０７２、２００４年５月、ベルリンと、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）およびＪ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）の「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、ＡＥＳ第１１６回コンベンション予稿集６０７３、２００４年５月、ベルリンとに記載されている。

マルチチャネルオーディオ信号の伝送に必要なデータ量を低減する本技術では、いくつかの技術が周知である。このために、図１１を参照すると、ジョイントステレオ装置６０を示している。この装置は、例えば、インテンシティステレオ（ＩＳ）またはバイノーラルキュー符号化（ＢＣＣ）を実施する装置とすることができる。このようなデバイスは、一般に、入力として少なくとも２つのチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）を受信し、１つのキャリアチャネルおよびパラメトリックデータを出力する。パラメトリックデータは、デコーダにおいて、元のチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）の近似値を算出できるように、定義されている。

通常、キャリアチャネルは、サブバンドサンプル、スペクトル係数、時間領域サンプル等を含み、これらにより、基礎の信号が比較的よい表現になるが、パラメトリックデータはスペクトル係数のこのようなサンプルを含まないが、乗算、時間シフティング、周波数シフティング、位相シフティング等による重み付けのような特定の再構成アルゴリズムを制御するための制御パラメータを含む。したがって、パラメトリックデータは、信号または関連付けられたチャネルの比較的粗い表現しか含んでいない。数字を提示すると、キャリアチャネルが必要とするデータ量は、ＭＰＥＧ符号化スキームにおいて６０〜７０キロビット／秒の範囲にできるが、１つのチャネルに対してパラメトリックサイド情報が必要とするデータ量は、５．１チャネル信号に対して約１０キロビット／秒の範囲にできる。パラメトリックデータの一例としては、以下に説明するように、周知のスケールファクタ、インテンシティステレオ情報またはバイノーラルキューパラメータが挙げられる。

ＢＣＣ技術については、例えば、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオおよびマルチチャネルオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ Ｓｔｅｒｅｏ ａｎｄ Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｍｐｒｅｓｓｉｏｎ）」、ＡＥＳコンベンション論文５５７４、２００２年５月、ミュンヘンに、「知覚パラメータ化を用いた空間オーディオの効率的な表現（Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒｅｍｅｔｒｉｚａｔｉｏｎ）」、ＩＥＥＥ ＷＡＳＰＡＡ論文、２００１年１０月、ニューヨーク州モホンクに、および両方ともＣ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の著作である「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ ａｕｄｉｔｏｒｙ ｓｐａｔｉａｌ ｃｕｅｓ ｆｏｒ ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ）」および「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ：ａ ｎｏｖｅｌ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ）」、ＩＣＡＳＳＰの２つの論文、２００２年５月、フロリダ州オーランドに記載されている。

ＢＣＣ符号化では、オーバーラップウィンドウを有するＤＦＴ（離散フーリエ変換）ベースの変換を用いて、多数のオーディオ入力チャネルは、スペクトル表現に変換されている。得られるスペクトルは、重なりのない区分に分割される。各区分は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）は、この区分毎に推定される。チャネル間レベル差ＩＣＬＤおよびチャネル間時間差ＩＣＴＤは、通常、基準チャネルに関して各チャネルに与えられ、さらに量子化される。送信パラメータは最終的に規定の公式に従って算出され（符号化され）、これらは、処理される信号の特定の区分に依存する。

デコーダ側では、デコーダは、モノラル信号およびＢＣＣビットストリームを受信する。モノラル信号は、周波数領域に変換され、空間合成ブロックに入力され、このブロックは、復号化されたＩＣＬＤおよびＩＣＴＤ値も受信する。空間合成ブロックでは、マルチチャネル信号を合成するために、モノラル信号の重み付け動作を実行するためにＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）値が用いられ、マルチチャネル信号は、周波数／時間変換後の元のマルチチャネルオーディオ信号を再構成したものを表す。

ＢＣＣの場合、ジョイントステレオモジュール６０は、パラメトリックチャネルデータが量子化され符号化されてＩＣＬＤまたはＩＣＴＤパラメータを生じるように、チャネルサイド情報を出力し、元のチャネルのうちの１つは、チャネルサイド情報を符号化する間、基準チャネルとして用いられる。

通常、キャリアチャネルは、関与する元のチャネルの総計として形成されるものである。

したがって、上記の技術では、キャリアチャネルだけを処理することができるが、２つ以上の入力チャネルの１つ以上の近似値を生成するためのパラメータデータを処理することができない再生装置に対して安定したモノラル表現をさらに提供する。

バイノーラルキュー符号化（ＢＣＣ）として周知のオーディオ符号化技術については、米国特許出願公開第２００３／０２１９１３０Ａ１号、米国特許出願公開第２００３／００２６４４１Ａ１号および米国特許出願公開第２００３／００３５５５３Ａ１号にも詳細に記載されている。さらに引例として、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化パートＩＩ：スキームおよび応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、２００３年１１月と、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、ＡＥＳ第１１３回コンベンション、２００２年１０月、ロサンジェルスとがある。フォーラおよびバウムガルテが著したＢＣＣ技術に関する引例の米国特許出願公開公報および２つの引例の技術刊行物は、ここに引例としてすべて組み込まれている。

ＩＣＬＤおよびＩＣＴＤパラメータは、最も重要なサウンドソースローカライゼーションパラメータを表すにもかかわらず、これらのパラメータを用いた空間表現は、達成可能な最高品質を制限するだけである。この制限を克服し、高品質のパラメトリック符号化を可能にするために、（Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏ ａｕｄｉｏ）」、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（Ｅｕｒａｓｉｐ Ｊ． Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃ．）、２００５巻、第９号、１３０５−１３２２頁に記載のような）パラメトリックステレオは、チャネル間強度差（ＩＩＤｓ）、チャネル間位相差（ＩＰＤｓ）およびチャネル間コヒーレンス（ＩＣ）といわれる３つのタイプの空間パラメータを適用する。コヒーレンスパラメータを取込んだ空間パラメータの拡張は、サウンドステージの知覚空間の「拡散性」または空間の「コンパクト性」のパラメータ化を可能にする。

以下に、マルチチャネルオーディオ符号化のための代表的な一般的ＢＣＣスキームについて、図１２〜図１４を参照して、さらに詳細に説明する。図９は、マルチチャネルオーディオ信号の符号化／伝送のための、そのような一般的バイノーラルキュー符号化スキームを示す。ＢＣＣエンコーダ１１２の入力１１０のマルチチャネルオーディオ入力信号は、ダウンミックスブロック１１４でダウンミキシングされる。本例では、入力１１０の元のマルチチャネル信号は、フロント左チャネル、フロント右チャネル、左サラウンドチャネル、右サラウンドチャネルおよびセンターチャネルを有する、５チャネルサラウンド信号である。本発明の好適な実施の形態では、ダウンミックスブロック１１４は、これらの５つのチャネルを単純に加算して、モノラル信号にすることにより、和信号を生じる。マルチチャネル入力信号を用いて、１つのチャネルを有するダウンミックス信号が得られるような、他のダウンミキシングスキームが周知である。この１つのチャネルは、和信号ライン１１５に出力される。ＢＣＣ解析ブロック１１６により得られたサイド情報は、サイド情報ライン１１７に出力される。ＢＣＣ解析ブロックでは、上記で説明したように、チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）が算出される。ＢＣＣ解析ブロック１１６は、チャネル間相関値（ＩＣＣ値）を算出するためにも形成される。好ましくは量子化され符号化された形式で、和信号およびサイド情報がＢＣＣデコーダ１２０に送信される。ＢＣＣデコーダは、出力マルチチャネルオーディオ信号のサブバンドを生成するために、送信和信号を多数のサブバンドに分解して、スケーリングを行い、遅延して、他の処理を行う。出力１２１の再構成されたマルチチャネル信号のＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２の入力１１０の元のマルチチャネル信号に対するそれぞれのキューと同様になるように、この処理が実行される。このために、ＢＣＣデコーダ１２０は、ＢＣＣ合成ブロック１２２およびサイド情報処理ブロック１２３を含む。

以下に、図１３を参照して、ＢＣＣ合成ブロック１２２の内部構成を説明する。ライン１１５上の和信号が、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５に入力される。ブロック１２５の出力には、オーディオフィルタバンク１２５が１：１変換を実行する場合、すなわち、Ｎ個の時間領域サンプル（クリティカルサブサンプリング）からＮ個のスペクトル係数を生じる変換の場合、Ｎ個のサブバンド信号または、極端な場合では、ブロックとなったスペクトル係数が存在する。

ＢＣＣ合成ブロック１２２は、さらに、遅延ステージ１２６、レベル変更ステージ１２７、相関処理ステージ１２８および逆フィルタバンクステージＩＦＢ１２９を備える。ステージ１２９の出力では、５チャネルサラウンドシステムの場合に、図１２に示すように、例えば５つのチャネルを有する再構成されたマルチチャネルオーディオ信号が、１セットのスピーカ１２４に出力される。

図１３に示すように、入力信号ｓ（ｎ）は、エレメント１２５により、周波数領域またはフィルタバンク領域に変換される。同じ信号のいくつかのバージョンが分岐しているノード１３０で示されるように得られるように、エレメント１２５による信号出力は乗算される。元の信号のバージョンの数は、再構成される出力信号における出力チャネルの数と等しい。一般に、ノード１３０での元の信号の各バージョンが特定の遅延ｄ₁、ｄ₂、・・・、ｄ_i、・・・、ｄ_Nを受ける場合、遅延パラメータは図１２のサイド情報処理ブロック１２３により算出され、ＢＣＣ解析ブロック１１６で決定されるように、チャネル間時間差から導出される。

同じことが、乗算パラメータａ₁、ａ₂、・・・、ａ_i、・・・、ａ_Nについて当てはまり、これらについても、ＢＣＣ解析ブロック１１６により算出されるように、チャネル間レベル差に基づいてサイド情報処理ブロック１２３により算出される。

遅延されレベルが操作された信号間の特定の相関がブロック１２８の出力で得られるように、ＢＣＣ解析ブロック１１６により算出されるＩＣＣパラメータがブロック１２８の機能を制御するために用いられる。ステージ１２６、１２７、１２８の順序は、図１３に示す場合と異なっていてもよいことに、ここで留意されたい。

オーディオ信号のフレーム単位に関する処理において、ＢＣＣ解析がフレーム単位で実行され、すなわち、時間可変的、そして周波数単位でも実行されることに、注意すべきである。これは、各スペクトル帯域に対してＢＣＣパラメータが個別に得られるという意味である。これは、さらに、オーディオフィルタバンク１２５が入力信号を例えば３２個のバンドパス信号に分解する場合、ＢＣＣ解析ブロックは、３２個の帯域のそれぞれに対して１セットのＢＣＣパラメータを得るという意味である。当然、図１３に詳細に示される、図１２のＢＣＣ合成ブロック１２２が、本例の３２個の帯域に基づく再構成を実行する。

以下に、図１４を参照して、特定のＢＣＣパラメータを決定するセットアップを示す。通常、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータは、任意のチャネルペア間で定義することができる。ここで概説する１つの方法は、基準チャネルと互いのチャネルとの間で、ＩＣＬＤおよびＩＣＴＤパラメータからなる。これについて、図１４Ａに示す。

ＩＣＣパラメータは、別の方法で決定することもできる。一般に大抵の場合、図１４Ｂに示すように、考えられるすべてのチャネルペア間で、エンコーダ内のＩＣＣパラメータを推定することができる。この場合、考えられるすべてのチャネルペア間の元のマルチチャネル信号とほぼ同じになるように、デコーダがＩＣＣを合成する。しかしながら、一度に最も強力な２つのチャネル間のＩＣＣパラメータだけを推定することが提案されていた。このスキームは、図１４Ｃに示され、１つの時点で、チャネル１とチャネル２との間でＩＣＣパラメータが推定され、別の時点で、チャネル１とチャネル５との間でＩＣＣパラメータが算出される例が示されている。次に、デコーダが、デコーダ内の最も強力なチャネル間のチャネル間相関を合成し、残りのチャネルペアに対するチャネル間コヒーレンスを算出して合成するためのある発見的ルールを適用する。

例えば、送信ＩＣＬＤパラメータに基づいてパラメータａ₁、・・・、ａ_Nを算出するには、上記引例のＡＥＳコンベンション論文５５７４を参照する。ＩＣＬＤパラメータは、元のマルチチャネル信号におけるエネルギー分布を表す。一般性を失うことなく、他のすべてのチャネルとフロント左チャネルとの間のエネルギー差を示す４つのＩＣＬＤパラメータが、図１４Ａに示される。サイド情報処理ブロック１２３では、再構成されたすべての出力チャネルの総エネルギーが送信和信号のエネルギーと同じになるように（または比例するように）、乗算パラメータａ₁、・・・、ａ_NがＩＣＬＤパラメータから導出される。これらのパラメータを決定するための簡単な方法は、２ステージ処理であり、これは、第１のステージでは、左フロントチャネルの乗算ファクタが１に設定され、図１４Ａの他のチャネルの乗算ファクタが送信ＩＣＬＤ値から決定される。次に、第２のステージでは、５つのチャネルすべてのエネルギーが算出され、送信和信号のエネルギーと比較される。次に、すべてのチャネルは、すべてのチャネルに対して等しいダウンスケーリングファクタを用いて、ダウンスケーリングされ、ダウンスケーリングファクタは、ダウンスケーリング後、再構成されたすべての出力チャネルの総エネルギーが送信和信号の総エネルギーと等しくなるように、選択される。

当然、乗算ファクタを算出する他の方法もあり、これらは、２ステージ処理を利用せず、１ステージ処理だけを必要とするものである。

遅延パラメータに関して、左フロントチャネルの遅延パラメータｄ₁がゼロに設定される場合、ＢＣＣエンコーダから送信される遅延パラメータＩＣＴＤは、直接用いることができることに留意されたい。遅延を行っても信号のエネルギーを変更しないので、ここでは再スケーリングを行う必要がない。

図１４を参照してすでに概説したように、パラメトリックサイド情報、すなわち、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）またはチャネル間コヒーレンスパラメータ（ＩＣＣ）は、算出され、５つのチャネルそれぞれに送信されることができる。このことは、通常、１つの５チャネル信号に対して４セットのチャネル間レベル差を送信することを意味している。同じことがチャネル間時間差についても当てはまる。チャネル間コヒーレンスパラメータについては、例えば２セットのこれらのパラメータを送信するだけで十分である。

図１３を参照してすでに概説したように、信号の１つのフレームまたは時間部分に対して、レベル差パラメータ、時間差パラメータまたはコヒーレンスパラメータは１つだけではない。むしろ、周波数依存のパラメータ化が行えるように、いくつかの異なる周波数帯域に対してこれらのパラメータが決定される。例えば３２の周波数チャネル、すなわち、３２の周波数帯域を有するフィルタバンクをＢＣＣ解析およびＢＣＣ合成に用いることは好ましいので、パラメータは、かなりの量のデータを占有することになる。他のマルチチャネル伝送と比較して、パラメトリック表現ではデータ速度が相当遅くなるが、マルチチャネルサラウンド信号等の３つ以上のチャネルを有する信号を表すために必要なデータ速度を、継続してさらに低減する必要がある。

マルチチャネルオーディオ信号の符号化は、１つのモノラルチャネル中にパラメトリックステレオ符号化を実行するいくつかの既存のモジュールを用いて、うまく実施することができる。国際特許出願国際公開第２００４／００８８０５Ａ１号は、どのようにしてパラメトリックステレオコーダを階層的セットアップに順序付けし、所定数の入力オーディオ信号を順次に１つのモノラルチャネルにダウンミックスして行くかを教示している。ダウンミックスされたモノラルチャネルの空間特性を表現するパラメトリックサイド情報は、最終的には、反復ダウンミックスプロセスにおいて順次に生成されるすべてのパラメトリック情報からなる。すなわち、例えば、最終モノラル信号を構築するために関与する３つのステレオからモノラルへのダウンミックス処理がある場合、マルチチャネルオーディオ信号のパラメトリック表現を構築する最終セットのパラメータは、１つのステレオからモノラルへのダウンミックス処理ごとに導出される３セットのパラメータからなる。

従来技術の方法をさらに詳細に説明するために、階層的ダウンミックスエンコーダが図１５に示される。図１５は、１つのモノラルオーディオチャネル２０２とパラメトリックサイド情報とに変換される６つの元のオーディオチャネル２００ａ〜２００ｆを示す。そのため、６つの元のオーディオ信号２００ａ〜２００ｆを時間領域から周波数領域に変換する必要があり、これは変換ユニット２０４によって実行され、オーディオチャネル２００ａ〜２００ｆを周波数領域において対応するチャネル２０６ａ〜２０６ｆに変換する。階層的アプローチに従って、チャネル２０６ａ〜２０６ｆは、ペアワイズで３つのモノラルチャネルＬ、ＲおよびＣ（それぞれ、２０８ａ、２０８ｂおよび２０８ｃ）にダウンミックスされる。３つのチャネルペアがダウンミックスされる間に、各チャネルペアに対する、元のステレオ信号の空間特性を表現するパラメータセットが導出され、モノラル信号にダウンミックスされる。このようにして、この最初のダウンミックスステップにおいて、３つのパラメータセット２１０ａ〜２１０ｃが、信号２０６ａ〜２０６ｆの空間情報を維持するために生成される。

階層的ダウンミックスの次のステップにおいて、チャネル２０８ａおよび２０８ｂはチャネル２１２（ＬＲ）にダウンミックスされ、パラメータセット２１０ｄ（パラメータセット４）を生成する。最終的にただ１つのモノラルチャネルを導出するために、チャネル２０８ｃおよび２１２のダウンミックスが必要で、この結果チャネル２１４（Ｍ）が得られる。これにより第５のパラメータセット２１０ｅ（パラメータセット５）が生成される。最後に、ダウンミックスされたモノラルオーディオ信号２１４は、標準の装置で再生可能なオーディオ信号２０２を導出するために、時間領域に逆変換される。

前述のように、従来技術によるダウンミックスオーディオ信号２０２のパラメトリック表現は、すべてのパラメータセット２１０ａ〜２１０ｅからなり、このことは、モノラルオーディオ信号２０２から元のマルチチャネルオーディオ信号（チャネル２００ａ〜２００ｆ）を再構築することを望む場合、すべてのパラメータセット２１０ａ〜２１０ｅがモノラルダウンミックス信号２０２のサイド情報として必要だということを意味する。

米国特許出願第１１／０３２，６８９号（以降、単に「従来技術によるキュー結合」という）は、非階層的符号化スキームにおいて、サイド情報を節減するためにいくつかのキュー値を１つの送信値に結合するためのプロセスを記載している。そのためには、最初に、すべてのチャネルがダウンミックスされ、後に、送信キュー値（これを１つの値にすることも可能）を形成するためにキューコードが結合され、結合は、所定の数学関数により定まり、その中には、入力信号から直接的に導出される空間パラメータが変数として組み込まれる。

２つ（「ステレオ」）またはそれ以上の（「マルチチャネル」）オーディオ入力チャネルをパラメトリック符号化する最新技術は、入力信号から直接空間パラメータを導出する。このようなパラメータの例としては、チャネル間レベル差（ＩＣＬＤ）またはチャネル間強度差（ＩＩＤ）、チャネル間時間遅延（ＩＣＴＤ）またはチャネル間位相差（ＩＰＤ）、およびチャネル間相関／コヒーレンス（ＩＣＣ）があり、それぞれ、周波数を選択するやり方で、すなわち、周波数帯域毎に送信される。従来技術によるキュー結合の明細書は、いくつかのキュー値を１つの値に結合してエンコーダからデコーダ側に送信できると教示する。復号化プロセスは、マルチチャネル出力信号を再構成するために、元々個別の送信キュー値の代わりに１つの送信値を用いる。好適な実施の形態において、このスキームは、ＩＣＣパラメータに適用される。これが、信号の大部分の空間品質を維持しながら、キューサイド情報のサイズの大幅な削減につながると示されている。しかしながら、これを階層的符号化スキームでどのように活用できるかについては明確でない。

従来技術によるキュー結合に関するその特許出願は、２つの送信ダウンミックスチャネルに基づくシステムを例として、発明の原理を説明している。図１５を参照すると、提案された方法において、Ｌｆ／ＬｒおよびＲｆ／ＲｒのチャネルペアのＩＣＣ値は、１つの送信ＩＣＣパラメータに結合される。２つの結合ＩＣＣ値は、フロント左チャネルＬｆおよびリア左チャネルＬｒをチャネルＬにダウンミックスする間、および、フロント右およびリア右チャネルをチャネルＲにダウンミックスする間で得られたものである。したがって、最終的に１つの送信ＩＣＣパラメータに結合される２つの結合ＩＣＣ値は、両方とも元のチャネルのフロント／バック相関についての情報を伝え、これらの２つのＩＣＣ値の結合は、通常この情報の大部分を維持することになる。ＬおよびＲチャネルを１つのモノラルチャネルにさらにダウンミックスしなければならないとすれば、ダウンミックスチャネルＬおよびＲの左／右相関についての情報を伝える第３のＩＣＣ値を得ることになる。従来技術によるキュー結合によれば、３つのＩＣＣ値を１つの送信ＩＣＣパラメータに変換する所定の関数を適用して３つのＩＣＣ値を結合しなければならないことになる。

このとき、フロント／バック情報を左／右情報と混合するという問題があり、これは、元のマルチチャネルオーディオ信号の再生のためには明らかな不利点である。米国特許出願第１１／０３２，６８９号においては、左／右情報を保持する２つのダウンミックスチャネル、ＬおよびＲチャネルを送信し、さらにフロント／バック情報を保持する１つのＩＣＣ値を送信することによって、この問題を回避している。これは、送信される完全な追加のダウンミックスチャネルに起因する大幅なデータ率増加を代償として元のチャネルの空間特性を維持することである。

米国特許出願公開第２００３／０２１９１３０Ａ１号 米国特許出願公開第２００３／００２６４４１Ａ１号 米国特許出願公開第２００３／００３５５５３Ａ１号 国際公開第２００４／００８８０５Ａ１号 Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンション予稿集６０７２、２００４年５月、ベルリン Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）およびＪ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）の「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、ＡＥＳ第１１６回コンベンション予稿集６０７３、２００４年５月、ベルリン Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオおよびマルチチャネルオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ Ｓｔｅｒｅｏ ａｎｄ Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｍｐｒｅｓｓｉｏｎ）」、ＡＥＳコンベンション論文５５７４、２００２年５月、ミュンヘン 「知覚パラメータ化を用いた空間オーディオの効率的な表現（Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒｅｍｅｔｒｉｚａｔｉｏｎ）」、ＩＥＥＥ ＷＡＳＰＡＡ論文、２００１年１０月、ニューヨーク州モホンク Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ ａｕｄｉｔｏｒｙ ｓｐａｔｉａｌ ｃｕｅｓ ｆｏｒ ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰ論文、２００２年５月、フロリダ州オーランド Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ：ａ ｎｏｖｅｌ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ）」、ＩＣＡＳＳＰ論文、２００２年５月、フロリダ州オーランド Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化パートＩＩ：スキームおよび応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、２００３年１１月 Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、ＡＥＳ第１１３回コンベンション、２００２年１０月、ロサンジェルス Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏ ａｕｄｉｏ）」、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（Ｅｕｒａｓｉｐ Ｊ． Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃ．）、２００５巻、第９号、１３０５−１３２２頁

本発明の目的は、階層的符号化スキームとの関連において、コンパクトなサイド情報を用いたマルチチャネルオーディオ信号のパラメトリック表現を生成および用いるための改良された概念を提供することである。

本発明の第１の様態によれば、この目的は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するためのエンコーダによって達成され、エンコーダは、パラメトリック情報を生成するためのジェネレータであって、ジェネレータは、いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出し、さらに左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出する、ジェネレータと、チャネルペアに対するレベル情報を選定し、さらにコヒーレンス情報を用いて左／右コヒーレンス度を決定することによって、パラメトリック表現を提供するための提供器とを備える。

本発明の第２の様態によれば、この目的は、元のオーディオ信号のパラメトリック表現を処理するためのデコーダによって達成され、元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、デコーダは、オーディオ信号のパラメトリック表現を提供するためのレシーバであって、レシーバは、チャネルペアに対するレベル情報を提供し、さらに左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供し、左／右コヒーレンス度は、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、レシーバと、チャネルペアに対するパラメトリック情報を供給するためのプロセッサであって、プロセッサは、パラメトリック表現からレベル情報を選択し、さらに左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出し、この少なくとも１つのチャネルペアは、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含む、プロセッサとを備える。

本発明の第３の様態によれば、この目的は、オーディオ信号のパラメトリック表現を生成するための方法によって達成される。

本発明の第４の様態によれば、この目的は、コンピュータ上で動作するときに、上述の方法を実施するコンピュータプログラムによって達成される。

本発明の第５の様態によれば、この目的は、元のオーディオ信号のパラメトリック表現を処理するための方法によって達成される。

本発明の第６の様態によれば、この目的は、コンピュータ上で動作するときに、上述の方法を実施するコンピュータプログラムによって達成される。

本発明の第７の様態によれば、この目的は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を構築することにより生成される符号化オーディオデータによって達成され、パラメトリック表現は、チャネルペアに対するレベル差と、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含むチャネルペアからのコヒーレンス情報から導出される左／右コヒーレンス度とを備える。

マルチチャネルオーディオ信号のパラメトリック表現は、第１および第２のチャネル間のコヒーレンスを表現するコヒーレンス情報が、聴取位置に関して左側からの情報だけを有する第１のチャネルを含みさらに聴取位置に関して右側からの情報だけを有する第２のチャネルを含むチャネルペアに対してだけ階層的符号化処理において導出される場合、コンパクトなサイド情報を用いてオーディオ信号の空間特性をうまく表現する、という発見に本発明は基づいている。階層的処理において元のオーディオ信号の複数のオーディオチャネルが反復して望ましくはモノラルチャネルにダウンミックスされるので、元のオーディオ信号の空間特性をできるだけ良好に表現するために必要な所望の情報を運ぶチャネルペアだけに関与するステップに対する符号化処理の間に適切なサイド情報パラメータを選ぶようにすることができる。このことにより、これらの選ばれたパラメータまたはこれらのパラメータの結合に基づいて元のオーディオ信号のパラメトリック表現を構築することができ、サイド情報サイズを大幅に節減しながら、ダウンミックス信号の空間情報を保持することができる。

提案された概念は、１つの（モノラル）送信チャネルしか利用できない場合においても、キュー値を結合してダウンミックスオーディオ信号のサイド情報の割合を節減することを可能にする。本発明の概念は、エンコーダのいろいろな階層的トポロジーをも可能にする。元のサウンドイメージを忠実に再生するために階層的符号化／復号化アプローチを用いて、どのようにして適切な１つのＩＣＣ値を導出し、空間オーディオデコーダにおいて適用することができるかを、具体的に明確にする。

本発明の１つの実施の形態は、５．１チャネルオーディオ信号の左フロントおよび左リアチャネルを左マスターチャネルに結合し、同時に、右フロントおよび右リアチャネルを右マスターチャネルに結合する階層的符号化構造を実施する。左チャネルおよび右チャネルを別々に結合して、本発明では、重要な左／右コヒーレンス情報は、主として維持され、第２の符号化ステップにおいて導出され、このステップにおいて、左マスターおよび右マスターチャネルは、ステレオマスターチャネルにダウンミックスされる。このダウンミックス処理の間に、全体システムに対するＩＣＣパラメータが導出され、これは、このＩＣＣパラメータが、左／右コヒーレンスによく近似するＩＣＣパラメータとなるからである。本発明のこの実施の形態において、従来技術における場合のように、任意のチャネルペアを表現する、１セットのＩＣＣパラメータに何らかのアーティフィシャルな関数を適用するのではなく、単に、適切な方法において階層的符号化ステップを構成することによって、６つのオーディオチャネルの最も重要な左／右コヒーレンスを表現するＩＣＣパラメータを得る。

本発明の前述した実施の形態の変形において、５．１オーディオ信号のセンターチャネルおよび低周波チャネルはセンターマスターチャネルにダウンミックスされ、このチャネルは、主としてセンターチャネルについての情報を保持し、これは、低周波チャネルが、人間によって信号の音源をローカライズすることがほとんどできないような低い周波数を有する信号だけを含んでいるからである。センターマスターチャネルを表現するパラメータによって、前述のようにして導出されるＩＣＣ値をさらに操作することは利点となる。これは、例えば、エネルギー情報でＩＣＣ値を重み付けすることによって行うことができ、このエネルギー情報は、ステレオマスターチャネルに関してセンターマスターチャネルを介してどれ位の大きさのエネルギーが送信されるかを示す。

本発明のさらなる実施の形態において、階層的符号化処理は、第１のステップにおいて、５．１オーディオ信号の左フロントおよび右フロントチャネルがフロントマスターチャネルにダウンミックスされる一方で、左リアおよび右リアチャネルはリアマスターチャネルにダウンミックスされるように実行される。したがって、各ダウンミックス処理において、重要な左／右コヒーレンスについての情報を含むＩＣＣ値が生成される。その後、結合されて送信されたＩＣＣパラメータが２つの別個のＩＣＣ値の結合から導出され、送信ＩＣＣパラメータを導出する有利な方法は、チャネルのレベルパラメータを重み付けとして用いて、ＩＣＣ値の重み付け和を構築することである。

本発明の変形において、センターチャネルおよび低周波チャネルはセンターマスターチャネルにダウンミックスされ、その後、センターマスターチャネルおよびフロントマスターチャネルはステレオマスターチャネルにダウンミックスされる。後者のダウンミックス処理において、センターおよびステレオチャネル間の相関が、受信され、送信ＩＣＣパラメータを操作または変形するために用いられ、このようにして、フロントオーディオ信号へのセンター貢献も考慮に入れられる。前述したシステムの主な利点は、オーディオ信号に最も貢献するチャネルが主として送信ＩＣＣ値を規定するように、コヒーレンス情報を構築できることである。これは、通常、フロントチャネルとなるが、例えば、ミュージックコンサートのマルチチャネル表現において、主にリアチャネルのＩＣＣ値を用いて、拍手する聴衆の信号を際立たせることもできる。さらなる利点は、マルチチャネルオーディオ信号の空間特性に基づいて、フロントおよびリアチャネル間の重み付けをダイナミックに変化できることである。

本発明の１つの実施の形態において、発明の階層的デコーダは、既存の復号化ステップに必要な数よりも少ない数のＩＣＣパラメータを受信する。このデコーダは、各復号化ステップに必要なＩＣＣパラメータを受信ＩＣＣパラメータから導出することが可能である。

これは、受信ＩＣＣパラメータおよび受信ＩＣＬＤ値に基づく導出ルールを用いて、または、これに換えて所定の値を用いて、追加のＩＣＣパラメータを導出して行うことができる。

しかしながら、好適な実施の形態において、デコーダは、各個別の復号化ステップに対して１つの送信ＩＣＣパラメータを用いることが可能である。これには、最も重要な相関として左／右相関が、本発明の概念内において送信ＩＣＣパラメータにおいて維持されるという利点がある。このようにすれば、聴取者は、非常にうまく元の信号に似せている信号の再生を体験することになる。ＩＣＣパラメータは再構成された信号の知覚的幅広さを規定していることをここで再述したい。送信後に、デコーダが送信ＩＣＣパラメータを変形すると、再構成された信号の知覚的幅広さを表現しているＩＣＣパラメータは、階層的再生内において、左／右およびフロント／バックの相関に対してかなり違ってしまうことになる。これは最も不利な点であり、このことは、聴取者が自分の頭を動かしたり回したりすると、信号が知覚的に広がったり狭まったりするのが感じられ、当然ながらこれはとても気に障ることであるからである。これは、１つの受信ＩＣＣパラメータを階層的デコーダの復号化ユニットに配信することによって回避することができる。

別の好適な実施の形態において、本発明のデコーダは、フルセットのＩＣＣ値または１つのＩＣＣ値を受信することが可能であり、このデコーダは、ビットストリーム内においてストラテジーインディケイションを受信することによって、適用する復号化ストラテジーを認識する。また、このような下位互換性を持つデコーダは、従来技術の環境においても動作が可能で、フルセットのＩＣＣデータを送信する従来技術の信号も復号化する。

本発明の好適な実施の形態が添付図面を参照して後に説明されるが、これらの図としては：
図１は、本発明の階層的オーディエンコーダの実施の形態のブロック図を示し、
図２は、本発明のオーディオエンコーダの実施の形態を示し、
図２ａは、本発明のオーディオエンコーダのＩＩＣパラメータの実行可能な操作スキームを示し、
図３ａおよび図３ｂは、サイドチャネル情報のグラフ表示を示し、
図４は、本発明のオーディオエンコーダの第２の実施の形態を示し、
図５は、本発明のオーディオデコーダの好適な実施の形態のブロック図を示し、
図６は、本発明のオーディオデコーダの実施の形態を示し、
図７は、本発明のオーディオデコーダの別の実施の形態を示し、
図８は、本発明のトランスミッタまたはオーディオレコーダを示し、
図９は、本発明のレシーバまたはオーディオプレーヤを示し、
図１０は、本発明の伝送システムを示し、
図１１は、従来技術のジョイントステレオエンコーダを示し、
図１２は、従来技術のＢＣＣエンコーダ／デコーダ連鎖のブロック図表示を示し、
図１３は、ＢＣＣ合成ブロックの従来技術実施のブロック図を示し、
図１４は、ＢＣＣパラメータを決定するためのスキームの表示を示し、
図１５は、従来技術の階層的エンコーダを示す。

図１は、オーディオ信号のパラメトリック表現を生成する本発明のエンコーダのブロック図を示す。図１は、連続してオーディオチャネルを結合し、さらに１つのチャネルに結合されるチャネルペアの空間特性を表現する空間パラメータを生成するジェネレータ２２０を示す。図１は、チャネルペア間のレベル差情報を選択することによって、さらにジェネレータ２２０により生成されるコヒーレンス情報を用いて左／右コヒーレンス度を決定することによって、マルチチャネルオーディオ信号のパラメトリック表現を提供する提供器２２２をさらに示す。

階層的マルチチャネルオーディオ符号化についての本発明の概念の原理を明示するために、図１は、４つの元のオーディオチャネル２２４ａ〜２２４ｄを反復して結合して、１つのチャネル２２６を得る場合を示す。元のオーディオチャネル２２４ａおよび２２４ｂは、それぞれ元の４チャネルオーディオ信号の左フロントおよび左リアチャネルを表し、チャネル２２４ｃおよび２２４ｄは、それぞれ右フロントおよび右リアチャネルを表す。一般性を損なわないように、各種の空間パラメータのうち２つだけが、図１に示される（ＩＣＬＤおよびＩＣＣ）。本発明によれば、ジェネレータ２２０は、重要な左／右コヒーレンス情報を伝えるＩＣＣパラメータを結合処理の間に導出することができるというような方法で、オーディオチャネル２２４ａ〜２２４ｄを結合する。

第１のステップにおいて、左サイド情報だけを含むチャネル２２４ａおよび２２４ｂは、左マスターチャネル２２８ａ（Ｌ）に結合され、さらに右サイド情報だけを含む２つのチャネル２２４ｃおよび２２４ｄは、右マスターチャネル２２８ｂ（Ｒ）に結合される。この結合の間に、ジェネレータは、２つのＩＣＬＤパラメータ２３０ａおよび２３０ｂを生成し、両方とも、１つのチャネルに結合される２つの元のチャネルのレベル差についての情報を含む空間パラメータである。また、ジェネレータは、１つのチャネルに結合される２つのチャネル間の相関を表現するＩＣＣパラメータ２３２ａおよび２３２ｂも生成する。ＩＣＬＤおよびＩＣＣパラメータ２３０ａ、２３０ｂ、２３２ａおよび２３２ｂは、提供器２２２に転送される。

階層的生成プロセスの次のステップにおいて、左マスターチャネル２２８ａは、右マスターチャネル２２８ｂと結合され、オーディオチャネル２２６が得られ、ジェネレータは、ＩＣＬＤパラメータ２３４およびＩＣＣパラメータ２３６を提供し、両方とも提供器２２２に送信される。ここで重要なことは、この結合ステップにおいて生成されるＩＣＣパラメータ２３６がオーディオチャネル２２４ａ〜２２４ｄによって表される元の４チャネルオーディオ信号の重要な左／右コヒーレンス情報を主として表すことに留意することである。

したがって、提供器２２２は、パラメトリック表現がパラメータ２３０ａ、ｂ、２３２ａ、ｂ、２３４および２３６を備えるように、得られる空間パラメータ２３０ａ、ｂ、２３２ａ、ｂ、２３４および２３６からパラメトリック表現を構築する。

図２は、５．１マルチチャネル信号を１つのモノラル信号に符号化する本発明のオーディオエンコーダの好適な実施の形態を示す。

図２は、３つの変換ユニット２４０ａ〜２４０ｃと、５つの２対１ダウンミキサ２４２ａ〜２４２ｅと、パラメータ結合ユニット２４４と、逆変換ユニット２４６とを示す。元の５．１チャネルオーディオ信号は、左フロントチャネル２４８ａ、左リアチャネル２４８ｂ、右フロントチャネル２４８ｃ、右リアチャネル２４８ｄ、センターチャネル２４８ｅ、および低周波チャネル２４８ｆによって与えられる。ここで重要なことは、左サイド情報２４８ａおよび２４８ｂだけを含む１つのチャネルが１つのチャネルペアを形成し、右サイド情報２４８ｃおよび２４８ｄだけを含むチャネルがもう１つのチャネルペアを形成し、さらに、センターチャネル２４８ｅおよび２４８ｆが第３のチャネルペアを形成するというような方法で、元チャネルがグループ化されることに留意することである。

変換ユニット２４０ａ〜２４０ｃは、チャネル２４８ａ〜２４８ｆを時間領域から、周波数サブバンド領域におけるこれらのスペクトル表現２５０ａ〜２５０ｆに変換する。第１の階層的符号化ステップ２５２において、左チャネル２５０ａおよび２５０ｂは、左マスターチャネル２５４ａに符号化され、右チャネル２５０ｃおよび２５０ｄは、右マスターチャネル２５４ｂに符号化され、さらにセンターチャネル２５０ｅおよび低周波チャネル２５０ｆは、センターマスターチャネル２５６に符号化される。この第１の階層的符号化ステップ２５２の間に、関与する３つの２対１エンコーダ２４２ａ〜２４２ｃは、ダウンミックスされたチャネル２５４ａ、２５４ｂおよび２５６を生成し、さらに、重要な空間パラメータセット２６０ａ、２６０ｂおよび２６０ｃを生成し、ここで、パラメータセット２６０ａ（パラメータセット１）は、チャネル２５０ａおよび２５０ｂ間の空間情報を表現し、パラメータセット２６０ｂ（パラメータセット２）は、チャネル２５０ｃおよび２５０ｄ間の空間関係を表現し、さらに、パラメータセット２６０ｃ（パラメータセット３）は、チャネル２５０ｅおよび２５０ｆ間の空間関係を表現する。

第２の階層的ステップ２６２において、左マスターチャネル２５４ａおよび右マスターチャネル２５４ｂは、ステレオマスターチャネル２６４にダウンミックスされ、空間パラメータセット２６６（パラメータセット４）を生成し、このパラメータセット２６６のＩＣＣパラメータは、重要な左／右相関情報を含む。パラメータセット２６６から結合されたＩＣＣ値を構築するために、パラメータセット２６６を、データ接続２６８を介してパラメータ結合ユニット２４４に転送することができる。第３の階層的符号化ステップ２７２において、ステレオマスターチャネル２６４は、得られるモノラルチャネル２７４を形成するために、センターマスターチャネル２５６と結合される。このダウンミックス処理の間に導出されるパラメータセット２７６を、データ接続２７８を介してパラメータ結合ユニット２４４に転送することができる。最後に、得られるチャネル２７４は、オーディオチャネル２４８ａ〜２４８ｆによって表される元の５．１チャネル信号の最終モノラル表現となるモノラルダウンミックスオーディオ信号２８０を構築するために、逆変換ユニット２４６によって時間領域に変換される。

モノラルダウンミックスオーディオ信号２８０から元の５．１チャネルの信号を再構成するために、５．１チャネルオーディオ信号のパラメトリック表現がさらに必要である。図２に示されるツリー構造では、左フロントおよびバックチャネルがＬ信号２５４ａに結合されることが分かる。同様に、右フロントおよびバックチャネルはＲ信号２５４ｂに結合される。引き続いて、ＬおよびＲ信号の結合が実行され、パラメータセット４（２６６）を導出する。この階層的構造の場合において、結合されたＩＣＣ値を導出する簡単な方法は、パラメータセット４のＩＣＣ値を選び、これを結合ＩＣＣ値とし、次にこれをパラメータ結合ユニット２４４によって５．１チャネル信号のパラメトリック表現に組み込むことである。
もっと高度な方法は、図２ａに示すように、（例えば、パラメータセット５のパラメータを用いることによって）センターチャネルの作用を考慮に入れることもできる。

例として、ＬＲ（２６４）チャネルおよびパラメータセット５のＣチャネル（２５６）に含まれるエネルギーのエネルギー比Ｅ（ＬＲ）／Ｅ（Ｃ）を、ＩＣＣ値を操作するために用いることができる。ほとんどのエネルギーがＬＲパスから来ている場合、送信ＩＣＣの値は、パラメータセット４のＩＣＣ値ＩＣＣ（ＬＲ）に近付くはずである。ほとんどのエネルギーがＣパス２５６から来ている場合、送信ＩＣＣの値は、図２ａに示すように、次第に１に近付くはずである。この図は、エネルギー比が所定の閾値２８６を超えたときに２つの極値間で切り替えること（操作関数２８８ａ）による、または、これら極値間をスムースに移行すること（操作関数２８８ｂ）による、ＩＣＣパラメータの操作を実施する２つの可能な方法を示す。

図３ａおよび図３ｂは、従来技術を用いて階層的エンコーダ構造から導出される５．１オーディオチャネルのパラメトリック表現（図３ａ）と、オーディオコーディングに対する本発明の概念を用いたもの（図３ｂ）との比較を示す。

図３ａは、従来技術によって提供されるような１つの時間フレームおよび離散周波数間隔のパラメトリック表現を示す。図２の２対１エンコーダ２４２ａ〜２４２ｅの各々は、ＩＣＬＤおよびＩＣＣパラメータの１つのペアを導出し、このパラメータペアの元が図３ａ中に示される。従来技術のアプローチによれば、２対１エンコーダ２４２ａ〜２４２ｅによって提供されるすべてのパラメータを、５．１チャネルオーディオ信号を再構築するためのサイド情報として、ダウンミックスモノラルオーディオ信号２８０とともに送信する必要がある。

図３ｂは、本発明の概念に従って導出されるパラメータを示す。２対１エンコーダ２４２ａ〜２４２ｅの各々は、１つのパラメータ、ＩＣＬＤパラメータだけに直接的に貢献する。１つの送信ＩＣＣパラメータＩＣＣ_Cは、パラメータ結合ユニット２４４によって導出されるのであって、２対１エンコーダ２４２ａ〜２４２ｅによって直接提供されるのではない。図３ａおよび図３ｂから明らかなように、階層的エンコーダに対する本発明の概念によって、従来技術に比べてサイド情報データの量を大幅に削減することができる。

図４は、階層的符号化処理において、コンパクトなサイド情報を供給して、５．１チャネルオーディオ信号をモノラルオーディオ信号に符号化することを可能にする、本発明の別の好適な実施の形態を示す。ハードウェア構造の原理は図２に記載したものと同じなので、２つの図において同一のアイテムには同一の番号を付ける。違いは、入力チャネル２４８ａ〜２４８ｆのグループ化の違い、つまり順番の違いによるものであり、個々のチャネルは、図２におけるダウンミックス順序とは異なった順序でモノラルチャネル２７４にダウンミックスされる。したがって、図４に示す本発明の実施の形態を理解するために非常に重要である図２の記載と異なる態様についてのみ以下に説明する。

左フロントチャネル２４８ａおよび右フロントチャネル２８４ｃは、チャネルペアを形成するためにともにグループ化され、センターチャネル２４８ｅおよび低周波チャネル２４８ｆは、別の入力チャネルペアを形成し、さらに５．１オーディオ信号の第３の入力チャネルペアは、左リアチャネル２４８ｂおよび右リアチャネル２４８ｄで形成される。

第１の階層的符号化ステップ２５２において、左フロントチャネル２５０ａおよび右フロントチャネル２５０ｃは、フロントマスターチャネル２９０（Ｆ）にダウンミックスされ、センターチャネル２５０ｅおよび低周波チャネル２５０ｆは、センターマスターチャネル２９２（Ｃ）にダウンミックスされ、さらに左リアチャネル２５０ｂおよび右リアチャネル２５０ｄは、リアマスターチャネル２９４（Ｓ）にダウンミックスされる。パラメータセット３００ａ（パラメータセット１）は、フロントマスターチャネル２９０を表現し、パラメータセット３００ｂ（パラメータセット２）は、センターマスターチャネル２９２を表現し、さらにパラメータセット３００ｃ（パラメータセット３）は、リアマスターチャネル２９４を表現する。

ここで重要なことは、パラメータセット３００ａおよびパラメータセット３００ｃが、元のチャネル２４８ａ〜２４８ｆ間の重要な左／右相関を表現する情報を保持することに留意することである。そのため、パラメータセット３００ａおよびパラメータセット３００ｃは、データリンク３０２ａおよび３０２ｂを介してパラメータ結合ユニット２４４に提供される。

第２の符号化ステップ２６２において、フロントマスターチャネル２９０およびセンターマスターチャネル２９２は、純フロントチャネル３０４にダウンミックスされ、パラメータセット３００ｄ（パラメータセット４）を生成する。このパラメータセット３００ｄも、データリンク３０６を介してパラメータ結合ユニット２４４に提供される。

第３の階層的符号化ステップ２７２において、純フロントチャネル３０４は、リアマスターチャネル２９４とともに得られるチャネル２７４（Ｍ）にダウンミックスされ、続いてこれは、最終モノラルダウンミックスオーディオチャネル２８０を形成するために、逆変換ユニット２４６によって時間領域に変換される。また、純フロントチャネル３０４およびリアマスターチャネル２９４のダウンミックスにより生成されるパラメータセット３００ｅ（パラメータセット５）も、データリンク３１０を介してパラメータ結合ユニット２４４に提供される。

図４のツリー構造は、最初に、フロントとリアとに別々に、左右のチャネルの結合を実行する。これにより、基本的な左／右の相関／コヒーレンスは、パラメータセット１および３（３００ａ、３００ｃ）に存在する。結合ＩＣＣ値は、パラメータ結合ユニット２４４によって、パラメータセット１および３のＩＣＣ値間で重み付け平均を構築することによって、構築することができる。これは、より大きな重み付けが、より強いチャネルペア（Ｌｆ／Ｒｆ対Ｌｒ／Ｒｒ）に与られるということである。次により重み付け和を構築する結合ＩＣＣパラメータＩＣＣ_Cを導出することによって、同様なことが達成でき、
ＩＣＣ_C＝（Ａ＊ＩＣＣ₁＋Ｂ＊ＩＣＣ₂）／（Ａ＋Ｂ）
ここで、Ａは、ＩＣＣ₁に対応するチャネルペア内のエネルギーを意味し、Ｂは、ＩＣＣ₂に対応するチャネルペア内のエネルギーを意味する。

別の実施の形態において、さらに高度な方法として、（例えば、パラメータセット４のパラメータを考慮に入れることによって）センターチャネルの作用を考慮に入れることもできる。

図５は、元の４チャネルオーディオ信号のパラメトリック表現である受信されたコンパクトなサイド情報を処理する本発明のデコーダを示す。図５は、４チャネルオーディオ信号のコンパクトなパラメトリック表現を提供するレシーバ３１０と、コンパクトなパラメトリック表現を処理して４チャネルオーディオ信号の完全なパラメトリック表現を供給し、受信モノラルオーディオ信号から４チャネルオーディオ信号を再構成することを可能にするプロセッサ３１２とを備える。

レシーバ３１０は、空間パラメータＩＣＬＤ（Ｂ）３１４、ＩＣＬＤ（Ｆ）３１６、ＩＣＬＤ（Ｒ）３１８およびＩＣＣ３２０を受信する。提供されたパラメトリック表現は、パラメータ３１４〜３２０からなり、元のオーディオチャネル３２４ａ〜３２４ｄの空間特性を表現する。

最初のアップミックスステップとして、プロセッサ３１２は、２つのチャネル３２４ａおよび３２４ｂ（ＲｆおよびＬｆ）の結合である第１のチャネルペア３２６ａと、２つのチャネル３２４ｃおよび３２４ｄ（ＲｒおよびＬｒ）の結合である第２のチャネルペア３２６ｂとを表現する空間パラメータを供給する。そのためには、チャネルペアのレベル差３１４が必要となる。両方のチャネルペア３２６ａおよび３２６ｂは、左チャネルおよび右チャネルを含むので、これらのチャネルペア間の差は、主にフロント／バック相関を表現する。したがって、主として左／右コヒーレンスについての情報を伝えている受信ＩＣＣパラメータ３２０は、左／右コヒーレンス情報が望ましくはチャネルペア３２６ａおよび３２６ｂに対する個別のＩＣＣパラメータを供給するために用いられるように、プロセッサ３１２によって処理される。

次のステップにおいて、プロセッサ３１２は、チャネル３２６ａから単一のオーディオチャネル３２４ａおよび３２４ｂを、チャネル３２６ｂからチャネル３２４ｃおよび３２４ｄを再構成することを可能にする適切な空間パラメータを供給する。そのためには、プロセッサ３１２は、２つのチャネルペアに対して、レベル差３１６および３１８を供給し、さらに、適切なＩＣＣ値を供給しなければならなく、これは、チャネルペア３２６ａおよび３２６ｂの各々が重要な左／右コヒーレンス情報を含むからである。

１つの例において、プロセッサ３１２は、単に、結合された受信ＩＣＣ値３２０をアップミックスチャネルペア３２６ａおよび３２６ｂに提供することができる。この代わりに、受信された結合ＩＣＣ値３２０は、例えば重み付けを２つのチャネルペアのレベル差３１４に基づくようにして、２つのチャネルペアに対する個別のＩＣＣ値を導出するために、重み付けすることができる。

本発明の好適な実施の形態において、プロセッサは、チャネル３２４ａ〜３２４ｄの再生の間に余分なアーチファクトが導入されることを回避するために、１つ１つのアップミックスステップに対して受信ＩＣＣパラメータ３２０を提供する。

図６は、元の５．１オーディオ信号のコンパクトなパラメトリック表現を用いて、モノラルオーディオ信号を５．１マルチチャネルオーディオ信号に復号化する、本発明による階層的復号化手順を組み込んだデコーダの好適な実施の形態を示す。

図６は、変換ユニット３５０と、パラメータ処理ユニット３５２と、５つの１対２デコーダ３５４ａ〜３５４ｅと、３つの逆変換ユニット３５６ａ〜３５６ｃとを示す。

図６による本発明のデコーダの実施の形態は、図２に記載したエンコーダと対をなすものであって、モノラルダウンミックスオーディオチャネル３５８を受信するように設計され、このチャネルは、最終的に、オーディオチャネル３６０ａ（ｌｆ）、３６０ｂ（ｌｒ）、３６０ｃ（ｒｆ）、３６０ｄ（ｒｒ）、３６０ｅ（ｃｏ）および３６０ｆ（ｌｆｅ）からなる５．１オーディオ信号にアップミックスされる。ダウンミックスチャネル３５８（ｍ）は、受信され、変換ユニット３５０を用いて、時間領域から周波数領域に、その周波数表現３６２に変換される。パラメータ処理ユニット３５２は、ダウンミックスチャネル３５８と並行して、結合されたコンパクトな空間パラメータセット３６４を受信する。

階層的復号化処理の第１のステップ３６３において、モノラルダウンミックスチャネル３６２は、ステレオマスターチャネル３６４（ＬＲ）およびセンターマスターチャネル３６６（Ｃ）にアップミックスされる。

階層的復号化処理の第２のステップ３６８において、ステレオマスターチャネル３６４は、左マスターチャネル３７０（Ｌ）および右マスターチャネル３７２（Ｒ）にアップミックスされる。

復号化処理の第３のステップにおいて、左マスターチャネル３７０は、左フロントチャネル３７４ａおよび左リアチャネル３７４ｂにアップミックスされ、右マスターチャネル３７２は、右フロントチャネル３７４ｃおよび右リアチャネル３７４ｄにアップミックスされ、さらにセンターマスターチャネル３６６は、センターチャネル３７４ｅおよび低周波チャネル３７４ｆにアップミックスされる。

最後に、６つの単一のオーディオチャネル３７４ａ〜３７４ｆは、逆変換ユニット３５６ａ〜３５６ｃによって、時間領域における表現に変換され、このようにして、６つのオーディオチャネル３６０ａ〜３６０ｆを有する再構成された５．１オーディオ信号を構築する。５．１オーディオ信号の元の空間特性を保持するためには、パラメータ処理ユニット３５２、特にパラメータ処理ユニットが個別のパラメータセット３８０ａ〜３８０ｅを提供する方法、特にパラメータ処理ユニット３５２が個別のパラメータセット３８０ａ〜３８０ｅを導出する方法が極めて重要である。

受信された結合ＩＣＣパラメータは、元の６チャネルオーディオ信号の重要な左／右コヒーレンスを表現する。したがって、パラメータ処理ユニット３５２は、送信されてきたパラメータセット３６４内において最初に受信された空間値の左／右相関情報に似せて、パラメータセット４（３８０ｄ）のＩＣＣ値を構築する。最も単純な実施の形態では、パラメータ処理ユニット３５２は、受信された結合ＩＣＣパラメータをそのまま用いる。

本発明によるデコーダの別の好適な実施の形態が図７に示され、図７のデコーダは、図４のエンコーダと対になるものである。

図７のエンコーダは、図６のデコーダと同じ機能ブロックを備えるので、以下の説明は、図６のものと異なる階層的復号化処理におけるステップに限定する。これは、元の５．１オーディオ信号が、図６で受信されるものと異なる方法でダウンミックスされるので、モノラル信号３６２が、異なる順序および異なるチャネル結合でアップミックスされるというのが主な理由である。

階層的復号化処理の第１のステップ３６３において、モノラル信号３６２は、リアマスターチャネル４００（Ｓ）および純フロントチャネル４０２（ＣＦ）にアップミックスされる。

第２のステップ３６８において、純フロントチャネル４０２は、フロントマスターチャネル４０４およびセンターマスターチャネル４０６にアップミックスされる。

第３の復号化ステップ３７２において、フロントマスターチャネルは、左フロントチャネル３７４ａおよび右フロントチャネル３７４ｃにアップミックスされ、センターマスターチャネル４０６は、センターチャネル３７４ｅおよび低周波チャネル３７４ｆにアップミックスされ、さらにリアマスターチャネル４００は、左リアチャネル３７４ｂおよび右リアチャネル３７４ｄにアップミックスされる。最後に、６つのオーディオチャネル３７４ａ〜３７４ｆは、周波数領域から時間領域表現３６０ａ〜３６０ｆに変換され、再構成された５．１オーディオ信号を構築する。

エンコーダによってサイド情報として符号化された元の５．１信号の空間特性を維持するために、パラメータ処理ユニット３５２は、１対２デコーダ３５４ａ〜３５４ｅに対して、パラメータセット４１０ａ〜４１０ｅを供給する。第３のアップミックスプロセス３７２においてＬｆ、Ｒｆ、ＬｒおよびＲｒチャネルを構築するために重要な左／右相関情報が必要なので、パラメータ処理ユニット３５２は、パラメータセット４１０ａおよび４１０ｃを構築するために単に送信ＩＣＣパラメータを取っている最も簡単な実施の形態において、パラメータセット４１０ａおよび４２０ｃにおいて適切なＩＣＣ値を供給し供給する。可能な代替例において、受信ＩＣＣパラメータに適切な重み関数を適用し、例えばその重み付けがフロントマスターチャネル４０４およびリアマスターチャネル４００において送信されるエネルギーによって決まるようにして、受信ＩＣＣパラメータをパラメータセット４１０ａおよび４１０ｃに対する個別のパラメータに変換することができる。また、もっと高度な実施の形態において、パラメータ処理ユニット３５２は、パラメータセット５およびパラメータセット４（４１０ａ、４１０ｂ）に対する個別のＩＣＣ値を供給するために、センターチャネルの情報を考慮に入れることができる。

図８は、エンコーダ２２０、入力インタフェース５０２および出力インタフェース５０４を有する本発明のオーディオトランスミッタまたはレコーダ５００を示す。

トランスミッタ／レコーダ５００の入力インタフェース５０２には、オーディオ信号を供給することができる。オーディオ信号は、トランスミッタ／レコーダ内において本発明のエンコーダ２２０を用いて符号化され、符号化された表現は、トランスミッタ／レコーダ５００の出力インタフェース５０４から出力される。次に、符号化された表現を送信または記憶媒体に保存することができる。

図９は、本発明のデコーダ３１２、ビットストリーム入力部５２２およびオーディオ出力部５２４を有する本発明のレシーバまたはオーディオプレーヤ５２０を示す。

本発明のレシーバ／オーディオプレーヤ５２０の入力部５２２には、ビットストリームを入力することができる。次に、ビットストリームは、デコーダ３１２を用いて復号化され、復号化された信号は、本発明のレシーバ／オーディオプレーヤ５２０の出力部５２４から出力または再生される。

図１０は、本発明のトランスミッタ５００および本発明のレシーバ５２０を備える伝送システムを示す。

トランスミッタ５００の入力インタフェース５０２に入力されたオーディオ信号は、符号化され、トランスミッタ５００の出力部５０４からレシーバ５２０の入力部５２２に転送される。レシーバは、オーディオ信号を復号化し、オーディオ信号を再生するかまたはその出力部５２４から出力する。

説明した本発明のデコーダの例は、マルチチャネルオーディオ信号をモノラルオーディオ信号にダウンミックスする。当然のことであるが、これに換えて、マルチチャネル信号をステレオ信号にダウンミックスすることも可能であり、例えば、図２および図４で説明した実施の形態については、階層的符号化処理における１つのステップをバイパスできる。また、他のどのような数の得られるチャネルも可能である。

オーディオ信号の空間特性のコンパクトなパラメトリック表現を供給／使用して、マルチチャネルオーディオ情報を階層的に符号化または復号化するための本提案の方法を、主として、複数のＩＣＣ情報を１つの送信ＩＣＣ値に結合することによりサイド情報を縮小するものとして説明している。ここで、前記で説明した本発明は、決して１つの結合ＩＣＣ値の使用だけに限定されるものでないことを指摘しておく。他に、例えば、１つが重要な左／右相関を表現し、他の１つがフロント／バック相関を表現する、２つの結合値を生成することができる。

これを例えば図２に示した本発明の実施の形態においてうまく実施することができ、一方では左フロントチャネル２５０ａおよび左リアチャネル２５０ｂが左マスターチャネル２５４ａに結合され、他方では右フロントチャネル２５０ｃおよび右リアチャネル２５０ｄが右マスターチャネル２５４ｂに結合される。このようにして、これらの２つの符号化ステップによって、元のオーディオ信号のフロントバック相関についての情報を生成し、これにより、フロント／バック相関情報を保持して、追加のＩＣＣ値を提供するために容易に処理することができる。

さらに、本発明の好適な変形例において、パラメータを個別に送信する従来技術を用いることと、エンコーダからデコーダに送信されるサイド情報信号に応じて、結合された送信パラメータを用いることとの両方をすることができる符号化／復号化処理を有すると有利である。このようなシステムは、（個別に送信されるパラメータを用いて）より高度な表現精度を有利に実現し、さらに、もう一つのやり方として、（結合パラメータを用いて）サイド情報の低いビット比率を有利に実現することもできる。

通常、この設定は、用いられる伝送システムが受容できるサイド情報の量など、アプリケーション要件に応じて、ユーザによって選択される。このようにすれば、同一の統合エンコーダ／デコーダアーキテクチャを用いることができ、さらに、幅広い範囲にわたるサイド情報ビット使用率／精度の妥協点の範囲内において動作が可能となる。これは、いろいろな要求および送信能力を伴う、幅広い範囲の可能性あるアプリケーションをカバーするために重要な能力である。

このように有利な実施の形態の別の変形例において、エンコーダによって動作モードを自動的に選択でき、例えば、結合された送信モードが用いられた場合、復号化された値の理想的結果からの逸脱を解析する。有意な逸脱が見られない場合、結合パラメータ送信が用いられる。デコーダは、それ自体に、提供されたサイド情報の解析に基づいて、どのモードを用いるのが適切かを判断させることも可能である。例えば、仮に、提供されるパラメータがただ１つしかない場合、デコーダは、自動的に、結合された送信パラメータを用いる復号化モードに切り替える。

本発明の別の有利な変形例において、エンコーダ／デコーダは、オーディオ再生品質とサイド情報の望ましい低ビット使用率とのできるだけ最良の妥協点を確実に得るために、結合された送信パラメータを用いるモードから、個別に送信パラメータを用いるモードに自動的に切り替える。

図２、図４、図６および図７におけるエンコーダ／デコーダの好適な実施の形態から分かるように、これらのユニットは、同じ機能ブロックを用いている。そこで、別の好適な実施の形態では、１つのハウジング内において同一のハードウェアを用いてエンコーダとデコーダとを構築する。

本発明の他の実施の形態では、チャネルペアとして異なるチャネルをともにグループ化することによって、いろいろな符号化スキーム間をダイナミックに切り替えることができ、所定のマルチチャネルオーディオ信号に対する最良のオーディオ品質を提供する符号化スキームをダイナミックに用いることができる。

モノラルダウンミックスチャネルをマルチチャネルオーディオ信号のパラメトリック表現と同時に送信する必要はない。また、パラメトリック表現だけを送信し、マルチチャネルオーディオ信号のモノラルダウンミックスを例えばレコードとして既に所有している聴取者が、自分の既存のマルチチャネル装置およびパラメトリックサイド情報を用いてマルチチャネル信号を再生することができるようにすることも可能である。

要するに、本発明は、既知の従来技術のパラメータから、これらの結合パラメータをうまく決定することを可能にする。階層的エンコーダ／デコーダ構造においてパラメータを結合するという本発明の概念を適用して、マルチチャネルオーディオ信号をモノラルベースのパラメトリック表現にダウンミックスして、低率のサイド情報（＝ビット率の削減）で、元の信号の精度のよいパラメータ化を得ることができる。

エンコーダが、送信されなければならないパラメータの数を削減することを目的として、いくつかのパラメータを結合することが本発明の目的の１つである。次に、デコーダは、図１５に示した例の従来技術のシステムにおける場合のように、デフォルトのパラメータ値を用いる代わりに、送信されてきたパラメータの中から欠けているパラメータを導出する。

この利点は、図１５に例を示した、従来技術を用いた階層的パラメトリックマルチチャネルオーディオコーダの実施の形態を再度検討してみれば、明らかである。これにおいて、入力信号（左フロント、右フロント、左リア、右リア、センターおよび低周波エンハンスメントチャネルにそれぞれ対応するＬｆ、Ｒｆ、Ｌｒ、Ｒｒ、ＣおよびＬＦＥ）は、必要な時間／周波数タイルを得るために、セグメント化されて周波数領域に変換される。得られる信号は、ペアワイズ法で連続して結合される。例えば、信号ＬｆおよびＬｒは、信号「Ｌ」に結合される。対応する空間パラメータセット（１）が、信号ＬｆおよびＬｒ間の（すなわち１つ以上のＩＩＤ、ＩＣＣ、ＩＰＤからなる）空間特性をモデル化するために、生成される。図１５に示す従来技術による実施の形態において、この処理は、１つの出力チャネル（Ｍ）が得られるまで繰り返され、出力チャネルは、５つのパラメータセットを伴う。その結果、従来技術の階層的符号化技術は、すべてのパラメータセットの送信が必要ということになる。

しかしながら、すべてのパラメータセットは、あり得るすべての空間パラメータに対する値を含む必要はない。例えば、図１５におけるパラメータセット１は、ＩＩＤおよびＩＣＣパラメータからなってもよく、また、パラメータセット３は、ＩＤＤパラメータだけからなってもよい。特定のパラメータが特定のセットに対して送信されない場合、従来技術の階層的デコーダは、これらのパラメータに対してデフォルト値を適用する（例えばＩＣＣ＝＋１、ＩＰＤ＝０など）。このように、各パラメータセットは、特定の信号の結合だけを表し、残りのチャネルペアの空間特性を表現しない。

パラメータが送信されない信号の空間特性についての知識が上記のように欠けてしまうことは、本発明の概念を用いれば回避することができ、この場合、エンコーダは、元の信号の最も重要な空間特性が維持されるように特定のパラメータを結合する。

例えば、ＩＣＣパラメータが１つの値に結合される場合、結合パラメータを、すべての個別のパラメータの代わりとしてデコーダにおいて用いることができる（または、デコーダにおいて用いられる個別のパラメータを、送信されたパラメータから導出することができる）。デコーダによる再構成の後に、元のマルチチャネル信号のサウンドイメージにできるだけ近いイメージが維持されるように、エンコーダのパラメータ結合処理を実行することが重要な特徴となる。すなわち、ＩＣＣパラメータの送信にあたっては、元のサウンドフィールドの幅（非相関）を保持する必要がある。

最も重要なＩＣＣ値は、左／右軸間の値であり、これは、通常、聴取設定において、聴取者は前を向いているからである。これは、オーディオ信号の適切なパラメトリック表現が反復符号化処理間に得られ、得られる結合ＩＣＣ値が主として左／右の非相関を表すように、階層的符号化構造を構築することを有利に考慮に入れることができる。これについては、後記で本発明の好適な実施の形態を説明する際に、さらに詳しく説明する。

本発明の符号化／復号化スキームは、以下の２つの手段により、空間オーディオシステムの階層的構造を用いて、エンコーダからデコーダに送信されるパラメータの数の削減を可能にする。
・個別のエンコーダパラメータを結合して結合パラメータを形成し、これが個別のパラメータの代わりに送信される。パラメータの結合は、信号のサウンドイメージ（Ｌ／Ｒの相関／コヒーレンスを含む）ができるだけ維持されるように実行される。
・送信された結合パラメータが、いくつかの送信された個別のパラメータの代わりに、デコーダにおいて用いられる（または、実際に用いられるパラメータが、結合パラメータから導出される）。

本発明の方法の特定の実現要求によっては、本発明の方法は、ハードウェアまたはソフトウェアで実施することができる。この実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特に、それに格納される電子的に読み取り可能な制御信号を有するディスク、ＤＶＤまたはＣＤを用いて、実行することができる。したがって、一般に、本発明は、機械読み取り可能なキャリアに格納されるプログラムコードを有するコンピュータプログラム製品であり、そのプログラムコードは、そのコンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法を実行するために働く。したがって、言い換えれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、少なくとも１つの本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。

前述のように、特定の実施の形態を参照して特に図示して説明してきたが、本発明の精神、範囲を逸脱することなく、形態や詳細を様々変更することができることが、当業者ならば理解できるであろう。ここに開示するより広い概念から逸脱することなく、異なる実施の形態に適用して、変更が可能なことが、特許請求の範囲から理解できるであろう。

図１は、本発明の階層的オーディエンコーダの実施の形態のブロック図を示す。 図２は、本発明のオーディオエンコーダの実施の形態を示す。 図２ａは、本発明のオーディオエンコーダのＩＩＣパラメータの実行可能な操作スキームを示す。 図３ａは、サイドチャネル情報のグラフ表示を示す。 図３ａは、サイドチャネル情報のグラフ表示を示す。 図４は、本発明のオーディオエンコーダの第２の実施の形態を示す。 図５は、本発明のオーディオデコーダの好適な実施の形態のブロック図を示す。 図６は、本発明のオーディオデコーダの実施の形態を示す。 図７は、本発明のオーディオデコーダの別の実施の形態を示す。 図８は、本発明のトランスミッタまたはオーディオレコーダを示す。 図９は、本発明のレシーバまたはオーディオプレーヤを示す。 図１０は、本発明の伝送システムを示す。 図１１は、従来技術のジョイントステレオエンコーダを示す。 図１２は、従来技術のＢＣＣエンコーダ／デコーダ連鎖のブロック図表示を示す。 図１３は、ＢＣＣ合成ブロックの従来技術実施のブロック図を示す。 図１４は、ＢＣＣパラメータを決定するためのスキームの表示を示す。 図１５は、従来技術の階層的エンコーダを示す。

Claims (39)

1. 聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの右チャネルを有するオーディオ信号のパラメトリック表現を生成するためのエンコーダであって、
   パラメトリック情報を生成するためのジェネレータであって、前記ジェネレータは、いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出し、さらに前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出する、ジェネレータと、
   チャネルペアに対する前記レベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することとによって、前記パラメトリック表現を提供するための提供器とを備える、エンコーダ。
2. 前記ジェネレータは、
   左フロントチャネルｌｆおよび左リアチャネルｌｒを処理してｌｆ／ｌｒレベル情報を導出し、前記左フロントチャネルｌｆおよび前記左リアチャネルｌｒの結合が左マスターチャネルＬＭを形成するようにし、さらに右フロントチャネルｒｆおよび右リアチャネルｒｒを処理してｒｆ／ｒｒレベル情報を導出し、前記右フロントチャネルｒｆおよび前記右リアチャネルｒｒの結合が右マスターチャネルＲＭを形成するようにし、さらに
   前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭを処理してｌｍ／ｒｍレベル情報を導出しさらに前記コヒーレンス情報を導出し、前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭの結合がステレオマスターチャネルＳＭを形成するようにする、請求項１に記載のエンコーダ。
3. 前記ジェネレータは、センターチャネルｃｅおよび低周波チャネルｌｏを処理してｃｅ／ｌｏレベル情報を導出し、前記センターチャネルｃｅおよび前記低周波チャネルｌｏの結合がセンターマスターチャネルＣＭを形成するようにする、請求項２に記載のエンコーダ。
4. 前記ジェネレータは、前記ステレオマスターチャネルＳＭおよび前記センターマスターチャネルＣＭを処理してｓｍ／ｃｍレベル情報を導出し、前記ステレオマスターチャネルＳＭおよび前記センターマスターチャネルＣＭの結合がダウンミックスチャネルを形成するようにし、さらに
   前記提供器は、前記コヒーレンス情報および前記ｓｍ／ｃｍレベル情報を用いて前記左／右コヒーレンス度を決定する、請求項３に記載のエンコーダ。
5. 前記提供器は、前記ｓｍ／ｃｍレベル情報が、前記センターマスターチャネルＣＭにおけるエネルギーよりも前記ステレオマスターチャネルＳＭにおけるエネルギーの方が多いことを示す場合に、前記ｓｍ／ｃｍレベル情報が、前記センターマスターチャネルＣＭにおけるエネルギーの方が多いことを示す状態と比べて、前記左／右コヒーレンス度を前記コヒーレンス情報により近づけ、前記状態の場合に、前記左／右コヒーレンス度を１により近づけるように、前記ｓｍ／ｃｍレベル情報に応じて前記左／右コヒーレンス度を算出する、請求項４に記載のエンコーダ。
6. 前記提供器は、前記ｓｍ／ｃｍレベル情報が、前記ステレオマスターチャネルＳＭにおけるエネルギーおよび前記センターマスターチャネルＣＭにおけるエネルギーの比率が所定の値を超えることを示す場合に、前記ｓｍ／ｃｍレベル情報が、前記ステレオマスターチャネルＳＭにおける前記エネルギーの前記センターマスターチャネルＣＭにおける前記エネルギーに対する比率が前記所定の値以下のままであることを示す状態と比べて、前記左／右コヒーレンス度を前記コヒーレンス情報に設定し、前記状態の場合に、前記左／右コヒーレンス度を１に設定するように、前記ｓｍ／ｃｍレベル情報に応じて前記左／右コヒーレンス度を算出する、請求項４に記載のエンコーダ。
7. 前記提供器は、前記左／右コヒーレンス度が前記パラメトリック表現内において前記オーディオ信号の唯一のコヒーレンス情報であるように、前記パラメトリック表現を提供する、請求項１に記載のエンコーダ。
8. 前記ジェネレータは、左フロントチャネルｌｆおよび右フロントチャネルｒｆを処理してｌｆ／ｒｆレベル情報および第１のコヒーレンス情報を導出し、前記左フロントチャネルｌｆおよび前記右フロントチャネルｒｆの結合がフロントマスターチャネルＦＭを形成するようにし、さらに左リアチャネルｌｒおよび右リアチャネルｒｒを処理してｌｒ／ｒｒレベル情報を導出しさらに第２のコヒーレンス情報を導出し、前記左リアチャネルｌｒおよび前記右リアチャネルｒｒの結合がリアマスターチャネルＲＭを形成するようにし、さらに
   前記提供器は、前記第１のコヒーレンス情報および前記第２のコヒーレンス情報を結合して前記左／右コヒーレンス度を決定する、請求項１に記載のエンコーダ。
9. 前記提供器は、前記フロントマスターチャネルＦＭのレベル情報および前記リアマスターチャネルＲＭのレベル情報を重み付けとして用いて、前記第１および前記第２のコヒーレンス情報の重み付け和に基づいて前記左／右コヒーレンス度を決定する、請求項８に記載のエンコーダ。
10. 前記ジェネレータは、センターチャネルｃｅおよび低周波チャネルｌｏを処理してｃｅ／ｌｏレベル情報を導出し、前記センターチャネルｃｅおよび前記低周波チャネルｌｏの結合がセンターマスターチャネルＣＭを形成するようにする、請求項８に記載のエンコーダ。
11. 前記ジェネレータは、前記フロントマスターチャネルＦＭおよび前記センターマスターチャネルＣＭを処理してｆｍ／ｃｍレベル情報を導出し、前記フロントマスターチャネルＦＭおよび前記センターマスターチャネルＣＭの結合が純フロントチャネルＰＦを形成するようにし、さらに
    前記提供器は、前記第１および前記第２のコヒーレンス情報を結合してさらに前記ｆｍ／ｃｍレベル情報を用いて前記左／右コヒーレンス度を決定する、請求項１０に記載のエンコーダ。
12. 前記ジェネレータは、前記純フロントチャネルＰＦおよび前記リアマスターチャネルＲＭを処理してｐｆ／ｒｍレベル情報を導出し、前記純フロントチャネルＰＦおよび前記リアマスターチャネルＲＭの結合がダウンミックスチャネルを形成するようにする、請求項１１に記載のエンコーダ。
13. 前記ジェネレータは、前記チャネルペアを所定の長さの離散時間フレームで処理する、請求項１に記載のエンコーダ。
14. 前記ジェネレータは、前記チャネルペアを所定のバンド幅の離散周波数間隔で処理する、請求項１に記載のエンコーダ。
15. 前記ジェネレータは、聴取位置に関して前記フロント側からの情報だけを有する第１のチャネルおよび前記バック側からの情報だけを有する第２のチャネルを含むチャネルペアに対する追加のコヒーレンス情報を導出し、さらに
    前記提供器は、前記追加のコヒーレンス情報を用いてフロント／バックコヒーレンス度を決定する前記パラメトリック表現を提供する、請求項１に記載のエンコーダ。
16. 元のオーディオ信号のパラメトリック表現を処理するためのデコーダであって、前記元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、
    前記オーディオ信号の前記パラメトリック表現を提供するためのレシーバであって、前記レシーバは、チャネルペアに対するレベル情報を提供し、さらに左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供し、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、レシーバと、
    チャネルペアに対するパラメトリック情報を供給するためのプロセッサであって、前記プロセッサは、前記パラメトリック表現からレベル情報を選択し、さらに前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出し、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、プロセッサとを備える、デコーダ。
17. 前記レシーバは、
    元の左フロントチャネルｌｆおよび元の左リアチャネルｌｒのチャネルペアに対するｌｆ／ｌｒレベル情報を提供し、前記元の左フロントチャネルｌｆおよび前記元の左リアチャネルｌｒの結合が左マスターチャネルＬＭを形成するようにし、
    元の右フロントチャネルｒｆおよび元の右リアチャネルｒｒのチャネルペアに対するｒｆ／ｒｒレベル情報を提供し、前記元の右フロントチャネルｒｆおよび前記元の右リアチャネルｒｒの結合が右マスターチャネルＲＭを形成するようにし、
    前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭのチャネルペアに対するｌｍ／ｒｍレベル情報を提供し、前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭの結合がステレオマスターチャネルＳＭを形成するようにし、さらに
    前記プロセッサは、前記左／右コヒーレンス度を用いて前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭに対するコヒーレンス情報を提供し、
    前記デコーダは、アップミキサをさらに備え、前記アップミキサは、
    前記ｌｍ／ｒｍレベル情報および前記左／右コヒーレンス度を用いて前記ステレオマスターチャネルＳＭから前記左マスターチャネルＬＭおよび前記右マスターチャネルＲＭを生成するための第１の１対２アップミキサと、
    前記ｌｆ／ｌｒレベル情報および所定のコヒーレンス情報を用いて前記左マスターチャネルＬＭから前記元の左フロントチャネルｌｆおよび前記元の左リアチャネルｌｒを生成するための第２の１対２アップミキサと、
    前記ｒｆ／ｒｒレベル情報および所定のコヒーレンス情報を用いて前記右マスターチャネルＲＭから前記元の右フロントチャネルｒｆおよび前記元の右リアチャネルｒｒを生成するための第３の１対２アップミキサとを有する、請求項１６に記載のデコーダ。
18. 前記レシーバは、元のセンターチャネルｃｅおよび元の低周波チャネルｌｏのチャネルペアに対するｃｅ／ｌｏレベル情報を提供し、前記元のセンターチャネルｃｅおよび前記元の低周波チャネルｌｏの結合がセンターマスターチャネルＣＭを形成するようにし、さらに
    前記アップミキサは、前記ｃｅ／ｌｏレベル情報および所定のコヒーレンス情報を用いて前記センターマスターチャネルＣＭから前記元のセンターチャネルｃｅおよび前記元の低周波チャネルｌｏを生成するための第４の１対２アップミキサをさらに備える、請求項１７に記載のデコーダ。
19. 前記レシーバは、前記ステレオマスターチャネルＳＭおよび前記センターマスターチャネルＣＭのチャネルペアに対するｓｍ／ｃｍレベル情報を提供し、前記ステレオマスターチャネルＳＭおよび前記センターマスターチャネルＣＭの結合がダウンミックスチャネルを形成するようにし、さらに
    前記アップミキサは、前記ｓｍ／ｃｍレベル情報および所定のコヒーレンス情報を用いて前記ダウンミックスチャネルから前記ステレオマスターチャネルＳＭおよび前記センターマスターチャネルＣＭを生成するための第５の１対２アップミキサをさらに備える、請求項１８に記載のデコーダ。
20. 前記レシーバは、
    元の左フロントチャネルｌｆおよび元の右フロントチャネルｒｆのチャネルペアに対するｌｆ／ｒｆレベル情報を提供し、前記元の左フロントチャネルｌｆおよび前記元の右フロントチャネルｒｆの結合がフロントマスターチャネルＦＭを形成するようにし、
    元の左リアチャネルｌｒおよび元の右リアチャネルｒｒのチャネルペアに対するｌｒ／ｒｒレベル情報を提供し、前記元の左リアチャネルｌｒおよび前記元の右リアチャネルｒｒの結合がリアマスターチャネルＲＭを形成するようにし、さらに
    前記プロセッサは、前記左／右コヒーレンス度を用いて前記元の左フロントチャネルｌｆおよび前記元の右フロントチャネルｒｆに対する第１のコヒーレンス情報を供給し、さらに前記元の左リアチャネルｌｒおよび前記元の右リアチャネルｒｒに対する第２のコヒーレンス情報を供給し、
    前記デコーダは、アップミキサをさらに備え、前記アップミキサは、
    前記ｌｆ／ｒｆレベル情報および前記左／右コヒーレンス度を用いて前記フロントマスターチャネルＦＭから前記元の左フロントチャネルｌｆおよび前記元の右フロントチャネルｒｆを生成するための第１の１対２アップミキサと、
    前記ｌｒ／ｒｒレベル情報および前記左／右コヒーレンス度を用いて前記リアマスターチャネルＲＭから前記元の左リアチャネルｌｒおよび前記元の右リアチャネルｒｒを生成するための第２の１対２アップミキサとを有する、請求項１６に記載のデコーダ。
21. 前記レシーバは、元のセンターチャネルｃｅおよび元の低周波チャネルｌｏのチャネルペアに対するｃｅ／ｌｏレベル情報を提供し、前記元のセンターチャネルｃｅおよび前記元の低周波チャネルｌｏの結合がセンターマスターチャネルＣＭを形成するようにし、さらに
    前記アップミキサは、前記ｃｅ／ｌｏレベル情報および所定のコヒーレンス情報を用いて前記センターマスターチャネルＣＭから前記元のセンターチャネルｃｏおよび前記元の低周波チャネルｌｏを生成するための第３の１対２アップミキサをさらに備える、請求項２０に記載のデコーダ。
22. 前記レシーバは、前記フロントマスターチャネルＦＭおよび前記センターマスターチャネルＣＭのチャネルペアに対するｆｍ／ｃｍレベル情報を提供し、前記フロントマスターチャネルＦＭおよび前記センターマスターチャネルＣＭの結合が純フロントチャネルＰＦを形成するようにし、さらに
    前記アップミキサは、前記ｆｍ／ｃｍレベル情報および所定のコヒーレンス情報を用いて前記純フロントチャネルＰＦから前記フロントマスターチャネルＦＭおよび前記センターマスターチャネルＣＭを生成するための第４の１対２アップミキサをさらに備える、請求項２１に記載のデコーダ。
23. 前記レシーバは、前記純フロントチャネルＰＦおよび前記リアマスターチャネルＲＭのチャネルペアに対するｐｆ／ｒｍレベル情報を提供し、前記純フロントチャネルＰＦおよび前記リアマスターチャネルＲＭの結合がダウンミックスチャネルを形成するようにし、さらに
    前記アップミキサは、前記ｐｆ／ｒｍレベル情報および所定のコヒーレンス情報を用いて前記ダウンミックスチャネルから前記純フロントチャネルＰＦおよび前記リアマスターチャネルＲＭを生成するための第５の１対２アップミキサをさらに備える、請求項２２に記載のデコーダ。
24. 前記レシーバは、聴取位置に関してフロント側からの情報だけを有する第１のチャネルおよびバック側からの情報だけを有する第２のチャネルを含むチャネルペアに対する追加のフロント／バックコヒーレンス度を提供し、さらに
    前記プロセッサは、前記フロント／バックコヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を供給し、前記少なくとも１つのチャネルペアは、前記フロント側からの情報だけを有する第１のチャネルおよび前記バック側からの情報だけを有する第２のチャネルを含む、請求項１６に記載のデコーダ。
25. 前記プロセッサは、受信された左／右コヒーレンスを前記コヒーレンス度として配信することによってすべてのチャネルペアに対するコヒーレンス度を導出する、請求項１６に記載のデコーダ。
26. 前記レシーバは、
    チャネルペアに対するレベル情報を提供し、さらに左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供し、前記左／右コヒーレンス度は、聴取位置に関して前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、第１のモードで動作し、または
    チャネルペアに対する前記レベル情報および同じチャネルペアに対する前記コヒーレンス度を提供する第２のモードで動作し、さらに
    前記プロセッサは、チャネルペアに対するパラメトリック情報を供給し、
    前記第１のモードにおいて、前記プロセッサは、前記パラメトリック表現から前記レベル情報を選択し、さらに前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対する前記コヒーレンス情報を導出し、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含み、または
    前記第２のモードにおいて、前記プロセッサは、前記パラメトリック表現から前記レベル情報を選択し、さらに前記パラメトリック表現から前記コヒーレンス情報を選択する、請求項１６に記載のデコーダ。
27. 前記レシーバは、受信されたモード情報を用いて動作モードを選択するためのモードレシーバをさらに備え、前記モード情報は、用いられる前記第１または前記第２のモードを示す、請求項２６に記載のデコーダ。
28. 前記レシーバは、前記左／右コヒーレンス度を前記元の信号の唯一のコヒーレンス情報として提供する、請求項１６に記載のデコーダ。
29. 聴取位置に関して少なくとも２つの元の左チャネルおよび少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するための方法であって、前記方法は、
    いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出することと、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出することとによって、パラメトリック情報を生成する工程と、
    伝送ペアに対するレベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することとによって、前記パラメトリック表現を提供する工程とを備える、方法。
30. 元のオーディオ信号のパラメトリック表現を処理するための方法であって、前記元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、前記方法は、
    チャネルペアに対するレベル情報を提供することと、左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供することとによって、前記オーディオ信号の前記パラメトリック表現を提供する工程であって、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、工程と、
    前記パラメトリック表現からレベル情報を選択することと、前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出することとによって、チャネルペアに対するパラメトリック情報を供給する工程であって、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、工程とを備える、方法。
31. サイド情報を有する符号化されたオーディオデータであって、前記サイド情報は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を備え、前記パラメトリック表現は、チャネルペアに対するレベル差と、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含むチャネルペアからのコヒーレンス情報から導出される左／右コヒーレンス度とを備え、前記パラメトリック表現は、前記聴取位置に関して同じ側の元のチャネル間のコヒーレンス度を含まない、オーディオデータ。
32. サイド情報を有する符号化されたオーディオデータが格納されたコンピュータ読み取り可能な記憶媒体であって、前記サイド情報は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を備え、前記パラメトリック表現は、チャネルペアに対するレベル差と、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含むチャネルペアからのコヒーレンス情報から導出される左／右コヒーレンス度とを備え、前記パラメトリック表現は、前記聴取位置に関して同じ側の元のチャネル間のコヒーレンス度を含まない、記憶媒体。
33. 元のオーディオ信号のパラメトリック表現を処理するためのデコーダを有するレシーバまたはオーディオプレーヤであって、前記元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、
    前記オーディオ信号の前記パラメトリック表現を提供するためのレシーバであって、前記レシーバは、チャネルペアに対するレベル情報を提供し、さらに左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供し、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、レシーバと、
    チャネルペアに対するパラメトリック情報を供給するためのプロセッサであって、前記プロセッサは、前記パラメトリック表現からレベル情報を選択し、さらに前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出し、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、プロセッサとを備える、レシーバまたはオーディオプレーヤ。
34. 聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するためのエンコーダを有するトランスミッタまたはオーディオレコーダであって、
    パラメトリック情報を生成するためのジェネレータであって、前記ジェネレータは、いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出し、さらに前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出する、ジェネレータと、
    チャネルペアに対する前記レベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することとによって、前記パラメトリック表現を提供する提供器とを備える、トランスミッタまたはオーディオレコーダ。
35. オーディオを受信または再生する方法であって、前記方法は、元のオーディオ信号のパラメトリック表現を処理するための方法を有し、前記元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、前記方法は、
    チャネルペアに対するレベル情報を提供することと、左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供することとによって、前記オーディオ信号の前記パラメトリック表現を提供する工程であって、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、工程と、
    前記パラメトリック表現からレベル情報を選択することと、前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出することとによって、チャネルペアに対するパラメトリック情報を供給する工程であって、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、工程とを備える、方法。
36. オーディオを送信または録音する方法であって、前記方法は、聴取位置に関して少なくとも２つの元の左チャネルおよび少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するための方法を有し、前記方法は、
    いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出することと、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出することとによって、パラメータ情報を生成する工程と、
    伝送ペアに対するレベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することとによって、前記パラメトリック表現を提供する工程とを備える、方法。
37. トランスミッタおよびレシーバを有する伝送システムであって、前記トランスミッタは、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するためのエンコーダを有し、前記トランスミッタは、
    パラメトリック情報を生成するためのジェネレータであって、前記ジェネレータは、いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出し、さらに前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出する、ジェネレータと、
    チャネルペアに対する前記レベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することとによって、前記パラメトリック表現を提供する提供器とを備え、さらに
    前記レシーバは、元のオーディオ信号のパラメトリック表現を処理するためのデコーダを有し、前記元のオーディオ信号は、聴取位置に関して左側に少なくとも２つの元の左チャネルおよび右側に少なくとも２つの元の右チャネルを有し、前記レシーバは、
    前記オーディオ信号の前記パラメトリック表現を提供するためのレシーバであって、前記レシーバは、チャネルペアに対するレベル情報を提供し、さらに左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供し、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、レシーバと、
    チャネルペアに対するパラメトリック情報を供給するためのプロセッサであって、前記プロセッサは、前記パラメトリック表現からレベル情報を選択し、さらに前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出し、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、プロセッサとを備える、伝送システム。
38. 送信および受信の方法であって、前記送信の方法は、聴取位置に関して少なくとも２つの元の左チャネルおよび少なくとも２つの元の右チャネルを有するオーディオ信号のパラメトリック表現を生成するための方法を有し、前記送信の方法は、
    いくつかのチャネルペアを別々に処理し、処理されたチャネルペアに対するレベル情報を導出することと、左側からの情報だけを有する第１のチャネルおよび右側からの情報だけを有する第２のチャネルを含むチャネルペアに対するコヒーレンス情報を導出することとによって、パラメータ情報を生成する工程と、
    伝送ペアに対するレベル情報を選択することと、前記コヒーレンス情報を用いて左／右コヒーレンス度を決定し、さらに前記左／右コヒーレンス度を出力データストリームに導入することによって、前記パラメトリック表現を提供する工程とを備え、さらに
    前記受信の方法は、元のオーディオ信号のパラメトリック表現を処理するための方法を有し、前記元のオーディオ信号は、聴取位置に関して前記左側に少なくとも２つの元の左チャネルおよび前記右側に少なくとも２つの元の右チャネルを有し、前記受信の方法は、
    チャネルペアに対するレベル情報を提供することと、左チャネルおよび右チャネルを含むチャネルペアに対する左／右コヒーレンス度を提供することとによって、前記オーディオ信号の前記パラメトリック表現を提供する工程であって、前記左／右コヒーレンス度は、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む少なくとも１つのチャネルペア間のコヒーレンス情報を表す、工程と、
    前記パラメトリック表現からレベル情報を選択することと、前記左／右コヒーレンス度を用いて少なくとも１つのチャネルペアに対するコヒーレンス情報を導出することとによって、チャネルペアに対するパラメトリック情報を供給する工程であって、前記少なくとも１つのチャネルペアは、前記左側からの情報だけを有する第１のチャネルおよび前記右側からの情報だけを有する第２のチャネルを含む、工程とを備える、送信および受信の方法。
39. コンピュータ上で動作するときに、請求項２９、請求項３０、請求項３５、請求項３６または請求項３８のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータ。

Images