JP2016513287A - オーディオ符号器及び復号器 - Google Patents

Abstract

本開示は、入力信号に基づいてマルチチャネルオーディオ信号を符号化及び復号するための方法、装置、及びコンピュータプログラム製品を提供する。本開示によれば、パラメトリックステレオ符号化、及び処理されたマルチチャネルオーディオ信号の離散的表現の両方を使用するハイブリッドアプローチが使用され、それは特定のビットレートに関して、符号化及び復号されたオーディオの品質を改良することができる。

Description

本明細書における開示は、一般に、マルチチャネルオーディオ符号化に関する。特に、本開示は、パラメトリック符号化（parametric coding）及び離散的マルチチャネル符号化（discrete multi-channel coding）を含むハイブリッド符号化のための符号器及び復号器に関する。

「関連出願への相互参照」
この出願は、２０１３年４月５日に出願された米国仮特許出願第６１／８０８，６８０号に対する優先権を主張するとともに、それは、この結果、参照によりその全体においてここに組み込まれている。

従来のマルチチャネルオーディオ符号化において、可能な符号化スキームは、ＭＰＥＧ Ｓｕｒｒｏｕｎｄ（登録商標）のような離散的マルチチャネル符号化又はパラメトリック符号化を含む。使用されるスキームは、オーディオシステムの帯域幅によって決まる。パラメトリック符号化方法は、受聴品質（listening quality）に関してスケーラブルかつ効率的であるということが知られており、それは、低いビットレートのアプリケーションにおいてパラメトリック符号化方法を特に魅力的にする。高いビットレートのアプリケーションでは、離散的マルチチャネル符号化がしばしば使用される。特に低いビットレートと高いビットレートとの間のビットレートを有するアプリケーションでは、既存の分配フォーマット又は処理フォーマット、及び付随する符号化技術は、それらの帯域効率の観点から改善され得る。

（“Kroon”等による）米国特許第７２９２９０１号（US7292901）は、ハイブリッドオーディオ信号が少なくとも１つのダウンミックスされたスペクトル成分、及び少なくとも１つの純粋な（unmixed：ミックスされていない）スペクトル成分から形成されるハイブリッド符号化方法に関連している。そのアプリケーションにおいて公開された方法は、特定のビットレートを有するアプリケーションの容量を増大させ得るが、しかし、オーディオ処理システムの効率をさらに増大させるためには、さらなる改善が必要とされ得る。

実例の実施例が、添付図面を参照してここで説明されることになる。

一例の実施例による復号システムの一般化された構成図である。 図１における復号システムの第１の部分を例示する図である。 図１における復号システムの第２の部分を例示する図である。 図１における復号システムの第３の部分を例示する図である。 一例の実施例による符号化システムの一般化された構成図である。 一例の実施例による復号システムの一般化された構成図である。 図６における復号システムの第３の部分を例示する図である。 一例の実施例による符号化システムの一般化された構成図である。

全ての図面は、概略的であるとともに、概して、本開示を説明するために必要である要素だけを示す一方、他の要素は省略され得るか、又は単に示唆され得る。特に示されない限り、異なる図面において、同等の参照符号は同等の要素を参照する。

「復号器の概観」
ここで使用されるように、オーディオ信号は、純粋なオーディオ信号、オーディオビジュアル信号若しくはマルチメディア信号のオーディオ部分、又は、メタデータと結合されたこれらのうちのいずれかであり得る。

ここで使用されるように、複数の信号のダウンミキシングは、例えば、より少ない数の信号が獲得されるように、一次結合を形成することにより、複数の信号を結合することを意味する。ダウンミキシングに対する逆動作は、アップミキシングと呼ばれ、すなわち、より多い数の信号を獲得するように、より少ない数の信号に対して操作を行うことを指す。

第１の態様によれば、実例の実施例は、入力信号に基づいてマルチチャネルオーディオ信号を復元するための方法、装置、及びコンピュータプログラム製品を提案する。提案された方法、装置、及びコンピュータプログラム製品は、一般に、同じ特徴及び利点を有し得る。

実例の実施例によれば、Ｍ個（Ｍ＞２）の符号化されたチャネルを復元するための、マルチチャネルオーディオ処理システムに適した復号器が提供される。復号器は、第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含むＮ個（１＜Ｎ＜Ｍ）の波形符号化ダウンミックス信号を受信するように構成される第１の受信ステージを含む。

復号器は、第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を受信するように構成される第２の受信ステージであって、Ｍ個の波形符号化信号のそれぞれがＭ個の符号化されたチャネルのうちのそれぞれのチャネルに対応する、第２の受信ステージを更に含む。

復号器は、Ｍ個の波形符号化信号を第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスするように構成される、第２の受信ステージの下流のダウンミックスステージを更に含む。

復号器は、第１の受信ステージにより受信されるＮ個の波形符号化ダウンミックス信号のそれぞれを、ダウンミックスステージからのＮ個のダウンミックス信号のうちの対応する１つと結合して、Ｎ個の結合されたダウンミックス信号にするように構成される、第１の受信ステージ及びダウンミックスステージの下流の第１の結合ステージを更に含む。

復号器は、高周波復元を実行することにより、第１の結合ステージからのＮ個の結合されたダウンミックス信号のそれぞれを第２のクロスオーバ周波数より上の周波数範囲に拡張するように構成される、第１の結合ステージの下流の高周波復元ステージを更に含む。

復号器は、第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含むＭ個のアップミックス信号への、高周波復元ステージからの周波数拡張されたＮ個の結合されたダウンミックス信号のパラメトリックアップミックスを実行するように構成される、高周波復元ステージの下流のアップミックスステージであって、Ｍ個のアップミックス信号のそれぞれがＭ個の符号化されたチャネルのうちの１つに対応する、アップミックスステージを更に含む。

復号器は、アップミックスステージからのＭ個のアップミックス信号を、第２の受信ステージにより受信されるＭ個の波形符号化信号と結合するように構成される、アップミックスステージ及び第２の受信ステージの下流の第２の結合ステージを更に含む。

Ｍ個の波形符号化信号は、パラメトリック信号が混合されることなく純粋に波形符号化された信号であり、すなわち、それらは、処理されたマルチチャネルオーディオ信号のダウンミックスされていない離散的表現である。これらの波形符号化信号で表されたより低い周波数を有することの利点は、人間の耳が、低周波を有するオーディオ信号の部分に対してより敏感である、ということであり得る。更に良い品質によりこの部分を符号化することによって、復号されたオーディオの全体の印象が強まり得る。

少なくとも２つのダウンミックス信号を有することの利点は、この実施例が、１つだけのダウンミックスチャネルを有するシステムと比較すると、ダウンミックス信号の増大した次元数（dimensionality）を提供する、ということである。この実施例によれば、１つのダウンミックス信号システムにより提供されるビットレートにおける利得を上回るかもしれない、より良く復号されたオーディオ品質が、したがって提供され得る。

パラメトリックダウンミックス及び離散的マルチチャネル符号化を含むハイブリッド符号化を使用することの利点は、これが、従来のパラメトリック符号化アプローチ、すなわちＨＥ−ＡＡＣを有するＭＰＥＧ Ｓｕｒｒｏｕｎｄと比較すると、特定のビットレートに関して復号されたオーディオ信号の品質を改良し得る、ということである。１秒あたり約７２キロビット（ｋｂｐｓ）のビットレートにおいて、従来のパラメトリック符号化モデルは飽和する可能性があり、すなわち、復号されたオーディオ信号の品質は、符号化のためのビットの不足によるためではなく、パラメトリックモデルの欠点によって制限される。したがって、約７２ｋｂｐｓからのビットレートに関しては、より低い周波数を離散的に波形符号化することにビットを使用することが、より有益であり得る。同時に、パラメトリックダウンミックス及び離散的マルチチャネル符号化を使用するハイブリッドアプローチ（hybrid approach：複合型のアプローチ）は、これが、全てのビットがより低い周波数を波形符号化することに使用されるアプローチを使用すること、及び残りの周波数のためにスペクトル帯域複製（spectral band replication：ＳＢＲ）を使用することに比較して、特定のビットレート、例えば１２８ｋｂｐｓ以下のビットレートに関して復号されたオーディオ信号の品質を改良し得る、ということである。

第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトルデータのみを含むＮ個の波形符号化ダウンミックス信号を有することの利点は、オーディオ信号処理システムのための必要とされるビット通信速度が減らされ得る、ということである。その代りに、バンドパスフィルタ処理されたダウンミックス信号を有することによって節約されたビットは、より低い周波数を波形符号化することに使用されることができ、例えば、それらの周波数のためのサンプル周波数がより高くされ得るか、又は第１のクロスオーバ周波数が増やされ得る。

上記で言及されたように、人間の耳が低周波を有するオーディオ信号の部分に対してより敏感であるので、第２のクロスオーバ周波数より上の周波数を有するオーディオ信号の部分としての高周波は、復号されたオーディオ信号の知覚されるオーディオ品質を減少させずに、高周波復元により再現され得る。

本実施例に関する更なる利点は、アップミックスステージで実行されるパラメトリックアップミックスが第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数だけを処理するので、アップミックスの複雑さが減少する、ということであり得る。

別の実施例によれば、第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含むＮ個の波形符号化ダウンミックス信号のそれぞれが第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号のうちの対応する１つと結合されてＮ個の結合されたダウンミックス信号になる、第１の結合ステージにおいて実行される結合は、周波数領域において実行される。

この実施例の利点は、Ｍ個の波形符号化信号、及びＮ個の波形符号化ダウンミックス信号が、それぞれ、Ｍ個の波形符号化信号、及びＮ個の波形符号化ダウンミックス信号に対する独立したウィンドウ処理によるオーバーラップウィンドウ化変換（overlapping windowed transform）を使用して波形符号器（waveform coder）により符号化されることができ、それでもやはり復号器により復号可能であり得る、ということであり得る。

別の実施例によれば、高周波復元ステージにおいてＮ個の結合されたダウンミックス信号のそれぞれを第２のクロスオーバ周波数より上の周波数範囲に拡張することは、周波数領域において実行される。

更なる実施例によれば、第２の結合ステージにおいて実行される結合、すなわち、第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含むＭ個のアップミックス信号の、第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号との結合は、周波数領域において実行される。上記で言及されたように、ＱＭＦ領域において信号を結合することの利点は、ＭＤＣＴ領域において信号を符号化するために使用されるオーバーラップウィンドウ化変換の独立したウィンドウ処理が使用され得る、ということである。

別の実施例によれば、アップミックスステージにおいて実行される、Ｍ個のアップミックス信号への、周波数拡張されたＮ個の結合されたダウンミックス信号のパラメトリックアップミックスは、周波数領域において実行される。

さらに別の実施例によれば、第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へ、Ｍ個の波形符号化信号をダウンミックスすることは、周波数領域において実行される。

一実施例によれば、周波数領域は、直交ミラーフィルタ（Quadrature Mirror Filter：ＱＭＦ）領域である。

別の実施例によれば、Ｍ個の波形符号化信号が第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスされる、ダウンミキシングステージにおいて実行されるダウンミキシングは、時間領域において実行される。

さらに別の実施例によれば、第１のクロスオーバ周波数は、マルチチャネルオーディオ処理システムのビット伝送速度によって決まる。これは、第１のクロスオーバ周波数より下の周波数を有するオーディオ信号の部分が単に波形符号化されるので、利用可能な帯域幅が復号されたオーディオ信号の品質を改良するために利用される、ということをもたらし得る。

別の実施例によれば、高周波復元ステージにおいて高周波復元を実行することにより、Ｎ個の結合されたダウンミックス信号のそれぞれを第２のクロスオーバ周波数より上の周波数範囲に拡張することは、高周波復元パラメータを使用して実行される。高周波復元パラメータは、復号器により、例えば受信ステージにおいて受信され得るとともに、その後高周波復元ステージに送信され得る。高周波復元は、例えばスペクトル帯域複製（ＳＢＲ）を実行することを含み得る。

別の実施例によれば、アップミキシングステージにおけるパラメトリックアップミックスは、アップミックスパラメータの使用と共に行われる。アップミックスパラメータは、符号器により、例えば受信ステージにおいて受信されるとともに、アップミキシングステージに送信される。周波数拡張されたＮ個の結合されたダウンミックス信号の無相関化されたバージョンが生成されるとともに、周波数拡張されたＮ個の結合されたダウンミックス信号、及び周波数拡張されたＮ個の結合されたダウンミックス信号の無相関化されたバージョンに行列演算が行われる。行列演算のパラメータは、アップミックスパラメータにより与えられる。

別の実施例によれば、第１の受信ステージにおける受信されたＮ個の波形符号化ダウンミックス信号、及び第２の受信ステージにおける受信されたＭ個の波形符号化信号は、それぞれ、Ｎ個の波形符号化ダウンミックス信号、及びＭ個の波形符号化信号に対する独立したウィンドウ処理によるオーバーラップウィンドウ化変換を使用して符号化される。

これの利点は、これが改良された符号化品質、そしてしたがって、復号されたマルチチャネルオーディオ信号の品質向上を可能にする、ということであり得る。例えば、もし時間におけるある時点で過渡信号がより高い周波数帯域において検出されるならば、より低い周波数帯域のためにデフォルトのウィンドウシーケンスが保持され得る一方、波形符号器は、より短いウィンドウシーケンスによってこの特別なタイムフレームを符号化し得る。

実施例によれば、復号器は、第１のクロスオーバ周波数より上の周波数のサブセットに対応するスペクトル係数を含む更なる波形符号化信号を受信するように構成される第３の受信ステージを含み得る。復号器は、アップミックスステージの下流のインタリービングステージを更に含み得る。インタリービングステージは、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つとインタリーブするように構成され得る。第３の受信ステージは、複数の更なる波形符号化信号を受信するように更に構成され得るとともに、インタリービングステージは、複数の更なる波形符号化信号を複数のＭ個のアップミックス信号とインタリーブするように更に構成され得る。

これは、ダウンミックス信号からパラメータ的に復元することが困難である第１のクロスオーバ周波数より上の周波数範囲の特定の部分が、パラメータ的に復元されたアップミックス信号とのインタリーブの結果として、波形符号化形式において提供され得る、ということにおいて有利である。

１つの代表的な実施例において、インタリーブすることは、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つと加算することにより実行される。別の代表的な実施例によれば、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つとインタリーブするステップは、Ｍ個のアップミックス信号のうちの１つを更なる波形符号化信号のスペクトル係数に対応する第１のクロスオーバ周波数より上の周波数のサブセットにおける更なる波形符号化信号によって置き換えるステップを含む。

代表的な実施例によれば、復号器は、例えば第３の受信ステージにより制御信号を受信するように更に構成され得る。制御信号は、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つとどのようにインタリーブするかを示すことができ、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つとインタリーブするステップは、制御信号に基づいている。具体的には、制御信号は、更なる波形符号化信号がＭ個のアップミックス信号のうちの１つとインタリーブされるべきである、ＱＭＦ領域における１つ又は複数の時間／周波数タイルのような、周波数範囲及び時間範囲を示し得る。したがって、インタリーブすることは、１つのチャネルの中の時間及び周波数において発生し得る。

これの利点は、波形符号化信号を符号化するために使用されるオーバーラップウィンドウ化変換のエイリアシング、又はスタートアップ／フェードアウト問題に悩まされない時間範囲及び周波数範囲が選択されることができる、ということである。

「符号器の概観」
第２の態様によれば、実例の実施例は、入力信号に基づいてマルチチャネルオーディオ信号を符号化するための方法、装置、及びコンピュータプログラム製品を提案する。

提案された方法、装置、及びコンピュータプログラム製品は、一般に、同じ特徴及び利点を有し得る。

上記の復号器の概観で提示された特徴及び構成に関する利点は、一般に、符号器のための対応する特徴及び構成に有効であり得る。

実例の実施例によれば、Ｍ個（Ｍ＞２）のチャネルを符号化するための、マルチチャネルオーディオ処理システムに適した符号器が提供される。

符号器は、符号化されるべきＭ個のチャネルに対応するＭ個の信号を受信するように構成される受信ステージを含む。

符号器は、Ｍ個の信号を受信ステージから受信するとともに、第１のクロスオーバ周波数までの周波数に対応する周波数範囲に関してＭ個の信号を個別に波形符号化することにより、第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を生成するように構成される第１の波形符号化ステージを更に含む。

符号器は、Ｍ個の信号を受信ステージから受信するとともに、Ｍ個の信号をＮ個（１＜Ｎ＜Ｍ）のダウンミックス信号へダウンミックスするように構成されるダウンミキシングステージを更に含む。

符号器は、Ｎ個のダウンミックス信号をダウンミキシングステージから受信するとともに、Ｎ個のダウンミックス信号に高周波復元符号化を行うように構成される高周波復元符号化ステージであって、第２のクロスオーバ周波数より上のＮ個のダウンミックス信号の高周波復元を可能にする高周波復元パラメータを抽出するように構成される高周波復元符号化ステージを更に含む。

符号器は、Ｍ個の信号を受信ステージから受信するとともに、Ｎ個のダウンミックス信号をダウンミキシングステージから受信し、第１のクロスオーバ周波数より上の周波数に対応する周波数範囲に関してＭ個の信号にパラメトリック符号化を行うように構成されるパラメトリック符号化ステージであって、第１のクロスオーバ周波数より上の周波数範囲に関してＭ個のチャネルに対応するＭ個の復元された信号へのＮ個のダウンミックス信号のアップミキシングを可能にするアップミックスパラメータを抽出するように構成されるパラメトリック符号化ステージを更に含む。

符号器は、Ｎ個のダウンミックス信号をダウンミキシングステージから受信するとともに、第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応する周波数範囲に関してＮ個のダウンミックス信号を波形符号化することによりＮ個の波形符号化ダウンミックス信号を生成するように構成される第２の波形符号化ステージであって、Ｎ個の波形符号化ダウンミックス信号が第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む、第２の波形符号化ステージを更に含む。

一実施例によれば、高周波復元符号化ステージにおいてＮ個のダウンミックス信号に高周波復元符号化を行うことは、周波数領域において、好ましくは直交ミラーフィルタ（ＱＭＦ）領域において実行される。

更なる実施例によれば、パラメトリック符号化ステージにおいてＭ個の信号にパラメトリック符号化を行うことは、周波数領域において、好ましくは直交ミラーフィルタ（ＱＭＦ）領域において実行される。

さらに別の実施例によれば、第１の波形符号化ステージにおいてＭ個の信号を個別に波形符号化することによりＭ個の波形符号化信号を生成することは、Ｍ個の信号にオーバーラップウィンドウ化変換を適用することを含み、異なるオーバーラップウィンドウシーケンス（overlapping window sequence）がＭ個の信号のうちの少なくとも２つのために使用される。

実施例によれば、符号器は、第１のクロスオーバ周波数より上の周波数範囲のサブセットに対応する周波数範囲に関してＭ個の信号のうちの１つを波形符号化することにより、更なる波形符号化信号を生成するように構成される第３の波形符号化ステージを更に含む。

実施例によれば、符号器は、制御信号生成ステージを含み得る。制御信号生成ステージは、復号器において更なる波形符号化信号をＭ個の信号のうちの１つのパラメトリック復元物（parametric reconstruction）とどのようにインタリーブするかを示す制御信号を生成するように構成される。例えば、制御信号は、更なる波形符号化信号がＭ個のアップミックス信号のうちの１つとインタリーブされるべきである周波数範囲及び時間範囲を示し得る。

「実例の実施例」
図１は、Ｍ個の符号化されたチャネルを復元するための、マルチチャネルオーディオ処理システムにおける復号器１００の一般化された構成図である。復号器１００は、図２から図４と関連してさらに詳細に説明されることになる３つの概念的な要素２００、３００、４００を備える。第１の概念的な要素２００において、復号器は、復号されるべきマルチチャネルオーディオ信号を表しているＮ個の波形符号化ダウンミックス信号及びＭ個の波形符号化信号を受信し、ここで１＜Ｎ＜Ｍである。例示された実例において、Ｎは２にセットされる。第２の概念的な要素３００において、Ｍ個の波形符号化信号は、ダウンミックスされ、そしてＮ個の波形符号化ダウンミックス信号と結合される。高周波復元（ＨＦＲ）が、その場合に、結合されたダウンミックス信号のために実行される。第３の概念的な要素４００において、高周波復元された信号は、アップミックスされ、そしてＭ個の波形符号化信号は、Ｍ個の符号化されたチャネルを復元するために、アップミックス信号と結合される。

図２から図４と関連して説明された代表的な実施例では、符号化された５．１サラウンド音声の復元が説明される。低周波効果信号（low frequency effect signal）は説明された実施例又は図面では言及されない、ということが注意されても良い。これは、あらゆる低周波効果が無視されることを意味しない。低周波効果（low frequency effect：Ｌｆｅ）は、当業者によって良く知られているあらゆる適当な方法で、復元された５つのチャネルに加えられる。説明された復号器が、７．１又は９．１サラウンド音声のような他のタイプの符号化されたサラウンド音声に等しく十分に適している、ということが同じく注意されても良い。

図２は、図１における復号器１００の第１の概念的な要素２００を例示する。復号器は、２つの受信ステージ２１２、２４１を含む。第１の受信ステージ２１２において、ビットストリーム２０２は、２つの波形符号化ダウンミックス信号２０８ａ〜ｂに復号されて逆量子化される。２つの波形符号化ダウンミックス信号２０８ａ〜ｂのそれぞれは、第１のクロスオーバ周波数ｋ_ｙと第２のクロスオーバ周波数ｋ_ｘとの間の周波数に対応するスペクトル係数を含む。

第２の受信ステージ２１４において、ビットストリーム２０２は、５つの波形符号化信号２１０ａ〜ｅに復号されて逆量子化される。５つの波形符号化信号２１０ａ〜ｅのそれぞれは、第１のクロスオーバ周波数ｋ_ｙまでの周波数に対応するスペクトル係数を含む。

一例として、信号２１０ａ〜ｅは、２つのチャネルペア成分と、センターのための１つの単一チャネル成分とを含む。チャネルペア成分は、例えば、左前信号と左サラウンド信号の組み合わせ、及び右前信号と右サラウンド信号の組み合わせであり得る。更なる実例は、左前信号と右前信号の組み合わせ、及び左サラウンド信号と右サラウンド信号の組み合わせである。これらのチャネルペア成分は、例えば、和と差(sum-and-difference)のフォーマットにおいて符号化され得る。５つの信号２１０ａ〜ｅの全ては、独立したウィンドウ処理によるオーバーラップウィンドウ化変換を使用して符号化されることができ、それでもやはり復号器により復号可能である。これは、改良された符号化品質、そしてしたがって、復号された信号の品質向上を可能にし得る。

一例として、第１のクロスオーバ周波数ｋ_ｙは、１．１ｋＨｚである。一例として、第２のクロスオーバ周波数ｋ_ｘは、５．６〜８ｋＨｚの範囲内にある。第１のクロスオーバ周波数ｋ_ｙは、たとえ個別の信号に基づいていても、変化することがあり、すなわち、符号器は、特定の出力信号における信号成分がステレオのダウンミックス信号２０８ａ〜ｂにより忠実に再現されないかもしれないことを検知することができ、そして、信号成分の適切な波形符号化を実行するために、その特定の時間インスタンスの間、帯域幅、すなわち、関連する波形符号化信号、すなわち２１０ａ〜ｅの第１のクロスオーバ周波数ｋ_ｙを増やすことができる、ということが注意されるべきである。

この記述におけるあとの方で説明されることになるように、復号器１００の残りのステージは、概して、直交ミラーフィルタ（Quadrature Mirror Filter：ＱＭＦ）領域において動作する。この理由のために、第１及び第２の受信ステージ２１２、２１４により、修正離散的コサイン変換（modified discrete cosine transform：ＭＤＣＴ）形式で受信される信号２０８ａ〜ｂ、２１０ａ〜ｅのそれぞれは、逆ＭＤＣＴ２１６を適用することにより時間領域に変換される。各信号は、その場合に、ＱＭＦ変換２１８を適用することにより、もとの周波数領域に変換される。

図３において、５つの波形符号化信号２１０は、ダウンミックスステージ３０８において、第１のクロスオーバ周波数ｋ_ｙまでの周波数に対応するスペクトル係数を含む２つのダウンミックス信号３１０、３１２へダウンミックスされる。これらのダウンミックス信号３１０、３１２は、図２において示される２つのダウンミックス信号２０８ａ〜ｂを作成するための符号器で使用されたのと同じダウンミキシングスキームを使用して、ローパスマルチチャネル信号２１０ａ〜ｅに対してダウンミックスを実行することにより、形成され得る。

２つの新しいダウンミックス信号３１０、３１２は、次に、結合されたダウンミックス信号３０２ａ〜ｂを形成するように、第１の結合ステージ３２０、３２２において、対応するダウンミックス信号２０８ａ〜ｂと結合される。したがって、結合されたダウンミックス信号３０２ａ〜ｂのそれぞれは、ダウンミックス信号３１０、３１２が起源である第１のクロスオーバ周波数ｋ_ｙまでの周波数に対応するスペクトル係数と、第１の受信ステージ２１２（図２において示される）において受信される２つの波形符号化ダウンミックス信号２０８ａ〜ｂが起源である第１のクロスオーバ周波数ｋ_ｙと第２のクロスオーバ周波数ｋ_ｘとの間の周波数に対応するスペクトル係数とを含む。

復号器は、高周波復元（ＨＦＲ）ステージ３１４を更に含む。ＨＦＲステージは、高周波復元を実行することにより、結合ステージからの２つの結合されたダウンミックス信号３０２ａ〜ｂのそれぞれを第２のクロスオーバ周波数ｋ_ｘより上の周波数範囲に拡張するように構成される。いくつかの実施例によれば、実行される高周波復元は、スペクトル帯域複製（ＳＢＲ）を実行することを含む。高周波復元は、あらゆる適当な方法でＨＦＲステージ３１４により受信され得る高周波復元パラメータを使用することにより実行され得る。

高周波復元ステージ３１４からの出力は、適用されたＨＦＲ拡張部分３１６、３１８を有するダウンミックス信号２０８ａ〜ｂを含む２つの信号３０４ａ〜ｂである。上記で説明されたように、ＨＦＲステージ３１４は、２つのダウンミックス信号２０８ａ〜ｂと結合される第２の受信ステージ２１４（図２において示される）からの入力信号２１０ａ〜ｅに存在する周波数に基づいて、高周波復元を実行することになる。幾分単純化されて、ＨＦＲ範囲３１６、３１８は、ＨＦＲ範囲３１６、３１８までコピーされたダウンミックス信号３１０、３１２からのスペクトル係数の部分を含む。したがって、５つの波形符号化信号２１０ａ〜ｅの部分は、ＨＦＲステージ３１４からの出力３０４のＨＦＲ範囲３１６、３１８に現れることになる。

高周波復元ステージ３１４より前のダウンミキシングステージ３０８におけるダウンミキシング及び第１の結合ステージ３２０、３２２における結合は、時間領域において、すなわち、逆修正離散的コサイン変換（ＭＤＣＴ）２１６（図２において示される）を適用することにより各信号が時間領域に変換されたあとで、実行されることができる、ということが注意されるべきである。しかしながら、もし、波形符号化信号２１０ａ〜ｅ及び波形符号化ダウンミックス信号２０８ａ〜ｂが、波形符号器により、独立したウィンドウ処理によるオーバーラップウィンドウ化変換を使用して符号化される可能性があるならば、信号２１０ａ〜ｅと信号２０８ａ〜ｂは、時間領域においてシームレスに結合されないかもしれない。したがって、もし少なくとも第１の結合ステージ３２０、３２２における結合がＱＭＦ領域において実行されるならば、より良く制御されたシナリオが実現される。

図４は、復号器１００の第３及び最後の概念的な要素４００を例示する。ＨＦＲステージ３１４からの出力３０４は、アップミックスステージ４０２への入力を構成する。アップミックスステージ４０２は、周波数が拡張された信号３０４ａ〜ｂにパラメトリックアップミックスを実行することにより、５つの信号出力４０４ａ〜ｅを作成する。５つのアップミックス信号４０４ａ〜ｅのそれぞれは、第１のクロスオーバ周波数ｋ_ｙより上の周波数に対する符号化された５．１のサラウンド音声における５つの符号化されたチャネルのうちの１つに対応する。代表的なパラメトリックアップミックス手順によれば、アップミックスステージ４０２は、最初にパラメトリックミキシングパラメータを受信する。アップミックスステージ４０２は、周波数拡張された２つの結合されたダウンミックス信号３０４ａ〜ｂの無相関化されたバージョンを更に生成する。アップミックスステージ４０２は、周波数拡張された２つの結合されたダウンミックス信号３０４ａ〜ｂ、及び周波数拡張された２つの結合されたダウンミックス信号３０４ａ〜ｂの無相関化されたバージョンに行列演算を更に行い、ここで、行列演算のパラメータは、アップミックスパラメータにより与えられる。その代りに、当該技術において知られているあらゆる他のパラメトリックアップミックス手順が適用され得る。適用可能なパラメトリックアップミキシング手順は、例えば、“MPEG Surround−The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding”（“Herre”等、Journal of the Audio Engineering Society、Vol. 56、No. 11、２００８年１１月）において説明される。

したがって、アップミックスステージ４０２からの出力４０４ａ〜ｅは、第１のクロスオーバ周波数ｋ_ｙより下の周波数を含まない。第１のクロスオーバ周波数ｋ_ｙまでの残りの周波数に対応するスペクトル係数は、遅延ステージ４１２によりアップミックス信号４０４のタイミングに適合するように遅延された５つの波形符号化信号２１０ａ〜ｅに存在する。

復号器１００は、第２の結合ステージ４１６、４１８を更に含む。第２の結合ステージ４１６、４１８は、５つのアップミックス信号４０４ａ〜ｅを、第２の受信ステージ２１４（図２において示される）により受信された５つの波形符号化信号２１０ａ〜ｅと結合するように構成される。

あらゆる現在のＬｆｅ信号が、結果として生じる結合された信号４２２に別個の信号として加えられ得る、ということが注意されても良い。信号４２２のそれぞれは、次に、逆ＱＭＦ変換４１４を適用することにより時間領域に変換される。したがって、逆ＱＭＦ変換４１４からの出力は、完全に復号された５．１チャネルオーディオ信号になる。

図６は、復号システム１００の改良版である復号システム１００’を例示する。復号システム１００’は、図１の概念的な要素２００、３００、及び４００に対応する概念的な要素２００’、３００’、及び４００’を有する。図６の復号システム１００’と図１の復号システムとの間の差異は、概念的な要素２００’に第３の受信ステージ６１６が存在し、そして第３の概念的な要素４００’にインタリービングステージ７１４が存在する、ということである。

第３の受信ステージ６１６は、更なる波形符号化信号を受信するように構成される。更なる波形符号化信号は、第１のクロスオーバ周波数より上の周波数のサブセットに対応するスペクトル係数を含む。更なる波形符号化信号は、逆ＭＤＣＴ２１６を適用することにより、時間領域に変換され得る。その場合に、それは、ＱＭＦ変換２１８を適用することにより、もとの周波数領域に変換され得る。

更なる波形符号化信号は別個の信号として受信され得る、ということが理解されるべきである。しかしながら、更なる波形符号化信号は、同様に、５つの波形符号化信号２１０ａ〜ｅのうちの１つ又は複数の一部分を形成し得る。言い換えれば、更なる波形符号化信号は、例えば同じＭＤＣＴ変換を使用して、５つの波形符号化信号２１０ａ〜ｅのうちの１つ又は複数と一緒に符号化され得る。もしそうであるならば、第３の受信ステージ６１６は第２の受信ステージに対応し、すなわち、更なる波形符号化信号は、第２の受信ステージ２１４によって５つの波形符号化信号２１０ａ〜ｅと一緒に受信される。

図７は、図６の復号器１００’の第３の概念的な要素３００’を更に詳細に例示する。高周波数拡張されたダウンミックス信号３０４ａ〜ｂ、及び５つの波形符号化信号２１０ａ〜ｅに加えて、更なる波形符号化信号７１０が第３の概念的な要素４００’に入力される。例示された実例において、更なる波形符号化信号７１０は、５つのチャネルのうちの第３のチャネルに対応する。更なる波形符号化信号７１０は、第１のクロスオーバ周波数ｋ_ｙから始まる周波数区間に対応するスペクトル係数を更に含む。しかしながら、更なる波形符号化信号７１０によりカバーされる第１のクロスオーバ周波数より上の周波数範囲のサブセットの形式は、もちろん異なる実施例では変化し得る。複数の波形符号化信号７１０ａ〜ｅが受信されることができ、異なる波形符号化信号は異なる出力チャネルに対応し得る、ということが同様に注意されるべきである。複数の更なる波形符号化信号７１０ａ〜ｅによりカバーされる周波数範囲のサブセットは、複数の更なる波形符号化信号７１０ａ〜ｅのうちの異なる信号の間で変化し得る。

更なる波形符号化信号７１０は、アップミックスステージ４０２から出力されるアップミックス信号４０４のタイミングに適合するように、遅延ステージ７１２により遅延され得る。アップミックス信号４０４、及び更なる波形符号化信号７１０は、次に、インタリーブステージ７１４に入力される。インタリーブステージ７１４は、インタリーブされた信号７０４を生成するために、アップミックス信号４０４を更なる波形符号化信号７１０とインタリーブ、すなわち結合する。本実例において、インタリービングステージ７１４は、したがって、第３のアップミックス信号４０４ｃを更なる波形符号化信号７１０とインタリーブする。インタリーブすることは、２つの信号を一緒に加えることにより実行され得る。しかしながら、概して、インタリーブすることは、信号が重なる周波数範囲及び時間範囲において、アップミックス信号４０４を更なる波形符号化信号７１０と交換することにより実行される。

インタリーブされた信号７０４は、次に、第２の結合ステージ４１６、４１８に入力され、ここで、インタリーブされた信号７０４は、出力信号７２２を生成するために、図４を参照して説明されたのと同じ方法で波形符号化信号２０１ａ〜ｅと結合される。結合がインタリーブすることの前に行われるように、インタリーブステージ７１４と第２の結合ステージ４１６、４１８の順序は逆転されるかもしれない、ということが注意されるべきである。

さらに、更なる波形符号化信号７１０が５つの波形符号化信号２１０ａ〜ｅのうちの１つ又は複数の一部分を形成する状況において、第２の結合ステージ４１６、４１８、及びインタリーブステージ７１４は、単一のステージに結合され得る。具体的には、そのような結合されたステージは、第１のクロスオーバ周波数ｋ_ｙまでの周波数に対する５つの波形符号化信号２１０ａ〜ｅのスペクトル成分を使用するであろう。第１のクロスオーバ周波数より上の周波数に対して、結合されたステージは、更なる波形符号化信号７１０とインタリーブされたアップミックス信号４０４を使用するであろう。

インタリーブステージ７１４は、制御信号の制御下で動作し得る。この目的のために、復号器１００’は、例えば第３の受信ステージ６１６を通して、更なる波形符号化信号をＭ個のアップミックス信号のうちの１つとどのようにインタリーブするかを示す制御信号を受信し得る。例えば、制御信号は、更なる波形符号化信号７１０がアップミックス信号４０４のうちの１つとインタリーブされるべきである周波数範囲及び時間範囲を示し得る。例えば、周波数範囲及び時間範囲は、インタリーブすることが実行されるべきである時間／周波数タイルに関して表され得る。時間／周波数タイルは、インタリーブすることが実行されるＱＭＦ領域の時間／周波数グリッドに関しての時間／周波数タイルであり得る。

制御信号は、インタリーブすることが実行されるべきである時間／周波数タイルを示すために、バイナリベクトルのようなベクトルを使用し得る。具体的には、インタリーブすることが実行されるべきである周波数を示している、周波数指示に関する第１のベクトルが存在し得る。指示は、例えば、第１のベクトルにおいて、対応する周波数区間に対して論理１を示すことにより行われ得る。インタリーブすることが実行されるべきである時間区間を示している、時間指示に関する第２のベクトルが同様に存在し得る。指示は、例えば、第２のベクトルにおいて、対応する時間区間に対して論理１を示すことにより行われ得る。この目的のために、時間指示がサブフレーム基準で行われ得るように、時間フレームは、概して、複数の時間スロットに分割される。第１及び第２のベクトルをインターセクト（intersect）することにより、時間／周波数マトリクスが構築され得る。例えば、時間／周波数マトリクスは、第１及び第２のベクトルが論理１を示す各時間／周波数タイルに対する論理１を含むバイナリマトリクスであり得る。インタリーブステージ７１４は、その場合に、例えば、時間／周波数マトリクスにおいて例えば論理１などにより示された時間／周波数タイルに関して、アップミックス信号４０４のうちの１つ又は複数が更なる波形符号化信号７１０により置き換えられるように、インタリーブすることを実行することに関して、時間／周波数マトリクスを使用し得る。

ベクトルは、インタリーブすることが実行されるべきである時間／周波数タイルを示すためにバイナリスキームよりむしろ他のスキームを使用し得る、ということが注意される。例えば、ベクトルは、ゼロのような第１の値を用いて、インタリーブすることが実行されるべきではないことを示すとともに、第２の値を用いて、インタリーブすることが、第２の値により識別される特定のチャネルに関して実行されるべきであることを示すであろう。

図５は、一例として、一実施例による、Ｍ個のチャネルを符号化するための、マルチチャネルオーディオ処理システムに適した符号化システム５００の一般化された構成図を示す。

図５において説明された代表的な実施例において、５．１サラウンド音声の符号化が説明される。したがって、例示された実例において、Ｍは５にセットされる。説明された実施例において、又は図面において、低周波効果信号は言及されない、ということが注意されても良い。これは、あらゆる低周波効果が無視されることを意味しない。低周波効果（Ｌｆｅ）は、当業者によって良く知られているあらゆる適当な方法で、ビットストリーム５５２に加えられる。説明された符号器が、７．１又は９．１サラウンド音声のような他のタイプのサラウンド音声を符号化することに等しく十分に適している、ということが同じく注意されても良い。符号器５００において、５つの信号５０２、５０４は、受信ステージ（図示せず）において受信される。符号器５００は、受信ステージから５つの信号５０２、５０４を受信し、５つの信号５０２、５０４を個別に波形符号化することにより、５つの波形符号化信号５１８を生成するように構成される第１の波形符号化ステージ５０６を含む。波形符号化ステージ５０６は、例えば、５つの受信された信号５０２、５０４のそれぞれにＭＤＣＴ変換を行い得る。復号器に関して論じられたように、符号器は、５つの受信された信号５０２、５０４のそれぞれを、独立したウィンドウ処理によるＭＤＣＴ変換を使用して符号化することを選択し得る。これは、改良された符号化品質、そしてしたがって、復号された信号の品質向上を可能にし得る。

５つの波形符号化信号５１８は、第１のクロスオーバ周波数までの周波数に対応する周波数範囲に関して波形符号化される。したがって、５つの波形符号化信号５１８は、第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含む。これは、５つの波形符号化信号５１８のそれぞれにローパスフィルタ処理を行うことにより獲得され得る。５つの波形符号化信号５１８は、その場合に、心理音響モデル（psychoacoustic model）に従って量子化５２０される。心理音響モデルは、できる限り正確に、マルチチャネルオーディオ処理システムで利用可能なビットレートを考察し、システムの復号器側で復号される場合に聞き手により知覚される符号化された信号を再現するように構成される。

上記で論じられたように、符号器５００は、離散的マルチチャネル符号化及びパラメトリック符号化を含むハイブリッド符号化を実行する。離散的マルチチャネル符号化は、上記で説明されたように、波形符号化ステージ５０６において、第１のクロスオーバ周波数までの周波数に関して、入力信号５０２、５０４のそれぞれに対して実行される。パラメトリック符号化は、復号器側で、第１のクロスオーバ周波数より上の周波数に関して、Ｎ個のダウンミックス信号から５つの入力信号５０２、５０４を復元することができるように、実行される。図５における例示された実例において、Ｎは２にセットされる。５つの入力信号５０２、５０４のダウンミキシングは、ダウンミキシングステージ５３４において実行される。ダウンミキシングステージ５３４は、ＱＭＦ領域において有利に動作する。したがって、ダウンミキシングステージ５３４に入力される前に、ＱＭＦ分析ステージ５２６により、５つの信号５０２、５０４はＱＭＦ領域に変換される。ダウンミキシングステージは、５つの信号５０２、５０４に線形ダウンミキシング動作を実行し、２つのダウンミックス信号５４４、５４６を出力する。

これらの２つのダウンミックス信号５４４、５４６は、逆ＱＭＦ変換５５４が行われることによりそれらがもとの時間領域に変換されたあとで、第２の波形符号化ステージ５０８により受信される。第２の波形符号化ステージ５０８は、第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応する周波数範囲に関して、２つのダウンミックス信号５４４、５４６を波形符号化することにより、２つの波形符号化ダウンミックス信号を生成することになる。波形符号化ステージ５０８は、例えば、２つのダウンミックス信号のそれぞれにＭＤＣＴ変換を行い得る。したがって、２つの波形符号化ダウンミックス信号は、第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む。２つの波形符号化ダウンミックス信号は、次に、心理音響モデルに従って量子化５２２される。

復号器側で第２のクロスオーバ周波数より上の周波数を復元することを可能にするために、高周波復元（ＨＦＲ）パラメータ５３８が、２つのダウンミックス信号５４４、５４６から抽出される。これらのパラメータは、ＨＦＲ符号化ステージ５３２において抽出される。

復号器側で２つのダウンミックス信号５４４、５４６から５つの信号を復元することを可能にするために、５つの入力信号５０２、５０４がパラメトリック符号化ステージ５３０により受信される。５つの信号５０２、５０４は、第１のクロスオーバ周波数より上の周波数に対応する周波数範囲に関して、パラメトリック符号化が行われる。パラメトリック符号化ステージ５３０は、その場合に、第１のクロスオーバ周波数より上の周波数範囲に関して、５つの入力信号５０２、５０４（すなわち、符号化された５．１サラウンド音声における５つのチャネル）に対応する５つの復元された信号への、２つのダウンミックス信号５４４、５４６のアップミキシングを可能にするアップミックスパラメータ５３６を抽出するように構成される。アップミックスパラメータ５３６は、第１のクロスオーバ周波数より上の周波数のためだけに抽出される、ということが注意されても良い。これは、パラメトリック符号化ステージ５３０の複雑さ、及び対応するパラメトリックデータのビットレートを低減し得る。

ダウンミキシング５３４は、時間領域において達成されることができる、ということが注意されても良い。そのような場合に、ＨＦＲ符号化ステージ５３２は、概して、ＱＭＦ領域において動作するので、ＱＭＦ分析ステージ５２６は、ダウンミキシングステージ５３４の下流で、ＨＦＲ符号化ステージ５３２より前に配置されるべきである。この場合、逆ＱＭＦステージ５５４は省略されることができる。

符号器５００は、ビットストリーム生成ステージ、すなわちビットストリームマルチプレクサ５２４を更に含む。符号器５００の代表的な実施例によれば、ビットストリーム生成ステージは、５つの符号化及び量子化された信号５４８、２つのパラメータ信号５３６、５３８、及び２つの符号化及び量子化されたダウンミックス信号５５０を受信するように構成される。これらは、マルチチャネルオーディオシステムにおいて更に分配されるように、ビットストリーム生成ステージ５２４によりビットストリーム５５２に変換される。

説明されたマルチチャネルオーディオシステムでは、例えばインターネット上でオーディオをストリーミングする場合に、最大の利用可能なビットレートがしばしば存在する。入力信号５０２、５０４の各時間フレームの特性が異なるので、５つの波形符号化信号５４８と２つのダウンミックス波形符号化信号５５０との間でビットの正確な同じ割り当ては使用されないかもしれない。さらに、各個別の信号５４８及び５５０は、信号が心理音響モデルに従って復元され得るように、より多い又はより少ない割り当てられたビットを必要とするかもしれない。代表的な実施例によれば、第１及び第２の波形符号化ステージ５０６、５０８は、共通のビット貯蔵器を共有する。符号化されたフレーム当たりの利用可能なビットは、最初に、符号化されるべき信号の特性及び現在の心理音響モデルに応じて、第１及び第２の波形符号化ステージ５０６、５０８の間で分配される。上記で説明されたように、ビットは、その場合に、個別の信号５４８、５５０の間で分配される。高周波復元パラメータ５３８、及びアップミックスパラメータ５３６のために使用されるビットの数は、当然ながら、利用可能なビットを分配する場合に考慮される。第１のクロスオーバ周波数の周辺における知覚的に滑らかな遷移のために、特定の時間フレームにおいて割り当てられたビットの数に関して、第１及び第２の波形符号化ステージ５０６、５０８のための心理音響モデルを調整するように、注意が払われる。

図８は、符号化システム８００の代替実施例を例示する。図８の符号化システム８００と図５の符号化システム５００との間の差異は、符号器８００が、第１のクロスオーバ周波数より上の周波数範囲のサブセットに対応する周波数範囲に関して、入力信号５０２、５０４のうちの１つ又は複数を波形符号化することにより、更なる波形符号化信号を生成するように準備される、ということである。

この目的のために、符号器８００は、インタリーブ検出ステージ８０２を含む。インタリーブ検出ステージ８０２は、パラメトリック符号化ステージ５３０及び高周波復元符号化ステージ５３２により符号化されたパラメトリック復元物（parametric reconstruction）によってうまく復元されない入力信号５０２、５０４の部分を識別するように構成される。例えば、インタリーブ検出ステージ８０２は、入力信号５０２、５０４を、パラメトリック符号化ステージ５３０及び高周波復元符号化ステージ５３２により定義される入力信号５０２、５０４のパラメトリック復元物と比較し得る。比較に基づいて、インタリーブ検出ステージ８０２は、波形符号化されるべき、第１のクロスオーバ周波数より上の周波数範囲のサブセット８０４を識別し得る。インタリーブ検出ステージ８０２は、同様に、第１のクロスオーバ周波数より上の周波数範囲の識別されたサブセット８０４が波形符号化されるべき時間範囲を識別し得る。識別された周波数及び時間サブセット８０４、８０６は、第１の波形符号化ステージ５０６に入力され得る。受信された周波数及び時間サブセット８０４及び８０６に基づいて、第１の波形符号化ステージ５０６は、サブセット８０４、８０６により識別された時間範囲及び周波数範囲に関して、入力信号５０２、５０４のうちの１つ又は複数を波形符号化することにより、更なる波形符号化信号８０８を生成する。更なる波形符号化信号８０８は、次に、ステージ５２０により符号化及び量子化され得るとともに、ビットストリーム８４６に加えられ得る。

インタリーブ検出ステージ８０２は、制御信号生成ステージを更に含み得る。制御信号生成ステージは、復号器において更なる波形符号化信号を入力信号５０２、５０４のうちの１つのパラメトリック復元物とどのようにインタリーブするかを示す制御信号８１０を生成するように構成される。図７を参照して説明されたように、例えば、制御信号は、更なる波形符号化信号がパラメトリック復元物とインタリーブされるべきである周波数範囲及び時間範囲を示し得る。制御信号は、ビットストリーム８４６に加えられ得る。

「等価物、拡張物、代替物、及びその他の物」
本開示の更なる実施例は、上記の記述を検討したあとで当業者には明白になるであろう。本記述及び図面が実施例及び実例を開示するとしても、本開示は、これらの特定の実例に限定されない。多くの修正及び変更が、添付の請求項により定義される本開示の範囲からはずれずに行われ得る。請求項に現れる引用符号は、それらの範囲を限定するものとして理解されるべきではない。

さらに、開示された実施例に対する変形物は、図面、本開示、及び添付された請求項の検討から、本開示を実践する際に当業者により理解されて達成されることができる。請求項において、“備える（comprising）”という単語は、他の要素又はステップを除外しないとともに、不定冠詞“ａ”又は“ａｎ”は、複数を除外しない。特定の手段が相互に異なる従属請求項において暗唱されるという単なる事実は、これらの手段の組み合わせが有効に使用されることができないことを示さない。

上記において開示されたシステム及び方法は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせとして実施されても良い。ハードウェア実装では、上記の記述で言及される機能ユニットの間のタスクの分割は、必ずしも物理的なユニットへの分割に対応するものではなく、逆に、一つの物理的なコンポーネントが複数の機能を有していても良く、そして一つのタスクが協働するいくつかの物理的コンポーネントにより実行されても良い。特定のコンポーネント若しくは全てのコンポーネントは、デジタル信号プロセッサ若しくはマイクロプロセッサにより実行されるソフトウェアとして実施されても良く、又は、ハードウェアとして、若しくは特定用途向け集積回路として実施されても良い。そのようなソフトウェアは、コンピュータ記憶媒体（又は非一時的媒体）及び通信媒体（又は一時的媒体）を含み得るコンピュータ読み取り可能媒体により頒布されても良い。当業者には良く知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報の記憶のための任意の方法または技術で実施された、揮発性及び不揮発性媒体、取り外し可能及び取り外し不可能媒体の両方の媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は、所望される情報を記憶するために使用されることができるとともに、コンピュータによりアクセスされることができる他の任意の媒体を含むが、これらに限定されない。さらに、当業者には、通信媒体が、概して、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータを、搬送波のような変調されたデータ信号、又は他の転送手段において具現するとともに、任意の情報配信媒体を含むことは、良く知られている。

Claims (29)

1. Ｍ個（Ｍ＞２）の符号化されたチャネルを復元するための、マルチチャネルオーディオ処理システムにおける復号方法であって、
   第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含むＮ個（１＜Ｎ＜Ｍ）の波形符号化ダウンミックス信号を受信するステップと、
   前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を受信するステップであって、前記Ｍ個の波形符号化信号のそれぞれが前記Ｍ個の符号化されたチャネルのうちのそれぞれのチャネルに対応する、ステップと、
   前記Ｍ個の波形符号化信号を前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスするステップと、
   前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む前記Ｎ個の波形符号化ダウンミックス信号のそれぞれを、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含む前記Ｎ個のダウンミックス信号のうちの対応する１つと結合して、Ｎ個の結合されたダウンミックス信号にするステップと、
   高周波復元を実行することにより、前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張するステップと、
   前記第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含むＭ個のアップミックス信号への、周波数拡張された前記Ｎ個の結合されたダウンミックス信号のパラメトリックアップミックスを実行するステップであって、前記Ｍ個のアップミックス信号のそれぞれが前記Ｍ個の符号化されたチャネルのうちの１つに対応する、ステップと、
   前記第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含む前記Ｍ個のアップミックス信号を、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含む前記Ｍ個の波形符号化信号と結合するステップとを含む、復号方法。
2. 前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む前記Ｎ個の波形符号化ダウンミックス信号のそれぞれを、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含む前記Ｎ個のダウンミックス信号のうちの対応する１つと結合して、Ｎ個の結合されたダウンミックス信号にする前記ステップが、周波数領域において実行される、請求項１に記載の復号方法。
3. 前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張する前記ステップが、周波数領域において実行される、請求項１又は２に記載の復号方法。
4. 前記第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含む前記Ｍ個のアップミックス信号を、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含む前記Ｍ個の波形符号化信号と結合する前記ステップが、周波数領域において実行される、請求項１から３のいずれかに記載の復号方法。
5. Ｍ個のアップミックス信号への、周波数拡張された前記Ｎ個の結合されたダウンミックス信号のパラメトリックアップミックスを実行する前記ステップが、周波数領域において実行される、請求項１から４のいずれかに記載の復号方法。
6. 前記Ｍ個の波形符号化信号を前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスする前記ステップが、周波数領域において実行される、請求項１から５のいずれかに記載の復号方法。
7. 前記周波数領域が、直交ミラーフィルタ（ＱＭＦ）領域である、請求項２から６のいずれか一項に記載の復号方法。
8. 前記Ｍ個の波形符号化信号を前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスする前記ステップが、時間領域において実行される、請求項１から５のいずれか一項に記載の復号方法。
9. 前記第１のクロスオーバ周波数が、前記マルチチャネルオーディオ処理システムのビット伝送速度によって決まる、請求項１に記載の復号方法。
10. 高周波復元を実行することにより、前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張する前記ステップが、
    高周波復元パラメータを受信するステップと、
    前記高周波復元パラメータを使用して高周波復元を実行することにより、前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張するステップとを含む、請求項１から９のいずれかに記載の復号方法。
11. 高周波復元を実行することにより、前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張する前記ステップが、スペクトル帯域複製（ＳＢＲ）を実行するステップを含む、請求項１０に記載の復号方法。
12. Ｍ個のアップミックス信号への、周波数拡張された前記Ｎ個の結合されたダウンミックス信号のパラメトリックアップミックスを実行する前記ステップが、
    アップミックスパラメータを受信するステップと、
    周波数拡張された前記Ｎ個の結合されたダウンミックス信号の無相関化されたバージョンを生成するステップと、
    周波数拡張された前記Ｎ個の結合されたダウンミックス信号、及び周波数拡張された前記Ｎ個の結合されたダウンミックス信号の前記無相関化されたバージョンに行列演算を行うステップであって、前記行列演算のパラメータが前記アップミックスパラメータにより与えられる、ステップとを含む、請求項１から１１のいずれかに記載の復号方法。
13. 前記の受信されたＮ個の波形符号化ダウンミックス信号、及び前記の受信されたＭ個の波形符号化信号が、それぞれ、前記Ｎ個の波形符号化ダウンミックス信号、及び前記Ｍ個の波形符号化信号に対する独立したウィンドウ処理によるオーバーラップウィンドウ化変換を使用して符号化される、請求項１から１２のいずれかに記載の復号方法。
14. 前記第１のクロスオーバ周波数より上の前記周波数のサブセットに対応するスペクトル係数を含む更なる波形符号化信号を受信するステップと、
    前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つとインタリーブするステップとを更に含む、請求項１から１３のいずれかに記載の復号方法。
15. 前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つとインタリーブする前記ステップが、前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つと加算するステップを含む、請求項１４に記載の復号方法。
16. 前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つとインタリーブする前記ステップが、前記Ｍ個のアップミックス信号のうちの１つを前記更なる波形符号化信号の前記スペクトル係数に対応する前記第１のクロスオーバ周波数より上の前記周波数の前記サブセットにおける前記更なる波形符号化信号によって置き換えるステップを含む、請求項１４に記載の復号方法。
17. 前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つとどのようにインタリーブするかを示す制御信号を受信するステップを更に含み、前記更なる波形符号化信号を前記Ｍ個のアップミックス信号のうちの１つとインタリーブする前記ステップが、前記制御信号に基づいている、請求項１４から１６のいずれか一項に記載の復号方法。
18. 前記制御信号が、前記更なる波形符号化信号が前記Ｍ個のアップミックス信号のうちの１つとインタリーブされるべきである周波数範囲及び時間範囲を示す、請求項１７に記載の復号方法。
19. 請求項１から１８のいずれかに記載の方法を実行するための命令を含むコンピュータプログラム。
20. Ｍ個（Ｍ＞２）の符号化されたチャネルを復元するための、マルチチャネルオーディオ処理システムに適した復号器であって、
    第１のクロスオーバ周波数と第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含むＮ個（１＜Ｎ＜Ｍ）の波形符号化ダウンミックス信号を受信するように構成される第１の受信ステージと、
    前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を受信するように構成される第２の受信ステージであって、前記Ｍ個の波形符号化信号のそれぞれが前記Ｍ個の符号化されたチャネルのうちのそれぞれのチャネルに対応する、前記第２の受信ステージと、
    前記Ｍ個の波形符号化信号を前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＮ個のダウンミックス信号へダウンミックスするように構成される、前記第２の受信ステージの下流のダウンミックスステージと、
    前記第１の受信ステージにより受信される前記Ｎ個の波形符号化ダウンミックス信号のそれぞれを、前記ダウンミックスステージからの前記Ｎ個のダウンミックス信号のうちの対応する１つと結合して、Ｎ個の結合されたダウンミックス信号にするように構成される、前記第１の受信ステージ及び前記ダウンミックスステージの下流の第１の結合ステージと、
    高周波復元を実行することにより、前記第１の結合ステージからの前記Ｎ個の結合されたダウンミックス信号のそれぞれを前記第２のクロスオーバ周波数より上の周波数範囲に拡張するように構成される、前記第１の結合ステージの下流の高周波復元ステージと、
    前記第１のクロスオーバ周波数より上の周波数に対応するスペクトル係数を含むＭ個のアップミックス信号への、前記高周波復元ステージからの周波数拡張された前記Ｎ個の結合されたダウンミックス信号のパラメトリックアップミックスを実行するように構成される、前記高周波復元ステージの下流のアップミックスステージであって、前記Ｍ個のアップミックス信号のそれぞれが前記Ｍ個の符号化されたチャネルのうちの１つに対応する、前記アップミックスステージと、
    前記アップミックスステージからの前記Ｍ個のアップミックス信号を、前記第２の受信ステージにより受信される前記Ｍ個の波形符号化信号と結合するように構成される、前記アップミックスステージ及び前記第２の受信ステージの下流の第２の結合ステージとを備える、復号器。
21. Ｍ個（Ｍ＞２）のチャネルを符号化するための、マルチチャネルオーディオ処理システムに適した符号化方法であって、
    符号化されるべき前記Ｍ個のチャネルに対応するＭ個の信号を受信するステップと、
    第１のクロスオーバ周波数までの周波数に対応する周波数範囲に関して前記Ｍ個の信号を個別に波形符号化することにより、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を生成するステップと、
    前記Ｍ個の信号をＮ個（１＜Ｎ＜Ｍ）のダウンミックス信号へダウンミックスするステップと、
    前記Ｎ個のダウンミックス信号に高周波復元符号化を行うステップであって、第２のクロスオーバ周波数より上の前記Ｎ個のダウンミックス信号の高周波復元を可能にする高周波復元パラメータが抽出される、ステップと、
    前記第１のクロスオーバ周波数より上の周波数に対応する周波数範囲に関して前記Ｍ個の信号にパラメトリック符号化を行うステップであって、前記第１のクロスオーバ周波数より上の前記周波数範囲に関して前記Ｍ個のチャネルに対応するＭ個の復元された信号への前記Ｎ個のダウンミックス信号のアップミキシングを可能にするアップミックスパラメータが抽出される、ステップと、
    前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応する周波数範囲に関して前記Ｎ個のダウンミックス信号を波形符号化することによりＮ個の波形符号化ダウンミックス信号を生成するステップであって、前記Ｎ個の波形符号化ダウンミックス信号が前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む、ステップとを含む、符号化方法。
22. 前記Ｎ個のダウンミックス信号に高周波復元符号化を行う前記ステップが、周波数領域において、好ましくは直交ミラーフィルタ（ＱＭＦ）領域において実行される、請求項２１に記載の符号化方法。
23. 前記Ｍ個の信号にパラメトリック符号化を行う前記ステップが、周波数領域において、好ましくは直交ミラーフィルタ（ＱＭＦ）領域において実行される、請求項２１又は２２に記載の符号化方法。
24. 前記Ｍ個の信号を個別に波形符号化することによりＭ個の波形符号化信号を生成する前記ステップが、前記Ｍ個の信号にオーバーラップウィンドウ化変換を適用するステップであって、異なるオーバーラップウィンドウシーケンスが前記Ｍ個の信号のうちの少なくとも２つのために使用される、ステップを含む、請求項２１から２３のいずれか一項に記載の符号化方法。
25. 前記第１のクロスオーバ周波数より上の前記周波数範囲のサブセットに対応する周波数範囲に関して前記Ｍ個の信号のうちの１つを波形符号化することにより、更なる波形符号化信号を生成するステップを更に含む、請求項２１から２４のいずれか一項に記載の符号化方法。
26. 復号器において前記更なる波形符号化信号を前記Ｍ個の信号のうちの１つのパラメトリック復元物とどのようにインタリーブするかを示す制御信号を生成するステップを更に含む、請求項２５に記載の符号化方法。
27. 前記制御信号が、前記更なる波形符号化信号が前記Ｍ個のアップミックス信号のうちの１つとインタリーブされるべきである周波数範囲及び時間範囲を示す、請求項２６に記載の符号化方法。
28. 請求項２１から２７のいずれか一項に記載の方法を実行するための命令を含むコンピュータプログラム。
29. Ｍ個（Ｍ＞２）のチャネルを符号化するための、マルチチャネルオーディオ処理システムに適した符号器であって、
    符号化されるべき前記Ｍ個のチャネルに対応するＭ個の信号を受信するように構成される受信ステージと、
    前記Ｍ個の信号を前記受信ステージから受信するとともに、第１のクロスオーバ周波数までの周波数に対応する周波数範囲に関して前記Ｍ個の信号を個別に波形符号化することにより、前記第１のクロスオーバ周波数までの周波数に対応するスペクトル係数を含むＭ個の波形符号化信号を生成するように構成される第１の波形符号化ステージと、
    前記Ｍ個の信号を前記受信ステージから受信するとともに、前記Ｍ個の信号をＮ個（１＜Ｎ＜Ｍ）のダウンミックス信号へダウンミックスするように構成されるダウンミキシングステージと、
    前記Ｎ個のダウンミックス信号を前記ダウンミキシングステージから受信するとともに、前記Ｎ個のダウンミックス信号に高周波復元符号化を行うように構成される高周波復元符号化ステージであって、第２のクロスオーバ周波数より上の前記Ｎ個のダウンミックス信号の高周波復元を可能にする高周波復元パラメータを抽出するように構成される前記高周波復元符号化ステージと、
    前記Ｍ個の信号を前記受信ステージから受信するとともに、前記第１のクロスオーバ周波数より上の周波数に対応する周波数範囲に関して前記Ｍ個の信号にパラメトリック符号化を行うように構成されるパラメトリック符号化ステージであって、前記第１のクロスオーバ周波数より上の前記周波数範囲に関して前記Ｍ個のチャネルに対応するＭ個の復元された信号への前記Ｎ個のダウンミックス信号のアップミキシングを可能にするアップミックスパラメータを抽出するように構成される前記パラメトリック符号化ステージと、
    前記Ｎ個のダウンミックス信号を前記ダウンミキシングステージから受信するとともに、前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応する周波数範囲に関して前記Ｎ個のダウンミックス信号を波形符号化することによりＮ個の波形符号化ダウンミックス信号を生成するように構成される第２の波形符号化ステージであって、前記Ｎ個の波形符号化ダウンミックス信号が前記第１のクロスオーバ周波数と前記第２のクロスオーバ周波数との間の周波数に対応するスペクトル係数を含む、前記第２の波形符号化ステージとを備える、符号器。

Images