JP2008519307A - 多チャンネル音声信号の符号化及び復号化 - Google Patents

Abstract

符号化装置（１）であって、第１の数（Ｍ）の入力音声チャンネルを第２のより少数（Ｎ）の出力音声チャンネルへ変換し、第１の信号（Ｌｆ；Ｒｆ；Ｃｏ）及び第２の信号（Ｌｒ；Ｒｒ；Ｌｅ）を第３の信号（Ｌ；Ｒ；Ｃ）及び第４の信号（Ｌｓ；Ｒｓ；Ｃｓ）に変換する少なくとも１つの変換ユニット（１２）を有する。第３の、つまり主要信号は、第１及び第２の信号の信号エネルギーの大部分を有し、一方で第４の、つまり残差信号は当該信号エネルギーの残余を有する。符号化装置は、第３の信号（Ｌ；Ｒ；Ｃ）を用い出力信号を生成するよう、及び第４の信号（Ｌｓ；Ｒｓ；Ｃｓ）を出力するよう配置される。復号化装置（２）であって、第１の数（Ｎ）の入力音声チャンネルを第２のより多数（Ｍ）の出力音声チャンネルへ変換し、第１の信号（Ｌ；Ｒ；Ｃ）及び第２の信号（Ｌｄ；Ｒｄ；Ｌｄ）を第３の信号（Ｌｆ；Ｒｆ；Ｃｏ）及び第４の信号（Ｌｒ；Ｒｒ；Ｌｅ）に変換する少なくとも１つの変換ユニット（２４）を有する。第１の、つまり主要信号は、第３及び第４の信号の信号エネルギーの大部分を有し、一方で第２の、つまり残差信号は当該信号エネルギーの残余を有する。符号化装置は、少なくとも１つの第２の信号（Ｌｄ；Ｒｄ；Ｃｄ）を受信するよう配置される。

Description

本発明は、多チャンネル符号化及び復号化に関する。より詳細には、本発明は、複数の音声チャンネルをより少数の音声チャンネルへ変換（符号化）する装置及び方法、並びに複数の音声チャンネルをより多数の音声チャンネルへ変換（復号化）する装置及び方法に関する。

多チャンネルを用いる音声システムは、良く知られている。従来のステレオシステムは２つの音声チャンネルのみを用いるが、最新の５．１システムは６チャンネル、つまり前面左（ｌｆ）、背面左（ｌｒ）、前面右（ｒｆ）、背面右（ｒｒ）、中央（ｃｏ）及び低周波数効果（ｌｆｅ又はｌｅ）を用いる。チャンネル数の増加は、格納及び／又は送信されるべき音声データ量の増大を引き起こしている。このデータの増加は、符号化によりデータ量を低減する努力を引き起こした。

これら符号化技術の１つは、Ｍｉｄ／Ｓｉｄｅ（Ｍ／Ｓ）符号化又は和／差符号化として知られ、非特許文献１に議論されている。Ｍｉｄ／Ｓｉｄｅ符号化は、標準的に１対のステレオ信号を符号化するために用いられる。Ｍ／Ｓ符号化を用い、第１の（例えば左）信号ｌ［ｎ］及び第２の（例えば右）信号ｒ［ｎ］を有する音声信号は、和信号ｍ［ｎ］及び差（残差）信号ｓ［ｎ］として符号化される。
ｍ［ｎ］＝ｒ［ｎ］＋ｌ［ｎ］
ｓ［ｎ］＝ｒ［ｎ］−ｌ［ｎ］ （１）
（大部分の）同一信号ｌ［ｎ］及びｒ［ｎ］では、対応する差信号ｓ［ｎ］がゼロに近いので、Ｍ／Ｓ符号化は大きな符号化利得を与える。一方、和信号は、事実上全ての信号エネルギーを有する。従ってこの場合、和及び差信号の符号化に要するビットレートは、単一チャンネルのみの符号化に要するビットレートと近い。

代案として、式（１）のＭｉｄ／Ｓｉｄｅ符号化処理は、回転行列を用い記述され得る。

ここで、左及び右信号は、角度π／４だけ回転される。和信号は、左及び右のサンプルの線ｌ＝ｒへの投影として解釈され得る。一方、差（又は残差）信号は、左及び右のサンプルの線ｌ＝−ｒへの投影として解釈され得る。

この技術は、π／４以外の回転角を許容することにより一般化され得る。広範囲の入力信号に対し残差信号の信号パワーを最小化するため（つまり符号化利得を最大化する）、回転角は更に、信号に依存して良い。次のユニタリ回転は、１対のチャンネルに適用されて良い。

ここでｍ’［ｎ］及びｓ’［ｎ］は、主要及び残差信号をそれぞれ表す。角度αは、残差信号のパワーを最小化するよう、従って主要信号のパワーを最大化するよう選択される。この一般化された回転技術は、しばしば主成分分析（ＰＣＡ）として参照される。

式（３）の回転は残差信号のパワーを最小化するので、残差信号は、特により高い周波数において標準的に知覚関連情報をほとんど有さないと考えられる。このため、従来の符号化システムは、式（３）の回転及び同様の変換で生成された残差信号を廃棄する。以上で参照された技術は主としてステレオ信号を対象としているが、当該技術は、１対の信号を、格納及び／又は送信される主要信号及び廃棄される残差信号へ繰り返し減少させることにより、５．１信号のような多チャンネルを有する音声信号に適用されて良い。

残差信号の廃棄は、勿論、結果としてデータを減少させる。しかしながら、本発明の発明者らは、残差信号が比較的大容量の情報を有する場合のみ、有意なデータの減少が達成されることを理解していた。残差信号の廃棄は、このような場合、必ず結果として不要な知覚可能な音声信号の歪みを生じる。

復号化装置では、以上に議論された技術は、符号化信号から元の信号を再構成するために用いられる。例えばＭ／Ｓ符号化が用いられている場合、逆回転により元の信号対を再生するために、主要信号及び残差信号の両方が必要である。従来技術の符号化装置では、残差信号は受信されず、従って合成残差信号は各主要信号から逆相関器を用い引き出される。これは元の信号に近似させるが、合成残差信号の波形は、標準的に実際の残差信号の波形と異なる。結果として、復号化信号と元の信号の間に相違がある。
欧州特許第０４１０３１６８．３号明細書 ジェイ・ディー・ジョンソン、エー・ジェイ・フェレイラ（Ｊ．Ｄ．Ｊｏｈｎｓｔｏｎ、Ａ．Ｊ．Ｆｅｒｒｅｉｒａ）、サム−ディファレンス・ステレオ・トランスフォーム・コーディング（Ｓｕｍ−ｄｉｆｆｅｒｅｎｃｅ ｓｔｅｒｅｏ ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ）、ＩＣＡＳＳＰ会報（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ ａｎｄ Ｓｐｅｅｃｈ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ））、（米国）、１９９２年、ＩＩ、ｐ．５６９−５７２

本発明の目的は、従来技術の上述の及び他の問題を克服し、及び信号品質を改善させる符号化装置及び復号化装置を提供することである。

従って本発明は、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換する符号化装置を提供する。当該第１の数は当該第２の数より大きい。当該装置は、少なくとも２つの変換ユニットを有し、それぞれ第１の信号及び第２の信号を第３の信号及び第４の信号に変換する。当該第３の信号は、当該第１及び第２の信号の大部分の信号エネルギーを有する。当該第４の信号は、当該信号エネルギーの残余を有する。当該符号化装置は、当該第３の信号を用い出力信号を生成するよう配置される。当該符号化装置は、第４の信号を出力するよう更に配置される。

少なくとも１つの第４の信号を出力することにより、つまり上述の残差信号を廃棄する代わりに出力することにより、元の信号の有意に良好な再構成が復号器により生成され得る。

符号化装置が２つ以上の変換ユニットを有する場合、第４の信号は望ましくは各変換ユニットへ出力される。しかしながらこれは必須ではなく、選択された変換ユニットの第４の信号は、復号器における信号品質を向上するために用いられ得る。留意すべき点は、変換ユニットが並列又は直列（カスケード）に配置され得ること、及び変換ユニットが２つ以上の、例えば３個の入力チャンネルを有して良いことである。

第４の信号全体、つまり第１及び第２の信号の全期間を出力可能であるが、第４の信号が出力されるべき時間区間を選択することが望ましい。より詳細には、知覚関連時間区間（例えば時間フレーム）を選択することにより、第４の信号を送信又は格納するために必要な送信又は記憶容量は、減少される。同時に、依然として有意な信号品質の向上を従来技術に提供する。例えば、５ｋＨｚより低い周波数を有する時間区間のみが、周波数に依存した選択を用い選択される。

更に好適な実施例では、時間区間又は信号部分の選択は、実質的に第４の（つまり残差）信号の知覚関連部分を通過させ、第４の信号の知覚関連の少ない部分を減衰し、及び第４の信号の知覚関連の最も少ない部分を抑制することにより達成される。つまり、信号部分（又はフレーム）は、少なくとも３個のグループに分割される。つまり、知覚的に最も関連のある信号部分は、実質的に減衰されずに通過する。知覚的に関連の少ない信号部分も通過するが、減衰される。そして知覚的に最も関連の少ない信号部分は、抑制される。このように、それぞれ異なる関連を有する信号部分間でより円滑な遷移が達成され、結果としてより高い信号品質を得る。

知覚関連性は、多くの方法で、例えば特定の時間区間の間の変換ユニットの第４の信号と第３の信号とのパワー比のような比に依存する例えば重み付け（つまり利得又は減衰）値を提供する重み付け関数を用いることにより、決定されて良い。

個々のチャンネルの時間及び／又は周波数区間の選択の代わりに、又は更に、第４の信号が出力されるチャンネルもまた選択されて良い。少なくとも２つの変換ユニットがカスケードに配置される場合、望ましくは符号化装置の出力端子に最も近い変換ユニットが選択され、符号化装置の第４の信号を出力し、同時に（信号処理方向に）更に離れた１つ以上の変換ユニットの第４の信号は廃棄されて良い。言い換えると、（信号処理方向に）下流の変換ユニットは、他の変換ユニットの前に選択され、それらそれぞれの第４の信号を出力する。本発明の発明者らは、符号化装置の出力端子の最も近くで、つまり最終段で生成された第４の信号が、標準的に復号化装置の最初の段で用いられ、及び従って復号化信号の品質に最も大きい関連を有することを理解していた。このため、望ましくは、特に利用可能な送信容量が全ての第４の信号の送信を許容しない場合、これら第４の信号は送信され、一方より少ない関連を有する変換ユニットの第４の信号が廃棄される。

変換ユニットのこの選択は、一時的又は恒久的であって良い。一時的な場合、全ての変換ユニットは、利用可能な送信容量又は他の因子に依存して、それぞれの第４の信号を通過又は阻止する選択ユニットを設けられて良い。恒久的な場合、特定の変換ユニットの選択ユニットは、標準的に装置の出力端子から最も離れており、省略されて良い。

本発明はまた、以上に定められたような符号化装置を用い符号化された音声信号を復号化する復号化装置を提供する。従って本発明は、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換する復号化装置を提供する。当該第１の数は当該第２の数より小さい。当該装置は、少なくとも２つの変換ユニットを有し、それぞれ第１の信号及び第２の信号を第３の信号及び第４の信号に変換する。当該第１の信号は、当該第３及び第４の信号の大部分の信号エネルギーを有する。当該第２の信号は、当該信号エネルギーの残余を有する。当該装置は、第１の信号を逆相関し合成の第２の信号を生成する少なくとも１つの逆相関ユニットを更に有する。当該復号化装置は、少なくとも１つの追加の第２の信号を受信するよう更に配置される。

復号化装置で生成された如何なる合成残差信号も標準的に元の残差信号と同一でないので、追加の第２の信号（つまり符号化装置で第４の信号として参照された残差信号）を受信することにより、復号化音声信号の品質改善が達成される。

好適な実施例では、受信した第２の信号は、導出された合成の第２の信号と結合され、従って変換ユニットに供給される第２の信号は、２つの信号の合成である。これは、合成残差信号が常に利用可能であり、また当該合成残差信号の時間区間では、如何なる残差信号も送信されないという利点を有する。これらの合成残差信号の時間区間では、実際には残差信号が送信され、変換ユニットにより用いられる残差信号は、送信残差信号と合成残差信号の合成であり、及び従って合成残差信号を部分的にのみ有する。

好適な実施例では、復号化装置は、合成信号を減衰する、受信残差信号により制御される減衰ユニットを設けられる。これは、選択された残差信号と選択されていない残差信号との間のより円滑な遷移を可能にし、如何なる切り替えアーティファクトも回避する。より詳細には、これは、各合成残差信号の振幅を、対応する受信残差信号により制御可能にする。従って、合成残差信号と実際に送信残差信号との合成の有意な改善が達成される。

以上では、Ｍ／Ｓ及びＰＣＡ符号化を参照した。代案として又は更に、振幅に関連する符号化技術が用いられ得る。

留意すべき点は、本発明が空間音声符号化、つまり２つのチャンネルのみを有するステレオ符号化とは対称的に標準的に２つ以上のチャンネルを有する音声符号化に関することである。

本発明は、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換する方法を提供する。当該第１の数は当該第２の数より大きい。当該方法は、少なくとも２つの段階を有する。つまり、第１の信号及び第２の信号を第３の信号及び第４の信号に変換する段階である。当該第３の信号は、当該第１及び第２の信号の大部分の信号エネルギーを有する。当該第４の信号は、当該信号エネルギーの残余を有する。そして、当該第３の信号を用い出力信号を生成する段階である。当該方法は、第４の信号を出力する段階を更に有する。

本発明は、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換する方法を更に提供する。当該第１の数は当該第２の数より小さい。当該方法は、少なくとも２つの段階を有する。つまり、第１の信号及び第２の信号を第３の信号及び第４の信号に変換する段階である。当該第１の信号は、当該第３及び第４の信号の大部分の信号エネルギーを有する。当該第２の信号は、当該信号エネルギーの残余を有する。そして、当該第１の信号から当該第２の信号を引き出す段階である。当該方法は、追加の第２の信号を受信する段階を更に有する。

当該方法は、第１の信号を逆相関する段階を更に有し、導出した合成の第２の信号を生成して良い。望ましくは、当該方法は、合成の第２の信号を減衰する段階を更に有し、当該段階は、対応する受信した第２の信号により制御される。有利なことに、当該方法は、合成の第２の信号と受信した第２の信号を結合する段階、及び結合された信号を変換する段階で用いる段階を更に有して良い。

本発明は、以上に定められた符号化及び復号化方法を実行するコンピュータープログラムを更に提供する。コンピュータープログラムは、ＣＤ又はＤＶＤのようなデータ担体に格納された、コンピューターが実行可能な命令のセットを有して良い。コンピューターが実行可能な命令のセットは、プログラム可能なコンピューターに以上に定められた方法を実行させ、またリモートサーバーからの、例えばインターネットを介したダウンロードに利用可能であって良い。

本発明は、例である図示された実施例を参照し、以下に更に説明される。

図１に単なる非限定的な例として示された本発明の装置１０は、２対１変換ユニット１２と、選択減衰（Ｓ＆Ａ）ユニット１５を有する。変換ユニット１２は、信号の第１の対を信号の第２の対に変換するよう配置された従来の変換ユニットであって良い。当該第２の対は、大部分の信号エネルギーを有する主要信号及び残りの信号エネルギーを有する残差信号を有する。信号の第２の対（つまり主要及び残差信号）は、信号回転又は同様の技術を用い、例えば上述の式（３）を用い第１の対から引き出されて良い。

図１の例では、変換ユニット１２は、共にステレオ信号を構成する左信号ｌ［ｋ］及び右信号ｒ［ｋ］を受信する。添え字ｋは、周波数帯又はビンを表す。信号ｌ［ｋ］及びｒ［ｋ］は、望ましくは時間信号ｌ［ｎ］及びｒ［ｎ］から、短時間フーリエ変換（ＳＴＦＴ）又は同様の変換を用い引き出される。従って、信号ｌ［ｋ］及びｒ［ｋ］は、時間フレームのような時間区間の周波数成分を表す。

従来技術の配置では、主要信号ｍ［ｋ］は符号化に用いられ、一方、残差信号ｓ［ｋ］は廃棄され、変換ユニット１２は主要信号ｍ［ｋ］及び変換に関連したパラメーターのセット（Ｐａｒｓ）を生成する。２００４年７月５日に出願された特許文献１（ＰＨＮＬ０４０７６２）は、残差信号ｓ［ｋ］の一部が用いられる符号器配置を記載している。より詳細には、初期の用途の配置では、残差信号の知覚関連部分を選択し、一方知覚に無関連の部分を廃棄する選択器が用いられる。従って、ある部分（時間フレームの周波数表現であって良い）は、選択されるか廃棄されるかの何れかである。特許文献１の全体の内容は、本願明細書に組み込まれる。特許文献１は、ステレオ符号器及び復号器における残差信号の部分の選択を記載する。しかしながら、５．１構成のような多チャンネル符号化及び復号化装置における残差信号の選択は、記載されていない。

上述の特許文献１による選択は、重み付け関数Ｗ’を示す図３に図示される。残差信号の部分に割り当てられた重みｗは、関連因子ｚに依存する。関連因子ｚは、残差信号ｓ［ｋ］のパワーと主要信号のパワーとの比ｍ：ｚ＝Ｐ（ｓ［ｋ］）／Ｐ（ｍ［ｋ］）、又は特に主要信号と比較した残差信号の（相対）知覚関連性を表す如何なる他の因子であって良い。残差信号の相対パワーが特定の閾値ｚ_０を超えた場合、重み付け因子ｗは１に等しい。これは、残差信号部分が完全に符号化されそして送信されることを意味する。残差信号の相対パワーが特定の閾値ｚ_０より小さい場合、重み付け因子ｗは０に等しく、残差信号の関連部分は廃棄される。

本発明の発明者らは、この選択が非常に粗悪であり、可聴の切り替えアーティファクトを生じ得ることを理解している。特に、復号化信号の品質は、送信データ量を有意に増加することなく、改善され得る。従って、本発明は、関連部分と非関連部分との間を区別するだけでなく、関連のより少ない部分、つまり（最も）関連する部分ほど関連しないが無関連でもない部分を識別する残差信号の（部分の）選択を提供する。

本発明による重み付け関数Ｗの例は、図４及び図５に図示される。図４の例では、重み付け関数Ｗは、２つの閾値ｚ_０及びｚ_１を有する。ｚがｚ_０より小さい場合、重み付け係数ｗはゼロに等しい。ｚがｚ_０より大きいがｚ_１より小さい場合、重み付け係数ｗは、（この例では）０．５に等しい（他の値、例えば０．２５又は０．６７もまた用いられて良いことが理解されるだろう）。ｚがｚ_１より大きい場合、ｗは１に等しい。図４の例では、従って３個の異なる重み付け係数の値が用いられる。

図５の例では、重み付け係数ｗは、０（ｚ＝ｚ_０）から０．５（ｚ＝ｚ_１）を経由し１．０（ｚ＝１）へ次第に増加する。結果として、最も関連のある信号部分（ｚ＝１）だけが、１に等しい重み付け係数を有し、及びｚ_０より大きい関連因子ｚを有する全ての信号部分は、ゼロでない重み付け係数ｗを有する。図５の例では、理論的に有限数の異なる重み付け係数の値が用いられる。重み付け関数Ｗの漸増は、結果として異なる減衰レベルの間の円滑な「切り替え」を生じる。

勿論、図４及び図５に図示された関数以外の他の関数が用いられて良い。一般に、重み付け関数は、元の信号対ｌ［ｋ］、ｒ［ｋ］の再構成に如何なる有意な貢献もしない残差信号の部分が除去され、中間の関連を有する残差信号の部分が減衰され、及び非常に重要な部分が実質的に減衰されずに通過するという特性を有する。

留意すべき点は、パワー比の代わりに、帯域幅のような他の基準が用いられ得ることである。例えば、信号パワーに無関係に、特定の閾周波数より低い周波数を有する信号部分を選択するよう決定され得る。

図１に示された本発明による選択減衰（Ｓ＆Ａ）ユニット１５は、信号部分を選択するだけでなく、特定の選択された信号部分を減衰する。残差信号ｓ［ｋ］に加え、選択減衰ユニット１５は、主要信号ｍ［ｋ］を受信する。示された実施例では、選択減衰ユニット１５はまた、２対１変換ユニット１２により生成された信号パラメーター（Ｐａｒｓ）、及び元の信号対ｌ［ｋ］及びｒ［ｋ］を受信する。元の信号対を選択減衰ユニット１５に供給することは、主要信号及び残差信号の相対パワー（又は他の特性）に加え又は代わりとして、選択減衰ユニットの決定に元の信号対の相対パワー（又は他の特性）を含める可能性を提供する。信号パラメーターを選択減衰ユニット１５に供給することは、更なる信号特性を選択減衰処理で使用可能にする。

選択減衰ユニット１５は、主要信号ｍ［ｋ］と共に符号化され得る重み付けされた残差信号ｗｓ［ｋ］を出力する。重み付け残差信号ｗｓ［ｋ］は、元の残差信号ｓ［ｋ］より少ない情報を有し、及び従って符号化信号対の送信に必要なビットレートを低減することが理解される。他方で、重み付け残差信号ｗｓ［ｋ］の算入は、残差信号が廃棄される従来技術の配置と比較して、信号品質の有意な向上を提供する。選択減衰ユニット１５は、図４及び図５に図示された重み付け関数Ｗ、又は選択及び必要に応じて残差信号ｓ［ｋ］を減衰する如何なる等価なツールを用いる。

復号化装置で用いられる本発明による配置は、図２に図示される。単に例である配置２０は、ミキシングユニット２４及び重み付けユニット２９を有する。配置２０は、主要信号ｍ［ｋ］、重み付け残差信号ｗｓ［ｋ］及び信号パラメーター（Ｐａｒｓ）を受信する。主要信号ｍ［ｋ］は、逆相関器（Ｄ）２３へ供給され、残差信号が送信されない従来技術の配置で行われるように、合成残差信号ｓ_ｄ［ｋ］を引き出す。この合成残差信号ｓ_ｄ［ｋ］は、減衰器２６へ供給され、減衰器２６において重み付け残差信号ｗｓ［ｋ］の制御の下で減衰される。信号パラメーターはまた、減衰器２６へ供給され、合成残差信号の減衰を更に制御する。結果として生じる減衰合成残差信号及び重み付け残差信号は、結合ユニット２７で結合される。結合ユニット２７は、本発明では加算器により構成される。結果として生じる結合残差信号ｓ_ｈ［ｋ］は、ミキシングユニット２４の入力へ供給される。主要信号ｍ［ｋ］はミキシングユニット２４の他の入力へ供給される。一方、信号パラメーター（例えばＩＩＤ及びＩＣＣを有する）は、ミキシングユニット２４の制御入力へ供給され、信号対ｍ［ｋ］、ｓ_ｈ［ｋ］を、例えば上述の式（３）に記述された信号回転により、又は如何なる他の適切な技術により、信号対ｌ’［ｋ］、ｒ’［ｋ］に変換する。

従って、本発明の配置２０では、ミキシングユニット２４へ供給される残差信号ｓ_ｈ［ｋ］は、（復号化）残差信号ｗｓ［ｋ］及び合成残差信号の減衰されたものの合成である。如何なる（送信）残差信号ｗｓ［ｋ］も利用可能でない場合、逆相関された信号ｓ_ｄ［ｋ］が、実質的に減衰されずに用いられる。残差信号ｗｓ［ｋ］が利用可能な場合、従って逆相関信号ｓ_ｄ［ｋ］は減衰される。

本発明による符号化及び復号化装置は、図８、９、１２及び１３を参照し以下に議論される。しかしながら、先ず、従来技術による符号化装置及び復号化装置が図６及び図７を参照して議論される。

従来技術の符号化装置１’は、所謂５．１信号のような６チャンネルの音声入力信号を、２チャンネルの音声出力信号に符号化するために設計される。示された例では、入力チャンネルはｌｆ（前面左）、ｌｒ（背面左）、ｒｆ（前面右）、ｒｒ（背面右）、ｃｏ（中央）及びｌｅ（低周波数効果）である。これら全ての信号は、デジタル時間信号であり、ｌｆ［ｎ］、ｌｒ［ｎ］等、ｎをサンプル番号として表記され得る。

音声入力信号は、分割変換（Ｔ）ユニット１１へ入力される。分割変換（Ｔ）ユニット１１は、信号を時間区間に分割する。時間区間は次に、例えばＦＦＴ（高速フーリエ変換）を用い周波数ドメインに変換される。時間信号が分割される時間区間は、望ましくは、従来良く知られているように部分的に重複する。

分割変換ユニット１１は、変換信号Ｌｆ、Ｌｒ、Ｒｆ、Ｒｒ、Ｃｏ及びＬｅを生成する。Ｌｆ、Ｌｒ、Ｒｆ、Ｒｒ、Ｃｏ及びＬｅは、時間区間の周波数ドメイン表現であり、Ｌｆ［ｋ］、Ｌｒ［ｋ］等、ｋを周波数インデックスとして表記され得る。これら変換信号は、２対１変換器１２へ供給される。２対１変換器１２は、入力信号の各対（例えばＬｆ及びＬｒ）を、主要信号（例えばＬ）及び残差信号に変換し、同時に信号パラメーターの関連セット（例えばＰＳ１）を生成する。この変換は、標準的に信号の回転を有する。従って主要信号は信号エネルギーの大部分を有し、一方で残差信号は信号エネルギーの残余を有する。

図６の従来技術の装置では、残差信号は廃棄され、一方で主要信号は３対２変換ユニット１３へ供給される。分かるように、各２対１変換ユニット１２は、主要信号Ｌ、Ｒ及びＣ、及びそれぞれ関連パラメーターセットＰＳ１、ＰＳ２及びＰＳ３を生成する。パラメーターセットは、回転角α、チャンネル間強度差パラメーターＩＩＤ及び／又はチャンネル間相関パラメーターＩＣＣのような、ユニット１２により実行される変換に関連するパラメーターを有する。

３対２変換ユニット１３は、３個の入力信号Ｌ、Ｒ及びＣを２つの出力信号Ｌ_０及びＲ_０に変換し、同時に関連パラメーターセットＰＳ４を生成する。留意すべき点は、入力信号Ｌ及びＲがそれぞれ以上に定められた第１及び第２の信号と同一であって良く、信号Ｌ_０及びＣ_０がそれぞれ以上に定められた第３及び第４の信号と同一であって良いことである。

（変換ドメイン）信号Ｌ_０及びＲ_０は、逆変換（Ｔ^−１）及び重複加算（ＯＬＡ）ユニット１４へ供給される。重複加算（ＯＬＡ）ユニット１４は、時間ドメイン信号ｌ_０及びｒ_０を出力する。逆変換は、ユニット１１の変換の片方であり、標準的に逆ＦＦＴである。重複加算演算は、実質的にユニット１１の分割演算の逆であり、部分的に重複する時間フレームを加算する。

従って従来技術の符号器１’は、６個の入力音声（時間）信号を、２個の出力音声（時間）信号と４個のパラメーターセットに変換することが分かる。各変換ユニット１２又は１３では、出力信号は廃棄され、信号の数、及び従って必要な送信レートを低減する。

図７は、従来技術による互換性のある復号化装置を図示する。復号化装置２’は、２つの音声入力チャンネルを６個の音声出力チャンネルへ変換するよう設計され、入力（時間）信号ｌ_０及びｒ_０を分割し変換する分割変換（Ｔ）ユニット２１を有する。符号化装置でのように、短時間フーリエ変換（ＳＴＦＴ）が用いられて良い。結果として生じる（変換ドメイン）信号Ｌ_０及びＲ_０は、２対３変換ユニット２２へ供給される。２対３変換ユニット２２へは、（第４の）パラメーターセットＰＳ４も供給される（図６と比較のこと）。２対３変換ユニット２２は、２つの信号Ｌ_０及びＲ_０を３個の信号Ｌ、Ｒ及びＣに変換する。３個の信号Ｌ、Ｒ及びＣは、それぞれ逆相関（Ｄ）ユニット２３及びミキシング（Ｍ）ユニット２４へ供給される。逆相関ユニット２３は、信号Ｌ、Ｒ及びＣのそれぞれ逆相関された信号Ｌｄ、Ｒｄ及びＣｄを生成する。これらの逆相関信号は、合成残差信号として機能し、符号化装置で廃棄された信号を効果的に置き換える。

３個のミキシングユニット２４のそれぞれは、（アップ）ミキシング動作を制御する、それぞれのパラメーターセットＰＳ１、ＰＳ２及びＰＳ３を受信する。ＰＣＡ（主成分分析）が用いられる場合、信号回転は、信号パラメーターセットに含まれた角度αにわたり実行される。他の適切なパラメーターは、例えば以上に説明されたＩＩＤ及びＩＣＣである。これらのパラメーターの全ては必要ではなく、角度αがパラメーターＩＩＤ及びＩＣＣから次式を用い引き出されて良い。

及び

ミキシングユニット２４により生成された信号は、それぞれ信号対Ｌｆ及びＬｒ、Ｒｆ及びＲｒ、並びにＣｏ及びＬｅである。これらの信号は、逆変換及び重複加算ユニット２５により逆変換（Ｔ^−１）される。逆変換及び重複加算ユニット２５は、逆ＦＦＴのような適切な逆変換を実行し、そして次に時間信号対ｌｆ及びｌｒ、ｒｆ及びｒｒ、並びにｃｏ及びｌｅを再構成する。従って従来技術の符号器２’は、１対の音声入力信号（ｌ_０及びｒ_０）を、６個の音声出力信号に変換することが分かる。

知られている復号化装置２’の不利点は、出力信号品質が必ず制限されることである。更に利用可能な送信容量の如何なる増加も、出力信号品質の対応する増加を生じないことである。これはつまり、ミキシングユニット２４により用いられる残差信号が、合成である、つまり主要信号から引き出されたという事実による。本発明は、既に図１乃至５を参照して説明されたように、残差信号の選択部分も送信することにより、これらの問題を解決する。

図８に示された本発明による符号化装置１は、図６に示された従来技術の符号器装置１’と同様であるが、３個の２対１ユニット１２及び単一の３対２ユニット１３により生成された残差信号の扱いが異なる。従来技術では、ユニット１２の信号処理（標準的に信号回転）演算により生成された残差信号は、廃棄され、従って「２対１」ユニットと参照される。本発明の装置では、しかしながら、これらの残差信号は廃棄されずユニット１２により出力され、そしてその後、選択減衰ユニット１５により処理される。これは、２対１ユニット１２と選択減衰ユニット１５を有する図１の配置１０と対応する。従って、分割変換ユニット１１により生成された（Ｌｆ及びＬｒのような）変換入力信号、及び／又はユニット１２により生成された信号パラメーター（図８にＰＳ１、．．．、ＰＳ３と示される）はまた、選択減衰ユニット１５へ供給されて良い。

各選択減衰ユニット１５は、符号化装置１により出力される、それぞれの残差信号Ｌｓ、Ｒｓ及びＣｓを生成する。当業者は、これらの残差信号が、パラメーターセットＰＳ１、．．．、ＰＳ４と同様に、適切に符号化され、及び／又は符号化装置により出力される前に量子化されて良いことを理解するだろう。

３対２ユニット１３により生成された追加残差チャンネルＥ_０は、同様に選択的に出力されて良い。この残差チャンネルＥ_０は、図６を参照して説明された残差チャンネルＣ_０の予測エラーを表す。予測エラーは、残差チャンネルＣ_０及びその予測の差分に等しく、またはＬ_０及びＲ_０の一次結合であって良い。追加残差チャンネルＥ_０は、望ましくは、選択減衰演算（ユニット１５）を行われないが、これは確実に可能である。逆変換（Ｔ^−１）及び重複加算ユニット１４は、示された実施例では、通常出力（時間）信号ｌ_０及びｒ_０に加え、残差（時間）信号ｅ_０を出力する。

追加残差チャンネルは、追加送信容量（ビット割り当て量）が利用可能な場合、用いられて良い。従って、追加送信容量は、全ての追加残差チャンネルにわたり分配されて良い。いくつかの分配特性は、以下に記載される。
−追加チャンネルは、左側音声チャンネルブロックと右側音声チャンネルブロックとに対称的に割り当てられる（ブロックは、例えばチャンネルに関連したユニットの数である）。
−追加チャンネルは、先ず符号化装置の出力に最も近いブロックに割り当てられる。及び
−利用可能な送信容量は、可能な限り多くの追加チャンネルにわたり分配される。

更に、追加チャンネルの帯域幅は制限され、例えば２ｋＨｚに制限されて良い。

図９は、本発明による、例である互換性のある復号化装置を図示する。本発明の復号化装置２は、図７の従来技術の復号化装置２’と同様であるが、ユニット２６及び２７、追加残差チャンネルＬｓ、Ｒｓ及びＣｓの使用、及び更なる残差チャンネルｅ_０の選択的使用が異なる。
図９に示されるように、図９の符号化装置は、３個の重み付けユニット（図２の２９）を有する。各重み付けユニットは、逆相関ユニット２３、減衰ユニット２６及び結合ユニット２７を有する。これら各重み付けユニットは、それぞれの残差信号Ｌｓ、Ｒｓ及びＣｓを、それぞれのパラメーターセットＰＳ１、ＰＳ２及びＰＳ３と共に受信する。重み付けユニット２９は、それぞれ逆相関ユニット２３、制御された減衰ユニット２６及び結合ユニット２７を有し、合成残差信号と送信残差信号の重み付けを提供することにより、復号化信号ｌｆ、ｌｒ、．．．、ｌｅの有意な品質向上を可能にする。

復号化装置２は、図８の符号化装置１だけでなく、残差信号を生成する他の符号化装置で符号化された信号も復号化可能なことが理解されるだろう。言い換えると、図１に図示されたような配置１０の重み付けは有利であるが、これら残差信号は、このような配置で重み付けされる必要はない。復号化装置２は、従って従来技術の符号化装置、例えば図６の従来技術の符号化装置により符号化された信号を復号化可能である。

本発明の復号化装置２の実施例は、減衰ユニット２６が省略され、チャンネルＬ、Ｒ及びＣの逆相関されたものが結合ユニット２７に直接供給されると考えられる。本発明の範囲に包含されるこのような実施例では、追加残差チャンネルＬｓ、Ｒｓ及びＣｓの使用は、図７に示される従来技術の復号器２’と比較して改善された信号品質をもたらす。しかしながら、減衰ユニット２６を設けることにより、追加残差チャンネルＬｓ、Ｒｓ及びＣｓはより有用に用いられる。

選択的な更なる残差チャンネルｅ_０は、２対３ユニット２２で第３のチャンネルとして用いられ、従って２個の代わりに３個の入力チャンネルを設ける。これは、例えば残差チャンネルＣ_０の予測を調整することにより、信号Ｌ、Ｒ及びＣを（変換）入力チャンネルＬ_０及びＲ_０及びパラメーターセットＰＳ４から引き出す場合、信号品質を改善する。

図１０は、従来技術の６対１符号化装置１’を図示する。この符号化装置は、３個の分割変換ユニット１１、５個の２対１ユニット１２、１３ａ及び１３ｂ、並びに逆変換及び重複加算ユニット１４を有する。図６の従来技術の符号化装置１’と比較すると、第１の段（ユニット１１及び１２）は同一だが、図６の３対２ユニット１３は、共に単一の信号Ｍ及び２つのパラメーターセットＰＳ４及びＰＳ５を生成する２つの２対１ユニット１３ａ及び１３ｂで置き換えられていることが分かる。単一の（変換ドメイン）信号Ｍは、逆に変換され、望ましくは重複加算演算を行われ、格納及び／又は送信されて良い単一の音声出力（時間）信号ｍを生成する。

図１１は、対応する従来技術の１対６復号化装置を図示する。図１１の復号化装置２’は、単一の音声入力（時間）信号ｍを６個の音声出力（時間）信号に、５個のアップミックス（Ｍ）ユニット２２ａ、２２ｂ及び２４を用い復号化する。図７の従来技術の２対６復号化装置と比較すると、２対３（アップミックス）ユニット２２は、それぞれ、それぞれのパラメーターセットＰＳ５、ＰＳ４を受信し単一の入力信号ｍを３個の中間信号Ｌ、Ｒ及びＣに変換するアップミックスユニット２２ａ及び２２ｂで置き換えられていることが分かる。

図１０の従来技術の符号化装置１’は、本発明によると、変更され、図１２の本発明の６対１符号化装置を生成して良い。図１２の単なる例である実施例では、選択減衰（Ｓ＆Ａ）ユニット１５、１６ａ及び１６ｂが追加され、追加残差チャンネルＬｓ、Ｒｓ、Ｃｓ、ＬＲｓ及びＭｓを生成する。従って、図１２の符号化装置１は、出力信号ｍに加え、５個のパラメーターセットＰＳ１、．．．ＰＳ５及び５個の残差チャンネルＬｓ、Ｒｓ、Ｃｓ、ＬＲｓ及びＭｓを生成し、残差チャンネルは望ましくは重み付けされる。

既に以上に示されたように、選択減衰ユニット１５は省略され、従って重み付けされない追加チャンネルＬｓ、Ｒｓ及びＣｓを提供して良い。いくつかの実施例では、選択減衰ユニット１６ａ及び１６ｂは省略されて良い。しかしながら、望ましくは全てのＳ＆Ａユニット１５、１６ａ及び１６ｂは、図１２に図示されるように存在する。

また、例えば送信容量が不十分な場合、残差チャンネルを５個の利用可能な残差チャンネルから選択することが可能である。この場合、符号化装置１の出力端子の最も近くの、つまり変換ユニット１４の最も近くの残差チャンネルを選択し送信することが望ましい。これらの残差チャンネルは、対応する復号化装置で最初に使用され、従って復号化処理及び復号化信号品質に最も大きな影響を及ぼす。図１２の例では、２対１ユニット１３ｂにより生成された残差チャンネルＭｓは、最初に選択され、そして次に２対１ユニット１３ａにより生成された残差チャンネルＬＲｓが選択される。より多くの送信容量が利用可能な場合のみ、残差チャンネルＬｓ、Ｒｓ及び／又はＣｓが選択される。

図１３は、互換性のある１対６復号器を図示する。図１３の単なる例である実施例では、単一の音声入力（時間）チャンネルｍは、６個の音声出力（時間）チャンネルに、５個のパラメーターセットＰＳ１、．．．、ＰＳ５及び５個の残差チャンネルＭｓ、ＬＲｓ、Ｌｓ、Ｒｓ及びＣｓを用い変換される。各残差チャンネルは、図２に図示されたような配置２０を用い処理される。各配置は、逆相関ユニット２３（又は２３ａ／ｂ）、減衰ユニット２６（又は２６ａ／ｂ）、結合ユニット２７、及びアップミックスユニット２２ａ、２２ｂ又は２４を有する。減衰ユニット及び結合ユニットは、残差チャンネルに合成残差チャンネルの振幅を制御させ、及び受信残差チャンネルと合成残差チャンネルの適切な合成を提供させる。従って示された例では、各変換ユニットは、対応する第２の信号を受信するよう配置される。しかしながら、これは必須ではなく、選択された数の変換ユニット２４のみ、例えば変換ユニット２２ａ及び２２ｂだけが、第２の信号を受信するよう配置され得る。

本発明は、符号化する場合、残差信号が少なくとも３個の分類、つまり知覚的に関連がある、関連が少ない、及び関連がない、に分割され得ること、及び従って残差信号が減衰され得るという見識に基づく。本発明は、復号化する場合、復号化残差信号が用いられ、合成残差信号の減衰を制御し、再構成残差信号を生成し得るという見識から更に利益を得る。

本発明は、インターネットラジオ、インターネットストリーミング、電子音楽配信（ＥＭＤ）、固体（例えばＭＰ３又はＡＡＣ）オーディオプレーヤー、消費者音声システム、商用音声システム等のような、音声符号化を有する如何なる用途で利用されて良い。

留意すべき点は、本願明細書で用いられた如何なる語も、本発明の範囲を限定するものと見なされるべきでないことである。特に、「有する」の語は、詳細に記載されない如何なる要素も排除することを意味しない。単数の（回路）要素は、複数の（回路）要素又はそれらの等価物で代用されて良い。

当業者には、本発明は以上に説明された例である実施例に限定されず、複数の変形及び変更が請求の範囲に定められた本発明の範囲内で可能であることが明らかであろう。

本発明による符号化装置の一部を図示する。 本発明による復号化装置の一部を図示する。 従来技術による信号選択関数を図示する。 本発明による第１の信号選択関数を図示する。 本発明による第２の信号選択関数を図示する。 従来技術による符号化装置の第１の実施例を図示する。 従来技術による復号化装置の第１の実施例を図示する。 本発明による符号化装置の第１の実施例を図示する。 本発明による復号化装置の第１の実施例を図示する。 従来技術による符号化装置の第２の実施例を図示する。 従来技術による復号化装置の第２の実施例を図示する。 本発明による符号化装置の第２の実施例を図示する。 本発明による復号化装置の第２の実施例を図示する。

Claims (20)

1. 符号化装置であって、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換し、前記第１の数は前記第２の数より大きく、前記装置は、それぞれ第１の信号及び第２の信号を第３の信号及び第４の信号に変換する少なくとも２つの変換ユニットを有し、前記第３の信号は、前記第１及び第２の信号の大部分の信号エネルギーを有し、及び前記第４の信号は、前記信号エネルギーの残余を有し、前記符号化装置は、前記第３の信号を用い出力信号を生成するよう配置され、
   前記符号化装置は、第４の信号を出力するよう更に配置される、符号化装置。
2. 前記第４の信号が出力されるべき時間区間を選択する選択ユニットを更に有する、請求項１記載の符号化装置。
3. 前記選択ユニットは、前記第４の信号の知覚関連部分を実質的に通過させ、前記第４の信号の知覚関連の少ない部分を減衰し、及び前記第４の信号の知覚関連の最も少ない部分を抑制するよう更に配置された、請求項２記載の符号化装置。
4. 並列に配置された少なくとも３個の変換ユニットを有し、各変換ユニットは、変換時間区間を生成するそれぞれの分割及び変換ユニットと結合され、前記装置は、出力時間信号を生成する逆変換及び重複加算ユニットを更に有する、請求項１記載の符号化装置。
5. 少なくとも２つのカスケード変換ユニットを有し、前記符号化装置の出力端子と最も近い前記変換ユニットは、選択され、前記変換ユニットの第４の信号を出力し、他の変換ユニットの第４の信号は廃棄される、請求項１記載の符号化装置。
6. 復号化装置であって、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換し、前記第１の数は前記第２の数より小さく、前記装置は、それぞれ第１の信号及び第２の信号を第３の信号及び第４の信号に変換する少なくとも２つの変換ユニットを有し、前記第１の信号は、前記第３及び第４の信号の大部分の信号エネルギーを有し、及び前記第２の信号は、前記信号エネルギーの残余を有し、前記装置は、第１の信号を逆相関し合成の第２の信号を生成する少なくとも１つの逆相関ユニットを更に有し、
   前記復号化装置は、少なくとも１つの追加の第２の信号を受信するよう更に配置される、復号化装置。
7. 各変換ユニットは、対応する第２の信号を受信するよう配置される、請求項６記載の復号化装置。
8. 対応する合成の第２の信号を減衰する、受信した第２の信号により制御される少なくとも１つの減衰ユニットを更に有する、請求項６記載の復号化装置。
9. 前記合成の第２の信号と前記受信した第２の信号を結合する少なくとも１つの合成ユニットを更に有し、結果として結合された信号を前記変換ユニットで用いる、請求項８記載の復号化装置。
10. ３個の変換ユニットは、並列に配置される、請求項６記載の復号化装置。
11. 少なくとも１つの分割及び変換ユニット及び少なくとも２つの逆変換及び重複加算ユニットを更に有する、請求項６記載の復号化装置。
12. 音声システムであって、請求項１記載の符号化装置を有する、音声システム。
13. 音声システムであって、請求項６記載の復号化装置を有する、音声システム。
14. 方法であって、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換し、前記第１の数は前記第２の数より大きく、前記方法は少なくとも２つの段階を有し、前記段階は、第１の信号及び第２の信号を第３の信号及び第４の信号に変換する段階、及び前記第３の信号を用い出力信号を生成する段階であり、前記第３の信号は、前記第１及び第２の信号の大部分の信号エネルギーを有し、及び前記第４の信号は、前記信号エネルギーの残余を有し、
    前記方法は、第４の信号を出力する段階を更に有する、方法。
15. 少なくとも２つのカスケード変換段階を有し、前記カスケードの下流の変換段階の第４の信号は、送信され、他方の変換段階の第４の信号は廃棄される、請求項１４記載の方法。
16. 方法であって、第１の数の入力音声チャンネルを第２の数の出力音声チャンネルに変換し、前記第１の数は前記第２の数より小さく、前記方法は少なくとも２つの段階を有し、前記段階は、第１の信号及び第２の信号を第３の信号及び第４の信号に変換する段階、及び前記第２の信号を前記第１の信号から引き出す段階であり、前記第１の信号は、前記第３及び第４の信号の大部分の信号エネルギーを有し、及び前記第２の信号は、前記信号エネルギーの残余を有し、
    前記方法は、追加の第２の信号を受信する段階を更に有する、方法。
17. 第１の信号を逆相関する段階を更に有し、合成の第２の信号を生成する、請求項１６記載の方法。
18. 前記合成の第２の信号を減衰する段階を更に有し、前記段階は、対応する受信した第２の信号により制御される、請求項１７記載の方法。
19. 前記合成の第２の信号と前記受信した第２の信号を結合する段階、及び結合された信号を前記変換する段階で用いる段階を更に有する、請求項１８記載の方法。
20. コンピュータープログラムであって、請求項１４又は１６記載の方法を実行するコンピュータープログラム。
    

Images