JP2019502965A - １つの広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを使用して、多チャネル信号を符号化又は復号化する装置及び方法 - Google Patents

Abstract

少なくとも２つのチャネルを有する多チャネル信号を符号化する装置は、多チャネル信号から１つの広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを決定するパラメータ決定部（１００）と、広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを用いて少なくとも２つのチャネルをアラインし、アライン済みチャネルを得る信号アライナ（２００）と、アライン済みチャネルを用いて中央信号とサイド信号とを計算する信号プロセッサ（３００）と、中央信号を符号化して符号化済み中央信号を取得し、サイド信号を符号化して符号化済みサイド信号を取得する信号符号器（４００）と、符号化済み中央信号と符号化済みサイド信号と広帯域アライメント・パラメータに関する情報と複数の狭帯域アライメント・パラメータに関する情報とを含む符号化済み多チャネル信号を生成する出力インターフェース（５００）と、を備える。【選択図】 図１

Description

本発明は、ステレオ処理又は一般的には多チャネル処理に関し、ここで多チャネルとは、ステレオ信号の場合の左チャネル及び右チャネルのように２個のチャネルを有するか、又は３個、４個、５個もしくは他の任意の個数など、３個以上のチャネルを有するものである。

ステレオスピーチ及び特に会話のステレオスピーチは、立体音響音楽の記憶や配信に比べて遥かに小さな科学的注目度しか得られて来なかった。実際、スピーチ通信においては、今日でもモノラル音響の伝送が主に使用されている。しかしながら、ネットワーク帯域幅及び容量の増加に伴い、ステレオ音響技術に基づく通信はさらに普及し、より良好なリスニング経験をもたらすであろうと期待されている。

ステレオ音響オーディオ材料の効率的な符号化は、効率的な記憶又は配信のための音楽の知覚的オーディオ符号化において、長年研究されてきた。波形保存が重要となる高いビットレートにおいては、中央／サイド（Ｍ／Ｓ）ステレオとして知られる和−差ステレオ(sum-difference stereo)が長年使用されてきた。低いビットレートについては、インテンシティステレオ及び最近ではパラメトリックステレオ符号化が導入されてきた。ＨｅＡＡＣｖ２及びＭｐｅｇＵＳＡＣのような種々の標準においては、最新の技術が採用されている。そのような技術では、２チャネル信号のダウンミクスを生成し、コンパクトな空間サイド情報を伴う。

ジョイントステレオ符号化は通常、高い周波数分解能、即ち低い時間分解能に亘って構築され、よってその信号の時間−周波数変換は、殆どのスピーチコーダにおいて実行される低遅延及び時間ドメインの処理に対して互換性を持たない。さらに、生成されるビットレートは通常は高い。

他方、パラメトリックステレオは、前処理部として符号器の最前端に配置されまた後処理部として復号器の最後端に配置される、追加のフィルタバンクを使用する。従って、パラメトリックステレオは、ＭＰＥＧ ＵＳＡＣにおいて実施されているように、ＡＣＥＬＰのような従来のスピーチコーダとともに使用され得る。更に、聴覚的シーンのパラメトリック化は、最少量のサイド情報を用いて達成されることができ、これは低ビットレートに適している。しかしながら、パラメトリックステレオは、例えばＭＰＥＧ ＵＳＡＣの場合のように、低遅延のために特異に設計されたものではなく、また、様々な会話シナリオに対して一貫した品質を提供するものでもない。空間的シーンの従来のパラメトリック表現において、ステレオイメージの幅は、２つの合成されたチャネルに適用されるデコリレータにより人工的に再生され、符号器により計算されかつ伝送されるチャネル間コヒーレンス（ＩＣｓ）パラメータにより制御される。殆どのステレオスピーチにとって、ステレオイメージの幅を広げるこの方法は、かなり直接音であるスピーチの自然環境を再現するには適切ではない。なぜならスピーチは、空間内におけるある特定位置に位置する単一の音源により（時には室内からの反響も伴って）生成されるからである。対照的に、楽器はスピーチよりも自然な幅が各段に大きいので、チャネルをデコリレートすることによってより良好に模倣され得る。

更に、マイクロホンが互いに距離を置いて配置されるＡ−Ｂ方式やバイノーラルの録音又はレンダリングの場合のように、スピーチが非同時マイクロホン(non-coincident microphones)を用いて録音される場合にも問題が発生する。このようなシナリオは、テレカンファランス（teleconferences）においてスピーチを捕捉する場合や、多点制御ユニット（ＭＣＵ）において遠方スピーカを用いて仮想の聴覚シーンを創造する場合に想定され得る。そのような場合、１つのチャネルからの信号の到達時刻は他のチャネルとは異なり、これは、Ｘ−Ｙ（インテンシティ録音）又はＭ−Ｓ（中央−サイド録音）のような同時マイクロホン(coincident microphones)で実行された録音と同様ではない。そのような時間整列されていない２つのチャネルのコヒーレンスの計算は、誤って推定される恐れがあり、結果的に人工的な環境合成の失敗を招きかねない。

ステレオ処理に関する先行技術文献は、特許文献１又は特許文献２である。

特許文献３は、トランスペアレントに近い又はトランスペアレントな多チャネル符号器／復号器のスキームを開示している。多チャネル符号器／復号器のスキームは、波形タイプの残差信号を追加的に生成する。この残差信号は１つ以上の多チャネルパラメータと一緒に復号器へと伝送される。純粋にパラメトリックな多チャネル復号器とは対照的に、強化された復号器は、追加的な残差信号に起因して、改善された出力品質を有する多チャネル出力信号を生成する。符号器側では、左チャネル及び右チャネルの両方が１つの分析フィルタバンクによってフィルタリングされる。次に、各サブバンドについて、１つのサブバンドのアライメント値とゲイン値とが計算される。そのようなアライメントは、更なる処理の前に実行される。復号器側では、デ・アライメント及びゲイン処理が実行され、対応する信号が合成フィルタバンクによって合成されて、復号化済み左信号と復号化済み右信号とが生成される。

会議のシナリオや会話型スピーチのシーンにおいて複数の話者がいる場合、このような従来技術の手順は、オーディオ信号にとって、特にスピーチ信号にとって、最適な手順を提供しないことが分かってきた。

米国特許第５，４３４，９４８号 米国特許第８，８１１，６２１号 国際公開第２００６／０８９５７０Ａ１号

本発明の目的は、多チャネル信号を符号化又は復号化するための改善された概念を提供することである。

この目的は、請求項１に記載の多チャネル信号を符号化する装置、請求項２０に記載の多チャネル信号を符号化する方法、請求項２１に記載の符号化済み多チャネル信号を復号化する装置、請求項３３に記載の符号化済み多チャネル信号を復号化する方法、又は請求項３４に記載のコンピュータプログラムにより達成される。

少なくとも２つのチャネルを持つ多チャネル信号を符号化する装置は、一方で１つの広帯域アライメント・パラメータと他方で複数の狭帯域アライメント・パラメータとを決定する、パラメータ決定部を含む。これらパラメータは、それらのパラメータを使用して少なくとも２つのチャネルをアライン（整列：aligning）することによりアライン済みチャネルを取得する、信号アライナによって使用される。次に、信号プロセッサは、アライン済みチャネルを使用して中央信号とサイド信号とを計算し、その後で中央信号とサイド信号とは符号化されて符号化済み出力信号内へと供給されるので、その出力信号は、パラメトリックサイド情報として、広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを追加的に有する。

復号器側では、信号復号器は、符号化済み中央信号及び符号化済みサイド信号を復号化し、復号化済み中央及びサイド信号を得る。これらの信号は、次いで、復号済み第１チャネル及び復号化済み第２チャネルを計算するために、信号プロセッサによって処理される。これらの復号化済みチャネルは、符号化済み多チャネル信号に含まれた、広帯域アライメント・パラメータに関する情報と複数の狭帯域パラメータに関する情報とを用いてデ・アラインされ、復号化済み多チャネル信号を得る。

特定の実施態様では、広帯域アライメント・パラメータは、チャネル間時間差パラメータであり、複数の狭帯域アライメント・パラメータは、チャネル間位相差である。

本発明は以下のような知見に基づいている。すなわち、特に２人以上の話者がいるスピーチ信号についてだけでなく、複数のオーディオ音源がある他のオーディオ信号についても、両方が多チャネル信号の２つのチャネル内へとマッピングされるオーディオ音源同士の異なる位置は、一方または両方のチャネルのスペクトル全体に適用されるチャネル間時間差パラメータのような広帯域アライメント・パラメータを使用して説明され得る、という知見である。この広帯域アライメント・パラメータに加えて、サブバンドごとに異なる複数の狭帯域アライメント・パラメータが、さらに両方のチャネルにおける信号の良好なアライメントをもたらすことが分かってきた。

このように、各サブバンドにおいて同じ時間遅延に対応する広帯域アライメントと、異なるサブバンドに対して異なる位相回転に対応する位相アライメントとは、２つのチャネルが後に１つの中央／サイド表現へと変換されかつ更なる符号化を施される前に、両チャネルの最適なアライメントをもたらす。最適なアライメントが得られたという事実に起因して、一方で中央信号のエネルギーができる限り高く、他方でサイド信号のエネルギーが可能な限り小さくなり、それにより最低の可能なビットレート又はあるビットレートについて最高の可能なオーディオ品質を持つ最適な符号化結果を得ることができる。

特に会話型のスピーチ材料にとって、活性である話者が２つの異なる場所にいることは典型的と言える。さらに、この状況は、通常、1人の話者が第１の位置から話しており、第２の話者が第２の場所または位置から話しているような場合である。第１（左)チャネルおよび第２（右)チャネルのような２つのチャネル上の異なる位置の影響は、異なる到達時間、したがって異なる位置に起因する両チャネル間のある時間遅延によって反映され、この時間遅延は、時々刻々変化する。一般に、この影響は、広帯域アライメント・パラメータによって対処することが可能な広帯域デ・アライメントとして２つのチャネル信号内に反映されている。

一方で、特に残響又は他のノイズ源から到来する他の効果は、双方のチャネルの広帯域の異なる到達時間または広帯域デ・アライメントに重畳されている、個々の帯域のための個々の位相アライメント・パラメータにより説明され得る。

このことを考慮すると、１つの広帯域アライメント・パラメータとその広帯域アライメント・パラメータの上に複数の狭帯域アライメント・パラメータとの双方の使用は、良好で非常にコンパクトな中央／サイド表現を取得するために符号化側での最適なチャネルアライメントをもたらし、その一方で、復号器側の復号化の後の対応するデ・アライメントは、あるビットレートでの良好なオーディオ品質をもたらすか、又はある所望のオーディオ品質についての小さなビットレートをもたらす。

本発明の利点は、既存のステレオ符号化方式よりも、ステレオスピーチの変換に関してはるかに好適な新たなステレオ符号化方式を提供することである。本発明によれば、パラメトリックステレオ技術およびジョイントステレオ符号化技術は、スピーチ音源の場合だけでなく他のオーディオ音源の場合においても、多チャネル信号のチャネル同士に発生するチャネル間時間差を利用することによって、特に結合される。

複数の実施形態が、後述のように有用な利点を提供する。

この新たな方法は、従来のＭ／Ｓステレオとパラメトリックステレオからの要素を混合するハイブリッド手法である。従来のＭ／Ｓでは、チャネルは中央及びサイド信号を生成するために、受動的にダウンミックスされる。その処理は、チャネルを合計し差分化する前の主成分分析（ＰＣＡ）としても知られている、Karhunen-Loeve変換(KLT)を用いてチャネルを回転させることにより、拡張され得る。中央信号は一次符号符号化により符号化され、サイド信号は二次符号器へと送られる。進化型のＭ／Ｓステレオは、現在または以前のフレームで符号化された中央チャネルによるサイド信号の予測をさらに使用することができる。回転及び予測の主な目的は、サイド信号のエネルギーを最小にしながら、中央信号のエネルギーを最大にすることである。Ｍ／Ｓステレオは波形保存型であり、この視点から任意のステレオシナリオに対して非常にロバストであるが、ビット消費量の点で非常に消耗し得る。

低ビットレートでの最高効率を得るために、パラメトリックステレオは、チャネル間レベル差（ＩＬＤ）、チャネル間位相差（ＩＰＤ）、チャネル間時間差（ＩＴＤ）およびチャネル間コヒーレンス（ＩＣ）などのパラメータを計算し、符号化する。これらは、ステレオイメージを簡潔に表すものであり、聴覚的シーン（音源定位、パニング、ステレオ幅など）のキューである。この場合の目的は、ステレオシーンをパラメータ化し、復号器に存在し得る１つのダウンミックス信号だけを符号化し、送信されたステレオ・キューの助けを借りて再度空間化されるようにすることである。

本発明の手法は、２つの概念を混合した。第１に、ステレオ・キューＩＴＤおよびＩＰＤが計算され、２つのチャネルに適用される。その目的は、広帯域における時間差と異なる周波数帯域における位相とを表現することである。２つのチャネルは、次に時間と位相においてアラインされ、次にＭ／Ｓ符号化が行われる。ＩＴＤおよびＩＰＤは、ステレオスピーチをモデル化するために有用であることが判明しており、Ｍ／ＳにおけるＫＬＴベースの回転の良好な代替品である。純粋なパラメトリック符号化とは異なり、周囲環境は、ＩＣによってモデル化されるのではなく、符号化されおよび／または予測されたサイド信号によって直接的にモデル化される。スピーチ信号を扱う場合には特に、この手法はよりロバストであることが判明した。

ＩＴＤの計算および処理は、本発明の重要な部分である。ＩＴＤは、既に従来技術のバイノーラルキュー符号化（ＢＣＣ）で利用されていたが、ＩＴＤが一旦経時的に変化すれば、非効率的であった。この欠点を回避するために、２つの異なるITD間の遷移を平滑化し、１人の話者から異なる場所に位置する別の話者へと継ぎ目なく切り替えることができるように、特異な窓掛けが設計されていた。

さらなる実施形態は、符号器側で、複数の狭帯域アライメント・パラメータを決定するパラメータ決定が、以前に決定された広帯域アライメント・パラメータを用いて既にアラインされているチャネルを使用して実行される、手順に関係する。

これに対応して、典型的には単一である広帯域アライメント・パラメータを用いる広帯域のデ・アライメントが実行される前に、復号器側で狭帯域のデ・アライメントが実行される。

更なる実施形態において、符号器側において、さらに重要なことに復号器側においても、何らかの種類の窓掛けおよびオーバーラップ加算操作、又は１つのブロックから次のブロックまでの任意の種類のクロスフェードが、全てのアライメントに続いて、具体的には広帯域アライメント・パラメータを用いた時間アライメントに続いて実行される。このことは、時間または広帯域アライメント・パラメータがブロックからブロックへと変化する際に、クリックのような如何なる可聴アーチファクトをも回避する。

他の実施形態では、異なるスペクトル分解能が適用される。特に、チャネル信号は、ＤＦＴスペクトルのような高い周波数分解能を有する時間−スペクトル変換が施され、一方で、狭帯域アライメント・パラメータのようなパラメータは、低いスペクトル解像度を有するパラメータ帯域のために決定される。典型的に、１つのパラメータ帯域は信号スペクトルの他に２つ以上のスペクトル線を有し、典型的にＤＦＴスペクトルからの１組のスペクトル線を有する。さらに、聴覚心理学的問題に対処するために、パラメータ帯域は低周波数から高周波数にかけて増大する。

さらなる実施形態は、インターレベル差のようなレベルパラメータの追加的使用、又はステレオ充填パラメータ（stereo filling parameters）等のようなサイド信号を処理するための他の手順に関係する。符号化済みサイド信号は、実際のサイド信号自体によって表現され得るか、又は現フレームまたは任意の他のフレームの中央信号を使用して実行される予測残差信号によって表現され得るか、又は帯域のあるサブセットのみにおけるサイド信号又はサイド予測残差信号と残りの帯域のみについての予測パラメータとによって表現され得るか、又は如何なる高い周波数分解能サイド信号情報をも有しない全ての帯域に関する予測パラメータとによってさえ表現され得る。従って、上述の最後の代替案では、符号化済みサイド情報は、各パラメータ帯域についての予測パラメータによって、又はパラメータ帯域のサブセットによってのみ表現され、残りのパラメータ帯域については、オリジナルサイド信号に関する如何なる情報も存在しない。

さらに、広帯域信号の全帯域を反映する全てのパラメータ帯域についてではなく、例えばパラメータ帯域の下位５０％のような低い帯域のあるセットについてのみ、複数の狭帯域アライメント・パラメータを有することが好ましい。一方、ステレオ充填パラメータは、これら幾つかの低い帯域に対しては使用されず、その理由は、これら帯域についてはサイド信号自体または予測残差信号が送信され、少なくとも低い帯域については波形正確型の表現（waveform-correct representation）が利用可能であることが確保されるからである。他方で、ビットレートをさらに低減するために、サイド信号は、高い帯域については波形正確型の表現では送信されず、このサイド信号は典型的にステレオ充填パラメータによって表される。

また、同一のＤＦＴスペクトルに基づく１つの同じ周波数ドメイン内で、全体のパラメータ分析とアライメントとを行うことが好ましい。この目的のために、チャネル間時間差の決定のために、相変換(GCC-PHAT)技術を用いた汎用の相互相関を使用することが、さらに好ましい。この手順の好ましい実施形態では、平滑化がノイズ状信号の場合に弱くなり、かつ調性状(tone-like)信号の場合により強くなるように、スペクトル形状に関する情報、好ましくはスペクトル平坦尺度である情報に基づいた相関スペクトルの平滑化が実行される。

さらに、特別な位相回転を行うことが望ましく、そこではチャネル振幅が考慮される。特に、位相回転は、符号器側でのアライメントの目的で、かつ当然ながら復号器側でのデ・アライメントの目的で、２つのチャネル間で分配され、より高い振幅を有するチャネルは主要なチャネルであるとみなされ、かつ位相回転による影響が抑制され、すなわち低い振幅を持つチャネルよりも小さく回転されるであろう。

さらに、両方のチャネルのエネルギーから導出され、かつ中央／サイド計算がエネルギーに強く影響を与え過ぎないことを確実にするためある範囲に制限されたスケーリング係数を持つエネルギースケーリングを用いて、和差演算が実行される。しかしながら、一方では、本発明の目的のため、この種のエネルギー保全は、先行技術の方法の場合のように重要ではないことに留意すべきであり、なぜなら時間と位相は予めアラインされているからである。従って、左と右からの中央信号とサイド信号との計算（符号器側）、又は中央とサイドからの左信号と右信号との計算（復号器側）に起因する、エネルギー変動は従来に比べて重要ではない。

以下に、添付図面を参照しながら本発明の好ましい実施形態を説明する。

多チャネル信号を符号化する装置の好ましい実施形態のブロック図である。 符号化済み多チャネル信号を復号化する装置の好ましい実施形態である。 所定の実施形態に係る種々の周波数分解能及び他の周波数関連の態様を示す。 チャネルをアラインするために符号化装置内で実行される処理のフローチャートを示す。 周波数ドメインで実行される手順の好ましい実施形態を示す。 ゼロパディング部分及びオーバーラップ領域を有する分析窓を使用して符号化装置内で実行される手順の好ましい実施形態を示す。 符号化装置内で実行される追加的な手順についてのフローチャートを示す。 チャネル間時間差推定の好ましい実施形態を示すフローチャートである。 符号化装置内で実行される手順の更なる実施形態を示すフローチャートである。 符号器の一実施形態のブロック図を示す。 復号器の対応する一実施形態のフローチャートを示す。 ステレオ時間−周波数分析及び合成のためのゼロパディングを持つ低いオーバーラップ正弦窓を用いた好ましい窓シナリオを示す。 異なるパラメータ値のビット消費を示す表である。 好ましい実施形態において符号化済み多チャネル信号を復号化する装置によって実行される手順を示す。 符号化済み多チャネル信号を復号化する装置の好ましい一実施形態を示す。 符号化済み多チャネル信号の復号化の枠組み内での広帯域デ・アライメントの文脈において実行される手順を示す。

図１は、少なくとも２つのチャネルを有する多チャネル信号を符号化する装置を示す。多チャネル信号１０は、一方ではパラメータ決定部１００に対して入力され、他方では信号アライナ（signal aligner）２００に入力される。パラメータ決定部１００は、多チャネル信号から、一方では１つの広帯域アライメント・パラメータを決定し、他方では複数の狭帯域アライメント・パラメータを決定する。これらのパラメータは、パラメータ線１２を介して出力される。更に、これらのパラメータは、図示するように他のパラメータ線１４を介して出力インターフェース５００へも出力される。パラメータ線１４上では、レベルパラメータなどの追加的パラメータがパラメータ決定部１００から出力インターフェース５００へと送られる。信号アライナ２００は、パラメータ線１２を介して受け取った広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを使用して、多チャネル信号１０の少なくとも２つのチャネルをアラインし、信号アライナ２００の出力においてアライン済みチャネル２０を取得するよう構成されている。これらのアライン済みチャネル２０は信号プロセッサ３００へと送られ、この信号プロセッサ３００は、線２０を介して受け取られたアライン済みチャネルから、中央信号３１とサイド信号３２とを計算するよう構成されている。この符号化装置は、線３１からの中央信号と線３２からのサイド信号３２とを符号化して、線４１上に符号化済み中央信号を取得し、線４２上に符号化済みサイド信号を取得する、信号符号器４００を更に含む。これら両方の信号は、出力線５０において符号化済み多チャネル信号を生成する、出力インターフェース５００へと送られる。出力線５０における符号化済み信号は、線４１からの符号化済み中央信号と、線４２からの符号化済みサイド信号と、線１４からの広帯域アライメント・パラメータ及び狭帯域アライメント・パラメータと、任意ではあるが線１４からのレベルパラメータと、更に任意ではあるが信号符号器４００により生成されかつパラメータ線４３を介して出力インターフェース５００へと送られたステレオ充填パラメータと、を含む。

好ましくは、パラメータ決定部１００が実際に狭帯域パラメータを計算する前に、信号アライナが広帯域アライメント・パラメータを使用して多チャネル信号からのチャネルをアラインするよう構成されている。従って、この実施例において、信号アライナ２００は、広帯域アライン済みチャネルを、接続線１５を介してパラメータ決定部１００へと戻す。次に、パラメータ決定部１００は、広帯域特性に関して既にアラインされた多チャネル信号から、複数の狭帯域アライメント・パラメータを決定する。しかしながら、他の実施例においては、パラメータはこのような特異な流れの手順を踏まずに決定される。

図４ａは、接続線１５をもたらす特異なステップの系列が実行される、好ましい実施形態を示す。ステップ１６において、２つのチャネルを使用して広帯域アライメント・パラメータが決定され、チャネル間時間差又はＩＴＤパラメータなどの広帯域アライメント・パラメータが取得される。次に、ステップ２１において、図１の信号アライナ２００により、広帯域アライメント・パラメータを使用して２つのチャネルがアラインされる。次に、ステップ１７において、パラメータ決定部１００内でアライン済みチャネルを使用して狭帯域パラメータが決定され、多チャネル信号の異なる帯域についての複数のチャネル間位相差パラメータなどの複数の狭帯域アライメント・パラメータを決定する。次に、ステップ２２において、各パラメータ帯域におけるスペクトル値が、この特定の帯域のための対応する狭帯域アライメント・パラメータを使用してアラインされる。狭帯域アライメント・パラメータが利用可能な各帯域についてステップ２２のこの手順が実行された場合、アラインされた第１及び第２のチャネル又は左／右のチャネルが、図１の信号プロセッサ３００による更なる信号処理にとって利用可能となる。

図４ｂは、複数の手順が周波数ドメインで実行される、図１の多チャネル符号器の更なる実施形態を示す。

特に、多チャネル符号器は、時間ドメインの多チャネル信号を周波数ドメイン内の少なくとも２つのチャネルのスペクトル表現へと変換する、時間−スペクトル変換部１５０を更に含む。

更に、符号１５２で示すように、図１に符号１００，２００，３００で示すパラメータ決定部と信号アライナと信号プロセッサは、全て周波数ドメインで作動する。

更に、多チャネル符号器及び特に信号プロセッサは、少なくとも中央信号の時間ドメイン表現を生成するためのスペクトル−時間変換部１５４を更に含む。

好ましくは、スペクトル−時間変換部は、ブロック１５２で表す手順によっても決定されたサイド信号のスペクトル表現を、時間ドメイン表現へと追加的に変換する。また、図１の信号符号器４００は次に、時間ドメイン信号としての中央信号及び／又はサイド信号を、図１の信号符号器４００の特異な実施形態に依存して更に符号化するよう構成されている。

好ましくは、図４ｂの時間−スペクトル変換部１５０は、図４ｃのステップ１５５，１５６及び１５７を実行するよう構成されている。特に、ステップ１５５は分析窓を提供することを含み、その分析窓は、その一端部に少なくとも１つのゼロパディング部分を有し、具体的には、例えば図７以降に示すように、窓の初期部分におけるゼロパディング部分と窓の終了部分におけるゼロパディング部分とを有する。更に、その分析窓は、窓の第１半分と窓の第２半分においてオーバーラップ領域又はオーバーラップ部分を追加的に有し、更にまた、場合によっては非オーバーラップ領域である中央部分を有することが好ましい。

ステップ１５６において、各チャネルはオーバーラップ領域を有する分析窓を用いて窓掛けされる。特に、各チャネルは、分析窓を使用して、チャネルの第１ブロックが取得されるような方法で窓掛けされる。次に、第１ブロックとの間であるオーバーラップ領域を有する同じチャネルの第２ブロックが取得されるように続き、その結果、例えば５回の窓掛け操作が行われた後で、各チャネルの窓掛け済みサンプルの５個のブロックが利用可能となり、それらは次に、図４ｃの符号１５７で示すように、スペクトル表現へと個別に変換される。同じ手順が他のチャネルについても実行され、その結果、ステップ１５７の終了時には、スペクトル値、及び特にＤＦＴスペクトル値などの複素スペクトル値、又は複素サブバンドサンプルのブロック系列が利用可能となる。

図１のパラメータ決定部１００により実行されるステップ１５８において、広帯域アライメント・パラメータが決定され、図１の信号アライナ２００により実行されるステップ１５９において、その広帯域アライメント・パラメータを使用して循環シフト（circular shift）が実行される。これも図１のパラメータ決定部１００により実行されるステップ１６０において、狭帯域アライメント・パラメータが個別の帯域／サブバンドについて決定され、ステップ１６１において、アライン済みスペクトル値は、特定の帯域について決定された対応する狭帯域アライメント・パラメータを使用して、各帯域について回転される。

図４ｄは、信号プロセッサ３００により実行される更なる手順を示す。特に、信号プロセッサ３００は、ステップ３０１に示すように中央信号とサイド信号とを計算するよう構成されている。ステップ３０２において、サイド信号のある種の追加的処理が実行されることができ、次に、ステップ３０３において、中央信号及びサイド信号の各ブロックが時間ドメインへと逆変換される。ステップ３０４において、ステップ３０３により取得された各ブロックに対して合成窓が適用され、ステップ３０５において、一方では中央信号についてオーバーラップ加算操作を実行し、他方ではサイド信号についてオーバーラップ加算操作を実行して、最終的に、時間ドメインの中央／サイド信号を取得する。

特に、ステップ３０４及び３０５の操作は、中央信号又はサイド信号のあるブロックからの中央信号及びサイド信号の次ブロックへの一種のクロスフェーディングをもたらし、それにより、チャネル間時間差パラメータ又はチャネル間位相差パラメータなどの如何なるパラメータ変化が発生した場合でも、図４ｄのステップ３０５により取得された時間ドメインの中央／サイド信号内においてパラメータ変化が可聴とならないような方法で実行される。

新たな低遅延ステレオ符号化は、幾つかの空間キューを利用するジョイント中央／サイド（Ｍ／Ｓ）ステレオ符号化であり、その中央チャネルは一次モノラルコアコーダによって符号化され、サイドチャネルは二次コアコーダによって符号化される。符号器及び復号器の原理は図６ａ及び図６ｂに示される。

ステレオ処理は主として周波数ドメイン（ＦＤ）で実行される。任意選択的に、周波数分析の前に何らかのステレオ処理が時間ドメイン（ＴＤ）で実行されることもあり得る。これはＩＴＤ（チャネル間時間差）計算の場合であり、ステレオ分析の追及及び処理の前に、チャネルを時間においてアラインするために、周波数分析の前にその計算がされて適用され得る。代替的に、ＩＴＤ処理は周波数ドメインで直接的に実行され得る。ＡＣＥＬＰのような通常のスピーチコーダは、内部的な時間−周波数分解を全く含まないので、そのステレオ符号化は、コア符号器の前の分析及び合成フィルタバンクと、コア復号器の後の分析−合成フィルタバンクの別のステージとにより、余分な複素変調されたフィルタバンクを追加することになる。好ましい実施形態においては、低いオーバーラップ領域を有するオーバーサンプル型ＤＦＴが使用される。しかしながら、他の実施形態においては、同様な時間的分解能を有する如何なる複素値の時間−周波数分解も使用可能である。

ステレオ処理は、チャネル間時間差（ＩＴＤ）、チャネル間位相差（ＩＰＤｓ）及びチャネル間レベル差（ＩＬＤｓ）のような、空間キューを計算することで構成される。ＩＴＤとＩＰＤは、２つのチャネルＬとＲとを時間と位相においてアラインするために、入力ステレオ信号に対して使用される。ＩＴＤは広帯域ドメイン又は時間ドメインで計算され、ＩＰＤとＩＬＤは、周波数空間の不均一な分解に対応して、パラメータ帯域のそれぞれ又は一部について計算される。２つのチャネルがアラインされた後、ジョイントＭ／Ｓステレオが適用され、そこではサイド信号が次に中央信号から予測される。予測ゲインはＩＬＤから導出される。

中央信号は、さらに一次コア符号器によって符号化される。好ましい実施形態では、一次コア符号器は３ＧＰＰ ＥＶＳ標準又はそれから導出される符号化であり、スピーチ符号化モードであるＡＣＥＬＰ、及びＭＤＣＴ変換に基づく音楽モードの間で切り替え可能である。望ましくは、ＡＣＥＬＰ及びＭＤＣＴベース符号器は、時間ドメイン帯域幅拡張（ＴＤ−ＢＷＥ）、及び／又はインテリジェントギャップ充填（ＩＧＦ）モジュールによって個別に支援される。

サイド信号は、まずＩＬＤから導出された予測ゲインを使用して中央チャネルによって予測される。残差は、中央信号の遅延バージョンによってさらに予測され、又は二次コア符号器によって直接的に符号化されることができ、これは好ましい実施形態ではＭＤＣＴドメインで実行される。符号器におけるステレオ処理は、後段で説明するように、図５によって要約され得る。

図２は、入力線５０で受信された符号化済み多チャネル信号を復号化する装置の一実施例のブロック図を示す。

特に、その信号は入力インターフェース６００により受信される。信号復号器７００と信号デ・アライナ（de-aligner）９００とが入力インターフェース６００に接続されている。更に、信号プロセッサ８００は、一方では信号復号器７００と接続され、他方では信号デ・アライナと接続されている。

特に、符号化済み多チャネル信号は、符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメント・パラメータに関する情報と、複数の狭帯域パラメータに関する情報と、を含む。線５０上の符号化済み多チャネル信号は、図１の出力インターフェース５００により出力された信号と正に同じ信号であり得る。

しかしながら、ここで重要なことは、図１で示したこととは対照的に、符号化済み信号の中に所定の形態で含まれた広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとは、図１の信号アライナ２００によって使用されたアライメント・パラメータと全く同じであり得るが、代替的にそれらの逆の値でもあり得ること、即ち、信号アライナ２００により実行されるのと全く同じ操作により使用され得るが、デ・アライメントが得られるように逆の値を有する、パラメータでもよい、ことに留意すべきである。

よって、アライメント・パラメータに関する情報は、図１の信号アライナ２００によって使用されるアライメント・パラメータであってもよいし、又はその逆の値、即ち、実際の「デ・アライメント・パラメータ」であってもよい。さらにこれらのパラメータは、図８に関して後段で説明するように、典型的にはある形態で量子化されるであろう。

図２の入力インターフェース６００は、符号化済み中央／サイド信号から広帯域アライメント・パラメータと複数の狭帯域パラメータとに関する情報を分離し、パラメータ線６１０を介してこの情報を信号デ・アライナ９００へと送る。他方、符号化済み中央信号は、線６０１を介して信号復号器７００へと送られ、符号化済みサイド信号は信号線６０２を介して信号復号器７００へと送られる。

信号復号器は、符号化済み中央信号を復号化し、かつ符号化済みサイド信号を復号化して、線７０１上の復号化済み中央信号と線７０２上の復号化済みサイド信号とを取得する。これらの信号は、復号化済み中央信号及び復号化済みサイド信号から、復号化済み第１チャネル信号又は復号化済み左信号を計算し、かつ復号化済み第２チャネル信号又は復号化済み右チャネル信号を計算するために、信号プロセッサ８００によって使用され、これら復号化済み第１チャネル及び復号化済み第２チャネルはそれぞれ線８０１，８０２上で出力される。信号デ・アライナ９００は、線８０１上の復号化済み第１チャネルと復号化済み右チャネル８０２とをデ・アラインするよう構成されており、その際、広帯域アライメント・パラメータに関する情報を使用し、かつ追加的に複数の狭帯域アライメント・パラメータに関する情報をも使用して、復号化済み多チャネル信号、即ち、線９０１及び９０２上の少なくとも２つの復号化済みかつデ・アライン済みのチャネルを有する復号化済み信号を取得する。

図９ａは、図２の信号デ・アライナ９００により実行されるステップの好ましい流れを示す。特に、ステップ９１０は、図２の線８０１，８０２上で利用可能なアライン済みの左右のチャネルを受信する。ステップ９１０において、信号デ・アライナ９００は、狭帯域アライメント・パラメータについての情報を使用して個々のサブバンドをデ・アライメントし、位相デ・アラインされた復号化済みの第１及び第２のチャネル又は左及び右のチャネルを９１１ａ及び９１１ｂで取得する。ステップ９１２において、チャネルは広帯域アライメント・パラメータを使用してデ・アラインされ、その結果、９１３ａ及び９１３ｂで位相及び時間−デ・アラインされたチャネルが取得される。

ステップ９１４において、窓掛け又は任意のオーバーラップ加算操作又は一般的に任意のクロスフェード操作を含む任意の追加的処理が実行され、９１５ａ又は９１５ｂでアーチファクト低減された又はアーチファクト無しの復号化済み信号を取得する。このようにして、アーチファクトを何も含まない復号化済みチャネルが得られるが、そのために典型的には、一方では広帯域のための、他方では複数の狭帯域のための時間変化するデ・アライメント・パラメータが使用されていたものである。

図９ｂは、図２に示す多チャネル復号器の好ましい実施形態を示す。

特に、図２からの信号プロセッサ８００は、時間−スペクトル変換部８１０を含む。

信号プロセッサは、中央／サイドから左／右への変換部８２０を更に含み、その変換部は、中央信号Ｍ及びサイド信号Ｓから左信号Ｌ及び右信号Ｒを計算する。

しかしながら、重要なことは、ブロック８２０における中央／サイドから左／右への変換によってＬ及びＲを計算するために、サイド信号Ｓは必ずしも使用する必要がないということである。その代わり、後段で説明するように、左／右の信号は、チャネル間レベル差パラメータＩＬＤから導出されるゲインパラメータを使用するだけで当初は計算される。一般的に、予測ゲインはＩＬＤの一形式であると考えられてもよい。そのゲインはＩＬＤから導出され得るが、直接的にも導出され得る。ＩＬＤをもはや計算せずに、予測ゲインを直接的に計算し、ＩＬＤパラメータよりもその予測ゲインを復号器に伝送し使用するのが望ましい。

従って、このような実施形態において、サイド信号Ｓはチャネル更新部８３０において使用されるだけであり、その更新部は、迂回線８２１によって示すように、伝送されたサイド信号Ｓを使用して、より良好な左／右の信号を提供するために作動する。

従って、変換部８２０は、レベルパラメータ入力８２２を介して取得されたレベルパラメータを使用しながら、実際にはサイド信号Ｓを使用せずに作動するが、チャネル更新部８３０は、サイド８２１を使用し、特定の実施形態によるが、線８３１を介して受信するステレオ充填パラメータをも使用して作動する。信号アライナ９００は、次に位相デ・アライナ及びエネルギースケーラ９１０を含む。そのエネルギースケーリングは、スケーリングファクタ計算部９４０により導出されたスケーリングファクタによって制御される。スケーリングファクタ計算部９４０にはチャネル更新部８３０の出力が供給される。入力９１１を介して受信された狭帯域アライメント・パラメータに基づいて、位相のデ・アライメントが実行され、ブロック９２０において、線９２１を介して受信された広帯域アライメント・パラメータに基づいて、時間のデ・アライメントが実行される。最後に、スペクトル−時間変換９３０が実行されて、最終的に復号化済み信号が取得される。

図９ｃは、好適な実施例において、図９ｂのブロック９２０及び９３０の中で典型的に実行されるステップのさらなる流れを示す。

詳細には、狭帯域デ・アライン済みチャネルが、図９ｂのブロック９２０に対応する広帯域デ・アライメント機能へと入力される。ＤＦＴ又は任意の他の変換がブロック９３１内で実行される。時間ドメインサンプルの実際の計算に続いて、合成窓を使用する任意選択的な合成窓掛けが実行される。合成窓は、好ましくは分析窓と正に同一であるか、又は例えば補間又はデシメーションによって分析窓から導出されたものであるが、分析窓に所定の方法で依存している。このような依存性は、好ましくは２つのオーバーラップしている窓により定義される乗算因子が、オーバーラップ領域内の各点について加算されて１となるように設定される。このように、ブロック９３２における合成窓に続いて、オーバーラップ操作と後続の加算操作が実行される。代替的に、合成窓掛け及びオーバーラップ／加算操作に代えて、各チャネルについて後続のブロック間の任意のクロスフェードが実行されて、図９ａの文脈で既に説明したように、アーチファクトが低減された復号化済み信号を取得してもよい。

図６ｂを考慮する場合、中央信号のための実際の操作、即ち「ＥＶＳ復号器」と、サイド信号のための逆ベクトル量子化ＶＱ^-1及び逆ＭＤＣＴ操作（ＩＭＤＣＴ）とは、図２の信号復号器７００に対応している。

更に、ブロック８１０におけるＤＦＴ操作は図９ｂにおける構成要素８１０に対応し、逆ステレオ処理及び逆時間シフトの機能は、図２のブロック８００，９００に対応し、図６ｂにおける逆ＤＦＴ操作９３０は、図９ｂのブロック９３０における操作と対応する。

次に、図３についてより詳細に説明する。特に、図３は、個別のスペクトル線を有するＤＦＴスペクトルを示す。好ましくは、ＤＦＴスペクトル又は図３に示す任意の他のスペクトルは複素スペクトルであり、各線は、振幅と位相又は実数部と虚数部を有する、複素スペクトル線である。

追加的に、このスペクトルは異なるパラメータ帯域へも分割される。各パラメータ帯域は少なくとも１つの、及び好ましくは２つ以上のスペクトル線を有する。加えて、パラメータ帯域はより低い周波数からより高い周波数へと増大する。典型的には、広帯域アライメント・パラメータは、全体スペクトルのための、即ち図３の例示的実施形態においては帯域１から６までのすべてを含む１つのスペクトルのための、単一の広帯域アライメント・パラメータである。

更に、複数の狭帯域アライメント・パラメータは、各パラメータ帯域について１つのアライメント・パラメータが存在するように提供される。これは、１つの帯域のためのアライメント・パラメータが、対応する帯域内の全てのスペクトル値に対して適用することを意味する。

更に、狭帯域アライメント・パラメータに加え、レベルパラメータも各パラメータ帯域について提供される。

帯域１から６までの各々かつ全てのパラメータ帯域に対して提供されるレベルパラメータとは対照的に、帯域１，２，３，４のようなある限定された個数の低い帯域についてだけ複数の狭帯域アライメント・パラメータを提供することが望ましい。

加えて、ステレオ充填パラメータが、例示の実施例においては帯域４，５，６のように、低い帯域を除く所定数の帯域に提供され、他方、低いパラメータ帯域１，２，３についてはサイド信号スペクトル値が存在し、結果としてこれらの低帯域についてはステレオ充填パラメータが存在せず、これら低帯域においては、サイド信号そのもの又はサイド信号を表現する予測残差信号のいずれかを使用して、波形マッチングが取得される。

上述したように、より高い帯域においてはより多数のスペクトル線が存在する。例えば、図３の実施例においては、パラメータ帯域６内には７個のスペクトル線がある一方で、パラメータ帯域２内にはたった３個のスペクトル線がある。当然ながら、パラメータ帯域の数、スペクトル線の数、１つのパラメータ帯域内のスペクトル線の数、及びあるパラメータについての種々の制限も、異なるであろう。

しかしながら、図８は、図３の例とは対照的に、実際に１２個の帯域が存在するある実施例における、パラメータの配分とパラメータが提供される帯域の個数とを示す。

図示するように、レベルパラメータＩＬＤが１２帯域の各々に対して提供され、帯域毎に５ビットで表現される量子化精度へと量子化される。

更に、狭帯域アライメント・パラメータＩＰＤは、２．５ｋＨｚの境界周波数までの低い帯域に対してだけ提供される。加えて、チャネル間時間差又は広帯域アライメント・パラメータは、全体的スペクトルのための単一のパラメータとしてだけ提供されるが、全体の帯域について８ビットで表現される非常に高い量子化精度を有する。

更に、かなり粗く量子化されたステレオ充填パラメータが帯域毎に３ビットで表現されて提供されるが、これらは１ｋＨｚを下回る帯域には提供されない。なぜなら、低い帯域については、実際に符号化されたサイド信号又はサイド信号残差スペクトル値が含まれるからである。

次に、符号器側の好ましい処理について、図５に関して要約する。第１ステップにおいて、左右のチャネルのＤＦＴ分析が実行される。この手順は図４ｃのステップ１５５〜１５７に対応する。ステップ１５８では、広帯域アライメント・パラメータが計算され、特に、好ましい広帯域アライメント・パラメータとしてチャネル間時間差（ＩＴＤ）が計算される。１７０で示すように、周波数ドメインにおけるＬ及びＲの時間シフトが実行される。代替的に、この時間シフトは時間ドメインでも実行され得る。次に逆方向ＤＦＴが実行され、時間シフトが時間ドメインで実行され、広帯域アライメント・パラメータを使用したアライメントの後で再度スペクトル表現を持つように、追加の順方向ＤＦＴが実行される。

ＩＬＤパラメータ、即ちレベルパラメータ及び位相パラメータ（ＩＰＤパラメータ）が、ステップ１７１で示すように、シフトされたＬ及びＲ表現に対し各パラメータ帯域について計算される。このステップは、例えば図４ｃのステップ１６０と対応する。時間シフトされたＬ及びＲ表現は、図４ｃ又は図５のステップ１６１で示すように、チャネル間位相差パラメータの機能として回転される。次に、ステップ３０１で示すように中央及びサイド信号が計算され、好ましくは、後述するようなエネルギー変換操作をさらに伴う。後続のステップ１７４では、ＩＬＤの機能としてのＭ、及び任意選択的には過去のＭ信号、即ち以前のフレームの中央信号を用いた、Ｓの予測が実行される。次に、中央信号及びサイド信号の逆方向ＤＦＴが実行され、これは好ましい実施例においては図４ｄのステップ３０３，３０４，３０５に対応する。

最終ステップ１７５において、時間ドメインの中央信号ｍと、任意選択的には残差信号とがステップ１７５に示すように符号化される。この手順は図１における信号符号器４００により実行される手順に対応する。

逆ステレオ処理における復号器において、サイド信号がＤＦＴドメインで生成され、これは中央信号から以下のように最初に予測される。

ここで、ｇは各パラメータ帯域について計算されたゲインであり、伝送されるチャネル間レベル差（ＩＬＤｓ）の関数である。

予測の残差Side−g・Midは、次に２つの異なる方法で精密化され得る。
−残差信号の二次的符号化による：

ここで、ｇ_codは全体スペクトルのために伝送されたグローバルゲインである。
−前の復号化済み中央信号スペクトルを用いて前のＤＦＴフレームから残差サイドスペクトルを予測する、ステレオ充填として知られる残差予測による：

ここで、ｇ_predはパラメータ帯域毎に伝送された予測ゲインである。

符号化の精密化の２つのタイプは、同じＤＦＴスペクトル内で混合され得る。好ましい実施例において、残差符号化はより低いパラメータ帯域に対して適用される一方で、残差予測は残りの帯域に対して適用される。図１に示すような好ましい実施例において、残差符号化は、時間ドメインで残差サイド信号を合成しそれをＭＤＣＴによって変換した後で、ＭＤＣＴドメインで実行される。ＤＦＴとは異なり、ＭＤＣＴは臨界サンプリングされるので、オーディオ符号化により適している。ＭＤＣＴ係数は、格子ベクトル量子化によって直接的にベクトル量子化されるが、代替的に、スカラー量子化とその後のエントロピー符号器によって符号化され得る。代替的に、残差サイド信号はまた、スピーチ符号化技術によって時間ドメインで符号化されることもでき、又は、ＤＦＴドメインで直接的に符号化されることもできる。

１．時間−周波数分析：ＤＦＴ
ＤＦＴによって実行される、ステレオ処理からの特殊な時間−周波数分解によって、良好な聴覚的シーン分析をもたらす一方で、符号化システムの全体的な遅延が有意に増加しないようにすることが重要である。デフォルトにより、１０ｍｓの時間分解能（コアコーダの２０ｍｓフレーミングの２倍）が使用される。分析窓と合成窓は同じであり、対称形である。窓は図７の中で１６ｋＨｚのサンプリングレートで表現される。発生する遅延を低減するためにオーバーラップ領域が制限され、後段で説明するように、ＩＴＤを周波数ドメインにおいて適用する際に循環シフトを釣り合わせるためにゼロパディングもまた追加されることが見て取れる。

２．ステレオパラメータ
ステレオパラメータは、最大限ではステレオＤＦＴの時間分解能において伝送され得る。最小限では、ステレオパラメータはコアコーダのフレーミング分解能、即ち２０ｍｓへと低減され得る。デフォルトにより、過渡が検出されない場合、パラメータは２つのＤＦＴ窓にわたり２０ｍｓ毎に計算される。パラメータ帯域は、等価方形帯域幅(Equivalent Rectangular Bandwidth)（ＥＲＢ）の凡そ２倍又は４倍の後に続いてスペクトルの非均一かつ非オーバーラップの分解を構成する。デフォルトにより、１６ｋＨｚ（３２ｋｂｐｓのサンプリングレート、スーパーワイドバンド・ステレオ）の周波数帯域幅について、ＥＲＢのスケールの４倍が、合計で１２個の帯域について使用される。図８は、ステレオサイド情報が約５ｋｂｐｓで伝送される構成の一例を要約したものである。

３．ＩＴＤの計算及びチャネル時間アライメント
ＩＴＤは、位相変換を用いた一般化相互相関(Generalized Cross Correlation with Phase Transform)（ＧＣＣ−ＰＨＡＴ）を使用して、到達時間差（ＴＤＯＡ）を推定することにより計算される。

ここで、Ｌ及びＲはそれぞれ左右のチャネルの周波数スペクトルである。周波数分析は、後続のステレオ処理に使用されるＤＦＴから独立して実行されることができ、又は共有され得る。ＩＴＤを計算するための疑似コードは以下の通りである。

図４ｅは、広帯域アライメント・パラメータの一例としてチャネル間時間差のロバストで効率的な計算を得るために、前述の擬似コードを実行するフローチャートを示す。

ブロック４５１では、第１チャネル（ｌ）と第２チャネル（ｒ）についての時間ドメイン信号のＤＦＴ分析が実行される。このＤＦＴ分析は、例えば図５又は図４ｃにおけるステップ１５５〜１５７の文脈で説明されたものと典型的に同じＤＦＴ分析であろう。

次に、ブロック４５２で示すように、各周波数ビンについて、相互相関が実行される。

このように、左チャネルと右チャネルの全体のスペクトル範囲について、相互相関スペクトルが取得される。

ステップ４５３では、次にＬとＲの振幅スペクトルからスペクトル平坦尺度が計算され、ステップ４５４では、より大きなスペクトル平坦尺度が選択される。しかしながら、ステップ４５４における選択は、より大きな尺度の選択である必要はなく、両方のチャネルからの単一のＳＦＭの決定が、左チャネルだけ、又は右チャネルだけの選択又は計算であってもよく、又は両方のＳＦＭ値の重み付けされた平均の計算であってもよい。

ステップ４５５では、次に相互相関スペクトルがスペクトル平坦尺度に応じて時間に亘って平滑化される。

好ましくは、スペクトル平坦尺度は、振幅スペクトルの幾何平均を、振幅スペクトルの算術平均によって除算することにより、計算される。このように、ＳＦＭについての値は０と１との間に制限される。

ステップ４５６では、次に平滑化された相互相関スペクトルがその振幅によって正規化され、ステップ４５７では、正規化され平滑化された相互相関スペクトルの逆ＤＦＴが計算される。ステップ４５８では、ある時間ドメインフィルタが好ましくは実行され、この時間ドメインフィルタリングは実装に応じて実行せずに済ますことも可能であるが、後述するように実行されるのが望ましい。

ステップ４５９では、フィルタ一般化相互相関関数のピーク・ピッキングとある種の閾値演算とを実行することにより、ＩＴＤ推定が行われる。

ある閾値が得られない場合には、ＩＤＴはゼロに設定され、この対応するブロックについて時間アライメントは実行されない。

ＩＴＤ計算は、以下のようにも要約できる。相互相関が周波数ドメインで計算され、次いでスペクトル平坦尺度（ＳＦＭ）に応じて平滑化される。ＳＦＭは０と１との間に制限されている。ノイズ状信号の場合、ＳＦＭは高く（即ちほぼ１に）なるであろうし、平滑化は弱いであろう。調性状信号の場合、ＳＦＭは低くなり、平滑化はより強くなるであろう。平滑化された相互相関は、次に、その振幅によって正規化され、時間ドメインへと逆変換される。その正規化は、相互相関の位相変換に対応し、低いノイズ及び比較的高い反響環境の中での通常の相互相関よりも良好な性能を示すことが知られている。このようにして得られた時間ドメイン関数は、よりロバストなピーク・ピッキングを達成するためにまずフィルタ処理される。最大振幅に対応するインデックスは、左右のチャネル間の時間差（ＩＴＤ）の推定に対応する。最大の振幅が所与の閾値よりも低い場合、推定されたＩＴＤは信頼性が高いとは認められず、ゼロに設定される。

時間アライメントが時間ドメインで適用される場合、ＩＴＤは別個のＤＦＴ分析で計算される。このシフトは以下のように実行される。

これは符号器側において余分な遅延を必要とし、その遅延は、最大では取り扱い可能な最大絶対値ＩＴＤと等しい。ＩＴＤの時間的な変化は、ＤＦＴの分析窓掛けにより平滑化される。

代替的に、時間アライメントは周波数ドメインでも実行され得る。この場合、ＩＴＤの計算及び循環シフトは同じＤＦＴドメイン内であり、この他のステレオ処理と共有されているドメインである。循環シフトは次式で与えられる。

ＤＦＴ窓のゼロパディングは、循環シフトを用いた時間シフトをシミュレートするために必要である。ゼロパディングのサイズは、取り扱い可能な最大絶対値ＩＴＤに対応している。好ましい実施例において、ゼロパディングは、両端に３．１２５ｍｓのゼロを追加することで、分析窓の両側に均一に分割される。その場合、可能な最大絶対値ＩＴＤは６．２５ｍｓとなる。Ａ−Ｂマイクロホン設定において、これは最悪の場合、２個のマイクロホンの間の約２．１５メートルの最大距離に対応する。ＩＴＤの時間的な変化は、ＤＦＴの合成窓掛けとオーバーラップ加算により平滑化される。

時間シフトの後でシフト済み信号の窓掛けを行うことが重要である。この点が先行技術のバイノーラルキュー符号化（ＢＣＣ）との主要な相違点であり、バイノーラルキュー符号化においては、窓掛け済み信号に対して時間シフトが適用されるが、合成ステージでは更なる窓掛けが行われない。その結果、ＩＴＤにおける時間的な如何なる変化も、復号化された信号の中で人工的な過渡／クリックを生み出してしまう。

４．ＩＰＤの計算とチャネル回転
２つのチャネルの時間アライメントの後で、ＩＰＤが計算され、この計算は、各パラメータ帯域又は少なくとも所与のｉｐｄ＿ｍａｘ＿ｂａｎｄまで、ステレオ構成に依存して行われる。

ＩＰＤは次に、２つのチャネルに対してそれらの位相をアラインするために適用される。

ここで、

であり、ｂは周波数インデックスｋが帰属するパラメータ帯域インデックスである。パラメータβは、２つのチャネル間の位相回転の量を分配し、同時にそれらの位相をアラインする役割を担う。βはＩＰＤに依存し、またチャネル同士の相対的な振幅レベルＩＬＤにも依存する。あるチャネルがより高い振幅を有する場合、それが主要なチャネルとして認識され、低い振幅を有するチャネルよりも位相回転によって受ける影響が少なくなるであろう。

５．和・差及びサイド信号の符号化
和差変換は、２つのチャネルの時間及び位相がアラインされたスペクトルに対し、中央信号内でエネルギーが保存される方法で実行される。

ここで、

は １／１．２と１．２との間、即ち−１．５８ｄＢと＋１．５８ｄＢの間に制限される。この制限により、Ｍ及びＳのエネルギーを調整するときにアーチファクトを防止できる。このエネルギー保存は、時間及び位相が事前にアラインされていた場合には重要度が低いことに留意すべきである。代替的に、これら制限は増大又は減少され得る。

サイド信号ＳがＭを用いて更に予測される。

ここで、

である。代替的に、前出の方程式から推定された残差及びＩＬＤの平均二乗誤差（ＭＳＥ）を最小化することで、最適な予測ゲインｇを見つけることができる。

残差信号Ｓ'（ｆ）は、２つの手段でモデル化できる。即ち、Ｍの遅延されたスペクトルを用いて予測するか、又はそれをＭＤＣＴドメインで直接的に符号化するかである。

６．ステレオ復号化
中央信号Ｘ及びサイド信号Ｓは、まず左及び右のチャネルＬ及びＲへと次式のように変換される。

ここで、パラメータ帯域毎のゲインｇはＩＬＤパラメータから導出される。

cod_max_bandより低いパラメータ帯域については、２つのチャネルは復号化済みサイド信号を用いて更新される。

より高いパラメータ帯域については、サイド信号が予測され、チャネルは以下のように更新される。

最後に、ステレオ信号のオリジナルエネルギー及びチャネル間位相を保存する目的で、それらチャネルが複素値によって乗算される。

ここで、

である。但し、ａは上段で定義したように定義されかつ制限されており、

であり、かつａｔａｎ２（ｘ，ｙ）はｙに対するｘの四象限逆正接（four-quadrant inverse tangent）である。

最後に、伝送されたＩＴＤに依存して、チャネルは時間ドメイン又は周波数ドメインのいずれかで時間シフトされる。この時間ドメインのチャネルは、逆ＤＦＴ及びオーバーラップ加算により合成される。

本発明の特異な特徴は、空間キューと和・差ジョイントステレオ符号化との結合に関係している。具体的には、空間キューＩＤＴとＩＰＤとが計算され、それらがステレオチャネル（左と右）に対して適用される。さらに、和・差（Ｍ／Ｓ信号）が計算され、好ましくは予測がＭを用いてＳに適用される。

復号器側では、広帯域及び狭帯域の空間キューが和・差ジョイントステレオ符号化と共に結合される。特に、サイド信号がＩＬＤのような少なくとも１つの空間キューを用いて中央信号により予測され、左右のチャネルを得るために逆の和・差が計算され、さらに広帯域及び狭帯域の空間キューが左右のチャネルに適用される。

好ましくは、符号器は、ＩＴＤを用いた処理の後に、時間アライン済みチャネルに対して窓掛けとオーバーラップ加算とを有する。さらに、復号器は、チャネル間時間差を適用した後、チャネルのシフト済み又はデ・アライン済みバージョンの窓掛け及びオーバーラップ加算作動を有する。

ＧＣＣ−Ｐｈａｔ法を用いたチャネル間時間差の計算は、特にロバストな方法である。

新たな手順は、ステレオオーディオ又は多チャネルオーディオのビットレート符号化を低遅延で達成するので、従来技術に比べて有利である。それは、入力信号の異なる性質に対して、及び多チャネル又はステレオ録音の異なる設定に対して、ロバストとなるように特異的に設計される。特に、本発明は、ビットレート・ステレオスピーチ符号化にとって、良好な品質を提供する。

この好ましい手順は、スピーチ又は音楽のような全てのタイプのステレオ又は多チャネルのオーディオコンテンツの放送を、所与の低ビットレートで一定の知覚品質をもって一様に配信することにおいて有用である。そのような適用範囲は、デジタルラジオ、インターネット・ストリーミング、又はオーディオ通信アプリケーションである。

本発明に係る符号化済みオーディオ信号は、デジタル記憶媒体又は非一時的記憶媒体に記憶されることができ、又は、インターネットのような無線伝送媒体又は有線伝送媒体などの伝送媒体上で伝送されることもできる。

これまで幾つかの態様を装置の文脈で示してきたが、これらの態様は対応する方法の説明をも表しており、１つのブロック又は装置が１つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応するブロック、項目、又は対応する装置の特徴を表している。

所定の構成要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、そのデジタル記憶媒体は、その中に格納された電子的に読み取り可能な制御信号を有し、それら制御信号は、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能である）。

本発明に従う幾つかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含み、それら制御信号は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能である。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリア又は非一時的記憶媒体に格納されたコンピュータプログラムを含む。

換言すれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。

上述の実施形態は、本発明の原理の単なる説明に過ぎない。上述の装置及び詳細の修正及び変更が当業者にとって明らかなことは理解されよう。従って、以下に添付する特許請求の範囲の主題によってのみ限定されるべきであり、実施形態の説明及び解説の方法で表現された特定の詳細によっては限定されないことが趣旨である。

この新たな方法は、従来のＭ／Ｓステレオとパラメトリックステレオからの要素を混合するハイブリッド手法である。従来のＭ／Ｓでは、チャネルは中央及びサイド信号を生成するために、受動的にダウンミックスされる。その処理は、チャネルを合計し差分化する前の主成分分析（ＰＣＡ）としても知られている、Karhunen-Loeve変換(KLT)を用いてチャネルを回転させることにより、拡張され得る。中央信号は一次コア符号器により符号化され、サイド信号は二次符号器へと送られる。進化型のＭ／Ｓステレオは、現在または以前のフレームで符号化された中央チャネルによるサイド信号の予測をさらに使用することができる。回転及び予測の主な目的は、サイド信号のエネルギーを最小にしながら、中央信号のエネルギーを最大にすることである。Ｍ／Ｓステレオは波形保存型であり、この視点から任意のステレオシナリオに対して非常にロバストであるが、ビット消費量の点で非常に消耗し得る。

さらなる実施形態は、チャネル間レベル差のようなレベルパラメータの追加的使用、又はステレオ充填パラメータ（stereo filling parameters）等のようなサイド信号を処理するための他の手順に関係する。符号化済みサイド信号は、実際のサイド信号自体によって表現され得るか、又は現フレームまたは任意の他のフレームの中央信号を使用して実行される予測残差信号によって表現され得るか、又は帯域のあるサブセットのみにおけるサイド信号又はサイド予測残差信号と残りの帯域のみについての予測パラメータとによって表現され得るか、又は如何なる高い周波数分解能サイド信号情報をも有しない全ての帯域に関する予測パラメータとによってさえ表現され得る。従って、上述の最後の代替案では、符号化済みサイド情報は、各パラメータ帯域についての予測パラメータによって、又はパラメータ帯域のサブセットによってのみ表現され、残りのパラメータ帯域については、オリジナルサイド信号に関する如何なる情報も存在しない。

１．時間−周波数分析：ＤＦＴ
ＤＦＴによって実行される、ステレオ処理からの特殊な時間−周波数分解によって、良好な聴覚的シーン分析をもたらす一方で、符号化システムの全体的な遅延が有意に増加しないようにすることが重要である。デフォルトにより、１０ｍｓの時間分解能（コアコーダの２０ｍｓフレーミングの２倍）が使用される。分析窓と合成窓は同じであり、対称形である。窓は図７の中で１６ｋＨｚのサンプリングレートで表現される。発生する遅延を低減するためにオーバーラップ領域が制限され、後段で説明するように、ＩＴＤを周波数ドメインにおいて適用する際に循環シフトを釣り合わせるためにゼロパディングもまた追加されることが見て取れる。時間−スペクトル変換部１５０は、オーバーラップしている窓の系列を適用するよう構成され、１つの窓のオーバーラップ部分の長さとその窓の非オーバーラップ部分の長さとは、共に信号符号器４００の１フレーミングの端数に等しいのが好ましい。

２．ステレオパラメータ
ステレオパラメータは、最大限ではステレオＤＦＴの時間分解能において伝送され得る。最小限では、ステレオパラメータはコアコーダのフレーミング分解能、即ち２０ｍｓへと低減され得る。デフォルトにより、過渡が検出されない場合、パラメータは２つのＤＦＴ窓にわたり２０ｍｓ毎に計算される。パラメータ帯域は、等価方形帯域幅(Equivalent Rectangular Bandwidth)（ＥＲＢ）の凡そ２倍又は４倍の後に続いてスペクトルの非均一かつ非オーバーラップの分解を構成する。デフォルトにより、１６ｋＨｚ（３２ｋｂｐｓのサンプリングレート、スーパーワイドバンド・ステレオ）の周波数帯域幅について、ＥＲＢのスケールの４倍が、合計で１２個の帯域について使用される。図８は、ステレオサイド情報が約５ｋｂｐｓで伝送される構成の一例を要約したものである。パラメータ決定部１００は、帯域幅を有する個別の帯域について複数の狭帯域アライメント・パラメータを決定するよう構成され、第１中央周波数を有する第１帯域の第１帯域幅は第２中央周波数を有する第２帯域の第２帯域幅よりも狭く、第２中央周波数は前記第１中央周波数より高い。

ある閾値が得られない場合には、ＩＴＤはゼロに設定され、この対応するブロックについて時間アライメントは実行されない。

本発明の特異な特徴は、空間キューと和・差ジョイントステレオ符号化との結合に関係している。具体的には、空間キューＩＴＤとＩＰＤとが計算され、それらがステレオチャネル（左と右）に対して適用される。さらに、和・差（Ｍ／Ｓ信号）が計算され、好ましくは予測がＭを用いてＳに適用される。

新たな手順は、ステレオオーディオ又は多チャネルオーディオの低ビットレート符号化を低遅延で達成するので、従来技術に比べて有利である。それは、入力信号の異なる性質に対して、及び多チャネル又はステレオ録音の異なる設定に対して、ロバストとなるように特異的に設計される。特に、本発明は、低ビットレート・ステレオスピーチ符号化にとって、良好な品質を提供する。

Claims (34)

1. 少なくとも２つのチャネルを有する多チャネル信号を符号化する装置であって、
   前記多チャネル信号から１つの広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを決定するパラメータ決定部（１００）と、
   前記広帯域アライメント・パラメータと前記複数の狭帯域アライメント・パラメータとを使用して前記少なくとも２つのチャネルをアラインし、アライン済みチャネルを取得する信号アライナ（２００）と、
   前記アライン済みチャネルを使用して中央信号とサイド信号とを計算する信号プロセッサ（３００）と、
   前記中央信号を符号化して符号化済み中央信号を取得し、前記サイド信号を符号化して符号化済みサイド信号を取得する信号符号器（４００）と、
   前記符号化済み中央信号と前記符号化済みサイド信号と前記広帯域アライメント・パラメータに関する情報と前記複数の狭帯域アライメント・パラメータに関する情報とを含む符号化済み多チャネル信号を生成する出力インターフェース（５００）と、
   を備える装置。
2. 前記パラメータ決定部（１００）は、前記少なくとも２つのチャネルの広帯域表現を使用して前記広帯域アライメント・パラメータを決定するよう構成され、前記広帯域表現は前記少なくとも２つのチャネルの各々の少なくとも２つのサブバンドを含み、
   前記信号アライナ（２００）は、前記少なくとも２つのチャネルの広帯域表現の広帯域アライメントを実行して、前記少なくとも２つのチャネルのアライン済み広帯域表現を取得するよう構成される、
   請求項１に記載の装置。
3. 前記パラメータ決定部（１００）は、前記少なくとも２つのチャネルのアライン済み広帯域表現の少なくとも１つのサブバンドについて、別個の狭帯域アライメント・パラメータを決定するよう構成され、
   前記信号アライナ（２００）は、前記アライン済み広帯域表現の各サブバンドを、対応するサブバンドについての前記狭帯域パラメータを使用して個別にアラインし、前記少なくとも２つのチャネルの各々について複数のアライン済みサブバンドを有するアライン済み狭帯域表現を取得するよう構成される、
   請求項１又は２に記載の装置。
4. 前記信号プロセッサ（３００）は、前記少なくとも２つのチャネルの各々についての複数のアライン済みサブバンドを使用して、前記中央信号についての複数のサブバンドと、前記サイド信号についての複数のサブバンドとを計算するよう構成される、
   請求項１〜３のいずれか一項に記載の装置。
5. 前記パラメータ決定部（１００）は、前記広帯域アライメント・パラメータとしてチャネル間時間差パラメータを計算するか、又は前記複数の狭帯域アライメント・パラメータとして前記多チャネル信号の複数のサブバンドの各々についてチャネル間位相差を計算するよう構成される、
   請求項１〜４のいずれか一項に記載の装置。
6. 前記パラメータ決定部（１００）は、前記多チャネル信号の複数のサブバンドの各々について予測ゲイン又はチャネル間レベル差を計算するよう構成され、
   前記信号符号器（４００）は、あるサブバンドにおける前記中央信号を使用し、かつそのサブバンドのチャネル間レベル差又は予測ゲインを使用して、前記サブバンドにおける前記サイド信号の予測を実行するよう構成される、
   請求項１〜５のいずれか一項に記載の装置。
7. 前記信号符号器（４００）は予測残差信号を計算し符号化するよう構成され、前記予測残差信号は、前記サイド信号、予測ゲインもしくは前記少なくとも２つのチャネル間のチャネル間レベル差、前記中央信号、及び遅延された中央信号から導出され、又は
   あるサブバンドにおける予測ゲインが前記サブバンドにおける前記少なくとも２つのチャネル間のチャネル間レベル差を使用して計算され、又は
   前記信号符号器は、スピーチ符号器、切り替え型音楽／スピーチ符号器、時間ドメイン帯域幅拡張符号器又は周波数ドメインギャップ充填符号器を使用して、前記中央信号を符号化するよう構成される、
   請求項１〜６のいずれか一項に記載の装置。
8. 前記少なくとも２つのチャネルのスペクトル表現をスペクトルドメインで生成する時間−スペクトル変換部（１５０）をさらに備え、
   前記パラメータ決定部（１００）と前記信号アライナ（２００）と前記信号プロセッサ（３００）とは、スペクトルドメインで作動するよう構成され、
   前記信号プロセッサ（３００）は、前記中央信号の時間ドメイン表現を生成するスペクトル−時間変換部（１５４）をさらに備え、
   前記信号符号器（４００）は前記中央信号の時間ドメイン表現を符号化するよう構成される、
   請求項１〜７のいずれか一項に記載の装置。
9. 前記パラメータ決定部（１００）は、あるスペクトル表現を使用して前記広帯域アライメント・パラメータを計算するよう構成され、
   前記信号アライナ（２００）は、前記広帯域アライメント・パラメータを使用して前記少なくとも２つのチャネルのスペクトル表現に対して循環シフト（１５９）を適用し、前記少なくとも２つのチャネルについての広帯域アライン済みスペクトル値を取得するよう構成されるか、又は
   前記パラメータ決定部（１００）は、広帯域アライン済みスペクトル値から前記複数の狭帯域アライメント・パラメータを計算するよう構成され、
   前記信号アライナ（２００）は、前記複数の狭帯域アライメント・パラメータを使用して前記広帯域アライン済みスペクトル値を回転（１６１）させるよう構成される、
   請求項１〜８のいずれか一項に記載の装置。
10. 前記時間−スペクトル変換部（１５０）は、前記少なくとも２つのチャネルの各々に分析窓を適用するよう構成され、前記分析窓はその左側又は右側にゼロパディング部分を有し、前記ゼロパディング部分は前記広帯域アライメント・パラメータの最大値を決定し、又は
    前記分析窓は、初期オーバーラップ領域と中間非オーバーラップ領域と終期オーバーラップ領域とを有し、又は
    前記時間−スペクトル変換部（１５０）は、オーバーラップしている窓の系列を適用するよう構成され、１つの窓のオーバーラップ部分の長さとその窓の非オーバーラップ部分の長さとは、共に前記信号符号器（４００）の１フレーミングの端数に等しい、
    請求項８又は９に記載の装置。
11. 前記スペクトル−時間変換部（１５４）は合成窓を使用するよう構成され、前記合成窓は、前記時間−スペクトル変換部（１５０）によって使用された分析窓と等しいか、又は前記分析窓から導出される、
    請求項８〜１０のいずれか一項に記載の装置。
12. 前記信号プロセッサ（３００）は、前記中央信号又は前記サイド信号の時間ドメイン表現を計算するよう構成され、前記時間ドメイン表現の計算は、
    前記中央信号又は前記サイド信号のサンプルの現ブロックを窓掛け（３０４）して、窓掛け済み現ブロックを取得すること、
    前記中央信号又は前記サイド信号のサンプルの後続ブロックを窓掛け（３０４）して、窓掛け済み後続ブロックを取得すること、
    前記窓掛け済み現ブロックのサンプルと前記窓掛け済み後続ブロックのサンプルとをオーバーラップ領域において加算（３０５）し、前記オーバーラップ領域についての時間ドメイン表現を取得すること、を含む、
    請求項１〜１１のいずれか一項に記載の装置。
13. 前記信号符号器（４００）は、サブバンドの第１セットにおいて、前記サイド信号又は前記サイド信号から導出された予測残差信号と、前記中央信号とを符号化し、
    前記サブバンドの第１セットとは異なるサブバンドの第２セットにおいて、サイド信号から導出されたゲインパラメータと時間的に前の中央信号とを符号化するよう構成され、
    前記サイド信号又は予測残差信号は、前記サブバンドの第２セットについては符号化されない、
    請求項１〜１２のいずれか一項に記載の装置。
14. 前記サブバンドの第１セットは、前記サブバンドの第２セットにおける周波数よりも低い周波数のサブバンドを有する、請求項１３に記載の装置。
15. 前記信号符号器（４００）は、ＭＤＣＴ変換及び前記サイド信号のＭＤＣＴ係数のベクトルもしくはスカラーのような量子化又は任意の他の量子化を使用して、前記サイド信号を符号化するよう構成される、
    請求項１〜１４のいずれか一項に記載の装置。
16. 前記パラメータ決定部（１００）は、帯域幅を有する個別の帯域について前記複数の狭帯域アライメント・パラメータを決定するよう構成され、第１中央周波数を有する第１帯域の第１帯域幅は第２中央周波数を有する第２帯域の第２帯域幅よりも低く、前記第２中央周波数は前記第１中央周波数より大きいか、又は、
    前記パラメータ決定部（１００）は、ある境界周波数までの帯域についてのみ前記狭帯域アライメント・パラメータを決定するよう構成され、前記境界周波数は前記中央信号又はサイド信号の最大周波数よりも低く、かつ
    前記アライナ（２００）は、前記広帯域アライメント・パラメータに関する情報のみを使用して、前記境界周波数より高い周波数を有するサブバンドにおける前記少なくとも２つのチャネルをアラインし、かつ前記広帯域アライメント・パラメータと前記狭帯域アライメント・パラメータとを使用して、前記境界周波数より低い周波数を有するサブバンドにおける前記少なくとも２つのチャネルをアラインするよう構成される、
    請求項１〜１５のいずれか一項に記載の装置。
17. 前記パラメータ決定部（１００）は、一般化相互相関を使用した到達時間遅延の推定を使用して、前記広帯域アライメント・パラメータを計算するよう構成され、前記信号アライナ（２００）は、時間シフトを使用して時間ドメインにおける前記広帯域アライメント・パラメータを適用するか、もしくは循環シフトを使用して周波数ドメインにおける前記広帯域アライメント・パラメータを適用するよう構成されるか、又は、
    前記パラメータ決定部（１００）は、
    −前記第１チャネルと前記第２チャネルとの間の相互相関スペクトルを計算すること（４５２）、
    −前記第１チャネル、前記第２チャネル又は両方のチャネルについてのスペクトル形状に関する情報を計算すること（４５３、４５４）、
    −スペクトル形状に関する情報に応じて前記相互相関スペクトルを平滑化すること（４５５）、
    −任意選択的に、平滑化された相互相関スペクトルを正規化すること（４５６）、
    −前記平滑化され、任意選択的に正規化された相互相関スペクトルの時間ドメイン表現を決定すること（４５７、４５８）、及び
    −前記時間ドメイン表現を分析（４５９）してチャネル間時間差を取得すること、
    を使用して前記広帯域アライメント・パラメータを計算するよう構成されている、請求項１〜１６のいずれか一項に記載の装置。
18. 前記信号プロセッサ（３００）は、エネルギースケーリング係数を使用して前記中央信号と前記サイド信号とを計算するよう構成され、前記エネルギースケーリング係数は最大でも２と、最小でも０．５の間に制限され、又は
    前記パラメータ決定部（１００）は、ある帯域内の前記第１及び第２チャネルのスペクトル値の積の複素合計の角度を決定することにより、前記帯域について正規化されたアライメント・パラメータを計算するよう構成され、又は
    前記信号アライナ（２００）は、前記第１及び第２チャネルの双方に対してチャネル回転が行われるように前記狭帯域アライメントを実行するよう構成され、高い振幅を有するチャネルのチャネル回転は小さい振幅を有するチャネルに比べて小さい角度だけ回転される、
    請求項１〜１７のいずれか一項に記載の装置。
19. 少なくとも２つのチャネルを有する多チャネル信号を符号化する方法であって、
    前記多チャネル信号から１つの広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを決定するステップ（１００）と、
    前記広帯域アライメント・パラメータと前記複数の狭帯域アライメント・パラメータとを使用して前記少なくとも２つのチャネルをアラインし、アライン済みチャネルを取得するステップ（２００）と、
    前記アライン済みチャネルを使用して中央信号とサイド信号とを計算するステップ（３００）と、
    前記中央信号を符号化して符号化済み中央信号を取得し、前記サイド信号を符号化して符号化済みサイド信号を取得するステップ（４００）と、
    前記符号化済み中央信号と前記符号化済みサイド信号と前記広帯域アライメント・パラメータに関する情報と前記複数の狭帯域アライメント・パラメータに関する情報とを含む符号化済み多チャネル信号を生成するステップ（５００）と、
    を備える方法。
20. 符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメント・パラメータに関する情報と、複数の狭帯域アライメント・パラメータに関する情報とを含む、符号化済み多チャネル信号。
21. 符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメント・パラメータに関する情報と、複数の狭帯域アライメント・パラメータに関する情報とを含む、符号化済み多チャネル信号を復号化する装置であって、
    前記符号化済み中央信号を復号化して復号化済み中央信号を取得し、前記符号化済みサイド信号を復号化して復号化済みサイド信号を取得する、信号復号器（７００）と、
    前記復号化済み中央信号と前記復号化済みサイド信号とから復号化済み第１チャネルと復号化済み第２チャネルとを計算する、信号プロセッサ（８００）と、
    前記広帯域アライメント・パラメータに関する情報と前記複数の狭帯域アライメント・パラメータに関する情報とを使用して、前記復号化済み第１チャネルと前記復号化済み第２チャネルとをデ・アラインし、復号化済み多チャネル信号を取得する信号デ・アライナ（９００）と、
    を備える装置。
22. 前記信号デ・アライナ（９００）は、前記復号化済み第１及び第２チャネルの複数のサブバンドの各々を、当該サブバンドに関連する狭帯域アライメント・パラメータを使用してデ・アラインし、前記第１及び第２チャネルのデ・アライン済みサブバンドを取得するよう構成され、かつ
    前記信号デ・アライナは、前記広帯域アライメント・パラメータに関する情報を使用して、前記第１及び第２復号化済みチャネルのデ・アライン済みサブバンドの表現をデ・アラインするよう構成される、
    請求項２１に記載の装置。
23. 前記信号デ・アライナ（９００）は、
    −前記左チャネル又は前記右チャネルのサンプルの現ブロックを窓掛けして、窓掛けされた現ブロックを取得すること、
    −前記第１チャネル及び前記第２チャネルのサンプルの後続ブロックを窓掛けして、窓掛けされた後続ブロックを取得すること、及び
    −前記窓掛けされた現ブロックのサンプルと前記窓掛けされた後続ブロックのサンプルとをオーバーラップ領域において加算し、前記オーバーラップ領域についての時間ドメイン表現を取得すること、
    を使用して、前記復号化済み第１チャネル又は前記復号化済み第２チャネルの時間ドメイン表現を計算するよう構成される、
    請求項２１又は２２に記載の装置。
24. 前記信号デ・アライナ（９００）は、帯域幅を有する個別のサブバンドについて前記複数の狭帯域アライメント・パラメータに関する情報を個別に適用するよう構成され、第１中央周波数を有する第１帯域の第１帯域幅は、第２中央周波数を有する第２帯域の第２帯域幅より低く、前記第２中央周波数は前記第１中央周波数より大きく、又は
    前記信号デ・アライナは、境界周波数までの帯域についてのみ、個別の帯域について前記複数の狭帯域アライメント・パラメータに関する情報を個別に適用するよう構成され、前記境界周波数は前記第１復号化済みチャネル又は前記第２復号化済みチャネルの最大周波数よりも低く、及び
    前記信号デ・アライナ（９００）は、前記広帯域アライメント・パラメータに関するのみ情報を使用して、前記境界周波数より高い周波数を有するサブバンドにおける前記少なくとも２つのチャネルをデ・アラインし、前記広帯域アライメント・パラメータに関する情報と前記狭帯域アライメント・パラメータに関する情報とを使用して、前記境界周波数より低い周波数を有するサブバンドにおける前記少なくとも２つのチャネルをデ・アラインするよう構成される、
    請求項２１〜２３のいずれか一項に記載の装置。
25. 前記信号プロセッサ（８００）は、
    前記復号化済み中央信号と前記復号化済みサイド信号との周波数ドメイン表現を計算する、時間−スペクトル変換部（８１０）を含み、
    前記信号プロセッサ（８００）は、前記復号化済み第１チャネルと前記復号化済み第２チャネルとを周波数ドメインで計算するよう構成され、
    前記信号デ・アライナは、前記複数の狭帯域アライメント・パラメータに関する情報だけを使用してアラインされ、又は前記複数の狭帯域アライメント・パラメータと前記広帯域アライメント・パラメータに関する情報とを使用してアラインされた、信号を時間ドメインへ変換する、スペクトル−時間変換部（９３０）を含む、
    請求項２１〜２４のいずれか一項に記載の装置。
26. 前記信号デ・アライナ（９００）は、前記広帯域アライメント・パラメータに関する情報を使用して、時間ドメインでデ・アライメントを実行し、かつ時間アライン済みチャネルの時間的に後続のブロックを使用して、窓掛け操作（９３２）又はオーバーラップ・加算操作（９３３）を実行するよう構成され、又は
    前記信号デ・アライナ（９００）は、前記広帯域アライメント・パラメータに関する情報を使用して、スペクトルドメインでデ・アライメントを実行し、そのデ・アライン済みチャネルを使用してスペクトル−時間変換（９３１）を実行し、かつ前記デ・アライン済みチャネルの時間的に後続のブロックを使用して、合成窓掛け（９３２）及びオーバーラップ・加算操作（９３３）を実行するよう構成される、
    請求項２１〜２５のいずれか一項に記載の装置。
27. 前記信号復号器は、時間ドメインの中央信号と時間ドメインのサイド信号とを生成するよう構成され、
    前記信号プロセッサ（８００）は、分析窓を使用して窓掛けを実行し、前記中央信号又は前記サイド信号の窓掛けされたサンプルの後続ブロックを生成するよう構成され、
    前記信号プロセッサは、時間的な後続ブロックを変換してスペクトル値の後続ブロックを取得する時間−スペクトル変換部（８１０）を含み、
    前記信号デ・アライナ（９００）は、スペクトル値の前記ブロックに関する前記狭帯域アライメント・パラメータに関する情報と前記広帯域アライメント・パラメータに関する情報とを使用して、デ・アライメントを実行するよう構成される、
    請求項１〜２６のいずれか一項に記載の装置。
28. 前記符号化済み信号は、複数の予測ゲイン又はレベルパラメータを含み、
    前記信号プロセッサ（８００）は、前記中央チャネルのスペクトル値と、前記スペクトル値が関連する帯域についての予測ゲイン又はレベルパラメータとを使用（８２０）し、かつ前記復号化済みサイド信号のスペクトル値を使用（８３０）して、前記左チャネルと前記右チャネルとのスペクトル値を計算するよう構成される、
    請求項２１〜２７のいずれか一項に記載の装置。
29. 前記信号プロセッサ（８００）は、前記左チャネルと前記右チャネルとのスペクトル値を、そのスペクトル値が関連（８３０）する帯域についてのステレオ充填パラメータを使用して、計算するよう構成される、
    請求項２１〜２８のいずれか一項に記載の装置。
30. 前記信号デ・アライナ（９００）又は前記信号プロセッサ（８００）は、あるスケーリングファクタを使用してある帯域についてのエネルギースケーリング（９１０）を実行するよう構成され、前記スケーリングファクタは前記復号化済み中央信号と前記復号化済みサイド信号のエネルギーに依存（９２０）しており、
    前記スケーリングファクタは、最大値２．０と最小値０．５との間に制限されている、
    請求項２１〜２９のいずれか一項に記載の装置。
31. 前記信号プロセッサ（８００）は、前記レベルパラメータから導出されたゲインファクタを使用して、前記左チャネルと前記右チャネルとのスペクトル値を計算するよう構成され、前記ゲインファクタは、非線形関数を使用して前記レベルパラメータから導出される、
    請求項２８〜３０のいずれか一項に記載の装置。
32. 前記信号デ・アライナ（９００）は、前記復号化済み第１及び第２のチャネルの帯域を、これらチャネルについての前記狭帯域アライメント・パラメータに関する情報を使用し、前記第１及び第２チャネルのスペクトル値の回転を使用して、デ・アラインするよう構成され、高い振幅を有する１つのチャネルのスペクトル値は低い振幅を有する他のチャネルの帯域のスペクトル値よりも小さく回転される、
    請求項２１〜３１のいずれか一項に記載の装置。
33. 符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメント・パラメータに関する情報と、複数の狭帯域アライメント・パラメータに関する情報とを含む、符号化済み多チャネル信号を復号化する方法であって、
    前記符号化済み中央信号を復号化して復号化済み中央信号を取得し、前記符号化済みサイド信号を復号化して復号化済みサイド信号を取得するステップ（７００）と、
    前記復号化済み中央信号と前記復号化済みサイド信号とから復号化済み第１チャネルと復号化済み第２チャネルとを計算するステップ（８００）と、
    前記広帯域アライメント・パラメータに関する情報と前記複数の狭帯域アライメント・パラメータに関する情報とを使用して、前記復号化済み第１チャネルと前記復号化済み第２チャネルとをデ・アラインし、復号化済み多チャネル信号を取得するステップ（９００）と、
    を備える方法。
34. コンピュータ又はプロセッサ上で作動するとき、請求項１９に記載の方法又は請求項３３に記載の方法を実行するためのコンピュータプログラム。

Images