JP2019509511A - マルチチャネル符号化におけるステレオ充填装置及び方法 - Google Patents

マルチチャネル符号化におけるステレオ充填装置及び方法 Download PDF

Info

Publication number
JP2019509511A
JP2019509511A JP2018543213A JP2018543213A JP2019509511A JP 2019509511 A JP2019509511 A JP 2019509511A JP 2018543213 A JP2018543213 A JP 2018543213A JP 2018543213 A JP2018543213 A JP 2018543213A JP 2019509511 A JP2019509511 A JP 2019509511A
Authority
JP
Japan
Prior art keywords
channel
channels
decoded
pair
audio output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018543213A
Other languages
English (en)
Other versions
JP6735053B2 (ja
Inventor
ディック・サシャ
ヘルムリッヒ・クリスチャン
レッテルバッハ・ニコラウス
シュー・フロリアン
フューク・リヒァート
ナーゲル・フレデリック
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2019509511A publication Critical patent/JP2019509511A/ja
Application granted granted Critical
Publication of JP6735053B2 publication Critical patent/JP6735053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Peptides Or Proteins (AREA)

Abstract

３つ以上の現オーディオ出力チャネルを得るために、現フレームの符号化されたマルチチャネル信号を復号するための装置が提供される。マルチチャネル処理部は、第１のマルチチャネルパラメータに応じて、３つ以上の復号されたチャネルから２つの復号されたチャネルを選択するように適合される。更に、マルチチャネル処理部は、前記選択されたチャネルに基づいて、２つ以上の処理されたチャネルの第１のグループを生成するように適合される。ノイズ充填モジュールは、選択されたチャネルのうちの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、サイド情報に応じて、復号された３つ以上の前オーディオ出力チャネルの適切なサブセットを生成し、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される周波数帯域のスペクトル線を充填するのに適合する。

Description

本発明は、オーディオ信号符号化に関し、特に、マルチチャネル符号化におけるステレオ充填のための装置及び方法に関する。
オーディオ符号化は、オーディオ信号の冗長性と無関係性を利用する圧縮の領域である。
ＭＰＥＧ ＵＳＡＣ（例えば、［３］参照）では、２つのチャネルの結合ステレオ符号化が、帯域制限又は全帯域残差信号を伴う複素予測、ＭＰＳ ２−１−２又は統合ステレオを使用して実行される。ＭＰＥＧサラウンド（例えば、［４］参照）は、残差信号の送信の有無にかかわらず、マルチチャネルオーディオの結合符号化のために１ｔｏ２（ＯＴＴ）及び２ｔｏ３（ＴＴＴ）ボックスを階層的に組み合わせる。
ＭＰＥＧ−Ｈでは、クワッドチャネル要素はＭＰＳ ２−１−２ステレオボックスを階層的に適用し、続いて固定４×４リミックスツリーを構築する複素予測／ＭＳステレオボックスを適用する（例えば、［１］参照）。
ＡＣ４（例えば、［６］参照）は、新しい３−、４−及び５−チャネル要素を導入し、これは送信されたミックス行列及びその後の結合ステレオ符号化情報を介して、送信されたチャネルをリミックスすることを可能にする。更に、従来の刊行物は、強化されたマルチチャネルオーディオ符号化のためにＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）のような直交変換を使用することを提案している（例えば、［７］参照）。
例えば、３Ｄオーディオの文脈では、ラウドスピーカチャネルはいくつかの高さの層に分散され、その結果、水平チャネル及び垂直チャネルペアが生じる。ＵＳＡＣで定義されているように、２つのチャネルのみの結合符号化は、チャネル間の空間的及び知覚的関係を考慮するには不十分である。ＭＰＥＧサラウンドは、追加の前処理／後処理ステップで適用され、残差信号は、例えば左右の垂直残差信号間の依存性を利用する結合ステレオ符号化の可能性なしに個別に送信される。ＡＣ−４専用Ｎチャネル要素は、結合符号化パラメータの効率的な符号化を可能にして導入されるが、新しい没入型再生シナリオ（７．１＋４，２２．２）に対して提案されるより多くのチャネルを有する一般的なスピーカ設定には失敗する。ＭＰＥＧ−Ｈクワッドチャネル要素はまた、４チャネルのみに制限され、任意のチャネルに動的に適用することはできず、予め構成された固定数のチャネルのみに適用することができる。
ＭＰＥＧ−Ｈマルチチャネル符号化ツールは、離散的に符号化されたステレオボックス、即ち結合符号化されたチャネルペアの任意のツリーの作成を可能にする、［２］参照。
オーディオ信号の符号化においてしばしば生じる問題は、量子化、例えばスペクトル量子化によって引き起こされる。量子化によってスペクトルホールが生じる可能性がある。例えば、特定の周波数帯域内の全てのスペクトル値は、量子化の結果としてエンコーダ側でゼロに設定されてもよい。例えば、量子化前のそのようなスペクトル線の正確な値は比較的低い可能性があり、量子化は、例えば特定の周波数帯域内の全てのスペクトル線のスペクトル値がゼロに設定されている状況をもたらす可能性がある。デコーダ側では、復号化時に、これにより望ましくないスペクトルホールが生じる可能性がある。
ＩＥＴＦ［９］のＯｐｕｓ／Ｃｅｌｔコーデック、ＭＰＥＧ−４（ＨＥ−）ＡＡＣ ［１０］、又は特にＭＰＥＧ−Ｄ ｘＨＥ−ＡＡＣ（ＵＳＡＣ）［１１］などの最新の周波数領域音声／オーディオ符号化システムは、信号の時間的定常性に依存して、１つの長い変換である長いブロック、又は８つの連続した短い変換である短いブロックのいずれかを使用してオーディオフレームを符号化する手段を提示する。更に、低ビットレート符号化のために、これらの方式は、同じチャネルの擬似ランダムノイズ又は低周波数係数を使用して、チャネルの周波数係数を再構成するためのツールを提供する。ｘＨＥ−ＡＡＣでは、これらのツールは、それぞれノイズ充填とスペクトル帯域複製と呼ばれる。
しかしながら、非常に調性の高い又は過渡的なステレオ入力の場合、主に、明確に伝送する必要がある両方のチャネルのスペクトル係数が多すぎるため、ノイズ充填及び／又はスペクトル帯域複製のみで、非常に低いビットレートで達成可能な符号化品質を制限する。
ＭＰＥＧ−Ｈステレオ充填は、周波数領域での量子化によるスペクトルホールの充填を改善するために、前フレームのダウンミックスの使用に依存するパラメトリックツールである。ノイズ充填のように、ステレオ充填は、ＭＰＥＧ−ＨコアコーダのＭＤＣＴ領域で直接動作する、［１］、［５］、［８］参照。
しかしながら、ＭＰＥＧ−ＨにおけるＭＰＥＧサラウンド及びステレオ充填の使用は、固定されたチャネルペア要素に制限され、従って、時変チャネル間依存性を利用することはできない。
ＭＰＥＧ−Ｈにおけるマルチチャネル符号化ツール（ＭＣＴ）は、変化するチャネル間依存性への適応を可能にするが、通常の動作構成でシングルチャネル要素を使用するため、ステレオ充填が不可能である。先行技術は、時変で任意の結合符号化チャネルペアの場合に、前フレームのダウンミックスを生成する知覚的に最適な方法を開示していない。スペクトルホールを充填するためにＭＣＴと組み合わせてステレオ充填の代わりにノイズ充填を使用すると、特に調性信号のノイズアーチファクトにつながる場合がある。
本発明の目的は、改善されたオーディオ符号化の概念を提供することである。本発明の目的は、請求項１に記載の復号化装置によって、請求項１５に記載の符号化装置によって、請求項１８に記載の復号化方法によって、請求項１９に記載の符号化方法によって、請求項２０に記載のコンピュータプログラムによって、請求項２１に記載の符号化されたマルチチャネル信号によって解決される。
３つ以上の現オーディオ出力チャネルを得るために、現フレームの符号化されたマルチチャネル信号を復号するための装置が提供される。マルチチャネル処理部は、第１のマルチチャネルパラメータに応じて、３つ以上の復号されたチャネルから２つの復号されたチャネルを選択するように適合される。更に、マルチチャネル処理部は、前記選択されたチャネルに基づいて、２つ以上の処理されたチャネルの第１のグループを生成するように適合される。ノイズ充填モジュールは、選択されたチャネルのうちの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、サイド情報に応じて、復号された３つ以上の前オーディオ出力チャネルの適切なサブセットを生成し、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される周波数帯域のスペクトル線を充填するのに適合する。
実施形態によれば、前フレームの前符号化されたマルチチャネル信号を復号して、３つ以上の前オーディオ出力チャネルを取得し、現フレームの現在の符号化されたマルチチャネル信号を復号して、３つ以上の現オーディオ出力チャネルを取得するための装置が提供される。
装置は、インタフェース、チャネルデコーダ、３つ以上の現オーディオ出力チャネルを生成するためのマルチチャネル処理部、及びノイズ充填モジュールを備える。
インタフェースは、現在の符号化されたマルチチャネル信号を受信し、第１のマルチチャネルパラメータを含むサイド情報を受信するように適合される。
チャネルデコーダは、現フレームの現在の符号化されたマルチチャネル信号を復号し、現フレームの３つ以上の復号されたチャネルのセットを取得するように適合される。
マルチチャネル処理部は、第１のマルチチャネルパラメータに応じて、３つ以上の復号されたチャネルのセットから２つの復号されたチャネルの第１の選択されたペアを選択するように適合される。
更に、マルチチャネル処理部は、２つの復号されたチャネルの前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネルの第１のグループを生成し、３つ以上の復号されたチャネルの更新されたセットを取得するように適合される。
マルチチャネル処理部が、２つの復号されたチャネルの第１の選択されたペアに基づいて、２つ以上の処理されたチャネルの第１のペアを生成する前に、ノイズ充填モジュールは、２つの復号されたチャネルの第１の選択されたペアの２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、３つ以上の前オーディオ出力チャネルの全てではなく、２つ以上を使用してミキシングチャネルを生成し、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を充填するのに適合し、ノイズ充填モジュールは、サイド情報に応じて３つ以上の前オーディオ出力チャネルからミキシングチャネルを生成するために使用される２つ以上の前オーディオ出力チャネルを選択するのに適合する。
ノイズをどのように生成して充填するかを指定するノイズ充填モジュールによって使用されてもよい実施形態の特定の概念は、ステレオ充填と呼ばれる。
更に、少なくとも３つのチャネルを有するマルチチャネル信号を符号化する装置が提供される。
この装置は、第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択するために、かつマルチチャネル処理動作を用いて選択されたペアを処理して選択されたペア用の初期マルチチャネルパラメータを導出し、かつ第１の処理されたチャネルを導出するために、第１の反復ステップにおいて、少なくとも３つのチャネルの各ペアの間のチャネル間相関値を計算するのに適合する反復処理部を含む。
反復処理部は、処理されたチャネルの少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、更なるマルチチャネルパラメータ及び第２の処理されたチャネルを導出するように適合される。
更に、装置は、符号化されたチャネルを得るために、反復処理部によって実行される反復処理から生じるチャネルを符号化するように適合されたチャネルエンコーダを含む。
更に、装置は、符号化されたチャネル、初期マルチチャネルパラメータ及び更なるマルチチャネルパラメータを有し、かつ復号化装置によって以前に復号されていた以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示す情報を有する符号化されたマルチチャネル信号を生成するように適合される出力インタフェースを含む。
更に、前フレームの前の符号化されたマルチチャネル信号を復号して、３つ以上の前オーディオ出力チャネルを取得し、現フレームの現在の符号化されたマルチチャネル信号を復号して、３つ以上の現オーディオ出力チャネルを取得するための方法が提供される。この方法は、以下を含む。
−現在の符号化されたマルチチャネル信号を受信し、第１のマルチチャネルパラメータを含むサイド情報を受信すること。
−現フレームの現在の符号化されたマルチチャネル信号を復号し、現フレームの３つ以上の復号されたチャネルのセットを取得すること。
−第１のマルチチャネルパラメータに応じて、３つ以上の復号されたチャネルのセットから２つの復号されたチャネルの第１の選択されたペアを選択すること。
−２つの復号されたチャネルの前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネルの第１のグループを生成し、３つ以上の復号されたチャネルの更新されたセットを取得すること。
２つ以上の処理されたチャネルの第１のペアが、２つの復号されたチャネルの第１の選択されたペアに基づいて生成される前に、以下のステップが実行される。
−２つの復号されたチャネルの第１の選択されたペアの２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、３つ以上の前オーディオ出力チャネルの全てではなく、２つ以上を使用してミキシングチャネルを生成し、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を充填し、サイド情報に応じて３つ以上の前オーディオ出力チャネルからミキシングチャネルを生成するために使用される２つ以上の前オーディオ出力チャネルを選択することが実行される。
更に、少なくとも３つのチャネルを有するマルチチャネル信号を符号化する方法が提供される。この方法は、以下を含む。
−第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択するために、第１の反復ステップにおいて、少なくとも３つのチャネルの各ペアの間のチャネル間相関値を計算し、かつマルチチャネル処理動作を用いて選択されたペアを処理して選択されたペア用の初期マルチチャネルパラメータを導出し、かつ第１の処理されたチャネルを導出すること。
−処理されたチャネルの少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、更なるマルチチャネルパラメータ及び第２の処理されたチャネルを導出すること。
−符号化されたチャネルを得るために、反復処理部によって実行される反復処理から生じるチャネルを符号化すること。
−符号化されたチャネル、初期マルチチャネルパラメータ及び更なるマルチチャネルパラメータを有し、かつ復号化装置によって以前に復号されていた以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示す情報を有する符号化されたマルチチャネル信号を生成すること。
更に、コンピュータプログラムが提供され、各コンピュータプログラムは、コンピュータ又は信号処理部上で実行されるときに上記の方法のうちの１つを実施するように構成され、上記方法の各々は、コンピュータプログラムの１つによって実施される。
更に、符号化されたマルチチャネル信号が提供される。符号化されたマルチチャネル信号は、符号化されたチャネルと、マルチチャネルパラメータと、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたスペクトルデータを用いて、復号化装置が充填すべきか否かを示す情報とを含む。
以下では、本発明の実施形態を図面を参照してより詳細に説明する。
一実施形態による復号化装置を示す。 別の実施形態による復号化装置を示す。 本願の一実施形態によるパラメトリック周波数領域デコーダのブロック図を示す。 図２のデコーダの説明の理解を容易にするために、マルチチャネルオーディオ信号のチャネルのスペクトログラムを形成するスペクトルのシーケンスを示す概略図を示す。 図２の説明の理解を容易にするために、図３に示されたスペクトログラムのうちの現スペクトルを示す概略図を示す。 前フレームのダウンミックスがチャネル間ノイズ充填の基礎として使用される他の実施形態によるパラメトリック周波数領域オーディオデコーダのブロック図を示す。 前フレームのダウンミックスがチャネル間ノイズ充填の基礎として使用される他の実施形態によるパラメトリック周波数領域オーディオデコーダのブロック図を示す。 一実施形態によるパラメトリック周波数領域オーディオエンコーダのブロック図を示す。 一実施形態による少なくとも３つのチャネルを有するマルチチャネル信号を符号化する装置の概略ブロック図である。 一実施形態による少なくとも３つのチャネルを有するマルチチャネル信号を符号化する装置の概略ブロック図である。 一実施形態によるステレオボックスの概略ブロック図を示す。 一実施形態による、符号化されたチャネル及び少なくとも２つのマルチチャネルパラメータを有する符号化されたマルチチャネル信号を復号するための装置の概略ブロック図である。 一実施形態による、少なくとも３つのチャネルを有するマルチチャネル信号を符号化する方法のフローチャートを示す。 一実施形態による、符号化されたチャネルと少なくとも２つのマルチチャネルパラメータとを有する符号化されたマルチチャネル信号を復号する方法のフローチャートを示す。 一実施形態によるシステムを示す。 シナリオ（ａ）においてシナリオの第１のフレームのための合成チャネルの生成を示し、シナリオ（ｂ）において一実施形態による第１のフレームに続く第２のフレームのための合成チャネルの生成を示す。 実施形態によるマルチチャネルパラメータの索引付けスキームを示す。
等しいか同等である要素又は等しいか同等である機能を有する要素は、以下の説明において、等しいか同等である参照番号で示される。
以下の説明では、本発明の実施形態のより完全な説明を提供するために複数の詳細が示される。しかしながら、当業者には、本発明の実施形態がこれらの特定の詳細なしに実施され得ることは明らかであろう。他の例では、本発明の実施形態を不明瞭にすることを避けるために、周知の構造及び装置は、詳細ではなくブロック図の形態で示す。また、以下に説明する異なる実施形態の特徴は、特記しない限り、互いに組み合わせることができる。
図１ａの復号化のための装置２０１を説明する前に、まず、マルチチャネルオーディオ符号化のためのノイズ充填について説明する。実施形態では、図１ａのノイズファイリングモジュール２２０は、例えば、マルチチャネルオーディオ符号化のためのノイズ充填に関して記載された以下の技術の１つ以上を実行するように構成することができる。
図２は、本願の一実施形態による周波数領域オーディオデコーダを示す。デコーダは一般に符号１０を用いて示され、スケールファクタ帯域識別部１２、逆量子化部１４、ノイズ充填部１６及び逆変換部１８ならびにスペクトル線抽出部２０及びスケールファクタ抽出部２２を含む。デコーダ１０に含まれていてもよい任意選択の更なる要素は、複素ステレオ予測部２４、ＭＳ（中間側）デコーダ２６及び図２に２つの例２８ａ及び２８ｂが示されている逆ＴＮＳ（時間ノイズシェーピング）フィルタツールを含む。更に、ダウンミックス提供部は、参照符号３０を使用して以下により詳細に示され、概説される。
図２の周波数領域オーディオデコーダ１０は、あるゼロ量子化されたスケールファクタ帯域が、そのスケールファクタ帯域に充填されるノイズのレベルを制御する手段として、そのスケールファクタ帯域のスケールファクタを使用して、ノイズで満たされることによるノイズ充填をサポートするパラメトリックデコーダである。これを越えて、図２のデコーダ１０は、インバウンドデータストリーム３０からマルチチャネルオーディオ信号を再構成するように構成されたマルチチャネルオーディオデコーダを表す。しかしながら、図２は、データストリーム３０に符号化されたマルチチャネルオーディオ信号の１つの再構成に関与するデコーダ１０の要素に集中し、この（出力）チャネルを出力３２で出力する。参照符号３４は、デコーダ１０が更なる要素を含むことができることを示すか、又はマルチチャネルオーディオ信号の他のチャネルを再構成する役割を担ういくつかのパイプライン動作制御を含むことができ、以下で説明する内容は、デコーダ１０の出力３２での対象のチャネルの再構成が、どのように他のチャネルの復号化と相互作用するかを示す。
データストリーム３０によって表されるマルチチャネルオーディオ信号は、２つ以上のチャネルを含むことができる。以下において、本願の実施形態の説明は、マルチチャネルオーディオ信号が単に２つのチャネルを含むステレオの場合に集中しているが、原則として、以下に述べる実施形態は、マルチチャネルオーディオ信号及び３つ以上のチャネルを含むそれらの符号化に関する代替実施形態に容易に移すことができる。
以下の図２の説明から更に明らかになるであろうが、図２のデコーダ１０は、変換デコーダである。即ち、デコーダ１０の基礎となる符号化技術によれば、チャネルは、チャネルのラップド変換を使用するなどの変換領域で符号化される。更に、オーディオ信号の作成者に依存して、オーディオ信号のチャネルがおおむね同じオーディオコンテンツを表す時相が存在し、異なる振幅及び／又は位相など互いに小さな又は決定的な変化によってずれており、チャネル間の差が、マルチチャネルオーディオ信号の出力チャネルに関連する仮想スピーカ位置に対して、オーディオシーンのオーディオソースの仮想的な位置付けを可能にするオーディオシーンを表す。しかし、いくつかの他の時間的相では、オーディオ信号の異なるチャネルは、お互いに多かれ少なかれ無相関である場合があり、例えば完全に異なるオーディオソースを表す場合もある。
オーディオ信号のチャネル間の時間変化する可能性のある関係を説明するために、図２のデコーダ１０の基礎となるオーディオコーデックは、チャネル間の冗長性を利用するために異なる測定値を時変的に使用することを可能にする。例えば、ＭＳ符号化は、ステレオオーディオ信号の左チャネル及び右チャネルをそのまま表すことと、左チャネル及び右チャネルのダウンミックス及びその半減した差をそれぞれ表すペアのＭ（ミッド）チャネル及びＳ（サイド）チャネルとして表すこととの間で切り換えることを可能にする。即ち、データストリーム３０によって送信された２つのチャネルのスペクトログラムは、スペクトル時間の意味で連続的に存在するが、これらの（送信された）チャネルの意味は、時間的に及び出力チャネルに対してそれぞれ変化し得る。
別のチャネル間冗長利用ツールである複素ステレオ予測は、スペクトル領域において、別のチャネルのスペクトル的に同一位置にある線を用いて、あるチャネルの周波数領域係数又はスペクトル線を予測する。これに関する詳細については後述する。
図２の以下の説明及び図示されているその構成要素の理解を容易にするために、図３は、データストリーム３０によって表されるステレオオーディオ信号の例示的なケースについて、図２のデコーダ１０によって処理されるように、２つのチャネルのスペクトル線に対するサンプル値をデータストリーム３０に符号化することができる可能性のある方法を示す。特に、図３の上半分は、ステレオオーディオ信号の第１のチャネルのスペクトログラム４０を示しているが、図３の下半分は、ステレオオーディオ信号の他のチャネルのスペクトログラム４２を示している。ここでもまた、スペクトログラム４０及び４２の「意味」は、例えば、ＭＳ符号化領域と非ＭＳ符号化領域との間の時間変化する切り換えのために、時間とともに変化し得ることに注目することは価値がある。第１の例では、スペクトログラム４０及び４２は、それぞれＭチャネル及びＳチャネルに関連し、後からは、スペクトログラム４０及び４２は、左右のチャネルに関連する。ＭＳ符号化領域と未符号化ＭＳ符号化領域との間の切り換えは、データストリーム３０において信号伝達されてもよい。
図３は、スペクトログラム４０及び４２が時間変化するスペクトル時間分解能でデータストリーム３０に符号化され得ることを示す。例えば、両方の（送信された）チャネルは、時間的に整合した方法で、等しい長さで、互いに重なり合わずに隣接し得る中括弧４４を用いて示されるフレームのシーケンスに細分されてもよい。上述したように、スペクトログラム４０及び４２がデータストリーム３０に表されるスペクトル分解能は、時間とともに変化し得る。予め、スペクトログラム４０及び４２について、スペクトル時間分解能が時間で等しく変化すると仮定するが、以下の説明から明らかになるように、この単純化の延長も可能である。スペクトル時間分解能の変化は、例えば、データストリーム３０においてフレーム４４の単位で信号伝達される。即ち、スペクトル時間分解能はフレーム４４の単位で変化する。スペクトログラム４０及び４２のスペクトル時間分解能の変化は、各フレーム４４内のスペクトログラム４０及び４２を記述するために使用される変換長及び変換回数を切り換えることによって達成される。図３の例では、フレーム４４ａ及び４４ｂは、オーディオ信号のチャネルをサンプリングするために１つの長い変換が使用されたフレームを例示し、それにより、チャネルごとにこのようなフレームのそれぞれについてスペクトル線ごとに１つのスペクトル線サンプル値を有する最も高いスペクトル分解能をもたらす。図３において、スペクトル線のサンプル値は、ボックス内の小さな十字を使用して示され、ボックスは、行と列に配置され、スペクトル時間グリッドを表してもよく、各行は１つのスペクトル線に対応し、各列は、スペクトログラム４０及び４２の形成に関与する最短の変換に対応するフレーム４４のサブインターバルに対応する。特に、図３は、例えば、フレーム４４ｄについて、フレームが代替的に短い長さの連続的な変換を受けることがあり、その結果、フレーム４４ｄのようなフレームについて、いくつかの時間的に後続するスペクトル分解能の低下したスペクトルをもたらすことを示す。フレーム４４ｄに８つの短い変換が例示的に使用され、互いに離間したスペクトル線で、そのフレーム４２ｄ内のスペクトログラム４０及び４２のスペクトル時間サンプリングをもたらし、その結果、わずかに８本ごとのスペクトル線がポピュレートされるが、フレーム４４ｄを変換するために、８つの変換窓の各々のサンプル値又はより短い長さの変換が使用される。例示目的のために、フレームについての他の変換回数、例えば、変換長の２つの変換の使用なども実現可能であってもよいことが図３に示され、これは例えば、フレーム４４ａ及び４４ｂについての長い変換の半分の変換長であり、それにより２本のスペクトル線ごとに２つのスペクトル線サンプル値が取得されるスペクトル時間グリッド又はスペクトログラム４０および４２のサンプリングをもたらし、一方は先行する変換に関連し、他方は後の変換に関連する。
フレームが細分化された変換の変換窓は、図３において、各スペクトログラムの下に、重なり合う窓のような線を用いて示される。時間的オーバーラップは、例えば、ＴＤＡＣ（Ｔｉｍｅ−Ｄｏｍａｉｎ Ａｌｉａｓｉｎｇ Ｃａｎｃｅｌｌａｔｉｏｎ）の目的に役立つ。
更に以下に説明する実施形態では別の方法で実施することができるが、図３は、個々のフレーム４４についての異なるスペクトル時間分解能間の切り換えが、各フレーム４４に対して、図３内の小さな十字によって示される同数のスペクトル線値が、スペクトログラム４０とスペクトログラム４２の結果をもたらすような方法で実行される場合を示し、差は、線がそれぞれのフレーム４４に対応するそれぞれのスペクトル時間タイルをスペクトル時間的にサンプリングする方法に単に存在し、それぞれのフレーム４４の時間に渡って時間的にまたがり、ゼロ周波数から最大周波数ｆｍａｘまでスペクトル的にまたがる。
図３の矢印を使用して、図３は、フレーム４４ｄに関して、同じスペクトル線であるが１つのチャネルの１つのフレーム内の短い変換窓に属するスペクトル線サンプル値を、同じフレームの次の占有されたスペクトル線まで、そのフレーム内の非占有（空の）スペクトル線上に、適切に分配することによって、全てのフレーム４４に対して同様のスペクトルが取得されてもよいことを示す。このようにして得られたスペクトルは、以下において「インターリーブスペクトル」と呼ばれる。例えば、１つのチャネルの１つのフレームのｎ個の変換のインターリーブにおいて、スペクトル的に後続するスペクトル線のｎ個の短い変換のｎ個のスペクトル的に同一位置にあるスペクトル線値のセットが続く前に、ｎ個の短い変換のスペクトル的に同一位置にあるスペクトル線の値は互いに続く。インターリーブの中間形式も実行可能であってもよく、１つのフレームの全てのスペクトル線係数をインターリーブする代わりに、フレーム４４ｄの短い変換の適切なサブセットのスペクトル線係数だけをインターリーブすることも可能であろう。いずれにしても、スペクトログラム４０及び４２に対応する２つのチャネルのフレームのスペクトルが議論されるときはいつでも、これらのスペクトルは、インターリーブスペクトル又は非インターリーブスペクトルを指すことができる。
デコーダ１０に送られたデータストリーム３０を介してスペクトログラム４０及び４２を表すスペクトル線係数を効率的に符号化するために、スペクトル線係数は量子化される。量子化ノイズをスペクトル時間的に制御するために、量子化ステップサイズは、特定のスペクトル時間グリッドに設定されたスケールファクタを介して制御される。特に、各スペクトログラムのスペクトルのシーケンスのそれぞれにおいて、スペクトル線は、スペクトル的に連続した非重複スケールファクタグループにグループ化される。図４は、その上半分におけるスペクトログラム４０のスペクトル４６と、スペクトログラム４２からの同一時間スペクトル４８とを示す。示されるように、スペクトル４６及び４８は、スペクトル軸ｆに沿ってスケールファクタ帯域に細分され、スペクトル線を非重複グループにグループ化する。スケールファクタ帯域は、中括弧５０を用いて図４に示される。簡略化のために、スケールファクタ帯域間の境界はスペクトル４６と４８との間で一致すると仮定するが、必ずしもそうである必要はない。
即ち、データストリーム３０の符号化によって、スペクトログラム４０及び４２はそれぞれスペクトルの時間的シーケンスに細分され、これらのスペクトルの各々は、スケールファクタ帯域にスペクトル的に細分され、各スケールファクタ帯域に対して、データストリーム３０はそれぞれのスケールファクタ帯域に対応するスケールファクタに関する情報を符号化し、又は伝達する。それぞれのスケールファクタ帯域５０に入るスペクトル線係数は、それぞれのスケールファクタを使用して量子化されるか、又はデコーダ１０に関する限り、対応するスケールファクタ帯域のスケールファクタを使用して逆量子化することができる。
再び図２及びその説明に戻る前に、以下では、３４を除いて図２のデコーダの特定の要素が含まれている復号の１つである特別に処理されたチャネルがスペクトログラム４０の送信されたチャネルであると仮定されるものとし、これは上述したように、データストリーム３０に符号化されたマルチチャネルオーディオ信号がステレオオーディオ信号であると仮定して、左右のチャネル、Ｍチャネル又はＳチャネルのうちの１つを表すことができる。
スペクトル線抽出部２０は、スペクトル線データ、即ちデータストリーム３０からフレーム４４のスペクトル線係数を抽出するように構成されるが、スケールファクタ抽出部２２は、各フレーム４４に対応するスケールファクタを抽出するように構成される。この目的のために、抽出部２０及び２２は、エントロピー復号化を使用することができる。一実施形態によれば、スケールファクタ抽出部２２は、コンテキスト適応型エントロピー復号化を使用して、データストリーム３０から、例えば図４のスペクトル４６のスケールファクタ、即ちスケールファクタ帯域５０のスケールファクタを逐次抽出するように構成される。逐次復号化の順序は、例えば低周波数から高周波数に至るスケールファクタ帯域の中で定義されたスペクトル順序に従うことができる。スケールファクタ抽出部２２は、コンテキスト適応型エントロピー復号化を使用してもよく、直前のスケールファクタ帯域のスケールファクタに依存するなど、現在の抽出されたスケールファクタのスペクトル近傍の既に抽出されたスケールファクタに依存して各スケールファクタ用のコンテキストを決定してもよい。あるいは、スケールファクタ抽出部２２は、例えば直前スケールファクタなどの以前に復号されたスケールファクタのいずれかに基づいて現在の復号されたスケールファクタを予測しながら、差分復号化を使用するなどして、データストリーム３０からスケールファクタを予測復号することができる。注目すべきは、このスケールファクタ抽出のプロセスは、ゼロ量子化されたスペクトル線によって排他的にポピュレートされた、又は少なくとも１つがゼロでない値に量子化されるスペクトル線によってポピュレートされたスケールファクタ帯域に属するスケールファクタ関して不可知論的である。ゼロ量子化されたスペクトル線のみによってポピュレートされたスケールファクタ帯域に属するスケールファクタは、１つがゼロではないスペクトル線によってポピュレートされたスケールファクタ帯域に属する可能性がある後続の復号されたスケールファクタ用の予測の基礎として役立つか、また１つがゼロではないスペクトル線によってポピュレートされたスケールファクタ帯域に属する可能性がある以前に復号されたスケールファクタに基づいて予測されてもよい。
完全を期すためにのみ、スペクトル線抽出部２０は、例えば、エントロピー符号化及び／又は予測符号化を使用して、スケールファクタ帯域５０が同様にポピュレートされるスペクトル線係数を抽出することに留意されたい。エントロピー符号化は、現在の復号されたスペクトル線係数のスペクトル時間近傍のスペクトル線係数に基づくコンテキスト適応性を使用してもよく、同様に、予測は、そのスペクトル時間近傍における以前に復号されたスペクトル線係数に基づいて、現在の復号されたスペクトル線係数を予測するスペクトル予測、時間予測又はスペクトル時間予測であってもよい。符号化効率を高めるために、スペクトル線抽出部２０は、周波数軸に沿ってスペクトル線を収集又はグループ化するタプル内のスペクトル線又は線係数の復号を実行するように構成されてもよい。
従って、スペクトル線抽出部２０の出力では、例えば、対応するフレームのスペクトル線係数の全てを収集する、又は、代わりに、対応するフレームの特定の短い変換の全てのスペクトル線係数を収集するスペクトル４６などの、例えばスペクトル単位などでスペクトル線係数が提供される。スケールファクタ抽出部２２の出力において、それぞれのスペクトルの対応するスケールファクタが出力される。
スケールファクタ帯域識別部１２及び逆量子化部１４は、スペクトル線抽出部２０の出力に結合されたスペクトル線入力を有し、逆量子化部１４及びノイズ充填部１６は、スケールファクタ抽出部２２の出力に結合されたスケールファクタ入力を有する。スケールファクタ帯域識別部１２は、現スペクトル４６内のいわゆるゼロ量子化されたスケールファクタ帯域、つまり図４のスケールファクタ帯域５０ｃなどの全てのスペクトル線がゼロに量子化されたスケールファクタ帯域、及び少なくとも１つのスペクトル線が非ゼロに量子化されるスペクトルの残りのスケールファクタ帯域を識別するように構成される。特に、図４では、図４の斜線領域を用いてスペクトル線係数が示される。スペクトル４６において、スケールファクタ帯域５０ｂを除く全てのスケールファクタ帯域は、少なくとも１つのスペクトル線を有し、スペクトル線係数は非ゼロ値に量子化されることを見ることができる。５０ｄのようなゼロ量子化されたスケールファクタ帯域が、以下で更に説明するチャネル間ノイズ充填の対象を形成することは、後で明らかになるであろう。説明を進める前に、スケールファクタ帯域識別部１２は、特定の開始周波数５２より上のスケールファクタ帯域などのスケールファクタ帯域５０の適切なサブセットにその識別を制限してもよいことに留意されたい。図４では、これにより、識別手順がスケールファクタ帯域５０ｄ、５０ｅ及び５０ｆに制限される場合がある。
スケールファクタ帯域識別部１２は、ゼロ量子化されたスケールファクタ帯域であるこれらのスケールファクタ帯域上のノイズ充填部１６に通知する。逆量子化部１４は、インバウンドスペクトル４６に関連するスケールファクタを使用して、関連するスケールファクタ、即ち、スケールファクタ帯域５０に関連するスケールファクタに従って、スペクトル４６のスペクトル線のスペクトル線係数を逆量子化するか、又はスケーリングする。特に、逆量子化部１４は、それぞれのスケールファクタ帯域に関連するスケールファクタを用いて、それぞれのスケールファクタ帯域に入るスペクトル線係数を逆量子化し、スケーリングする。図４は、スペクトル線の逆量子化の結果を示すものとして解釈されるものとする。
ノイズ充填部１６は、後続のノイズ充填の対象を形成するゼロ量子化されたスケールファクタ帯域と、逆量子化スペクトルと、ゼロ量子化されたスケールファクタ帯域として識別される少なくともこれらのスケールファクタ帯域のスケールファクタと、に関する情報、ならびにチャネル間ノイズ充填が現フレームに対して実行されるべきか否かを明らかにする現フレームについてのデータストリーム３０から得られる信号伝達とに関する情報を取得する。
以下の実施例で説明するチャネル間ノイズ充填プロセスは、実際には、２種類のノイズ充填を含み、即ち、任意のゼロ量子化されたスケールファクタ帯域に対する潜在的メンバーシップにかかわらずゼロに量子化された全てのスペクトル線に関するノイズフロア５４の挿入と、実際のチャネル間ノイズ充填手順とを含む。この組み合わせについては後述するが、別の実施形態によれば、ノイズフロア挿入を省略することができることを強調する。更に、現フレームに関する、及びデータストリーム３０から得られるノイズ充填オン及びオフに関する信号化は、チャネル間ノイズ充填のみに関連するか、又は両方のノイズ充填タイプの組み合わせを一緒に制御することができる。
ノイズフロアの挿入に関する限り、ノイズ充填部１６は以下のように動作することができる。特に、ノイズ充填部１６は、スペクトル線係数がゼロであるスペクトル線を充填するために、擬似乱数発生部又は他の乱数発生源などの人工的なノイズ発生を使用することができる。このようにゼロ量子化されたスペクトル線に挿入されたノイズフロア５４のレベルは、現フレーム又は現スペクトル４６に対するデータストリーム３０内の明示的な信号伝達に従って設定することができる。ノイズフロア５４の「レベル」は、例えば二乗平均平方根（ＲＭＳ）又はエネルギー測定を使用して決定することができる。
従って、ノイズフロアの挿入は、図４のスケールファクタ帯域５０ｄのようなゼロ量子化されたものとして識別されたスケールファクタ帯域の一種の予備充填を表す。また、ゼロ量子化されたもの以外の他のスケールファクタ帯域にも影響するが、後者は、更に以下のチャネル間ノイズ充填の対象となる。後述するように、チャネル間ノイズ充填プロセスは、それぞれのゼロ量子化されたスケールファクタ帯域のスケールファクタによって制御されるレベルまでゼロ量子化されたスケールファクタ帯域を充填することである。後者は、それぞれのゼロ量子化されたスケールファクタ帯域の全てのスペクトル線がゼロに量子化されているため、この目的のために直接使用することができる。それにもかかわらず、データストリーム３０は、各フレーム又は各スペクトル４６に対して、パラメータの追加の信号化を含んでもよく、これは対応するフレーム又はスペクトル４６の全てのゼロ量子化されたスケールファクタ帯域のスケールファクタに共通に適用され、ノイズ充填部１６によるゼロ量子化されたスケールファクタ帯域のスケールファクタ上に適用される場合、ゼロ量子化されたスケールファクタ帯域に個別のそれぞれの満たされたレベルをもたらす。即ち、ノイズ充填部１６は、同じ修正機能を使用して、スペクトル４６の各ゼロ量子化されたスケールファクタ帯域について、個々のスケールファクタ帯域のスケールファクタを修正してもよく、その際、データストリーム３０に含まれた、現フレームのそのスペクトル４６のための上述のパラメータを使用してもよく、それにより、それぞれのゼロ量子化されたスケールファクタ帯域についての充填目標レベルが取得され、そのレベルは、エネルギー又はＲＭＳに関し、例えば、チャネル間ノイズ充填プロセスが個々のゼロ量子化されたスケールファクタ帯域を（ノイズフロア５４に加えて）（任意選択的な）追加のノイズを用いてどの程度まで充填すべきか、というレベルを示す尺度となる。
特に、チャネル間ノイズ充填５６を実行するために、ノイズ充填部１６は、既に大部分又は完全に復号された状態にある、他のチャネルのスペクトル４８のスペクトル的に同一位置に配置された部分を取得し、得られたスペクトル４８の部分を、この部分がスペクトル的に同一位置にあるゼロ量子化されたスケールファクタ帯域に複写し、それぞれのスケールファクタ帯域のスペクトル線にわたる積分によって得られたゼロ量子化されたスケールファクタ帯域内の結果としての全体的なノイズレベルが、ゼロ量子化されたスケールファクタ帯域のスケールファクタから得られた上述の充填目標レベルに等しくなるようにスケーリングされる。この手段によって、それぞれのゼロ量子化されたスケールファクタ帯域に充填されたノイズの調性は、ノイズフロア５４の基礎を形成するような人工的に生成されたノイズと比較して改善され、また、同じスペクトル４６内の非常に低い周波数ラインからの未制御のスペクトルコピー／複製よりも良好である。
更に正確には、ノイズ充填部１６は、５０ｄのような現帯域のために、他のチャネルのスペクトル４８内のスペクトル的に同位置の位置にある部分を配置し、ゼロ量子化されたスケールファクタ帯域５０ｄのスケールファクタに依存して、そのスペクトル線をスケーリングし、その手法は、任意選択的に、現フレーム又はスペクトル４６について、データストリーム３０に含まれる何らかの付加的なオフセット又はノイズファクタパラメータを含んでもよく、その結果、ゼロ量子化されたスケールファクタ帯域５０ｄのスケールファクタによって規定されるような所望のレベルまで、それぞれのゼロ量子化されたスケールファクタ帯域５０ｄが充填される。本実施形態では、これは、充填がノイズフロア５４に対して付加的な手法で行われることを意味する。
簡略化された実施形態によれば、結果として生じるノイズ充填されたスペクトル４６は、逆変換部１８の入力に直接入力されてもよく、それにより、スペクトル４６のスペクトル線係数が属する各変換窓について、それぞれのチャネルオーディオ時間信号の時間領域部分を取得し、その後、これらの時間領域部分を（図２には示されない）オーバーラップ加算処理により結合してもよい。即ち、スペクトル４６が非インターリーブスペクトルであり、スペクトル線係数がただ１つの変換に属する場合、逆変換部１８は結果として１つの時間領域部分をもたらすようにその変換を行い、時間領域部分の前端及び後端は、例えば時間領域エイリアシング消去が実現できるように、先行及び後続の変換を逆変換することによって得られた先行する時間領域部分及び後続する時間領域部分とのオーバーラップ加算処理を受けてもよい。しかしながら、スペクトル４６が２つ以上の連続する変換のスペクトル線係数をインターリーブしていた場合、逆変換部１８は逆変換ごとに１つの時間領域部分を得るように、それらに別々の逆変換を施し、それらの間で定義された時間的順序に従って、これらの時間領域部分は、それらの間で、他のスペクトル又はフレームの先行する時間領域部分及び後続する時間領域部分に対して、オーバーラップ加算処理を受けてもよい。
しかし、完全性のために、ノイズ充填されたスペクトルに対して更なる処理を行うことができることに留意しなければならない。図２に示すように、逆ＴＮＳフィルタは、ノイズ充填されたスペクトルに対して逆ＴＮＳフィルタリングを実行することができる。即ち、現フレーム又はスペクトル４６についてＴＮＳフィルタ係数を介して制御され、これまでに得られたスペクトルは、スペクトル方向に沿って線形フィルタリングを受ける。
逆ＴＮＳフィルタリングの有無にかかわらず、複素ステレオ予測部２４は、スペクトルをチャネル間予測の予測残差として扱うことができる。より具体的には、チャネル間予測部２４は、スペクトル４６又は少なくともそのスケールファクタ帯域５０のサブセットを予測するために、他のチャネルのスペクトル的に同一位置にある部分を使用することができる。複素予測プロセスは、スケールファクタ帯域５０ｂに関連して破線のボックス５８を用いて図４に示される。即ち、データストリーム３０は、例えば、スケールファクタ帯域５０のうちのどれをチャネル間予測し、どれをそのように予測してはならないかを制御するチャネル間予測パラメータを含むことができる。更に、データストリーム３０内のチャネル間予測パラメータは、チャネル間予測結果を得るために、チャネル間予測部２４によって適用される複素チャネル間予測ファクタを更に含むことができる。これらのファクタは、データストリーム３０内でチャネル間予測が活性化されるか又は信号伝達される各スケールファクタ帯域について、又は代替的に１つ又は複数のスケールファクタ帯域の各グループについて個別に、データストリーム３０内に含まれてもよい。
チャネル間予測のソースは、図４に示すように、他のチャネルのスペクトル４８であってもよい。より正確には、チャネル間予測のソースは、その虚数部の推定によって拡張された、チャネル間予測されるスケールファクタ帯域５０ｂと同一位置にあるスペクトル４８のスペクトル的に同一位置にある部分であってもよい。虚数部の推定は、スペクトル４８自体のスペクトル的に同一位置にある部分６０に基づいて実行されてもよく、及び／又は、前フレーム、即ちスペクトル４６が属する現在の復号されたフレームの直前フレームの既に復号されたチャネルのダウンミックスを使用してもよい。要するに、チャネル間予測部２４は、図４のスケールファクタ帯域５０ｂのようなチャネル間予測されるスケールファクタ帯域に、今説明したようにして得られた予測信号を加える。
前述の説明で既に述べたように、スペクトル４６が属するチャネルは、ＭＳ符号化チャネルであってもよく、又はステレオオーディオ信号の左チャネル又は右チャネルなどのスピーカ関連チャネルであってもよい。従って、任意選択的に、ＭＳデコーダ２６は、チャネル間予測されたスペクトル４６に対して任意選択的にＭＳ復号化を施し、そのＭＳ復号化において、スペクトル線又はスペクトル４６ごとに、スペクトル４８に対応する他のチャネルのスペクトル的に対応するスペクトル線との加算又は減算を実行してもよい。例えば、図２には示されていないが、図４に示すようなスペクトル４８は、スペクトル４６が属するチャネルに関して先に説明したものと同様の方法で、デコーダ１０の部分３４によって得られており、ＭＳ復号化モジュール２６は、ＭＳ復号化を実行する際に、スペクトル４６及び４８にスペクトル線ごとの加算又はスペクトル線ごとの減算を行い、両方のスペクトル４６及び４８が処理ライン内の同じ段階にあり、例えば、両方がチャネル間予測によって得られたばかりであるか、又は両方がノイズ充填又は逆ＴＮＳフィルタリングによって得られたばかりであることを意味する。
任意選択的に、ＭＳ復号化は、スペクトル４６全体に関して包括的に実行されてもよく、例えばスケールファクタ帯域５０の単位で、データストリーム３０によって個々に活性化できてもよいことに留意されたい。換言すれば、ＭＳ復号化は、例えば、フレームの単位又は、例えばスペクトログラム４０及び／又は４２のスペクトル４６及び／又は４８のスケールファクタ帯域について個々になど、何らかのより細かいスペクトル時間分解能の単位で、データストリーム３０においてそれぞれの信号伝達を使用して、オン又はオフを切り換えてもよく、ここで両方のチャネルのスケールファクタ帯域の同一の境界は定義されていると仮定する。
図２に示すように、逆ＴＮＳフィルタ２８による逆ＴＮＳフィルタリングは、チャネル間予測５８又はＭＳデコーダ２６によるＭＳ復号化などの任意のチャネル間処理の後に実行することもできる。チャネル間処理の前又は下流の性能は、固定されていてもよいし、データストリーム３０内の各フレームについて、又は何らかの別の粒度で、それぞれの信号伝達を介して制御されてもよい。逆ＴＮＳフィルタリングが実行されるときは常に、現スペクトル４６のデータストリームに存在するそれぞれのＴＮＳフィルタ係数は、ＴＮＳフィルタ、即ちスペクトル方向に沿って作動する線形予測フィルタを、それぞれの逆ＴＮＳフィルタモジュール２８ａ及び／又は２８ｂへのインバウンドのスペクトルを線形にフィルタリングするように制御する。
従って、逆変換部１８の入力に到着するスペクトル４６は、今説明したように更なる処理を受けている可能性がある。ここでも、上記の説明は、これらの任意選択のツールの全てが同時に又は同時でなく存在すべきであると理解されるよう意図していない。これらのツールは、デコーダ１０に部分的又は集合的に存在してもよい。
いずれにしても、逆変換部の入力における結果としてのスペクトルは、チャネルの出力信号の最終的な再構成を表し、複素予測５８に関して説明したように、復号される次のフレームの潜在的な虚数部推定の基礎として機能する、現フレームに対する前述のダウンミックスの基礎を形成する。それは、図２の３４以外の要素が関連するチャネルではない別のチャネルを予測するためのチャネル間の最終的な再構成として更に機能することができる。
それぞれのダウンミックスは、この最終スペクトル４６をスペクトル４８のそれぞれの最終バージョンと組み合わせることによって、ダウンミックス提供部３１によって形成される。後者のエンティティ、即ちスペクトル４８のそれぞれの最終バージョンは、予測部２４における複素チャネル間予測の基礎を形成した。
チャネル間ノイズ充填の基礎が前フレームのスペクトル的に同一位置にあるスペクトル線のダウンミックスによって表される限り、図５は図２に対する代替案を示し、複素チャネル間予測を使用する任意選択の場合において、この複素チャネル間予測のソースは、チャネル間ノイズ充填のソースと複素チャネル間予測における虚数部推定のためのソースとして２回使用される。図５は、スペクトル４６が属する第１のチャネルの復号化に関連する部分７０と、スペクトル４８を含む他のチャネルの復号化に関与する前述の他の部分３４の内部構造とを含むデコーダ１０を示す。一方では部分７０の、他方では部分３４の内部要素に対して同じ参照符号が使用されている。理解されるように、構成は同じである。出力３２において、ステレオオーディオ信号の１つのチャネルが出力され、第２のデコーダ部分３４の逆変換部１８の出力において、ステレオオーディオ信号の他方の（出力）チャネルが得られ、この出力は参照符号７４によって示される。ここでも、上述した実施形態は、３つ以上のチャネルを使用する場合に容易に転用できる。
ダウンミックス提供部３１は、部分７０及び３４の両方によって共用され、スペクトログラム４０及び４２の時間的に同一位置にあるスペクトル４８及び４６を受信し、スペクトル線ごとにこれらのスペクトルを合計することによってそれらに基づいてダウンミックスを形成し、場合によっては、各スペクトル線における合計を、ダウンミックスされるチャネルの数、つまり図５の場合には、２で除算することによって平均を形成する。ダウンミックス提供部３１の出力では、前フレームのダウンミックスがこの測定によって得られる。これに関して、スペクトログラム４０及び４２のいずれか１つに２つ以上のスペクトルを含む前フレームの場合、ダウンミックス提供部３１がその場合どのように動作するかに関して、異なる可能性が存在することに留意されたい。例えば、この場合、ダウンミックス提供部３１は、現フレームの後続変換のスペクトルを使用してもよいし、スペクトログラム４０及び４２の現フレームの全てのスペクトル線係数をインターリーブするインターリーブ結果を使用してもよい。ダウンミックス提供部３１の出力に接続された図５に示す遅延要素７４は、ダウンミックス提供部３１の出力で提供されたダウンミックスが、前フレーム７６のダウンミックスを形成することを示す（チャネル間ノイズ充填５６、複素予測５８に関してはそれぞれ図４参照）。従って、遅延要素７４の出力は、一方はデコーダ部分３４及び７０のチャネル間予測部２４の入力に接続され、他方はデコーダ部分７０及び３４のノイズ充填部１６の入力に接続される。
即ち、図２では、ノイズ充填部１６は、チャネル間ノイズ充填の基礎として、同じ現フレームの他のチャネルの最終的に再構成された時間的に同一位置にあるスペクトル４８を受信するが、図５では、チャネル間ノイズ充填は、代わりに、ダウンミックス提供部３１によって提供されるような前フレームのダウンミックスに基づいて実行される。チャネル間ノイズ充填が行われる方法は同じである。即ち、チャネル間ノイズ充填部１６は、図２の場合には、現フレームの他のチャネルのスペクトルのそれぞれのスペクトルからスペクトル的に同一位置にある部分を取り込み、図５の場合には、前フレームのダウンミックスを表す前フレームから得られるほとんど又は完全に復号された最終スペクトルを取り込み、更に、図４の５０ｄなどのノイズ充填すべきスケールファクタ帯域内のスペクトル線に、それぞれのスケールファクタ帯域のスケールファクタによって決定された目標ノイズレベルに従ってスケーリングされた、同じ「ソース」部分を加える。
オーディオデコーダにおけるチャネル間ノイズ充填を説明する実施形態の上記議論を結論すると、「ソース」スペクトルの取り込まれたスペクトル的又は時間的に同一位置にある部分を、「ターゲット」スケールファクタ帯域のスペクトル線に加える前に、チャネル間充填の一般的概念から逸脱することなく、特定の前処理を「ソース」スペクトル線に適用することができることは当該技術分野の読者には明らかであろう。特に、チャネル間ノイズ充填プロセスのオーディオ品質を改善するために、図４の５０ｄのような「目標」スケールファクタ帯域に追加される「ソース」領域のスペクトル線に、例えばスペクトル平坦化又は傾斜除去などのフィルタリング操作を適用することが有益であり得る。同様に、また、ほとんど（完全の代わりに）復号されたスペクトルの例として、前述の「ソース」部分は、利用可能な逆（即ち、合成）ＴＮＳフィルタによってまだフィルタリングされていないスペクトルから得ることができる。
このように、上記の実施形態は、チャネル間ノイズ充填の概念に関していた。以下では、上記のチャネル間ノイズ充填の概念を、どのようにして既存のコーデック、即ちｘＨＥ−ＡＡＣに、準後方互換的に組み込むことができるかについて説明する。特に、ステレオ充填ツールが、準後方互換性のある信号伝達方式でｘＨＥ−ＡＡＣベースのオーディオコーデックに組み込まれている上記の実施形態の好ましい実装が以下に説明される。以下に更に説明する実施形態を使用することによって、ＭＰＥＧ−Ｄ ｘＨＥ−ＡＡＣ（ＵＳＡＣ）に基づくオーディオコーデックにおける２つのチャネルのいずれか一方の変換係数のステレオ充填が可能であり、これにより特に低ビットレートでの特定のオーディオ信号の符号化品質が改善される。ステレオ充填ツールは、レガシーｘＨＥ−ＡＡＣデコーダが明白なオーディオエラー又は脱落なしに、ビットストリームを解析して復号できるように、準後方互換的に信号伝達される。既に上述したように、オーディオコーダが、２つのステレオチャネルの以前に復号された／量子化された係数の組み合わせを使用して、現在の復号されたチャネルのいずれか１つのゼロ量子化された（送信されない）係数を再構成することができる場合、より良い全体的品質を得ることができる。オーディオコーダ、特にｘＨＥ−ＡＡＣ又はそれに基づくコーダにおいて、（低周波数チャネル係数から高周波数チャネル係数への）スペクトル帯域複製と、（無相関擬似ランダムソースからの）ノイズ充填とに加えて、（以前のチャネル係数から現在のチャネル係数への）そのようなステレオ充填を可能にすることが望ましい。
ステレオ充填を用いた符号化されたビットストリームがレガシーｘＨＥ−ＡＡＣデコーダによって読み出され解析されることを可能にするために、所望のステレオ充填ツールは、準後方互換的に使用されるべきであり、その存在が、レガシーデコーダによる復号化の停止を−又は開始さえ−引き起こしてはならない。ｘＨＥ−ＡＡＣインフラストラクチャによるビットストリームの可読性はまた、市場導入を容易にする。
ｘＨＥ−ＡＡＣ又はその潜在的な派生物の文脈において前述した、ステレオ充填ツールに関する準後方互換性についての要望を達成するために、以下の実施形態は、ステレオ充填の機能と、ノイズ充填に実際に関連するデータストリーム内のシンタックスを介してそのステレオ充填の機能を信号伝達する能力とを含む。ステレオ充填ツールは、上記の説明に沿って動作する。共通の窓構成を有するチャネルペアにおいて、ステレオ充填ツールがノイズ充填に対する代替形態として（又は、上述したようにノイズ充填に加えて）活性化された場合、ゼロ量子化されたスケールファクタ帯域の係数は、２つのチャネルのうちのいずれか一方、好ましくは右チャネル中の、前フレームの係数の和又は差によって再構成される。ステレオ充填は、ノイズ充填と同様に行われる。信号伝達は、ｘＨＥ−ＡＡＣのノイズ充填信号伝達を介して行われる。ステレオ充填は、８ビットのノイズ充填サイド情報によって伝達される。これは、適用されるノイズレベルがゼロであっても、全ての８ビットが送信されることがＭＰＥＧ−Ｄ ＵＳＡＣ規格［３］に記載されているように実現可能である。そのような状況では、ノイズ充填ビットの一部をステレオ充填ツールに再利用することができる。
レガシーｘＨＥ−ＡＡＣデコーダによるビットストリーム解析及び再生に関する準後方互換性は、以下のように保証される。ステレオ充填は、ゼロのノイズレベル（即ち、全てゼロの値を有する最初の３つのノイズ充填ビット）と、それに続く、ステレオ充填ツールのサイド情報及び損失ノイズレベルを含む５つの非ゼロのビット（伝統的にノイズオフセットを表す）と、を介して信号伝達される。３ビットのノイズレベルがゼロであれば、レガシーｘＨＥ−ＡＡＣデコーダは５ビットのノイズオフセットの値を無視するため、ステレオ充填ツールの信号伝達の存在は、レガシーデコーダにおけるノイズ充填に対して影響を及ぼすのみであり、最初の３ビットがゼロであるためノイズ充填はオフにされ、残りの復号化操作は意図された通りに作動する。特に、ステレオ充填は、不活性化されているノイズ充填処理と同様に操作されるという事実に起因して、実施されない。従って、ステレオ充填がオンになっているフレームに到達したとき、レガシーデコーダは出力信号をミュートする必要がなく、又は更には復号化を中断する必要もないため、レガシーデコーダは依然として、強化されたビットストリーム３０の「上品な」復号化を行う。当然ながら、ステレオ充填された線係数を意図通りに正確に再構成することは不可能であり、その結果、新規のステレオ充填ツールに対して適切に対処できる適切なデコーダによる復号化と比較すると、影響を受けたフレームにおける品質の劣化を招く。それにもかかわらず、ステレオ充填ツールが意図通りに使用される、即ち、低ビットレートでのステレオ入力に対してのみ使用されると仮定すると、ｘＨＥ−ＡＡＣデコーダによる品質は、影響を受けたフレームが、ミューティングに起因して脱落するか、又は他の明白な再生エラーをもたらす場合と比較して、良好となるはずである。
以下では、拡張として、ステレオ充填ツールをｘＨＥ−ＡＡＣコーデックにどのように組み込むことができるかについて、詳細に説明する。
標準に組み込まれる場合、ステレオ充填ツールは、以下のように説明することができる。特に、そのようなステレオ充填（ＳＦ）ツールは、ＭＰＥＧ−Ｈ ３Ｄオーディオの周波数領域（ＦＤ）部分における新たなツールを表すことになるであろう。上記の説明に倣って、そのようなステレオ充填ツールの目的は、［３］に記載されている標準のセクション７．２に従うノイズ充填によって既に達成できるものと同様に、低ビットレートでのＭＤＣＴスペクトル係数のパラメトリック再構成であろう。しかし、任意のＦＤチャネルのＭＤＣＴスペクトル値の生成に擬似ランダムノイズソースを利用するノイズ充填とは異なり、ＳＦは、前フレームの左及び右のＭＤＣＴスペクトルのダウンミックスを使用して、チャネルの結合符号化されたステレオペアの右チャネルのＭＤＣＴ値を再構成するためにも利用可能であろう。ＳＦは、以下に記載する実施形態によれば、レガシーＭＰＥＧ−Ｄ ＵＳＡＣデコーダによって正確に解析することができるノイズ充填サイド情報によって、準後方互換的に信号伝達される。
ツールの説明は以下の通りであってもよい。ＳＦが結合ステレオＦＤフレームにおいて活性化しているとき、５０ｄなどの、右（第２の）チャネルの空の（即ち完全にゼロ量子化された）スケールファクタ帯域のＭＤＣＴ係数が、前フレーム（ＦＤの場合）の対応する復号された左及び右チャネルのＭＤＣＴ係数の和又は差に置き換えられる。レガシーノイズ充填が第２のチャネルに対して活性化している場合、擬似乱数値も各係数に加えられる。結果として得られる各スケールファクタ帯域の係数は、その後、各帯域のＲＭＳ（係数の二乗平均平方根）がその帯域のスケールファクタによって伝送された値と一致するように、スケーリングされる。［３］における標準のセクション７．３を参照されたい。
ＭＰＥＧ−Ｄ ＵＳＡＣ標準において新たなＳＦツールを使用するには、いくつかの操作上の制約がもたらされ得る。例えば、ＳＦツールは、共通のＦＤチャネルペア、即ち、ｃｏｍｍｏｎ＿ｗｉｎｄｏｗ＝＝１を用いてＳｔｅｒｅｏＣｏｒｅＴｏｏｌＩｎｆｏ（）を伝送するチャネルペア要素の、右ＦＤチャネルにおける使用のためだけに利用可能であってもよい。加えて、準後方互換的な信号伝達に起因して、ＳＦツールは、シンタックスコンテナＵｓａｃＣｏｒｅＣｏｎｆｉｇ（）内でｎｏｉｓｅＦｉｌｌｉｎｇ＝＝１である場合だけの使用のために利用可能であってもよい。そのペアにおけるチャネルのいずれかがＬＰＤ ｃｏｒｅ＿ｍｏｄｅにある場合には、たとえ右チャネルがＦＤモードにある場合であっても、ＳＦツールは使用されなくてもよい。
［３］で説明されているように、標準の拡張をより明確に記述するために、以下の用語及び定義を使用する。
特に、データ要素に関する限り、次のデータ要素が新たに導入される。
ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇ 現フレーム及びチャネルにおいてＳＦが利用されるか否かを示す２値フラグ
更に、新たな補助要素が導入される。
ｎｏｉｓｅ＿ｏｆｆｓｅｔ ゼロ量子化された帯域のスケールファクタを修正するためのノイズ充填オフセット（セクション７．２）
ｎｏｉｓｅ＿ｌｅｖｅｌ 追加されるスペクトルノイズの振幅を表すノイズ充填レベル（セクション７．２）
ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］ 前フレームの左及び右チャネルのダウンミックス（即ち、和又は差）
ｓｆ＿ｉｎｄｅｘ［ｇ］［ｓｆｂ］ 窓グループｇ及び帯域ｓｆｂのためのスケールファクタインデックス（即ち、伝送される整数）
この標準の復号化処理は以下のように拡張され得る。特に、ＳＦツールが活性化されている状態での結合ステレオ符号化されたＦＤチャネルの復号化は、以下の様な３つの順序的ステップにおいて実行される。
まず、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇフラグの復号化が行われ得る。
ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇは独立したビットストリーム要素を表すのではなく、ＵｓａｃＣｈａｎｎｅｌＰａｉｒＥｌｅｍｅｎｔ（）内のノイズ充填要素、ｎｏｉｓｅ＿ｏｆｆｓｅｔ及びｎｏｉｓｅ＿ｌｅｖｅｌと、ＳｔｅｒｅｏＣｏｒｅＴｏｏｌＩｎｆｏ（）中のｃｏｍｍｏｎ＿ｗｉｎｄｏｗフラグとから導出される。ｎｏｉｓｅＦｉｌｌｉｎｇ＝＝０、ｃｏｍｍｏｎ＿ｗｉｎｄｏｗ＝＝０、又は現チャネルがその要素中の左（第１の）チャネルである場合、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇは０であり、ステレオ充填処理は終了する。そうでない場合、
if ((noiseFilling != 0) && (common_window != 0) && (noise_level == 0)) {
stereo_filling = (noise_offset & 16) / 16;
noise_level = (noise_offset & 14) / 2;
noise_offset = (noise_offset & 1) * 16;
}
else {
stereo_filling = 0;
}
言い換えれば、ｎｏｉｓｅ＿ｌｅｖｅｌ＝＝０である場合、ｎｏｉｓｅ＿ｏｆｆｓｅｔは、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇフラグ、及び、それに続く４ビットのノイズ充填データを含み、これらのデータはその後、再配列される。この動作はｎｏｉｓｅ＿ｌｅｖｅｌ及びｎｏｉｓｅ＿ｏｆｆｓｅｔの値を変更するため、セクション７．２のノイズ充填処理の前に実施される必要がある。更に、上記の擬似コードは、ＵｓａｃＣｈａｎｎｅｌＰａｉｒＥｌｅｍｅｎｔ（）又は任意の他の要素の左（第１の）チャネルでは実行されない。
次に、ｄｏｗｎｍｉｘ＿ｐｒｅｖの計算が行われるであろう。
ステレオ充填に使用されるべきスペクトルダウンミックスであるｄｏｗｎｍｉｘ＿ｐｒｅｖ［］は、複素ステレオ予測におけるＭＤＳＴスペクトル推定（セクション７．７．２．３）に使用されるｄｍｘ＿ｒｅ＿ｐｒｅｖ［］と同一である。これは以下を意味する。
・ダウンミックスが実施されるフレーム及び要素、即ち、現在復号化されたフレームの前のフレームのチャネルのいずれかがｃｏｒｅ＿ｍｏｄｅ＝＝１（ＬＰＤ）を使用する場合、又は、チャネルが不均一な変換長（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＝＝１若しくは唯一のチャネルにおけるｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ＝＝ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥへのブロック切り換え）若しくはｕｓａｃＩｎｄｅｐｅｎｄｅｎｃｙＦｌａｇ＝＝１を使用する場合、ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］の全ての係数はゼロでなければならない。
・現在の要素においてチャネルの変換長が最後のフレームから現フレームまでに変化していた場合（即ち、ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＝＝０の前にｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＝＝１があるか、又はｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ ！＝ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥの前にｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ＝＝ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥがあるか、又はそれぞれその逆）、ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］の全ての係数は、ステレオ充填処理の間中、ゼロでなければならない。
・前フレーム又は現フレームのチャネルにおいて変換分割が適用される場合、ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］は線ごとにインターリーブされたスペクトルダウンミックスを表す。詳細については変換分割ツールを参照されたい。
・複素ステレオ予測が現フレーム及び要素において利用されない場合、ｐｒｅｄ＿ｄｉｒは０に等しい。
結果として、前ダウンミックスは、両方のツールについて一度だけ計算されればよく、演算量が節約される。セクション７．７．２におけるｄｏｗｎｍｉｘ＿ｐｒｅｖ［］とｄｍｘ＿ｒｅ＿ｐｒｅｖ［］との唯一の差は、複素ステレオ予測が現在使用されていないとき、又は、複素ステレオ予測が活性化しているがｕｓｅ＿ｐｒｅｖ＿ｆｒａｍｅ＝＝０であるときの挙動である。その場合、たとえｄｍｘ＿ｒｅ＿ｐｒｅｖ［］が複素ステレオ予測復号化に必要とされておらず、それゆえ、未定義／ゼロであったとしても、セクション７．７．２．３に従ってステレオ充填復号化のためにｄｏｗｎｍｉｘ＿ｐｒｅｖ［］が計算される。
その後、空のスケールファクタ帯域のステレオ充填が実施されるであろう。
ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇ＝＝１である場合、ｍａｘ＿ｓｆｂ＿ｓｔｅを下回る、初期的には空であった全てのスケールファクタ帯域ｓｆｂ［］、即ち、全てのＭＤＣＴ線がゼロに量子化されていた全ての帯域におけるノイズ充填処理の後、以下の手順が実行される。最初に、この所与のｓｆｂ［］及びｄｏｗｎｍｉｘ＿ｐｒｅｖ［］内の対応する線のエネルギーが、線の二乗の和によって計算される。その後、各グループ窓のスペクトルについて、ｓｆｂ［］あたり上記の数の線を含むｓｆｂＷｉｄｔｈが与えられる。
if (energy[sfb] < sfbWidth[sfb]) { /* noise level isn't maximum, or band starts below noise-fill region */
facDmx = sqrt((sfbWidth[sfb] - energy[sfb]) / energy_dmx[sfb]);
factor = 0.0;
/* if the previous downmix isn't empty, add the scaled downmix lines such that band reaches unity energy */
for (index = swb_offset[sfb]; index < swb_offset[sfb+1]; index++) {
spectrum[window][index] += downmix_prev[window][index] * facDmx;
factor += spectrum[window][index] * spectrum[window][index];
}
if ((factor != sfbWidth[sfb]) && (factor > 0)) { /* unity energy isn't reached, so modify band */
factor = sqrt(sfbWidth[sfb] / (factor + 1e-8));
for (index = swb_offset[sfb]; index < swb_offset[sfb+1]; index++) {
spectrum[window][index] *= factor;
}
}
}
次に、セクション７．３のように結果的に得られるスペクトルに対してスケールファクタが適用され、空の帯域のスケールファクタは、通常のスケールファクタのように処理される。
ｘＨＥ−ＡＡＣ標準の上記の拡張に対する代替形態は、暗黙の準後方互換的な信号伝達方法を使用するであろう。
ｘＨＥ−ＡＡＣコードの枠組みにおける上記の実施形態は、図２によるデコーダに対し、新たなステレオ充填ツールの使用状況を、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇに含まれているビットストリーム中の１ビットを利用して信号伝達する手法を記述している。より正確には、そのような信号伝達（明示的な準後方互換的信号伝達と呼ぶ）は、後続するレガシービットストリームデータ−ここではノイズ充填サイド情報−がＳＦ信号伝達とは独立して使用されることを可能にし、本発明の実施形態では、ノイズ充填データはステレオ充填情報に依存せず、その逆も成り立つ。例えば、全てゼロからなるノイズ充填データ（ｎｏｉｓｅ＿ｌｅｖｅｌ＝ｎｏｉｓｅ＿ｏｆｆｓｅｔ＝０）が伝送されてもよい一方で、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇが任意の可能な値（０又は１のいずれかの２値フラグである）を信号伝達してもよい。
レガシービットストリームデータと本発明のビットストリームデータとの間の厳密な独立性が必要とされず、本発明の信号が２値決定である場合、信号伝達ビットの明示的な伝送を回避することができ、上記２値決定は、暗黙の準後方互換的信号伝達と呼ばれ得る信号の存在又は不在によって、信号伝達されることもできる。上記の実施形態を再び一例として取り上げると、ステレオ充填の使用状況は、新たな信号伝達を単に利用することによって伝送されることができ、ｎｏｉｓｅ＿ｌｅｖｅｌがゼロであり、同時にｎｏｉｓｅ＿ｏｆｆｓｅｔがゼロでない場合、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇフラグは１に等しく設定される。ｎｏｉｓｅ＿ｌｅｖｅｌとｎｏｉｓｅ＿ｏｆｆｓｅｔとが共にゼロでない場合、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇは０に等しい。レガシーノイズ充填信号に対するこの暗黙信号の依存は、ｎｏｉｓｅ＿ｌｅｖｅｌ及びｎｏｉｓｅ＿ｏｆｆｓｅｔの両方がゼロである場合に生じる。この場合、レガシー又は新たなＳＦ暗黙信号伝達のいずれが使用されているかは明確でない。そのような曖昧さを回避するために、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇの値は事前に定義されなければならない。この例において、ノイズ充填データが全てゼロからなる場合、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇ＝０を定義することが適切であり、なぜなら、これは、ノイズ充填がフレームに適用されるべきでないときに、ステレオ充填機能を有しないレガシーエンコーダが信号伝達するものだからである。
暗黙の準後方互換的信号伝達の場合に未解決である問題は、ｓｔｅｒｅｏ＿ｆｉｌｌｉｎｇ＝＝１であり同時にノイズ充填がないことをどのように信号伝達するかである。上述したように、ノイズ充填データは「全てゼロ」であってはならず、ゼロのノイズの大きさが要求される場合、ｎｏｉｓｅ＿ｌｅｖｅｌ（上述したように（ｎｏｉｓｅ＿ｏｆｆｓｅｔ＆１４）／２）は０に等しくなければならない。これによって、０よりも大きいｎｏｉｓｅ＿ｏｆｆｓｅｔ（上述したように（ｎｏｉｓｅ＿ｏｆｆｓｅｔ＆１）＊１６）だけが解として残る。しかしながら、たとえｎｏｉｓｅ＿ｌｅｖｅｌがゼロであったとしても、ステレオ充填の場合にスケールファクタを適用するとき、ｎｏｉｓｅ＿ｏｆｆｓｅｔが考慮される。好都合なことに、ビットストリームを書き込む際に、影響を受けたスケールファクタがｎｏｉｓｅ＿ｏｆｆｓｅｔを介してデコーダにおいて実行されないオフセットを含むように、その影響を受けたスケールファクタを変更することによって、エンコーダは、ゼロのｎｏｉｓｅ＿ｏｆｆｓｅｔが伝送されない可能性がある、という事実を補償できる。これによって、スケールファクタのデータレートにおける潜在的な増加の代償として、上記の実施形態における前記暗黙の信号伝達が可能になる。従って、上記の説明の擬似コードにおけるステレオ充填の信号伝達は、節約されたＳＦ信号伝達ビットを、１ビットに代えて２ビット（４つの値）でｎｏｉｓｅ＿ｏｆｆｓｅｔを伝送するために使用することで、以下のように変更され得る。
if ((noiseFilling) && (common_window) && (noise_level == 0) && (noise_offset > 0)) {
stereo_filling = 1;
noise_level = (noise_offset & 28) / 4;
noise_offset = (noise_offset & 3) * 8;
}
else {
stereo_filling = 0;
}
完全性を求める意味で、図６は、本願の一実施形態によるパラメトリックオーディオエンコーダを示す。まず最初に、全体的に参照符号９０を使用して示されている図６のエンコーダは、図２の出力３２において再構成されたオーディオ信号の歪みのないオリジナルバージョンの変換を実行するための変換部９２を備える。図３に関連して説明したように、対応する変換窓を有する複数の異なる変換長をフレーム４４の単位で切り換えながら、ラップド変換が使用されてもよい。異なる変換長及び対応する変換窓は、図３において参照符号１０４を使用して示されている。図２と同様に、図６は、マルチチャネルオーディオ信号の１つのチャネルを符号化する役割を担うエンコーダ９０の一部分に着目しており、その一方で、エンコーダ９０の別のチャネル領域部分は図６において全体的に参照符号９６を使用して示されている。
変換部９２の出力において、スペクトル線及びスケールファクタは量子化されておらず、実質的に符号化損失はまだ発生していない。変換部９２によって出力されたスペクトログラムが量子化部９８に入り、量子化部は、スケールファクタ帯域の予備スケールファクタを設定及び使用して、変換部９２によって出力されたスペクトログラムのスペクトル線を、スペクトルごとに量子化するよう構成されている。即ち、量子化部９８の出力において、予備スケールファクタ及び対応するスペクトル線係数がもたらされ、ノイズ充填部１６’、任意選択の逆ＴＮＳフィルタ２８ａ’、チャネル間予測部２４’、ＭＳデコーダ２６’及び逆ＴＮＳフィルタ２８ｂ’のシーケンスが、順次接続されており、その結果、図６のエンコーダ９０に対し、デコーダ側のダウンミックス提供部の入力（図２参照）において取得可能であるような、現スペクトルの再構成された最終バージョンを取得する能力を与えている。チャネル間予測部２４’を使用する場合、及び／又は、前フレームのダウンミックスを使用してチャネル間ノイズを形成するバージョンにおけるチャネル間ノイズ充填を使用する場合には、エンコーダ９０はまた、マルチチャネルオーディオ信号のチャネルのスペクトルの再構成された最終バージョンのダウンミックスを形成するダウンミックス提供部３１’も備える。当然、計算量を節約するために、最終バージョンの代わりに、チャネルの前記スペクトルの量子化されていないオリジナルバージョンが、ダウンミックスの形成に当たってダウンミックス提供部３１’によって使用されてもよい。
エンコーダ９０は、スペクトルの利用可能な再構成された最終バージョンに関する情報を使用して、虚数部推定を使用したチャネル間予測を実行する前述した可能なバージョンのような、フレーム間スペクトル予測を実行してもよく、及び／又は、レート制御を実行してもよく、即ち、レート制御ループ内で、エンコーダ９０によって最終的にデータストリーム３０内へと符号化される可能なパラメータが、レート／歪みにおいて最適に設定されるよう決定してもよい。
例えば、エンコーダ９０のそのような予測ループ及び／又はレート制御ループ内で設定される１つのパラメータは、識別部１２’によって識別された各ゼロ量子化されたスケールファクタ帯域について、量子化部９８によって単に事前に設定された、それぞれのスケールファクタ帯域のスケールファクタである。エンコーダ９０の予測及び／又はレート制御ループの中で、ゼロ量子化されたスケールファクタ帯域のスケールファクタは、聴覚心理的に又はレート／歪みが最適になるように設定され、それにより、上述した目標ノイズレベルと共に、対応するフレームについてデータストリームによってデコーダ側へと搬送される上述した任意選択の修正パラメータとが決定される。このスケールファクタは、スペクトルのスペクトル線及びそのスペクトルが属するチャネル（即ち、前述の「目標」スペクトル）のみを使用して計算されもよいし、代替的に、「目標」チャネルスペクトルのスペクトル線と、追加的に、他のチャネルスペクトルのスペクトル線、又はダウンミックス提供部３１’から得られた前フレームからのダウンミックススペクトル（即ち、上述した「ソース」スペクトル）と、の両方を使用して決定されてもよいことに留意されたい。特に、目標ノイズレベルを安定させ、また、チャネル間ノイズ充填が適用されている復号化済みオーディオチャネルにおける時間的なレベル変動を低減するために、目標スケールファクタは、「目標」スケールファクタ帯域中のスペクトル線のエネルギー尺度と、対応する「ソース」領域中の同一位置にあるスペクトル線のエネルギー尺度と、の間の関係を使用して計算されてもよい。最後に、上述したように、この「ソース」領域は、別のチャネルの再構成された最終バージョン若しくは前フレームのダウンミックスに由来してもよいし、エンコーダの演算量が低減されるべきである場合は、前記他のチャネルの量子化されていないオリジナルバージョン又は前フレームのスペクトルの量子化されていないオリジナルバージョンのダウンミックスに由来してもよい。
以下では、実施形態によるマルチチャネル符号化及びマルチチャネル復号化について説明する。実施形態では、図１ａの復号化のための装置２０１のマルチチャネル処理部２０４は、例えば、ノイズマルチチャネル復号化に関して記載される以下の技術のうちの１つ以上を実行するように構成されてもよい。
しかしながら、まず、マルチチャネル復号化を説明する前に、実施形態によるマルチチャネル符号化について、図７〜図９を参照して説明し、その後、図１０及び図１２を参照してマルチチャネル復号化について説明する。
ここで、図７〜図９及び図１１を参照して、実施形態によるマルチチャネル符号化について説明する。
図７は、少なくとも３つのチャネルＣＨ１〜ＣＨ３を有するマルチチャネル信号１０１を符号化する装置（エンコーダ）１００の概略ブロック図を示す。
装置１００は、反復処理部１０２と、チャネルエンコーダ１０４と、出力インタフェース１０６とを備える。
反復処理部１０２は、第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択するために、かつマルチチャネル処理動作を用いて選択されたペアを処理して選択されたペア用のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を導出し、かつ第１の処理されたチャネルＰ１及びＰ２を導出するために、第１の反復ステップにおいて、少なくとも３つのチャネルＣＨ１〜ＣＨ３の各ペアの間のチャネル間相関値を計算するように構成される。以下では、このような処理されたチャネルＰ１及びこのような処理されたチャネルＰ２はまた、それぞれ合成チャネルＰ１及び合成チャネルＰ２と呼ばれる。更に、反復処理部１０２は、処理されたチャネルＰ１又はＰ２の少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２及び第２の処理されたチャネルＰ３及びＰ４を導出するように構成される。
例えば、図７に示すように、反復処理部１０２は、第１の反復ステップにおいて、少なくとも３つのチャネルＣＨ１〜ＣＨ３の第１のペア間のチャネル間相関値と、ここで第１のペアは第１のチャネルＣＨ１と第２のチャネルＣＨ２とからなり、少なくとも３つのチャネルＣＨ１〜ＣＨ３の第２のペア間のチャネル間相関値と、ここで第２のペアは第２のチャネルＣＨ２と第３のチャネルＣＨ３とからなり、少なくとも３つのチャネルＣＨ１〜ＣＨ３の第３のペア間のチャネル間相関値とを計算してもよく、ここで第３のペアは第１のチャネルＣＨ１と第３のチャネルＣＨ３とからなる。
図７では、第１の反復ステップにおいて、第１のチャネルＣＨ１及び第３のチャネルＣＨ３からなる第３のペアが最高のチャネル間相関値を含み、反復処理部１０２が第１の反復ステップにおいて、最高のチャネル間相関値を有する第３のペアを選択し、マルチチャネル処理動作を使用して、選択したペアについてのマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を導出し、第１の処理されたチャネルＰ１及びＰ２を導出するために、選択したペア、即ち第３のペアを処理すると仮定する。
更に、反復処理部１０２は、第２の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択するために、第２の反復ステップにおいて、少なくとも３つのチャネルＣＨ１〜ＣＨ３及び処理されたチャネルＰ１及びＰ２の各ペア間のチャネル間相関値を計算するように構成できる。これにより、反復処理部１０２は、第２の反復ステップ（又は任意の更なる反復ステップ）において、第１の反復ステップの選択されたペアを選択しないように構成することができる。
図７に示す例を参照すると、反復処理部１０２は、第１のチャネルＣＨ１と第１の処理されたチャネルＰ１とからなる第４のチャネルペア間のチャネル間相関値と、第１のチャネルＣＨ１と第２の処理されたチャネルＰ２とからなる第５のペア間のチャネル間相関値と、第２のチャネルＣＨ２と第１の処理されたチャネルＰ１とからなる第６のペア間のチャネル間相関値と、第２のチャネルＣＨ２と第２の処理されたチャネルＰ２とからなる第７のペア間のチャネル間相関値と、第３のチャネルＣＨ３と第１の処理されたチャネルＰ１とからなる第８のペア間のチャネル間相関値と、第３のチャネルＣＨ３と第２の処理されたチャネルＰ２とからなる第９のペア間のチャネル間相関値と、第１の処理されたチャネルＰ１と第２の処理されたチャネルＰ２とからなる第１０のペア間のチャネル間相関値とを更に計算してもよい。
図７では、第２の反復ステップにおいて、第２のチャネルＣＨ２及び第１の処理されたチャネルＰ１からなる第６のペアが最高のチャネル間相関値を含み、反復処理部１０２が第２の反復ステップにおいて、第６のペアを選択し、マルチチャネル処理動作を使用して、選択したペアについてのマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を導出し、第２の処理されたチャネルＰ３及びＰ４を導出するために、選択したペア、即ち第６のペアを処理すると仮定する。
反復処理部１０２は、ペアのレベル差が閾値より小さい場合にのみペアを選択するように構成することができ、閾値は４０ｄＢ、２５ｄＢ、１２ｄＢよりも小さいか又は６ｄＢより小さい。それにより、２５又は４０ｄＢの閾値は、３又は０．５度の回転角に対応する。
反復処理部１０２は、正規化された整数相関値を計算するように構成することができ、反復処理部１０２は、整数相関値が例えば０．２好ましくは０．３より大きい場合にペアを選択するように構成することができる。
更に、反復処理部１０２は、マルチチャネル処理の結果得られるチャネルをチャネルエンコーダ１０４に提供してもよい。例えば、図７を参照すると、反復処理部１０２は、第２の反復ステップで実行されたマルチチャネル処理の結果である第３の処理されたチャネルＰ３及び第４の処理されたチャネルＰ４、ならびに第１の反復ステップで実行されたマルチチャネル処理の結果である第２の処理されたチャネルＰ２をチャネルエンコーダ１０４に提供してもよい。それにより、反復処理部１０２は、後続の反復ステップにおいて（更に）処理されないこれらの処理されたチャネルのみをチャネルエンコーダ１０４に提供することができる。図７に示すように、第１の処理されたチャネルＰ１は、第２の反復ステップで更に処理されるため、チャネルエンコーダ１０４には提供されない。
チャネルエンコーダ１０４は、反復処理部１０２によって実行される反復処理（又はマルチチャネル処理）の結果であるチャネルＰ２〜Ｐ４を符号化して、符号化されたチャネルＥ１〜Ｅ３を得るように構成することができる。
例えば、チャネルエンコーダ１０４は、反復処理（又はマルチチャネル処理）の結果であるチャネルＰ２〜Ｐ４を符号化するためのモノエンコーダ（あるいはモノボックス又はモノツール）１２０＿１〜１２０＿３を使用するように構成することができる。モノボックスは、より多くのエネルギー（又はより高い振幅）を有するチャネルを符号化するよりも少ないエネルギー（又は小さい振幅）を有するチャネルを符号化するためにより少ないビットが必要となるように、チャネルを符号化するように構成されてもよい。モノボックス１２０＿１〜１２０＿３は、例えば、変換ベースのオーディオエンコーダであり得る。更に、チャネルエンコーダ１０４は、反復処理（又はマルチチャネル処理）から生じるチャネルＰ２〜Ｐ４を符号化するためのステレオエンコーダ（例えば、パラメトリックステレオエンコーダ又はロッシー・ステレオ・エンコーダ）を使用するように構成することができる。
出力インタフェース１０６は、符号化されたチャネルＥ１〜Ｅ３とマルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２とを有する符号化されたマルチチャネル信号１０７を生成するように構成することができる。
例えば、出力インタフェース１０６は、符号化されたマルチチャネル信号１０７をシリアル信号又はシリアルビットストリームとして生成し、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２がマルチチャネルパラメータＭＣＨ＿ＰＡＲ１の前に符号化信号１０７にあるように構成することができる。従って、図１０に関して後で説明する実施形態のデコーダは、マルチチャネルパラメータＭＣＨ−ＰＡＲ１の前にマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を受信する。
図７において、反復処理部１０２は、例示的に２つのマルチチャネル処理動作、即ち第１の反復ステップにおけるマルチチャネル処理動作、及び第２の反復ステップにおけるマルチチャネル処理動作を実行する。無論、反復処理部１０２は、後続の反復ステップにおいて更なるマルチチャネル処理動作を実行することもできる。これにより、反復処理部１０２は、反復終了基準に達するまで反復ステップを実行するように構成することができる。反復終了基準は、最大反復ステップの数が、マルチチャネル信号１０１のチャネルの総数に等しいか２つ以上大きいことであり得るか、あるいは反復終了基準は、チャネル間相関値が閾値より大きな値を有さない場合であり、閾値は好ましくは０．２より大きく、又は閾値は好ましくは０．３である。更なる実施形態では、反復終了基準は、最大反復ステップの数がマルチチャネル信号１０１のチャネルの総数以上であるか、又は反復終了基準は、チャネル間相関値が閾値よりも大きな値を有さない場合であり、閾値は好ましくは０．２より大きく、又は閾値は好ましくは０．３である。
例示目的のために、第１の反復ステップ及び第２の反復ステップにおける反復処理部１０２によって実行されるマルチチャネル処理動作は、処理ボックス１１０及び１１２によって図７に例示的に示される。処理ボックス１１０及び１１２は、ハードウェア又はソフトウェアで実施することができる。処理ボックス１１０及び１１２は、例えば、ステレオボックスとすることができる。
これにより、既知の結合ステレオ符号化ツールを階層的に適用することにより、チャネル間信号依存性を利用することができる。以前のＭＰＥＧ手法とは対照的に、処理される信号ペアは、固定された信号経路（例えば、ステレオ符号化ツリー）によって事前に決定されるのではなく、入力信号特性に適応するように動的に変更することができる。実際のステレオボックスの入力は、（１）チャネルＣＨ１〜ＣＨ３のような未処理のチャネル、（２）処理された信号Ｐ１〜Ｐ４などの先行するステレオボックスの出力、又は（３）未処理のチャネルと、先行するステレオボックスの出力との合成チャネルであり得る。
ステレオボックス１１０及び１１２内の処理は、予測ベース（ＵＳＡＣにおける複素予測ボックスのような）又はＫＬＴ／ＰＣＡベースのいずれかであり得る（入力チャネルはエンコーダにおいて回転し（例えば、２×２回転行列を介して）、エネルギー圧縮を最大にする、即ち、信号エネルギーを１つのチャネルに集中させ、デコーダにおいて、回転された信号は、元の入力信号方向に再変換される）。
エンコーダ１００の可能な実施形態では、（１）エンコーダは、各チャネルペア間のチャネル間相関を計算し、入力信号から１つの適切な信号ペアを選択し、ステレオツールを選択されたチャネルに適用し、（２）エンコーダは、全てのチャネル（未処理されたチャネル及び処理された中間出力チャネル）間のチャネル間相関を再計算し、入力信号から１つの適切な信号ペアを選択し、ステレオツールを選択されたチャネルに適用し、（３）エンコーダは、全てのチャネル間相関が閾値を下回るまで、又は最大数の変換が適用される場合に、ステップ（２）を繰り返す。
既に述べたように、エンコーダ１００、又はより正確には反復処理部１０２によって処理される信号ペアは、固定された信号経路（例えば、ステレオ符号化ツリー）によって事前に決定されるのではなく、入力信号特性に適応するように動的に変更することができる。それにより、エンコーダ１００（又は反復処理部１０２）は、マルチチャネル（入力）信号１０１の少なくとも３つのチャネルＣＨ１〜ＣＨ３に依存してステレオツリーを構成するように構成することができる。言い換えれば、エンコーダ１００（又は反復処理部１０２）は、チャネル間相関に基づいてステレオツリーを構築するように構成することができる（例えば、第１の反復ステップにおいて、最も高い値又は閾値を上回る値を有するペアを選択するために、第１の反復ステップにおいて、少なくとも３つのチャネルＣＨ１〜ＣＨ３の各ペア間のチャネル間相関値を計算することによって、更に第２の反復ステップにおいて、最も高い値又は閾値を上回る値を有するペアを選択するために、第２の反復ステップにおいて、少なくとも３つのチャネルの各ペアと以前に処理されたチャネルとの間のチャネル間相関値を計算することによって）。１ステップ手法によれば、場合によっては処理された可能性のある以前の反復において、全てのチャネルの相関を含む各反復について、相関行列を計算してもよい。
上述のように、反復処理部１０２は、第１の反復ステップにおいて選択されたペアのためのマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を導出し、第２の反復ステップにおいて選択されたペアのためのマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を導出するように構成することができる。マルチチャネルパラメータＭＣＨ＿ＰＡＲ１は、第１の反復ステップで選択されたチャネルペアを識別する（又は信号伝達する）第１のチャネルペア識別（又はインデックス）を含むことができ、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２は、第２の反復ステップで選択されたチャネルペアを識別する（又は信号伝達する）第２のチャネルペア識別（又はインデックス）を含むことができる。
以下で、入力信号の効率的な索引付けについて説明する。例えば、チャネルペアは、チャネルの総数に依存して、各ペアに対して固有のインデックスを使用して効率的に信号送信することができる。例えば、６つのチャネルのペアの索引付けは、次の表のようになり得る。
例えば、上記の表において、インデックス５は、第１のチャネル及び第２のチャネルからなるペアを信号伝達することができる。同様に、インデックス６は、第１のチャネル及び第３のチャネルからなるペアを信号伝達することができる。
ｎ個のチャネルに対する可能なチャネルペアインデックスの総数は、以下のように計算することができる。
ｎｕｍＰａｉｒｓ＝ｎｕｍＣｈａｎｎｅｌｓ＊（ｎｕｍＣｈａｎｎｅｌｓ−１）／２
従って、１つのチャネルペアを信号伝達するのに必要なビット数は、
ｎｕｍＢｉｔｓ＝ｆｌｏｏｒ（ｌｏｇ２（ｎｕｍＰａｉｒｓ−１））＋１
また、エンコーダ１００は、チャネルマスクを用いてもよい。マルチチャネルツールの構成には、ツールがアクティブなチャネルを示すチャネルマスクが含まれている場合がある。従って、ＬＦＥ（ＬＦＥ＝低周波音効果／増強チャネル）をチャネルペアインデックスから削除することができ、より効率的な符号化が可能になる。例えば、１１．１セットアップの場合、これはチャネルペアインデックスの数を１２×１１／２＝６６から１１×１０／２＝５５へ減らし、７ビットの代わりに６ビットでの信号伝達を可能にする。この機構は、モノオブジェクト（例えば複数の言語トラック）を意図したチャネルを除外するためにも使用できる。チャネルマスク（ｃｈａｎｎｅｌＭａｓｋ）の復号化では、チャネルマップ（ｃｈａｎｎｅｌＭａｐ）を生成して、チャネルペアインデックスのデコーダチャネルへの再マッピングを可能にすることができる。
更に、反復処理部１０２は、第１のフレームについて、複数の選択されたペア表示を導出するように構成することができ、出力インタフェース１０６は、マルチチャネル信号１０７中に、第１のフレームに続く第２のフレームについて、第２のフレームが第１のフレームと同じ複数の選択されたペア表示を有することを示す、保持インジケータを含むように構成することができる。
保持インジケータ又は保持ツリーフラグは、新しいツリーは送信されないが、最後のステレオツリーが使用されるべきであることを信号伝達するために使用できる。これは、チャネル相関特性がより長い時間静止している場合、同じステレオツリー構成の複数の送信を避けるために使用できる。
図８は、ステレオボックス１１０及び１１２の概略ブロック図を示す。ステレオボックス１１０及び１１２は、第１の入力信号Ｉ１及び第２の入力信号Ｉ２の入力と、第１の出力信号Ｏ１及び第２の出力信号Ｏ２の出力とを備える。図８に示すように、入力信号Ｉ１及びＩ２からの出力信号Ｏ１及びＯ２の依存性は、ｓパラメータＳ１〜Ｓ４によって記述することができる。
反復処理部１０２は、（更に）処理されたチャネルを導出するために、入力チャネル及び／又は処理されたチャネルに対してマルチチャネル処理動作を実行するために、ステレオボックス１１０及び１１２を使用する（又は含む）ことができる。例えば、反復処理部１０２は、一般的な予測ベース又はＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ−変換）ベースの回転ステレオボックス１１０及び１１２を使用するように構成することができる。
汎用エンコーダ（又はエンコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を符号化するように構成することができる。
汎用デコーダ（又はデコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を復号するように構成することができる。
予測ベースのエンコーダ（又はエンコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を符号化するように構成することができる。
ここでｐは予測係数である。
予測ベースのデコーダ（又はデコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を復号するように構成することができる。
ＫＬＴベースの回転エンコーダ（又はエンコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を符号化するように構成することができる。
ＫＬＴベースの回転デコーダ（又はデコーダ側ステレオボックス）は、次の式に基づいて出力信号Ｏ１及びＯ２を得るために、入力信号Ｉ１及びＩ２を復号するように構成することができる（逆回転）。
以下では、ＫＬＴに基づく回転のための回転角αの計算について説明する。
ＫＬＴベースの回転の回転角度αは、次のように定義でき、
Ｃｘｙは正規化されていない相関行列のエントリであり、ここで、Ｃ１１及びＣ２２はチャネルエネルギーである。
これは、ａｔａｎ２関数を使用して、分子の負の相関と分母の負のエネルギー差との間の微分を可能にするために実施できる。
α＝０．５＊ａｔａｎ２（２＊ｃｏｒｒｅｌａｔｉｏｎ［ｃｈ１］［ｃｈ２］、
（ｃｏｒｒｅｌａｔｉｏｎ［ｃｈ１］［ｃｈ１］−ｃｏｒｒｅｌａｔｉｏｎ［ｃｈ２］［ｃｈ２］））
更に、反復処理部１０２は、複数の帯域を含む各チャネルのフレームを使用してチャネル間相関を計算し、複数の帯域に対する単一のチャネル間相関値が得られるように構成することができ、反復処理部１０２は、複数の帯域の各々についてマルチチャネル処理を実行し、複数の帯域の各々からマルチチャネルパラメータが得られるように構成できる。
これにより、反復処理部１０２は、マルチチャネル処理においてステレオパラメータを算出するように構成することができ、反復処理部１０２は、帯域においてステレオ処理のみを実行するように構成することができ、ステレオパラメータは、ステレオ量子化器（例えば、ＫＬＴベースの回転エンコーダ）によって定義されるゼロ量子化閾値よりも高い。ステレオパラメータは、例えば、ＭＳオン／オフ又は回転角度又は予測係数であり得る。
例えば、反復処理部１０２は、マルチチャネル処理において回転角度を算出するように構成することができ、反復処理部１０２は、帯域において回転処理のみを実行するように構成することができ、回転角度は、回転角度量子化器（例えば、ＫＬＴベースの回転エンコーダ）によって定義されるゼロ量子化閾値よりも高い。
従って、エンコーダ１００（又は出力インタフェース１０６）は、いずれか完全なスペクトル（フルバンドボックス）についての１つのパラメータ又はスペクトルの一部についての複数の周波数依存パラメータとして、変換／回転情報を送信するように構成することができる。
エンコーダ１００は、以下の表に基づいてビットストリーム１０７を生成するように構成することができる。
図９は、一実施形態による、反復処理部１０２の概略ブロック図を示す。図９に示す実施形態では、マルチチャネル信号１０１は、左チャネルＬ、右チャネルＲ、左サラウンドチャネルＬｓ、右サラウンドチャネルＲｓ、中央チャネルＣ、及び低周波音効果チャネルＬＦＥの６つのチャネルを有する５．１チャネル信号である。
図９に示すように、ＬＦＥチャネルは反復処理部１０２によって処理されない。これは、ＬＦＥチャネルと他の５つのチャネルＬ、Ｒ、Ｌｓ、Ｒｓ及びＣの各々との間のチャネル間相関値が小さいか、又は以下に仮定されるチャネルマスクがＬＦＥチャネルを処理しないことを示すことによる場合であってもよい。
第１の反復ステップにおいて、反復処理部１０２は、第１の反復ステップにおいて、最大値を有する又は閾値を上回る値を有するペアを選択するために、５つのチャネルＬ、Ｒ、Ｌｓ、Ｒｓ及びＣの各ペア間のチャネル間相関値を計算する。図９において、左チャネルＬ及び右チャネルＲが最大値を有すると仮定し、反復処理部１０２は、第１の及び第２の処理されたチャネルＰ１、Ｐ２を導出するためにマルチチャネル動作を実行するステレオボックス（又はステレオツール）１１０を使用して左チャネルＬ及び右チャネルＲを処理する。
第２の反復ステップにおいて、反復処理部１０２は、第２の反復ステップにおいて、最大値を有する又は閾値を上回る値を有するペアを選択するために、５つのチャネルＬ、Ｒ、Ｌｓ、Ｒｓ、Ｃ及び処理されたチャネルＰ１及びＰ２の各ペア間のチャネル間相関値を計算する。図９において、左サラウンドチャネルＬｓ及び右サラウンドチャネルＲｓが最大値を有すると仮定し、反復処理部１０２は、第３の及び第４の処理されたチャネルＰ３、Ｐ４を導出するために、ステレオボックス（又はステレオツール）１１２を使用して左サラウンドチャネルＬｓ及び右サラウンドチャネルＲｓを処理する。
第３の反復ステップにおいて、反復処理部１０２は、第３の反復ステップにおいて、最大値を有する又は閾値を上回る値を有するペアを選択するために、５つのチャネルＬ、Ｒ、Ｌｓ、Ｒｓ、Ｃ及び処理されたチャネルＰ１〜Ｐ４の各ペア間のチャネル間相関値を計算する。図９において、第１の処理されたチャネルＰ１及び第３の処理されたチャネルＰ３が最大値を有すると仮定し、反復処理部１０２は、第５の及び第６の処理されたチャネルＰ５、Ｐ６を導出するために、ステレオボックス（又はステレオツール）１１４を使用して第１の処理されたチャネルＰ１及び第３の処理されたチャネルＰ３を処理する。
第４の反復ステップにおいて、反復処理部１０２は、第４の反復ステップにおいて、最大値を有する又は閾値を上回る値を有するペアを選択するために、５つのチャネルＬ、Ｒ、Ｌｓ、Ｒｓ、Ｃ及び処理されたチャネルＰ１〜Ｐ６の各ペア間のチャネル間相関値を計算する。図９において、第５の処理されたチャネルＰ５及び中央チャネルＣが最大値を有すると仮定し、反復処理部１０２は、第７の及び第８の処理されたチャネルＰ７、Ｐ８を導出するために、ステレオボックス（又はステレオツール）１１５を使用して第５の処理されたチャネルＰ５及び中央チャネルＣを処理する。
ステレオボックス１１０〜１１６は、ＭＳステレオボックス、即ちミッドチャネル及びサイドチャネルを提供するように構成されたミッド／サイド立体音響ボックスであってもよい。ミッドチャネルは、ステレオボックスの入力チャネルの合計とすることができ、サイドチャネルは、ステレオボックスの入力チャネル間の差であり得る。更に、ステレオボックス１１０及び１１６は、回転ボックス又はステレオ予測ボックスであってもよい。
図９において、第１の処理されたチャネルＰ１、第３の処理されたチャネルＰ３及び第５の処理されたチャネルＰ５は、ミッドチャネルであってもよく、第２の処理されたチャネルＰ２、第４の処理されたチャネルＰ４及び第６の処理されたチャネルＰ６は、サイドチャネルであってもよい。
更に、図９に示すように、反復処理部１０２は、第２の反復ステップにおいて、適用可能である場合、更なる反復ステップにおいて、入力チャネルＬ、Ｒ、Ｌｓ、Ｒｓ、Ｃ及び処理されたチャネルのミッドチャネルＰ１、Ｐ３及びＰ５（のみ）を使用して、計算し、選択し、かつ処理するように構成することができる。言い換えれば、反復処理部１０２は、第２の反復ステップにおいて、適用可能である場合、更なる反復ステップにおいて、計算し、選択し、かつ処理する際、処理されたチャネルのサイドチャネルＰ１、Ｐ３及びＰ５を使用しないように構成することができる。
図１１は、少なくとも３つのチャネルを有するマルチチャネル信号を符号化する方法３００のフローチャートを示す。方法３００は、第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択し、かつマルチチャネル処理動作を用いて選択されたペアを処理して選択されたペア用のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を導出し、かつ第１の処理されたチャネルを導出するために、第１の反復ステップにおいて、少なくとも３つのチャネルの各ペアの間のチャネル間相関値を計算するステップ３０２と、処理されたチャネルの少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２及び第２の処理されたチャネルを導出するステップ３０４と、符号化されたチャネルを得るために、反復処理部によって実行される反復処理から生じるチャネルを符号化するステップ３０６と、符号化されたチャネルならびに第１及びマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を有する符号化されたマルチチャネル信号を生成するステップ３０８とを含む。
以下では、マルチチャネル復号化について説明する。
図１０は、符号化されたチャネルＥ１〜Ｅ３と、少なくとも２つのマルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２とを有する符号化されたマルチチャネル信号１０７を復号する装置（デコーダ）２００の概略ブロック図を示す。
装置２００は、チャネルデコーダ２０２及びマルチチャネル処理部２０４を備える。
チャネルデコーダ２０２は、符号化されたチャネルＥ１〜Ｅ３を復号して、Ｄ１〜Ｄ３の復号されたチャネルを得るように構成される。
例えば、チャネルデコーダ２０２は、少なくとも３つのモノデコーダ（又はモノボックス又はモノツール）２０６＿１〜２０６＿３を備えることができ、モノデコーダ２０６＿１〜２０６＿３の各々は、少なくとも３つの符号化されたチャネルＥ１〜Ｅ３の１つを復号し、それぞれの復号されたチャネルＥ１〜Ｅ３を得るように構成できる。モノデコーダ２０６＿１〜２０６＿３は、例えば、変換ベースのオーディオデコーダであってもよい。
マルチチャネル処理部２０４は、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２によって識別される復号されたチャネルの第２のペアを使用して、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を使用して、マルチチャネル処理を実行して、処理されたチャネルを取得し、また、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１によって識別されるチャネルの第１のペアを使用して、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を使用して、更なるマルチチャネル処理を実行し、チャネルの第１のペアは少なくとも１つの処理されたチャネルを含む、ように構成される。
図１０に一例として示すように、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２は、第２の復号されたチャネルペアが、第１の復号されたチャネルＤ１及び第２の復号されたチャネルＤ２からなることを示す（又は信号伝達する）ことができる。従って、マルチチャネル処理部２０４は、第１の復号されたチャネルＤ１及び第２の復号されたチャネルＤ２（マルチチャネルパラメータＭＣＨ＿ＰＡＲ２によって識別される）からなる第２の復号されたチャネルペアを使用し、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を使用して、マルチチャネル処理を実行し、処理されたチャネルＰ１＊及びＰ２＊を得る。マルチチャネルパラメータＭＣＨ＿ＰＡＲ１は、第１の復号されたチャネルペアが第１の処理されたチャネルＰ１＊及び第３の復号されたチャネルＤ３からなることを示すことができる。従って、マルチチャネル処理部２０４は、第１の処理されたチャネルＰ１＊及び第３の復号されたチャネルＤ３（マルチチャネルパラメータＭＣＨ＿ＰＡＲ１によって識別される）からなる第１の復号されたチャネルペアを使用し、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を使用して、更なるマルチチャネル処理を実行し、処理されたチャネルＰ３＊及びＰ４＊を得る。
更に、マルチチャネル処理部２０４は、第１のチャネルＣＨ１として第３の処理されたチャネルＰ３＊を、第３のチャネルＣＨ３として第４の処理されたチャネルＰ４＊を、第２のチャネルＣＨ２として第２の処理されたチャネルＰ２＊を提供することができる。
図１０に示すデコーダ２００が、図７に示すエンコーダ１００から符号化されたマルチチャネル信号１０７を受信すると仮定すると、デコーダ２００の第１の復号されたチャネルＤ１は、エンコーダ１００の第３の処理されたチャネルＰ３と同等であってもよく、デコーダ２００の第２の復号されたチャネルＤ２は、エンコーダ１００の第４の処理されたチャネルＰ４と同等であってもよく、デコーダ２００の第３の復号されたチャネルＤ３は、エンコーダ１００の第２の処理されたチャネルＰ２と同等であってもよい。更に、デコーダ２００の第１の処理されたチャネルＰ１＊は、エンコーダ１００の第１の処理されたチャネルＰ１と同等であってもよい。
更に、符号化されたマルチチャネル信号１０７はシリアル信号であってもよく、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２はデコーダ２００においてマルチチャネルパラメータＭＣＨ＿ＰＡＲ１よりも前に受信される。その場合、マルチチャネル処理部２０４は、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２がデコーダによって受信される順序で、復号されたチャネルを処理するように構成することができる。図１０に示す例では、デコーダは、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１の前にマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を受信し、これにより、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１によって識別される第１の復号されたチャネルペア（第１の処理されたチャネルＰ１＊及び第３の復号されたチャネルＤ３からなる）を使用してマルチチャネル処理を実行する前に、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２によって識別される第２の復号されたチャネルペア（第１及び第２の復号されたチャネルＤ１及びＤ２からなる）を使用してマルチチャネル処理を実行する。
図１０において、マルチチャネル処理部２０４は、例示的に、２つのマルチチャネル処理動作を実行する。説明のために、マルチチャネル処理部２０４によって実行されるマルチチャネル処理動作は、処理ボックス２０８及び２１０によって図１０に示されている。処理ボックス２０８及び２１０は、ハードウェア又はソフトウェアにおいて実施することができる。処理ボックス２０８及び２１０は、例えば、エンコーダ１００を参照して上述したように、汎用デコーダ（又はデコーダ側のステレオボックス）、予測ベースのデコーダ（又はデコーダ側のステレオボックス）又はＫＬＴベースの回転デコーダ（又はデコーダ側のステレオボックス）などのステレオボックスであり得る。
例えば、エンコーダ１００は、ＫＬＴベースの回転エンコーダ（又はエンコーダ側のステレオボックス）を使用することができる。その場合、エンコーダ１００は、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２が回転角を含むように、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２を導出することができる。回転角度は、差動符号化することができる。従って、デコーダ２００のマルチチャネル処理部２０４は、差動符号化された回転角を差動復号するための差動デコーダを備えることができる。
装置２００は、符号化されたマルチチャネル信号１０７を受信して処理し、符号化されたチャネルＥ１〜Ｅ３をチャネルデコーダ２０２に提供し、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２をマルチチャネル処理部２０４に提供するように構成された入力インタフェース２１２を更に備えることができる。
既に述べたように、保持インジケータ（又は保持ツリーフラグ）は、新しいツリーは送信されないが、最後のステレオツリーが使用されるべきであることを信号伝達するために使用してもよい。これは、チャネル相関特性がより長い時間静止している場合、同じステレオツリー構成の複数の送信を避けるために使用できる。
従って、符号化されたマルチチャネル信号１０７が、第１のフレームに対してマルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２を含み、第１のフレームに続く第２のフレームに対して保持インジケータを含む場合、マルチチャネル処理部２０４は、第２のフレームにおいてマルチチャネル処理又は更なるマルチチャネル処理を、第１のフレームで使用されたものと同じ第２のチャネルペア又は同じ第１のチャネルペアに対して実行するように構成できる。
マルチチャネル処理及び更なるマルチチャネル処理は、ステレオパラメータを使用するステレオ処理を含むことができ、復号されたチャネルＤ１〜Ｄ３の個々のスケールファクタ帯域又はスケールファクタ帯域のグループに対して、第１のステレオパラメータがマルチチャネルパラメータＭＣＨ＿ＰＡＲ１に含まれ、第２のステレオパラメータがマルチチャネルパラメータＭＣＨ＿ＰＡＲ２に含まれる。それにより、第１のステレオパラメータと第２のステレオパラメータとは、回転角度又は予測係数などが同じタイプであり得る。無論、第１のステレオパラメータと第２のステレオパラメータとは、異なるタイプであってもよい。例えば、第１のステレオパラメータは回転角であってもよく、第２のステレオパラメータは予測係数であってもよく、その逆も成り立つ。
更に、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２は、どのスケールファクタ帯域がマルチチャネル処理され、どのスケールファクタ帯域がマルチチャネル処理されないかを示すマルチチャネル処理マスクを備えることができる。これにより、マルチチャネル処理部２０４は、マルチチャネル処理マスクによって示されるスケールファクタ帯域において、マルチチャネル処理を実行しないように構成することができる。
マルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２は、それぞれ、チャネルペア識別（又はインデックス）を含むことができ、マルチチャネル処理部２０４は、所定の復号化規則又は符号化されたマルチチャネル信号に示された復号化規則を使用してチャネルペア識別（又はインデックス）を復号するように構成できる。
例えば、チャネルペアは、エンコーダ１００を参照して上述したように、チャネルの総数に応じて、各ペアに対してユニークなインデックスを使用して効率的に信号伝達することができる。
更に、復号化規則は、マルチチャネル処理部２０４がチャネルペア識別のハフマン復号化を実行するように構成することができるハフマン復号化規則とすることができる。
符号化されたマルチチャネル信号１０７は、マルチチャネル処理が許可される復号されたチャネルのサブグループのみを示し、マルチチャネル処理が許可されない少なくとも１つの復号されたチャネルを示す、マルチチャネル処理許可インジケータを更に含むことができる。これにより、マルチチャネル処理部２０４は、マルチチャネル処理許可インジケータによって示されるように、マルチチャネル処理が許可されない少なくとも１つの復号されたチャネルに対して、いずれのマルチチャネル処理も行わないように構成することができる。
例えば、マルチチャネル信号が５．１チャネル信号である場合、マルチチャネル処理許可インジケータは、マルチチャネル処理が５つのチャネル、即ち、右Ｒ、左Ｌ、右サラウンドＲｓ、左サラウンドＬＳ、及び中央Ｃにのみ許可され、マルチチャネル処理は、ＬＦＥチャネルに対しては許可されないことを示してもよい。
復号化プロセス（チャネルペアインデックスの復号化）のために、以下のＣコードを使用することができる。これにより、全てのチャネルペアについて、アクティブなＫＬＴ処理（ｎチャネル）を使用するチャネルの数と、現フレームのチャネルペア（ｎｕｍＰａｉｒｓ）の数が必要とされる。
maxNumPairIdx = nChannels*(nChannels-1)/2 - 1;
numBits = floor(log2(maxNumPairIdx)+1;
pairCounter = 0;

for (chan1=1; chan1 < nChannels; chan1++) {
for (chan0=0; chan0 < chan1; chan0++) {
if (pairCounter == pairIdx) {
channelPair[0] = chan0;
channelPair[1] = chan1;
return;
}
else
pairCounter++;
}
}
}
非帯域角度のための予測係数を復号するために、以下のＣコードを使用することができる。
for(pair=0; pair<numPairs; pair++) {
mctBandsPerWindow = numMaskBands[pair]/windowsPerFrame;

if(delta_code_time[pair] > 0) {
lastVal = alpha_prev_fullband[pair];
} else {
lastVal = DEFAULT_ALPHA;
}

newAlpha = lastVal + dpcm_alpha[pair][0];
if(newAlpha >= 64) {
newAlpha -= 64;
}

for (band=0; band < numMaskBands; band++){
/* set all angles to fullband angle */
pairAlpha[pair][band] = newAlpha;

/* set previous angles according to mctMask */
if(mctMask[pair][band] > 0) {
alpha_prev_frame[pair][band%mctBandsPerWindow] = newAlpha;
}
else {
alpha_prev_frame[pair][band%mctBandsPerWindow] = DEFAULT_ALPHA;
}
}
alpha_prev_fullband[pair] = newAlpha;
for(band=bandsPerWindow ; band<MAX_NUM_MC_BANDS; band++) {
alpha_prev_frame[pair][band] = DEFAULT_ALPHA;
}
}
非帯域ＫＬＴ角度のための予測係数を復号するために、以下のＣコードを使用することができる。

for(pair=0; pair<numPairs; pair++) {
mctBandsPerWindow = numMaskBands[pair]/windowsPerFrame;
for(band=0; band<numMaskBands[pair]; band++) {
if(delta_code_time[pair] > 0) {
lastVal = alpha_prev_frame[pair][band%mctBandsPerWindow];
}
else {
if ((band % mctBandsPerWindow) == 0) {
lastVal = DEFAULT_ALPHA;
}
}
if (msMask[pair][band] > 0 ) {

newAlpha = lastVal + dpcm_alpha[pair][band];
if(newAlpha >= 64) {
newAlpha -= 64;
}
pairAlpha[pair][band] = newAlpha;
alpha_prev_frame[pair][band%mctBandsPerWindow] = newAlpha;
lastVal = newAlpha;
}
else {
alpha_prev_frame[pair][band%mctBandsPerWindow] = DEFAULT_ALPHA; /* -45° */
}

/* reset fullband angle */
alpha_prev_fullband[pair] = DEFAULT_ALPHA;
}
for(band=bandsPerWindow ; band<MAX_NUM_MC_BANDS; band++) {
alpha_prev_frame[pair][band] = DEFAULT_ALPHA;
}
}
異なるプラットフォームで三角関数の浮動小数点の違いを避けるために、角度インデックスを直接ｓｉｎ／ｃｏｓに変換するための以下のルックアップテーブルを使用する。
tabIndexToSinAlpha[64] = {
-1.000000f,-0.998795f,-0.995185f,-0.989177f,-0.980785f,-0.970031f,-0.956940f,-0.941544f,
-0.923880f,-0.903989f,-0.881921f,-0.857729f,-0.831470f,-0.803208f,-0.773010f,-0.740951f,
-0.707107f,-0.671559f,-0.634393f,-0.595699f,-0.555570f,-0.514103f,-0.471397f,-0.427555f,
-0.382683f,-0.336890f,-0.290285f,-0.242980f,-0.195090f,-0.146730f,-0.098017f,-0.049068f,
0.000000f, 0.049068f, 0.098017f, 0.146730f, 0.195090f, 0.242980f, 0.290285f, 0.336890f,
0.382683f, 0.427555f, 0.471397f, 0.514103f, 0.555570f, 0.595699f, 0.634393f, 0.671559f,
0.707107f, 0.740951f, 0.773010f, 0.803208f, 0.831470f, 0.857729f, 0.881921f, 0.903989f,
0.923880f, 0.941544f, 0.956940f, 0.970031f, 0.980785f, 0.989177f, 0.995185f, 0.998795f
};
tabIndexToCosAlpha[64] = {
0.000000f, 0.049068f, 0.098017f, 0.146730f, 0.195090f, 0.242980f, 0.290285f, 0.336890f,
0.382683f, 0.427555f, 0.471397f, 0.514103f, 0.555570f, 0.595699f, 0.634393f, 0.671559f,
0.707107f, 0.740951f, 0.773010f, 0.803208f, 0.831470f, 0.857729f, 0.881921f, 0.903989f,
0.923880f, 0.941544f, 0.956940f, 0.970031f, 0.980785f, 0.989177f, 0.995185f, 0.998795f,
1.000000f, 0.998795f, 0.995185f, 0.989177f, 0.980785f, 0.970031f, 0.956940f, 0.941544f,
0.923880f, 0.903989f, 0.881921f, 0.857729f, 0.831470f, 0.803208f, 0.773010f, 0.740951f,
0.707107f, 0.671559f, 0.634393f, 0.595699f, 0.555570f, 0.514103f, 0.471397f, 0.427555f,
0.382683f, 0.336890f, 0.290285f, 0.242980f, 0.195090f, 0.146730f, 0.098017f, 0.049068f
};
マルチチャネル符号化の復号のために、以下のＣコードをＫＬＴ回転に基づく手法に使用することができる。
decode_mct_rotation()
{
for (pair=0; pair < self->numPairs; pair++) {

mctBandOffset = 0;

/* inverse MCT rotation */
for (win = 0, group = 0; group <num_window_groups; group++) {

for (groupwin = 0; groupwin < window_group_length[group]; groupwin++, win++) {
*dmx = spectral_data[ch1][win];
*res = spectral_data[ch2][win];
apply_mct_rotation_wrapper(self,dmx,res,&alphaSfb[mctBandOffset],
&mctMask[mctBandOffset],mctBandsPerWindow, alpha,
totalSfb,pair,nSamples);
}

mctBandOffset += mctBandsPerWindow;
}
}
}
帯域処理の場合、次のＣコードを使用できる。
apply_mct_rotation_wrapper(self, *dmx, *res, *alphaSfb, *mctMask, mctBandsPerWindow,
alpha, totalSfb, pair, nSamples)
{
sfb = 0;

if (self->MCCSignalingType == 0) {
}
else if (self->MCCSignalingType == 1) {

/* apply fullband box */
if (!self->bHasBandwiseAngles[pair] && !self->bHasMctMask[pair]) {
apply_mct_rotation(dmx, res, alphaSfb[0], nSamples);
}
else {
/* apply bandwise processing */
for (i = 0; i< mctBandsPerWindow; i++) {
if (mctMask[i] == 1) {
startLine = swb_offset [sfb];
stopLine = (sfb+2<totalSfb)? swb_offset [sfb+2] :swb_offset [sfb+1];
nSamples = stopLine-startLine;

apply_mct_rotation(&dmx[startLine], &res[startLine], alphaSfb[i], nSamples);
}
sfb += 2;

/* break condition */
if (sfb >= totalSfb) {
break;
}
}
}
}
else if (self->MCCSignalingType == 2) {
}
else if (self->MCCSignalingType == 3) {
apply_mct_rotation(dmx, res, alpha, nSamples);
}
}
ＫＬＴ回転を適用するには、以下のＣコードを使用できる。
apply_mct_rotation(*dmx, *res, alpha, nSamples)
{
for (n=0;n<nSamples;n++) {

L = dmx[n] * tabIndexToCosAlpha [alphaIdx] - res[n] * tabIndexToSinAlpha [alphaIdx];
R = dmx[n] * tabIndexToSinAlpha [alphaIdx] + res[n] * tabIndexToCosAlpha [alphaIdx];

dmx[n] = L;
res[n] = R;
}
}
図１２は、符号化されたチャネルと、少なくとも２つのマルチチャネルパラメータＭＣＨ＿ＰＡＲ１及びＭＣＨ＿ＰＡＲ２とを有する符号化されたマルチチャネル信号を復号する方法４００のフローチャートを示す。方法４００は、復号されたチャネルを得るために符号化されたチャネルを復号するステップ４０２と、マルチチャネルパラメータＭＣＨ＿ＰＡＲ２によって識別される復号されたチャネルの第２のペアを使用して、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を使用して、マルチチャネル処理を実行して、処理されたチャネルを取得し、また、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１によって識別されるチャネルの第１のペアを使用して、かつマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を使用して、更なるマルチチャネル処理を実行し、チャネルの第１のペアは少なくとも１つの処理されたチャネルを含むステップ４０４と、を備える。
以下では、実施形態によるマルチチャネル符号化におけるステレオ充填について説明する。
既に概説したように、スペクトル量子化の望ましくない効果は、量子化がスペクトルホールを生じる可能性があることである。例えば、特定の周波数帯域内の全てのスペクトル値は、量子化の結果としてエンコーダ側でゼロに設定されてもよい。例えば、量子化前のそのようなスペクトル線の正確な値は比較的低い可能性があり、量子化は、例えば特定の周波数帯域内の全てのスペクトル線のスペクトル値がゼロに設定されている状況をもたらす可能性がある。デコーダ側では、復号化時に、これにより望ましくないスペクトルホールが生じる可能性がある。
ＭＰＥＧ−Ｈにおけるマルチチャネル符号化ツール（ＭＣＴ）は、変化するチャネル間依存性への適応を可能にするが、通常の動作構成でシングルチャネル要素を使用するため、ステレオ充填が不可能である。
図１４から分かるように、マルチチャネル符号化ツールは、階層的に符号化された３つ以上のチャネルを結合する。しかしながら、符号化時に、マルチチャネル符号化ツール（ＭＣＴ）が異なるチャネルを組み合わせる方法は、チャネルの現在の信号特性に応じて、フレームごとに変化する。
例えば、図１４のシナリオ（ａ）において、マルチチャネル符号化ツール（ＭＣＴ）は、第１の符号化オーディオ信号フレームを生成するために、第１のチャネルＣｈ１と第２のチャネルＣＨ２を結合して、第１の合成チャネル（処理されたチャネル）Ｐ１及び第２の合成チャネルＰ２とを得てもよい。次に、マルチチャネル符号化ツール（ＭＣＴ）は、第１の合成チャネルＰ１と第３のチャネルＣＨ３とを組み合わせて、第３の合成チャネルＰ３及び第４の合成チャネルＰ４を得ることができる。次いで、マルチチャネル符号化ツール（ＭＣＴ）は、第２の合成チャネルＰ２、第３の合成チャネルＰ３、及び第４の合成チャネルＰ４を符号化して、第１のフレームを生成することができる。
次に、例えば、図１４のシナリオ（ｂ）において、第１の符号化されたオーディオ信号フレームに続く（時間的に）第２の符号化されたオーディオ信号フレームを生成するために、マルチチャネル符号化ツール（ＭＣＴ）は、第１のチャネルＣＨ１’と第３のチャネルＣＨ３’を結合し、第１の合成チャネルＰ１’と第２の合成チャネルＰ２’を得てもよい。次に、マルチチャネル符号化ツール（ＭＣＴ）は、第１の合成チャネルＰ１’と第２のチャネルＣＨ２’とを組み合わせて、第３の合成チャネルＰ３’及び第４の合成チャネルＰ４’を得ることができる。次いで、マルチチャネル符号化ツール（ＭＣＴ）は、第２の合成チャネルＰ２’、第３の合成チャネルＰ３’、及び第４の合成チャネルＰ４’を符号化して、第２のフレームを生成することができる。
図１４から分かるように、図１４（ａ）のシナリオにおいて第１のフレームの第２、第３及び第４の合成チャネルが生成された方法は、第２のフレームの第２、第３及び第４の合成チャネルがそれぞれ図１４（ｂ）のシナリオで生成された方法と大きく異なり、チャネルの異なる組み合わせがそれぞれの合成チャネルＰ２、Ｐ３及びＰ４並びにＰ２’、Ｐ３’、Ｐ４’をそれぞれ生成するために使用された。
とりわけ、本発明の実施形態は、以下の知見に基づく。
図７及び図１４に示すように、合成チャネルＰ３、Ｐ４及びＰ２（又は図１４のシナリオ（ｂ）のＰ２’、Ｐ３’及びＰ４’）がチャネルエンコーダ１０４に供給される。とりわけ、チャネルエンコーダ１０４は、例えばチャネルＰ２、Ｐ３及びＰ４のスペクトル値が量子化のためにゼロに設定されるように、量子化を行うことができる。スペクトル的に近傍のスペクトルサンプルは、スペクトル帯域として符号化されてもよく、各スペクトル帯域は多数のスペクトルサンプルを含むことができる。
ある周波数帯域のスペクトルサンプルの数は、異なる周波数帯域に対して異なってもよい。例えば、より低い周波数範囲の周波数帯域は、例えば、１６の周波数サンプルを含むことができるより高い周波数範囲の周波数帯域より少ないスペクトルサンプル（例えば、４つのスペクトルサンプル）を含んでもよい。例えば、バーク尺度の臨界帯域は、使用された周波数帯域を定義することができる。
周波数帯域の全てのスペクトルサンプルが量子化後にゼロに設定されたときに、特に望ましくない状況が生じることがある。このような状況が生じ得る場合、本発明によれば、ステレオ充填を行うことが推奨される。更に、本発明は、知見に基づいて少なくとも（擬似）ランダムノイズを生成するだけではない。
本発明の実施形態によれば、（擬似）ランダムノイズを加えることに代わり又は加えて、例えば図１４のシナリオ（ｂ）において、チャネルＰ４’の周波数帯域の全てのスペクトル値がゼロに設定されていた場合、チャネルＰ３’と同じ又は類似の方法で生成されるであろう合成チャネルは、ゼロに量子化された周波数帯域を充填するためのノイズを生成するための非常に適切な基礎となる。
しかし、本発明の実施形態によれば、Ｐ４’合成チャネルの周波数帯域を充填するための基礎として現在の時点の現フレームのＰ３’の合成チャネルのスペクトル値を使用しないことが好ましく、この周波数帯域はゼロのスペクトル値のみを含み、合成チャネルＰ３’及び合成チャネルＰ４’の両方がチャネルＰ１’及びＰ２’に基づいて生成されおり、従って、現時点のＰ３’の合成チャネルを使用することは、単なるパンニングとなる。
例えば、Ｐ３’がＰ１’及びＰ２’のミッドチャネル（例えば、Ｐ３’＝０．５＊（Ｐ１’＋Ｐ２’））であり、Ｐ４’がＰ１’及びＰ２’のサイドチャネル（例えば、Ｐ４’＝０．５＊（Ｐ１’−Ｐ２’））である場合、例えばＰ４’の周波数帯域にＰ３’の減衰されたスペクトル値を導入することは、単にパンニングをもたらすだけである。
代わりに、現Ｐ４’合成チャネル内のスペクトルホールを充填するためのスペクトル値を生成するために前の時点のチャネルを使用することが好ましい。本発明の知見によれば、現フレームのＰ３’合成チャネルに対応する前フレームのチャネルの組み合わせは、Ｐ４’のスペクトルホールを充填するためのスペクトルサンプルを生成するための望ましい基礎となる。
しかしながら、前のフレームに対して図１０（ａ）のシナリオで生成された合成チャネルＰ３は、前フレームの合成チャネルＰ３が現フレームの合成チャネルＰ３’とは異なる方法で生成されたため、現フレームの合成チャネルＰ３’に対応しない。
本発明の実施形態の知見によれば、Ｐ３’合成チャネルの近似は、デコーダ側の前のフレームの再構成されたチャネルに基づいて生成されるべきである。
図１０（ａ）は、チャネルＣＨ１、ＣＨ２及びＣＨ３が、Ｅ１、Ｅ２及びＥ３を生成することによって、前フレームのために符号化されるエンコーダシナリオを示す。デコーダは、チャネルＥ１、Ｅ２、及びＥ３を受信し、符号化されたチャネルＣＨ１、ＣＨ２及びＣＨ３を再構成する。いくつかの符号化ロスが発生している可能性があるが、ＣＨ１、ＣＨ２及びＣＨ３に近似する生成されたチャネルＣＨ１＊、ＣＨ２＊及びＣＨ３＊は、元のチャネルＣＨ１、ＣＨ２及びＣＨ３と非常に類似しているため、ＣＨ１＊≒ＣＨ１、ＣＨ２＊≒ＣＨ２及びＣＨ３＊≒ＣＨ３である。実施形態によれば、デコーダは、前フレームのために生成されたチャネルＣＨ１＊、ＣＨ２＊及びＣＨ３＊を、現フレームにおけるノイズ充填に使用するためにバッファ内に維持する。
図１ａは、実施形態による復号化のための装置２０１を示すが、ここでより詳細に説明される。
図１ａの装置２０１は、前フレームの前の符号化されたマルチチャネル信号を復号して３つ以上の前オーディオ出力チャネルを取得するように適合され、現フレームの現在の符号化されたマルチチャネル信号１０７を復号して、３つ以上の現オーディオ出力チャネルを取得するように構成される。
装置は、インタフェース２１２、チャネルデコーダ２０２、３つ以上の現オーディオ出力チャネルＣＨ１、ＣＨ２、ＣＨ３を生成するためのマルチチャネル処理部２０４、及びノイズ充填モジュール２２０を備える。
インタフェース２１２は、現在の符号化されたマルチチャネル信号１０７を受信し、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２を含むサイド情報を受信するように適合される。
チャネルデコーダ２０２は、現フレームの現在の符号化されたマルチチャネル信号を復号し、現フレームの３つ以上の復号されたチャネルのセットＤ１、Ｄ２、Ｄ３を取得するように適合される。
マルチチャネル処理部２０４は、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２に応じて、３つ以上の復号されたチャネルのセットＤ１、Ｄ２、Ｄ３から２つの復号されたチャネルＤ１、Ｄ２の第１の選択されたペアを選択するように適合される。
一例として、これは、図１ａに、（任意選択の）処理ボックス２０８に供給される２つのチャネルＤ１、Ｄ２によって示されている。
更に、マルチチャネル処理部２０４は、２つの復号されたチャネルＤ１、Ｄ２の前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネルＰ１＊、Ｐ２＊の第１のグループを生成し、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットを取得するように適合される。
例では、２つのチャネルＤ１及びＤ２が（任意選択の）ボックス２０８に供給され、２つの処理されたチャネルＰ１＊及びＰ２＊が、２つの選択されたチャネルＤ１及びＤ２から生成される。３つ以上の復号されたチャネルの更新されたセットは、残され、修正されていないチャネルＤ３を含み、Ｄ１及びＤ２から生成されたＰ１＊及びＰ２＊を更に含む。
マルチチャネル処理部２０４が、２つの復号されたチャネルの第１の選択されたペアＤ１、Ｄ２に基づいて、２つ以上の処理されたチャネルＰ１＊、Ｐ２＊の第１のペアを生成する前に、ノイズ充填モジュール２２０は、２つの復号されたチャネルの第１の選択されたペアＤ１、Ｄ２の２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、３つ以上の前オーディオ出力チャネルの全てではなく、２つ以上を使用してミキシングチャネルを生成し、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を充填するのに適合し、ノイズ充填モジュール２２０は、サイド情報に応じて３つ以上の前オーディオ出力チャネルからミキシングチャネルを生成するために使用される２つ以上の前オーディオ出力チャネルを選択するのに適合する。
従って、ノイズ充填モジュール２２０は、ゼロであるスペクトル値のみを有する周波数帯域が存在するか否かを分析し、更に、見つかった空の周波数帯域を、生成されたノイズで充填する。例えば、周波数帯域は、例えば、４又は８又は１６本のスペクトル線を有することができ、周波数帯域の全てのスペクトル線がゼロに量子化された場合、ノイズ充填モジュール２２０は生成されたノイズを充填する。
ノイズをどのように生成して充填するかを指定するノイズ充填モジュール２２０によって使用されてもよい実施形態の特定の概念は、ステレオ充填と呼ばれる。
図１ａの実施形態では、ノイズ充填モジュール２２０は、マルチチャネル処理部２０４と相互作用する。例えば、一実施形態では、ノイズ充填モジュールが２つのチャネルを、例えば処理ボックスによって処理したい場合、これらのチャネルをノイズ充填モジュール２２０に供給し、ノイズ充填モジュール２２０は、周波数帯域がゼロに量子化されているか否かを調べ、検出された場合にはそのような周波数帯域を充填する。
図１ｂに示す他の実施形態では、ノイズ充填モジュール２２０は、チャネルデコーダ２０２と相互作用する。例えば、チャネルデコーダが符号化されたマルチチャネル信号を復号して３つ以上の復号されたチャネルＤ１、Ｄ２、Ｄ３を得るとき、ノイズ充填モジュールは、例えば周波数帯域が既にゼロに量子化されているか否かを調べ、検出された場合、そのような周波数帯域を充填する。このような実施形態では、マルチチャネル処理部２０４は、ノイズを充填する前に、全てのスペクトルホールが既に閉じられていることが確実であり得る。
更なる実施形態（図示せず）では、ノイズ充填モジュール２２０は、チャネルデコーダ及びマルチチャネル処理部の両方と相互作用することができる。例えば、チャネルデコーダ２０２が復号されたチャネルＤ１、Ｄ２、Ｄ３を生成するとき、ノイズ充填モジュール２２０は、チャネルデコーダ２０２がそれらを生成した直後に、周波数帯域がゼロに量子化されているか否かを既に検査していてもよいが、マルチチャネル処理部２０４が実際にこれらのチャネルを処理するときのみ、ノイズを生成し、それぞれの周波数帯域を満たすことができる。
例えば、ランダムノイズ、計算的に安価な演算をゼロに量子化された周波数帯域のいずれかに挿入することができるが、雑音充填モジュールは、それらが実際にマルチチャネル処理部２０４によって処理された場合にのみ、以前に生成されたオーディオ出力チャネルから生成された雑音を充填してもよい。しかしながら、このような実施形態では、ランダムノイズを挿入する前に、ランダムノイズを挿入する前にスペクトルホールが存在するか否かを検出しなければならず、その情報はメモリに維持すべきであり、ランダムノイズを挿入した後、ランダムノイズが挿入されたため、それぞれの周波数帯域はゼロではないスペクトル値を有するためである。
実施形態では、前オーディオ出力信号に基づいて生成されたノイズに加えて、ゼロに量子化された周波数帯域にランダムノイズが挿入される。
いくつかの実施形態では、インタフェース２１２は、例えば、現在の符号化されたマルチチャネル信号１０７を受信し、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２及び第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１を含むサイド情報を受信するように適合されてもよい。
マルチチャネル処理部２０４は、例えば、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１に応じて、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットから２つの復号されたチャネルＰ１＊、Ｄ３の第２の選択されたペアを選択するように適合されてもよく、２つの復号されたチャネル（Ｐ１＊、Ｄ３）の第２の選択されたペア の少なくとも１つのチャネルＰ１＊は、２つ以上の処理されたチャネルＰ１＊、Ｐ２＊の第１のペアの１つのチャネルである。
マルチチャネル処理部２０４は、例えば２つの復号されたチャネルＰ１、Ｄ３の前記第２の選択されたペアに基づいて、２つ以上の処理されたチャネルＰ３＊、Ｐ４＊の第２のグループを生成し、３つ以上の復号されたチャネルの更新されたセットを更に更新するように適合されてもよい。
そのような実施形態の一例は図１ａおよび１ｂに示され、（任意選択の）処理ボックス２１０がチャネルＤ３及び処理されたチャネルＰ１＊を受け取り、処理されたチャネルＰ３＊及びＰ４＊を得るために処理して、３つの復号されたチャネルの更なる更新されたセットは、処理ボックス２１０によって修正されていないＰ２＊と、生成されたＰ３＊及びＰ４＊とを含む。
処理ボックス２０８及び２１０は、図１ａ及び図１ｂにおいて任意選択としてマークされている。これは、マルチチャネル処理部２０４を実装するために処理ボックス２０８及び２１０を使用する可能性はあるが、マルチチャネル処理部２０４を正確に実施する方法は様々な可能性が存在することを示すためである。例えば、２つ（又はそれ以上）のチャネルのそれぞれ異なる処理に対して異なる処理ボックス２０８、２１０を使用する代わりに、同じ処理ボックスを再使用することができ、又はマルチチャネル処理部２０４は、処理ボックス２０８、２１０を使用せずに、２つのチャネルの処理を実施してもよい（マルチチャネル処理部２０４のサブユニットとして）。
更なる実施形態によれば、マルチチャネル処理部２０４は、例えば、２つの復号されたチャネルＤ１、Ｄ２の前記第１の選択されたペアに基づいて、正確に２つの処理されたチャネルＰ１＊、Ｐ２＊の第１のグループを生成することによって、２つ以上の処理されたチャネルＰ１＊、Ｐ２＊の第１のグループを生成するように適合されてもよい。マルチチャネル処理部２０４は、例えば、正確に２つの処理されたチャネルＰ１＊、Ｐ２＊の第１のグループによって、３つ以上の復号されたチャネルＤ１、Ｄ２、Ｄ３のセットにおいて２つの復号されたチャネルＤ１、Ｄ２の前記第１の選択されたペアを置き換え、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットを得るように適合されてもよい。マルチチャネル処理部２０４は、例えば、２つの復号されたチャネルＰ１＊、Ｄ３の前記第２の選択されたペアに基づいて、正確に２つの処理されたチャネルＰ３＊、Ｐ４＊の第２のグループを生成することによって、２つ以上の処理されたチャネルＰ３＊、Ｐ４＊の第２のグループを生成するように適合されてもよい。更に、マルチチャネル処理部２０４は、例えば、正確に２つの処理されたチャネルＰ３＊、Ｐ４＊の第２のグループによって、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットにおいて２つの復号されたチャネルＰ１＊、Ｄ３の前記第２の選択されたペアを置き換え、３つ以上の復号されたチャネルの更新されたセットを更に更新するように適合されてもよい。
そのような実施形態では、２つの選択されたチャネル（例えば、処理ボックス２０８又は２１０の２つの入力チャネル）から正確に２つの処理されたチャネルが生成され、これらの正確に２つの処理されたチャネルが、３つ以上の復号されたチャネルのセットにおける選択されたチャネルに置き換わる。例えば、マルチチャネル処理部２０４の処理ボックス２０８は、選択されたチャネルＤ１及びＤ２をＰ１＊及びＰ２＊に置き換える。
しかしながら、他の実施形態では、復号のために装置２０１内でアップミックスが行われ、３つ以上の処理されたチャネルが２つの選択されたチャネルから生成されてもよいし、又は選択されたチャネルの全てが復号されたチャネルの更新されたセットから削除されるわけではなくてもよい。
更なる課題は、ノイズ充填モジュール２２０によって生成されるノイズを生成するために使用されるミキシングチャネルの生成方法である。
いくつかの実施形態によれば、ノイズ充填モジュール２２０は、例えば、３つ以上の前オーディオ出力チャネルのうちの２つ以上の前オーディオ出力チャネルとして、３つ以上の前オーディオ出力チャネルのうちの正確に２つを使用して、ミキシングチャネルを生成するのに適合されてもよく、ノイズ充填モジュール２２０は、例えば、サイド情報に応じて、３つ以上の前オーディオ出力チャネルから正確に２つの前オーディオ出力チャネルを選択するように適合されてもよい。
３つ以上の前出力チャネルのうちの２つのみを使用することは、ミキシングチャネルを計算する演算の複雑性を低減するのに役立つ。
しかし、他の実施形態では、前オーディオ出力チャネルの３つ以上のチャネルがミキシングチャネルを生成するために使用されるが、考慮される前オーディオ出力チャネルの数は、３つ以上の前オーディオ出力チャネルの総数より小さい。
前出力チャネルのうちの２つのみが考慮される実施形態において、ミキシングチャネルは、例えば、以下のように計算されてもよい。
一実施形態では、ノイズ充填モジュール２２０は、式
又は式
に基づいて、正確に２つの前オーディオ出力チャネルを使用して、ミキシングチャネルを生成するように適合され、
ここでＤｃｈは、ミキシングチャネルであり、
は、正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルであり、
は、正確な２つの前オーディオ出力チャネルのうちの第２のオーディオ出力チャネルであり、正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルとは異なり、ｄは、実数の正のスカラーである。
典型的な状況では、ミッドチャネル
が適切なミキシングチャネルであってもよい。このような手法は、考慮される２つの前オーディオ出力チャネルのミッドチャネルとしてミキシングチャネルを計算する。
しかしながら、いくつかのシナリオでは、
を適用する場合、例えば、
の場合、ゼロに近いミキシングチャネルが生じることがある。次に、例えば、
をミキシング信号として使用することが好ましい場合がある。従って、サイドチャネル（位相ずれ入力チャネル用）が使用される。
代替の手法では、ノイズ充填モジュール２２０は、式
又は式
に基づいて、正確に２つの前オーディオ出力チャネルを使用して、ミキシングチャネルを生成するように適合され、
ここで
は、ミキシングチャネルであり、
は、正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルであり、
は、正確な２つの前オーディオ出力チャネルのうちの第２のオーディオ出力チャネルであり、正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルとは異なり、αは、回転角度である。
このような手法は、考慮される２つの前オーディオ出力チャネルの回転を行うことによって、ミキシングチャネルを計算する。
回転角度αは、例えば、−９０°＜α＜９０°の範囲であってもよい。
一実施形態では、回転角度は、例えば、３０°＜α＜６０°の範囲内にあってもよい。
再び、典型的な状況では、チャネル
が適切なミキシングチャネルであってもよい。このような手法は、考慮される２つの前オーディオ出力チャネルのミッドチャネルとしてミキシングチャネルを計算する。
しかしながら、いくつかのシナリオでは、
を適用する場合、例えば、
の場合、ゼロに近いミキシングチャネルが生じることがある。次に、例えば、
をミキシング信号として使用することが好ましい場合がある。
特定の実施形態によれば、サイド情報は、例えば、現フレームに割り当てられている現在のサイド情報であってもよく、インタフェース２１２は、例えば、前フレームに割り当てられた以前のサイド情報を受信するように適合されてもよく、以前のサイド情報は以前の角度を含み、インタフェース２１２は、例えば、現在の角度を含む現在のサイド情報を受信するように適合されてもよく、ノイズ充填モジュール２２０は、例えば、現在のサイド情報の現在の角度を、回転角度αとして使用するように適合されてもよく、以前のサイド情報の以前の角度を回転角度αとして使用しないように適合される。
従って、このような実施形態では、ミキシングチャネルが前オーディオ出力チャネルに基づいて計算さえる場合でも、以前に受信された回転角度ではなく、サイド情報で送信される現在の角度が、回転角度として使用されるが、ミキシングチャネルは前のフレームに基づいて生成された前オーディオ出力チャネルに基づいて計算される。
本発明のいくつかの実施形態の別の態様は、スケールファクタに関する。
周波数帯域は、例えば、スケールファクタ帯域であってもよい。
いくつかの実施形態によれば、マルチチャネル処理部２０４が、２つの復号されたチャネルの第１の選択されたペア（Ｄ１、Ｄ２）に基づいて、２つ以上の処理されたチャネルＰ１＊、Ｐ２＊の第１のペアを生成する前に、ノイズ充填モジュール（２２０）は、例えば、２つの復号されたチャネルの第１の選択されたペアＤ１、Ｄ２の２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域である１つ以上のスケールファクタ帯域を識別するのに適してもよく、３つ以上の前オーディオ出力チャネルの全てではなく、前記２つ以上を使用してミキシングチャネルを生成するのに適合してもよく、全てのスペクトル線がゼロに量子化される１つ以上のスケールファクタ帯域のそれぞれのスケールファクタに依存して、ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を充填するのに適合してもよい。
そのような実施形態では、スケールファクタが、例えば、スケールファクタ帯域のそれぞれに割り当てられてもよく、そのスケールファクタは、ミキシングチャネルを使用してノイズを生成するとき考慮される。
特定の実施形態では、受信インタフェース２１２は、例えば、前記１つ以上のスケールファクタ帯域のそれぞれのスケールファクタを受信するように構成され、前記１つ以上のスケールファクタ帯域のそれぞれのスケールファクタは、量子化前の前記スケールファクタ帯域のスペクトル線のエネルギーを示す。ノイズ充填モジュール２２０は、例えば、１つ以上のスケールファクタ帯域のそれぞれについてノイズを生成するように適合されてもよく、全てのスペクトル線がここでゼロに量子化され、その結果、ノイズを周波数帯域の１つに加えた後、スペクトル線のエネルギーは、前記スケールファクタ帯域に対してスケールファクタによって示されるエネルギーに対応する。
例えば、ミキシングチャネルは、ノイズが挿入されるスケールファクタ帯域の４つのスペクトル線のスペクトル値を示してもよく、これらのスペクトル値は、例えば、０．２、０．３、０．５、０．１であってもよい。
ミキシングチャネルのスケールファクタ帯域のエネルギーは、例えば、以下のように計算されてもよい。
しかしながら、ノイズが充填されるチャネルのスケールファクタ帯域に対するスケールファクタは、例えばわずか０．００３９であってもよい。
減衰係数は、例えば、以下のように計算することができる。
従って、上記の例では、
一実施形態では、ノイズとして使用されるミキシングチャネルのスケールファクタ帯域のスペクトル値のそれぞれは、減衰ファクタで乗算される。
従って、上記の例のスケールファクタ帯域の４つのスペクトル値のそれぞれは、減衰ファクタで乗算され、減衰されたスペクトル値が得られる。
０．２＊０．０１＝０．００２
０．３＊０．０１＝０．００３
０．５＊０．０１＝０．００５
０．１＊０．０１＝０．００１
これらの減衰されたスペクトル値は、例えば、雑音が充填されるチャネルのスケールファクタ帯域に挿入されてもよい。
上記の例は、上記の演算をそれらの対応する対数演算で置き換えることによって、例えば加算による乗算の置き換えなどによって、対数値に等しく適用可能である。
更に、上述した特定の実施形態の説明に加えて、ノイズ充填モジュール２２０の他の実施形態は、図２〜図６を参照して説明した概念の１つ、一部又は全てを適用する。
本発明の実施形態の別の態様は、前オーディオ出力チャネルからの情報チャネルが、挿入されるノイズを得るためにミキシングチャネルを生成するのに使用されるように選択されることに基づく問題に関する。
一実施形態によれば、ノイズ充填モジュール２２０による装置は、例えば、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２に応じて、３つ以上の前オーディオ出力チャネルから正確に２つの前オーディオ出力チャネルを選択するように適合されてもよい。
従って、このような実施形態では、どのチャネルを処理するために選択するかを調整する第１のマルチチャネルパラメータはまた、挿入すべきノイズを生成するためのミキシングチャネルを生成するために、どの前オーディオ出力チャネル使用するかを調整する。
一実施形態では、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２は、例えば、３つ以上の復号されたチャネルのセットから２つの復号されたチャネルＤ１、Ｄ２を示すことができてもよく、マルチチャネル処理部２０４は、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２によって示される２つの復号されたチャネルＤ１、Ｄ２を選択することによって、３つ以上の復号されたチャネルのセットＤ１、Ｄ２、Ｄ３から２つの復号されたチャネルＤ１、Ｄ２の第１の選択されたペアを選択するように適合される。更に、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１は、例えば、３つ以上の復号されたチャネルの更新されたセットから２つの復号されたチャネルＰ１＊、Ｄ３を示すことができる。マルチチャネル処理部２０４は、例えば、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１によって示される２つの復号されたチャネルＰ１＊、Ｄ３を選択することによって、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットから、２つの復号されたチャネルＰ１＊、Ｄ３の第２の選択されたペアを選択するように適合されてもよい。
従って、このような実施形態では、第１の処理、例えば図１ａ又は図１ｂの処理ボックス２０８の処理のために選択されるチャネルは、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２のみに依存しない。更に、これら２つの選択されたチャネルは、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２に明示的に指定される。
同様に、このような実施形態では、第２の処理、例えば図１ａ又は図１ｂの処理ボックス２１０の処理のために選択されるチャネルは、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１のみに依存しない。更に、これらの２つの選択されたチャネルは、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１に明示的に指定される。
本発明の実施形態は、図１５を参照して説明されるマルチチャネルパラメータのための洗練された索引付け方式を導入する。
図１５（ａ）は、エンコーダ側で、５つのチャネル、即ち左チャネル、右チャネル、中央チャネル、左サラウンドチャネル及び右サラウンドチャネルの符号化を示す。図１５（ｂ）は、左チャネル、右チャネル、中央チャネル、左サラウンドチャネル及び右サラウンドチャネルを再構成するために、符号化されたチャネルＥ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４の復号化を示す。
左、右、中央、左サラウンド、右サラウンドの５つのチャネルのそれぞれにインデックスが割り当てられていると仮定する。
インデックス チャネル名
０ 左
１ 右
２ 中央
３ 左サラウンド
４ 右サラウンド
図１５（ａ）において、エンコーダ側では、処理ボックス１９２内で実行される第１の動作は、例えばチャネル０（左）とチャネル３（左サラウンド）のミキシングであってもよく、２つの処理されたチャネルを得る。処理されたチャネルの１つはミッドチャネルであり、他のチャネルはサイドチャネルであると仮定することができる。しかしながら、２つの処理されたチャネルを形成する他の概念、例えば、回転動作を実行することによって２つの処理されたチャネルを決定することもまた適用されてもよい。
これで、２つの生成され処理されたチャネルは、処理に使用されたチャネルのインデックスと同じインデックスを取得する。即ち、処理されたチャネルの第１のチャネルはインデックス０を有し、処理されたチャネルの第２のチャネルはインデックス３を有する。この処理のために決定されたマルチチャネルパラメータは、例えば（０；３）であってもよい。
実施されるエンコーダ側の第２の動作は、例えば、チャネル１（右）とチャネル４（右サラウンド）を処理ボックス１９４においてミキシングし、２つの更なる処理されたチャネルを得ることであってもよい。再び、２つの更なる生成され処理されたチャネルは、処理に使用されたチャネルのインデックスと同じインデックスを取得する。即ち、更なる処理されたチャネルのうちの第１のチャネルはインデックス１を有し、処理されたチャネルの第２のチャネルはインデックス４を有する。この処理のために決定されたマルチチャネルパラメータは、例えば、（１；４）であってもよい。
実施されるエンコーダ側の第３の動作は、例えば、処理されたチャネル０と処理されたチャネル１を処理ボックス１９６においてミキシングし、別の２つの処理されたチャネルを得ることであってもよい。再び、これらの２つの生成され処理されたチャネルは、処理に使用されたチャネルのインデックスと同じインデックスを取得する。即ち、更なる処理されたチャネルのうちの第１のチャネルはインデックス０を有し、処理されたチャネルの第２のチャネルはインデックス１を有する。この処理のために決定されたマルチチャネルパラメータは、例えば、（０；１）であってもよい。
符号化されたチャネルＥ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４は、それらのインデックスによって区別され、即ち、Ｅ０はインデックス０を有し、Ｅ１はインデックス１を有し、Ｅ２はインデックス２を有する。
エンコーダ側での３つの演算の結果、３つのマルチチャネルパラメータが得られる。
（０；３），（１；４），（０；１）
復号化装置は逆の順序でエンコーダ動作を実行するはずであるため、マルチチャネルパラメータの順序は、例えば、復号化のために装置に送信されるときに反転されて、マルチチャネルパラメータとなってもよい。
（０；１），（１；４），（０；３）
復号化装置では、（０；１）を第１のマルチチャネルパラメータ、（１，４）を第２のマルチチャネルパラメータ、（０，３）を第３のマルチチャネルパラメータと呼ぶことができる。
図１５（ｂ）に示すデコーダ側では、第１のマルチチャネルパラメータ（０；１）を受信すると、復号化装置は、デコーダ側の第１の処理動作として判断し、チャネル０（Ｅ０）とチャネル１（Ｅ１）を処理する。これは図１５（ｂ）のボックス２９６で行われる。両方の生成され処理されたチャネルは、それらを生成するために使用されたチャネルＥ０及びＥ１からのインデックスを継承し、従って、生成されて処理されたチャネルもまたインデックス０及び１を有する。
復号化装置は、第２のマルチチャネルパラメータ（１；４）を受信すると、デコーダ側の第２の処理動作として判断し、処理されたチャネル１及びチャネル４（Ｅ４）を処理する。これは、図１５（ｂ）のボックス２９４で行われる。両方の生成され処理されたチャネルは、それらを生成するために使用されたチャネル１及び４からのインデックスを継承し、従って、生成され処理されたチャネルもインデックス１及び４を有する。
復号化装置は、第３のマルチチャネルパラメータ（０；３）を受信すると、デコーダ側の第３の処理動作として判断し、処理されたチャネル０及びチャネル３（Ｅ３）を処理する。これは図１５（ｂ）のボックス２９２で行われる。両方の生成され処理されたチャネルは、それらを生成するために使用されたチャネル０及び３からのインデックスを継承し、従って、生成され処理されたチャネルもインデックス０及び３を有する。
復号化装置の処理の結果、チャネル左（インデックス０）、右（インデックス１）、中央（インデックス２）、左サラウンド（インデックス３）及び右サラウンド（インデックス４）が再構成される。
デコーダ側では、量子化のために、特定のスケールファクタ帯域内のチャネルＥ１（インデックス１）の全ての値がゼロに量子化されていると仮定する。復号化装置がボックス２９６の処理を実行することを望む場合、ノイズ充填されたチャネル１（チャネルＥ１）が望ましい。
既に概説したように、実施形態は、チャネル１のスペクトルホールのノイズ充填のために２つの前オーディオ出力信号を使用する。
特定の実施形態では、動作が行われるチャネルが、ゼロに量子化されるスケールファクタ帯域を有する場合、２つの前オーディオ出力チャネルは、処理を実行しなければならない２つのチャネルと同じインデックス番号を有するノイズを生成するために使用される。この例では、処理ボックス２９６における処理の前にチャネル１のスペクトルホールが検出された場合、インデックス０（以前の左チャネル）を有し、更にインデックス１（以前の右チャネル）を有する前オーディオ出力チャネルを使用して、デコーダ側のチャネル１のスペクトルホールを埋めるためにノイズを生成する。
インデックスは、処理によって生じる処理されたチャネルによって一貫して継承されるので、前出力チャネルが現オーディオ出力チャネルになる場合、前出力チャネルが、デコーダ側の実際の処理に関与するチャネルを生成する役割を果たすと推測することができる。従って、ゼロに量子化されたスケールファクタ帯域の良好な推定を達成することができる。
実施形態によれば、装置は、例えば、３つ以上の前オーディオ出力チャネルの各前オーディオ出力チャネルに、識別部のセットから識別部を割り当てるように適合されてもよく、その結果、３つ以上の前オーディオ出力チャネルの各前オーディオ出力チャネルが、識別部のセットのうちの正確に１つの識別部に割り当てられ、識別部のセットの各識別部が、３つ以上の前オーディオ出力チャネルのうちの正確に１つの前オーディオ出力チャネルに割り当てられる。更に、装置は、例えば、３つ以上の復号されたチャネルのセットの各チャネルに、識別部の前記セットから識別部を割り当てるように適合されてもよく、その結果、３つ以上の復号されたチャネルのセットの各チャネルが、識別部のセットのうちの正確に１つの識別部に割り当てられ、識別部のセットの各識別部が、３つ以上の復号されたチャネルのセットの正確に１つのチャネルに割り当てられる。
更に、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２は、例えば、３つ以上の識別部のセットの２つの識別部の第１のペアを示すことができる。マルチチャネル処理部２０４は、例えば、２つの識別部の第１のペアの２つの識別部に割り当てられる２つの復号されたチャネルＤ１、Ｄ２を選択することによって、３つ以上の復号されたチャネルＤ１、Ｄ２、Ｄ３のセットから２つの復号されたチャネルＤ１、Ｄ２の第１の選択されたペアを選択するように適合されてもよい。
装置は、例えば、２つの識別部の第１のペアの２つの識別部のうちの第１の識別部を、正確に２つの処理されたチャネルＰ１＊、Ｐ２＊の第１のグループの第１の処理されたチャネルに割り当てるように適合されてもよい。更に、装置は、例えば、２つの識別部の第１のペアの２つの識別部のうちの第２の識別部を、正確に２つの処理されたチャネルＰ１＊、Ｐ２＊の第１のグループの第２の処理されたチャネルに割り当てるように適合されてもよい。
識別部のセットは、例えば、インデックスのセット、例えば非負の整数のセット（例えば、識別部０，１，２，３及び４を含むセット）であってもよい。
特定の実施形態では、第２のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１は、例えば、３つ以上の識別部のセットの２つの識別部の第２のペアを示すことができる。マルチチャネル処理部２０４は、例えば、２つの識別部の第２のペアの２つの識別部に割り当てられる２つの復号されたチャネル（Ｄ３，Ｐ１＊）を選択することによって、３つ以上の復号されたチャネルＤ３、Ｐ１＊、Ｐ２＊の更新されたセットから２つの復号されたチャネルＰ１＊、Ｄ３の第２の選択されたペアを選択するように適合されてもよい。更に、装置は、例えば、２つの識別部の第２のペアの２つの識別部のうちの第１の識別部を、正確に２つの処理されたチャネルＰ３＊、Ｐ４＊の第２のグループの第１の処理されたチャネルに割り当てるように適合されてもよい。更に、装置は、例えば、２つの識別部の第２のペアの２つの識別部のうちの第２の識別部を、正確に２つの処理されたチャネルＰ３＊、Ｐ４＊の第２のグループの第２の処理されたチャネルに割り当てるように適合されてもよい。
特定の実施形態では、第１のマルチチャネルパラメータＭＣＨ＿ＰＡＲ２は、例えば、３つ以上の識別部のセットの２つの識別部の前記第１のペアを示すことができる。ノイズ充填モジュール２２０は、例えば、２つの識別部の前記第１のペアの２つの識別部に割り当てられる２つの前オーディオ出力チャネルを選択することによって、３つ以上の前オーディオ出力チャネルから正確に２つの前オーディオ出力チャネルを選択するように適合されてもよい。
既に概説したように、図７は、一実施形態による、少なくとも３つのチャネル（ＣＨ１〜ＣＨ３）を有するマルチチャネル信号１０１を符号化するための装置１００を示す。
この装置は、第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択するために、かつマルチチャネル処理動作１１０、１１２を用いて選択されたペアを処理して選択されたペア用の初期マルチチャネルパラメータＭＣＨ＿ＰＡＲ１を導出し、かつ第１の処理されたチャネルＰ１、Ｐ２を導出するために、第１の反復ステップにおいて、少なくとも３つのチャネル（ＣＨ〜ＣＨ３）の各ペアの間のチャネル間相関値を計算するのに適合する反復処理部１０２を含む。
反復処理部１０２は、処理されたチャネルＰ１の少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、更なるマルチチャネルパラメータＭＣＨ＿ＰＡＲ２及び第２の処理されたチャネルＰ３、Ｐ４を導出するように適合される。
更に、装置は、符号化されたチャネル（Ｅ１〜Ｅ３）を得るために、反復処理部１０４によって実行される反復処理から生じるチャネル（Ｐ２〜Ｐ４）を符号化するように適合されたチャネルエンコーダを含む。
更に、この装置は、符号化されたチャネル（Ｅ１〜Ｅ３）、初期マルチチャネルパラメータ及び更なるマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２を有する符号化されたチャネル信号１０７を生成するように適合された出力インタフェース１０６を備える。
更に、装置は、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、復号化装置が充填すべきか否かを示す情報を含む符号化されたマルチチャネル信号１０７を生成するのに適合される出力インタフェース１０６を備える。
従って、符号化装置は、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、復号化装置が充填すべきか否かを信号伝達することができる。
一実施形態によれば、初期マルチチャネルパラメータ及び更なるマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２の各々は、正確に２つのチャネルを示し、正確に２つのチャネルの各々は、符号化されたチャネル（Ｅ１〜Ｅ３）の１つであるか、第１又は第２の処理されたチャネルＰ１、Ｐ２、Ｐ３、Ｐ４のうちの１つ、又は少なくとも３つのチャネルのうちの１つ（ＣＨ１〜ＣＨ３）である。
出力インタフェース１０６は、例えば、符号化されたマルチチャネル信号１０７を生成するように適合され、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示す情報が、初期及びマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２のそれぞれについて、初期及び更なるマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２のうちの前記１つによって示される正確に２つのチャネルの少なくとも１つのチャネルについて、前記少なくとも１つのチャネルの全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたスペクトルデータを用いて、復号化装置が充填すべきか否かを示す情報を備える。
更に以下では、そのような情報が、現在処理されているＭＣＴチャネルペアにおいてステレオ充填を適用すべきか否かを示すｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］値を使用して送信される特定の実施形態について説明する。
図１３は、実施形態によるシステムを示す。
このシステムは、上述のような符号化装置１００と、上述の実施形態の１つに従う復号化装置２０１とを備える。
復号化装置２０１は、符号化装置１００から符号化装置１００によって生成された符号化されたマルチチャネル信号１０７を受信するように構成される。
更に、符号化されたマルチチャネル信号１０７が提供される。
符号化されたマルチチャネル信号は、
−符号化されたチャネル（Ｅ１〜Ｅ３）と、
−マルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２と、
−全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたスペクトルデータを用いて、復号化装置が充填すべきか否かを示す情報と
を含む。
一実施形態によれば、符号化されたマルチチャネル信号は、例えば、マルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２として２つ以上のマルチチャネルパラメータを含むことができる。
２つ以上のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２の各々は、例えば正確に２つのチャネルを示すことができ、正確に２つのチャネルの各々は、符号化されたチャネル（Ｅ１〜Ｅ３）の１つであるか、又は複数の処理されたチャネルＰ１、Ｐ２ 、Ｐ３、Ｐ４のうちの１つ、又は少なくとも３つの元の（例えば、未処理の）チャネル（ＣＨ〜ＣＨ３）のうちの１つであってもよい。
全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示す情報が、例えば、２つ以上のマルチチャネルパラメータＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２のそれぞれについて、２つ以上のマルチチャネルパラメータのうちの前記１つによって示される正確に２つのチャネルの少なくとも１つのチャネルについて、前記少なくとも１つのチャネルの全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたスペクトルデータを用いて、復号化装置が充填すべきか否かを示す情報を備えてもよい。
既に概説したように、更に以下では、そのような情報が、現在処理されているＭＣＴチャネルペアにおいてステレオ充填を適用すべきか否かを示すｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］値を使用して送信される特定の実施形態について説明する。
以下では、一般的な概念及び特定の実施形態をより詳細に説明する。
実施形態は、パラメトリック低ビットレート符号化モードのために、任意のステレオツリーを使用することの柔軟性で、ステレオ充填とＭＣＴとの組み合わせを実現する。
既知の結合ステレオ符号化ツールを階層的に適用することにより、チャネル間信号依存性を利用する。より低いビットレートのために、実施形態は、ディスクリートのステレオ符号化ボックスとステレオ充填ボックスの組み合わせを使用するようにＭＣＴを拡張する。従って、セミパラメトリック符号化は、例えば、類似のコンテンツを有するチャネル、即ち最も高い相関を有するチャネルペアに適用することができるが、異なるチャネルは、独立して又は非パラメトリック表現を介して符号化することができる。従って、ＭＣＴビットストリーム構文は、ステレオ充填が許可されている場合、及びアクティブな場合に信号を送ることができるように拡張される。
実施形態は、任意のステレオ充填ペアのための以前のダウンミックスの生成を実現する。
ステレオ充填は、周波数領域での量子化によるスペクトルホールの充填を改善するために、前フレームのダウンミックスの使用に依存する。しかし、ＭＣＴと組み合わせて、結合符号化されたステレオペアのセットは、現在、経時的に変化することが可能になっている。結果として、２つの結合符号化されたチャネルは、前フレームにおいて、即ちツリー構成が変更されたときに結合符号化されなかった可能性がある。
前ダウンミックスを推定するために、以前に復号された出力チャネルが保存され、逆ステレオ動作で処理される。所与のステレオボックスについては、これは、現フレームのパラメータと、処理されたステレオボックスのチャネルインデックスに対応する前フレームの復号化された出力チャネルを使用して行われる。
独立フレーム（前フレームデータを考慮に入れずに復号可能なフレーム）又は変換長の変化のために、前出力チャネル信号が利用可能でない場合、対応するチャネルの前チャネルバッファはゼロに設定される。従って、以前のチャネル信号の少なくとも１つが利用可能である限り、非ゼロの前ダウンミックスを計算することができる。
ＭＣＴが予測ベースステレオボックスを使用するように構成されている場合、前ダウンミックスは、ステレオ充填ペアに指定された逆ＭＳ操作で計算され、好ましくは、予測方向フラグ（ＭＰＥＧ−Ｈ構文のｐｒｅｄ＿ｄｉｒ）に基づいて以下の２つの式のうちの１つを使用する。
、
ここで、
は任意の実数スカラーと正スカラーである。
ＭＣＴが回転ベースのステレオボックスを使用するように構成されている場合、前ダウンミックスは、負の回転角度を用いる回転を使用して計算される。
従って、次のように与えられる回転に対して、
逆回転は次のように計算され、
は前出力チャネル
および
の所望の前ダウンミックスである。
実施形態は、ＭＣＴにおけるステレオ充填の応用を実現する。
単一のステレオボックスにステレオ充填を適用する方法については、［１］、［５］に説明される。
単一のステレオボックスに関して、ステレオ充填は、所与のＭＣＴチャネルペアの第２のチャネルに適用される。
とりわけ、ＭＣＴと組み合わせたステレオ充填の違いは次の通りである。
ＭＣＴツリー構成は、現フレームでステレオ充填が許可されているか否かを信号伝達できるように、フレームごとに１つの信号伝達ビットによって拡張されている。
好ましい実施形態では、現フレームにステレオ充填が許可されている場合、ステレオボックスでステレオ充填を起動するための１つの追加ビットが各ステレオボックスに対して送信される。デコーダにおいて適用されたステレオ充填をどのボックスが有するべきかをエンコーダ側で制御できるため、これは好ましい実施形態である。
第２の実施形態では、現フレームにステレオ充填が許可されている場合、ステレオ充填は全てのステレオボックスで許可され、追加のビットは個々のステレオボックスごとに送信されない。この場合、個々のＭＣＴボックスにおけるステレオ充填の選択的適用は、デコーダによって制御される。
更なる概念及び詳細な実施形態は、以下で説明される。
実施形態は、低ビットレートマルチチャネル動作点の品質を改善する。
周波数領域（ＦＤ）符号化チャネルペア要素（ＣＰＥ）において、エンコーダにおける非常に粗い量子化によって引き起こされるスペクトルホールの知覚的に改善された充填のために、ＭＰＥＧ−Ｈ ３Ｄオーディオ規格は、［１］の５．５．５．４．９項に記載されているステレオ充填ツールの使用を可能にする。このツールは、特に中及び低ビットレートで符号化された２チャネルステレオに対して有益であることが示された。
［２］のセクション７で説明されているマルチチャネル符号化ツール（ＭＣＴ）が導入され、これにより、マルチチャネルセットアップにおいて、時変チャネル間依存性を利用するために、フレームごとに結合符号化されたチャネルペアの柔軟な信号適応型定義が可能になる。ＭＣＴのメリットは、各チャネルが個々のシングルチャネル要素（ＳＣＥ）に存在するマルチチャネル設定の効率的な動的結合符号化に使用する場合に特に著しく、先験的に確立されなければならない従来のＣＰＥ＋ＳＣＥ（＋ＬＦＥ）構成とは異なり、これにより、結合チャネル符号化を１つのフレームから次のフレームに引き継ぐ及び／又は再構成することが可能になる。
ＣＰＥを使用せずにマルチチャネル・サラウンド・サウンドを符号化することは、ＣＰＥでのみ利用可能な結合ステレオツール−予測Ｍ／Ｓ符号化およびステレオ充填−を利用することができないという欠点があり、これは特に中及び低ビットレートで不利である。ＭＣＴはＭ／Ｓツールの代用として機能することができるが、現在ステレオ充填ツールの代替品は入手できない。
実施形態は、ＭＣＴビットストリーム構文をそれぞれの信号伝達ビットで拡張し、チャネル要素タイプに関係なく任意のチャネルペアにステレオ充填の適用を一般化することによって、ＭＣＴのチャネルペア内でもステレオ充填ツールの使用を可能にする。
いくつかの実施形態は、例えば、以下のように、ＭＣＴにおけるステレオ充填の信号伝達を実現することができる。
ＣＰＥでは、［１］の５．５．５．４．９．４項に記載されているように、ステレオ充填ツールの使用が、第２のチャネルのＦＤノイズ充填情報内で信号伝達される。ＭＣＴを利用する場合、全てのチャネルは潜在的に「第２のチャネル」である（要素間のチャネルペアの可能性があるため）。従って、ＭＣＴ符号化チャネルペアごとに追加ビットを用いて明示的にステレオ充填を信号伝達することが提案される。ステレオ充填が特定のＭＣＴ「ツリー」インスタンスのいずれのチャネルペアにも使用されていない場合、この追加ビットが不要になるように、ＭｕｌｔｉｃｈａｎｎｅｌＣｏｄｉｎｇＦｒａｍｅ（）［２］のＭＣＴＳｉｇｎａｌｉｎｇＴｙｐｅ要素の現在予約されている２つのエントリを使用して、前述のチャネルペアごとの追加の存在を信号伝達する。
以下、詳細な説明を行う。
いくつかの実施形態は、例えば、以下のように、前ダウンミックスの計算を実現することができる。
ＣＰＥにおけるステレオ充填は、対応する帯域の送信スケールファクタ（これは、前記帯域がゼロに完全に量子化されているため未使用である）に従ってスケーリングされた、前フレームのダウンミックスのそれぞれのＭＤＣＴ係数の加算によって、第２のチャネルの特定の「空の」スケールファクタ帯域を充填する。対象チャネルのスケールファクタ帯域を使用して制御される重み付け加算のプロセスは、ＭＣＴの文脈においても同様に使用することができる。しかし、特にＭＣＴ「ツリー」構成は経時的に変化する可能性があるため、ステレオ充填のソーススペクトル、即ち前フレームのダウンミックスは、ＣＰＥとは異なる方法で計算されなければならない。
ＭＣＴにおいて、前ダウンミックスは、所与の結合チャネルペアに対して現フレームのＭＣＴパラメータを使用して、最後のフレームの復号された出力チャネル（ＭＣＴ復号化後に格納される）から導き出すことができてもよい。予測Ｍ／Ｓベースの結合符号化を適用するペアの場合、前ダウンミックスは、現フレームの方向インジケータに応じて、適切なチャネルスペクトルの和又は差のいずれかがＣＰＥステレオ充填の場合と同じになる。Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ回転ベース結合符号化を使用するステレオペアの場合、前ダウンミックスは、現フレームの回転角度で計算された逆回転を表す。再度、詳細な説明を以下に提供する。
複雑性の評価では、中および低ビットレートツールであるＭＣＴのステレオ充填では、低／中及び高ビットレートの両方で測定した場合、最悪の複雑性を増やすとは考えられない。更に、ステレオ充填を使用することは、典型的には、より多くのスペクトル係数がゼロに量子化されることと一致し、それにより、コンテキストベースの算術デコーダのアルゴリズムの複雑性を低減させる。最大Ｎ／３ステレオ充填チャネルをＮチャネルサラウンド構成で使用し、ステレオ充填の実行につき追加の０．２ＷＭＯＰＳを使用すると仮定すると、コーダのサンプリングレートが４８ｋＨｚでＩＧＦツールが１２ ｋＨｚより上でのみ動作する場合、ピークの複雑性は５．１に対してわずか０．４ＷＭＯＰＳ、１１．１チャネルに対して０．８ＷＭＯＰＳのみ増加する。これは、デコーダ全体の複雑性の２％未満になる。
実施形態は、以下のようにＭｕｌｔｉｃｈａｎｎｅｌＣｏｄｉｎｇＦｒａｍｅ（）要素を実施する。
いくつかの実施形態によれば、ＭＣＴにおけるステレオ充填は、以下のように実施されてもよい。
［１］の５．５．５．４．９項に記述されているチャネルペア要素のＩＧＦのステレオ充填と同様に、マルチチャネル符号化ツール（ＭＣＴ）におけるステレオ充填は、「空の」スケールファクタ帯域（完全にゼロに量子化されている）を、前フレームの出力スペクトルのダウンミックスを使用してノイズ充填開始周波数以上で充填する。
ＭＣＴ結合チャネルペア（表ＡＭＤ４．４のｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］≠０）でステレオ充填がアクティブな場合、ペアの第２のチャネルのノイズ充填領域（即ち、ｎｏｉｓｅＦｉｌｌｉｎｇＳｔａｒｔＯｆｆｓｅｔ以上で開始）の全ての 「空の」のスケールファクタ帯域は充填されて、前フレームの（ＭＣＴ適用後の）対応する出力スペクトルのダウンミックスを使用して、特定の目標エネルギーまで充填される。これは、ＦＤノイズ充填（ＩＳＯ／ＩＥＣ ２３００３−３：２０１２の７．２項を参照）の後で、スケールファクタとＭＣＴ結合ステレオ適用の前に行われる。ＭＣＴ処理が完了した後の全ての出力スペクトルは、次のフレームで潜在的なステレオ充填のために保存される。
動作制約は、例えば、第２のチャネルの空き帯域におけるステレオ充填アルゴリズム（ｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］≠０）のカスケード式実行が、第２のチャネルが同じ場合、ｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］≠０を使用する任意の後続のＭＣＴステレオペアに対してサポートされないことであってもよい。チャネルペア要素では、［１］の５．５．５．４．９項に従った第２の（残余）チャネルのアクティブＩＧＦステレオ充填は、同じフレームの同じチャネルでのＭＣＴステレオ充填の任意の後続適用よりも優先され、従って無効になる。
用語及び定義は、例えば、以下のように定義することができる。
ｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］ 現在処理されたＭＣＴチャネルペアのステレオ充填の使用を示す
ｃｈ１、ｃｈ２ 現在処理されたＭＣＴチャネルペアのチャネルのインデックス
ｓｐｅｃｔｒａｌ＿ｄａｔａ［］［］ 現在処理されたＭＣＴチャネルペアにおけるチャネルのスペクトル係数
ｓｐｅｃｔｒａｌ＿ｄａｔａ＿ｐｒｅｖ［］［］ 前フレームにおけるＭＣＴ処理が完了した後の出力スペクトル
ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］［］ 現在処理されたＭＣＴチャネルペアによって与えられるインデックスを用いる前フレームの出力チャネルの推定ダウンミックス
ｎｕｍ＿ｓｗｂ スケールファクタ帯域の総数、ＩＳＯ／ＩＥＣ２３００３−３、６．２．９．４項を参照
ｃｃｆｌ ｃｏｒｅＣｏｄｅｒＦｒａｍｅＬｅｎｇｔｈ、変換長、ＩＳＯ／ＩＥＣ ２３００３−３、６．１項を参照
ｎｏｉｓｅＦｉｌｌｉｎｇＳｔａｒｔＯｆｆｓｅｔ ＩＳＯ／ＩＥＣ２３００３−３、表１０９のｃｃｆｌに応じて定義されるノイズ充填開始ライン。
ｉｇｆ＿ＷｈｉｔｅｎｉｎｇＬｅｖｅｌ ＩＧＦにおけるスペクトルホワイトニング、ＩＳＯ／ＩＥＣ２３００８−３、５．５．５．４．７項参照
ｓｅｅｄ［］ ｒａｎｄｏｍＳｉｇｎ（）によって使用されるノイズ充填シード、ＩＳＯ／ＩＥＣ２３００３−３、７．２項参照。
いくつかの特定の実施形態では、復号化プロセスは、例えば以下のように記述されてもよい。
ＭＣＴステレオ充填は、以下に説明する４つの連続動作を使用して実行される。
ステップ１：ステレオ充填アルゴリズムのための第２のチャネルのスペクトルの準備
所与のＭＣＴチャネルペアのステレオ充填インジケータｈａｓＳｔｅｒｅｏＦｉｌｌｉｎｇ［ｐａｉｒ］が０の場合、ステレオ充填は使用されず、以下のステップは実行されない。そうでない場合、ペアの第２のチャネルスペクトルであるｓｐｅｃｔｒａｌ＿ｄａｔａ［ｃｈ２］に以前に適用されていた場合、スケールファクタ適用は実行されない。
ステップ２：所与のＭＣＴチャネルペアに対する前ダウンミックススペクトルの生成
前ダウンミックスは、ＭＣＴ処理の適用後に格納された前フレームの出力信号ｓｐｅｃｔｒａｌ＿ｄａｔａ＿ｐｒｅｖ［］［］から推定される。前出力チャネル信号が利用できない場合、例えば、独立フレーム（ｉｎｄｅｐＦｌａｇ＞０）、変換長変更又はｃｏｒｅ＿ｍｏｄｅ＝＝１の場合、対応するチャネルの前チャネルバッファはゼロに設定される。
予測ステレオペア、即ち、ＭＣＴＳｉｇｎａｌｉｎｇＴｙｐｅ＝＝０については、［１］の５．５．５．４．９．４項のステップ２で定義されたｄｏｗｎｍｉｘ＿ｐｒｅｖ［］［］として前出力チャネルから前ダウンミックスが計算され、ｓｐｅｃｔｒｕｍ［ｗｉｎｄｏｗ］［］はｓｐｅｃｔｒａｌ＿ｄａｔａ［］［ｗｉｎｄｏｗ］で表される。
回転ステレオペアについては、即ちＭＣＴＳｉｇｎａｌｉｎｇＴｙｐｅ＝＝１の場合、［２］の５．５．Ｘ．３．７．１項で定義された回転操作を反転することによって、前出力チャネルから前ダウンミックスが計算される。
ａｐｐｌｙ＿ｍｃｔ＿ｒｏｔａｔｉｏｎ＿ｉｎｖｅｒｓｅ（＊Ｒ、＊Ｌ、＊ｄｍｘ、ａＩｄｘ、ｎＳａｍｐｌｅｓ）
｛
ｆｏｒ（ｎ＝０；ｎ＜ｎＳａｍｐｌｅｓ；ｎ＋＋）｛
ｄｍｘ＝Ｌ［ｎ］＊ｔａｂＩｎｄｅｘＴｏＣｏｓＡｌｐｈａ［ａＩｄｘ］＋Ｒ［ｎ］＊ｔａｂＩｎｄｅｘＴｏＳｉｎＡｌｐｈａ［ａＩｄｘ］；
｝
｝
前フレームのＬ＝ｓｐｅｃｔｒａｌ＿ｄａｔａ＿ｐｒｅｖ［ｃｈ１］［］、Ｒ＝ｓｐｅｃｔｒａｌ＿ｄａｔａ＿ｐｒｅｖ［ｃｈ２］［］、ｄｍｘ＝ｄｏｗｎｍｉｘ＿ｐｒｅｖ［］を使用し、現フレームとＭＣＴペアのａＩｄｘ、ｎ個のサンプルを使用する。
ステップ３：第２のチャネルの空き帯域におけるステレオ充填アルゴリズムの実行
ステレオ充填は、［１］の５．５．５．４．９．４項のステップ３のように、ＭＣＴペアの第２のチャネルに適用され、ｓｐｅｃｔｒｕｍ［ｗｉｎｄｏｗ］は
ｓｐｅｃｔｒａｌ＿ｄａｔａ［ｃｈ２］［ｗｉｎｄｏｗ］によって表され、ｍａｘ＿ｓｆｂ＿ｓｔｅはｎｕｍ＿ｓｗｂで与えられる。
ステップ４：スケールファクタの適用とノイズ充填シードの適応同期。
［１］の５．５．５．４．９．４項のステップ３の後、スケールファクタはＩＳＯ／ＩＥＣ ２３００３−３の７．３のように結果のスペクトルに適用され、空の帯域のスケールファクタは通常のスケールファクタのように処理される。スケール係数が定義されていない場合、例えば、ｍａｘ＿ｓｆｂよりも上にあるため、その値はゼロに等しくなる場合がある。ＩＧＦが使用され、ｉｇｆ＿ＷｈｉｔｅｎｉｎｇＬｅｖｅｌが第２のチャネルのタイルのいずれかで２に等しく、両方のチャネルが８個の短い変換を使用しない場合、ＭＣＴペアの両方のチャネルのスペクトルエネルギーは、ｄｅｃｏｄｅ＿ｍｃｔ（）を実行する前に、インデックスｎｏｉｓｅＦｉｌｌｉｎｇＳｔａｒｔＯｆｆｓｅｔからインデックスｃｃｆｌ／２−１までの範囲で計算される。第１のチャネルの計算されたエネルギーが第２のチャネルのエネルギーの８倍を超える場合、第２のチャネルのシード［ｃｈ２］は第１のチャネルのシード［ｃｈ１］に等しく設定される。
いくつかの態様は、装置の文脈で説明されているが、これらの態様は、対応する方法の説明も表しており、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロック又は対応する装置のアイテム又は特徴の記述も表す。方法ステップの一部又は全部は、例えば、マイクロ処理部、プログラム可能なコンピュータ又は電子回路のようなハードウェア装置によって（又は使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つ以上は、そのような装置によって実行されてもよい。
特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで、又は少なくとも部分的にハードウェアで、又は少なくとも部分的にソフトウェアで実施することができる。実施形態は、中に格納される電子的に読み取り可能な制御信号を有し、各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。従って、デジタル記憶媒体はコンピュータ可読であってもよい。
本発明によるいくつかの実施形態は、プログラム可能なコンピュータシステムと協働して、本明細書に記載の方法の１つが実行されるような、電子的に読み取り可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、本方法の１つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。
他の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに格納される。
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
従って、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含み、そこに記録される、データキャリア（又はデジタル記憶媒体又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非一時的である。
従って、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号のシーケンスである。データストリーム又は信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。
更なる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成された、又は適用される処理手段、例えばコンピュータ又はプログラマブル論理装置を含む。
更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明による更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを受信機に転送（例えば、電子的に又は光学的に）するように構成された装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置などであってもよい。この装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
いくつかの実施形態では、プログラマブルロジック装置（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部又は全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法の１つを実行するためにマイクロ処理部と協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
ここに記載された方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータの組み合わせを使用して実行されてもよい。
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載された構成及び詳細の変更及び変形は、当業者には明らかであることが理解される。従って、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の記載及び説明によって示される特定の詳細によっては限定されないことが意図される。

Claims (22)

  1. 前フレームの前の符号化されたマルチチャネル信号を復号して３つ以上の前オーディオ出力チャネルを取得し、現フレームの現在の符号化されたマルチチャネル信号（１０７）を復号して３つ以上の現オーディオ出力チャネルを取得する装置（２０１）であって、
    前記装置（２０１）は、インタフェース（２１２）、チャネルデコーダ（２０２）、前記３つ以上の現オーディオ出力チャネルを生成するためのマルチチャネル処理部（２０４）、及びノイズ充填モジュール（２２０）を含み、
    前記インタフェース（２１２）は、前記現在の符号化されたマルチチャネル信号（１０７）を受信し、第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）を含むサイド情報を受信するように適合され、
    前記チャネルデコーダ（２０２）は、前記現フレームの前記現在の符号化されたマルチチャネル信号を復号して、前記現フレームの３つ以上の復号されたチャネルのセット（Ｄ１、Ｄ２、Ｄ３）を取得するように適合され、
    前記マルチチャネル処理部（２０４）は、前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）に応じて、前記３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）のセットから２つの復号されたチャネルの第１の選択されたペア（Ｄ１、Ｄ２）を選択するように適合され、
    前記マルチチャネル処理部（２０４）は、２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の第１のグループを生成し、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の更新されたセットを取得するように適合され、
    前記マルチチャネル処理部（２０４）が、２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のペアを生成する前に、前記ノイズ充填モジュール（２２０）は、２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアの前記２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、前記３つ以上の前オーディオ出力チャネルの全てではなく、２つ以上を使用してミキシングチャネルを生成し、前記ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される前記１つ以上の周波数帯域の前記スペクトル線を充填するのに適合し、前記ノイズ充填モジュール（２２０）は、前記サイド情報に応じて前記３つ以上の前オーディオ出力チャネルから前記ミキシングチャネルを生成するために使用される前記２つ以上の前オーディオ出力チャネルを選択するのに適合される、
    装置。
  2. 前記ノイズ充填モジュール（２２０）は、前記３つ以上の前オーディオ出力チャネルのうちの前記２つ以上の前オーディオ出力チャネルとして、前記３つ以上の前オーディオ出力チャネルのうちの正確に２つの前オーディオ出力チャネルを使用して、前記ミキシングチャネルを生成するのに適合され、
    前記ノイズ充填モジュール（２２０）は、前記サイド情報に応じて、前記３つ以上の前オーディオ出力チャネルから前記正確に２つの前オーディオ出力チャネルを選択するように適合される、
    請求項１に記載の装置（２０１）。
  3. 前記ノイズ充填モジュール（２２０）は、式
    又は式
    に基づいて、正確に２つの前オーディオ出力チャネルを使用して、前記ミキシングチャネルを生成するように適合され、
    ここでＤｃｈは、前記ミキシングチャネルであり、
    は、前記正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルであり、
    は、前記正確な２つの前オーディオ出力チャネルのうちの第２のオーディオ出力チャネルであり、前記正確な２つの前オーディオ出力チャネルのうちの前記第１のオーディオ出力チャネルとは異なり、ｄは、実数の正のスカラーである、
    請求項２に記載の装置（２０１）。
  4. 前記ノイズ充填モジュール（２２０）は、式
    又は式
    に基づいて、正確に２つの前オーディオ出力チャネルを使用して、前記ミキシングチャネルを生成するように適合され、
    ここで
    は、前記ミキシングチャネルであり、
    は、前記正確な２つの前オーディオ出力チャネルのうちの第１のオーディオ出力チャネルであり、
    は、前記正確な２つの前オーディオ出力チャネルのうちの第２のオーディオ出力チャネルであり、前記正確な２つの前オーディオ出力チャネルのうちの前記第１のオーディオ出力チャネルとは異なり、αは、回転角度である、
    請求項２に記載の装置（２０１）。
  5. 前記サイド情報は、前記現フレームに割り当てられている現在のサイド情報であり、
    前記インタフェース（２１２）は、前記前フレームに割り当てられた以前のサイド情報を受信するように構成され、前記以前のサイド情報は以前の角度を含み、
    前記インタフェース（２１２）は、現在の角度を含む前記現在のサイド情報を受信するように適合され、
    前記ノイズ充填モジュール（２２０）は、前記現在のサイド情報の前記現在の角度を、前記回転角度αとして使用するように適合され、前記以前のサイド情報の前記以前の角度を前記回転角度αとして使用しないように適合される、
    請求項４に記載の装置（２０１）。
  6. 前記ノイズ充填モジュール（２２０）は、前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）に応じて、前記３つ以上の前オーディオ出力チャネルから前記正確に２つの前オーディオ出力チャネルを選択するように適合される、請求項２から５のいずれか一項に記載の装置（２０１）。
  7. 前記インタフェース（２１２）は、前記現在の符号化されたマルチチャネル信号（１０７）を受信し、前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）および第２のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）を含む前記サイド情報を受信するように適合され、
    前記マルチチャネル処理部（２０４）は、前記第２のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）に応じて、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の前記更新されたセットから２つの復号されたチャネル（Ｐ１＊、Ｄ３）の第２の選択されたペアを選択するように適合され、２つの復号されたチャネル（Ｐ１＊、Ｄ３）の前記第２の選択されたペアの少なくとも１つのチャネル（Ｐ１＊）は、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のペアの１つのチャネルであり、
    前記マルチチャネル処理部（２０４）は、２つの復号されたチャネル（Ｐ１、Ｄ３）の前記第２の選択されたペアに基づいて、２つ以上の処理されたチャネル（Ｐ３＊、Ｐ４＊）の第２のグループを生成し、３つ以上の復号されたチャネルの前記更新されたセットを更に更新するように適合される、
    請求項２から６のいずれか一項に記載の装置（２０１）。
  8. 前記マルチチャネル処理部２０４は、２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアに基づいて、正確に２つの処理されたチャネル（Ｐ１＊、Ｐ２＊）の第１のグループを生成することによって、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のグループを生成するように適合され、
    前記マルチチャネル処理部（２０４）は、正確に２つの処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のグループによって、３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）の前記セットにおいて２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアを置き換え、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の前記更新されたセットを得るように適合され、
    前記マルチチャネル処理部（２０４）は、２つの復号されたチャネル（Ｐ１＊、Ｄ３）の前記第２の選択されたペアに基づいて、正確に２つの処理されたチャネル（Ｐ３＊、Ｐ４＊）の前記第２のグループを生成することによって、２つ以上の処理されたチャネル（Ｐ３＊、Ｐ４＊）の第２のグループを生成するように適合され、
    前記マルチチャネル処理部（２０４）は、正確に２つの処理されたチャネル（Ｐ３＊、Ｐ４＊）の前記第２のグループによって、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の前記更新されたセットにおいて２つの復号されたチャネル（Ｐ１＊、Ｄ３）の前記第２の選択されたペアを置き換え、３つ以上の復号されたチャネルの前記更新されたセットを更に更新するように適合される、
    請求項７に記載の装置（２０１）。
  9. 前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）は、３つ以上の復号されたチャネルの前記セットから２つの復号されたチャネル（Ｄ１、Ｄ２）を示し、
    前記マルチチャネル処理部（２０４）は、前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）によって示される前記２つの復号されたチャネル（Ｄ１、Ｄ２）を選択することによって、３つ以上の復号されたチャネルの前記セット（Ｄ１、Ｄ２、Ｄ３）から２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアを選択するように適合され、
    前記第２のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）は、３つ以上の復号されたチャネルの前記更新されたセットから２つの復号されたチャネル（Ｐ１＊、Ｄ３）を示し、
    前記マルチチャネル処理部（２０４）は、前記第２のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）によって示される２つの復号されたチャネル（Ｐ１＊、Ｄ３）を選択することによって、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の前記更新されたセットから、前記２つの復号されたチャネル（Ｐ１＊、Ｄ３）の前記第２の選択されたペアを選択するように適合される、
    請求項８に記載の装置（２０１）。
  10. 前記装置（２０１）は、前記３つ以上の前オーディオ出力チャネルの各前オーディオ出力チャネルに、識別部の前記セットから識別部を割り当てるように適合され、その結果、前記３つ以上の前オーディオ出力チャネルの各前オーディオ出力チャネルが、識別部の前記セットのうちの正確に１つの識別部に割り当てられ、識別部の前記セットの各識別部が、前記３つ以上の前オーディオ出力チャネルのうちの正確に１つの前オーディオ出力チャネルに割り当てられ、
    前記装置（２０１）は、前記３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）の前記セットの各チャネルに、識別部の前記セットから識別部を割り当てるように適合され、その結果、前記３つ以上の復号されたチャネルの前記セットの各チャネルが、識別部の前記セットのうちの正確に１つの識別部に割り当てられ、識別部の前記セットの各識別部が、前記３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）の前記セットの正確に１つのチャネルに割り当てられ、
    前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）は、前記３つ以上の識別部の前記セットの２つの識別部の第１のペアを示し、
    前記マルチチャネル処理部（２０４）は、２つの識別部の前記第１のペアの２つの識別部に割り当てられる２つの復号されたチャネル（Ｄ１、Ｄ２）を選択することによって、３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）の前記セットから前記２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアを選択するように適合され、
    前記装置（２０１）は、２つの識別部の前記第１のペアの前記２つの識別部のうちの第１の識別部を、正確に２つの処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のグループの第１の処理されたチャネルに割り当てるように適合され、
    前記装置（２０１）は、２つの識別部の前記第１のペアの前記２つの識別部のうちの第２の識別部を、正確に２つの処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のグループの第２の処理されたチャネルに割り当てるように適合される、
    請求項９に記載の装置（２０１）。
  11. 前記第２のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）は、前記３つ以上の識別部の前記セットの２つの識別部の第２のペアを示し、
    前記マルチチャネル処理部（２０４）は、２つの識別部の前記第２のペアの前記２つの識別部に割り当てられる前記２つの復号されたチャネル（Ｄ３，Ｐ１＊）を選択することによって、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の前記更新されたセットから前記２つの復号されたチャネル（Ｐ１＊、Ｄ３）の前記第２の選択されたペアを選択するように適合され、
    前記装置（２０１）は、２つの識別部の前記第２のペアの前記２つの識別部のうちの第１の識別部を、正確に２つの処理されたチャネル（Ｐ３＊、Ｐ４＊）の前記第２のグループの第１の処理されたチャネルに割り当てるように適合され、
    前記装置（２０１）は、２つの識別部の前記第２のペアの前記２つの識別部のうちの第２の識別部を、正確に２つの処理されたチャネル（Ｐ３＊、Ｐ４＊）の前記第２のグループの第２の処理されたチャネルに割り当てるように適合される、
    請求項１０に記載の装置（２０１）。
  12. 前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）は、前記３つ以上の識別部の前記セットの２つの識別部の前記第１のペアを示し、
    前記ノイズ充填モジュール（２２０）は、２つの識別部の前記第１のペアの前記２つの識別部に割り当てられる前記２つの前オーディオ出力チャネルを選択することによって、前記３つ以上の前オーディオ出力チャネルから前記正確に２つの前オーディオ出力チャネルを選択するように適合される、請求項１０又は１１に記載の装置（２０１）。
  13. 前記マルチチャネル処理部（２０４）が、２つの復号されたチャネルの前記第１の選択されたペア（Ｄ１、Ｄ２）に基づいて、２つ以上の処理されたチャネル（Ｐ１＊，Ｐ２＊）の前記第１のペアを生成する前に、前記ノイズ充填モジュール（２２０）は、２つの復号されたチャネルの前記第１の選択されたペア（Ｄ１、Ｄ２）の前記２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される前記１つ以上の周波数帯域である１つ以上のスケールファクタ帯域を識別し、前記３つ以上の前オーディオ出力チャネルの全てではなく、前記２つ以上の前オーディオ出力チャネルを使用して前記ミキシングチャネルを生成し、全てのスペクトル線がゼロに量子化される前記１つ以上のスケールファクタ帯域のそれぞれのスケールファクタに依存して、前記ミキシングチャネルの前記スペクトル線を使用して生成された前記ノイズを用いて、全てのスペクトル線がゼロに量子化される前記１つ以上の周波数帯域の前記スペクトル線を充填するのに適合される、
    請求項１から１２のいずれか一項に記載の装置（２０１）。
  14. 前記受信インタフェース（２１２）は、前記１つ以上のスケールファクタ帯域のそれぞれの前記スケールファクタを受信するように構成され、
    前記１つ以上のスケールファクタ帯域の各々の前記スケールファクタは、量子化前の前記スケールファクタ帯域の前記スペクトル線のエネルギーを示し、
    前記ノイズ充填モジュール（２２０）は、全てのスペクトル線がゼロに量子化された前記１つ以上のスケールファクタ帯域の各々について前記ノイズを生成するように適合され、その結果、前記スペクトル線のエネルギーは、前記周波数帯域の１つに前記ノイズを加えた後に、前記スケールファクタ帯域の前記スケールファクタによって示される前記エネルギーに対応する、
    請求項１３に記載の装置（２０１）。
  15. 少なくとも３つのチャネル（ＣＨ１〜ＣＨ３）を有するマルチチャネル信号（１０１）を符号化するための装置（１００）であって、前記装置は、
    第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択し、かつマルチチャネル処理動作（１１０，１１２）を用いて前記選択されたペアを処理して前記選択されたペア用の初期マルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）を導出し、かつ第１の処理されたチャネル（Ｐ１，Ｐ２）を導出するために、前記第１の反復ステップにおいて、前記少なくとも３つのチャネル（ＣＨ〜ＣＨ３）の各ペアの間のチャネル間相関値を計算するのに適した、反復処理部（１０２）であって、
    前記反復処理部（１０２）は、前記処理されたチャネル（Ｐ１）の少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、更なるマルチチャネルパラメータＭＣＨ＿ＰＡＲ２及び第２の処理されたチャネル（Ｐ３，Ｐ４）を導出するのに適合される、反復処理部と、
    符号化されたチャネル（Ｅ１〜Ｅ３）を得るために、前記反復処理部（１０４）によって実行される反復処理から生じるチャネル（Ｐ２〜Ｐ４）を符号化するのに適合されたチャネルエンコーダと、
    前記符号化されたチャネル（Ｅ１〜Ｅ３）、前記初期マルチパラメータ及び前記更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）を有し、更に復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、前記復号化装置が充填すべきか否かを示す情報を有する符号化されたマルチチャネル信号（１０７）を生成するのに適合された出力インタフェース（１０６）と、
    を備える、装置。
  16. 前記初期マルチチャネルパラメータ及び前記更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）の各々は、正確に２つのチャネルを示し、前記正確に２つのチャネルの各々は、前記符号化されたチャネル（Ｅ１〜Ｅ３）の１つであるか、前記第１又は前記第２の処理されたチャネル（Ｐ１、Ｐ２、Ｐ３、Ｐ４）のうちの１つ、又は前記少なくとも３つのチャネルのうちの１つ（ＣＨ〜ＣＨ３）であり、
    前記出力インタフェース（１０６）は、前記符号化されたマルチチャネル信号（１０７）を生成するように適合され、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示す前記情報が、前記初期及び前記マルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）のそれぞれについて、前記初期及び前記更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）のうちの前記１つによって示される前記正確に２つのチャネルの少なくとも１つのチャネルについて、前記少なくとも１つのチャネルの全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、前記復号化装置によって以前に復号された、前記以前に復号されたオーディオ出力チャネルに基づいて生成された前記スペクトルデータを用いて、前記復号化装置が充填すべきか否かを示す情報を備える、
    請求項１５に記載の装置（１００）。
  17. 請求項１５又は１６に記載の符号化装置（１００）と、
    請求項１から１４のいずれか一項に記載の復号化装置（２０１）と
    を含み、
    前記復号化装置（２０１）は、前記符号化装置（１００）から前記符号化装置（１００）によって生成された前記符号化されたマルチチャネル信号（１０７）を受信するように構成される、システム。
  18. 前フレームの前の符号化されたマルチチャネル信号を復号して３つ以上の前オーディオ出力チャネルを取得し、現フレームの現在の符号化されたマルチチャネル信号（１０７）を復号して３つ以上の現オーディオ出力チャネルを取得する方法であって、前記方法は、
    前記現在の符号化されたマルチチャネル信号（１０７）を受信し、第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）を含むサイド情報を受信することと、
    前記現フレームの前記現在の符号化されたマルチチャネル信号を復号して、前記現フレームの３つ以上の復号されたチャネルのセット（Ｄ１、Ｄ２、Ｄ３）を取得することと、
    前記第１のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）に応じて、前記３つ以上の復号されたチャネル（Ｄ１、Ｄ２、Ｄ３）のセットから２つの復号されたチャネルの第１の選択されたペア（Ｄ１、Ｄ２）を選択することと、
    ２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の第１のグループを生成し、３つ以上の復号されたチャネル（Ｄ３、Ｐ１＊、Ｐ２＊）の更新されたセットを取得することと、
    を含み、
    ２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアに基づいて、２つ以上の処理されたチャネル（Ｐ１＊、Ｐ２＊）の前記第１のペアが生成される前に、
    ２つの復号されたチャネル（Ｄ１、Ｄ２）の前記第１の選択されたペアの前記２つのチャネルの少なくとも１つについて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域を識別し、前記３つ以上の前オーディオ出力チャネルの全てではなく、２つ以上を使用してミキシングチャネルを生成し、前記ミキシングチャネルのスペクトル線を使用して生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される前記１つ以上の周波数帯域の前記スペクトル線を充填し、前記３つ以上の前オーディオ出力チャネルから前記ミキシングチャネルを生成するために使用される前記２つ以上の前オーディオ出力チャネルを選択することは前記サイド情報に依存する、
    方法。
  19. 少なくとも３つのチャネル（ＣＨ１〜ＣＨ３）を有するマルチチャネル信号（１０１）を符号化するための方法であって、前記方法は、
    第１の反復ステップにおいて、最高値を有するペア又は閾値より上の値を有するペアを選択し、かつマルチチャネル処理動作（１１０，１１２）を用いて前記選択されたペアを処理して前記選択されたペア用の初期マルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１）を導出し、かつ第１の処理されたチャネル（Ｐ１，Ｐ２）を導出するために、前記第１の反復ステップにおいて、前記少なくとも３つのチャネル（ＣＨ〜ＣＨ３）の各ペアの間のチャネル間相関値を計算することと、
    前記処理されたチャネル（Ｐ１）の少なくとも１つを使用して、第２の反復ステップで計算、選択及び処理を実行して、更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ２）及び第２の処理されたチャネル（Ｐ３，Ｐ４）を導出することと、
    符号化されたチャネル（Ｅ１〜Ｅ３）を得るために、前記反復処理部（１０４）によって実行される反復処理から生じるチャネル（Ｐ２〜Ｐ４）を符号化することと、
    前記符号化されたチャネル（Ｅ１〜Ｅ３）、前記初期マルチパラメータ及び前記更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）を有し、更に復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたノイズを用いて、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、前記復号化装置が充填すべきか否かを示す情報を有する符号化されたマルチチャネル信号（１０７）を生成することと、
    を備える、
    方法。
  20. コンピュータ又は信号処理部上で実行される場合、請求項１８又は１９に記載の方法を実施するためのコンピュータプログラム。
  21. 符号化されたチャネル（Ｅ１〜Ｅ３）と、
    マルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）と、
    全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置によって以前に復号された、以前に復号されたオーディオ出力チャネルに基づいて生成されたスペクトルデータを用いて、前記復号化装置が充填すべきか否かを示す情報と
    を含む、符号化されたマルチチャネル信号。
  22. 前記符号化されたマルチチャネル信号が、前記マルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）として、２つ以上のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）を含み、
    前記初期マルチチャネルパラメータ及び前記更なるマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）の各々は、正確に２つのチャネルを示し、前記正確に２つのチャネルの各々は、前記符号化されたチャネル（Ｅ１〜Ｅ３）の１つであるか、複数の処理されたチャネル（Ｐ１、Ｐ２、Ｐ３、Ｐ４）のうちの１つ、又は前記少なくとも３つの元のチャネルのうちの１つ（ＣＨ〜ＣＨ３）であり、
    前記情報は、全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、復号化装置が充填すべきか否かを示し、前記２つ以上のマルチチャネルパラメータ（ＭＣＨ＿ＰＡＲ１、ＭＣＨ＿ＰＡＲ２）のそれぞれについて、前記２つ以上のマルチチャネルパラメータのうちの前記１つによって示される前記正確に２つのチャネルの少なくとも１つのチャネルについて、前記少なくとも１つのチャネルの全てのスペクトル線がゼロに量子化される１つ以上の周波数帯域のスペクトル線を、前記復号化装置によって以前に復号された、前記以前に復号されたオーディオ出力チャネルに基づいて生成された前記スペクトルデータを用いて、前記復号化装置が充填すべきか否かを示す、
    請求項２１に記載の符号化マルチチャネル信号（１０７）。
JP2018543213A 2016-02-17 2017-02-14 マルチチャネル符号化におけるステレオ充填装置及び方法 Active JP6735053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16156209.5A EP3208800A1 (en) 2016-02-17 2016-02-17 Apparatus and method for stereo filing in multichannel coding
EP16156209.5 2016-02-17
PCT/EP2017/053272 WO2017140666A1 (en) 2016-02-17 2017-02-14 Apparatus and method for stereo filling in multichannel coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020117752A Division JP7122076B2 (ja) 2016-02-17 2020-07-08 マルチチャネル符号化におけるステレオ充填装置及び方法

Publications (2)

Publication Number Publication Date
JP2019509511A true JP2019509511A (ja) 2019-04-04
JP6735053B2 JP6735053B2 (ja) 2020-08-05

Family

ID=55361430

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018543213A Active JP6735053B2 (ja) 2016-02-17 2017-02-14 マルチチャネル符号化におけるステレオ充填装置及び方法
JP2020117752A Active JP7122076B2 (ja) 2016-02-17 2020-07-08 マルチチャネル符号化におけるステレオ充填装置及び方法
JP2022125967A Active JP7528158B2 (ja) 2016-02-17 2022-08-06 マルチチャネル符号化におけるステレオ充填装置及び方法
JP2024118284A Pending JP2024133390A (ja) 2016-02-17 2024-07-24 マルチチャネル符号化におけるステレオ充填装置及び方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020117752A Active JP7122076B2 (ja) 2016-02-17 2020-07-08 マルチチャネル符号化におけるステレオ充填装置及び方法
JP2022125967A Active JP7528158B2 (ja) 2016-02-17 2022-08-06 マルチチャネル符号化におけるステレオ充填装置及び方法
JP2024118284A Pending JP2024133390A (ja) 2016-02-17 2024-07-24 マルチチャネル符号化におけるステレオ充填装置及び方法

Country Status (19)

Country Link
US (3) US10733999B2 (ja)
EP (4) EP3208800A1 (ja)
JP (4) JP6735053B2 (ja)
KR (1) KR102241915B1 (ja)
CN (6) CN117116272A (ja)
AR (1) AR107617A1 (ja)
AU (1) AU2017221080B2 (ja)
BR (5) BR122023025319A2 (ja)
CA (1) CA3014339C (ja)
ES (1) ES2773795T3 (ja)
MX (3) MX2018009942A (ja)
MY (1) MY194946A (ja)
PL (1) PL3417452T3 (ja)
PT (1) PT3417452T (ja)
RU (1) RU2710949C1 (ja)
SG (1) SG11201806955QA (ja)
TW (1) TWI634548B (ja)
WO (1) WO2017140666A1 (ja)
ZA (1) ZA201805498B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037750B2 (en) * 2016-02-17 2018-07-31 RMXHTZ, Inc. Systems and methods for analyzing components of audio tracks
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
EP3497944A1 (en) * 2016-10-31 2019-06-19 Google LLC Projection-based audio coding
WO2018201113A1 (en) * 2017-04-28 2018-11-01 Dts, Inc. Audio coder window and transform implementations
EP3467824B1 (en) * 2017-10-03 2021-04-21 Dolby Laboratories Licensing Corporation Method and system for inter-channel coding
EP3740950B8 (en) 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
IL313348A (en) 2018-04-25 2024-08-01 Dolby Int Ab Combining high-frequency restoration techniques with reduced post-processing delay
IL278223B2 (en) 2018-04-25 2023-12-01 Dolby Int Ab Combining high-frequency audio reconstruction techniques
EP3588495A1 (en) 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding
SG11202007629UA (en) 2018-07-02 2020-09-29 Dolby Laboratories Licensing Corp Methods and devices for encoding and/or decoding immersive audio signals
EP3719799A1 (en) * 2019-04-04 2020-10-07 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. A multi-channel audio encoder, decoder, methods and computer program for switching between a parametric multi-channel operation and an individual channel operation
GB2589091B (en) * 2019-11-15 2022-01-12 Meridian Audio Ltd Spectral compensation filters for close proximity sound sources
TWI750565B (zh) * 2020-01-15 2021-12-21 原相科技股份有限公司 真無線多聲道揚聲裝置及其多音源發聲之方法
CN113948097A (zh) * 2020-07-17 2022-01-18 华为技术有限公司 多声道音频信号编码方法和装置
CN114023338A (zh) * 2020-07-17 2022-02-08 华为技术有限公司 多声道音频信号的编码方法和装置
CN113948096A (zh) * 2020-07-17 2022-01-18 华为技术有限公司 多声道音频信号编解码方法和装置
TWI744036B (zh) 2020-10-14 2021-10-21 緯創資通股份有限公司 聲音辨識模型訓練方法及系統與電腦可讀取媒體
CN113242546B (zh) * 2021-06-25 2023-04-21 南京中感微电子有限公司 音频转发方法、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011061A1 (en) * 2013-07-22 2015-01-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
WO2015036351A1 (en) * 2013-09-12 2015-03-19 Dolby International Ab Methods and devices for joint multichannel coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
RU2406164C2 (ru) * 2006-02-07 2010-12-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ для кодирования/декодирования сигнала
JP5363488B2 (ja) * 2007-09-19 2013-12-11 テレフオンアクチーボラゲット エル エム エリクソン（パブル） マルチチャネル・オーディオのジョイント強化
CN100555414C (zh) * 2007-11-02 2009-10-28 华为技术有限公司 一种dtx判决方法和装置
US7820321B2 (en) 2008-07-07 2010-10-26 Enervault Corporation Redox flow battery system for distributed energy storage
EP4407610A1 (en) * 2008-07-11 2024-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
CN102089814B (zh) * 2008-07-11 2012-11-21 弗劳恩霍夫应用研究促进协会 对编码的音频信号进行解码的设备和方法
JP5608660B2 (ja) * 2008-10-10 2014-10-15 テレフオンアクチーボラゲット エル エム エリクソン（パブル） エネルギ保存型マルチチャネルオーディオ符号化
WO2010053287A2 (en) * 2008-11-04 2010-05-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
SI2510515T1 (sl) 2009-12-07 2014-06-30 Dolby Laboratories Licensing Corporation Dekodiranje večkanalnih avdio kodiranih bitnih prenosov s pomočjo adaptivne hibridne transformacije
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
CA3097372C (en) 2010-04-09 2021-11-30 Dolby International Ab Mdct-based complex prediction stereo coding
WO2012122297A1 (en) * 2011-03-07 2012-09-13 Xiph. Org. Methods and systems for avoiding partial collapse in multi-block audio coding
TWI606441B (zh) * 2011-05-13 2017-11-21 三星電子股份有限公司 解碼裝置
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
CN103971689B (zh) * 2013-02-04 2016-01-27 腾讯科技（深圳）有限公司 一种音频识别方法及装置
WO2014210284A1 (en) * 2013-06-27 2014-12-31 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
EP2830045A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830061A1 (en) * 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP3208800A1 (en) 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011061A1 (en) * 2013-07-22 2015-01-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
JP2016530557A (ja) * 2013-07-22 2016-09-29 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多チャネルオーディオ符号化におけるノイズ充填
WO2015036351A1 (en) * 2013-09-12 2015-03-19 Dolby International Ab Methods and devices for joint multichannel coding
JP2016535316A (ja) * 2013-09-12 2016-11-10 ドルビー・インターナショナル・アーベー ジョイント・マルチチャネル符号化のための方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SASCHA DICK, ET AL.: "Discrete multi-Channel coding tool for MPEG-H 3D audio", 112. MPEG MEETING (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), vol. NR:M36591, JPN5019001705, June 2015 (2015-06-01), ISSN: 0004280085 *
守谷健弘他: "３ＧＰＰ標準ＥＶＳコーデックの概要−ＶｏＬＴＥ用高性能音声音響符号化−", 電子情報通信学会技術研究報告, vol. 114, no. 473, JPN6019045189, March 2015 (2015-03-01), pages 25 - 30, ISSN: 0004280084 *

Also Published As

Publication number Publication date
EP3417452A1 (en) 2018-12-26
MX2018009942A (es) 2018-11-09
RU2710949C1 (ru) 2020-01-14
CA3014339A1 (en) 2017-08-24
US20200357418A1 (en) 2020-11-12
MX2021009735A (es) 2021-09-08
CN109074810B (zh) 2023-08-18
KR102241915B1 (ko) 2021-04-19
EP3417452B1 (en) 2019-12-25
EP3629326A1 (en) 2020-04-01
EP3629326B1 (en) 2024-08-21
US10733999B2 (en) 2020-08-04
CN117153171A (zh) 2023-12-01
EP3208800A1 (en) 2017-08-23
PL3417452T3 (pl) 2020-06-29
US20230377586A1 (en) 2023-11-23
ES2773795T3 (es) 2020-07-14
BR112018016898A2 (pt) 2018-12-26
BR122023025309A2 (pt) 2024-02-27
CN117059108A (zh) 2023-11-14
BR122023025300A2 (pt) 2024-02-27
AU2017221080A1 (en) 2018-10-04
JP2020173474A (ja) 2020-10-22
CN117059109A (zh) 2023-11-14
JP2024133390A (ja) 2024-10-01
CN117059110A (zh) 2023-11-14
TWI634548B (zh) 2018-09-01
US11727944B2 (en) 2023-08-15
AR107617A1 (es) 2018-05-16
PT3417452T (pt) 2020-03-27
BR122023025319A2 (pt) 2024-02-27
AU2017221080B2 (en) 2020-02-27
MY194946A (en) 2022-12-27
US20190005969A1 (en) 2019-01-03
WO2017140666A1 (en) 2017-08-24
EP4421803A2 (en) 2024-08-28
SG11201806955QA (en) 2018-09-27
JP6735053B2 (ja) 2020-08-05
CN117116272A (zh) 2023-11-24
JP7528158B2 (ja) 2024-08-05
CA3014339C (en) 2021-01-26
JP7122076B2 (ja) 2022-08-19
KR20180136440A (ko) 2018-12-24
BR122023025314A2 (pt) 2024-02-27
BR122023025322A2 (pt) 2024-02-27
ZA201805498B (en) 2019-08-28
JP2022160597A (ja) 2022-10-19
CN109074810A (zh) 2018-12-21
TW201740368A (zh) 2017-11-16
MX2021009732A (es) 2021-09-08

Similar Documents

Publication Publication Date Title
JP7122076B2 (ja) マルチチャネル符号化におけるステレオ充填装置及び方法
US20240127837A1 (en) Noise filling in multichannel audio coding
JP6535730B2 (ja) 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
BR112018016898B1 (pt) Aparelho e método para carregamento estéreo em conversão em código multicanal e sistema

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20181010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6735053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250