JP2006065342A - 可変時間／周波数分解能および時間／周波数切り替えを使用する効率的なスペクトルエンベロープ符号化 - Google Patents

Abstract

【課題】本発明はスペクトルエンベロープを符号化するための新規な方法および装置を提供する。
【解決手段】この方法は、エンベロープ表示の時間／周波数マッピングをどのように実行し、コンパクトに信号化するか、更に、適応時間／周波数方向符号化を使って効率的にスペクトルエンベロープデータを符号化するかを表示するものである。この方法は、自然のオーディオ符号化および音声符号化システムの双方に適用でき、特にＳＢＲ［WO98/57436号］またはその他の高周波数再構成方法を使用した符号化器に特に適す。
【選択図】図６

Description

本発明は、オーディオ符号化システムにおいてスペクトルエンベロープを効率的に符号化するための新規な方法および装置に関する。この方法は、自然なオーディオの符号化および音声符号化の双方に使用でき、ＳＢＲ［WO98/57436号］またはその他の高周波再構成方法を使用する符号化器に特に適す。

オーディオソース符号化技術は２つの種類、すなわち自然なオーディオの符号化と音声符号化とに分けることができる。自然なオーディオ符号化は一般に中間ビットレートでの音楽または任意の信号に使用されており、広いオーディオバンド幅を提供する。音声符号化器は基本的には音声の再生だけに限定されているが、一方でオーディオバンド幅が狭いにも係わらず、極めて低いビットレートで使用できる。双方の種類では、信号は一般に２つの主要な信号成分、すなわち「スペクトルエンベロープ」と、対応する「残留」信号とに分けられる。下記の記載全体にわたって「スペクトルエンベロープ」なる用語は一般的な意味での信号の粗いスペクトル分布、すなわち線形予測に基づく符号化器におけるフィルタ係数またはサブバンド符号化器におけるサブバンドサンプルの時間周波数平均の組を意味する。「残留」なる用語は一般的な意味における細かいスペクトル分布、すなわちＬＰＣエラー信号または上記周波数平均値を使って正規化されたサブバンドサンプルを有する。「エンベロープデータ」なる用語は、量子化され、符号化されたスペクトルエンベロープを意味し、「残留データ」なる用語は、量子化され、符号化された残留データを意味する。中ビットレートおよび高ビットレートでは残留データはビットストリームの主要部分を構成する。極めて低いビットレートではエンベロープデータはビットストリームのより大きい部分を構成し、従って、より低いビットレートを使う時にはスペクトルエンベロープをコンパクトに表示することが重要である。

従来のオーディオ符号化器およびほとんどの音声符号化器は良好な時間分解能を得るのにエンベロープデータを発生する際に一定長さの比較的短い時間セグメントを使用している。しかしながら、これにより周波数領域の最適利用が妨げられ、心理音響学から知られるマスキング効果を発生させる。傾きが急峻な狭フィルタバンドを使用することによって符号化を改善し、トランジェント通過中に良好な時間的分解能を得るために、最近のオーディオ符号化器は、適応型ウィンドー切り替えを使用している。すなわちこれら符号化器は信号の統計値に応じて時間セグメント長さを切り替えている。短いセグメントを最小限に使用することは、明らかに符号化を最大にするための前提である。不幸なことに、セグメント長さを変えるのに長いトランジェントウィンドーが必要であり、これによって切り替えのフレキシビリティが制限される。

スペクトルエンベロープは２つの変数、すなわち時間および周波数の関数である。符号化は時間／周波数平面のいずれかの方向の冗長性を利用することによって行うことができる。一般に、スペクトルエンベロープの符号化はデルタ符号化（ＤＰＣＭ）またはベクトル量子化（ＶＱ）を使って周波数方向に実行される。

（発明の概要）
本発明はスペクトルエンベロープを符号化するための新規な方法および装置を提供するものである。この符号化方式は伝送されるデータから所定の周波数領域内の残留信号を除く場合のシステムの特殊な条件を満たすようになっている。例としては、ＨＦＲ（高周波再構成）、特にＳＢＲ（スペクトルバンド複製）またはパラメータ符号化器を使用するシステムが挙げられる。一実現例では、固定されたサイズのフィルタバンクからのサブバンドサンプルを周波数バンドと時間セグメントとに適応的にグループ分けすることによって、スペクトルエンベロープの非一様時間サンプルおよび周波数サンプルが得られ、周波数バンドおよび時間セグメントの各々は１つのエンベロープサンプルを発生する。これによって、フィルタバンクの限度内の任意の時間および周波数分解能を瞬時に選択できる。このシステムは長時間セグメントおよび高周波分解能にデフォルトする。トランジェントの近くでは、より短い時間セグメントを使用し、よってデータサイズを限度内に維持するように、より大きい周波数ステップを使用できる。時間的に非一様なサンプリングの利点を最大にするために、可変長さのビットストリームフレームまたはグラニュールを使用する。この可変時間／周波数分解方法は予測に基づくエンベロープ符号化にも適用できる。サブバンドサンプルをグループ分けする代わりに、システムに従って可変長さの時間セグメントに対し、予測係数を発生する。

本発明は、使用する時間および周波数分解能の信号化の２つの方式を提案している。第１の方式は、時間セグメントのボーダーおよび周波数分解能を明示的に信号化することにより、任意の選択を可能にしている。信号化オーバーヘッドを低減するために４種類のグラニュールを使用し、異なるコストとフレキシビリティとの間で妥協を図っている。第２方式は、代表的なプログラムマテリアルの性質を使用しており、制御ビット数を更に低減するように、トランジェントを少なくとも時間Ｔ_nminだけ分離している。よって、公称グラニュール長さに等しい時間インターバルＴ_det≦Ｔ_nminで作動する符号化器内のトランジェント検出器が、起こり得るトランジェントの発生位置を決定する。インターバル内の位置を符号化し、これを復号化器へ送る。その後の制御信号の所定の組み合わせを仮定した場合、符号化器と復号化器とは、エンベロープデータの不明瞭でない復号化を補償するよう、スペクトルエンベロープサンプルの時間／周波数分布を指定するルールを共用している。

本発明はスケールファクターの冗長性を符号化するための新規で効率的な方法を提案するものである。時間領域におけるディラック関数パルスは、周波数領域における一定数に変換され、周波数領域におけるディラック関数、すなわち単一のサイン波は時間領域における振幅が一定の信号に対応している。簡単な用語で簡略化すれば、この信号は他方の領域よりも一方の領域における偏差のほうが小さくなる。従って、予測符号化またはデルタ符号化を使用することによって信号の特性に応じ、時間方向または周波数方向のいずれかにスペクトルエンベロープを符号化する場合、符号化効率が高くなる。

下記の実施例は効率的なエンベロープの符号化をするための本発明の原理を単に説明するためのものであり、本明細書に説明する配置および細部の変形例および変更例は当業者には明らかとなると考えられる。従って、本発明は特許請求の範囲のみによって限定されるものであり、本明細書の実施例の記述および説明によって示された特定の細部によって限定されるものではない。

エンベロープデータの発生
ほとんどのオーディオ符号化器と音声符号化器とは共通してエンベロープデータと残留データの双方を伝送し、復号化器側での合成中にこれらデータを組み合わせている。２つの例外としてＰＮＳ［「ノイズ置換によるオーディオコーデックの改良」Ｄ.シュルツ、ＪＡＥＳ、第４４巻、７／８号、１９９６年］およびＳＢＲを使用する符号化器が挙げられる。ＳＢＲのケースではハイバンドを考慮し、ローバンドから残留信号を再構成するので、粗いスペクトル構造だけを伝送するだけでよい。これによって、特に元の残留データに含まれていたタイミング情報が失われることに起因し、エンベロープデータをどのように発生するかについての要求が高くなる。次に、一例によってこの問題について説明する。

図１は、持続されたコード（和音）と高周波内容を有するシャープなトランジェントとを組み合わせた音楽信号の時間／周波数表示を示す。ローバンドでは、チョードはパワーが大きく、トランジェントのパワーは小さいが、ハイバンドではこの逆となる。トランジェントが生じる時間インターバル中に発生されるエンベロープは、間欠的なトランジェントの大パワーによって支配される。復号化器におけるＳＢＲプロセスでは、転置された信号のスペクトルエンベロープは元のハイバンドの解析に使用されたものと同じ瞬間的時間／周波数分解能を使って推定される。次に、スペクトルエンベロープ内の非類似性に基づき、転置された信号の等化を実行する。すなわち元の信号と転換された信号の平均電力との間の商の平方根として、エンベロープ調節フィルタバンクでの増幅率が計算される。この種類の信号に対して、次のような問題が生じる。転置された信号はローバンドと同じ「コード対トランジェント」パワー比を有する。従って、転置されたトランジェントを正しいレベルに調節するのに必要とされる利得によって転置されたコードはエンベロープデータを含むトランジェントエネルギーの全長の間で元のハイバンドレベルに対して増幅される。これら瞬間的に過度に大きい音量のコードフラグメントは、トランジェントの前後のエコーとして知覚される（図１ａ参照）。以下、この種の歪みは「利得によって誘導された前後エコー」と称される。このような現象は最新のトランジェントと任意に位置するトランジェントとの間の時間が人の聴覚によって分解できないほど十分に短くなるように保証されるような高いレートでエンベロープデータをコンスタントに更新することによって解消できる。しかしながら、このような方法は伝送すべきデータ量を劇的に増加させるので実現不可能である。

従って、新規なエンベロープデータ発生方式が提供される。この解決案は、代表的なプログラムマテリアルの主要部分を構成するトーナルパッセージ（tonal passage）中の更新レートを低く維持し、トランジェント検出器によってトランジェント位置を局所化し、前方フランクに近いエンベロープデータを更新することである（図１ｂ参照）。これによって、利得によって誘導された前エコーが解消される。トランジェントを良好に減衰させるには、トランジェントが開始した後の所定の時間インターバル内で更新レートを瞬間的に増加する。これによって、利得誘導後エコーが解消される。減衰中の時間セグメント化は後述するように、トランジェントの開始点を探すほど難しいことではない。より小さい時間ステップを補償するために、トランジェント中により大きい周波数ステップを使用し、データサイズを限度内に維持できる。これまで概略を述べた時間および周波数における非一様サンプリングは、フィルタバンクに基づくエンベロープ符号化および線形予測に基づくエンベロープ符号化の双方に適用できる。トランジェントセグメントおよび準静止（トーナル）セグメントに対して、異なる予測順序を使用できる。

予測に基づく符号化器の場合、従来技術からは複雑な時間／周波数分解能切り替え方式は知られていない。しかしながら、一部のフィルタバンクに基づく符号化器は可変時間／周波数分解能を使用しており、この方法は一般にフィルタバンクサイズを切り替えることによって達成される。かかるサイズの変更すぐには行うことができないので、いわゆるトランジェントウィンドーが必要であり、よって更新ポイントを自由に選択することはできない。ＳＢＲまたはその他のＨＦＲ方法を使用すると、目的は異なる。すなわちフィルタバンクは適当なエンベロープ表示を抽出するのに必要とされる最高の時間分解能および最高の周波数分解能の双方を満たすように設計できる。従って、固定サイズのフィルタバンクからのサブバンドサンプルを「周波数バンド」および「時間セグメント」に適応的にグループ分けすることによって、スペクトルエンベロープの一様でない時間および周波数サンプリングを行うことができる。次に、バンドおよびセグメントごとに１つのエンベロープサンプルを計算する。下記の説明では、「周波数分解能」とは特定の時間セグメントに対するエンベロープの推定で使用される周波数バンド、ＬＰＣ係数または同様なものの特定の組を意味する。換言すれば、エンベロープ符号化パースペクティブから瞬間的に高い周波数分解能または高い時間分解能を得ることができる。

統語的な見地から、すべての実際のコーデックビットストリームはデータ周期を含み、これら周期の各々は入力信号の短い時間セグメントに対応する。以下、かかるデータ周期に関連する時間セグメントを「グラニュール（粒）」と称す。代表的な符号化器は固定長さのグラニュールを使用する。グラニュール境界部が存在していることにより、エンベロープ推定に使用される時間セグメントの設計に制限が課せられる。これら時間セグメントを発生するアルゴリズムは、特定のロケーションでセグメントの「ボーダー」が必要であること、およびその後の制限が所定の長さを有しなければならないことを記述できる。しかしながら、固定長さのグラニュールに起因するこのインターバル内にグラニュール境界部が入らない場合、このセグメントを２つの部分に分割しなければならない。このことには２つの意味がある。第１に、符号化のためのセグメント数は可能な場合には伝送するデータ量を増加できること、第２に、強制されたボーダーは信頼できる平均パワー推定を行うには過度に短いセグメントを発生し得ることを意味する。これら欠点を解消するために、本発明は可変長さのグラニュールを使用する。これによって符号化器内ではルックアヘッドが必要となるだけでなく、復号化器ではエクストラバッファリング（extra buffering）が必要となる。

「グリッド」なる用語は、特定の信号に対して使用するための時間セグメントおよびそれに対応する周波数分解能を示し、「ローカルグリッド」は１つのグラニュールのグリッドを示すものとする。明らかに、エンベロープサンプルを正しく復号化するには、復号化器に対してグリッドを信号化しなければならない。しかしながら、低ビットレートのアプリケーションでは、この「制御信号」に対するビット数は最小値に維持しなければならない。本発明では２つの信号化方式を提案する。これら方式を詳細に説明する前に、「ベースラインシステム」および一部の設計基準を確立する。

スペクトルエンベロープに対する時間量子化ステップをＴ_qとする。これらステップは上記時間セグメントにグループ分けされた「サブグラニュール」と見なすことができる。一般的なケースでは、１つのグラニュールはＳ個のサブグラニュールを含み、ここでＳはグラニュールごとに異なる。全グラニュールに対する１つのセグメントからＳ個のセグメントまでの範囲となる、１つのグラニュール内の可能なセグメントの組み合わせの数は次の式で示される。

Ｃ個のステートを信号化するには、サブグラニュール当たり１つのビットに対応して、ｃｅｉｌ（ｌｎ₂（ｃ））＝ｃｅｉｌ（ｌｎ₂２^S））＝Ｓビットが必要である。グラニュールの任意のサブ分割は、Ｓ−１個のビットによって信号化でき、これらビットは連続するサブグラニュールを示し、対応するサブグラニュールに前方セグメントボーダーが存在するか否かを記述する（ここでは最初のグラニュールボーダーと最終のグラニュールボーダーは信号化する必要はない）。Ｓは可変であるので、信号化しなければならず、この方式と固定長さグラニュールのローバンドコーデックとを組み合わせる場合、一定長さグラニュールに対する位置も信号化しなければならない。セグメントの周波数分解能はダイナミックに割り当てられた制御ビット、例えばセグメントごとに１ビット割り当てられた制御ビットによって信号化できる。明らかに、かかるストレートフォワードな方法によって受け入れできない大きい数の制御信号ビットが生じ得る。

下記に示すように、式１によって記述されるステートの多くは極めて可能性が高いとは言えず、制限されたビットレートで実用的な、過度に多い量のエンベロープデータも発生させる。

音楽プログラムマテリアル内の連続するトランジェント間の最小時間スパンは、次のように推定できる。音楽表示では、リズム状の「パルス」を分数Ａ／Ｂ（ここでＡは一小節ごとの「ビート」の数を示し、１／Ｂは１ビートに対応する音符のタイプ、例えば一般に４分音符と称される１／４音符である）として表記される拍子記号によって記述される。ｔが１分当たりのビートのテンポ（ＢＰＭ）を示すものとする。よって、１／Ｃのタイプの音符当たりの時間は次のように示される。

音楽のほとんどの部分は７０〜１６０ＢＰＭの範囲内に入るので、４／４拍子では、３２分音符から構成されたほとんどの実際のケースに対し、リズムパターンは最速となる。このことは、Ｔ_nmin＝（６０／１６０）×（４／３２）＝４７ｍｓを生じさせる。当然ながら、これよりも短い時間周期が生じるが、かかる高速のシーケンス（毎秒２１イベントより大である）はほとんどバズの性質を有し、完全に分解する必要はない。

必要な時間分解能Ｔ_qも設定しなければならない。一部のケースでは、トランジェント信号は再構成すべきハイバンドで主要なエネルギーを有する。このことは、符号化されたスペクトエンベロープがすべての「タイミング」情報を搬送しなければならないことを意味する。従って、所望するタイミング精度は前方フランクを符号化するのに必要な分解能を決定する。周期内の小さい時間のずれは明瞭に聞くことができるので、Ｔ_qは最小の音符周期Ｔ_nminよりもかなり短くなっている。しかしながら、多くのケースではトランジェントはローバンドで大きなエネルギーを有する。上記利得誘導前エコーは、聞くことができないようになるには、人の聴覚系の、いわゆるプリまたは後方マスキング時間Ｔ_m内に入っていなければならない。従って、Ｔ_qは次の２つの条件を満たしていなければならない。

明らかに、Ｔ_m＜Ｔ_nminであり（そうでない場合、音符は分解できないほど速くなる）、［「非同時マスキングの加算性のモデル化」、聴覚レスポンス、第８０巻、１０５〜１１８ページ（１９９４年）］によれば、Ｔ_mは１０〜２０ｍｓの大きさになる。Ｔ_nminは５０ｍｓの範囲内であるので、式３によりＴ_qを妥当に選択する結果、第２条件も満たされる。当然ながら、Ｔ_qを選択する際には、符号化器内のトランジェントの検出の精度および分析／合成フィルタバンクの時間分解能も検討しなければならない。

いくつかの理由から、後方フランクのトラッキングはあまり重要ではない。その理由は、第１に、音符からずれた位置は知覚されるリズムにほとんどまたは全く影響しないからである。第２に、ほとんどの楽器はシャープな後方フランクを示さず、むしろスムーズな減衰曲線を示し、すなわち良好に定められる音符オフ時間が存在しないからである。第３に、後方または前方マスキング時間は実質的にプリマスキング時間よりも長いからである。

要約するために、実際の信号の質をほとんどまたは全く犠牲にすることなく、次の簡略化を行うことができる。
１．最高の精度Ｔ_qでトランジェント開始位置だけを伝送すればよい。
２．Ｔ_p＞＞Ｔ_qだけ分離したトランジェントだけを完全に分解するだけでよい。

信号化オーバーヘッドを低減するために、本発明に係わる双方のシステムは２つの時間サンプリングモード、すなわち時間の一様サンプリングモードおよび非一様サンプリングモードを使用している。準静止パッセージの間では一様モードを使用し、よって固定長さのセグメントを使用し、余分な信号化はほとんど必要でなくなる。トランジェントの近くでは、システムは非一様動作に切り換わり、可変長さのグラニュールを使用し、理想的なグローバルグリッドに良好に適合することが可能となる。

種類の信号化システム
第１システムでは、グローバルグリッドは４つの種類に分割され、制御信号が各種類の特定のニーズに合わせられる。これら種類は図２ａに定義されている。種類「FixFix」は従来の一定長さのグローバルグリッドに対応し、種類「FixVar」は移動自在な停止境界部を有し、これによってグラニュール長さを変えることが可能となる。種類「VarFix」は可変開始境界部を有するが、一方で停止ボーダーは固定されている。最後の種類「VarVar」は両端部で可変境界部を有する。すべての可変境界部は「公称位置」に対して−ａ／＋ｂだけオフセットできる。

図２ｂは、あるシーケンスのグラニュールの一例を示す。システムは種類FixFixにデフォルトする。図に概略が示されているように、現在のグラニュールの前のある時間領域でトランジェント検出器（または心理音響モデル）が作動する。トランジェントが検出されると、種類FixVarグラニュールが使用され、システムは一様動作から非一様動作に切り換わる。一般に、このグラニュールの次に、種類VarFixグラニュールが続く。その理由は、ほとんどの時間トランジェントはグラニュール長さの実際上のすべての選択に対し、多数のグラニュールだけ分離しているからである。連続フレーム内のトランジェントのケースでは、VarVar種類のフレームを使用することができる。

図３ａは種類FixVar−VarFixのペアおよびそれに対応する制御信号の一例である。ここでは１つのトランジェントが存在し、（Ｔ_qに量子化された）前方フランクがｔで示されている。ビットストリームの第１部分は「種類」信号である。４種類の種類が使用されているので、この信号には２つのビットが使用される。FixVarまたはVarFix種類のケースでは、次の信号は公称位置からのオフセットとして表記された、可変境界部の位置を記述する。この境界部は「絶対ボーダー」と称される。グラニュール内のセグメントボーダーは「相対的ボーダー」によって記述される。この絶対ボーダーは基準として使用され、他のボーダーはこの基準ボーダーに対する累積的距離として記述される。相対的ボーダーの数は可変であり、絶対ボーダーの後に復号化器へ信号化される。ゼロ番号はグラニュールが１つの時間セグメントしか含まないことを意味する。従って、種類FixVarのケースではグラニュールの端における絶対ボーダーから離間する逆方向にセグメントの長さが信号化される。FixVarグラニュール内の第１セグメントの長さは相対的ボーダーおよび全長から誘導され、信号化されない。種類VarFixの相対的ボーダー信号がビットストリーム内に順方向シーケンスへ挿入され、よって最終セグメント長さが排除される。このビットストリーム信号の順序は種類FixVarの順序と同じである。すなわち［種類、絶対ボーダー、相対的ボーダーの数、相対的ボーダー０、相対的ボーダー１、....、相対的ボーダーＮ−１］となる。図では、ビットストリーム内で送られる実際の二進コードワードの代わりに「クリアなテキスト」内に信号が示される。

図３ｂは信号の別の符号化を示す。所定グローバルグリッドでセグメントをグループ分けする際に、可変境界部は多様性を提供する。従って、このレベルでは、例えば、グローバルグリッド当たりのビットの数を等しくするために、あるペイロード制御を実行できる。これにより、ローバンド符号化器の動作を容易にできる。ルックアヘッドが十分な場合、マルチパス符号化を実行でき、ローカルグッドの最適な組み合わせを使用できる。

相対的ボーダーを信号化するためのシンボルセットを低減し、よってシンボル当たりのビット数を小さくするには、絶対ボーダーが精度Ｔ_qを有する場合、これら長さをＴ_qの整数倍（＞１）に量子化できる。この場合、上記機能の他に絶対ボーダーは精度Ｔ_qにて、トランジェントのまわりでボーダーの一グループを整列するように働く。換言すれば、トランジェント前方フランクの符号化のために常時最高精度を利用でき、減衰のトラッキングの際に、より粗い分解能を使用する。

VarVar種類のフレームはFixVarの信号化とVarFix信号化との組み合わせを使用する。すなわちインターリーブされた信号［種類、絶対ボーダー左、ｄ：ｏ右、番号相対的ボーダー左、ｄ：ｏ 右［相対的ボーダー左０....、相対的ボーダー左Ｎ−１］、［ｄ：ｏ右］］である。この種類は信号化オーバヘッドを増加することを代償に、ローカルグリッド選択におけるフレキシビリティを最大にする。最後に、FixFix種類はそれ自身、種類信号以外の信号を必要とせず、このケースでは、例えば２つ（同じ長さ）のセグメントが使用される。しかしながら、所定グリッドの組内の選択を可能にする信号を加えることが実現可能である。例えば２つのセグメントに対し、スペクトルエンベロープを計算でき、これら２つのエンベロープが所定の値より多く異なっていなければ、エンベロープデータの１つの組しか送らない。

これまで時間のセグメント化について説明した。多くの理由から、ボーダーがトランジェント前方エッジに対応している復号化器に信号を送ることが望ましい。このことは、対応するボーダーをポイントする「ポインター」を送ることによって行うことができる。基準方向は相対的ボーダーの方向に従うことができ、ゼロの値は現在のグローバルグリッド内にトランジェント開始点が存在しないことを意味する。更に、個々のセグメントに対して使用される周波数分解能（パワー推定値の数または予測順序）も定義しなければならない。この分解能は「ベースラインシステム」の場合のように、明示的に信号化できるか、または暗黙的に信号化できる。すなわち分解能ハセグメント長さに結合され、可能な場合にはポインターの位置に結合される。

エラーを生じやすい伝送チャンネルを使用する場合には、エラー伝搬を防止することが重要である。上記システムでは、対応するグローバルグリッドの制御信号によりローカルグリッドが完全に記述される。従って、制御信号内にはフレーム間の依存性は存在しない。このことは、グローバルグリッドの境界部が「過剰符号化」されることを意味する。その理由は、グローバルグリッドの交差点は双方の連続するグローバルグリッド内で信号化されるからである。この冗長性は簡単なエラー検出に使用できる。すなわちボーダーが一致しなければ、伝送エラーが生じており、エラー隠しを立ち上げることができる。

位置信号化システム
「位置信号化システム」と以下に称す第２システムは、極めて低いビットレート用のものである。先に確立した設計ルールは、制御信号ビット数を更に低減するために、より大きい度合いで使用される。本発明によれば、トランジェントの近くにおけるセグメントボーダーおよび周波数分解能の暗黙的信号化のために、トランジェント開始情報を使用できる。ＮＴ_q≦Ｔ_nminに従って選択されたＮ個のサブグラニュールの公称グラニュールサイズを仮定し（ここでＮは８である）、すなわち１つのグラニュール内では１つのトランジェントの最大値が生じる可能性が高いこと（図４ａ参照）を仮定し、以下このことを説明する。現在のグラニュールのＮ／２の前に位置する長さＮのインターバルで作動するトランジェント検出器を使用する（図４ｂ）。トランジェントが検出されると、この領域に関連するフラグをセットする。実施例では、トランジェント検出器は時間ｎ−１でサブグラニュール２内のトランジェントおよび時間ｎにおけるサブグラニュール３内のトランジェントを検出した。これら位置、ｐｏｓ（ｎ−１）およびｐｏｓ（ｎ）だけでなく、対応するフラグ、すなわちｆｌａｇ（ｎ−１）およびｆｌａｇ（ｎ）をグリッド発生アルゴリズムに対する入力として使用し、グラニュールｎのための対応するローカルグリッドを図４ｃに示されるようにすることができる。図から判るように、グラニュールｎの時間／周波数グリッド内には時間ｎ−１におけるグラニュールのサブグラニュール３が含まれる。ビットストリームへ送られる信号はｆｌａｇ（ｎ）［１ビット］およびｐｏｓ（ｎ）［ｃｅｉｌ（ｌｎ₂（Ｎ））ビット］だけである。このグリッドアルゴリズムは復号化器によっても既知となっているので、これら信号は先行するグラニュールｎ−１の対応する信号と共に、符号化器が使用するグリッドの不明瞭でない再構成をするには十分である。トランジェントが検出されなければ、位置信号は絶対的であり、例えば１つのセグメントを使用するのか、または２つのセグメントを使用するのかを記述する１ビット信号を置換できる。従って、一様モードの動作は種類信号化システムの動作と同じとなる。

このシステムは上記信号がステートからステートへのトランジェントを制御し、ステートがローカルグリッドを定める有限ステートマシンとして見なすことができる。明らかにこれらステートは符号化器および復号化器の双方に記憶されたテーブルによって表示できる。グリッドはハード符号化されているので、ペイロードを適応的に変える能力がこれまで犠牲になっていた。妥当な解決方法は、時間／周波数データマトリックスサイズ（例えばパワー推定値の数）をほぼ一定に維持することである。高分解能セグメントにおけるスケールファクターの数、すなわち係数が低分解能セグメントの２倍であると仮定すると、高分解能セグメントは２つの低分解能セグメントに対して妥協することができる。

時間／周波数切り替えスケールファクター符号化
時間−周波数変換を使用すると、時間領域内のパルスは周波数領域内のフラットなスペクトルに対応し、周波数領域における「パルス」、すなわち単一のサイン波は、時間領域における準静止信号に対応することを証明できる。換言すれば、１つの信号は他の信号よりも１つの領域において、よりトランジエントな性質を通常示す。スペクトル図、すなわち時間／周波数マトリックスディスプレイでは、このような性質は明らかであり、スペクトルエンベロープを符号化する際にこれを有利に使用できる。
トーン静止信号は周波数方向のデルタ符号化には適していない、極めてまばらなスペクトルを有し得るが、時間領域におけるデルタ符号化には良好に適し、この逆も成り立つ。このことは図５に表示されている。次の説明において、時間ｎ₀で計算されたスケールファクターのベクトルは、次のスペクトルエンベロープを示す。

ここで、ａ₁....ａ_Nは異なる周波数に対する振幅の値である。一般的なやり方は次の式を生じさせる、所定時間における周波数方向の隣接する値の間の差を符号化することである。

これを復号化できるようにするには、開始値ａ₁を伝送する必要がある。これまで説明したように、スペクトルが数個の静止トーンしか含んでいない場合、このようなデルタ符号化方式は最も非効率的であると証明できる。この結果、デルタ符号化により規則的なＰＣＭ符号化よりも高いビットレートが発生する。このような問題を処理するために、以下、Ｔ／Ｆ符号化と称される時間／周波数切り替え方法が提案される。時間方向および周波数方向の双方にスケールファクターを量子化し、符号化する。双方のケースにおいて所定の符号化エラーに対し、ビットの必要な数計算するか、または所定の数のビットに対してエラーを計算する。これに基づき、最も有利な符号化方向を選択する。

一例として、ＤＰＣＭおよびホフマン冗長符号化を使用できる。次のように、２つのベクトルＤ_fおよびＤ_tを計算する。

対応するホフマンテーブル（１つのテーブルは周波数方向用であり、１つのテーブルは時間方向用である）は、ベクトルを符号化するために必要なビット数を記述する。符号化のための最小数のビットを必要とする符号化されたベクトルは、好ましい符号化方向を示す。時間／周波数切り替え基準として、ある最短距離を使用して最初にこれらテーブルを発生してもよい。

開始値は先のエンベロープを通して復号化器で利用できるので、スペクトルエンベロープを時間方向に符号化する時でなく、周波数方向に符号化する際に開始値を伝送する。提案されているアルゴリズムは伝送すべきイクストラ情報、すなわちスペクトルエンベロープを符号化した方向を示す時間／周波数フラグも必要とする。ＤＰＣＭおよびホフマンとは別のスケールファクター−エンベロープ表示のいくつかの異なる符号化方式、例えばＡＤＰＣＭ、ＬＰＣおよびベクトル量子化と共に、Ｔ／Ｆアルゴリズムを有利に使用できる。提案されているＴ／Ｆアルゴリズムはスケールファクター−エンベロープデータに対し、ビットレートを大幅に低減する。

実際の実現例
図６には本発明の符号化器側の一例が示されている。Ａ／Ｄコンバータ６０１にはアナログ入力信号が送られ、デジタル信号を形成する。デジタルオーディオ信号は感覚オーディオ符号化器６０２へ送られ、ここでソース符号化が実行される。更にデジタル信号はトランジェント検出器６０３へ送られ、更に分析フィルタバンク６０４へ送られ、このフィルタバンクは信号をスペクトル等化信号（サブバンド信号）に分割する。トランジェント検出器は分析バンクからのサブバンド信号に対して演算を行うことができるが、一般的な目的に対してはデジタル時間領域のサンプルに対して直接演算を行うものと考える。トランジェント検出器は信号をグラニュールに分割し、本発明に従い、グラニュール内のサブグラニュールに対し、トランジェントとしてのフラグを立てるべきかどうかを決定する。この情報は、エンベロープグループ分けブロック６０５へ送られ、このブロックは現在グラニュールに対して使用すべき時間／周波数グリッドを指定する。グループに従い、ブロックは一様サンプリングされたサブバンド信号を組み合わせ、非一様サンプリングされたエンベロープ値を形成する。一例として、これら値はグループ分けされたサブバンドサンプルの平均パワー密度を示すことができる。これらエンベロープ値はグループ分け情報と共にエンベロープ符号化器ブロック６０６へ送る。このブロックはエンコーア値をどの方向（時間方向または周波数方向）に符号化するかを決定する。この結果生じる信号、例えばオーディオ符号化器からの出力信号、ワイドバンドな符号化器情報および制御信号がマルチプレクサ６０７へ送られ、マルチプレクサは伝送または記憶されるシリアルビットストリームを形成する。

図７には、失われた残留信号の発生例としてＳＢＲ変換を使用する、本発明の復号化器側が示されている。デマルチプレクサ７０１は信号を回復し、適当な部分をオーディオ復号化器７０２へ送る。このオーディオ復号化器はローバンドのデジタルオーディオ信号を発生する。デマルチプレクサから符号化器復号化部分７０３へエンベロープ情報が送られ、復号化ブロック７０３は制御データを使用することにより、どの方向に現在エンベロープを符号化し、データを復号化するのかを決定する。オーディオ復号化器からの低バンド信号は変換モジュール７０４へルーティングされ、このモジュールは低バンドから再生された高バンド信号を発生する。この高バンド信号は分析フィルタバンク７０６へ送られる。このフィルタバンクは符号化器側のタイプと同じタイプである。スケールファクターグループ分けユニット７０７にてサブバンド信号が組み合わされる。デマルチプレクサからの制御信号を使用することにより、サブバンドサンプルの同じタイプの組み合わせおよび時間／周波数分布を符号化器側でも採用する。デマルチプレクサからのエンベロープ情報およびスケールファクターグループ分けユニットからの情報は、利得制御モジュール７０８内で処理される。このモジュールは合成フィルタバンクブロック７０９内で再組み合わせする前に、サブバンドサンプルに適用すべき利得率を計算する。従って、合成フィルタバンクからの出力信号は、エンベロープが調節された高バンドのオーディオ信号となる。この信号は、遅延ユニット７０５からの出力信号に加算され、この加算信号は低バンドオーディオ信号と共に送られる。高バンド信号の処理時間を遅延処理によって補償しており、最後に得られたデジタルワイドバンド信号はデジタル−アナログコンバータ７１０内でアナログオーディオ信号へ変換される。

スペクトルエンベロープの時間内の均一サンプリングを示す。 スペクトルエンベロープの時間内の均一サンプリングを示す。 ４種類のグラニュールの使用法を定め、かつ示す。 ４種類のグラニュールの使用法を定め、かつ示す。 グラニュールの一例およびそれに対応する制御信号を示す。 グラニュールの一例およびそれに対応する制御信号を示す。 位置信号化システムを示す。 位置信号化システムを示す。 位置信号化システムを示す。 時間／周波数切り替えを行うデルタ符号化を示す。 本発明にかかわるエンベロープ符号化を使用する符号化器のブロック図である。 本発明にかかわるエンベロープ符号化を使用する復号化器のブロック図である。

Claims (1)

1. 記憶または伝送に先立って実行されるすべての演算を行う符号化器と、記憶または伝送後に実行されるすべての演算を行う復号化器とを備え、所定の周波数領域に対応する残留信号が伝送データまたは記憶データから排除され、前記復号化器において新しい残留信号が合成される、ソース符号化システムにおいて、スペクトルエンベロープ符号化をするための方法において、
   前記符号化器において、入力信号の統計分析を実行する工程と、
   前記統計分析の結果に基づき、スペクトルエンベロープ表示に使用すべき瞬間的時間／周波数グリッドを選択する工程と、
   前記入力信号の時間／周波数表示の要素をグループ分けし、前記グループ分けされた要素の各１つに対するスケールファクターを計算することによって、前記瞬間的時間／周波数グリッドを使って前記スペクトルエンベロープに対するエンベロープデータを発生する工程と、
   前記瞬間的時間／周波数グリッドを記述する制御信号と共に前記エンベロープデータを伝送する工程と、
   前記復号化器において、出力信号の再構成の際に前記制御信号および前記エンベロープデータを使用する工程とを特徴とする、スペクトルエンベロープ符号化方法。

Images