JP2001500640A - オーディオ信号の符号化方法 - Google Patents

Abstract

(57)【要約】 オーディオ信号を符号化し解号化する方法であって、ＴＮＳ処理とノイズ置換との利点を組み合わせている。時間不連続オーディオ信号がまず周波数領域に移送されて、時間オーディオ信号のスペクトル値が得られる。爾後周波数に関連してのスペクトル値の予測が実施されて、スペクトル残留値を得る。該スペクトル残留値中において、ノイズ性を具えたスペクトル残留値を囲繞する領域が検出される。ノイズ領域中のスペクトル残留値はノイズ置換される。その際にノイズ領域とノイズ置換に関する情報が符号化されたオーディオ信号に属する副情報中に導入される。

Description

【発明の詳細な説明】 オーディオ信号の符号化方法 この発明はオーディオ信号の符号化方法に関するものであり、特に現在開発中 の標準ＭＰＥＧ−２ＡＡＣのためのオーディオ信号の符号化方法に関するもので ある。 標準化組織ＩＳＯ／ＩＥＣ ＪＴＣＩ／ＳＣ２９／ＷＧＩＩ（またの名を映画 専門家グループ（ＭＰＥＧ）という）は１９８８年に創立されたものであり、低 データ速度のためのデジタル・ビデオおよびオーディオ符号化方式を特定するた めのものである。最初の特定化は標準ＭＰＥＧ−１により１９９２年１１月に完 成された。ＭＰＥＧ−１（ＩＳＯ １１１７２−３に特定化されている）による オーディオ符号化システムはサンプリング周波数３２ｋＨｚ、４４．１ｋＨｚお よび４８ｋＨｚで１または２−チャンネルステレオ・モードで動作するものであ る。 標準ＭＰＥＧ―１は、国際通信ユニオンに特定されているように、チャンネル 当り１２８ｋｂ／ｓのデータ速度で放送品質を与える。 開発の第２の局面においては、ＭＰＥＧの目的はＭＰＥＧ−１−オーディオの ためにマルチ・チャンネル拡大の特定化にあり、現存のＭＰＥＧ−１システムに 対して後退両立可能（ｂａｃｋｗａｒｄ−ｃｏｍｐａｔｉｂｌｅ）であるものと 想定される。またＭＰＥＧ−１におけるよりも低いサンプリング周波数（１６ｋ Ｈｚ、２２．５ｋＨｚ、２４ｋＨｚ）におけるオーディオ符号化標準の特定化に もるものと考えられる。後退両立可能標準（ＭＰＥＧ−２ ＢＣ）および低サン プリング周波数標準（ＭＰＥＧ−２ ＬＳＦ）は１９９４年１１月に完成された のである。 全帯域幅の５チャンネルのために６４０〜８９６ｋｂ／ｓのデータ速度でMPＥ Ｇ−２ ＢＣは良好なオーディオ品質を与えるものである。さらにＭＰＥＧ−２ オーディオ標準化委員会の努力は、ＭPＥＧ−１への後退両立可能性が要求され たときに得られるものより高品質のマルチ・チャンネル標準の特定化、に向け られた。このＭＰＥＧ−２による非両立可能性オーディオ標準はＭＰＥＧ−２Ｎ ＢＣと命名された。この開発の目的は、各チャンネルが全帯域幅を有する５チャ ンネルオーディオ信号のための３８４ｋｂ／s以下のデータ速度でのＩＴＵ−Ｒ 要求に応じた放送品質を得ること、にある。オーディオ符号化標準ＭＰＥＧ−２ ＮＢＣは１９９７年４月に完成された。 方式ＭＰＥＧ−２ ＮＢＣおよびＭＰＥＧ−４はすでに計画されたより高いデ ータ速度（データチャンネル当り４０ｋｂ／ｓを越える）を有するであろうオー ディオ標準の核心をなすものである。ＮＢＣまたは非両立可能性オーディオ標準 は高解像度フィルター・バンク、予測技術および剰余低減ホフマン符号化を組み 合わせたもので、非常に低いデータ速度で放送品質のオーディオ符号化を得よう とするものである。標準ＭＰＥＧ−２ ＮＢＣはまたＭＰＥＧ−２ ＮＢＣ Ａ ＡＣ（ＡＡＣ＝上級オーディオ符号化）とも呼ばれている。ＭＰＥＧ−２ ＡＡ Ｃの技術的詳細は、Ｍ．Ｂｏｓｉ、Ｋ．Ｂｒａｎｄｅｎｂｕｒｇ、Ｓ．Ｑｕａｃ ｋｅｎｂｕｓｈ、Ｌ．Ｆｉｅｌｄｅｒ、Ｋ．Ａｋａｇｉｒｉ、Ｈ．Ｆｕｃｈｓ、 Ｍ．Ｄｉｅｔｚ、Ｊ．Ｈｅｒｒｅ、Ｇ．Ｄａｖｉｄｓｏｎ、Ｙｏｓｈｉａｋｉ Ｏｉｋａｗａ：「ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ 高級オーディオ符号化」、１ ０１番、ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｌｏｓ Ａｎｇｅｌｓ １９９６、予 原稿４３８２に記載されている。 効率的なオーディオ符号化方法はオーディオ信号から冗長性（ｒｅｄｕｎｄａ ｎｃｉｅｓ）と無関係性（ｉｒｒｅｌｅｖａｎｃｉｅｓ）とをともに除くもので ある。オーディオ・サンプリング値とサンプル値表示確率との相関関係は冗長性 を除くべく開発されている。人間聴取システムの周波数範囲および時間範囲マス キング性能（ｍａｓｋｉｎｇ ｐｒｏｐｅｒｔｉｅｓ）が、受容し難い信号成分 （無関係性）を除くために、開発されている。オーディオ信号の周波数含有内容 はフィルター・バンクにより部分的な帯域に分割されている。データ速度の低減 は、心理−音響モデルに応じた時間信号の量子化、により達成される。かつこの 低減は非損失符号化方法を含んでいる。 一般的に言うと、時間連続オーディオ信号をサンプリングするのは時間不連続 オーディオ信号を得るためである。時間不連続オーディオ信号はウインドウ機能 によりウインドウに掛けられ、特定数（例えば１０２４個）のウインドウされた 時間不連続サンプリング値の連続ブロックまたはフレームを得る。各ウインドウ された時間不連続サンプリング値のブロックは周波数範囲に連続的に変換され、 このためには例えば変形コサイン変換（ＭＤＣＴ）が用いられる。かくして得ら れたスペクトル値はまだ量子化されておらず、したがって量子化の必要がある。 そのようにする主たる目的はスペクトル値を、量子化された信号それ自身により 量子化ノイズがマスクまたは覆われるように、量子化することにある。 そのためにはＭＰＥＧ ＡＡＣに記載された心理音響モデルが使用される。こ れは人間の耳の特殊な性質を考慮して、存在するオーディオ信号に基づいてマス キングしきい値を算出するものである。ついでスペクトル値が量子化されるが、 この際に導入された量子化ノイズが隠されて非可聴となるように量子化を行うの である。したがって量子化は可聴ノイズを齎すことはないのである。 ＮＢＣ標準は所謂非均一量子化器を利用する。これに加えて、量子化ノイズを 成形するべくある方法が用いられる。先行する諸標準と同じように、ＮＢＣ標準 もスケール・ファクター帯域として知られているスペクトル係数群の個別増幅を 使用する。可能な限り効率よく作業すべく、量子化ノイズはユニットに成形する のが望ましく、該ユニットはできる限り人間の聴取システムの周波数群に合致す るように構成されている。 かくして周波数群の帯域をなるべく近く反映するようにスペクトル値を群にす ることが可能である。個々のスケール・ファクター帯域は１．５ｄＢのステップ のスケール・ファクターにより増幅できる。増幅された係数がより高い振幅を有 するようにノイズ成形は行われる。したがって、量子化後はより高い信号−ノイ ズ比を示す。他方、高い増幅は符号化のためにより多くのビットを必要とする。 すなわちスケール・ファクター帯域間のビット分布は暗黙のうちに変更される。 スケール・ファクターによる増幅は勿論デコーダー中で修正する必要がある。こ の理由からして、１．５ｄＢユニット中のスケール・ファクター中に記憶されて いる増幅情報は副情報としてデコーターに伝達されなければならない。 スケール・ファクター帯域中のスペクトル値の量子化の後(ときにはスケール ・ファクターにより増幅された)、スペクトル値は符号化される。非ノイズ符号 化 モジュールへの入力信号は例えば１０２４量子化スペクトル係数のセットである 。非ノイズ符号化モジュールにより、１０２４の量子化スペクトル係数のセット はセクションに分割される。この差異には各セクションを符号化するのに単一ホ フマン符号化テーブル（コードブック）が採用される。符号化効率のために、セ クションの限界はただ１個のスケール・ファクター帯域限界を与えられ、スペク トルの各セクションに、スケール・ファクター帯域中のセクションの長さとホフ マン符号化テーブルとが副情報として伝達されなければならない。 セクションの形成は動的であって、量子化されたスペクトル計数の全セットを 表示するのに必要なビット数が最小になるように、ブロックからブロックへと変 動する。ｎ−タプルの量子化係数の表示にはホフマン符号化が使われるが、ホフ マン・コードは１２個の符号化テーブルのひとつから引き出される。各ホフマン 符号化テーブルにより表示されることのできる量子化係数の最大絶対値と各符号 化テーブルのための各ｎ−タプルにおける係数の個数とは最初から特定化される ものである。 セクションを形成する理由は、単一のホフマン符号化テーブルによってセクシ ョンのためのできる限り高い符号化ゲインを得るために、同じ信号確率を有した 群領域にある。この符号化ゲインは一般に符号化前後のビットの商により特定さ れる。ＮＢＣ方式に用いられるビット・フロー中の符号化テーブル数（コードブ ック数）により、１２個のホフマン符号化テーブルのひとつに照合が行われて、 これにより特定のセクションのための最高の符号化ゲインが可能となる。 この明細書における「符号化テーブル数」とは符号化テーブル数のために確保 されたビット・フロー構造中の場所を指している。二進数の１１個の異なる符号 化テーブル数を符号化するためにに、４個のビットが必要とされる。これらの４ ビットは各セクション（つまりスペクトル値の各群）に副情報として伝達されな ければならず、これによりデコーダーは解号のために対応する正しい符号化テー ブルを選択できる。 図２に示すのは上記した原理によって動作するコーダーとデコーダーの概要を 示すものである。好ましくはすでに時間不連続な態様で存在するオーディオ信号 がオーディオ入力端２００を介して入力される。ついで時間不連続オーディオ信 号はブロック２０２（分析フィルター・バンクでありウインドウ機能を具えてい る）において、やはり「フレーム」と呼ばれる時間不連続なウインドウ処理され たオーディオ信号のブロックを得るべく、ウインドウ処理される。 分析フィルター・バンク２０２において、ウインドウ処理された値は周波数範 囲に変換される。かくして分析フィルター・バンク２０２の出力端にはスペクト ル値が現れるが、これはまず量子化符号化ブロック２０４において量子化され、 ついで例えばホフマン符号化により冗長符号化される。さらにオーディオ入力端 ２００における時間不連続オーディオ入力信号から量子化に用いられるマスキン グ情報が算出され、それによりスペクトル値を量子化するために導入された量子 化ノイズが心理音響的にマスキングまたは被覆される。 量子化されかつ符号化されたスペクトル値は、コーダーの場合には、ビット・ フロー・マルチプレクサー２０８に供給されて量子化されてかつ冗長符号化され たスペクトル値をビット・フローに形成する。このビット・フローは公知のよう に解号に必要な副情報を含んでいる。完成された符号化ビット・フローは出力端 ２１０に現われ、入力端２００におけるオーディオ信号の符号化バージヨン（ｖ ｅｒｓｉｏｎ）を構成している。このビット・フローはデコーダーに伝達されて そのビット・フロー入力端２１２に入る。ビット・フロー・デマルチプレクサー ２１４においてビット・フローは副情報と量子化符号化スペクトル値とに分解さ れる。これらは逆量子化ブロック２１６において冗長符号化されかつ再量子化さ れる。ついで合成フィルター・バンク２１８に供給されて、その入力端に存在す るスペクトル値は時間範囲に戻り変換される。このとき符号化および解号オーデ ィオ信号はデコーダーの出力端２２０に存在する。この出力端２２０の符号化お よび解号オーディオ信号は、、符号化エラーは別として、入力端２００における 当初の時間不連続オーディオ信号に相当する。 所謂「時間的ノイズ成形」技術についてもすでに公知文献がある(Ｊ．Ｈｅｒ ｒｅ、Ｊ．Ｄ．Ｊｏｈｎｓｔｏｎ「時間的ノイズ成形（ＴＮＳ）による知覚可聴 コーダーの挙動向上」１０１番、ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｌｏｓ Ａｎ ｇｅｌｅｓ、１９９６、予原稿４３８４)。一般的に言うとＴＮＳ（時間的ノイ ズ成形）技術はスペクトル値の予測的符号化により量子化ノイズの微細構造を時 間的に成形するものである。 ＴＮＳ技術は時間と周波数範囲との間の二元性（ｄｕａｌｉｓｍ）の結果的な 採用に基礎を置いている。周波数範囲に変換されたときの時間信号の自動相関機 能は正確にこの時間信号のスペクトル力密度を示している。信号のスペクトルの 自動相関機能が形成されて時間範囲に変換されたとき、それに関して二元性が起 きてくるのである。時間範囲に変換された自動相関機能またはそれから戻り変換 された自動相関機能は時間信号のヒルベルト包絡曲線の二乗（ｓｑｕａｒｅ ｏ ｆ ｔｈｅ Ｈｉｌｂｅｒｔ ｅｎｖｅｌｏｐｅ ｃｕｒｖｅ）とも呼ばれてい る。したがって信号のヒルベルト包絡曲線はそのスペクトルの自動相関機能に関 連している。 信号の二乗ヒルベルト包絡曲線およびスペクトル力密度は時間範囲および周波 数範囲で二元性を呈することになる。信号のヒルベルト包絡曲線が各部分的帯域 信号について一定の周波数範囲に亙って定常であるときには、隣接するスペクト ル値間の自動相関は同様に定常である。すなわち周波数に関連して一連のスペク トル係数は静的であり、これがなぜ、予測係数の共通のセットを利用して信号を 表現するために、予測的符号化技術が効率よく使用されるかの理由である。 上記の事実を図５ａ、５ｂにより説明する。図５ａに示すのは期間が約４０ｍ ｓの「カスタネット型」の信号の短期セクションであって、時間的に高度に一過 性のものである。この信号は数個の部分的な帯域信号に分割され、各部分的帯域 信号の帯域幅は５００Ｈｚである。図５は中心周波数が１５００〜４０００Ｈｚ の範囲にあるこれらの帯域信号のヒルベルト包絡曲線を示すものである。明確に するために全ての包絡曲線はその最大振幅に正規化されている。全ての部分的包 絡曲線の形状は明らかに互いに関連を有しており、したがってこの周波数範囲内 で共通の予測器を用いて信号を効率的に符号化するもとができる。同じような観 察が音声信号についてもなし得るのであり、そこでは、人間の会話形成メカニズ ムの性質の故に、声門の刺激パルスが全周波数範囲に存在するのである。 図５は隣接する値の相関を示すもので、例えば周波数２０００Ｈｚにおけるも のは周波数３０００Ｈｚまたは１０００Ｈｚにおけるそれとそれぞれ同じである 。 これに代えて一過性信号のスペクトル予測可能性の性質は図４からも理解する ことができる。表中の上左には、正弦波経路を有した時間連続信号ｕ（ｔ）が示 されている。その反対側には、この信号のスペクトルＵ（ｆ）が示されており、 これは単一のディラック・パルスから構成されている。この信号の最適な符号化 は全ての時間信号についてスペクトルデータまたはスペクトル値を符号化すれば よい。なぜならフーリエ関数の量および位相を伝達して時間信号を完全に再構築 する必要があるからである。同時にスペクトル値の符号化は時間範囲における予 測に相当する。かくして、時間範囲中で予測的符号化を行う必要がある。正弦波 時間信号は平らな時間的な包絡曲線を有し、これが最大値において平らではない 周波数範囲中の包絡曲線に対応するのである。 以下に上記とは逆の場合を考察する。すなわち時間信号ｕ（ｔ）が時間範囲中 のディラック・パルスの形である最大一過性信号である場合である。時間範囲内 でのディラック・パルスは「平らな」パワー・スペクトルに相当する。一方位相 スペクトルはパルスの一時的な位置に応じて回転している。上記した従来の手法 （例えば伝達符号化またはスペクトルデータの符号化または時間範囲データの線 形予測符号化）の場合にはこの信号は明らかに問題となる。この信号は時間範囲 において最もよくかつ最も効率的に符号化することができる。なぜならば、ディ ラック・パルスの時間的な位置とパワーのみが伝達必要であって、これは二元性 の結果的な適用により、時間範囲における予測的な符号化が効率的な符号化に適 合した手法を与える結果になる。 ここで、周波数に関連してスペクトル係数を予測的に符号化することを、ブロ ックからブロックへとスペクトル係数を予測する二元的概念と、混同しないこと が重要である。なお後者の手法は前記したＭ．Ｂｏｓｉ、Ｋ．Ｂｒａｎｄｅｎｂ ｕｒｇ、Ｓ．Ｑｕａｃｋｅｒｂｕｓｈ、Ｌ．Ｆｉｅｌｄｅｒ、Ｋ．Ａｋａｇｉｒ ｉ、Ｈ.Ｆｕｃｈｓ、Ｍ．Ｄｉｅｔｓ、Ｊ．Ｈｅｒｒｅ、Ｇ．Ｄａｖｉｄｓｏｎ 、Ｙｏｓｈｉａｋｉ Ｏｉｋａｗａ：「ＩＳＯ ＭＰＥＧ−２ 高級オーディオ 符号化」、１０１番、ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｌｏｓ Ａｎｇｅｌｓ、 1９９６、予原稿４３８２に記載されている。ブロックからブロックへとスペク トル係数を予測する際には（これは時間に関連しての予測に相当する）、スペク トル解像度は増加される。ところが周波数に関連してスペクトル値を予測する際 に は、時間的な解像度は向上する。例えば１０００Ｈｚにおけるスペクトル係数は 、例えば同じブロックまたはフレーム中の９００Ｈｚにおけるスペクトル係数に より決定することができる。 このような考察により一過性の信号のための効率的な符号化方法が得られるの である。時間と周波数範囲との間の二元性を考慮しての予測定符号化技術は、公 知のあるスペクトル係数から同じ周波数のつぎのブロック中のスペクトル係数の 予測と、実質的に同じに扱うことができる。スペクトルパワー密度と信号の二乗 ヒルベルト包絡曲線とは互いに二元性を有しており、従来の予測方法の場合のス ペクトル平坦度とは対照的に、信号の二乗ヒルベルト包絡曲線に応じて残留信号 エネルギーまたは予測ゲインの低減が得られるのである。潜在的な符号化ゲイン は増加的に一過性の信号については増加する。 可能な予測方式としてはクローズド・ループ予測方式（後前方向予測とも呼ば れる）とオープン・ループ予測方式（前方向予測とも呼ばれる）とがある。クロ ーズド・ループによるスペクトル予測方式（後前方向予測）の場合には、エラー の包絡曲線が平らである。換言すると、エラー信号エネルギーが時間に関して均 一に分布されている。 しかし前方向予測の場合には図６に示すように、量子化によりもたらされたノ イズの時間的な成形が起きる。予測されるべきスペクトル係数ｘ（ｆ）が加算点 ６００に供給される。したがって同じスペクトル係数が予測器６１０に供給され て、負号を伴ったその出力信号が同様に加算点６００に供給される。かくして量 子化器５２０への入力信号はスペクトル値ｘ（ｆ）と予測により算出されたスペ クトル値ｘ_P（ｆ）との差を示している。 前方向予測にあっては、解号されたスペクトル係数中の全エラー・エネルギー が同じままで残る。量子化エラ一信号の時間的な形状はデコーダーの出力端に一 時的に現れる。なぜならスペクトル係数に関しての予測が採用されたからである 。ここで量子化ノイズは実際の信号の下側に一時的に置かれてマスクされる。こ の方法により例えば一過性信号または音声信号における時間マスクの問題が回避 される。 このようなスペクトル値の予測符号化はＴＮＳまたは一時的ノイズ成形技術と 呼ばれる。これを図７に示す。図７ａ中の上左側には高度に一過性の時間信号の 時間曲線が示されている。図中上右側にはこれに対してＤＣＴスペクトルの部分 が示されている。図７中の下左側にはＬＰＣ作業（ＬＰＣ＝線形予測符号化）に より算出された結果のＴＮＳ合成フィルターの周波数応答が示されている。ここ でこの図表中の（標準）周波数座標は時間範囲と周波数範囲との二元性による時 間座標に相当する。 ＬＰＣ算出は明らかに入力信号の「ソースモデル」に至るものである。なぜな らＬＰＣ算出合成フィルターの周波数応答は高度に一過性の時間信号の包絡曲線 と同じだからである。図７ａ中下右側には図６中の量子化器６２０の入力信号の スペクトル残留値が周波数に関連して示されている。予測後のスペクトル残留値 と直接時間−周波数変換のスペクトル値とを比較すると、スペクトル残留値が最 初のスペクトル値よりかなりエネルギーが低いことが分かる。図示の実施例では スペクトル残留値のエネルギー減少は約１２ｄＢの全予測ゲインに相当する。 以下の記載に関しては図７ａ中の下左側を参照されたい。時間範囲信号の予測 の従来の応用にあっては、合成フィルターの周波数応答は入力信号のスペクトル 値の近似である。合成フィルターは（再）生成してほぼ「白色」スペクトルを有 する残留信号から信号のスペクトル形状を引き出すのである。ＴＮＳ技術の場合 のようにスペクトル信号に予測を適用する際には、合成フィルターの周波数応答 は入力フィルターの包絡曲線の近似である。合成フィルターの周波数応答はパル ス応答のフーリエ変換であり、従来の手法と共通するが、逆フーリエ変換である 。 ＴＮＳ合成フィルターはほぼ「白色（すなわち平らな）」包絡曲線を有した残 留信号か信号の包絡曲線形状を（再）生成する。図７ａ下左側の表示はＴＮＳ合 成フィルターにより形成された入力信号の包絡曲線である。これは現在の場合、 上に示されたカスタネット型信号の包絡曲線近似の対数表示である。 その後符号化ノイズがスペクトル残留値に導入される。すなわち例えば０．５ Ｂａｒｋの幅を有した各符号化帯域において、１３ｄＢの信号−ノイズ比が得ら れる。量子化ノイズの導入により生じる時間範囲中のエラー信号を図７ｂに示す 。図中左側の表示はＴＮＳ技術が使用された場合における量子化ノイズに起因す るエラー信号である。一方図中右側の表示においては、比較の理由からＴＮＳ技 術 は使われていない。予想されるように、左側の表示中のエラー信号はブロック全 体に亙って均一には分布されてなく、この量子化ノイズを最適な方法で覆う高い 信号成分がある部分に集中している。 右側に示した表示では、導入された符号化ノイズはブロック中で（すなわち時 間に関連して）均一に分布されている。この結果、信号がないか全んどない前方 部分中では可聴ノイズが存在する。一方高い信号成分を含んだ領域中では、比較 的ノイズが少なく、信号のマスク可能性が完全には利用されてないのである。 コーダー中へのＴＮＳフィルター８０４の搭載を図８ａに示す。これは分析フ ィルター・バンク８０２と符号化器８０６との間に配置されている。図８ａに示 すコーダーの場合の時間不連続入力信号はオーディオ入力端８００に供給され、 量子化されたオーディオ信号および量子化されたスペクトル値または量子化され たスペクトル残留値は出力端８０８に出力され、該出力端はその下流側に余分の コーダーを具えていることもある。かくして入力信号はスペクトル値に変換され る。 算出されたスペクトル値に基づいて、通常の線形予測計算が行われ、これには 例えばスペクトル値の自動修正マトリックスを形成し、かつレビンソン−ダービ ン反復（Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎ ｒｅｃｕｒｓｉｏｎ）が用いられる 。図８ｂはＴＮＳフィルター８０４を詳しく示したものである。フィルター入力 端８１０にはスペクトル値ｘ（１）・・・ｘ（ｉ）・・・ｘ（ｎ）が入力される 。ある特定の周波数範囲のみが一過性の信号を有し、他の周波数範囲がどちらか というと静的な性質を有している場合があるかもしれない。このことを考慮して ＴＮＳフィルター８０４には入力スイッチ８１２と出力スイッチ８１４とが設け られている。しかしこれらのスイッチはまず処理されるデータの並列/直列およ び直列／並列変換をそれぞれ扱っている。 ある特定の周波数範囲が非静的であってＴＮＳ技術による特定の符号化ゲイン を保証しているか否かにより、この特定のスペクトル範囲がＴＮＳ処理されるだ ろう。すなわち入力スイッチ８１２が例えばスペクトル値ｘ（ｉ）でスタートし て、スペクトル値ｘ（ｉ＋２）に至るまで作用する。フィルター・ゲインの内部 は再び前向き予測構造（すなわち予測器６１０と合計点６００）となる。 ＴＮＳフィルターのフィルター係数と予測係数とを決定する計算はそれぞれ以 下のように行われる。自動相関マトリックスの形成とレビンソン−ダーバン反復 の使用とはノイズ形成フィルター２０の最高許容オーダー（ｏｒｄｅｒ）桁につ いて行われる。算出された予測ゲインが特定のしきい値を越えると、ＴＮＳ処理 が達成される。 ついで現在のブロックに用いられるノイズ形成フィルターのオーダーが、係数 列の最終から充分に小さな絶対値で全ての係数を除く、により決定される。かく して通常ＴＮＳフィルターのオーダーは音声信号について４〜１２の強さである 。 スペクトル値ｘ（ｉ）のある範囲について例えば充分に高い符号化ゲインが確 実な場合には、後者が処理され、スペクトル値ｘ（ｉ）ではなくスペクトル残値 ｘ_R（ｉ）がＴＮＳフィルターの出力端に出される。図７ａから分かるように、 この後者の値は通常のスペクトル値ｘ（ｉ）よりは非常に低い振幅を有している 。かくしてデコーダーに送られた副情報は、通常の副情報に加えて、フラッグを 有している。このフラッグはＴＮＳの使用と、必要ならば、目的とする周波数範 囲についての情報と符号化に用いられたＴＮＳフィルターについての情報とを含 んでいる。フィルター・データは量子化されたフィルター係数として表現され得 る。 図９ａに示すデコーダーにおいて、各チャンネルについてＴＮＳ符号化が反転 される。スペクトル残値ｘ_R（ｉ）は逆量子化器２１６において再量子化されて 、図９ｂにその構造を示す逆ＴＮＳフィルター９００に供給される。逆ＴＮＳフ ィルター９００は出力信号としてスペクトル値を再び送出し、これが合成フィル ター・バンク２１８中の時間範囲に変換される。ここでもＴＮＳフィルター９０ ０は入力スイッチ９０２と出力スイッチ９０８とを有しており、まず処理される べきデータの並列／直列および直列／並列変換を行う。 入力スイッチ９０２はさらに採用されているであろう目的周波数も考えに入れ て、スペクトル残値のみをＴＮＳ符号化に供給する。ＴＮＳ符号化されてないス ペクトル値は変化されることなく出力端９１０を通過する。逆予測フィルターは ここでも予測器９０６と合計点９０４とを具えている。しかしＴＮＳフィルター とは違って、これらは以下のように接続されている。スペクトル残留値が入力ス イッチ９０２を経て合計点９０４に供給されて、そこで予測器９０６の出力信号 と合計される。予測器は出力信号として予測スペクトル値ｘ_P（ｉ）を出す。こ のスペクトル値ｘ_p（ｉ）は出力スイッチを経て逆ＴＮＳフィルターに出力され る。かくしてＴＮＳ副情報がデコーダーにおいて解号される。この副情報はＴＮ Ｓの使用を示すフラッグと、必要なら、的とする周波数範囲に関する情報を含ん でいる。これに加えて副情報はブロックを符号化するのに使用される予測フィル ターのフィルター係数をも含んでいる。 かくしてＴＮＳ方法は以下のように要約される。入力信号が高解像度分析フィ ルター・バンクによりスペクトル表示に移送される。爾後周波数範囲内での線形 予測が実施される。すなわち周波数−隣接スペクトル値間で行われる。この線形 予測はスペクトル値をフィルターする処理と考えてよく、そのスペクトル範囲に おいて実施される。当初のスペクトル値は予測エラー（すなわちスペクトル残留 値）により置き換えられる。これらのスペクトル残留値は、通常のスペクトル値 と同様に、量子化され符号化された形でデコーダーに移送される。ここで値は再 び解号されて逆符号化される。逆フィルター・バンク（合成フィルター・バンク ）の適用前に、コーダーにより行われた予測と逆の予測が伝達されたエラー信号 （すなわち再量子化されたスペクトル残留値）について逆予測フィルターを用い て行われる。 この方法の適用により量子化ノイズの一時的な包絡曲線を入力信号のそれにマ ッチさせることができる。これにより、時間的な微細構造を有した信号の場合に 、エラー信号のマスキングの利用が改善される。一時的な信号の場合には、ＴＮ Ｓ方法はいわゆる「プレエコー」を除き、そこでは信号の衝撃（ｓｔｒｉｋｉｎ ｇ）前に量子化ノイズがすでに現れる。 心理音響学の分野から知られていることだが、ノイズ信号の知覚印象は主とし てそのスペクトル組成から決定されるもので、実際の信号形状からではない。こ れによりオーディオ信号のデータ還元におけるいわゆるノイズ置換方法を使用で きる。 「ノイズ置換」はＤｏｎａｌｄ Ｓｃｈｕｌｚの「ノイズ置換によるオーディ オ・コードの改善」（Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇ．Ｓ ｏｃ.、第４４巻、７／８号、５９３〜５９８頁、７／８月、１９９６）に記載 されている。上記したように、従来のオーディオ符号化アルゴリズムは人間の耳 のマスキング効果を利用しており、データ速度を大きく低減したり伝達されるビ ット数を低減している。このマスキングとはスペクトル値としての１以上の周波 数成分がより低いレベルの成分を非可聴とすることを意味している。この効果は ２通りに利用できる。第１に他の成分によりマスクされたオーディオ信号成分は 符号化する必要がない。第２に、ノイズが当初の信号の成分によりマスクされた とき、ノイズの導入が上記した符号化により可能となる。 ノイズ状の信号の場合には、人間の可聴システムは正確な経路を確認すること はできない。従来のアルゴリズムでは、人間の耳にはほとんど関係のない白色ノ イズの波形さえも符号化される。かくしてノイズ含有信号の可聴補償符号化は予 告がないと可聴できない情報のために高いビット程度を必要とする。しかしもし 信号のノイズ含有成分が検出されてノイズレベル上または周波数範囲上またはそ の延長上の情報とともに符号化されると、そのような余分な符号化が低減できる 。これにより極度にビットを節減できることになる。この事実は心理音響学によ り支持されており、ノイズ信号の知覚の印象は主としてそのスペクトル成分によ り決定されが、実際の波形によってではない。これによりオーディオ信号のデー タ低減のためにノイズ置換方法を使用できることになる。 かくしてコーダーはオーディオ信号の全てのスペクトル中のノイズまたはノイ ズ性のスペクトル値を発見または認識する作業に直面する。ノイズ状のスペクト ル値の定義はつぎの通りである。信号成分がそのレベルと周波数範囲と時間にお ける延長とにより、人間の聴覚に可聴差異なしにノイズ置換により再構築され得 るように、特性付けられる場合には、信号成分はノイズであると分類されるので ある。 前記の刊行物に記載のように、この特性の検出は周波数範囲でも時間範囲でも 実施できる。例えば一番簡単な方法では、音成分（すなわち非ノイズ状）成分を マスキングし、これには時間−周波数変換を使用し、時間において相互に続くス ペクトル中の静的ピークに従う。このピークは音状と呼ばれ、他のものはノイズ 状と呼ばれる。しかしこれはかなり粗いノイズ検出システムである。ノイズ状と 音状スペクトル成分を識別する他の手法としては、連続するブロック中のスペク トル値について予測器を利用するものである。 あるスペクトルからつぎのスペクトルへと予測が実施される。すなわちつぎの 時間的なブロックを伴なうスペクトルである。予測されたスペクトル値と次のブ ロックのスペクトル値（変換により実際に確認されている）との間の差異がない か極く小さい場合には、スペクトル値は音スペクトル成分であると推定される。 これから調性の測定が行われ、音状とノイズ状スペクトル値の識別決定の基礎と なる。 しかしこの手法は厳密に静的な信号についてのみ適切である。時間に関連して 若干変動する周波数のサインカーブ状の信号が存在する場合には検出ができない のである。そのような信号はしばしばオーディオ信号中に現われて（例えばビブ ラート)、これらをノイズ状成分で置き換えることはできないのである。 その他にもノイズ状信号を検出するには、時間範囲内で予測を行う方法がある 。このため整合フィルターを使用でき、線形予測を繰り返して実施する。通過し たオーディオ信号は入力され、出力信号は実際のオーディオ信号値と比較される 。小さな予測エラーの場合には、調性があると推定される。異なる周波数範囲の 特性を決定すべく、すなわちスペクトル範囲を検出すべく、スペクトル値の群が ノイズ状群であるか否かを決定すべく、当初の信号と予測された信号の時間−周 波数変換を実施する必要がある。 調性の測定かつ周波数群について、当初と予測された値を比較すること、によ り算出される。ここで主たる問題は、予測器の動的な範囲が限られている点であ る。結果される高度のエラーの故に予測器が高レベルのノイズ状周波数群により 占められるのである。音成分を有した他の周波数範囲はノイズ状と解釈される。 この問題は、相互干渉アルゴリズムを用いることにより、低減される。そこでは エラー信号は通常当初の信号より低レベルであり、追加の予測器に入力されて、 両予測信号が加算される。以上はＳｃｈｕｌｚの文献に記載されている。 ノイズ状と分類されたスペクトル値の群は、通常のように量子化されてかつエ ントロピーまたは冗長性符号化された形（例えばホフマン・テーブルにより）で 受信器に伝達される、ことはない。ノイズ置換を表示する識別とスペクトル値の ノイズ状群の尺度とのみが副情報として伝達されるのである。受信器においては 置換された係数は伝達されたエネルギーとともにランダムな値（ノイズ）と置換 される。ノイズスペクトル値は対応する量のエネルギーとともにランダムなスペ クトル値により置換される。 量子化されたスペクトル係数について一群のコードの代わりに単一のエネルギ ー情報を伝達することにより、すなわち数個の量子化されて符号化されたスペク トル値を伝達することにより、データをかなり節減することができる。どの程度 節減できるかは信号による。例えばノイズ成分が非常に低い信号、すなわちノイ ズ状群が非常に少ないかまたは一過性の性質がある場合には、ノイズの多い信号 よりもデータの節減程度が低くなる。 前記した標準ＭＰＥＧ−２オーディオ符号化（ＡＡＣ）はノイズ置換の可能性 を支持するものではない。今迄のところ現存の標準では顕著なデータ程度節減は 不可能である。 図３に示すのは図２のものと同じコーダーとデコーダであるが、ノイズ置換を 含んでいる点で異なる。前記したように図３に示すようなノイズ置換のインプリ メンテーションは従来技術の部分ではない。同じ参照番号は同じ機能ブロックを 示している。図３のコーダーは図２のものに比べて１個の新たなブロック「ノイ ズ検出」３１０を有しているだけである。ノイズ検出は分析フィルター・バンク ２０２の出力信号（スペクトル値）により行われる。 しかしノイズ検出に分析フィルター・バンクの時間入力信号を用いることもで きる。これをオーディオ入力２００とノイズ検出３１０をつなぐ矢印で示す。ノ イズ置換には２個のカテゴリーの情報が必要である。これをノイズ検出ブロック ット・フロー・マルチプレクサーブロック２０８の２本の矢印で示す。ノイズ置 換符号化信号を再び解号するために、ノイズ置換表示を副情報として伝達する必 要があり、これがどの周波数範囲においてまたはどのスケール・ファクター帯域 でノイズ置換がされたかを示すのである。 さらにノイズ状群またはノイズ状スケール・ファクター帯域中のスペクトル値 のエネルギーの測定値も副情報として伝達する必要がある。ノイズ置換スペクト ル値は量子化や符号化されない、すなわちブロック「量子化／符号化」２０４は ノイズ置換がスケール・ファクター帯域中に存在することを報告される。ビット フロー・マルチプレクサーもまたノイズ置換表示とノイズ状群中のスペクトル値 のエネルギーの測定値を副情報として受ける。 またデコーダーは図２について記載したデコーダーと同じであり、新たなブロ ック「ノイズ置換」３１２が加わった点のみが異なる。このブロック３１２はビ ットフロー・デマルチプレクサー２０４から入力信号としてノイズ置換表示と置 換信号のエネルギー（つまりノイズ状中およびノイズ状スケール・ファクター帯 域中のスペクトル値の測定値）を含んだ副情報を受ける。 ブロック「ノイズ置換」は、ノイズ状群およびノイズ状スケール・ファクター 帯域のために、ランダムまたは「ノイズ」スペクトル値を発生し、これは合成フ ィルター・バンク２１８に供給され、符号化および解号化時間不連続オーディオ 信号を得る。該フィルター・バンク２１８にとっては、ノイズスペクトル値を時 問範囲に変換するかまたは「正常な」再オーディオ信号スペクトル値を時間範囲 に変換するか、は無関係である。 公知の置換方法は、入力信号が均一なノイズ構造を呈する（つまり面上または 平坦状のスペクトル）ときには、入力信号の位置部がノイズにより置換されつい で非可聴品質損失を伴なって再び解号される、という問題を含んでいる。これは 一過性信号または音声信号の場合にはなく、ノイズ置換の使用を完全に必要なく するかまたは、それでもノイズ置換が用いられた場合には、信号の邪魔な歪みが 発生する。 以下添付の図面よりこの発明を詳細に説明する。 図１はこの発明のコーダーとデコーダーのブロック線図であり、 図２は公知のコーダーとデコーダーの基礎概念を示すブロック線図であり、 図３はノイズ置換を増設した図２のコーダーのブロック線図であり、 図４は時間領域と周波数領域間の二元性を示す表であり、 図５ａは一過性信号の一例を示し、 図５ｂは図５ａの一過性時間信号に基づいた部分帯域パス信号のヒルベルト包絡 曲線を示し、 図６は周波数領域における予測を示す説明図であり、 図７ａはＴＮＳ法の一例を示し、 図７ｂは導入されたＴＮＳ技術による／よらない量子化ノイズの時間的パターン の比較を示し、 図８ａはＴＮＳフィルターを具えたコーダーのブロック線図であり、 図８ｂはその詳細構成図であり、 図９ａは逆ＴＮＳフィルターを具えたデコーダーのブロック線図であり、 図９ｂはその逆ＴＮＳフィルターの詳細構成図である。 図１にこの発明のコーダーとデコーダーとを示す。図３に示したコーダーに比 べて図１のそれはＴＮＳフィルター処理とノイズ置換との組合せを含んでいる。 スペクトル値のノイズ置換を行う公知のコーダーとは対照的に、この図のコーダ ーはＴＮＳフィルター８０４の出力端においてスペクトル残留値のノイズ置換を 行う。スペクトル残留値の群またはスペクトル残留値を伴なったスケール・ファ クター帯域においてはノイズ置換により、それらの中のスペクトル残留値のエネ ルギーの測定値を確認する。量子化器とコーダー２０４およびマルチフレクサー ２０８へのノイズ置換表示は当初のスペクトル値のためのノイズ置換とともにア ナログ的に実施される。 デコーダーにいおいては反対のアナログ処理が起きる。ビット・ロフロー・ジ マルチフレクサー２１４はＴＮＳ副情報を逆ＴＮＳフィルターに供給する。この ＴＮＳ副情報は、ＴＮＳ処理が周波数選択的手法により行われたときには、ＴＮ Ｓフィルターの予測係数とフィルター係数とを含んでおり、ＴＮＳがどこで励起 されどこで励起されなかったを示すフラッグも含んでいる。 さらにノイズ置換表示および置換されたスペクトル値または対応するスケール ・ファクター帯域中のスペクトル残留値はビットフロ・マルチフレクサーからノ イズ発生ブロック３１２へと供給される。該ブロック３１２は、ノイズ置換スペ クトル値またはノイズ置換スペクトル残留値が改善されようとされまいと、ノイ ズスペクトル値を発生し、これがＴＮＳフィルター９００に入力される。該フィ ルターは、ＴＮＳ処理されなかったスペクトル値が調性であってもノイズスペク トル値であっても、それらを不変状態で通過させる。これに対してスペクトル残 留値はＴＮＳ再処理されて、合成フィルター・バンク２１８が符号化され解号 された時間不連続出力信号をオーディオ出力端に出力できる。 以下においてスペクトルとスペクトル残留値との間の比較でノイズ検出を論じ る。Ｓｃｈｕｌｚによる文献ではスペクトル中のノイズ領域を検出するいくつか の手法が紹介されている。これらの手法はスペクトルのみに基づいたもの、時間 不連続オーディオ信号のみに基づいたもの、および両者に基づいたものなどがあ る。これらを図１〜３中にオーディオ入力端２００を「ノイズ検出」ブロックに つなぐ矢印で示してある。 この発明の方法はつぎのように要約できる。コーダーにおいては信号の時間的 な微細構造がＴＮＳフィルターにより「取り出さ」れる。残留スペクトルまたは スペクトル残留値はコーダーの入力端における時間不連続オーディオ信号に対応 する。オーディオ信号は振幅について「量子化」されており、スペクトル残留値 を含む残留スペクトルとほぼ同じ定常な包絡線を有している。当初の包絡曲線経 路についてのこの情報は、線形予測により得られるＴＮＳフィルターのフィルタ ー係数中に含まれている。この情報は副情報としてデコーダーに伝送される。 スペクトル残留値を含みかつほぼ時間において定常な残留スペクトルは、ＴＮ Ｓ処理されてないスペクトル値のためのノイズ置換と同様に、ノイズ置換に掛け ることができる。対応する副情報（置換された周波数帯域および帯域エネルギー の表示）は副情報としてデコーダーに伝達される。デコーダーにおいては、ノイ ズ置換された周波数帯域およびノイズ置換されない周波数帯域について、公知の 解号処理が行われる。ノイズ置換により導入されたノイズは時間的な微細構造を 有してなく、その包絡曲線はほぼ平坦である。爾後の逆ＴＮＳフィルターの間、 伝達されたＴＮＳ副情報に応じて、合成フィルター・バンクによりスペクトル値 が再び時間範囲に変換される前に、当初の微細構造が信号に再び導入される。 ノイズ置換と「時間的ノイズ成形」との組合せによりノイズ置換が改善され、 これが時間的微細構造を有した信号にも効率的に用いられ、ＴＮＳ手法により導 入された量子化ノイズが成形されて時間信号の「下」にパックされる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エーレット，アンドレアス ドイツ国 デー―90429 ニュルンベルク ホッホシュトラーセ 27 (72)発明者 ディーツ，マルティン ドイツ国 デー―90408 ニュルンベルク クレインレウサー ヴェグ 47 (72)発明者 テイクマン，ボド ドイツ国 デー―90427 ニュルンベルク エーベルマンステットテル シュトラー セ ２ (72)発明者 クンツ，オリベール ドイツ国 デー―96145 ゼッシュラッハ レーテンヴェグ １ (72)発明者 ブランデンバーグ，カールヘインツ ドイツ国 デー―91054 エルランゲン ハークシュトラーセ 32 (72)発明者 ゲルヘウザー，ヘインツ ドイツ国 デー―91344 ヴァイシェンフ ェルド サウゲンドルフ 17

Claims (1)

1. 【特許請求の範囲】 １．オーディオ信号を周波数領域に変換して（２０２）時間的オーディオ信号の スペクトル値（ｘ(１)、・・・、ｘ(ｎ)）を得て、 周波数（８０４）と関連してスペクトル値の予測を実施し、スペクトル残留値(x_R (１)、・・・、ｘ_R(Ｎ))を得て、 スペクトル残留値中のノイズ領域を検出し(３１０)、 ノイズ領域中のスペクトル残留値をノイズ置換し(３１０)、かつ 符号化されたオーディオ信号の副情報中にノイズ領域とノイズ置換とに関する情 報を導入する（２０８） ことを含んでなるオーディオ信号の符号化方法。 ２．オーディオ信号を受けて(２１２)、 副情報中のノイズ置換とスペクトル残留値のノイズ領域に関する情報を検出し( ２１４)、 ノイズ領域中に検出された情報に基づいてスペクトルノイズ残留値を発生し(３ １２)、 周波数に関連して逆予測（９００）を実施して、ノイズ置換スペクトルノイズ残 留値からスペクトル値を得て、 該スペクトルを時間領域に変換して(２１８)、解号化オーディオ信号を得ること を含んでなるオーディオ信号の符号化方法。 ３．予測（８０４）または逆予測（９００）がスペクトル値（ｘ(１)、・・・、 ｘ(ｎ)）の特定の範囲についてのみ実施される ことを特徴とする請求項１または２に記載の方法。 ４．符号化されたオーディオ信号の副情報が、予測が使用されたというヒントと 予測係数と選択的に予測（８０４）の周波数範囲情報と、を含んでいる ことを特徴とする請求項１〜３のいずれかひとつに記載の方法。 ５．予測（８０４）により発生されたフィルター係数が符号化されたオーディオ 信号（２０８）の副情報に導入される ことを特徴とする請求項１〜４のいずれかひとつに記載の方法。 ６．ノイズ置換（３１０）がスケールファクター帯域の形で実施される ことを特徴とする請求項１〜５のいずれかひとつに記載の方法。 ７．ノイズ置換（３１０）に際してスケールファクターを有した検出ノイズ領域 中のスペクトル残留値（ｘ_R(１)、・・・、ｘ_R(ｎ)）エネルギーを算出し、副情 報中に含まれてノイズ置換に関する情報はスケールファクターのためのビットフ ロー中の位置に含まれており、対応するノイズ領域中にエラー残留値のエネルギ ーを含んでいる ことを特徴とする請求項１〜６のいずれかひとつに記載の方法。 ８．符号化中はノイズ領域中に存在しないスペクトル残留値が心理音響学を考慮 して量子化され、解号化中はノイズ領域中に存在しないスペクトル残留値が再量 子化され、ついで逆予測に掛けられて、スペクトル値(ｘ１)、・・・、ｘ(ｎ)) を得る ことを特徴とする請求項１〜７のいずれかひとつに記載の方法。