JP2006201801A - 情報源符号化システムの性能向上装置 - Google Patents

Abstract

【課題】本発明は、高周波再生（ＨＦＲ）を用いた情報源符号化システムの性能を向上させるための新しい装置を提供することである。
【解決手段】本発明は適応ノイズフロア加算によって、再生された高帯域に含まれるノイズの内容が不十分であるという問題に焦点を当てている。本発明はまた、包絡調節増幅率の好ましくないノイズの制限、補間、平滑化により性能を向上させる新しい方法を導入している。本発明は音声の符号化システムと自然可聴周波の符号化システムの両方に適用可能である。
【選択図】図１

Description

本発明はスペクトルバンド複製、ＳＢＲ［ＷＯ９８／５７４３６］または関連の方法のような高周波再生（ＨＦＲ）を用いた情報源符号化システムに関するものである。本発明は低品質のコピーアップ法[アメリカ特許第５，１２７，０５４号]と同様に高品質法（ＳＢＲ）の両方の性能を改善するものである。本発明は音声の符号化と自然可聴周波の符号化システムの両方に適用可能である。更に、本発明は適応ノイズフロア加算を適用することによって、通常低ビットレート条件下で起きる周波数帯域の遮断の可聴効果を減らすために、高周波再生があるなしにかかわらず自然可聴周波の符号化に使うと、有利である。

確率的な信号成分が存在することは人間の声と同様に多くの楽器の重要な性質である。もしも信号が自然音として知覚されるならば、通常ほかの信号成分と混ざっているこれらのノイズ成分の再生はゆゆしきものがある。高周波再生ではある条件下で、元の信号に似たノイズの内容にするために、再生した高帯域にノイズを加えることは必須のことである。このことの必要性は、たとえばリード楽器または弦楽器から生ずる大部分の和音が低周波領域よりも高周波領域において比較的高いノイズレベルを有するという事実に起因している。更に、和音はときどき高周波ノイズを伴って起き、その結果、高帯域のノイズレベルと低帯域のノイズレベルとの間に類似性が全くない信号となる。いずれの場合も低品質コピーアッププロセスと同様に周波数置換、すなわち高品質ＳＢＲにおいても、複製した高帯域において時折ノイズが欠けるという困った目に遭うであろう。更に、高周波再生プロセスは通常ある種の包絡調整を含むが、この場合に高調波に好ましくないノイズ代入を避けることが望ましい。したがって、デコーダにおける高周波再生プロセスにおいて、ノイズレベルを加えて制御することが出来ることが必須である。

低ビットレート下で自然可聴周波を符号化すると、通常周波数帯域の厳しい遮断を示す。このことはフレームツーフレームベースで起き、その結果、符号化した全周波数範囲にわたってスペクトルの穴が勝手に現れることがある。これは耳に聞こえる人工の音になりうる。この効果は適応ノイズフロア加算により軽減することが出来る。

いくつかの従来のオーディオ符号化システムはデコーダにノイズ成分を再現する手段を含む。このことによりエンコーダは符号化システムにおいてノイズ成分を省略することが出来るので、効率的である。しかしながら、この方法が成功するには、エンコーダによって符号化プロセスで除かれたノイズがほかの信号成分を含んではならない。大部分のノイズ成分は通常時間およびまたは周波数において他の信号成分と混ざっているので、このハードディシジョン方式のノイズ符号化方式は比較的低いデューティサイクルになる。更に、この方法は再生された高周波帯域において不十分なノイズの内容であるという問題を決して解決するものではない。

本発明は再生した高帯域に含まれるノイズの内容が不十分であるという問題と、ノイズフロアの適応加算によって、低ビットレート条件下で周波数帯域の遮断に起因するスペクトルの穴とに焦点を当てている。本発明はまた高調波に対する好ましくないノイズの代入を防ぐ。このことはエンコーダにおけるノイズフロアレベルの評価と、デコーダにおける適応ノイズフロアの加算と好ましくないノイズ代入の制限とによってなされる。

適応ノイズフロア加算とノイズ代入制限法は以下のステップを含む。
−エンコーダにおいて、元の信号のスペクトル表現に適用されたディップフォロアとピークフォロアとを用いて、元の信号のノイズフロアレベルを評価する。
−エンコーダにおいて、ノイズフロアレベルをいくつかの周波数帯域にマッピングする、またはＬＰＣまたは他の多項式表現を使ってそれを表す。
−エンコーダまたはデコーダにおいて、時間およびまたは周波数においてノイズフロアレベルを平滑化する。
−デコーダにおいて、元の信号のスペクトル包絡表現に従ってランダムノイズを整形し、エンコーダで評価されたノイズフロアレベルにしたがってノイズを調節する。
−デコーダにおいて、時間およびまたは周波数においてノイズフロアレベルを平滑化する。
−再生高帯域または遮断周波数帯域のいずれかにおいて、ノイズフロアを高周波再生信号に加える。
−デコーダにおいて、包絡調節増幅率の制限を使って、高周波再生信号のスペクトル包絡を調節する。
−デコーダにおいて、受信したスペクトル包絡の補間を使って、周波数分解能を増し、リミッタの性能を改良する。
−デコーダにおいて、包絡調整増幅率を平滑化する。
−デコーダにおいて、複数の低帯域周波数範囲から発して、いくつかの高周波再生信号の和である高周波再生信号を生成し、低帯域を分析して、加算するための制御データを供給する。

次に本発明について図面を参照して実施例により説明するが、本発明の範囲や思想を限定するものではない。
以下説明する実施例は高周波再生システムを改良するための本発明の原理を単に説明するためのものである。ここで説明する構成と詳細を修正することや変更することは当業者に明らかであろうと思われる。したがって、特許請求の範囲に記載された範囲にのみ限定されるものであって、ここに説明する実施例の特定の記載に限定されるものではない。

（ノイズフロアレベルの評価）
オーディオ信号スペクトルを十分な周波数分解能で分析して、フォルマントや単独の正弦波などなどが明白に見えるとき、このことを微細構造スペクトル包絡と呼ぶことにする。しかしながら、もし低分解能が使われていれば、細部の詳細は全く観測することができない。このことを粗構造スペクトル包絡と呼ぶことにする。必ずしも定義によるノイズではないが、本発明の説明ではノイズフロアのレベルは高分解能スペクトルにおける局所の最小点に沿って挿入された粗構造スペクトル包絡と、高分解能スペクトルにおける局所の最大点に沿って挿入された粗構造スペクトル包絡との比とする。この測定はその信号部分に対する高分解能ＦＥＴを計算して、ピークフォロアとディップフォロア（図１）を適用することによって行われる。それからノイズフロアはピークフォロアとディップフォロアの差として計算される。この信号を時間と周波数で適当に平滑化すると、ノイズフロアレベルの測定値が得られる。ピークフォロア関数とディップフォロア関数は数式１と数式２で表すことができる。

ここでTは減衰率、X(k)はラインkにおけるスペクトルの対数絶対値である。ヴィブラートと準定常音のときに良い評価を得るために、２種類のＦＥＴサイズ、一方が高分解能で他方が中分解能、について対が計算される。極端な値を捨てるために、高分解能ＦＥＴに加えられたピークフォロアとディップフォロアはローパスフィルタにかけられる。２個のノイズフロアレベルの評価が得られた後、最大値が選ばれる。本発明の一実施例では、ノイズフロアレベル値は複数の周波数帯域にマッピングされる（＝詳しく描画される）が、他のマッピング、たとえば多項式近似曲線やＬＰＣ係数も使うことができよう。オーディオ信号におけるノイズの内容を決定するとき、いくつかの方法を使うことができよう。しかしながら、前述のように、本発明のひとつの目的は高分解スペクトルにおける局所の最小値と最大値との差を評価することである。このことは真のノイズレベルの正確な測定を必ずしも必要としない。他の方法として可能なものは、線形予測、自動校正、等々であり、これらは通常ハードディシジョン方式のノイズ／ノイズなしアルゴリズムにおいて使われる（「ノイズ代入によるオーディオ符号化の改良（Improving Audio Codecs by Noise Substitution）」シュルツ（Ｄ．Ｓｃｈｕｌｔｚ）著、ＪＡＥＳ誌、第４４巻、第７／８号、１９９６年）。これらの方法は信号内の真のノイズ量を測定しようとするものであるが、本発明で定義したノイズフロアレベルを測定するのに適用することができる。ただし、前に挙げた方法と同等の良い結果は得られないが。また、組み合わせによる分析を使う、たとえばエンコーダ内にデコーダを有して、このようにして必要な適応ノイズ量の正確な値を評価することも可能である。

（適応ノイズフロアの加算）
適応ノイズフロアを適用するために、信号のスペクトル包絡表現が利用可能でなければならない。これはフィルタバンク実施用の線形ＰＣＭ値またはＬＰＣ表現でよい。ノイズフロアはデコーダにより受信された値に従って、それを正しいレベルに調節する前に、この包絡に従って整形される。デコーダ内で所定の付加オフセットを用いてレベルを調節することも可能である。

本発明のあるデコーダの実施例では、受信したノイズフロアレベルがデコーダ内で所定の上限と比較され、いくつかのフィルタバンクチャネルにマッピングされ、続いて時間と周波数の両方でＬＰフィルタによって平滑化される（図２）。ノイズフロアを信号に加えた後正しい合計信号レベルを得るために、複製された高帯域信号が調節される。調節率とノイズフロアエネルギーとが数式３と４とにより計算される。

ここでｋは周波数ラインを表し、ｌは各サブバンドサンプルに対する時間インデックスであり、sfb_nrg(k,l)は包絡表現であり、nf(k,l)はノイズフロアレベルである。エネルギーnoiseLevel(k,l)を有するノイズが生成されて、高帯域振幅がadjustFactor(k,l)で調節されたとき、加算されたノイズフロアと高帯域はsfb_nrg(k,l)に従ったエネルギーを有するであろう。このアルゴリズムから得られた出力の一例を図３−５に示す。図３は低帯域で強く発音され、高帯域で弱く発音されたフォルマント構造を含む元の信号のスペクトルを示す。これを適応ノイズフロア加算しないＳＢＲを用いて処理した結果を図４に示す。ここで、複製された高帯域のフォルマント構造は正しいけれどもノイズフロアレベルも低すぎるということは明らかである。本発明にしたがって評価されて適用されたノイズフロアレベルの結果は図５に示す。ここで複製された高帯域上に重畳されたノイズフロアが示されている。ここにおいて適応ノイズフロア加算の利点は目に見えてかつ聞こえるようにきわめて明らかである。

（置換利得適応）
多数の置換率を用いた理想的な複製プロセスは多次数の高調波成分を生成し、元の信号に似た高調波密度を提供する。種々の高調波に対して適切な増幅率を選ぶ方法を以下説明する。入力信号が数式５に示す高調波列であると仮定する。

倍率２による置換により数式６を得る。

置換された信号は明らかに２次高調波おきに消失している。高調波密度を増すために、M=3,5などなど高次の置換から生ずる高調波を高帯域に加える。大部分の多数の高調波に恩恵を与えるために、それらのレベルを適切に調節して、重なる周波数範囲内である高調波が他の高調波に対して優勢になるのを避けることが大切である。そうするときに起きる問題は、高調波の情報源の範囲間で信号レベルの差をいかに処理するかということである。これらの差はまたプログラム材料間で変わる傾向を有し、そのことが種々の高調波に対して一定の利得率を使うことを困難にしている。低帯域におけるスペクトル分布を考慮に入れる高調波のレベル調整法をここで説明する。置換器からの出力は利得調節器を通って送られ、加算されて、包絡調整フィルタバンクに送られる。このフィルタバンクには低帯域信号も送られ、同じ信号のスペクトル分析を可能にする。本発明では種々の置換率に対応する情報源範囲の信号パワーが評価されて、高調波の利得がそれに応じて調節される。もっと精密な解は低帯域スペクトルの傾斜を評価して、単純なフィルタ、たとえばシェルビングフィルタを組み込んで、フィルタバンクの前にこれを補償することである。この処理はフィルタバンクの等化機能に影響を与えるものではないことと、フィルタバンクにより分析された低帯域が同じものによって再合成されないこととに注目することが大切である。

（ノイズ代入の制限）
上式（数式５と６）によれば、複製された高帯域は時たまスペクトルの中に穴を含むことがあるであろう。包絡調節アルゴリズムは再生した高帯域の包絡線を元の信号の包絡線に似せようとする。元の信号がある周波数帯域内で高いエネルギーを有し、置換された信号がこの周波数帯域内でスペクトルの穴を示すと仮定しよう。このことは、もしも増幅率が任意の値を取ることが許されるならば、この周波数帯には非常に高い増幅率を適用することになって、ノイズまたはその他の好ましくない信号成分が元の信号と同じエネルギーに調節されるであろうことを意味する。このことを不要ノイズ代入と呼ぶことにする。数式７を所定の時間における元の信号の目盛係数とし、数式８を置換された信号の対応する目盛係数としよう。

ここで２個のベクトルのすべての要素は時間と周波数において正規化されたサブバンドエネルギーを表す。スペクトル包絡調節フィルタバンクの必要な増幅率は数式９として得られる。

Ｇを観測することにより、好ましくないノイズ代入を用いて周波数帯域を決定することは平凡なことである、なぜならばこれらはほかのものよりずっと高い増幅率を示すからである。そこで、増幅率に制限を課する、たとえば増幅率がある限界、g_max、まで自由に変わることができるようにする、ことによって好ましくないノイズ代入が容易に避けられる。ノイズリミッタを使った増幅率は数式１０により得られる。

しかしながら、この数式はノイズリミッタの基本原理を示すにすぎない。置換信号と元の信号のスペクトル包絡はレベルと傾斜とも確かに異なるであろうから、g_maxに一定値を使うことは適当でない。その代わりに、数式１１で定義される平均利得を計算して、増幅率がある値だけそれを超えることができるようにする。

広い帯域でのレベル変動を考慮に入れるために、２個のベクトルP₁とP₂をいくつかのサブベクトルに分割して、それに応じてそれらを処理することも可能である。このようにして、有用な情報を含むサブバンド信号のレベル調整の機能と干渉することなく、またはその機能を制限することなく、非常に効率的なノイズリミッタが得られる。

（補間）
サブバンド・オーディオ・コーダにおいて、目盛係数（スケールファクタ）を生成するとき、分析フィルタバンクのチャネルをグループ化するのが一般的である。目盛係数はグループ化された分析フィルタバンクチャネルを含む周波数帯域内のスペクトル密度の評価を表す。最も低そうなビットレートを得るために、送信する目盛係数の数を最も少なくすることが望ましい。このことはできるだけ大きいグループのフィルタチャネルを使うことを意味する。通常このことはバークスケール（Bark-scale）にしたがって周波数帯域をグループ化することによってなされる。すなわち、人間の聴覚システムが対数周波数分解能を有することを利用する。ＳＢＲデコーダ包絡調節フィルタバンクにおいて、エンコーダにおいて目盛係数を計算中に使ったグループ化と同じようにチャネルをグループ化することが可能である。しかしながら、調節フィルタバンクは受信した目盛係数から値を補間することによって、依然としてフィルタバンクチャネル方式で動作することができる。最も簡単な補間法は目盛係数の計算に使ったグループ内のすべてのフィルタバンクチャネルにその目盛係数の値を割り当てることである。置換された信号も分析されて、フィルタバンクチャネル毎に目盛係数が計算される。元のスペクトル包絡を表すこれらの目盛係数と補間値とが上述に従って増幅率を計算するのに使われる。この周波数領域補間方式には２つの大きな利点がある。置換された信号は通常元の信号よりもまばらなスペクトルを有する。したがってスペクトルの平滑化が有益であり、広い帯域よりも狭い周波数帯域で動作するときにより有効になる。言い換えれば、包絡調節フィルタバンクにより発生した高調波をよりよく分離して、制御することができる。更に、より高周波の分解能を用いてスペクトルの穴をよりよく評価して、制御することができるので、ノイズリミッタの性能が改良される。

（平滑化）
増幅率のリップルと共に調節用フィルタバンクにおける折り返しとリンギングを避けるために、適切な増幅率を得た後、時間と周波数に平滑化を適用するのが有利である。図６は対応するサブバンドサンプルに掛けるべき増幅率を示す。この図は２個の高分解能ブロックとそれに続く３個の低分解能サブロックと１個の高分解能ブロックを示す。高周波において周波数分解能が落ちることも示されている。増幅率を時間と周波数の両方でフィルタを通すことによって、たとえば加重移動平均法を採用することにより、図６の鋭さが図７で除かれている。しかしながら、複製した周波数範囲の過渡応答を減らすために、時間における短いブロックに対する過渡構造を維持することが大切である。同様に、複製した周波数範囲のフォルマント構造を維持するために、高分解能ブロックの増幅率を過度に減らさないことが大切である。図７ではフィルタリングがよく見えるように意図的に誇張してある。

（実用的な実施例）
本発明は任意のコーデックを使って、各種のシステム用に、信号の記憶または伝送用に、アナログまたはディジタルで、ハードウェアチップとＤＳＰの両方に実現することが出来る。図８と図９は本発明の具体的実施例を示す。ここで高帯域再生はスペクトルバンド複製、ＳＢＲによりなされる。図８にはエンコーダ側が示してある。アナログ入力信号がＡ／Ｄコンバータ８０１に供給され、それから任意のオーディオコーダ８０２とノイズフロアレベル評価器８０３と包絡抽出器８０４とに送られる。符号化された情報は多重化されて直列のビットストリーム８０５となり、送信もしくは記憶される。図９に典型的なデコーダの実施例が示してある。直列のビットストリームの多重化が解かれ（９０１）、包絡データが解読される（９０２）。すなわち、高帯域のスペクトル包絡とノイズフロアレベルのデータとなる。多重化が解かれた情報源符号化信号は任意のオーディオデコーダ９０３を用いて解読され、アップサンプリングされる（９０４）。この実施例ではＳＢＲ置換はユニット９０５で適用される。このユニットにおいて、本発明に従い、分析フィルタバンク９０８から発するフィードバック情報を用いて、各種の高調波が増幅される。ノイズフロアレベルデータは適応ノイズフロア加算器９０６に送られ、ここでノイズフロアが作られる。本発明に従い、スペクトル包絡が補間され（９０７）、増幅率が制限され（９０９）、平滑化される（９１０）。再生された高帯域が調節されて（９１１）、適応ノイズが加算される。最後に信号が再合成されて（９１２）、遅延した（９１３）低帯域に加えられる。ディジタル出力が変換されてアナログ波形に戻される（９１４）。

本発明による、高分解能スペクトルと中分解能スペクトルに適用されるピークフォロアとディップフォロアと、ノイズフロアの周波数帯域へのマッピングとを示す。 本発明に従って、時間と周波数において平滑化したノイズフロアを示す。 元の入力信号のスペクトルを示す。 適応ノイズフロア加算のないＳＢＲプロセスから得られた出力信号のスペクトルを示す。 本発明に従って、ＳＢＲと適応ノイズフロア加算を用いて得られた出力信号のスペクトルを示す。 本発明による、スペクトル包絡調節フィルタバンク用の増幅率を示す。 本発明による、スペクトル包絡調節フィルタバンクにおける増幅率の平滑化を示す。 本発明の具体的実施例で、情報源符号化システムにおけるエンコーダ側を示す。 本発明の具体的実施例で、情報源符号化システムにおけるデコーダ側を示す。

Claims (3)

1. 情報源デコーダの性能を向上させる装置であって、該情報源デコーダは、元の信号の情報源符号化により得られる符号化信号をデコードすることによりデコード信号を発生し、該元の信号は、低帯域部分と高帯域部分をもち、該符号化信号は、元の信号の低帯域部分を含み、元の信号の高帯域部分を含まず、そこに該デコード信号は、元の信号の再生高帯域部分を含む高周波再生信号を得るために高周波再生のために使用され、
   該高周波再生信号のスペクトル包絡を調整する調整器を有し、
   該調整器が
   包絡調整増幅ファクタを平滑化して、フィルタチャネルのための平滑化された包絡調整増幅ファクタを得る平滑器であって、該包絡調整増幅ファクタが、元の信号の高帯域部分のスケールファクタと該高周波再生信号の対応するスケールファクタを使用して計算される平滑器と、
   対応する平滑化された包絡調整ファクタを使用して、フィルタチャネルにおけるサブバンドチャネルを乗算し、元の信号の再生高帯域部分を得る乗算器とを有する該情報源デコーダの性能を向上させる装置。
2. 請求項１に記載の装置であって、平滑器が時間と周波数において平滑動作を行うように動作する該装置。
3. 情報源デコーダの性能を向上させる方法であって、該情報源デコーダは、元の信号の情報源符号化により得られる符号化信号をデコードすることによりデコード信号を発生し、該元の信号は、低帯域部分と高帯域部分をもち、該符号化信号は、元の信号の低帯域部分を含み、元の信号の高帯域部分を含まず、そこに該デコード信号は、元の信号の再生高帯域部分を含む高周波再生信号を得るために高周波再生のために使用され、
   該高周波再生信号のスペクトル包絡を調整する過程を有し、
   該調整する過程が
   包絡調整増幅ファクタを平滑化して、フィルタチャネルのための平滑化された包絡調整増幅ファクタを得る過程であって、該包絡調整増幅ファクタが、元の信号の高帯域部分のスケールファクタと該高周波再生信号の対応するスケールファクタを使用して計算される過程と、
   対応する平滑化された包絡調整ファクタを使用して、フィルタチャネルにおけるサブバンドチャネルを乗算し、元の信号の再生高帯域部分を得る過程とを有する該情報源デコーダの性能を向上させる方法。