JP2010520503A - 通信ネットワークにおける方法及び装置 - Google Patents

Abstract

本発明は、ポストフィルタと、音声デコーダで再構成された音声の知覚品質を改善するポストフィルタに関連するポストフィルタ制御部とに関する。ポストフィルタ制御部は、デコーダで再構成された音声信号の定常性を測定する手段と、測定された定常性に基づいて、ポストフィルタ制御パラメータに対する係数を決定する手段と、ポストフィルタが決定された係数をポストフィルタ制御パラメータに適用することによって再構成された音声の信号を処理して改善された音声の信号を得ることができるように、決定された係数をポストフィルタに送信する手段とを有する。

Description

本発明は、音声（speech）及びオーディオ（audio）符号化において使用されるポストフィルタのアルゴリズムに関する。具体的には、本発明は、改良されたポストフィルタを提供する方法及び装置に関する。

音声又はオーディオを送信する通信ネットワークにおいて、図３に示すように、原音声１００又はオーディオは、送信機におけるエンコーダ１０１で符号化され、符号化されたビットストリーム１０２が受信機に送信される。受信機では、符号化されたビットストリーム１０２がデコーダ１０３で復号化され、再構成音声（又はオーディオ）１０４信号として原音声又はオーディオ信号が再構成される。音声・オーディオ符号化は、再構成した音声の品質を損なう量子化雑音を発生する。このために、ポストフィルタ・アルゴリズム１０５が採用される。現状技術のポストフィルタ・アルゴリズム１０５は、なるべく聞こえないように、量子化雑音を形成する。それ故、従来のポストフィルタは、強調された音声信号１０６を提供して、デコーダで再構成された音声信号の知覚品質を改善している。ポストフィルタ技術の概要については、非特許文献１に見ることができる。

従来のポストフィルタでは、信号マスキングの概念を有効に使用している。信号マスキングは、人間の聴覚系の重要な現象である。その意味するところは、音は、より強力な音が存在すると聞こえない、ということである。一般的には、マスキング閾値はそのトーンの周波数でピークを持ち、そのピークの両側で単調に減少する。これは、トーン周波数（音声ホルマント）に近傍の雑音成分は、ずっと離れた（スペクトルの谷の）他の雑音成分よりも高い強度を持っていてもよい、ということを意味する。この理由により、従来のポストフィルタは、自己回帰（ＡＲ）係数及び／又はピッチ周期の形式において、音声のフォルマント及び／又はピッチ構造に対して、フレーム単位で適応化する。

最も一般的なポストフィルタは、フォルマント（短期）・ポストフィルタ及びピッチ（長期）・ポストフィルタである。フォルマント・ポストフィルタは、フォルマント周波数を強調し、スペクトルの谷を減衰することにより、量子化雑音の影響を軽減する。これを図１に示すが、連続線はポストフィルタリング前の信号の自己回帰包絡を示し、破線はポストフィルタリング後の信号の自己回帰包絡を示す。ピッチ・ポストフィルタは、図２に示すピッチ高調波ピークでの周波数成分を強調する。図２の実線はポストフィルタリング前の信号のスペクトル、破線はポストフィルタリング後の信号のスペクトルを示す。図１及び２のプロットは狭帯域信号からの３０ｍｓブロックに関する。また注意すべきは、図１及び２のプロットは実際のポストフィルタのパラメータを示すものではなく、単にポストフィルタリングの概念を示す、ということである。

フォルマント及び／又はピッチは、マスクされた（又は少し聴こえる、あるいは、完全に聴こえる）信号の部分を示すと暗示する１フレームに、どれだけのエネルギが分配されているかを示している。それ故、従来のポストフィルタ・パラメータ適応は、信号マスキング概念を有効に使用しており、フォルマント周波数及びピッチ高調波ピークのような音声構造に適応する。これらはイン・フレーム特徴（例えば、ピッチ高調波ピークを与えるピッチ周期及びフォルマントを決定する自己回帰係数）であり、音声は現在のフレーム（例えば、２０ｍｓ音声）の間は定常的であるという仮定の下で計算したものである。

信号マスキングに加えて、重要な心理音響現象は、信号動特性が高ければ、歪みから受ける不快さは少ない、ということである。このことは、音声信号の速い変化によって雑音が聴覚的にマスクされる、ということを意味する。音声信号の速い変化によって雑音を聴覚的にマスクするというこの概念は、非特許文献２では音声符号化のために、そして、非特許文献３では音声品質改善のために既に使用されている。非特許文献２では、線スペクトル周波数（ＬＳＦ）量子化に、スペクトル動特性への適応化が使用されている。非特許文献３では、背景雑音低減のための前処理部でスペクトル動特性への適応化が使用されている。

J. H. Chen, A. Gersho, "Adaptive postfiltering for quality enhancement of coded speech", IEEE Trans. Speech Audio Process., vol. 3, pp. 58-71, 1985 H. Knagenhjelm, W. B. Kleijin, "Spectral dynamics is more important than spectral distortion", ICASSP, vol. 1, pp. 732-735, 1995 T. Quateri, R. Dunn, "Speech enhancement based on auditory spectral change", ICASSP, vol. 1, pp. 257-260, 2002 3GPP2 C.S0052-A: "Source-Controlled Variable-Rate Multimode Wideband Speech Codec(VMR-WB), Service Option 62 or 63 for Spread Spectrum Systems", 2005

しかしながら、従来のポストフィルタの手法では、音声情報内容が高いときは抑圧は小さくし、信号が定常状態モードにある場合に抑圧を強く行うべきである、という事実を考慮に入れていない。

したがって、本発明は、再構成音声の知覚品質を改善することである。

本発明は、改善したポストフィルタ制御パラメータにより、この目的を達成し、信号定常性に基づいて決定した係数を従来のポストフィルタ制御パラメータに適用して、改善したポストフィルタ制御パラメータを達成している。

本発明の第１の側面によれば、ポストフィルタ制御のための方法が提供される。この方法は、音声デコーダで再構成された音声の知覚品質を改善するもので、前記デコーダで再構成された音声の信号の定常性を測定するステップと、前記測定された定常性に基づいて、ポストフィルタ制御パラメータに対する係数を決定するステップと、ポストフィルタが前記決定された係数を前記ポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理して改善された音声の信号を得ることができるように、前記決定された係数を前記ポストフィルタに送信するステップとを有する。

本発明の第２の側面によれば、音声デコーダで再構成された音声の知覚品質を改善するための、ポストフィルタにおいて実行される方法が提供される。この方法は、ポストフィルタのために決定された係数を受信するステップと、改善された音声の信号を得るために、前記決定された係数をポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理するステップとを有し、前記係数は、デコーダで再構成された音声の信号の定常性の尺度に基づいて決定されることを特徴とする。

本発明の第３の側面によれば、音声デコーダで再構成された音声の知覚品質を改善するためのポストフィルタに関連するポストフィルタ制御装置が提供される。このポストフィルタ制御装置は、前記デコーダで再構成された音声の信号の定常性を測定する手段と、前記測定された定常性に基づいて、ポストフィルタ制御パラメータに対する係数を決定する手段と、ポストフィルタが前記決定された係数を前記ポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理して改善された音声の信号を得ることができるように、前記決定された係数を前記ポストフィルタに送信する手段とを有する。

本発明の第４の側面によれば、音声デコーダで再構成された音声の知覚品質を改善するためのポストフィルタが提供される。このポストフィルタは、前記ポストフィルタのために決定された係数を受信する手段と、改善された音声の信号を得るために、前記決定された係数をポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理する処理手段とを有し、前記係数は、デコーダで再構成された音声の信号の定常性の尺度に基づいて決定されることを特徴とする。

本発明によれば、スペクトル動特性に対するポストフィルタ・パラメータの適応を、従来のポストフィルタと互換性のある簡単な方法で実現することができる。

従来技術による、再構成信号に及ぼすフォルマント・ポストフィルタの効果を示す図。 従来技術による、再構成信号に及ぼすピッチ・ポストフィルタの効果を示す図。 従来技術によるポストフィルタを有するエンコーダ−デコーダを概略的に示す図。 本発明の実施形態のポストフィルタ制御部を有する、図１によるエンコーダ−デコーダを概略的に示す図。 本発明の実施形態によるポストフィルタ制御部及びポストフィルタを概略的に示す図。 、 本発明による方法を示すフローチャート。

本発明の基本的概念は、復号した音声信号のスペクトル動特性に適応するよう既存のポストフィルタを修正することである。（なお、本明細書で音声（speech）という用語を使用していても、それは、あらゆるオーディオ信号にも関連するものである。）スペクトル動特性は信号の定常性の評価尺度を意味し、隣接する２つの音声セグメントのスペクトル密度間のユークリッド距離として定義される。もし２つの音声セグメント間のユークリッド距離が高ければ、ユークリッド距離が低い場合の状況に比較して、減衰を弱めるべきである。

本発明による修正ポストフィルタにより、例えばフォルマント遷移及び母音開始の間で、動特性が低い場合にはより多くの雑音を抑圧し、動特性が高い場合には抑圧を小さくするということが可能となる。

これは、量子化雑音の平均レベルは短時間で急速に変化はしないであろうという事実を想定しているが、信号の幾つかの部分では雑音が他の部分よりも聞こえるであろう。

注意すべきは、ポストフィルタ制御部は、信号マスキング現象によって動機付けされる従来のポストフィルタ適応を置換するのではなく、人間の聴覚系の付加的な特徴を活用した補完的な適応であり、これによって、従来のポストフィルタの品質を改善する、ということである。

したがって、本発明によれば、ポストフィルタを復号化信号のスペクトル動特性に適応させるためのポストフィルタ制御部が使用される。本発明の実施形態を図４に示す。図４では、デコーダ２０１及びポストフィルタ２０２が示されている。符号化ビットストリーム２０３がデコーダ２０１に入力され、デコーダ２０１は、符号化ビットストリーム２０３を復号化し音声信号２０４を再構成する。ポストフィルタ制御部２０６は、信号定常性を測定し、係数２０８（以下、Ｋと表示する）を決定してポストフィルタ２０２に送信する。ポストフィルタ２０２は、復号化信号のスペクトル動特性にポストフィルタが適応するよう、従来のポストフィルタ・パラメータをポストフィルタ制御部２０６からの係数２０８によって変更して使用し、再構成された音声信号を処理する。

以下に、一つの実施形態によるポストフィルタ制御部の実装を開示する。この実装は、米国特許出願公開第２００５／０１６５６０３Ａ１号に記載されたピッチ・ポストフィルタに基づいている。また、このポストフィルタについては、非特許文献４の１５４ページ（式６．３．１−１及び６．３．１−２）に記載されている。このピッチ・ポストフィルタは次の形式を持つ。

^s_f(k) = (1-α)^s(k)+(α/2)(^s(k-T)+^s(k+T))
ただし、^s_fは、ポストフィルタ出力２０５、
^s は、ポストフィルタ入力２０４、
T は、ピッチ周期、
k は、１フレームにおける音声サンプルのインデクス、
αは、減衰制御パラメータ２０８である（これは、非特許文献４のように、正規化ピッチ相関の関数とすることができる。）。

少なくとも、全てのポストフィルタは、改善された音声を得るため調整された制御パラメータαを持つ。なお、この制御パラメータは、非特許文献４に記載されたαに限定されない。αのこの調整はリスニングテストに基づいてもよい。上述したピッチ・ポストフィルタでは、ピッチは有声フレームに存在するので、制御パラメータαの値は、ピッチがどれだけ安定であるか（有声性の程度）に依存する。

演算量の観点から、隣接フレーム間のスペクトル距離を計算する代わりに、この実装では、イミタンス・スペクトル周波数（ＩＳＦ）距離を計算する。ＩＳＦは自己回帰係数（線形予測係数とも呼ばれる）の表現である。

もう一つの一般に使用される表現は、線スペクトル周波数（ＬＳＦ）である。隣接フレームのＩＳＦ又はＬＳＦ間の距離は、スペクトル動特性の近似である。これらはスペクトル包絡のパラメトリック表現だからである。

非特許文献４の第１５１頁では、ＩＳＦ距離を計算して下記の安定性係数θに変換している。

この安定性係数θはまさにＩＳＦ距離の正規化であり、従って、本発明の実施形態におけるスペクトル動特性を決定するために使用される。もっとも、ＬＳＦのような他の評価尺度をスペクトル動特性を決定するために使用してもよい。式中“past”という表示は、それが前の音声フレームからのＩＳＦベクトルであることを示している。このθと、θ_smoothと表示されるθのローパスバージョンを使用して、２個のパラメータΨ₁及びΨ₂を決定する。θ_smoothは、現フレーム及び前フレームよりも前からの信号定常性を測定するので、重要である。これらの２個のパラメータΨ₁及びΨ₂を使用して、減衰制御パラメータのための係数Kを決定する。この実施形態によれば、この係数は、
K = (1+0.15Ψ₁-2.0Ψ₂)
で表され、新たなパラメータα_{stab_adapt}=Kαである。

上式から決定されるα_{stab_adapt}は従来の制御パラメータを置き換える。Kは、Ψ₁とΨ₂との線形結合として定義される。Ψ₁は現フレームと前フレームとの間のスペクトル距離を表す。Ψ₂は、その距離が過去の複数フレームのローパス距離(θ_smooth)に対してどれだけ離れているかを表す。
すなわち、
α_{stab_adapt} = (1+0.15Ψ₁-2.0Ψ₂)α
Ψ₂ = |θ_smooth-θ|
Ψ₁ = √θ
θ_smooth = 0.8θ+0.2θ^past _smooth

したがって、本発明は、図５に示されるようなポストフィルタ制御部に関する。ポストフィルタ制御部３００は、デコーダで再構成された音声の信号の定常性を測定する手段３０１と、測定した定常性に基づき、ポストフィルタ制御パラメータに対する係数Ｋを決定する手段３０２と、決定された係数をポストフィルタに送信する手段３０３とを有する。これにより、ポストフィルタは、決定された係数を用いて再構成された音声の信号を処理し、改善された音声の信号を得ることが可能になる。

また、本発明のポストフィルタ３０４は、ポストフィルタ・プロセッサ３０５と、ポストフィルタのために決定された係数Ｋを受信する手段３０６とを有し、そして、ポストフィルタ・プロセッサ３０５は、改善された音声の信号を得るために、デコーダで再構成された音声の信号の測定された定常性に基づいて決定された係数Ｋを適用して再構成された音声の信号を処理する手段３０７を有する。

さらに、本発明は、ポストフィルタ・プロセッサにおける方法にも関する。本方法を図６ａのフローチャートに示す。本方法は以下のステップを備える。
４０１．デコーダで再構成された音声の信号の定常性を測定する。
４０２．測定した定常性に基づき、ポストフィルタ制御パラメータに対する係数を決定する。
４０３．決定した係数をポストフィルタに送信する。これによりポストフィルタは、決定した係数をポストフィルタ制御パラメータに対して適用することにより、再構成された音声の信号を処理して、改善された音声の信号を得ることができる。

また、図６ｂのフローチャートに示すように、ポストフィルタのための方法が提供される。本方法は以下のステップを備える。
４０４．ポストフィルタのために決定された係数を受信する。
４０５．デコーダで再構成された音声の信号の測定された定常性に基づいて決定された係数を、ポストフィルタ制御パラメータに適用することにより、再構成された音声の信号を処理して、改善された音声の信号を得る。

本発明は、上述した好適な実施形態に限定されない。各種の代替、変更、均等物を使用することが可能である。したがって、本発明の範囲が上述の実施形態に限定されると解釈するべきではない。本発明の範囲は添付の特許請求の範囲によって定義される。

Claims (20)

1. 音声デコーダで再構成された音声の知覚品質を改善するための方法であって、
   前記デコーダで再構成された音声の信号の定常性を測定するステップと、
   前記測定された定常性に基づいて、ポストフィルタ制御パラメータに対する係数を決定するステップと、
   ポストフィルタが前記決定された係数を前記ポストフィルタ制御パラメータに適用することによって前記再構成された音声信号を処理して改善された音声信号を得ることができるように、前記決定された係数を前記ポストフィルタに送信するステップと、
   を有することを特徴とする方法。
2. 前記決定された係数は、スペクトル動特性の近似に基づくことを特徴とする請求項１に記載の方法。
3. 前記スペクトル動特性の近似は、イミタンス・スペクトル周波数であることを特徴とする請求項２に記載の方法。
4. 前記決定された係数は、現フレームと前フレームとの間のスペクトル距離の尺度である第１のパラメータと、前記スペクトル距離が過去の複数フレームのローパス・スペクトル距離θ_smoothに対してどれだけ離れているかの尺度である第２のパラメータとの線形結合であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記ポストフィルタ制御パラメータは、正規化ピッチ相関の関数であることを特徴とする請求項１に記載の方法。
6. 音声デコーダで再構成された音声の知覚品質を改善するための、ポストフィルタにおいて実行される方法であって、
   前記ポストフィルタのために決定された係数を受信するステップと、
   改善された音声信号を得るために、前記決定された係数をポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理するステップと、
   を有し、
   前記係数は、前記デコーダで再構成された音声の信号の定常性の尺度に基づいて決定されることを特徴とする方法。
7. 前記決定された係数は、スペクトル動特性の近似に基づくことを特徴とする請求項６に記載の方法。
8. 前記スペクトル動特性の近似は、イミタンス・スペクトル周波数であることを特徴とする請求項７に記載の方法。
9. 前記決定された係数は、現フレームと前フレームとの間のスペクトル距離の尺度である第１のパラメータと、前記スペクトル距離が過去の複数フレームのローパス・スペクトル距離θ_smoothに対してどれだけ離れているかの尺度である第２のパラメータとの線形結合であることを特徴とする請求項６乃至８のいずれか１項に記載の方法。
10. 前記ポストフィルタ制御パラメータは、正規化ピッチ相関の関数であることを特徴とする請求項６に記載の方法。
11. 音声デコーダで再構成された音声の知覚品質を改善するためのポストフィルタに関連するポストフィルタ制御装置であって、
    前記デコーダで再構成された音声の信号の定常性を測定する手段と、
    前記測定された定常性に基づいて、ポストフィルタ制御パラメータに対する係数を決定する手段と、
    前記ポストフィルタが前記決定された係数を前記ポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理して改善された音声の信号を得ることができるように、前記決定された係数を前記ポストフィルタに送信する手段と、
    を有することを特徴とするポストフィルタ制御装置。
12. スペクトル動特性の近似に基づいて前記係数を決定する手段を有することを特徴とする請求項１１に記載のポストフィルタ制御装置。
13. 前記スペクトル動特性の近似は、イミタンス・スペクトル周波数であることを特徴とする請求項１２に記載のポストフィルタ制御装置。
14. 前記決定された係数は、現フレームと前フレームとの間のスペクトル距離の尺度である第１のパラメータと、前記スペクトル距離が過去の複数フレームのローパス・スペクトル距離θ_smoothに対してどれだけ離れているかの尺度である第２のパラメータとの線形結合であることを特徴とする請求項１１乃至１３のいずれか１項に記載のポストフィルタ制御装置。
15. 前記ポストフィルタ制御パラメータは、正規化ピッチ相関の関数であることを特徴とする請求項１１に記載のポストフィルタ制御装置。
16. 音声デコーダで再構成された音声の知覚品質を改善するためのポストフィルタであって、
    前記ポストフィルタのために決定された係数を受信する手段と、
    改善された音声の信号を得るために、前記決定された係数をポストフィルタ制御パラメータに適用することによって前記再構成された音声の信号を処理するプロセッサと、
    を有し、
    前記係数は、前記デコーダで再構成された音声の信号の定常性の尺度に基づいて決定されることを特徴とするポストフィルタ。
17. 前記決定された係数は、スペクトル動特性の近似に基づくことを特徴とする請求項１６に記載のポストフィルタ。
18. 前記スペクトル動特性の近似は、イミタンス・スペクトル周波数であることを特徴とする請求項１７に記載のポストフィルタ。
19. 前記決定された係数は、現フレームと前フレームとの間のスペクトル距離の尺度である第１のパラメータと、前記スペクトル距離が過去の複数フレームのローパス・スペクトル距離θ_smoothに対してどれだけ離れているかの尺度である第２のパラメータとの線形結合であることを特徴とする請求項１６乃至１８のいずれか１項に記載のポストフィルタ。
20. 前記ポストフィルタ制御パラメータは、正規化ピッチ相関の関数であることを特徴とする請求項１６に記載のポストフィルタ。

Images