JP2006154819A - 音声判別方法 - Google Patents

Abstract

【課題】あるサウンドフレームが音声区間であるかノイズ（無音）区間であるか（音声の有無）の判別において、音声区間及びノイズ区間をそれぞれ状態として処理し、確率密度関数及び仮説検証などを利用することにより、処理されているサウンドデータが音声区間であるかノイズ区間であるかを把握する能力を画期的に高め得る音声判別方法を提供する。
【解決手段】音声判別方法は、オーディオ信号が入力されるとサウンドデータをサウンドフレームに分割する段階と、前記サウンドフレームから必要なパラメータを求める段階と、前記求めたパラメータを使用して、状態ｊにおける特徴ベクトルの確率密度関数をモデリングする段階と、前記求めたパラメータ及び前記モデリングした確率密度関数から、該当サウンドフレームが無音の確率Ｐ_０と音声の確率Ｐ_１を求める段階と、前記求めた各確率に対して仮説検証を行う段階とを含む。
【選択図】図１

Description

本発明は、音声検出方法に関し、特に、音声の有無を効果的に判別し得る音声判別方法に関する。

音声通話の場合、一般に、通話者が全体時間の約６０％の時間は話していないという研究結果が発表された。即ち、音声でない周辺のノイズのみが送られる約６０％の時間は、低いビットレートで符号化を行うか、又はＣＮＧ（Comfort Noise Generation）技法を用いてノイズをモデリングする方法が効率的である。従って、移動通信のような無線電話通信のためには、可変レート音声符号化（variable rate speech coding）が多く用いられている。この可変レート音声符号化においては、どの区間が音声区間であり、どの区間が音声区間でないノイズ区間であるかを判断しなければならず、このために必要なものがＶＡＤ（Voice Activity Detector）であり、音声通話の符号化において効率よくビットレートを下げるためには、適切に設計されたＶＡＤが必須である。

ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector）が発表したＧ．７２９においては、音声アクティビティ検出のために、オーディオ信号が入力されると、ＬＳＤ（Line Spectral Density）、通話区間のフルバンドエネルギー（full band energy；Ｅｆ）、ローバンドエネルギー（low band energy；Ｅｌ）、及びＺＣＲ（Zero Crossing Rate）などのパラメータを求め、スペクトル歪（spectral distortion；ΔＳ）を求めた後、前記求めた各値を実験結果に基づいて定めた特定常数と比較して、現在の通話区間が音声区間であるかノイズ区間であるかを判別する。

ＧＳＭ（Global System for Mobile communication）で使用されるＶＡＤの場合、オーディオ信号が入力されると、ノイズスペクトルを推定し、推定されたスペクトルを用いてノイズ抑圧フィルタ（noise suppression filter）を構成し、入力された通話区間をそのノイズ抑圧フィルタに通過させた後にエネルギーを計算し、計算されたエネルギーを既に設定された臨界値と比較して、現在の通話区間が音声区間であるかノイズ区間であるかを判別する。

しかしながら、このような方法は、非常に多くのパラメータに依存しており、過去の経験的データのみに基づいて、現在のサウンドデータにおける音声の有無を判別するため、実質的に、音声の特性上、通話者の年齢及び性別によってその特性に大きな差があり、よって、経験的データによっては確実な性能を期待し得ないという問題があった。

経験的データを利用する他に、確率的な理論を導入して音声の有無を判別することによりＶＡＤの性能を向上させる方法も提案されたが、この方法も、通話者又は状況によって時々刻々変化する音声の特性及び種類別に異なるスペクトルを有するノイズの特性を考慮していないため、音声有無の判別性能に制限があるという問題があった。

本発明は、このような従来技術の問題を解決するためになされたもので、異種のノイズに幅広く対応して、音声の有無を効果的に判別し得る音声判別方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る音声判別方法は、オーディオ信号が入力されるとサウンドデータをサウンドフレームに分割する段階と、そのサウンドフレームから必要なパラメータを求める段階と、該求めたパラメータを使用して、状態ｊにおける特徴ベクトル（feature vector）の確率密度関数（Probability Density Function；ＰＤＦ）をモデリングする段階と、これら求めたパラメータ及びモデリングした確率密度関数から、該当サウンドフレームが無音（silence）の確率Ｐ_０と音声（speech）の確率Ｐ_１とを求める段階と、これら求めた各確率に対して仮説検証（hypothesis testing）を行う段階と、を含むことを特徴とする。

また、前記パラメータは、サウンドフレームから得られるサウンド特徴ベクトルｏと、状態ｊにおけるｋ番目のミクスチャーでの平均特徴ベクトルｍ_ｊｋと、状態ｊにおけるｋ番目のミクスチャーのための加重値（weighting value）ｃ_ｊｋと、状態ｊにおけるｋ番目のミクスチャーのための共分散行列Ｃ_ｊｋと、ある１フレームが無音である事前確率Ｐ（Ｈ_０）と、ある１フレームが音声である事前確率Ｐ（Ｈ_１）と、無音と仮定した場合、現在状態が無音のｊ番目の状態である事前確率Ｐ（Ｈ_０，ｊ｜Ｈ_０）と、音声と仮定した場合、現在状態が音声のｊ番目の状態である事前確率Ｐ（Ｈ_１，ｊ｜Ｈ_１）と、を含むことを特徴とする。

また、前記パラメータは、実際の音声及びノイズを収集して録音しておいたサウンドデータベースで予め学習（training）を行うことにより得ることを特徴とする。

また、前記特徴ベクトルの確率密度関数は、ガウス混合（Gaussian Mixture）、ログ−凹（log-concave）関数、及び楕円形対称（elliptically symmetric）関数のいずれか１つによりモデリングされることを特徴とする。

また、前記仮説検証は、サウンドフレームが無音の確率と音声の確率、及び基準（criterion）により、該当サウンドフレームが音声であるか無音であるかを決定することを特徴とする。

また、その基準は、ＭＡＰ（Maximum a Posteriori）基準、ＭＬ（Maximum Likelihood）、ミニマックス（minimax）基準、ネイマン−ピアソン（Neyman-Pearson）テスト、及びＣＦＡＲ（Constant False-Alarm Rate）テストのいずれか１つであることを特徴とする。

また、前記該当サウンドフレームが音声の確率を求める前に、選択的に、以前に得られたノイズスペクトルの結果に基づいて、サブトラクション法（subtraction technique）を用いるノイズスペクトルサブトラクション（noise spectral subtraction）を行う段階をさらに含むことを特徴とする。

また、前記仮説検証が終了すると、選択的に、ハングオーバースキーマ（Hang Over Scheme）を適用する段階をさらに含むことを特徴とする。

また、最終結果により該当フレームがノイズ区間と決定されると、該ノイズ区間のノイズスペクトルをアップデートする段階をさらに含むことを特徴とする。

本発明に係る音声判別方法は、音声区間及びノイズ（無音）区間をそれぞれ状態として処理することにより、多様なスペクトルを有する音声やノイズに対する適応度を高め、予め多様なノイズを収集してデータベース化して学習することにより、異種のノイズに幅広く対応することができ、確率的に最適化されたパラメータをＥＭアルゴリズムの方式で求めることにより、処理されているサウンドデータが音声区間であるかノイズ区間であるかを把握する能力を画期的に高め得るという効果がある。

本発明に係る音声検出方法のアルゴリズムは、次の２つの仮説を立て、それを検証することをベースとする。２つの仮説は次のとおりである。
１）Ｈ０：音声がなく、ノイズだけ存在する区間
２）Ｈ１：音声がノイズと共に存在する区間

本発明においては、この仮説を検証するために再帰的演算を行う。

以下、添付した図面を参照して本発明の好ましい実施形態を説明する。

本発明の説明において、関連の公知機能又は構成に関する具体的な説明が本発明の要旨を不明確にすると判断された場合、その詳細な説明は省略する。

図１は本発明に係る音声判別方法の一実施形態を示すフローチャートである。

図１に示すように、オーディオ信号が入力されると、入力されたオーディオ信号からサウンドフレームを得る（Ｓ１０）。通常、入力されたオーディオ信号のサウンドデータを１フレーム当たり約１０ｍｓの間隔で分割し、このように、全体サウンドデータの範囲を１０ｍｓの間隔で分割したとき、範囲内の分割された各値を確率プロセスでは状態（state）という。

次に、そのサウンドフレームから必要なパラメータを求める（Ｓ２０）。パラメータは、サウンドフレームから得られるサウンド特徴ベクトルｏと、状態ｊにおけるｋ番目のミクスチャーでの平均特徴ベクトルｍ_ｊｋと、状態ｊにおけるｋ番目のミクスチャーのための加重値ｃ_ｊｋと、状態ｊにおけるｋ番目のミクスチャーのための共分散行列Ｃ_ｊｋと、ある１フレームが無音である事前確率Ｐ（Ｈ_０）と、ある１フレームが音声である事前確率Ｐ（Ｈ_１）と、無音と仮定した場合、現在状態が無音のｊ番目の状態である事前確率Ｐ（Ｈ_０，ｊ｜Ｈ_０）と、音声と仮定した場合、現在状態が音声のｊ番目の状態である事前確率Ｐ（Ｈ_１，ｊ｜Ｈ_１）と、を含む。また、パラメータは、多様な実際の音声及びノイズを収集して録音しておいたサウンドデータベースで予めデータを集める過程である学習を行うことにより得ることができる。かつ、音声と無音に割り当てる状態の数は、該当アプリケーションが要求する性能及びパラメータファイルのサイズによって決定する。ミクスチャーの数も、状態の数と同様の方法で決定する。

図２は状態及びミクスチャーの数を決定する実験結果の一例を示すグラフである。

図２の（Ａ）は状態の数による音声認識率を示すグラフであり、状態の数が少ない場合及び多い場合に音声認識率が低いことを示す。図２の（Ｂ）はミクスチャーの数による音声認識率を示すグラフであり、同様に、ミクスチャーの数が少ない場合及び多い場合に音声認識率が低いことを示す。従って、これら状態の数及びミクスチャーの数は、あくまでも実験により決定しなければならない。

学習過程は、本質的に音声認識で用いられる学習過程と同様である。ここには様々なパラメータ推定（parameter estimation）方法があるが、一般に、ＥＭ（Expectation - Maximization）アルゴリズムが用いられる。

求めたパラメータを使用して、状態ｊにおける特徴ベクトルの確率密度関数をガウス混合でモデリングする（Ｓ３０）。ここで、ガウス混合の他に、ログ−凹関数、楕円形対称関数などを使用することもできる。

ガウス混合により確率密度関数を描く方法は、Ｌ．Ｒ．Ｒａｂｉｎｅｒ氏とＢ−Ｈ．ＪＵＡＮＧ氏が著述した『Fundamentals of Speech Recognition(Englewood Cliffs, NJ: Prentice Hall, 1993)』と、Ｓ．Ｅ．Ｌｅｖｉｎｓｏｎ氏、Ｌ．Ｒ．Ｒａｂｉｎｅｒ氏、及びＭ．Ｍ．Ｓｏｎｄｈｉ氏が著述した『An introduction to the application of the theory of probabilistic functions of a Markov process to automatic speech recognition(Bell System Tech. J., Apr. 1983)』に記載されており、当該技術分野における通常の知識を有する者に広く知られているため、詳細な説明は省略する。

ガウス混合による状態ｊにおける確率密度関数は次の数式１で示される。数式１中、Ｎはサンプルベクトルの数、すなわち、全体サンプルの数である。

前述したように、サウンドフレームからのパラメータの抽出が終了すると、抽出されたパラメータから該当サウンドフレームが無音の確率Ｐ_０を求め（Ｓ４０）、音声の確率Ｐ_１を求める（Ｓ６０）。無音の確率及び音声の確率の両方を計算するのは、サウンドフレームが無音であるか音声であるかがまだ分からないためである。ここで、Ｐ_０とＰ_１は次の数式２及び数式３に示すとおりである。

このとき、音声の場合は、計算段階Ｓ６０の前にノイズスペクトルサブトラクションを経るが、以前に得られたノイズスペクトルの結果に基づいてサブトラクション法を用いる（Ｓ５０）。

Ｐ_０とＰ_１を求めた後に仮説検証を経るが（Ｓ７０）、該仮説検証は、Ｐ_０、Ｐ_１と推定統計的価値基準により、該当サウンドフレームが音声であるか無音であるかを決定する段階である。ここで、その基準は、ＭＡＰ基準であって、次の数式４ように表示される。

この仮説検証の基準としては、ＭＡＰ基準の他にも、ＭＬ、ミニマックス基準、ネイマン−ピアソンテスト、及びＣＦＡＲテストなどを用いることもできる。

仮説検証が終了するとハングオーバースキーマを適用する（Ｓ８０）。ハングオーバースキーマとは、[f]、[th]、[h]の発音などの低エネルギー無声音（low energy unvoiced sound）がノイズに埋もれているのでノイズと判断したり、[k]、[p]、[t]の発音などの無声停止音（unvoiced stop sound）のように、強い部分のエネルギーが出た後に弱い部分のエネルギーが出てくるのを無音の開始と誤って判断することを防止するためのもので、オーディオ信号のサウンドデータにおける約１０ｍｓ間隔で分割された多数のサウンドフレームが音声区間であるか無音区間であるかを判別するときに、音声区間が続いている途中で突然中間の１区間が無音区間に変わった後に再び音声区間が続く場合、わずか１０ｍｓの時間に音声が突然無音に変わることはないため、中間の無音と判別された区間を任意に音声区間と決定する技法をいう。

このように、ハングオーバースキーマの適用が終了すると、該当サウンドフレームが無音区間であるか音声区間であるかが決定される。仮りに、ハングオーバースキーマを適用した後、該当サウンドフレームが無音（すなわち、ノイズ）区間であると決定されると、その結果からノイズスペクトルが分かり、ノイズスペクトルサブトラクション（Ｓ５０）のために、ノイズスペクトルをアップデートするアルゴリズムを用いてノイズスペクトルをアップデートする（Ｓ９０）。

前述したような音声判別過程で、ハングオーバースキーマ（Ｓ８０）とノイズスペクトルサブトラクション（Ｓ５０）は、既知の方法であり、選択的に用いることができる。また、本発明は、音声録音において、ノイズ部分を除いて音声部分のみ録音して保存空間を節約する方法としても用いることができ、有無線電話において、可変レート符号化装置での一部の過程として用いることもできる。

本発明に係る音声判別方法の一実施形態を示すフローチャートである。 状態及びミクスチャーの数を決定する実験結果の一例を示すグラフである。

Claims (14)

1. オーディオ信号が入力されるとサウンドデータをサウンドフレームに分割する段階と、
   前記サウンドフレームから必要なパラメータを求める段階と、
   前記求めたパラメータを使用して、状態ｊにおける特徴ベクトルの確率密度関数をモデリングする段階と、
   前記求めたパラメータ及び前記モデリングした確率密度関数から、該当サウンドフレームが無音の確率Ｐ_０と音声の確率Ｐ_１を求める段階と、
   前記求めた各確率に対して仮説検証を行う段階と、
   を含むことを特徴とする音声判別方法。
2. 前記パラメータは、
   前記サウンドフレームから得られるサウンド特徴ベクトルｏと、
   状態ｊにおけるｋ番目のミクスチャーでの平均特徴ベクトルｍ_ｊｋと、
   状態ｊにおけるｋ番目のミクスチャーのための加重値ｃ_ｊｋと、
   状態ｊにおけるｋ番目のミクスチャーのための共分散行列Ｃ_ｊｋと、
   ある１フレームが無音である事前確率Ｐ（Ｈ_０）と、
   ある１フレームが音声である事前確率Ｐ（Ｈ_１）と、
   無音と仮定した場合、現在状態が無音のｊ番目の状態である事前確率Ｐ（Ｈ_０，ｊ｜Ｈ_０）と、
   音声と仮定した場合、現在状態が音声のｊ番目の状態である事前確率Ｐ（Ｈ_１，ｊ｜Ｈ_１）と、
   を含むことを特徴とする請求項１に記載の音声判別方法。
3. 前記状態の数及び前記ミクスチャーの数は、該当アプリケーションが要求する性能及びパラメータファイルのサイズによって決定されることを特徴とする請求項２に記載の音声判別方法。
4. 前記パラメータが、実際の音声及びノイズを収集して録音しておいたサウンドデータベースで予め学習を行うことにより得られることを特徴とする請求項１に記載の音声判別方法。
5. 前記特徴ベクトルの確率密度関数が、ガウス混合、ログ−凹関数、及び楕円形対称関数のいずれか１つによりモデリングされることを特徴とする請求項１に記載の音声判別方法。
6. 前記ガウス混合を利用した確率密度関数が、数式１で示されることを特徴とする請求項５に記載の音声判別方法。
   
7. 前記サウンドフレームが無音の確率Ｐ_０が、数式２により求められることを特徴とする請求項１に記載の音声判別方法。
   
8. 前記サウンドフレームが音声の確率Ｐ_１が、数式３により求められることを特徴とする請求項１に記載の音声判別方法。
   
9. 前記仮説検証を行う段階が、前記サウンドフレームが無音の確率と音声の確率、及び基準により、該当サウンドフレームが音声であるか無音であるかを決定する段階であることを特徴とする請求項１に記載の音声判別方法。
10. 前記基準が、ＭＡＰ基準、ＭＬ、ミニマックス基準、ネイマン−ピアソンテスト、及びＣＦＡＲテストのいずれか１つであることを特徴とする請求項９に記載の音声判別方法。
11. 前記ＭＡＰ基準を利用した仮説検証が、数式４により行われることを特徴とする請求項１０に記載の音声判別方法。
    
12. 前記該当サウンドフレームが音声の確率を求める前に、選択的に、以前に得られたノイズスペクトルの結果に基づいて、サブトラクション法を用いるノイズスペクトルサブトラクションを行う段階をさらに含むことを特徴とする請求項１に記載の音声判別方法。
13. 前記仮説検証が終了すると、選択的に、ハングオーバースキーマを適用する段階をさらに含むことを特徴とする請求項１に記載の音声判別方法。
14. 最終結果により該当フレームがノイズ区間と決定されると、当該ノイズ区間のノイズスペクトルをアップデートする段階をさらに含むことを特徴とする請求項１に記載の音声判別方法。