JP2007065226A - ボーカル・フライ検出装置及びコンピュータプログラム - Google Patents

Abstract

【課題】精度良くボーカル・フライ（ＶＦ）検出を行なう。
【解決手段】ＶＦ検出装置１２２は、発話信号１０２を第１のフレーム長で第１のフレームシフト量の第１のフレームでフレーム化し、その各々のパワーのピークを検出する超短期ピーク検出処理部１６２と、発話信号１０２を、第１のフレーム長より大きな第２のフレーム長で、第１のフレーム長より大きな第２のフレームシフト量の第２のフレームでフレーム化し、その各々における周期性の有無を判定する短期周期性検出部１６４と、検出されたパワーピークのうちで、周期性がないと判定されたフレーム内のものを選択する周期性検査部１６６と、選択されたパワーピークの各々について、相互相関が高い隣接するパワーピークを探索してその間の区間をＶＦ区間として検出する類似性検査部１６８とを含む。
【選択図】 図２

Description

この発明は人間の声質の分析技術に関し、特に、ボーカル・フライ（以下「ＶＦ」と呼ぶ。）と呼ばれる特定の声質を持つ区間を発話信号中から検出するためのＶＦ検出装置に関する。

人間と機械との対話において、音声に含まれるテキスト的な情報以外の情報（以下これを「パラ言語情報」と呼ぶ。）を自動的に抽出することが必要となる。従来、パラ言語情報を抽出するための音響特徴量として、ピッチ、パワー及び持続時間などの音韻的特徴量が使用されてきた。しかし、最近の研究では、咽頭の声の発生源のモードによる気息性、きしり、かすれなどの声質に関する情報もパラ言語情報の知覚に重要な役割を担っていることが報告されている。

ＶＦ、きしり、きしみ声、声門フライ、パルス・レジスタ、及び喉頭収縮音（laryngealization）という用語が、比較的離散的な、喉頭（又は声門）の一連の励振（又は短い期間のパルス）のことを表わすものとして従来技術文献で使用されている。こうした声では、連続する声門パルスの間で、声道がほぼ完全に制動され、通常は基本周波数が非常に低く、声門周期の期間が不規則となる。ＶＦを聞いたときの知覚は、「手すりに沿って棒を動かしたときの、速く、連続した連打音」、又は「モータボートのエンジン音の口真似」、又は「熱いフライパンで料理するときの音と似た音」、等と表現される。

ＶＦは、言語に依存するが、重要な言語的情報に加え、重要なパラ言語的情報を伝える。ドイツ語では、形態素の境界付近でＶＦがよく生ずる。日本語では、緊張の解けた低い声でＶＦが生ずる他に、りきみ声などのように感情に満ちた強調を伴う発話でも生ずる。りきみ声は、驚き、賞賛、及び苦しみなどについての感情又は態度に主に関連するパラ言語的情報を伝える。そのようなりきみ声におけるＶＦ発話部分（以下「ＶＦセグメント」と呼ぶ。）では、非常に低い基本周波数が見られる。

さらに、ＶＦセグメントには、不規則性を持つという特徴があるため、音韻情報の抽出において重要な役割を担うピッチ決定アルゴリズムに重大な誤りを引き起こすことがある。したがって、ＶＦがどこに生じているかを知れば、パラ言語情報の抽出に役立つだけでなく、ピッチの決定性能を改善する上でも重要である。

ＶＦの生理的、知覚的、及び音響的属性に関しては、いくつかの研究分野で報告されている。それらの多くは、様々な声質と関連した音響的特徴に関する定性的な、または説明的な事項を報告している。しかし、ＶＦについて、自動的な検出を目的とした評価についてはわずかしか報告されていない。
イシイ、Ｃ．Ｔ．、「きしり声検出のための自己相関に基づくパラメータの分析」、第２回音声韻律学国際会議予稿集、ｐｐ．６４３−６４６、２００４年。（Ishi, C.T., "Analysis of Autocorrelation-based parameters for Creaky Voice Detection," Proc. of The 2nd International Conference on Speech Prosody: 643-646, 2004.）

ＶＦの基本周波数の範囲に関しては、一貫して、１００Ｈｚより低く、平均が２４〜５２Ｈｚ付近にあることが報告されている。ＶＦにおける声門パルスは二つ、時には３つのパルスがごく短い間隔で生じ、それに続いて声門がかなり制動される。

ＶＦに関しては、時間領域、スペクトル領域、及びケプストラム領域での音響分析が多く報告されている。通常の方法では、固定長の短時間分析用フレームを用いて周期性（又は調波性：ｈａｒｍｏｎｉｃｉｔｙ）に関する属性を評価している。

固定長のフレームを用いると、ＶＦセグメントが非常に低い基本周波数を持っている（すなわち非常に長いパルス間間隔を持っている）場合に問題が生ずる。標準的な（よく使用される）分析フレームのフレーム長は２５ミリ秒から３２ミリ秒程度であるが、そうした条件ではＶＦセグメント中の分析フレーム中にたかだか一つしか声門パルスがないことが多く、時にはフレーム中に声門パルスが全く含まれない場合もある。分析フレーム中に少なくとも二つの声門パルスが存在していなければ、スペクトル中に調波構造を見出すことはできず、また声門パルス間の短期周期性を反映した相関性のピークが生ずることも難しい。

これに対する最も単純な対応策は、分析フレーム長を長くすることである。非特許文献１においては、適応的にフレーム長を変化させる技術を用いた、自己相関に基づく周期性の分析が行われている。しかし、そのような方法では問題の一部しか解決できない。なぜなら、大きな分析フレームには、異なるパルス間間隔を持つ二つの声門パルスが含まれる可能性があるためである。そうした場合には、スペクトル中の調波構造が乱されるし、自己相関（又はケプストラム）のピークの大きさも下がってしまう。

それゆえに本発明の目的は、スペクトル中の調波構造の乱れや自己相関のピークの低下という問題を回避し、精度良くＶＦ検出を行なうＶＦ検出装置を提供することである。

本発明の他の目的は、スペクトル中の調波構造の乱れや自己相関のピークの低下という問題を回避し、声門パルスに同期した手法で精度良くＶＦ検出を行なうＶＦ検出装置を提供することである。

本発明のさらに他の目的は、適切な分析フレームを用いることで、スペクトル中の調波構造の乱れや自己相関のピークの低下という問題を回避し、声門パルスに同期した手法で精度良くＶＦ検出を行なうＶＦ検出装置を提供することである。

本発明の第１の局面に係るＶＦ検出装置は、発話信号中のＶＦ区間を検出するための装置であって、発話信号を、第１のフレーム長でかつ第１のフレームシフト量の第１のフレームでフレーム化するための第１のフレーム化手段と、第１のフレーム化手段の出力する一連の第１のフレームの各々のパワーのピークを検出するためのパワーピーク検出手段と、発話信号を、第１のフレーム長よりも大きな第２のフレーム長で、かつ第１のフレームシフト量よりも大きな第２のフレームシフト量の第２のフレームでフレーム化するための第２のフレーム化手段と、第２のフレーム化手段の出力する一連の第２のフレームの各々の内部における周期性の有無を判定するための周期性判定手段と、パワーピーク検出手段により検出されたパワーピークのうちで、周期性判定手段により周期性がないと判定された第２のフレーム内のパワーピークを選択するためのパワーピーク選択手段と、パワーピーク選択手段により選択されたパワーピークの各々について、当該パワーピークを含む所定区間内の他のパワーピークとの間の相互相関が所定のしきい値よりも大きなパワーピークを探索し、発話信号中の、当該パワーピークを含む所定の区間をＶＦ区間として検出するための手段とを含む。

第１のフレームによりフレーム化された発話信号により、パワーピークを検出する。第２のフレームによりフレーム化された発話信号により、周期性の有無を判定する。第１のフレームは第２のフレームより短いフレーム長で、かつフレームシフト量も小さい。したがって、ＶＦパルスのような、基本周波数の低い波形も第２のフレームを用いた場合より精度良く検出できる。一方、第２のフレームのフレーム長は第１のフレームより長いので、その中に周期性があるか否かをより精度良く判定できる。検出されたパワーピークのうちで、周期性のない部分に存在するものがＶＦパルスである可能性が高い。さらに、このようなＶＦパルス候補が、所定区間内の他の隣接するパルスとの間で高い相互相関を示せば、そのＶＦパルス候補がＶＦパルスである可能性はより高くなる。そうしたＶＦパルスに対応するパワーピークを含む区間をＶＦ区間として検出することで、精度良くＶＦ区間が検出できる。第１及び第２のフレームを処理に用いるので、信号処理に適したフレームを用いることができ、精度良くＶＦ検出を行なうことができる。

好ましくは、パワーピーク検出手段は、一連の第１のフレームのうち、当該フレームを含む所定区間内の他のフレームのいずれのパワーよりも大きく、その差が予め定められる第１のしきい値よりも大きなフレームをパワーピーク候補として検出するためのパワーピーク候補検出手段と、パワーピーク候補検出手段により検出されたパワーピーク候補のうち、当該フレームを含む、所定区間よりも広い区間内の各フレームのパワーより大きく、かつその差の最大値が予め定められる第２のしきい値よりも大きなフレームをパワーピークとして検出するための手段とを含む。

より好ましくは、所定区間よりも広い区間は、発話信号において１０ミリ秒に相当する期間である。

さらに好ましくは、周期性判定手段は、一連の第２のフレームの各々において、当該フレーム内での最大パワーピークの、当該フレーム内の所定の遅延範囲内での自己相関値の関数としてフレーム内の周期性の尺度を算出し、当該自己相関値のピークが所定のしきい値関数よりも大きいか否かにしたがって、周期性があるか否かを判定するための手段を含む。

判定するための手段は、最大パワーピークに関する自己相関値に、当該フレーム内での最大パワーピークからの遅延量に関する単調減少関数となる関数を乗じて周期性の尺度を算出するようにしてもよい。

好ましくは、所定のしきい値関数は、予め定められた０より大きく１より小さな定数に、単調減少関数を乗じて得られる。

より好ましくは、周期性判定手段はさらに、判定するための手段により周期性があると判定された第２のフレームのうち、周期性の尺度が予め定める定数よりも大きなフレームが所定個数連続している部分以外の第２のフレームの周期性の尺度の値を、周期性がないと判定される値に補正するための周期性補正手段を含む。

さらに好ましくは、発話信号を第１のフレーム化手段及び第２のフレーム化手段に与えるに先立って、発話信号の所定の周波数帯域の成分以外の成分を除波するためのフィルタリング手段をさらに含む。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかのＶＦ検出装置として動作させる。

＜概略＞
フレーム長に関する問題を解決するために、本発明の発明者たちは、固定長の分析フレーム中において周期性が見出されない場合に声門パルスに同期した処理を行なうことにした。そのために、制動と低基本周波数というＶＦの属性に基づいて声門パルスの候補を検出する。これは、長いパルス間の間隔で生ずる制動には、発話信号の振幅包絡、すなわち局部的なパワーの曲線に、上下動が生ずるという現象に基づいている。

自動検出に伴うもう一つの問題は、多くの音響分析では、発話信号に関し、予めセグメント化された有音発話部分の時間的又はスペクトル的特徴を分析しているということである。子音及び非発話セグメントも含む発話全体からＶＦを自動的に検出するという実際的問題では、多くの挿入エラーが発生する可能性がある。なぜなら、そうしたセグメントもまた、通常は非周期性という特徴を有するためである。したがって問題は、ＶＦにより生じた非周期性と、子音及び環境の非発話信号から生じた残響とをどのように区別するかということである。

この問題に関し、本実施の形態では、連続する（又は近接する）声門パルスの間の類似性の尺度を評価することにより、問題の解決を試みる。この尺度は、二つの声門パルスの発生の間には、声門の構造は変化せず、したがって二つのタイミングでの声門の応答は類似しているだろうという仮定に基づいている。

＜構成＞
図１に、本発明の一実施の形態に係るボーカル・フライ検出装置１２２を採用した自動対話システム１００のブロック図を示す。図１を参照して、この自動対話システム１００は、入来する発話信号１０２に対する音声認識を行ない、音声認識結果１３０をテキストデータとして出力するための音声認識装置１２０と、発話信号１０２のうちのＶＦ期間を検出し、ＶＦ区間情報１３２を出力するためのＶＦ検出装置１２２とを含む。

自動対話システム１００はさらに、音声認識装置１２０から音声認識結果１３０を、ＶＦ検出装置１２２からＶＦ区間情報１３２を、それぞれ受け、ＶＦ区間情報１３２を用いたパラ言語情報処理と、音声認識結果１３０とを統合することにより発話者の意図を理解し、適切な応答となるテキスト情報及び声質情報を出力するための応答作成装置１２４と、応答作成装置１２４が応答を作成する際に参照する、音声のテキスト情報とパラ言語情報との組合せに対し適切な応答を作成するための知識を格納した知識ベース１２６と、応答作成装置１２４から出力された応答のテキスト情報を、応答作成装置１２４から指示された声質で音声合成し、音声信号１０４として出力するための音声合成装置１２８とを含む。音声信号１０４は図示しない回路でアナログ化され、増幅されてスピーカに供給される。

図２に、ＶＦ検出装置１２２のブロック図を示す。図２を参照して、ＶＦ検出装置１２２は、発話信号１０２のうち、周期性に関する大部分の情報が含まれている１００〜１５００Ｈｚの周波数成分のみを通過させるためのバンドパスフィルタ１６０を含む。１００Ｈｚ未満の周波数成分は直流成分及び徐々に上昇及び下降する成分であり、周期性分析に悪影響を与えるため、バンドパスフィルタ１６０により除波する。また１５００Ｈｚを超える周波数成分は、高周波数のノイズ成分を含むので、これも除波する。このバンドパスフィルタの通過帯域は、ＶＦセグメント中の各声門パルスについて、パワーの曲線中からピークと谷とを検出できるような帯域に選ばれている。

ＶＦ検出装置１２２はさらに、フレーム長が５ミリ秒、フレーム間隔が２．５ミリ秒のフレーム（これを本明細書では「超短期フレーム」と呼ぶ。）を用いてバンドパスフィルタ１６０の出力内の局所的なパワーのピークをＶＦのパルスの候補として検出し、ピーク位置情報１７０を出力するための超短期ピーク検出処理部１６２と、フレーム長２５〜３２ミリ秒、フレーム長１０又は５ミリ秒というよく用いられるフレーム（これを本明細書では「短期フレーム」と呼ぶ。）を使用し、バンドパスフィルタ１６０の出力中でＶＦが存在する可能性を示す、短期周期性のない部分をそれ以外の部分と区別して検出し、短期周期性情報１７２を出力するための短期周期性検出部１６４とを含む。

ＶＦ検出装置１２２はさらに、超短期ピーク検出処理部１６２からピーク位置情報１７０を、短期周期性検出部１６４から短期周期性情報１７２を、それぞれ受け、ピーク位置情報１７０により示されるピークのうちから、短期周期性のない部分に存在するものを含むフレームをＶＦフレームの候補として選択し、ＶＦ候補情報１７６として出力するための周期性検査部１６６と、周期性検査部１６６の出力するＶＦ候補情報１７６と、バンドパスフィルタ１６０の出力する１００〜１５００Ｈｚの周波数成分の発話信号１７４とを用い、前後の所定の範囲に類似したパルスを持つＶＦ候補のみをＶＦとし、ＶＦの存在する区間を示すＶＦ区間情報１３２を出力するための類似性検査部１６８とを含む。

図３に、超短期ピーク検出処理部１６２のブロック図を示す。図３を参照して、超短期ピーク検出処理部１６２は、バンドパスフィルタ１６０の出力する１００〜１５００Ｈｚの周波数成分の発話信号１７４を超短期フレームによりフレーム化するためのフレーム化処理部１９０と、フレーム化処理部１９０の出力する超短期フレームの各々に対し、パワー（これを「超短期パワー」と呼ぶ。）を算出し出力するための超短期パワー算出部１９２と、超短期パワー算出部１９２の出力する一連の超短期パワーのうち、最新の所定個数の値を格納するためのメモリ１９４と、メモリ１９４に記憶された超短期パワーのうち、前後１フレームの超短期パワーのいずれよりも大きく、かつその差がいずれも所定のパワーしきい値Ｐｗ_ＴＨ（例えば６〜７ｄＢ）より大きなものをＶＦの声門パルスの候補と推定し、そのピーク位置をピーク位置情報１７０として出力するためのピーク比較部１９６と、ピーク比較部が使用するパワーしきい値Ｐｗ_ＴＨを記憶するためのパワーしきい値記憶部１９８とを含む。

図４及び図５に、ピーク比較部１９６におけるピーク検出の原理を示す。図４を参照して、フレーム長５ミリ秒、フレーム間隔２．５ミリ秒の超短期フレームの各々について超短期パワー算出部１９２によりパワーを算出することにより、２．５ミリ秒間隔でパワー値が得られる。これらパワー値のうち、矢印２１０，２１２，２１４，２１６，２１８等のように、前後のパワー値よりも大きなものがピーク候補となり得る。本実施の形態ではさらに、これらピーク候補の内で、次に示すような条件を充足するものをピーク候補とする。

図５を参照して、パワー値２３２の値が、前後２フレームのパワー値２３０及び２３４と比較してパワーしきい値Ｐｗ_ＴＨより大きいものとする。本実施の形態では、そのような場合にこのパワー値を示すフレームをピーク候補とする。パワー値２３８のように、前後２フレームのパワー値２３６及び２４０との差のいずれかがパワーしきい値Ｐｗ_ＴＨに満たないものはピーク候補から除外する。

図６（Ａ）及び（Ｂ）にそれぞれ、ＶＦセグメントと非ＶＦセグメント（以下「ＮＦセグメント」と呼ぶ。）におけるピークのパワー上昇とパワー下降との分布について、実験で得られたものを示す。ここでのピーク上昇量及び下降量は、あるピークのパワー値と、そのピークより４フレーム前のフレームのパワー（すなわち、ピークの１０ミリ秒前のパワー）との間の差のことをいう。図６（Ａ）によれば、ＶＦでは制動が起こるという特性を反映して、パワー値の上昇量と下降量との双方において、かなり大きな値が発生していることがわかる。それに対し、図６（Ｂ）によれば、ＮＦセグメントでは、パワー値の上昇量と下降量との双方において、１〜６ｄＢの範囲が大部分であることがわかる。

この図からはどの程度の値をＶＦとＮＦとを区別するためのしきい値（パワーしきい値）として選択すべきかは必ずしも明確ではない。このしきい値は後に述べるような実験の結果に基づき選択するが、例えば７ｄＢという値を用いる。

図２に示す短期周期性検出部１６４は、このようにして定められたピーク候補の各々に対して、超短期ピーク検出処理部１６２により抽出されたピーク候補のうちでＶＦセグメント中と思われるものをさらに選択する機能を持つ。

図７を参照して、短期周期性検出部１６４は、バンドパスフィルタ１６０の出力を、フレーム長３２ミリ秒、フレーム間隔１０ミリ秒でフレーム化するためのフレーム化処理部２５０と、フレーム化処理部２５０の出力するフレーム化された発話信号を記憶するためのメモリ２５２と、メモリ２５２に記憶されたフレームごとの発話信号に基づく自己相関分析により、フレーム内周期性（Ｉｎｔｒａ−ｆｒａｍｅ ｐｅｒｉｏｄｉｃｉｔｙ：ＩＦＰ）をフレームごとに算出するためのＩＦＰ算出部２５４と、ＩＦＰ算出部２５４により各フレームについて算出されたＩＦＰ値を所定の周期性のしきい値関数ＩＦＰ_ＴＨと比較し、ＩＦＰ値のピークのいずれかがしきい値関数を下回っていれば周期性がないと判定して当該フレームのＩＦＰ値をヌルに設定するための周期性判定部２５８と、周期性判定部２５８により設定されたＩＦＰ値に基づき、ＩＦＰ値がヌルでないフレームが３フレーム以上連続した場合のみ、短期周期性を持つセグメントと判定し、短期周期性を持つフレームか否かを示す短期周期性情報１７２を出力するための連続性検査部２６０と、周期性判定部２５８が使用する周期性のしきい値関数ＩＦＰ_ＴＨを記憶するための周期性のしきい値関数記憶部２６２とを含む。

ＩＦＰ算出部２５４による自己相関分析でのＩＦＰ値は、最大ピークの相関値を「フレーム長／（フレーム長−遅延）」で正規化した値で定義される。この正規化は、遅延量が大きくなるにしたがって自己相関は小さくなるという、自己相関関数の単調減少関数としての特性に対する補償を行なうためである。

ＩＦＰ算出部２５４では、１５ミリ秒より小さな遅延量（約６６．７Ｈｚより大きな基本周波数に対応）の自己相関ピークのみを周期性の分析対象とする。すなわち、分析フレーム内には少なくとも二つの声門周期が含まれることになる。

周期性判定部２５８は、２００Ｈｚよりも大きな基本周波数に対応する自己相関ピークに対し、次のような処理を行なう。すなわち、６６．７Ｈｚより上の低調波の全てに関する周期性を検査する。この処理により、声門周期の繰返しによる周期性ではなく第１フォルマント周辺の強い調波による周期性を誤って検出してしまうことを防止する。自己相関関数における低調波属性について、図８及び図９に示す。図８には１フレーム内に声門パルスを一つだけ含むＶＦに関する波形及び自己相関を、図９には高い基本周波数を持つ地声に関する波形及び自己相関を示す。これらは、女性話者の音声から抽出した母音／ｅ／に関するセグメントでのものである。図８（Ｂ）及び図９（Ｂ）において、実線２７６及び２９６はしきい値関数を示す。しきい値関数は「所定の定数×（フレーム長−遅延量）／（フレーム長）」で定義される。所定の定数として、本実施の形態では０．５という値を用いる。しきい値関数もまた、自己相関関数が遅延に対する単調減少関数であるという属性を考慮したものとなっている。

図９（Ｂ）を参照して、地声のセグメントでは、波形２９０（図９（Ａ））に含まれる強い調波については、その低調波成分の自己相関２９４のピークも通常は大きい。６６．７Ｈｚより上の低調波（遅延が１５ミリ秒以下、すなわち点線２９８より左側）の自己相関ピーク３００は、しきい値関数２９６よりも高い。

これに対し図８（Ｂ）を参照して、ＶＦセグメントの波形２７０（図８（Ａ））については、自己相関関数は強いピークを持つが、１５ミリ秒以内の遅延（点線２７８より左側）では、低調波成分の多くは自己相関関数２７４の値としてしきい値関数２７６よりも小さな値２８０を持つ。本実施の形態では、ＩＦＰ算出部２５４は、このように各低調波成分の自己相関関数を算出する機能を持つ。周期性判定部２５８は、ＩＦＰ算出部２５４により各フレームに対し算出されたＩＦＰ値を検査し、そのピークのいずれかがしきい値関数の値より小さければそのフレームのＩＦＰの値をヌルに設定する機能を持つ。連続性検査部２６０は、周期性判定部２５８が出力する各フレームに対するＩＦＰ値を検査し、ＩＦＰ値がヌルとなっていないフレームが少なくとも３個連続した場合のみ、それらフレームに短期周期性があるものと判定し、それ以外の場合には短期周期性がないものと判定する。

図１０（Ａ）及び（Ｂ）にそれぞれ、ＶＦセグメントとＮＦセグメントとに対し実験で得られたＩＦＰ値の分布を白い棒グラフで示す。図１０（Ａ）及び（Ｂ）を参照して、ＶＦセグメントではＩＦＰの値がヌルであるフレームが圧倒的に多数であることがわかる。図１０において、「ｎｕｌｌ＿１」は低調波成分に関する制約によりＩＦＰ値がヌルとなったフレーム（すなわち、強い自己相関ピークが存在するが、低調波には弱い自己相関ピークしか存在しないフレーム）の数を示し、「ｎｕｌｌ＿２」は非周期性という制約によりＩＦＰ値がヌルとなったフレーム（すなわち強い自己相関ピークがないフレーム）の数を示す。

図２に示す周期性検査部１６６は、超短期ピーク検出処理部１６２からＶＦセグメント候補のピーク位置情報１７０を、短期周期性検出部１６４からは短期周期性情報１７２を、それぞれ受け、ＩＦＰ値がヌルとなっているフレームのピーク候補のみを選択し、ＶＦ候補情報１７６として類似性検査部１６８に与える機能を持つ。

図１１に、図２に示す類似性検査部１６８のブロック図を示す。図１１を参照して、類似性検査部１６８は、１００〜１５００Ｈｚの周波数成分の発話信号１７４と、周期性検査部１６６からのＶＦ候補情報１７６とに基づき、以上述べた制約をクリアしたＶＦセグメントのパワーピーク候補に対し、各パワーピーク付近の波形とその前のパワーピーク付近の波形との間の相互相関関数として計算されるパルス間類似性（ｉｎｔｅｒ−ｐｕｌｓｅ ｓｉｍｉｌａｒｉｔｙ：ＩＰＳ）値を算出するためのＩＰＳ算出部３１０と、後述するような実験により定められたしきい値ＩＰＳ_ＴＨを記憶するためのパルス間類似性のしきい値記憶部３１４と、ＩＰＳ算出部３１０から出力されるパワーピークごとのＩＰＳ値と、しきい値記憶部３１４に記憶されたしきい値ＩＰＳ_ＴＨとを比較し、しきい値ＩＰＳ_ＴＨを上回るパワーピークのみを選択し、ピーク位置情報を出力するためのＩＰＳ比較部３１２と、ＩＰＳ比較部３１２から出力されたピーク位置情報に基づき、隣接する（又は所定のサーチ範囲内で近接する）パルスの間でＩＰＳ値の高いものの間に存在するフレームをＶＦセグメントとしてマージし、ＶＦ区間情報１３２を出力するためのＶＦセグメント決定部３１６とを含む。

ＩＰＳ算出部３１０で算出されるＩＰＳ値は、前述したとおり処理対象のパワーピーク付近の波形と、その前のパワーピーク付近の波形との間の相互相関関数により算出される。相互相関計算のためのフレーム長は１５ミリ秒に限定する。これは、不規則な間隔を持つ声門パルスによる、類似度計算における干渉を避けるためである。

相互相関は、パワーピーク位置を中心とする、幅５ミリ秒の範囲に対し推定され、その最大値をＩＰＳ値とする。ＩＰＳ値が高ければ、そのパワーピークがＶＦパルスを表わすものである確率が高いと考えられる。ＩＰＳ値の算出においては、対象のパワーピークの前１００ミリ秒の範囲に限定して他のパワーピークを探索し、そのパワーピークとの間で相互相関を算出する。１００ミリ秒という値は、二つの声門の励振パルスの間の間隔として可能な最大時間間隔に対応する。励振パルスの最大値とは、基本周波数にして１０Ｈｚという非常に低い値に対応する値である。

図１０（Ａ）及び（Ｂ）にそれぞれ、ＶＦセグメントとＮＦセグメントとについて実験で算出されたＩＰＳ値の分布をハッチングした棒グラフで示す。図１０（Ａ）によれば、ＶＦセグメントではＩＰＳ値は大きいものが圧倒的に多く、０．８〜０．９５の範囲を中心として集まっている。これに対しＮＦセグメントでは、ｎｕｌｌ＿２に大きな値がある。「ｎｕｌｌ＿２」は、探索範囲が１００ミリ秒に限定されているためにヌル値に設定されたもの、つまりパワーピークの直前１００ミリ秒の範囲に、他のパワーピークが存在しないためにＩＰＳ値がヌルに設定されたものを示す。一方、図１０（Ａ）ではＩＰＳ値のヌル値はほとんどない。

また、図１０（Ｂ）を参照して、ＮＦセグメントではＩＰＳ値を二つのグループに分けることができる。一方はＩＰＳ値の低い範囲のグループであり、他方はＩＰＳ値の高い範囲のグループである。これらＩＰＳ値の高いものは、おそらく地声における周期性による結果と思われる。したがってこの場合にはＩＦＰ値もまた高いはずである。これに対応して、図１０（Ｂ）の白い棒グラフにより、ＮＦセグメントにおいてＩＦＰ値の高いものが多く存在していることが示されている。

＜動作＞
以上述べた構成を有する自動対話システム１００、特にＶＦ検出装置１２２は以下のように動作する。図１を参照して、マイクロフォンなどから入力された発話信号１０２はデジタル化されて音声認識装置１２０及びＶＦ検出装置１２２に与えられる。音声認識装置１２０は、この音声信号に対して音声認識処理を行ない、可能性の高い複数個の音声認識結果のテキスト情報からなる音声認識結果１３０を応答作成装置１２４に与える。一方、ＶＦ検出装置１２２は、以下に説明するような動作をして音声信号中でＶＦセグメントと思われるフレームを特定し、ＶＦ区間情報１３２を応答作成装置１２４に与える。

応答作成装置１２４は、音声認識装置１２０から与えられた音声認識結果１３０に含まれる複数個の候補と、ＶＦ検出装置１２２から与えられるＶＦ区間情報１３２とを用いて知識ベース１２６にアクセスすることにより、音声認識結果の候補とＶＦセグメントとの組合せから応答として最も適切と思われる応答を作成する。この応答は、応答のテキスト情報と、応答音声の声質を指定する情報とからなり、音声合成装置１２８に与えられる。音声合成装置１２８は、指定されたテキスト情報を指定された声質で再生するための音声信号１０４を合成し、スピーカに与える。

以下、ＶＦ検出装置１２２の動作について説明する。図２を参照して、ＶＦ検出装置１２２に与えられた発話信号１０２は、バンドパスフィルタ１６０に与えられる。バンドパスフィルタ１６０は、発話信号１０２のうち１００Ｈｚ〜１５００Ｈｚの周波数成分のみを発話信号１７４として通過させる。発話信号１７４は超短期ピーク検出処理部１６２、短期周期性検出部１６４、及び類似性検査部１６８に与えられる。

超短期ピーク検出処理部１６２は、以下のような処理により超短期フレームでのパワーのピークを検出し、ピーク位置情報１７０として周期性検査部１６６に与える。すなわち、図３を参照して、フレーム化処理部１９０が１００〜１５００Ｈｚの周波数成分の発話信号１７４を超短期フレームによりフレーム化する。この超短期フレームは、フレーム長が５ミリ秒、フレーム間隔が２．５ミリ秒である。超短期フレームによりフレーム化された音声信号は超短期パワー算出部１９２に与えられる。

超短期パワー算出部１９２は、各フレームに対し超短期パワーを算出し、結果をメモリ１９４に与え、記憶させる。メモリ１９４は最新の所定個数のフレームについて、その超短期パワーの値を記憶する。

ピーク比較部１９６は、各フレームについて、その前後２フレームと比較してパワーがパワーしきい値Ｐｗ_ＴＨより大きいフレームをパワーピーク候補とし、そのフレーム位置を示すピーク位置情報１７０を出力し、周期性検査部１６６に与える。

一方、図２に示す短期周期性検出部１６４は以下のようにして各フレームにおける周期性を検出し、短期周期性情報１７２として周期性検査部１６６に与える。すなわち、図７を参照して、フレーム化処理部２５０は発話信号をフレーム長３２ミリ秒、フレーム間隔１０ミリ秒でフレーム化し、メモリ２５２に記憶させる。

ＩＦＰ算出部２５４は、メモリ２５２に記憶された各フレームについて、ＩＦＰ値を算出し、周期性判定部２５８に与える。周期性判定部２５８は、ＩＦＰ算出部２５４から与えられた各フレームのＩＦＰ値を、しきい値関数と比較することにより補正する。すなわち周期性判定部２５８は、各フレームについて、その低調波のＩＦＰ値のいずれかがしきい値より小さければ、そのフレームのＩＦＰ値をヌルに設定する。周期性判定部２５８は、このＩＦＰ値をフレームごとに連続性検査部２６０に与える。

連続性検査部２６０は、周期性判定部２５８から与えられたフレームごとのＩＦＰ値について、その値がヌルでないフレームが少なくとも３フレームだけ連続していなければ、それらフレームのＩＦＰ値をヌルに補正する。連続性検査部２６０により連続性が検査された後の各フレームのＩＦＰ値は短期周期性情報１７２として図２に示す周期性検査部１６６に与えられる。

周期性検査部１６６は、超短期ピーク検出処理部１６２から与えられたピーク位置情報１７０のうち、短期周期性検出部１６４から与えられた短期周期性情報１７２により、フレームのＩＦＰ値がヌルとなっている部分のみをＶＦセグメントの候補とし、ＶＦ候補情報１７６として類似性検査部１６８に与える。

図１１を参照して、類似性検査部１６８のＩＰＳ算出部３１０は、ＶＦ候補情報１７６により特定されるパワーピーク候補に対し、各パワーピーク付近の波形とその前のパワーピーク付近の波形との間のＩＰＳ値を算出し、ＩＰＳ比較部３１２に与える。ＩＰＳ比較部３１２は、ＩＰＳ算出部３１０により算出された各パワーピークに対するＩＰＳ値と、しきい値記憶部３１４に記憶されたしきい値ＩＰＳ_ＴＨとを比較し、しきい値ＩＰＳ_ＴＨを上回るパワーピークのみを選択し、ピーク位置情報を出力する。このピーク位置情報はＶＦセグメント決定部３１６に与えられる。ＶＦセグメント決定部３１６は、ＩＰＳ比較部３１２から出力されたピーク位置情報に基づき、隣接する（又は所定のサーチ範囲内で近接する）パルスの間でＩＰＳ値の高いものの間のフレームをＶＦセグメントとしてマージし、ＶＦ区間情報１３２を出力する。このＶＦ区間情報１３２が図１に示す応答作成装置１２４に与えられる。

＜自動検出の評価＞
上記した実施の形態によるＶＦ検出装置１２２のＶＦに関する自動検出を、自動検出されたＶＦセグメントの持続期間（ＶＦ_ｄｕｒ）及び人手によりＶＦとして判定されラベリングされた期間（ＶＦ_{ｄｕｒ＿ｈｕｍａｎ}）を比較することにより評価した。以下、ＶＦ_ｄｕｒとＶＦ_{ｄｕｒ＿ｈｕｍａｎ}との比をＶＦ率と呼ぶ。ＶＦとラベリングされたセグメントについては、ＶＦ率が２／３より大きい場合のみ正確に検出されたものと判定した。ＶＦとラベリングされなかったセグメントについて自動検出によりＶＦと判定されたものの数（ＶＦ_{ｄｕｒ＿ｉｎｓ}）を数えることにより、挿入エラーを検査した。検出結果及び挿入エラー結果を、検出性能又は挿入エラーの重大性によって二つのグループ、「検出」と「検出？」というグループに分けた。「検出？」グループは、ＶＦ率が１／３〜２／３の範囲で「ＶＦ」として検出されたセグメントと、「ＶＦ_{ｄｕｒ＿ｉｎｓ}」の値が３０ミリ秒を下回るものとを含んでいる。

上記実施の形態に含まれる種々のパラメータに関し、いくつかの値の組合せをテストし、検出性能を低下させずに挿入エラーを減少させるようにした。最初に、ＩＰＳ値を０．０、ＩＦＰ値を１．０に設定することにより、パワーピークのしきい値をリセットした。この条件は、パワーに関する情報のみを用いることに相当する。図１２は、パワーのしきい値を様々に変えたときの検出結果を示す。図１２を参照して、パワーのしきい値を高くすると、挿入エラーは減少する（「ＮＦ」グループの黒及び網掛けの部分）が、検出率も低下する（「ＶＦ」グループの黒及び網掛けの部分）ことが判る。

次に、パワーのしきい値を７ｄＢに固定し、ＩＰＳのしきい値を０．０に設定した。図１３はこの条件での様々なＩＦＰのしきい値についての検出結果を示す。図１３を参照して、検出率はあまり変化しなかった（「ＶＦ」グループ）が、ＩＦＰのしきい値を０．６とすると挿入エラーをより削減できた（「ＮＦ」グループ）。

最後に、パワーのしきい値を７ｄＢに、ＩＦＰのしきい値を０．６にそれぞれ設定して、いくつかのＩＰＳ値のしきい値について実験を行なった。図１４を参照して、ＩＰＳ値のしきい値を０．６に設定すると、重大な挿入エラーをさらに削減することができた（「ＮＦ」グループの黒い部分）上に、検出率は好ましい値に維持することができた。

「Ｒ」グループ（ＶＦの特徴が人間には知覚されなかったセグメント）について、それらサンプルの大部分は自動検出でもＶＦとしては検出されなかった。しかし、「ＶＦ？」グループでは、一部が「ＶＦ」として検出された。これらの結果によれば、本実施の形態に係るＶＦ自動検出装置によって、人間による知覚実験の結果とほぼ整合する結果が得られたといえる。

全体的な検出率について、ＶＦ_ｄｕｒの合計をＶＦ_{ｄｕｒ＿ｈｕｍａｎ}の合計で割ることにより算出した。全体的な挿入誤り率については、ＶＦ_{ｄｕｒ＿ｉｎｓ}の合計をＶＦ_{ｄｕｒ＿ｈｕｍａｎ}の合計で割ることにより算出した。「パワー＝７ｄＢ、ＩＦＰ＝０．６、ＩＰＳ＝０．６」というパラメータの組合せに対して、全体的な検出率として７３．３％、全体的な挿入エラー率として３．９％という値が得られた。７３．３％という検出率については、検出結果を後処理することにより、さらに改善の余地がある。たとえば、近接したＶＦセグメントをマージする、などの方法により改善が可能と思われる。挿入エラー率がもう少し高くても問題が生じないアプリケーションにおいては、パラメータをさらに調整して検出率を高めることもできる。

以上のように本実施の形態によれば、「パワー、ＩＦＰ及びＩＰＳ」というパラメータの組合せを用いてボーカル・フライを自動的に検出できる。

＜コンピュータによる実現および動作＞
この実施の形態に係るＶＦ検出装置１２２及び自動対話システム１００は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現できる。図１５はこのコンピュータシステム３３０の外観を示し、図１６はコンピュータシステム３３０の内部構成を示す。

図１５を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２と、マイクロフォン３７０と、スピーカ３７２とを含む。

図１６を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、マイク３７０から入力される発話信号をデジタル化したり、ＣＰＵ３５６により処理されたデジタルの音声信号をアナログ化し、スピーカ３７２に与えたりするためのサウンドボード３６８とを含む。コンピュータシステム３３０はさらに、図示しないプリンタを含んでいてもよい。

ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。

コンピュータシステム３３０に本実施の形態に係る自動対話システム１００及びＶＦ検出装置１２２としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ３４０にこの実施の形態に係る自動対話システム１００及びＶＦ検出装置１２２としての動作を行なわせる複数の命令を含む。これら命令による処理を行なうのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態の自動対話システム１００及びＶＦ検出装置１２２としての動作を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した自動対話システム１００及びＶＦ検出装置１２２としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰り返さない。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

本発明の一実施の形態に係るＶＦ検出装置１２２を採用した自動対話システム１００のブロック図である。 本発明の一実施の形態に係るＶＦ検出装置１２２のブロック図である。 超短期ピーク検出処理部１６２のブロック図である。 超短期ピーク検出処理部１６２におけるピーク検出の原理を示す図である。 超短期ピーク検出処理部１６２におけるピーク検出の原理を示す図である。 ＶＦセグメントとＮＦセグメントとにおけるピークのパワー上昇とパワー下降との分布について、実験で得られた結果を示すグラフである。 短期周期性検出部１６４のブロック図である。 １フレーム内に一つのＶＦパルスが存在する場合の低調波の自己相関関数の属性を示す図である。 地声に関する低調波の自己相関関数の属性を示す図である。 ＶＦ及びＮＦセグメントにおけるＩＦＰ及びＩＰＳの分布を示すグラフである。 類似性検査部１６８のブロック図である。 ＩＦＰしきい値＝１、ＩＰＳしきい値＝０に固定した場合で、いくつかのパワーのしきい値について行なった実験結果を示すグラフである。 パワーのしきい値＝７ｄＢ、ＩＰＳしきい値＝０に固定した場合で、いくつかのＩＦＰのしきい値について行なった実験結果を示すグラフである。 パワーのしきい値＝７ｄＢ、ＩＦＰしきい値＝０．６に固定した場合で、いくつかのＩＰＳしきい値について行なった実験結果を示すグラフである。 本発明の一実施の形態に係る自動対話システム１００及びＶＦ検出装置１２２を実現するコンピュータの外観を示す図である。 図１５に示すコンピュータの内部構成図である。

符号の説明

１００ 自動対話システム
１０２，１７４ 発話信号
１０４ 音声信号
１２０ 音声認識装置
１２２ ＶＦ検出装置
１２４ 応答作成装置
１２６ 知識ベース
１２８ 音声合成装置
１３０ 音声認識結果
１３２ ＶＦ区間情報
１６０ バンドパスフィルタ
１６２ 超短期ピーク検出処理部
１６４ 短期周期性検出部
１６６ 周期性検査部
１６８ 類似性検査部
１７０ ピーク位置情報
１７２ 短期周期性情報
１７６ ＶＦ候補情報
１９０，２５０ フレーム化処理部
１９２ 超短期パワー算出部
１９４，２５２ メモリ
１９６ ピーク比較部
２５４ ＩＦＰ算出部
２５８ 周期性判定部
２６０ 連続性検査部
３１０ ＩＰＳ算出部
３１２ ＩＰＳ比較部
３１４ しきい値記憶部
３１６ ＶＦセグメント決定部

Claims (4)

1. 発話信号中のボーカル・フライ区間を検出するためのボーカル・フライ検出装置であって、
   発話信号を、第１のフレーム長でかつ第１のフレームシフト量の第１のフレームでフレーム化するための第１のフレーム化手段と、
   前記第１のフレーム化手段の出力する一連の第１のフレームの各々のパワーのピークを検出するためのパワーピーク検出手段と、
   前記発話信号を、前記第１のフレーム長よりも大きな第２のフレーム長で、かつ前記第１のフレームシフト量よりも大きな第２のフレームシフト量の第２のフレームでフレーム化するための第２のフレーム化手段と、
   前記第２のフレーム化手段の出力する一連の第２のフレームの各々の内部における周期性の有無を判定するための周期性判定手段と、
   前記パワーピーク検出手段により検出されたパワーピークのうちで、前記周期性判定手段により周期性がないと判定された前記第２のフレーム内のパワーピークを選択するためのパワーピーク選択手段と、
   前記パワーピーク選択手段により選択されたパワーピークの各々について、当該パワーピークを含む所定区間内の他のパワーピークとの間の相互相関が所定のしきい値よりも大きなパワーピークを探索し、前記発話信号中の、当該パワーピークを含む所定の区間をボーカル・フライ区間として検出するための手段とを含む、ボーカル・フライ検出装置。
2. 前記周期性判定手段は、前記一連の第２のフレームの各々において、当該フレーム内での最大パワーピークの、当該フレーム内の所定の遅延範囲内での自己相関値の関数としてフレーム内の周期性の尺度を算出し、当該自己相関値のピークが所定のしきい値関数よりも大きいか否かにしたがって、周期性があるか否かを判定するための手段と、
   前記判定するための手段により周期性があると判定された前記第２のフレームのうち、前記周期性の尺度が予め定める定数よりも大きなフレームが所定個数連続している部分以外の前記第２のフレームの前記周期性の尺度の値を、周期性がないと判定される値に補正するための周期性補正手段を含む、請求項１に記載のボーカル・フライ検出装置。
3. 前記発話信号を前記第１のフレーム化手段及び前記第２のフレーム化手段に与えるに先立って、前記発話信号の所定の周波数帯域の成分以外の成分を除波するためのフィルタリング手段をさらに含む、請求項１又は請求項２に記載のボーカル・フライ検出装置。
4. コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項３のいずれかに記載のボーカル・フライ検出装置として動作させる、コンピュータプログラム。

Images