JP2008508564A

JP2008508564A - スピーチエンドポインタ

Info

Publication number: JP2008508564A
Application number: JP2007524151A
Authority: JP
Inventors: フィルヘザーリントン，; アレックスエスコット，
Original assignee: キューエヌエックスソフトウェアシステムズ（ウェーブメイカーズ），インコーポレイテッド
Priority date: 2005-06-15
Filing date: 2006-04-03
Publication date: 2008-03-21
Also published as: JP2011107715A; WO2006133537A1; US8165880B2; EP1771840A1; US20120265530A1; US8554564B2; EP1771840A4; CN101031958B; US20070288238A1; CA2575632C; US8170875B2; KR20070088469A; CA2575632A1; US20060287859A1; JP5331784B2; CN101031958A

Abstract

ルールに基づくエンドポインタは、音声ストリーム内に含まれる発話された発言を、バックグラウンドノイズおよび発話でないトランジェントから分離する。ルールに基づくエンドポインタは、様々な発話特性に基づいて発話された発言の開始および終了を決定するための複数のルールを含む。ルールは、音声ストリームまたは音声ストリームの一部分を、事象、事象の組み合わせ、事象の継続、または事象に関する継続に基づいて分析し得る。ルールは、音声ストリーム自体の特性、音声ストリーム内に含まれた予想される応答、または周囲環境条件を含み得る要因に応じて、手動で、あるいはダイナミックにカスタマイズされ得る。

Description

本発明は、自動音声認識に関し、より詳細には、話されている発言をバックグラウンドノイズおよび音声でないトランジェント（ｔｒａｎｓｉｅｎｔ）から分離するシステムに関する。

車両環境内では、自動音声認識（ＡＳＲ）システムを使用し、音声入力に基づいて乗客にナビゲーション指示を与えることができる。この機能性によって、手動で入力したり情報を画面から読んだりする間にドライバーの注意が道路から逸れるということがないという点で、安全性への配慮が低くなる。加えて、ＡＳＲシステムは、音声システム、空調制御、またはその他の車両機能を制御するためにも使用され得る。

ＡＳＲシステムによって、ユーザはマイクロフォンへ発話することが可能になる。また、ＡＳＲシステムは、信号をコンピュータによって認識されるコマンドへ変換する。コマンドを認識すると、コンピュータはアプリケーションを実行し得る。ＡＳＲシステムを実行する際の１つの要素は正確に話された発言を認識することである。このためには、発言の開始および／または終了を見つけること（エンドポインティング）が必要である。

一部のシステムは音声フレーム内のエネルギーを探索する。エネルギーを検知すると、システムは、エネルギーが検知されたポイントから所定の時間を引いたり（発言の開始時間を決定するため）、エネルギーが検知されたポイントから所定の時間を足したり（発言の終了時間を決定するため）することによって、発言のエンドポイントを予測する。次いで、音声ストリームのこの選択された部分は、話された発言を決定するために、ＡＳＲへ渡される。

音響信号におけるエネルギーは多くのソースに由来し得る。車両環境内では、例えば、音響信号エネルギーは道路の隆起、ドアのバタンという音、ぶつかる音、バンという音、エンジンノイズ、気動等のような一時的なノイズに由来し得る。エネルギーの存在に焦点をあてた上記のシステムは、これらのトランジェントノイズを、発話された発言であると誤解し、信号の周辺部分を処理するためにＡＳＲシステムへ送信することがある。このため、ＡＳＲシステムは、一時的なノイズを発話コマンドと認識することを不必要に試み、それによって誤ったポジティブ信号を生成したり、実際のコマンドに対する反応を遅延させたりすることがある。

したがって、一時的なノイズ状況において発話された発言を識別することが可能なインテリジェントなエンドポインタシステムが必要である。

ルールに基づいたエンドポインタは、音声ストリームにおける音声発話セグメントの開始、終了あるいは開始および終了の両方を決定する１つ以上のルールを含む。ルールは、事象の発生または事象の組合せ、あるいは発話特性の存在／非存在の継続などの、様々な要因に基づき得る。さらに、ルールは、沈黙の期間、有声の音声事象、無声の音声事象またはそのような事象の任意の組合せ、事象の継続、あるいは、ある事象に関する継続を分析することを含み得る。適用されるルールまたは分析されている音声ストリームの内容によって、ルールに基づくエンドポインタがＡＳＲに送信する音声ストリームの量は変動し得る。

ダイナミックなエンドポインタは、音声ストリームに関する１つ以上のダイナミックな局面を分析し、分析したダイナミックな局面に基づいて、音声発話の開始、終了、あるいは開始および終了の両方を決定し得る。分析され得るダイナミックな局面としては、（１）話者の発話のペース、話者の発話のピッチなど、音声ストリーム自体、（２）話者に対して与えられた質問に対する予想される回答（例えば、「はい」または「いいえ」）など、音声ストリームにおいて予想される回答、あるいは（３）バックグラウンドノイズレベル、エコーなど、周囲環境条件が挙げられるが、これらに限定されるわけではない。ルールは、音声発話セグメントのエンドポインティングを行うために１つ以上のダイナミックな局面を利用し得る。

本発明のその他のシステム、方法、特徴および利点は、以下の図面および詳細な説明を検討すれば当業者にとって明白である（あるいは明白となる）。このようなさらなるシステム、方法、特徴および利点が全て本記載内に含まれ、本発明の範囲内にあり、後述の特許請求の範囲によって保護されることが企図される。

本発明は、後続の図面および説明を参照すればよりよく理解することができる。図中の要素は必ずしも実寸大ではなく、本発明の原則を図示するうえで強調して配置されている。さらに、様々な図の全体において、図中の同一の参照番号は対応する部分を示す。

ルールに基づくエンドポインタは、トリガー特性を得るために音声ストリームの１つ以上の特性を検討し得る。トリガー特性は、有声音または無声音を含み得る。声帯が振動するときに生成された、有声の発話セグメント(例えば母音)は、ほぼ周期的な時間領域信号を出す。声帯が振動しないとき（英語の「ｆ」の字を発話するときなど）に生成された、無声発話音は、周期性を有さず、ノイズ様の構造に似た時間領域信号を有する。音声ストリームにおけるトリガー特性を識別し、発話音の本来の特性に対して作用するルールのセットを採用することによって、エンドポインタは、発話発言の開始および／または終了の決定を改善し得る。

代替的に、エンドポインタは、音声ストリームの少なくとも１つのダイナミックな局面を分析し得る。分析され得る音声ストリームのダイナミックな局面としては、（１）話者の発話のペース、話者の発話のピッチなど、音声ストリーム自体、（２）話者に対して与えられた質問に対する予想される回答（例えば、「はい」または「いいえ」）など、音声ストリームにおいて予想される回答、あるいは（３）バックグラウンドノイズレベル、エコーなど、周囲環境条件が挙げられるが、これらに限定されるわけではない。ダイナミックなエンドポインタは、ルールに基づき得る。エンドポインタのダイナミックな性質によって、発話セグメントの開始および／または終了の決定の改善が可能となる。

図１は、音声に基づいて発話のエンドポインティングを実行するための装置１００のブロック図である。エンドポインティング装置１００は、１つ以上のオペレーティングシステムと関連する１つ以上のプロセッサ上で動作し得る、ハードウェアまたはソフトウェアを包含し得る。エンドポインティング装置１００は、コンピュータのような処理環境１０２を含み得る。処理環境１０２は、処理ユニット１０４とメモリ１０６とを含み得る。処理ユニット１０４は双方向バスを介してメモリ１０６へアクセスすることによって、計算や論理を実行し得、かつ／またはオペレーションを制御し得る。メモリ１０６は入力音声ストリームを格納し得る。メモリ１０６は、音声発話セグメントの開始および／または終了を検知するために使用されるルールモジュール１０８を含み得る。メモリ１０６はさらに音声セグメントのトリガー特性を発見するために使用される発声分析モジュール１１６、および／または音声入力を認識するために使用され得るＡＳＲユニット１１８を含み得る。さらに、メモリ装置１０６は、エンドポインタの動作中に得られた、バッファリングされた音声情報を格納し得る。処理ユニット１０４は、入出力（Ｉ／Ｏ）ユニット１１０と通信する。Ｉ／Ｏユニット１１０は、音波を電気信号１１４に変換する装置から、入力された音声ストリームを受信し、電気信号を音声音１１２に変換する装置へ出力信号を送信する。Ｉ／Ｏユニット１１０は、処理ユニットと、電気信号を音声音１１２に変換する装置および音波を電気信号１１４に変換する装置との間のインタフェースの役割をし得る。Ｉ／Ｏユニット１１０は、音波を電気信号１１４に変換する装置を介して受信された入力音声ストリームを、音響波形からコンピュータ理解可能なフォーマットへ変換し得る。同様に、Ｉ／Ｏユニット１１０は、処理環境１０２から送信された信号を、電気信号を音声音１１２に変換する装置を介して出力するために電気信号に変換し得る。処理ユニット１０４は、図３および４のフローチャートを実行するように適切にプログラムされ得る。

図２は、車両２００に組み込まれたエンドポインタ装置１００を示す。車両２００は運転手席２０２、助手席２０４および後部座席２０６を含み得る。さらに、車両２００はエンドポインタ装置１００を含み得る。処理環境１０２は、電子制御装置、電子制御モジュール、ボディ制御モジュールなどの、車両２００のオンボードコンピュータに組みこまれ得、あるいは、１つ以上の許容可能なプロトコルを用いて車両２００の既存の回路と通信し得る、製造後に組み込まれる別個のユニットであり得る。プロトコルの一部は、Ｊ１８５０ＶＰＷ、Ｊ１８５０ＰＷＭ、ＩＳＯ、ＩＳＯ９１４１−２、ＩＳＯ１４２３０、ＣＡＮ、高速ＣＡＮ、ＭＯＳＴ、ＬＩＮ、ＩＤＢ−１３９４、ＩＤＢ−Ｃ、Ｄ２Ｂ、Ｂｌｕｅｔｏｏｔｈ、ＴＴＣＡＮ、ＴＴＰ、あるいはＦｌｅｘＲａｙ（商標）の下で取引されているプロトコルを含み得る。電気信号を音声音１１２に変換する１つ以上の装置は、正面の乗客キャビティのような、車両２００の乗客キャビティに位置し得る。この構成に限定するわけではないが、音波を電気信号１１４に変換する装置は、入力音声ストリームを受信するためにＩ／Ｏユニット１１０に接続され得る。代替的に、あるいは追加的に、後部座席の乗客から音声ストリームを受信してこれらの同じ乗客へ情報を出力するために、電気信号を音声音２１２に変換する追加の装置、および音波を電気信号２１４に変換する装置が、車両２００の後部乗客キャビティに配置され得る。

図３は、発話エンドポインタシステムのフローチャートである。システムは、入力音声ストリームがフレームごとに分析され得るように、入力音声ストリームをフレームのような個別のセクションに分割することによって作動し得る。フレームはそれぞれ、入力音声ストリーム全体の約１０ミリセカンドから約１００ミリセカンドまでのあらゆる位置を含み得る。システムはデータを処理し始める前に、入力音声データの約３５０ミリセカンドから約５００ミリセカンドといった所定のデータ量をバッファリングし得る。ブロック３０２に示すように、ノイズの他にエネルギーが存在するかを決定するためにエネルギー検出器が使用され得る。エネルギー検出器は、存在するエネルギー量を求めるために、フレームのような音声ストリームの一部分を調べ、量をノイズエネルギーの評価と比較する。ノイズエネルギーの評価は一定でもよく、ダイナミックに決定されてもよい。デシベル（ｄＢ）、すなわち電力比における差は、瞬間的な信号対ノイズ比（ＳＮＲ）であり得る。分析の前に、フレームは発話ではないと仮定され得、その結果、エネルギー検出器がフレーム内にエネルギーが存在すると決定した場合、ブロック３０４で示されるように、フレームは発話ではないとしてマークされる。エネルギーが検出された後、ブロック３０６に示すように、フレーム_ｎと示された、現在のフレームの発声分析が行われ得る。発声分析は、２００５年５月１７日に出願された米国特許出願第１１／１３１，１５０号に記載されているように行われ得る。当該出願の明細書を、参照することにより、本明細書中に援用する。発声分析は、フレーム_ｎの中に存在し得る任意のトリガー特性をチェックし得る。発声分析は、音声「Ｓ」あるいは「Ｘ」がフレーム_ｎの中に存在するかをチェックし得る。代替的に、発声分析は、母音の存在をチェックし得る。限定という目的ではなく説明という目的のために、図３の残りについては、発声分析のトリガー特性として母音を使用するものとして説明する。

発声分析がフレームの中の母音の存在を識別し得る様々な方法が存在する。１つの方法はピッチエスティメータの使用を介する。ピッチエスティメータは母音が存在し得ることを示し、フレームの中の周期的信号を探索し得る。代替的に、ピッチエスティメータは、所定のレベルの固有振動数を求めてフレームを探索し得る。ピッチエスティメータは、母音の存在を示し得る。

母音がフレーム_ｎ内に存在することを発声分析が決定した場合、フレーム_ｎは、ブロック３１０に示すように、発話としてマークされる。次いで、システムは１つ以上のそれ以前のフレームを検討し得る。ブロック３１２に示すように、システムは先行するフレームであるフレーム_ｎ−１を調べ得る。システムは、ブロック３１４に示すように、以前のフレームが以前に発話を含むものとしてマークされたかを決定し得る。以前のフレームが既に発話としてマークされていた場合、（すなわちブロック３１４に対する「はい」という回答）システムは、発話がフレーム内に含まれていることを既に決定しており、ブロック３０４に示すように、新たな音声フレームの分析に移る。以前のフレームが発話としてマークされなかった場合（すなわち、ブロック３１４に対する「いいえ」という回答）、システムは、１つ以上のルールを用いてフレームが発話としてマークされるかを決定し得る。

図３に示すように、決定ブロック「外部エンドポイント」として示されたブロック３１６は、１つ以上のルールを用いてフレームが発話としてマークされるかを決定するルーチンを使用し得る。フレームまたはフレームのグループなどの音声ストリームの任意の部分に対して１つ以上のルールが適用され得る。ルールは、調査中の現在のフレームが発話を含むかを決定し得る。ルールは、フレームまたはフレームのグループ内に発話があるかそうでないかどうかを示し得る。発話が存在する場合、フレームはエンドポイント内にあるものとして指定され得る。

発話が存在しないことをルールが示す場合、フレームはエンドポイント外にあるとして指定され得る。フレーム_ｎ−１がエンドポイントの外部にある（例えば、発話が存在しない)ことを決定ブロック３１６が示す場合、ブロック３０４に示すように、新たな音声フレーム（フレーム_ｎ＋１)がシステムに入力され、発話ではないとしてマークされる。フレーム_ｎ−１がエンドポイント内にある（例えば、発話が存在する）ことを決定ブロック３１６が示す場合、ブロック３１８に示すように、フレーム_ｎ−１は発話としてマークされる。ブロック３２０に示すように、メモリ内にある最後のフレームが分析されるまで以前の音声ストリームがフレームごとに分析され得る。

図４は、図３に示したブロック３１６に関する、より詳細なフローチャートである。先に述べたように、ブロック３１６は１つ以上のルールを含み得る。ルールは、発話の存在および／または非存在に関する任意の局面に関連し得る。このように、ルールを用いて、発話された発言の開始および／または終了を決定し得る。

ルールは、事象（例えば有声エネルギー、無声エネルギー、沈黙の存在および／または非存在など）あるいは任意の事象の組み合わせ（例えば、後に沈黙が続きその後に有声エネルギーが続く、無声エネルギー、後に無声エネルギーが続きその後に沈黙が続く、沈黙など）を分析することに基づき得る。具体的には、ルールは、沈黙の期間からのエネルギー事象への推移または沈黙の期間からのエネルギー事象への推移を検討し得る。発話が、無声の事象または沈黙からの推移を母音の前に１つ以下含み得るというルールによって、ルールは母音の前の推移の数を分析し得る。あるいは、発話が、無声の事象または沈黙からの推移を母音の後２つ以下含み得るというルールによって、ルールは母音の後に推移の数を分析し得る。

１つ以上のルールは、様々な継続期間を調べ得る。具体的には、ルールは、事象（例えば有声エネルギー、無声エネルギー、沈黙の存在および／または非存在など）に関する継続を調べ得る。発話が、母音の前に約３００ミリセカンドから４００ミリセカンドの範囲内の継続期間を含み得、約３５０ミリセカンドであり得るというルールによって、ルールは母音の前の継続期間を分析し得る。あるいは、発話が、母音の後に約４００ミリセカンドから８００ミリセカンドの範囲内の継続期間を含み得、約６００ミリセカンドであり得るというルールによって、ルールは母音の後の継続期間を分析し得る。

１つ以上のルールが、事象の期間を調べ得る。具体的には、ルールは、ある種のエネルギーの期間あるいはエネルギーの不足を調べ得る。無声エネルギーは分析され得るエネルギーの一種である。発話が、約１５０ミリセカンドから３００ミリセカンドの範囲内の連続的な無声エネルギーの継続を含み得、約２００ミリセカンドであり得るというルールによって、ルールは連続的な無声エネルギーの継続を分析し得る。代替的に、連続的な沈黙がエネルギーの不足として分析され得る。発話が、約５０ミリセカンドから８０ミリセカンドの範囲内の連続的な沈黙の継続を母音の前に含み得、約７０ミリセカンドであり得るというルールによって、ルールは母音の前の連続的な沈黙の継続を分析し得る。あるいは、発話が、約２００ミリセカンドから３００ミリセカンドの範囲内の連続的な沈黙の継続を母音の後に含み得、約２５０ミリセカンドであり得るというルールによって、ルールは母音の後の連続の沈黙の継続を分析し得る。

ブロック４０２では、分析中のフレームまたはフレームのグループがバックグラウンドノイズレベルを超えるエネルギーを有するかを決定するためのチェックが行われる。バックグラウンドノイズレベルを超えるエネルギーを有するフレームまたはフレームのグループは、ある種のエネルギーの継続または事象に関する継続に基づいて、さらに分析され得る。分析中のフレームまたはフレームのグループがバックグラウンドノイズレベルを超えるエネルギーを有しない場合、そのフレームまたはフレームのグループは、連続的な沈黙の継続、エネルギー事象への沈黙の期間からの推移、または沈黙の期間からエネルギー事象への推移に基づいてさらに分析され得る。

分析中のフレームまたはフレームのグループの中にエネルギーが存在する場合、ブロック４０４において、「エネルギー」カウンタが増加する。「エネルギー」カウンタは、時間量を数える。時間量はフレーム長分増加する。フレームサイズが約３２ミリセカンドである場合は、ブロック４０４は、「エネルギー」を約３２ミリセカンドと数える。決定４０６において、チェックは「エネルギー」カウンタ値が時間閾値を超えるかを確認するためのチェックが行なわれる。決定ブロック４０６で評価された閾値は、発話の存在および／または非存在を決定するために使用され得る、連続的な発話されていないエネルギールールに対応する。決定ブロック４０６では、連続的な発話されていないエネルギーの最大の継続に対して閾値が評価され得る。「エネルギー」カウンタ値が、閾値設定を超えていると決定４０６が決定した場合、次いで、分析中のフレームまたはフレームのグループはブロック４０８において、エンドポイント外にある（例えば、発話が存在しない）として指定される。その結果、再び図３を参照すると、システムはブロック３０４へジャンプし、ここで新たなフレームであるフレーム_n+１がシステムに入力され発話でないとしてマークされる。代替的に、複数の閾値がブロック４０６で評価されてもよい。

「エネルギー」カウンタ値がブロック４０６で時間閾値を超えていない場合、「エネルギーなし」カウンタが分離閾値を超えるかを決定するためのチェックがブロック４１０で行なわれる。「エネルギー」カウンタ４０４と同様に、「エネルギーなし」カウンタ４１８も時間を数え、分析中のフレームまたはフレームのグループがノイズレベルを超えるエネルギーを有していない場合、フレーム長分増加される。分離閾値は、２つの破裂音の事象間の時間量を定義する時間閾値である。破裂音は話者の口から文字通りは列する子音である。空気が瞬間的に遮断されることによって破裂音を出すための圧力が起こされる。破裂音としては、音「Ｐ」、「Ｔ」、「Ｂ」、「Ｄ」、「Ｋ」が挙げられる。この閾値は、約１０ミリセカンドから約５０ミリセカンドの範囲内であり得、約２５ミリセカンドであり得る。分離閾値を超える場合、分離された無声エネルギーの事象、すなわち、沈黙に囲まれた破裂音（例えばＳＴＯＰのＰ）が識別されており、また、「分離事象」カウンタ４１２が増加される。「分離事象」カウンタ４１２は整数値において増加される。「分離事象」カウンタ４１２を増加した後、「エネルギーなし」カウンタ４１８がブロック４１４でリセットされる。分析中のフレームまたはフレームのグループ内にエネルギーが発見されたため、このカウンタはリセットされる。「エネルギーなし」カウンタ４１８が分離の閾値を超えない場合、「エネルギーなし」カウンタ４１８は「分離事象」カウンタ４１２を増加せずにブロック４１４でリセットされる。ここでも、分析中のフレームまたはフレームのグループ内にエネルギーが発見されたため、「エネルギーなし」カウンタ４１８はリセットされる。「エネルギーなし」カウンタ４１８をリセットした後、ブロック４１６において「いいえ」という値を返すことによって、エンドポイント外の分析は、分析中のフレームまたはフレームのグループがエンドポイント内にある（例えば、発話が存在する）として指定する。その結果、図３を参照すると、システムは３１８または３２２において、分析されたフレームを発話としてマークする。

代替的に、分析中のフレームまたはフレームのグループ内にノイズレベルを超えるエネルギーが存在しないことを決定４０２が決定した場合、分析中のフレームまたはフレームのグループは沈黙またはバックグラウンドノイズを含む。この場合、「エネルギーなし」カウンタ４１８は増加される。決定４２０では、「エネルギーなし」カウンタ値が時間閾値を超えるかを確認するためのチェックが行なわれる。決定ブロック４２０で評価された閾値は、発話の存在および／非存在を決定するために使用され得る連続的な無声エネルギールール閾値に対応する。決定ブロック４２０において、連続の沈黙の継続の閾値が評価されてもよい。「エネルギーなし」カウンタ値が閾値設定を超えていると決定４２０が決定した場合、次いで、分析中のフレームまたはフレームのグループはブロック４０８において、エンドポイント外にある（例えば、発話が存在しない）として指定される。その結果、再び図３を参照すると、システムはブロック３０４へジャンプし、ここで新たなフレームであるフレーム_n+１がシステムに入力され発話でないとしてマークされる。代替的に、多数の閾値がブロック４２０で評価されてもよい。

「エネルギーなし」カウンタ４１８が時間閾値を超えていない場合、決定ブロック４２２において、許容される最大数の分離事象が起こったかを決定するためのチェックが行われる。「分離事象」カウンタは、このチェックに答えるために必要な情報を提供する。許容された最大数の分離事象は、設定可能なパラメータである。文法が予想される場合（例えば「はい」または「いいえ」という回答）、許容された最大数の分離事象は、エンドポインタの結果を「絞る」ように、それに従って設定され得る。許容された分離事象の最大数を超えている場合、次いで、分析中のフレームまたはフレームのグループはブロック４０８において、エンドポイント外にある（例えば、発話が存在しない）として指定される。その結果、再び図３を参照すると、システムはブロック３０４へジャンプし、ここで新たなフレームであるフレーム_n+１がシステムに入力され発話でないとしてマークされる。

許容された分離事象の最大数に到達していない場合、「エネルギー」カウンタ４０４はブロック４２４においてリセットされる。「エネルギー」カウンタ４０４は、エネルギーが存在しないフレームが識別された場合にリセットされ得る。「エネルギー」カウンタ４０４をリセットした後、ブロック４１６において「いいえ」という値を返すことによって、エンドポイント外の分析は、分析中のフレームまたはフレームのグループがエンドポイント内にある（例えば、発話が存在する）として指定する。その結果、図３を参照すると、システムは３１８または３２２において、分析されたフレームを発話としてマークする。

図５〜９は、シミュレーティングされた音声ストリームのいくつかの実際の時系列、これらの信号の様々な特性プロットおよび対応する実際の信号のスペクトログラフを示す。図５において、ブロック５０２は、シミュレーティングされた音声ストリームの実際の時系列を示す。シミュレーティングされた音声ストリームは、発話された発言「Ｎｏ」５０４、「Ｙｅｓ」５０６、「Ｎｏ」５０４、「ＹＥＳ」５０６、「ＮＯ」５０４、「ＹＥＳＳＳＳＳ」５０８、「ＮＯ」５０４および多くの「カチッ」という音５１０を含む。これらのカチッという音は、車両の方向指示器が使用されるときに発生される音を表し得る。ブロック５１２は、実際の時系列音声ストリームに関する様々な特性プロットを示す。ブロック５１２はＸ軸に沿ってサンプル数を表示する。プロット５１４はエンドポインタの分析の１つの表示である。プロット５１４が０レベルにある場合、エンドポインタは、発話された発言の存在を決定していない。プロット５１４が０でないレベルにある場合、エンドポインタは、発話された発言の開始および／または終了の境界を示す。プロット５１６は、バックグラウンドエネルギーを超えるエネルギーを表す。プロット５１８は時間領域で発話された発言を表す。ブロック５２０は、ブロック５０２において識別された対応する音声ストリームのスペクトル表示を示す。

ブロック５１２は、エンドポインタが入力音声ストリームにどのようにして応答し得るかを示す。図５に示すように、エンドポインタプロット５１４は正確に「ＮＯ」５０４および「ＹＥＳ」５０６信号を捕らえる。「ＹＥＳＳＳＳＳ」５０８が分析される場合、エンドポインタプロット５１４はしばらくの間、延びている「Ｓ」を捕らえるが、母音の後の最大時間または連続的な無声エネルギーの最大継続を超えたと発見すると、エンドポインタはカットされる。ルールに基づいたエンドポインタは、エンドポインタプロット５１４によって境界が定められた音声ストリームの一部分をＡＳＲへ送信する。ブロック５１２および図６〜９に示すように、ＡＳＲへ送信された音声ストリームの一部分は、適用されるルールによって変化する。「カチッという音」５１０はエネルギーを有するとして検出された。これは、ブロック５１２の最右部にある上記バックグラウンドエネルギープロット５１６によって表される。しかしながら、「カチッという音」５１０には母音が検出されなかったため、エンドポインタはこれらの音声音を除外する。

図６は、エンドポインティングされた１つの「ＮＯ」５０４のクローズアップである。時間スミアリングのため、１つまたは２つのフレーム分、発話された発言プロット５１８は遅延する。プロット５１８は、エネルギーが検出される期間の間中継続し、上にあるエネルギープロット５１６によって表される。発話された発言プロット５１８が上昇すると、レベルオフし、上にあるバックグラウンドエネルギープロット５１６へと続く。エンドポインタプロット５１４は、発話エネルギーが検出されると開始する。プロット５１８によって表される期間中には、いずれのエンドポインタルールも破られず、音声ストリームは発話された発言として認識される。エンドポインタは、母音の後の連続的沈黙の最大継続ルールまたは母音の後の最大時間ルールのいずれかが破られた可能性のある場合、最右端で途切れる。図示したように、ＡＳＲへ送信された音声ストリームの一部分は約３１５０のサンプルを含む。

図７は、エンドポインティングされた１つの「ＹＥＳ」５０６のクローズアップである。ここでも、時間スミアリングのため、１つまたは２つのフレーム分、発話された発言プロット５１８が遅延する。エンドポインタプロット５１４は、エネルギーが検出されると開始する。エンドポインタプロット５１４は、エネルギーがノイズへと低下するまで、すなわち、母音の後の連続的沈黙の最大継続ルールまたは最大時間ルールが破られるまで、継続する。図示したように、ＡＳＲへ送信された音声ストリームの一部分は約５５５０のサンプルを含む。図６および図７においてＡＳＲへ送信された音声ストリームの量の差は、異なるルールを提供するエンドポインタによって生じたものである。

図８は、エンドポインティングされた１つの「ＹＥＳＳＳＳＳ」５０８のクローズアップである。エンドポインタは、母音の後のエネルギーを子音の可能性があるものとして認めるが、これは単に合理的な時間量のためである。合理的な時間の後、母音の後の連続的な無声エネルギーの最大の継続ルールまたは最大時間ルールは、破られた可能性があり、ポインタはＡＳＲへ渡すデータを制限して減退する。図示したように、ＡＳＲへ送信された音声ストリームの一部分は約５７５０のサンプルを含む。発話された発言は焼く６５００サンプルの間継続するが、合理的な時間量の後にエンドポインタが途切れるため、ＡＳＲへ送信される音声ストリームの量は、図６および図７において送信されたものとは異なる。

図９は、エンドポインティングされた、後に数回の「カチッという音」５１０が続く、１つの「ＮＯ」５０４のクローズアップである。図６〜８と同様に、時間スミアリングのため、１つまたは２つのフレーム分、発話された発言プロット５１８が遅延する。エンドポインタプロット５１４は、エネルギーが検出されると開始する。バックグラウンドノイズエネルギーレベルを超えるエネルギーが存在するため、一度目のカチッという音はエンドポイントプロット５１４内に含まれており、このエネルギーは子音（すなわち延びた「Ｔ」）であり得る。しかしながら、一度目のカチッという音と次のカチッという音との間には、約３００ミリセカンドの沈黙がある。この例に用いられた閾値に従い、この沈黙の期間は母音の後の連続的沈黙の最大の継続を破る。したがって、エンドポインタは、一度目のカチッという音の後のエネルギーを除外した。

エンドポインタはまた、音声ストリームの少なくとも１つのダイナミックな局面を分析することによって音声発話セグメントの開始および／または終了を決定するように構成され得る。図１０は、音声ストリームの少なくとも１つのダイナミックな局面を分析する、エンドポインタシステムの部分的なフローチャートである。グローバルな局面の初期化は１００２で行われ得る。グローバルな局面は、音声ストリーム自体の特性を含み得る。限定という目的ではなく説明という目的のためであるが、これらのグローバルな局面としては、話者の発話のペースまたは話者の発話のピッチが挙げられる。ローカルな局面の初期化は１００４で行われ得る。限定という目的ではなく説明という目的のためであるが、これらのローカルな局面としては、予想される話者の回答（たとえば「はい」または「いいえ」という答え）周囲環境条件（システムにおいてエコーまたはフィードバックの存在に影響する、開放された環境または閉鎖された環境）、あるいはバックグラウンドノイズの評価が挙げられる。

グローバルおよびローカルな初期化は、システムのオペレーションの全体において何度も起こり得る。バックグラウンドノイズの評価（ローカルな局面の初期化）は、システムが立ち上げられる度および／または所定の時間後に行われ得る。話者の発話のペースまたはピッチの決定（グローバルな初期化）は、より低いレートで初期化され得る。同様に、特定の応答が期待されるローカルな局面がより低いレートで初期化される。同様に、ＡＳＲがある回答が期待されているエンドポインタと通信する場合に、この初期化が起こり得る。周囲環境条件に関するローカルな局面は、パワーサイクルにつき一度のみ初期化するように構成され得る。

初期化期間１００２および１００４の間、エンドポインタは、先に図３および４に関して説明したようなそのデフォルト閾値設定で動作し得る。初期設定のうちのいずれかが閾値設定またはタイマーの変更を要する場合、システムは適切な限界値をダイナミックに変更し得る。代替的に、システムは、初期設定値に基づいて、以前にシステムのメモリ内に格納された特定のユーザまたは一般ユーザのプロファイルを呼び出し得る。このプロファイルは、全ての、あるいは特定の閾値設定またはタイマーを変更し得る。初期化処理中に、ユーザが速いペースで話すことをシステムが決定した場合、あるルールの最大の期間は、プロファイル内に格納されたレベルになり得る。さらに、ユーザプロファイルを作成し、後に使用するべく格納するためにシステムが初期化を実行する、トレーニングモードにおいてシステムを操作することも可能であり得る。１つ以上のプロフィルが後の使用のためにシステムのメモリ内に格納され得る。

図１で説明したエンドポインタに類似のダイナミックなエンドポインタが構成されてもよい。さらに、ダイナミックなエンドポインタは、処理環境とＡＳＲとの間の双方向バスを含み得る。双方向バスは、処理環境とＡＳＲとの間でデータや制御情報を送信し得る。ＡＳＲから処理環境へ渡された情報は、話者に対して与えられた質問に応じて予想される、ある返答を示すデータを含み得る。ＡＳＲから処理環境へ渡された情報は、音声ストリームの局面をダイナミックに分析するために使用され得る。

ダイナミックなエンドポインタの動作は、「エンドポイント外」ルーチン（ブロック３１６）の１つ以上のルールのうちの１つ以上の閾値がダイナミックに設定され得るという点以外は、図３および４に関して説明したエンドポインタに類似し得る。多量のバックグラウンドノイズが存在する場合、ノイズ決定（ブロック４０２）を超えるエネルギーに対する閾値は、この条件を考慮するためにダイナミックに増加され得る。この再設定を行なう際、ダイナミックなエンドポインタはより多くのトランジェントおよび発話でない音を拒否し得、それによって誤ったポジティブ信号の数を減少させることができる。ダイナミックに設定可能な閾値はバックグラウンドノイズレベルに限定されない。ダイナミックなエンドポインタによって利用される任意の閾値がダイナミックに設定され得る。

図３、４および１０において示す方法は、１つ以上の集積回路などの装置内にプログラミングされた、あるいはコントローラまたはコンピュータによって処理される、シグナルベアリング媒体、メモリなどのコンピュータ可読媒体においてエンコードされ得る。方法がソフトウェアによって実行される場合、ソフトウェアは、ルールモジュール１０８に存在するメモリ内に存在するか、任意の種類の通信インタフェースを介してインタフェースされる。メモリは、論理関数をインプリメントするための、順序立てられた実行可能な命令のリストを含み得る。論理関数は、ディジタル回路を介して、ソースコードを介して、アナログ回路を介して、あるいは、電気信号、音声信号または映像信号を介してなど、アナログソースを介して、インプリメントされ得る。ソフトウェアは、命令を実行し得るシステム、装置または機器によって使用されるか、あるいはそれらと組み合わせて使用されるために、任意のコンピュータ可読媒体またはシグナルベアリング媒体において具体化され得る。そのようなシステムは、コンピュータベースのシステム、プロセッサを含むシステム、命令を実行できるシステム、あるいは、同じく命令を実行し得る、装置または機器から命令を選択的に引き出すその他のシステムを含み得る。

「コンピュータ可読媒体」、「機械可読媒体」、「伝播信号」媒体、および／または「シグナルベアリング媒体」は、命令実行可能なシステム、装置または機器によって使用されるか、あるいはそれらと組み合わせて使用されるために、ソフトウェアを含むか、格納するか、通信するか、広めるか、転送する、任意の手段を含み得る。機械可読媒体は、選択的に、電子、磁気、光学、電磁気、赤外線、または半導体の、システム、装置、機器または伝播媒体であり得るが、これらに限定されない。機械可読媒体の例の非制限的な例を列挙するとすれば、１つ以上のワイヤーを有する、「電子の」電気接続、携帯可能な磁気ディスクまたは光ディスク、ランダムアクセスメモリ「ＲＡＭ」(電子)、読み取り専用メモリ「ＲＯＭ」（電子)、イレーサブルプログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ(電子)）あるいは光ファイバ（光学）等の揮発性メモリが挙げられる。ソフトウェアは、画像として、またはその他のフォーマットで（光学走査を介して）、電子的に保存され、コンパイルされ、かつ／または解釈されるか、あるいは処理されるため、機械可読媒体は、ソフトウェアがプリントされ得る有形の媒体をも含み得る。処理された媒体は、次いで、コンピュータおよび／またはマシンメモリ内に格納され得る。

本発明の様々な実施形態を記載したが、さらに多くの実施形態およびインプリメンテーションが本発明の範囲内で可能であることは、当業者に明白であろう。したがって、本発明は、付属の請求項およびそれらの均等物を考慮する以外には限定され得ない。

図１は、スピーチエンドポインティングシステムのブロック図である。図２は、車両に組み込まれたスピーチエンドポインティングシステムの部分的な図示である。図３は、スピーチエンドポインタのフローチャートである。図４は、図３の一部分の、より詳細なフローチャートである。図５は、シミュレーティングされた発話音のエンドポインティングである。図６は、図５のシミュレーティングされた発話音のうちの一部の、詳細なエンドポインティングである。図７は、図５のシミュレーティングされた発話音のうちの一部の、第２の詳細なエンドポインティングである。図８は、図５のシミュレーティングされた発話音のうちの一部の、第３の詳細なエンドポインティングである。図９は、図５のシミュレーティングされた発話音のうちの一部の、第４の詳細なエンドポインティングである。図１０は、音声に基づいたダイナミックなスピーチエンドポインティングシステムの部分的なフローチャートである。

Claims

音声発話セグメントの開始および終了のうちの少なくとも一方を決定するエンドポインタであって、該エンドポインタは、
発話事象を含む音声ストリームの一部分を識別する音声トリガーモジュールと、
該音声トリガーモジュールと通信するルールモジュールであって、該ルールモジュールは、該音声ストリームの少なくとも一部を分析することによって、発話事象に関する音声発話セグメントが音声エンドポイント内にあるかを決定する複数の継続時間ルールを含む、ルールモジュールと
を備える、エンドポインタ。
前記音声トリガーモジュールが母音を識別する、請求項１に記載のエンドポインタ。
前記音声トリガーモジュールがＳ音またはＸ音を識別する、請求項１に記載のエンドポインタ。
前記音声ストリームの前記一部分がフレームを有する、請求項１に記載のエンドポインタ。
前記ルールモジュールが前記音声ストリームの前記一部分におけるエネルギーの不足を分析する、請求項１に記載のエンドポインタ。
前記ルールモジュールが前記音声ストリームの前記一部分におけるエネルギーを分析する、請求項１に記載のエンドポインタ。
前記ルールモジュールが前記音声ストリームの前記一部分における経過時間を分析する、請求項１に記載のエンドポインタ。
前記ルールモジュールが前記音声ストリームの前記一部分における所定の数の破裂音を分析する、請求項１に記載のエンドポインタ。
前記ルールモジュールが前記音声発話セグメントの前記開始と終了とを検出する、請求項１に記載のエンドポインタ。
エネルギー検出器モジュールをさらに備える、請求項１に記載のエンドポインタ。
マイクロフォン出力部、処理ユニットおよびメモリと通信する、処理環境をさらに備え、前記ルールモジュールは該メモリ内に存在する、請求項１に記載のエンドポインタ。
複数の決定ルールを有するエンドポインタを用いて音声発話セグメントの開始および終了のうちの少なくとも一方を決定する方法であって、該方法は、
音声ストリームの一部分を受信することと、
該音声ストリームの該一部分がトリガー特性を含むかを決定することと、
少なくとも１つの継続時間決定ルールを該トリガー特性に関する該音声ストリームの一部分に対して適用し、該音声ストリームの該一部分が音声エンドポイント内にあるかを決定することと
を包含する、方法。
前記決定ルールが、前記トリガー特性を含む前記音声ストリームの前記一部分に対して適用される、請求項１２に記載の方法。
前記決定ルールが、前記音声ストリームのうちの前記トリガー特性を含む前記一部分とは異なる一部分に対して適用される、請求項１２に記載の方法。
前記トリガー特性が母音である、請求項１２に記載の方法。
前記トリガー特性がＳ音またはＸ音である、請求項１２に記載の方法。
前記音声ストリームの前記一部分がフレームである、請求項１２に記載の方法。
前記ルールモジュールが前記音声ストリームの前記一部分におけるエネルギーの不足を分析する、請求項１２に記載の方法。
前記ルールモジュールが前記音声ストリームの前記一部分におけるエネルギーを分析する、請求項１２に記載の方法。
前記ルールモジュールが前記音声ストリームの前記一部分における経過時間を分析する、請求項１２に記載の方法。
前記ルールモジュールが前記音声ストリームの前記一部分における所定の数の破裂音を分析する、請求項１２に記載の方法。
前記ルールモジュールが潜在的な発話セグメントの開始および終了を検出する、請求項１２に記載の方法。
音声ストリームにおける音声発話セグメントの開始および終了のうちの少なくとも一方を決定するエンドポインタであって、該エンドポインタは、
該音声ストリームのうちの少なくとも１つのダイナミックな局面を分析することによって該音声発話セグメントが音声エンドポイント内にあるかを決定する複数の継続時間ルールを含む、エンドポインタモジュールと、
該エンドポインタモジュールと通信するメモリであって、該複数のルールのうちの１つ以上の継続時間を変更するプロファイル情報を保存するように構成されている、メモリと
を備える、エンドポインタ。
前記音声ストリームの前記ダイナミックな局面が話者の少なくとも１つの特徴を含む、請求項２３に記載のエンドポインタ。
前記話者の前記特徴が話者の話すペースを含む、請求項２４に記載のエンドポインタ。
前記音声ストリームの前記ダイナミックな局面が前記音声ストリームにおけるバックグラウンドノイズを含む、請求項２３に記載のエンドポインタ。
前記音声ストリームの前記ダイナミックな局面が、該音声ストリームにおいて予測された音を含む、請求項２３に記載のエンドポインタ。
前記予測された音が、話者に対して与えられた質問に対する少なくとも１つの予測された回答を含む、請求項２７に記載のエンドポインタ。
マイクロフォン入力部、処理ユニットおよびメモリと通信する、処理環境をさらに備え、前記エンドポインタモジュールは該メモリ内に存在する、請求項２３に記載のエンドポインタ。
音声ストリームにおける音声発話セグメントの開始および終了のうちの少なくとも一方を決定するエンドポインタであって、該エンドポインタは、
周期的な音声信号を含む音声ストリームの一部分を識別する音声トリガーモジュールと、
複数のルールに基づいて認識装置へ入力された該音声ストリームの量を変動させる、エンドポインタモジュールと
を備え、
該複数のルールは、周期的な音声信号に関する音声ストリームの一部分が音声エンドポイント内にあるかを決定するための継続時間ルールを含む、エンドポインタ。
前記認識装置が自動音声認識装置である、請求項３０に記載のエンドポインタ。
音声発話セグメントの開始および終了のうちの少なくとも一方を決定するための命令のセットを含む、コンピュータ可読記憶媒体であって、該命令のセットは、
音波を電気信号に変換することと、
該電気信号の周期性を識別することと、
該識別された周期性に関する該電気信号の可変部分を分析することによって、該電気信号が音声エンドポイント内にあるかを決定することと
を含む、コンピュータ可読記憶媒体。
前記電気信号の可変部分を分析することが、有声発話音の前の継続時間を分析することを含む、請求項３２に記載のコンピュータ可読記憶媒体。
前記電気信号の可変部分を分析することが、有声発話音の後の継続時間を分析することを含む、請求項３２に記載のコンピュータ可読記憶媒体。
前記電気信号の可変部分を分析することが、有声発話音の前または後の推移の数を分析することを含む、請求項３２に記載のコンピュータ可読記憶媒体。
前記電気信号の可変部分を分析することが、有声発話音の前の連続した沈黙の継続を分析することを含む、請求項３２に記載のコンピュータ可読記憶媒体。
前記電気信号の可変部分を分析することが、有声発話音の後の連続した沈黙の継続を分析することを含む、請求項３２に記載のコンピュータ可読記憶媒体。
前記コンピュータ可読媒体が車両のオンボードコンピュータ内に格納されている、請求項３２に記載のコンピュータ可読記憶媒体。
前記コンピュータ可読媒体が音声システムと通信する、請求項３２に記載のコンピュータ可読記憶媒体。