JP2014191212A - 音声処理装置、集積回路装置、音声処理システム及び音声処理装置の制御方法 - Google Patents

Abstract

【課題】音声処理装置における制御情報管理を容易にするとともに低消費電力化を図る。
【解決手段】音声処理装置が、音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、前記ダイアログ実行制御部の制御により前記音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、前記ダイアログ実行制御部の制御により前記音声認識情報を用いて、入力された入力音声信号に対する音声認識の処理を行う音声認識部と、を含み、前記制御情報は、前記出力音声信号の音声出力タイミング情報及び前記入力音声信号に対する音声認識開始タイミング情報を含み、前記音声認識開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする。
【選択図】図１

Description

本発明は、音声処理装置、音声処理システム及び音声処理装置の制御方法に関する。

人の音声に基づいて特定の語を認識する音声認識技術が開発されている。また、音声認識技術を用いて、種々の機器を制御するアイディアが提案されている。

係る音声処理システムにおいて、音声ガイダンスやテキスト情報を表示して、それらに回答する形式でユーザーが発話した音声を取得して音声認識を行う対話（ダイアログ）型の機器の開発が行われている。音声ガイダンスやテキスト情報などの対話に必要な情報はシナリオとしてまとめられる。特許文献１には、複数のシナリオの中から選択したシナリオを用いて対話型のトレーニングを行う音声入力評価装置が記載されている。

特開２００７−１０８５２４号公報

音声ガイドやテキスト情報を出力し、それに応じて音声認識を行う対話（ダイアログ）型の音声処理装置では、音声ガイドとテキスト情報の出力と音声認識のタイミング管理が必要となる。音声処理装置を利用する機器（ホスト）のアプリケーションで、音声ガイドとテキスト情報の出力と音声認識のタイミング管理を行う場合、タイミング管理のためのアプリケーションの開発は容易ではなく、機器（ホスト）側の処理負荷も増大する。また、音声処理装置にシナリオなどを実装した後の、音声ガイド、音声認識及び表示情報などの編集は容易ではなかった。

本発明は、以上のような問題点、課題の少なくともひとつを解決するためになされたものであり、本発明のいくつかの態様によれば、音声ガイド及びテキスト情報の少なくとも一方を出力して音声認識を行う対話（ダイアログ）型の音声認識を行う場合に、音声ガイド及びテキスト情報の少なくとも一方の出力タイミング及び音声認識のタイミング管理を容易にする集積回路装置、音声処理装置及び音声処理方法を提供することができる。

［適用例１］
本適用例にかかる音声処理装置は、音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、前記ダイアログ実行制御部の制御により前記音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、前記ダイアログ実行制御部の制御により前記音声認識情報を用いて、入力された入力音声信号に対する音声認識の処理を行う音声認識部と、を含み、前記制御情報は、前記出力音声信号の音声出力タイミング情報及び前記入力音声信号に対する音声認識開始タイミング情報を含み、前記音声認識開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする。

この構成によれば、音声処理装置が、音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、ダイアログ実行制御部の制御により音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、ダイアログ実行制御部の制御により音声認識情報を用いて、入力された入力音声信号に対する音声認識の処理を行う音声認識部と、を含み、制御情報は、出力音声信号の音声出力タイミング情報及び入力音声信号に対する音声認識開始タイミング情報を含み、音声認識開始タイミング情報は、音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることで、音声認識の処理を開始するタイミングを音声ガイドなどの音声の出力タイミングに関連付けて設定することができる。これにより、処理情報の管理が容易となると共に、音声処理装置の利用者の対応がなされないと判断される時間における音声認識の処理を停止することができ、利用者にとって不自然な感覚を与えることなく、消費電力の低減化を図ることができる。

［適用例２］
上記適用例にかかる音声処理装置において、前記ダイアログ情報には、複数の前記音声出力情報が含まれ、所定の前記音声出力情報の出力を規定する前記音声出力タイミング情報は、直前に出力された前記音声出力情報の出力制御が終了してからの経過時間で規定されることが好ましい。

この構成によれば、ダイアログ情報に複数の音声出力情報が含まれることでひとつの音声出力情報により案内される場合に比較してより多くの情報を音声で利用者に伝えることができると共に、所定の音声出力情報の出力を規定する音声出力タイミング情報が直前に出力された音声出力情報の出力制御が終了してからの経過時間で規定されることで、複数の音声出力の間に適切な時間間隔を保持することが可能となり、利用者にとって聞き取りやすい音声出力とすることができる。

［適用例３］
上記適用例にかかる音声処理装置において、更に、前記ダイアログ情報を記憶するダイアログ記憶部を有することが好ましい。

この構成によれば、更にダイアログ記憶部を有することで、多くのダイアログ情報を保持することが可能となり、ダイアログ情報の書き換えをすることなしに、音声処理装置の活用範囲を広げることが可能となる。

［適用例４］
上記適用例にかかる音声処理装置において、前記第１のタイミングは、前記ダイアログ情報に含まれる前記音声出力情報の中で最後に出力される前記音声出力情報に対する前記音声出力タイミング情報で規定されることが好ましい。

この構成によれば、第１のタイミングをダイアログ情報に含まれる音声出力情報の中で最後に出力される音声出力情報に対する音声出力タイミング情報で規定されるようにすることで、音声認識の処理を開始するまでの経過時間をどの程度に決定するかの判断を容易にすることができる。これにより、音声処理装置の内部制御を適切なものとすることができ、消費電力のより好ましい低減化を図ることができる。

［適用例５］
本発明にかかる集積回路装置は、上記の音声処理装置を有することが好ましい。

この構成によれば、消費電力の低減化を図った音声処理装置を有した集積回路装置を構成することができる。

［適用例６］
本適用例にかかる音声処理システムは、音声処理装置と、音声入力部と、情報表示部と、音声出力部と、を含み、前記音声処理部は、音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、前記音声出力部を制御し、前記ダイアログ実行制御部の制御により前記音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、前記ダイアログ実行制御部の制御により前記音声認識情報を用いて、前記音声入力部から出力された入力音声信号に対する音声認識の処理を行う音声認識部と、を有し、前記制御情報は、前記出力音声信号の音声出力タイミング情報、前記入力音声信号に対する音声認識開始タイミング情報及び前記情報表示部に対する表示開始タイミング情報を含み、前記音声認識開始タイミング情報及び前記表示開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする。

この構成によれば、音声処理システムが音声処理装置と音声入力部と情報表示部と音声出力部とを含み、音声処理部がダイアログ実行制御部と音声出力制御部と音声認識部とを有し、ダイアログ情報の中の制御情報に含まれる音声認識開始タイミング情報及び表示開始タイミング情報が音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることで、表示情報の表示開始タイミング及び音声認識の処理を開始するタイミングを音声ガイドなどの音声の出力タイミングに関連付けて設定することができる。これにより、音声処理装置の利用者の対応がなされないと判断される時間における音声認識の処理を停止することができ、利用者にとって不自然な感覚を与えることなく、消費電力の低減化を図ることができる。

［適用例７］
上記の適用例にかかる音声処理システムにおいて、前記第１のタイミングは、前記ダイアログ情報に含まれる前記音声出力情報の中で最後に出力される前記音声出力情報に対する前記音声出力タイミング情報で規定されることが好ましい。

この構成によれば、第１のタイミングをダイアログ情報に含まれる音声出力情報の中で最後に出力される音声出力情報に対する音声出力タイミング情報で規定されるようにすることで、表示の開始及び音声認識の処理を開始するまでの経過時間をどの程度に決定するかの判断を容易にすることができる。これにより、音声処理装置の内部制御を適切なものとすることができ、消費電力のより好ましい低減化を図ることができる。

［適用例８］
本適用例にかかる音声処理装置の制御方法は、音声出力情報、音声認識情報及び制御情報を含むダイアログ情報を制定し、前記制御情報には、音声出力タイミング情報及び音声認識開始タイミング情報が含まれ、前記音声出力情報の出力を前記音声出力タイミング情報により行う第１のステップと、前記音声認識情報を用いての音声認識の処理を前記音声認識タイミング情報により行う第２のステップと、を含み、前記音声認識開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする。

この方法によれば、ダイアログ情報を制定し、音声出力情報の出力をダイアログ情報の中の制御情報に含まれる音声出力タイミング情報により行う第１のステップと、音声認識情報を用いての音声認識の処理をダイアログ情報の中の制御情報に含まれる音声認識タイミング情報により行う第２のステップと、を含み、音声認識開始タイミング情報が音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることで、音声認識の処理を開始するタイミングを音声ガイドなどの音声の出力タイミングに関連付けて設定することができる。これにより、音声処理装置の利用者の対応がなされないと判断される時間における音声認識の処理を停止することができ、利用者にとって不自然な感覚を与えることなく、消費電力の低減化を図ることができる。

［適用例９］
上記適用例にかかる音声処理装置の制御方法において、更に、前記ダイアログ情報は表示情報を含むと共に前記制御情報は表示開始タイミング情報を含み、前記表示開始タイミング情報は、前記第１のタイミングからの経過時間で規定され、前記表示情報を用いての表示の処理を前記表示開始タイミング情報により行う第３のステップを含むことが好ましい。

この方法によれば、ダイアログ情報に表示情報を含み、ダイアログ情報の中の制御情報に表示開始タイミング情報を含み、表示開始タイミング情報が第１のタイミングからの経過時間で規定され、表示情報を用いての表示の処理を前記表示開始タイミング情報により行う第３のステップを含むことで、表示を開始するまでの経過時間をどの程度に決定するかの判断を容易にすることができる。これにより、利用者にとって分かりやすい音声処理装置を構成することができる。

音声処理装置の機能ブロック図。 ダイアログ情報の例を示す図。 ダイアログ情報の実行におけるタイムトラックを示す図。 ダイアログ情報の関係を示す図。 ダイアログ情報の例を示す図。 シナリオの構成例を示す図。 次のダイアログ開始タイミングに関する情報について説明する図。 音声処理システムの構成例を示す図。 音声処理システムの他の構成例を示す図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。用いる図は、説明のための便宜上のものである。

（第１実施形態）
図１に、本実施形態に係る音声処理装置１の機能ブロック図を示す。音声処理装置１は、音声認識部１０、表示情報出力処理部２０、ダイアログ実行制御部３０、ダイアログ情報記憶部４０、音声ガイド出力処理部５０、音声辞書記憶部６０、表示情報記憶部７０、及び、音声ガイド記憶部８０を有する。音声認識部１０には、図示しない音声入力装置から入力された音声が音声信号となって入力される。また、表示情報出力処理部２０が出力する表示情報は、図示しない表示部により表示される。また、音声ガイド出力処理部５０が出力する音声ガイドは図示しない音声出力部により音声として出力される。

音声認識部１０は、入力される音声信号に対する音声認識を行う部分である。音声認識の処理を行う期間は、ダイアログ実行制御部３０から出力される信号により制御される。

表示情報出力処理部２０は、表示情報の出力処理を行う部分である。表示情報の出力タイミングは、ダイアログ実行制御部３０から出力される信号により制御される。

ダイアログ実行制御部３０は、後述するダイアログ情報記憶部４０に記憶されたダイアログ情報に基づいて、音声認識部１０、表示情報出力処理部２０、及び、音声ガイド出力処理部５０などの制御を行う部分である。ダイアログ情報には、所定のシーンにおける、音声出力情報、表示情報、音声認識情報、及び、これら各々の情報に対する制御情報などが含まれる。

なお、ダイアログ情報に含まれる音声出力情報は、予め音声ガイド記憶部８０に記憶されているフレーズなどの複数の音声データの中から所定の音声データを選択するための選択情報であってもよいし、音声データそのものであってもよい。音声データそのものの場合には、ダイアログ情報に含まれた音声データに対して音声合成の処理が行われ、音声ガイドとして出力される。

同様に、ダイアログ情報に含まれる表示情報は、予め表示情報に含まれる複数の表示データの中から所定の表示データを選択するための選択情報であってもよいし、表示データそのものであってもよい。表示データそのものである場合には、ダイアログ情報に含まれた表示情報が表示情報として出力される。

ダイアログ情報記憶部４０は、上述したダイアログ情報を記憶する部分である。

音声ガイド出力処理部５０は、ダイアログ実行制御部３０の指示に従い、例えば音声合成を行うことにより音声信号を生成し音声ガイドとして出力する。

音声辞書記憶部６０は、音声認識部１０において音声認識の処理で用いる音声認識データベースを記憶する部分である。入力された音声信号は、音声認識データベースのデータと比較されることで音声認識が行われる。なお、音声認識の処理の手法としては種々の公知の方法を用いることができ、例えば、隠れマルコフモデル（Hidden Markov Model）を用いて音声認識の処理を行ってもよいし、ダイレクトマッチングの手法を用いて音声認識の処理を行っても良い。音声認識の手法若しくは処理自体は本実施形態においては特に限定は行わないものとする。

ダイアログ実行制御部３０は、ダイアログ情報を実行する部分である。具体的には、実行するダイアログ情報を特定し、当該特定したダイアログ情報を解析し音声処理装置１内部の処理が必要な部分に制御信号を出力したりデータを供給したりする。

ダイアログ実行制御部３０は、所与のイベントの発生により、所与のイベントに対応する所与のダイアログ情報の実行を開始する。当該ダイアログ情報の内容に基づいて、音声ガイド出力処理部５０の制御を行い音声ガイドを出力し、その後所定のタイミングで表示情報出力処理部２０の制御を行い表示情報を出力し、同様に所定のタイミングで音声認識部１０の制御を行い入力された音声信号に対する音声認識の処理を行う。音声認識の処理の結果はダイアログ実行制御部３０に伝達される。その後、音声認識の処理の結果は、ダイアログ実行制御部３０の指示で、表示情報出力処理部２０により表示部に表示されたり、音声ガイド出力処理部５０により音声として出力されることにより、利用者に伝えられることになる。

なお、音声処理装置１は、単独で用いられることでもよく、他の装置と接続されて用いられることでもよい。また、何らかの装置の中に組み込まれて用いられることでもよい。また、音声処理装置１を制御するホスト装置が接続されていてもよい。ホスト装置が接続されている場合、ダイアログ情報はホスト装置から予め供給されてダイアログ情報記憶部４０に記憶されていてもよく、個々のダイアログ情報が実行毎にホスト装置から供給されることでもよい。同様に、表示情報記憶部７０及び音声ガイド記憶部８０の各々に記憶されているデータも、ホスト装置から予め供給されたものであってもよいし、実行毎にホスト装置から供給されることでもよい。

なお、上記した所与のイベントは、ホスト装置からのコマンドやトリガ信号の受信でも良いし、音声処理装置自体が生成したイベント、例えば前のダイアログ情報の実行により発生したイベントでもよい。

また、音声処理装置１に入力される音声信号は、図示しないＡ／Ｄコンバーターや図示しないフィルターなどでノイズ除去などが施されていてもよい。

次に、簡単なダイアログ情報の例を示し、当該ダイアログ情報に基づく音声処理装置１の動作について説明する。

本実施例は、エアコンのリモコン装置（図示は行わない）に本発明を適用した場合の例である。図２にダイアログ情報の形式を、図３に図２で示したダイアログ情報のタイムトラックを模式的に示す。また、当該リモコン装置には表示部が実装されているものとする。また、本実施例で用いるダイアログ情報は、エアコンの動作モードのひとつの設定を行う場合に実行されるダイアログ情報である。

図２−（Ａ）は、ダイアログ情報の後半部分に制御情報がまとめて置かれている形式のダイアログ情報である。図２−（Ａ）に示したダイアログ情報３００は、ダイアログ番号３０２、音声ガイド制御情報３１０（音声ガイド情報３１２及び音声ガイド情報３１４）、表示情報３２１、音声認識選択肢情報３３１、及び、複数のタイミング情報（タイミング情報３４０（ｄ１）、タイミング情報３５０（ｄ２）、タイミング情報３６０（ｇ１）、及び、タイミング情報３７０（ｇ２））から構成される。それぞれの情報には、図示はしていないが情報を識別するためのタグが振られている。ここで、ダイアログ番号３０２は、自身のダイアログ情報を指し示す番号である。

タイミング情報３４０（ｄ１）は、最初に出力される音声ガイド情報３１２の出力タイミングを規定する制御情報である。ダイアログ情報３００の実行がダイアログ実行制御部３０により開始されると、タイミング情報３４０（ｄ１）で規定された時間の経過後にダイアログ実行制御部３０は音声ガイド出力処理部５０に対して音声ガイド情報３１２の出力を指示する。これにより、音声ガイド出力処理部５０により音声出力の処理が実行される。音声ガイド情報３１２の音声出力処理が終了すると、音声ガイド出力処理部５０は、ダイアログ実行制御部３０に対して処理の終了を通知する。この段階で「モード設定」というフレーズが音声で出力されている。

次に、ダイアログ実行制御部３０は、タイミング情報３５０（ｄ２）で規定された時間の経過後に音声ガイド出力処理部５０に対して音声ガイド情報３１４の出力を指示すると共に、タイミング情報３６０（ｇ１）及びタイミング情報３７０（ｇ２）の計測を開始する。

音声ガイド出力処理部５０は、ダイアログ実行制御部３０の指示を受けて音声出力の処理を実行し、終了するとダイアログ実行制御部３０に対して処理の終了を通知する。この段階で、「してください」というフレーズが音声で出力されている。ここまでの段階で、音声ガイド「モード設定」「してください」の２つのフレーズが時間間隔ｄ２をあけて出力されており、利用者にとってはより人の発話に近い、自然な聞きやすい音声として捉えさせることが可能となる。

ダイアログ実行制御部３０は、タイミング情報３６０（ｇ１）の計測が終了すると表示情報３２１の表示を表示情報出力処理部２０に指示する。これなより、リモコン装置の表示部に「通常冷暖房」「おやすみ冷暖房」「急速冷暖房」の文字が表示される。

ダイアログ実行制御部３０は、タイミング情報３７０（ｇ２）の計測が終了すると
音声認識部１０に対して、音声認識選択肢情報３３１を出力すると共に入力される音声信号に対する音声認識の処理の開始を指示する。その後、音声認識部１０において音声認識の処理が終了すると音声認識部１０は処理の終了を結果と共にダイアログ実行制御部３０に通知する。ダイアログ実行制御部３０は、音声認識の処理の結果に対応した処理（例えば、対応する制御信号の生成）を行い、ダイアログ情報３００の実行を終了させる。

図２−（Ａ）に対し、図２−（Ｂ）は、制御情報が用いられるデータの直前に置かれる形式のダイアログ情報である。図２−（Ｂ）に示したダイアログ情報４００は、含まれる情報の内容はダイアログ情報３００と同様であるが、情報の並びの順番が異なる。ダイアログ情報４００は、ダイアログ番号４０２、音声ガイド制御情報４１０、表示制御情報４２０及び音声認識制御情報４３０を含む。

音声ガイド制御情報４１０には、音声ガイド情報４１２と音声ガイド情報４１２に対するタイミング情報４４０ （ｄ１）、及び、音声ガイド情報４１４と音声ガイド情報４１４に対するタイミング情報４５０（ｄ２）が含まれる。

表示制御情報４２０には、表示情報４２１と表示情報４２１に対するタイミング情報４６０（ｇ１）が含まれる。

音声認識制御情報４３０には、音声認識選択肢情報４３１と音声認識選択肢情報４３１に対するタイミング情報４７０（ｇ２）が含まれる。

図２−（Ａ）または図２−（Ｂ）のいずれの形式を用いるかは特に限定するものではなく、音声処理装置の用途にあったものを選択して使用することでよい。本発明において、ダイアログ情報におけるそれぞれの情報の並びは特に限定するものではなく、音声処理装置１若しくは音声処理装置１と接続される装置にとって好ましい形式のものであればよい。また、ダイアログ情報３００及びタイミング情報４００のそれぞれにおいては共にフレーズ数の制限はなく、必要なフレーズ数に見合った数の音声ガイド情報及び音声タイミング情報が含まれることでよい。

図３に示したタイムトラックは、ダイアログ情報４００の場合として描いているが、ダイアログ情報３００の場合においても同様のタイムトラックとなる。図３の横軸ｔは時間軸（１つのダイアログ内におけるローカル時間の時間軸）である。

時刻ｔ０は、ダイアログ情報４００の開始タイミングである。ダイアログの開始時刻ｔ０からタイミング情報４７０（ｄ１）後の時刻ｔ１に最初のフレーズである「モード設定」の音声ガイドの再生が開始される。「モード設定」の音声ガイドの再生が終了する時刻ｔ２の後、タイミング情報（ｄ２）後の時刻ｔ３に次のフレーズである「してください」３１４の音声ガイドの再生が開始される。

時刻ｔ３においてタイミング情報４６０（ｇ１）及びタイミング情報４７０（ｇ２）の計測が開始され、タイミング情報４６０（ｇ１）後の時刻ｔ５に表示情報４２１の表示が実行され、タイミング情報４７０（ｇ２）後の時刻ｔ７に音声認識選択肢情報４３１が音声認識部１０に出力されて音声認識の処理が開始される。

なお、図３においては、表示情報の表示後に音声認識の処理が開始される形となっているが、タイミング情報４６０（ｇ１）及びタイミング情報４７０（ｇ２）で規定される時間には制限があるわけではなく、タイミング情報４７０（ｇ２）で規定される時間間隔をタイミング情報４６０（ｇ１）で規定される時間間隔よりも短くし、音声認識の処理の開始を表示情報４２１の表示の先にすることでもかまわない。

（第２実施形態）
本実施形態は、複数のダイアログ情報を続けて実行する場合の例である。

ダイアログ情報を複数組み合わせてひとつのシナリオとし、実行するダイアログ情報を利用者の返答により選択していくことで、例えば、より複雑な機器の制御なども可能となる。

図４−（Ａ）及び図４−（Ｂ）のそれぞれに、ダイアログ情報の遷移の形式を示す。図４−（Ａ）に示したのは、複数のダイアログ情報の実行が先に実行されるダイアログ情報の実行結果によって左右される場合であり、図４−（Ｂ）に示したのは、複数のダイアログ情報が予め定められた順序で実行される場合である。

図４−（Ａ）では、ダイアログ情報１の音声ガイドによる質問に対する音声認識情報に選択肢１〜選択肢３があり、それぞれの選択肢に対応するダイアログ情報２〜４が用意されており、ダイアログ情報１の実行結果として選択された選択肢ｎに対応するダイアログ情報ｎが次に実行される構成となっている。

図４−（Ｂ）では、ダイアログ情報１の実行後、ダイアログ情報１の実行結果（例えば音声認識の結果）にかかわらず、ダイアログ情報２が実行されることになる。続いて、ダイアログ情報２の実行後にダイアログ情報２の実行結果にかかわらずダイアログ情報３が実行される。

図４−（Ａ）及び図４−（Ｂ）のいずれの形式でも、次に実行されるダイアログ情報の指定が必要となる。ダイアログ情報の指定はダイアログ番号により行うことでよい。

図５に、次に実行するダイアログ情報を含むダイアログ情報５００の例を示す。ダイアログ情報５００は、ダイアログ番号５０２、音声ガイド情報５１１、音声ガイド情報５１２、表示情報５２０、音声認識情報５３０、タイミング情報５４０、タイミング情報５５０、タイミング情報５６０、タイミング情報５７０、ダイアログ間隔情報５８０、次段ダイアログ情報５９１、次段ダイアログ情報５９２、及び、次段ダイアログ情報５９３から構成される。

ダイアログ情報５００には音声認識の処理の選択肢として「通常冷暖房」、「おやすみ冷暖房」及び「急速冷暖房」の３つの選択肢がある。「通常冷暖房」が選択された場合には次段ダイアログ情報５９１で示されるダイアログ番号を有するダイアログ情報が実行され、「おやすみ冷暖房」が選択された場合には次段ダイアログ情報５９２で示されるダイアログ番号を有するダイアログ情報が実行され、「急速冷暖房」が選択された場合には次段ダイアログ情報５９３で示されるダイアログ番号を有するダイアログ情報が実行される。

ダイアログ間隔情報５８０は、ダイアログ情報５００の実行における音声認識の処理の結果が出されてから次のダイアログ情報の実行を開始するまでの時間間隔を示すものである。なお、ダイアログ実行制御部３０は、予め実行に必要なダイアログ情報をダイアログ情報記憶部４０などから読みだしておいてもよく、ダイアログ間隔情報５８０で規定されている時間にダイアログ情報記憶部４０などから読みだすようにしてもよい。

なお、次段ダイアログ情報５９１〜５９３に同じダイアログ番号を設定しておくことで図４−（Ｂ）で示した形式にも対応することが可能である。また、図４−（Ｂ）で示した形式においては、図５において次に実行するダイアログ情報の領域をひとつとすることで定義してもよい。

本実施例は、エアコン、テレビ及び照明機器の操作を行うリモコン装置を想定したシナリオの実行において、実行されるダイアログ情報の遷移について説明するものである。

図６は、実行されるダイアログ情報の関係（シナリオの構成）を示した図である。図６には、ダイアログイメージ６１０〜６４０を図示している。ダイアログイメージとは、ダイアログ情報の内容の一部を図式的に示したものである。リモコンの操作は、最初に操作を行う機器を選択し、次に選択した機器に対する操作を行う、という順番で行われる。

図６で示したシナリオの構成は図４−（Ａ）で示した構成である。ダイアログイメージ６１０は図４−（Ａ）におけるダイアログ情報１に対応する。同様に、ダイアログイメージ６２０は図４−（Ａ）におけるダイアログ情報２に、ダイアログイメージ６３０は図４−（Ａ）におけるダイアログ情報３に、ダイアログイメージ６４０は図５−（Ａ）におけるダイアログ情報４に対応する。

ダイアログイメージ６１０は最初に実行されるダイアログ情報（以降、ダイアログ情報１と記載する）を示している。ダイアログ情報１では、対話開始となる最初の質問であるフレーズ７１０（「機器を選択してください」、音声ガイド１）に対して、回答１としてフレーズ７２０（「エアコン」、選択肢１）、回答２としてフレーズ７３０（「テレビ」、選択肢２）、回答３としてフレーズ７４０（「照明」、選択肢３）の複数の選択肢が設定されている。

本実施の形態では、例えば音声ガイド１が出力されると、当該音声ガイド１に対応づけられた複数の選択肢である回答１〜回答３のフレーズに対応する言語モデルについて音声認識処理をおこない、ユーザーの回答音声がいずれのフレーズであるか判定して、判定結果に基づいて、次に出力する音声ガイドの選択、又は対話の終了の判断等を行う。

各選択肢について、対応するダイアログ情報が用意されている。ダイアログイメージ６１０における音声認識の処理の結果が回答１の場合には、次にダイアログイメージ６２０（以降、ダイアログ情報２と記載する）が実行される。ダイアログ情報２では、対話開始となる最初の質問であるフレーズ７５０（「モード設定してください」、音声ガイド１１）に対して、回答１１１としてフレーズ７６０（「通常冷暖房」、選択肢１）、回答２としてのフレーズ７７０（「おやすみ冷暖房」、選択肢２）、回答３としてのフレーズ７８０（「急速冷暖房」、選択肢３）の複数の選択肢が設定されている。

図６は、次のダイアログ開始タイミングに関して説明する図である。

図７の横軸Ｔは時間軸（複数の関連づけられたダイアログを管理する際の時間軸）であり、ダイアログ情報１の開始タイミングを時刻ｔ１０、ダイアログ情報１の終了タイミングを時刻ｔ１２、ダイアログ情報２の開始タイミングを時刻ｔ１３とする。時刻ｔ１３と時刻ｔ１２との間の時間間隔は、ダイアログ間隔情報５８０により規定される。

音声処理装置１が指定されたダイアログ情報に従ってタイミング管理を行うので、音声処理装置１を含むシステムのアプリケーションの開発の負荷低減並びに音声処理装置１のホスト側における処理の負荷低減を図ることができる。

（第３実施形態）
本実施形態は、音声処理装置１を含むシステムの例を示すものである。

図８は、本実施の形態の音声処理システム１００の構成例を示す図である。

音声処理システム１００は、音声処理装置１と、ホスト２００を含んで構成されている。

ホスト２００は音声処理システム１００を搭載する機器のプロセッサー（例えばＣＰＵ等）でもよい。ホスト２００は、例えばダイアログ開始時刻情報２１０を保持しており、ダイアログ開始時刻に、音声処理装置１に対してダイアログ開始要求２２０（所与のイベントの一例）を行ってもよい。ダイアログ開始要求２２０は、例えばコマンドやトリガ信号として送信されてもよい。

音声処理装置（集積回路装置）１は、図１で説明した各部を含み、ダイアログ情報４２を保持している。ダイアログ情報は、予め音声処理装置１に組み込まれている構成でもよいし、所与のタイミングでホスト２００から受信し記憶部に格納する構成でもよい。

音声処理装置（集積回路装置）１は、ホスト２００からのダイアログ開始要求２２０によって、ダイアログの実行を開始する。実行するダイアログのダイアログ情報４２に従って、音声ガイド（音声ガイド情報８２）をスピーカー１２０から出力する。また実行するダイアログのダイアログ情報４２に従って、表示テキスト（表示テキスト情報７２）をパネル１３０に表示する。また実行するダイアログのダイアログ情報４２に従って、マイク１１０から入力された音声の音声認識を行う。

音声認識の結果は音声処理装置１からホスト２００に知らせてもよいし、知らせなくてもよい。

図９は、本実施の形態の音声処理システム１０１の構成例を示す図である。

図９では、ホスト２００がパネル２４０に表示画像を出力する構成を有しており、音声処理装置１は表示テキストの出力を行わない。

このような場合、音声処理装置（集積回路装置）１は、図８の場合と同様に、ホスト２００からのダイアログ開始要求２２０によって、ダイアログの実行を開始する。実行するダイアログのダイアログ情報４２に従って、音声ガイド情報８２をスピーカー１２０から出力する。

しかし図８の場合のように実行するダイアログのダイアログ情報４２に従って、表示テキスト情報７２をパネル１３０に表示する代わりに、ホスト２００に表示情報の出力を指示する割り込み信号１４０を送信する。ホスト２００は、音声処理装置１からの割り込み信号１４０を受けると、表示画像（表示画像情報２３０）をパネル２４０に表示する。

なお、上述した実施形態及び変形例は一例であって、これらに限定されるわけではない。例えば各実施形態及び各変形例は、複数を適宜組み合わせることが可能である。

本発明は、上述した実施形態及び具体例に限定されるものではなく、さらに種々の変形が可能である。例えば、本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

１…音声処理装置、１０…音声認識部、２０…表示情報出力処理部、３０…ダイアログ実行制御部、４０…ダイアログ情報記憶部、４２…ダイアログ情報、５０…音声ガイド出力処理部、６０…音声辞書記憶部、７０…表示情報記憶部、７２…表示テキスト情報、８０…音声ガイド記憶部、８２…音声ガイド情報、１００…音声処理システム、１０１…音声処理システム、１１０…マイク、１２０…スピーカー、１３０…パネル、１４０…割り込み信号、２００…ホスト、２１０…ダイアログ開始時刻情報、２２０…ダイアログ開始要求、２３０…表示画像情報、２４０…パネル、３００…ダイアログ情報、３０２…ダイアログ番号、３１０…音声ガイド制御情報、３２１…表示情報、３３１…音声認識情報、３３１…音声認識選択肢情報、３４０…タイミング情報、３５０…タイミング情報、３６０…タイミング情報、３７０…タイミング情報、４００…ダイアログ情報、４０２…ダイアログ番号、４１０…音声ガイド制御情報、４１２…音声ガイド情報、４１４…音声ガイド情報、４２０…表示制御情報、４２１…表示情報、４３０…音声認識制御情報、４３１…音声認識選択肢情報、４４０…対するタイミング情報、４５０…対するタイミング情報、４６０…タイミング情報、４７０…タイミング情報、５００…ダイアログ情報、５０２…ダイアログ番号、５１１…音声ガイド情報、５１２…音声ガイド情報、５２０…表示情報、５３０…音声認識情報、５４０…タイミング情報、５５０…タイミング情報、５６０…タイミング情報、５７０…タイミング情報、５８０…ダイアログ間隔情報、５９１…次段ダイアログ情報、５９２…次段ダイアログ情報、５９３…次段ダイアログ情報、６１０…ダイアログイメージ、６２０…ダイアログイメージ、６３０…ダイアログイメージ、６４０…ダイアログイメージ、７１０…フレーズ、７２０…フレーズ、７３０…フレーズ、７４０…フレーズ、７５０…フレーズ、７６０…フレーズ、７７０…フレーズ、７８０…フレーズ。

Claims (9)

1. 音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、
   前記ダイアログ実行制御部の制御により前記音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、
   前記ダイアログ実行制御部の制御により前記音声認識情報を用いて、入力された入力音声信号に対する音声認識の処理を行う音声認識部と、を含み、
   前記制御情報は、前記出力音声信号の音声出力タイミング情報及び前記入力音声信号に対する音声認識開始タイミング情報を含み、
   前記音声認識開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする音声処理装置。
2. 前記ダイアログ情報には、複数の前記音声出力情報が含まれ、所定の前記音声出力情報の出力を規定する前記音声出力タイミング情報は、直前に出力された前記音声出力情報の出力制御が終了してからの経過時間で規定されることを特徴とする請求項１に記載の音声処理装置。
3. 更に、前記ダイアログ情報を記憶するダイアログ記憶部を有することを特徴とする請求項１又は２に記載の音声処理装置。
4. 前記第１のタイミングは、前記ダイアログ情報に含まれる前記音声出力情報の中で最後に出力される前記音声出力情報に対する前記音声出力タイミング情報で規定されることを特徴とする請求項１乃至３のいずれか１項に記載の音声処理装置。
5. 請求項１乃至４のいずれか１項に記載の音声処理装置を有することを特徴とする集積回路装置。
6. 音声処理装置と、
   音声入力部と、
   情報表示部と、
   音声出力部と、を含み、
   前記音声処理部は、
   音声出力情報、音声認識情報及び制御情報を含むダイアログ情報に従い音声出力制御及び音声認識のタイミング制御を行うダイアログ実行制御部と、
   前記音声出力部を制御し、前記ダイアログ実行制御部の制御により前記音声出力情報で指定される出力音声信号の出力を行う音声出力制御部と、
   前記ダイアログ実行制御部の制御により前記音声認識情報を用いて、前記音声入力部から出力された入力音声信号に対する音声認識の処理を行う音声認識部と、を有し、
   前記制御情報は、前記出力音声信号の音声出力タイミング情報、前記入力音声信号に対する音声認識開始タイミング情報及び前記情報表示部に対する表示開始タイミング情報を含み、
   前記音声認識開始タイミング情報及び前記表示開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする音声処理システム。
7. 前記第１のタイミングは、前記ダイアログ情報に含まれる前記音声出力情報の中で最後に出力される前記音声出力情報に対する前記音声出力タイミング情報で規定されることを特徴とする請求項６に記載の音声処理システム。
8. 音声出力情報、音声認識情報及び制御情報を含むダイアログ情報を制定し、
   前記制御情報には、音声出力タイミング情報及び音声認識開始タイミング情報が含まれ、
   前記音声出力情報の出力を前記音声出力タイミング情報により行う第１のステップと、
   前記音声認識情報を用いての音声認識の処理を前記音声認識タイミング情報により行う第２のステップと、を含み、
   前記音声認識開始タイミング情報は、前記音声出力タイミング情報で規定される第１のタイミングからの経過時間で規定されることを特徴とする音声処理装置の制御方法。
9. 更に、前記ダイアログ情報は表示情報を含むと共に前記制御情報は表示開始タイミング情報を含み、
   前記表示開始タイミング情報は、前記第１のタイミングからの経過時間で規定され、
   前記表示情報を用いての表示の処理を前記表示開始タイミング情報により行う第３のステップを含むことを特徴とする請求項８に記載の音声処理装置の制御方法。

Images