JP2017167366A - 通信端末、通信方法及びプログラム - Google Patents

Abstract

【課題】不明瞭な音声入力がなされても、ユーザにとって自然な応答をすることができる対話システムを提供する。
【解決手段】通信端末１は、音声による指示を受け付ける受付部１２と、音声の認識結果を取得する認識結果取得部１６と、予め設定された他端末の利用状況を取得する利用状況取得部１７と、自端末の利用状況を記憶する記憶部１３と、認識結果取得部１６が、受付部１２が受け付けた指示を認識した結果を取得できなかった場合又は受付部１２が受け付けた指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定する処理決定部１８と、を有する。
【選択図】図２

Description

本発明は、対話が可能な通信端末、通信方法及びプログラムに関する。

従来、ユーザと対話が可能な対話システムが知られている。対話システムは、ユーザの発言内容を認識し、予め記憶された応答内容からユーザの発言に適合する応答を選択して応答する。特許文献１には、ユーザにとって好ましい応答をするために、ユーザの音声に基づいて、選択する応答内容の優先順序を変更できる対話システムが記載されている。

特開２０１５−１３８１４７号公報

上記対話システムのユーザが子供である場合、発音が明瞭でないことにより、発言の認識精度が低くなる傾向がある。そのため、対話システムが同じ質問を繰り返し、ユーザにとって自然な応答がされないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、不明瞭な音声入力がなされても、ユーザにとって自然な応答をすることができる対話システムを提供することを目的とする。

本発明の第１の態様においては、音声による指示を受け付ける受付部と、前記音声の認識結果を取得する認識結果取得部と、前記認識結果取得部が、前記受付部が受け付けた前記指示を認識した結果を取得できなかった場合又は前記受付部が受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定する処理決定部と、を有する通信端末を提供する。

前記自端末において実行された処理の内容を示す前記自端末の利用状況を記憶する記憶部を更に有し、前記処理決定部は、前記記憶部に記憶された前記自端末の利用状況を参照することにより、過去に実行した処理の内容に基づいて前記実行する処理を決定してもよい。

前記処理決定部は、例えば、前記記憶部に記憶された前記自端末の利用状況を参照することにより、前記受付部が前記音声による前記指示を受け付けた時点から過去の所定の期間までに実行した各処理の頻度に基づいて前記実行する処理を決定する。

前記処理決定部は、例えば、前記受付部が前記音声による前記指示を受け付けた時点の日時及び曜日の少なくとも一つを含む情報に基づいて前記処理を決定してもよい。

前記通信端末と通信可能な所定の他端末の利用状況を取得する利用状況取得部をさらに有し、前記処理決定部は、前記認識結果取得部が、前記受付部が受け付けた前記指示を認識した結果を取得できなかった場合又は前記受付部が受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、前記他端末の利用状況にさらに基づいて前記処理を決定してもよい。

前記利用状況取得部は、例えば、前記他端末の位置情報を含む前記他端末の利用状況を取得し、前記処理決定部は、前記位置情報が示す位置に基づいて、前記処理を決定してもよい。

前記処理決定部は、前記他端末の位置が第１の範囲内にある場合、前記他端末に電話の発信処理を行い、前記他端末の位置が第２の範囲内にある場合、前記他端末にテキストを送信してもよい。

前記利用状況取得部は、前記他端末の操作情報を含む前記他端末の利用状況を取得し、前記処理決定部は、前記操作情報に基づいて、前記処理を決定してもよい。

前記処理決定部は、前記他端末が使用中であれば、前記他端末に電話の発信処理を行い、前記他端末が使用中でなければ、前記他端末にテキストを送信してもよい。

前記記憶部は、前記自端末の利用状況に関連付けて複数の音声の話者の情報を記憶し、前記認識結果取得部は、前記話者を特定する情報を含む前記音声の認識結果を取得し、前記処理決定部は、前記認識結果取得部が取得した前記認識結果に対応する話者と、前記記憶部に記憶された前記話者の前記情報とに基づいて前記処理を決定してもよい。

前記記憶部は、前記自端末の利用状況に関連付けて、前記話者の感情を示す感情情報を記憶し、前記認識結果取得部は、前記感情情報を含む前記音声の認識結果を取得し、前記処理決定部は、前記認識結果取得部が取得した前記認識結果に含まれている前記感情情報と前記記憶部が記憶している感情情報とに基づいて前記処理を決定してもよい。

本発明の第２の態様においては、音声による指示を受け付けるステップと、前記音声の認識結果を取得するステップと、受け付けた前記指示を認識した結果を取得できなかった場合又は受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定するステップと、を有する通信方法を提供する。

本発明の第３の態様においては、通信端末のコンピュータに、音声による指示を受け付けるステップと、前記音声の認識結果を取得するステップと、受け付けた前記指示を認識した結果を取得できなかった場合又は受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定するステップと、を実行させるためのプログラムを提供する。

本発明によれば、応答内容を選択できない音声が入力された場合であっても、ユーザにとって自然な応答をすることができるという効果を奏する。

第１の実施形態の対話システムの概略を説明するための図である。 通信端末の構成を示す図である。 処理決定部が選択する音声データが記録された音声データベースを示す図である。 音声認識の結果と処理決定部が決定する処理とが対応づけられた応答データベースを示す図である。 通信端末の利用状況を示す図である。 通信端末の動作を示すフローチャートである。 複数の他端末の利用状況を示す図である。 通信端末の動作を示すフローチャートである。 自端末の利用状況が記された表である。 電話発信をしない時間帯が記録された表である。

図１は、本実施形態の対話システムＳの概略を説明するための図である。対話システムＳは、通信端末１、サーバ２及び他端末３を含む。通信端末１は、例えば、スピーカ１１とマイク１２が内蔵されたぬいぐるみであり、対話が可能である。通信端末１は、例えば、通信端末１のいずれかの部位に設けられた開始ボタンを押すと「何をしようか？」と問いかけ、音声認識開始を合図する音を鳴らし、ユーザの発言を求める。通信端末１は、子供の求めに応じてクイズを出題する、本の読み聞かせをする、といったことができる。

通信端末１は、ユーザとの対話をサーバ２に音声認識処理させることによって実現する。通信端末１は、マイク１２から入力された音声の音声データをサーバ２に送信し、サーバ２から音声の認識結果を取得する。通信端末１は、サーバ２から取得した音声の認識結果に基づいて、話者の発言内容に適した応答内容を選択し、応答する。通信端末１は、音声の認識結果に基づいて、ユーザと対話を続けることもできるし、電話発信を行うことによって、ユーザが他端末３のユーザと会話をできるようにすることもできる。

通信端末１は、サーバ２が話者の発言内容を認識できなかった場合又は音声の認識結果に基づいて応答内容を選択できない場合、自端末の利用状況及び他端末３の利用状況の少なくとも一方に基づいて、どのような処理を行うかを決定する。このようにすることにより、通信端末１は、話者の音声を認識しづらい場合であっても、自然な応答を実行することができる。以下に通信端末１の構成について詳しく述べる。

［通信端末１の構成］
図２は、通信端末１の構成を示す図である。図２を参照しながら、通信端末１の構成について述べる。通信端末１は、スピーカ１１、マイク１２、記憶部１３、制御部１４、通信部１５を備える。

スピーカ１１は、制御部１４から通知された音声データを適切な信号に変換して出力する。スピーカ１１が出力する音声データには、例えば、記憶部１３に記憶された音声データ、サーバ２から取得した音声データ及び他端末３から受信したテキストメッセージが含まれる。

マイク１２は、音声による指示を受け付ける受付部として機能する。マイク１２は、入力された音声を、適切な形式の音声データに変換して、制御部１４に通知する。ユーザは、マイク１２を介して他端末３と会話をすることができる。

記憶部１３は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の記憶媒体を含む。記憶部１３は、制御部１４が実行する種々のプログラムを記憶している。また、記憶部１３は、音声の認識結果に基づいて選択する、応答内容と音声データとを含む応答データベースを記憶している。

記憶部１３は、自端末の利用状況を記憶する。記憶部１３が記憶する自端末の利用状況は、通信端末１が音声の認識結果に基づいて実行した処理の内容を含む。また、記憶部１３は、音声認証用の声紋データ及び通信端末１の処理内容を制限するための設定情報を記憶する。なお、記憶部１３は、例えば、ＳＤカードなどのメモリデバイスを接続端子に接続することによって、記憶容量を拡張することができる。

通信部１５は、無線通信回線Ｗを介して接続されたサーバ２及び他端末３と通信する。通信部１５が送受信するデータには、音声データ、音声データの認識結果に関するデータ、他端末３の利用状況に関するデータ及びテキストデータが含まれる。

制御部１４は、例えば、ＣＰＵ（Central Processing Unit）である。制御部１４は、記憶部１３が有するＲＯＭ等の記憶媒体に格納されたプログラムを実行することによって、通信端末１が有する各部の動作を制御する。例えば、制御部１４は、通信部１５にマイク１２から通知された音声データをサーバ２へ送信させる。制御部１４は、マイク１２から通知された音声データをテキストデータに変換し、通信部１５に上記テキストデータを他端末３へ送信させる。制御部１４は、他端末３から受信したテキストデータを音声データに変換し、スピーカ１１に音声データの音声を出力させる。また、制御部１４は、認識結果取得部１６、利用状況取得部１７及び処理決定部１８としても機能する。

認識結果取得部１６は、サーバ２から音声の認識結果を取得する。認識結果取得部１６は、サーバ２から取得した音声の認識結果を記憶部１３に記憶させ、処理決定部１８へ通知する。なお、本明細書では、サーバ２が音声の認識結果に失敗したことを通信部１５が受信した場合も、認識結果取得部１６が、受付部が受け付けた指示を認識した結果を取得できなかった場合に含める。

利用状況取得部１７は、予め設定された他端末３の利用状況を取得する。利用状況取得部１７は、例えば、通信端末１のリクエストに応じて自端末の利用状況を送信するアプリがインストールされた他端末３へリクエストを送信することによって、他端末３の利用状況を取得する。利用状況取得部１７は、例えば、他端末３の位置情報を含む他端末３の利用状況を取得する。利用状況取得部１７は、他端末３の操作情報を含む他端末３の利用状況を取得することもできる。利用状況取得部１７は、他端末３の移動情報を含む他端末３の利用状況を取得することもできる。利用状況取得部１７は、他端末３から取得した他端末３の利用状況を記憶部１３に記憶させ、処理決定部１８へ通知する。

処理決定部１８は、認識結果取得部１６が取得した音声の認識結果に基づいて、通信端末１が処理する内容を決定する。以下に、処理決定部１８が、受付部が受け付けた指示を認識した結果に基づいて決定する処理について、図３及び図４を参照しながら説明する。

［処理決定部１８が行う処理］
図３は、処理決定部１８が選択する音声データが記録された音声データベースを示す図である。処理決定部１８は、音声の認識結果に基づいて処理を決定し、音声データベースから音声データを選択してスピーカ１１から出力する。例えば、処理決定部１８は、通信端末１が備えるボタンを押されて起動すると、音声データベースの中から「やあ、何をする？」という音声データを選択し、スピーカ１１に出力させる。

図４は、音声認識の結果と処理決定部１８が決定する処理とが対応づけられた応答データベースを示す図である。通信端末１のユーザが子供である場合、ユーザが明瞭な発音で指示を入力しないことがある。そのため、応答データベースには、例えば、言葉の頭切れを想定して、単語の末尾と単語全体を対応付けたデータが記録されている。処理決定部１８は、応答データベースを参照することにより、音声認識の結果が「あおあぞ」又は「ぞなぞ」であっても、「何して遊ぶ？」の出力に対するユーザの指示が「なぞなぞ」であったことを特定して処理を決定する。

処理決定部１８は、応答データベースに基づいてユーザの指示を特定すると、特定した指示に対応する音声データを選択して再度スピーカ１１から出力する。例えば、通信端末１が「何して遊ぶ？」という音声を出力した後、ユーザが「あおあぞ」という音声をマイク１２に入力した場合、処理決定部１８は、なぞなぞの指示に対応する音声データを選択し、「問題は全部で５問あるよ」という音声をスピーカ１１に出力させる。処理決定部１８は、通信端末１が音声の認識結果に基づいて実行した処理の内容を、指示があった時刻と共に自端末の利用状況として記憶部１３に記憶させる。

処理決定部１８は、認識結果取得部１６が、受付部が受け付けた指示を認識した結果を取得できなかった場合又は受付部が受け付けた指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況及び他端末の利用状況の少なくともいずれかに基づいて処理を決定する。

［自端末の利用状況に基づく処理決定部１８が行う処理］
図５は、通信端末１の利用状況を示す図である。先ず、処理決定部１８が、自端末の利用状況に基づいて処理を決定する場合について図５を参照しながら説明する。図５に示した例では、通信端末１は、過去に、なぞなぞ、音楽再生、メール、電話等を実行したことが記録されている。図５には、通信端末１が、２月１３日１５時３２分〜２月１８日１８時３０分の間になぞなぞを複数回実行し、なぞなぞはその他の処理よりも実行された回数が多いことが記されている。

処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、例えば、過去に実行した処理の内容に基づいて処理を決定する。処理決定部１８は、過去に実行した処理の頻度に基づいて処理を決定してもよい。更に、処理決定部１８は、受付部が音声による指示を受け付けた時点から過去の所定の期間までに実行した各処理の頻度に基づいて処理を決定してもよい。具体的には、処理決定部１８は、定期的に、子供の嗜好を確認する対話をして子供の嗜好を特定して記憶部１３に記憶させ、子供の嗜好の変化が所定の範囲内の過去の所定の期間までに決定した処理の頻度に基づいて、処理を決定する。所定の期間は、例えば、１週間、１か月又は３か月である。

図５に示した例では、通信端末１が、２月１３日１５時３２分〜２月１８日１８時３０分の間になぞなぞを２回実行し、なぞなぞはその他の処理よりも実行された回数が多い。したがって、処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、なぞなぞを実行する。

処理決定部１８は、所定の範囲内の過去の所定の期間までに決定した処理の頻度を時間帯毎又は曜日毎に集計してもよい。例えば、処理決定部１８は、ユーザが指示を入力した時間が１７：４５であった場合、直近１週間の１６：００〜１８：００の間に最も決定した頻度が高い処理を選択する。

処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、直近に実行した処理と同じ処理又は直近に実行した処理と異なる処理を実行してもよい。こうすると、通信端末１は、ユーザが繰り返し同じ処理を実行することを好む場合、直近に実行した処理と同じ処理を実行することができる。また、通信端末１は、ユーザが繰り返し同じ処理を実行することを好まない場合、直近に実行した処理と異なる処理を実行することができる。

図６は、通信端末１の動作を示すフローチャートである。図６のフローチャートは、通信端末１が、ユーザに問いかけをし、ユーザからの応答を待っている状態から開始する。続いて、通信端末１にはマイク１２を介してユーザの音声が入力される（Ｓ６１）。

マイク１２に入力された音声が認識可能であった場合（Ｓ６２においてＹＥＳ）、処理決定部１８は、音声の指示に基づいて処理を決定しようとする（Ｓ６３）。処理決定部１８は、音声の指示に基づいて処理が決定可能である場合（Ｓ６３においてＹＥＳ）、処理を決定して（Ｓ６５）、通信端末１は動作を終了する。処理決定部１８は、音声の指示に基づいて処理が決定可能でない場合（Ｓ６３においてＮＯ）、自端末の利用状況を参照して（Ｓ６４）処理を決定し（Ｓ６５）、通信端末１は動作を終了する。

マイク１２に入力された音声が認識不可能であった場合（Ｓ６２においてＮＯ）、処理決定部１８は、自端末の利用状況を参照して（Ｓ６４）処理を決定し（Ｓ６５）、通信端末１は動作を終了する。

［他端末の利用状況に基づく処理決定部１８が行う処理］
図７は、複数の他端末の利用状況を示す図である。続いて、処理決定部１８が、他端末３の利用状況に基づいて処理を決定する場合について図７を参照しながら説明する。図７に示した例では、父親が所有する携帯端末は、会社付近の○県×市１丁目に位置し、アプリＡを起動しながら移動中であり、母親が所有する携帯端末は、自宅付近の△県□市３丁目に位置し、移動せずにスリープ中であることが記されている。

処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、例えば、他端末３の位置情報が示す位置に基づいて処理を決定する。処理決定部１８は、例えば、他端末３の位置が第１の範囲内にある場合、他端末３に電話の発信処理を行い、他端末３の位置が第２の範囲内にある場合、他端末３にテキストを送信する。

例えば、第１の範囲は自宅から２ｋｍ以内の範囲であり、第２の範囲は、会社から５００ｍ以内の範囲である。他端末３が第１の範囲にある場合、他端末３のユーザは、自宅付近におり、会社での就業が終了している可能性が高いと考えられるので、電話に応答できる確率が高い。これに対して、他端末３が第２の範囲にある場合、他端末３のユーザは、会社付近におり、電話に応答できない確率が高い。そこで、図７に示した例では、処理決定部１８は、母親の携帯端末が自宅付近であるため、母親に電話発信を行う。ユーザは、第１の範囲及び第２の範囲について、例えば、音声ガイダンスに従って通信端末１に登録することができる。

処理決定部１８は、他端末３の位置が自宅であるか否かに基づいて処理を決定してもよい。例えば、処理決定部１８は、親が所有する他端末３の位置が自宅である場合、ゲームの機能を提案し、親が所有する他端末３の位置が自宅外である場合、通信機能を提案する。具体的には、処理決定部１８は、親が所有する他端末３の位置が自宅である場合、例えば、「何して遊ぶ？」という音声データを選択して出力する。また、処理決定部１８は、親が所有する他端末３の位置が自宅外である場合、例えば、「メールする？」という音声データを選択して出力する。こうすると、親が在宅である場合は、親はユーザが通信端末１を利用する状況を見守れるため、ユーザの通信端末１の利用をアシストすることができる。また、親が外出中である場合は、通信機能を利用してユーザとコミュニケーションをとることができる。

また、処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、例えば、他端末３の操作情報に基づいて、処理を決定する。処理決定部１８は、例えば、他端末３が使用中であれば、他端末３に電話の発信処理を行い、他端末３が使用中でなければ、他端末３にテキストを送信する。図７に示した例では、処理決定部１８は、父親の携帯端末がアプリＡを起動中であるため、父親に電話発信を行うことに決定する。このようにすることで、ユーザは、高い確率で父親と会話をすることが可能になる。

また、処理決定部１８は、音声の認識結果に基づいて処理を決定できない場合に、例えば、他端末３の移動情報に基づいて、処理を決定する。処理決定部１８は、例えば、他端末３が移動中であれば、他端末３にテキストを送信し、他端末３が移動中でなければ、他端末３に電話の発信処理を行う。

処理決定部１８は、例えば、所定の時間（例えば、３秒間又は５秒間）に亘って他端末３のＧＰＳ（Global Positioning System）座標を取得し、ＧＰＳ座標の変化に基づいて、他端末３が移動中であるか否か判定する。また、処理決定部１８は、所定の時間毎（例えば、１分毎）に他端末３のＧＰＳ座標を取得し、ＧＰＳ座標の変化に基づいて、他端末３が移動中であるか否か判定する。また、処理決定部１８は、他端末３の所有者の予定が登録されたスケジューラを参照することによって、他端末３が移動中であるか否か判定してもよい。

図７に示した例では、父親の携帯端末がアプリＡを起動中であり、かつ父親が移動中でないので、父親が電話に応答できる可能性が高い。そこで、処理決定部１８は、父親に電話発信を行うことに決定する。

図８は、通信端末１の動作を示すフローチャートである。図８のフローチャートは、通信端末１が、ユーザに問いかけをし、ユーザからの応答を待っている状態から開始する。まず、通信端末１には、マイク１２を介してユーザの音声が入力される（Ｓ８１）。

マイク１２に入力された音声が認識可能であった場合（Ｓ８２においてＹＥＳ）、処理決定部１８は、音声の指示に基づいて処理を決定しようとする（Ｓ８３）。処理決定部１８は、音声の指示に基づいて処理が決定可能である場合（Ｓ８３においてＹＥＳ）、処理を決定して（Ｓ８６）、通信端末１は動作を終了する。

処理決定部１８は、マイク１２に入力された音声が認識不可能であった場合（Ｓ８２においてＮＯ）又は音声の指示に基づいて処理が決定可能でない場合（Ｓ８３においてＮＯ）、他端末３が通信可能であるか否かを確認する（Ｓ８４）。

他端末３が通信不可能である場合（Ｓ８４においてＹＥＳ）、通信端末１は動作を終了する。他端末３が通信可能である場合（Ｓ８４においてＮＯ）、処理決定部１８は、他端末３の利用状況を参照し（Ｓ８５）、処理を決定する（Ｓ８６）。

以上のとおり、通信端末１は、受付部が受け付けた指示を認識した結果を取得できなかった場合又は受付部が受け付けた指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況及び他端末３の利用状況の少なくともいずれかに基づいて処理を決定する。これにより、通信端末１は、不明瞭な音声入力がされても、ユーザにとって自然な応答をすることができる。

＜変形例１＞
第１の実施形態に係る対話システムＳは、マイク１２に入力された音声の認識処理をサーバ２にて行った。しかしながら、通信端末１は、マイク１２に入力された音声の認識処理を自端末にて実行してもよい。その場合、認識結果取得部１６は、マイク１２から通知された音声データの音声認識処理を、記憶部１３が記憶する辞書を参照して行う。このようにすると、通信端末１は、通信回線とつながっていない場合であっても対話が可能であり、通信端末１を様々な場所で利用することができる。

＜変形例２＞
通信端末１は、受付部１２が受け付けた音声又は声質を解析することによって、話者の名前及び話者の感情を特定することもできる。例えば、サーバ２には、予めユーザ毎の声紋が登録されており、ユーザ毎の声紋を参照することによって特定された話者の名前を含む音声認識の結果、又は音声の周波数に基づいて特定された話者の感情を示す情報を含む音声認識の結果をサーバ２から取得する。通信端末１は、自端末の利用状況として、話者の名前及び話者の感情に関する情報を用いて、話者と対話をすることができる。

認識結果取得部１６は、例えば、音声の話者の名前又は音声の話者の感情を示す情報を含む音声の認識結果を取得する。処理決定部１８は、音声による指示の内容と受付部が指示を受け付けた時の話者の名前及び感情とを対応づけた感情情報を記憶部１３に記憶させる。その後、処理決定部１８が、認識結果取得部１６から取得した音声の認識結果に音声の話者の名前又は音声の話者の感情を示す情報が含まれている場合、処理決定部１８は記憶部１３を参照し、認識結果取得部１６が取得した話者の名前又は感情に基づいて処理を決定する。具体的には、処理決定部１８は、認識結果取得部１６が取得した話者の名前又は感情に関連付けて記憶部１３に記憶されている処理を実行することに決定する。

以下に、図９を参照しながら、通信端末１が話者の名前及び話者の感情に関する情報を含む自端末の利用状況に基づいてユーザと対話をする仕方について説明する。
図９は、話者の名前及び感情が関連付けられた自端末の利用状況の履歴を示す表である。図９に示す表は記憶部１３に記憶されており、処理決定部１８が決定した処理の時刻及び内容並びに通信端末１を使用していたユーザの名前及びユーザの感情が記録されている。

図９に示した例では、２月１３日１５時３２分〜２月１８日１８時３０分の間に、太郎は、なぞなぞ、メール及び英会話をするよう通信端末１に指示している。同期間に、次郎は、音楽の再生、本の読み聞かせ及び電話をするよう通信端末１に指示している。従って、認識結果取得部１６が音声の話者が太郎であるという認識結果を取得した場合、処理決定部１８は、次郎が嗜好する音楽の再生や本の読み聞かせよりも、太郎が嗜好するなぞなぞやメールを優先的に提案する音声データを選択する。

また、図９に示した例では、太郎が母にメールをするよう通信端末１に指示した際は、悲しかったことが記されている。このことから、太郎が悲しい時には、母にメールをする傾向があると推定される。そこで、認識結果取得部１６が音声の話者が太郎であり悲しんでいるという認識結果を取得した場合、処理決定部１８は、なぞなぞや英会話よりもメールを優先的に提案する音声データを選択する。

同様に、図９に示した例では、太郎がなぞなぞを通信端末１に指示する時は嬉しい、という相関関係が読み取れる。従って、認識結果取得部１６が音声の話者が太郎であり太郎は嬉しいという認識結果を取得した場合、処理決定部１８は、なぞなぞを優先的に提案する音声データを選択する。

＜変形例３＞
処理決定部１８は、受付部としてのマイク１２が音声による指示を受け付けた時点の日時及び曜日の少なくとも一つを含む情報に基づいて処理を決定してもよい。通信端末１は、例えば、他端末３から受信した情報に基づいて、音声による指示を受け付けた時刻において、どのような処理を許可し、どのような処理を禁止するかを記憶部１３に記憶しておく。そして、処理決定部１８は、記憶部１３を参照することにより、マイク１２が指示を受け付けた時刻において許可されている処理を特定する。例えば、処理決定部１８は、マイク１２が１７：００〜１９：００の間に音声による指示を受け付けた場合、遊びを提案する音声データを選択し、マイク１２が１９：００〜２１：００の間に音声による指示を受け付けた場合、就寝を促す音声データ又は目覚ましの時刻の設定を促す音声データを選択する。

また、処理決定部１８は、時間帯に応じて決定する処理の内容を制限してもよい。通信端末１は、ユーザに遊びを提案しない時間帯を登録することができる。処理決定部１８は、例えば、２０：００以降は遊びの機能を示す音声データを選択しない。

さらに、記憶部１３に、他端末３への電話発信を禁止する時間帯を記憶しておき、処理決定部１８は、所定の時間帯において他端末３へ電話発信を行わないようにしてもよい。

図１０は、電話発信をしない時間帯が記録された表である。図１０には、通信端末１は、父親が所有する携帯端末に９：００〜１８：００の間は電話発信をしないよう登録されている。また、通信端末１は、母親が所有する携帯端末に１７：００〜２０：００の間は電話発信をしないよう登録されている。このようにすると、処理決定部１８は、他端末３が着信できない時間帯に、電話発信の処理を決定しないため、他端末３の所有者が、通信端末１からの電話発信に煩わされることを防止できる。

また、処理決定部１８は、曜日に応じて決定する処理の内容を制限してもよい。通信端末１は、ユーザに遊びを提案しない曜日を登録することができる。処理決定部１８は、例えば、土曜日又は日曜日は遊び及び通信の機能を示す音声データを選択しない。処理決定部１８は、日付に応じて決定する処理の内容を制限してもよい。通信端末１は、ユーザに遊びを提案しない日付を登録することができる。処理決定部１８は、例えば、休日は遊び及び通信の機能を示す音声データを選択しない。

＜変形例４＞
処理決定部１８は、登録された他端末３へ、自端末の利用状況を所定の時間に送信してもよい。例えば、通信端末１は、毎日夕方１７：００になると、一日の利用状況を登録した親の携帯端末へテキストメッセージにて送信してもよい。こうすると、親は、家の留守中にユーザが通信端末１でどのような遊びをしたか把握することができる。

＜変形例５＞
処理決定部１８は、他端末３の状態に応じて処理を決定してもよい。他端末３のユーザは、他端末３にインストールされたアプリケーションソフトを利用して、通信端末１が他端末３に電話発信しない条件を登録することができる。例えば、他端末３が特定のアプリケーションソフトを使用中である場合、他端末３は、通信端末１に対して、電話着信を受けることができない旨を通知する。記憶部１３には、電話発信が可能であるかどうかを示すフラグが記憶されており、利用状況取得部１７は、電話着信を受けることができない旨の通知を取得すると、記憶部１３に記憶されているフラグを、電話発信を禁止する状態に設定する。処理決定部１８は、処理を決定する際にフラグを参照することで、他端末３のユーザが電話の着信を受けることができない場合に、他端末３に電話しないようにすることができる。

＜変形例６＞
処理決定部１８は、他端末に電話発信することを決定した場合、他端末が着信を受けるまで予め登録された順番で複数の他端末に電話発信を続けてもよい。例えば、通信端末１の所有者は、電話発信をする際の優先順序が、父親の携帯端末、母親の携帯端末、祖父の携帯端末であることを記憶部１３に登録しておく。こうすると、処理決定部１８が電話発信することを決定した場合、処理決定部１８は、予め登録された何れかの他端末が着信するまで電話発信を行うため、通信端末１のユーザは何れかの他端末のユーザと通話をすることができる。

＜実施形態における効果＞
以上説明したように、本実施形態の通信端末１は、音声による指示を認識した結果を取得できなかった場合又は音声による指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況及び他端末３の利用状況の少なくともいずれかに基づいて処理を決定する。上記の構成を採用した通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、ユーザにとって好ましい処理を決定できる。

通信端末１は、自端末において実行された処理の内容を示す自端末の利用状況を記憶し、記憶された前記自端末の利用状況を参照することにより、過去に実行した処理の内容に基づいて実行する処理を決定してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、ユーザが過去に選択した処理に基づいて実行する処理を選択できる。

通信端末１は、例えば、記憶された自端末の利用状況を参照することにより、音声による指示を受け付けた時点から過去の所定の期間までに実行した各処理の頻度に基づいて実行する処理を決定する。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、ユーザが選択する傾向がある処理を選択できる。

通信端末１は、例えば、音声による指示を受け付けた時点の日時及び曜日の少なくとも一つを含む情報に基づいて処理を決定する。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、時間帯に応じた処理を決定できる。

通信端末１は、通信端末１と通信可能な所定の他端末３の利用状況を取得し、受け付けた指示を認識した結果を取得できなかった場合又は受け付けた指示を認識した結果に基づいて処理を決定できない場合に、他端末３の利用状況にさらに基づいて処理を決定してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、自端末のユーザ及び他端末３のユーザにとって好ましい処理を決定できる。

通信端末１は、他端末３の位置情報を含む他端末の利用状況を取得し、位置情報が示す位置に基づいて、処理を決定してもよい。こうすると、通信端末１は、他端末３の所有者の所在に合わせて処理を決定できる。

通信端末１は、他端末３の位置が第１の範囲内にある場合、他端末３に電話の発信処理を行い、他端末３の位置が第２の範囲内にある場合、他端末３にテキストを送信してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、他端末３の所有者が電話着信できそうか否かに基づいて、処理を決定できる。

通信端末１は、例えば、他端末３の操作情報を含む他端末３の利用状況を取得し、操作情報に基づいて、処理を決定してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、他端末３の操作状況に合わせて処理を決定できる。

通信端末１は、例えば、他端末３が使用中であれば、他端末３に電話の発信処理を行い、他端末３が使用中でなければ、他端末３にテキストを送信してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、他端末３の所有者が電話着信できそうか否かに基づいて処理を決定できるので、電話発信をした場合に、通信端末１のユーザが他端末３の所有者と通話をできる可能性が高まる。

通信端末１は、例えば、自端末の利用状況に関連付けて複数の音声の話者の情報を記憶し、話者を特定する情報を含む音声の認識結果を取得し、取得した認識結果に対応する話者と、記憶された話者の情報とに基づいて処理を決定する。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、話者が過去に指示した内容を参照して処理を決定することができるので、話者が希望する処理を実行できる可能性が高まる。

通信端末１は、自端末の利用状況に関連付けて、音声の話者の感情を示す感情情報を記憶し、感情情報を含む音声の認識結果を取得し、取得した認識結果に含まれている感情情報と記憶している感情情報とに基づいて処理を決定してもよい。こうすると、通信端末１は、音声の指示に基づいて処理を決定できない場合であっても、話者の感情に適した処理を決定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

Ｓ・・・対話システム
Ｗ・・・無線通信回線
１・・・通信端末
２・・・サーバ
３・・・他端末
１１・・・スピーカ
１２・・・マイク
１３・・・記憶部
１４・・・制御部
１５・・・通信部
１６・・・認識結果取得部
１７・・・利用状況取得部
１８・・・処理決定部

Claims (13)

1. 音声による指示を受け付ける受付部と、
   前記音声の認識結果を取得する認識結果取得部と、
   前記認識結果取得部が、前記受付部が受け付けた前記指示を認識した結果を取得できなかった場合又は前記受付部が受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定する処理決定部と、
   を有する通信端末。
2. 前記自端末において実行された処理の内容を示す前記自端末の利用状況を記憶する記憶部を更に有し、
   前記処理決定部は、前記記憶部に記憶された前記自端末の利用状況を参照することにより、過去に実行した処理の内容に基づいて前記実行する処理を決定する、
   請求項１に記載の通信端末。
3. 前記処理決定部は、前記記憶部に記憶された前記自端末の利用状況を参照することにより、前記受付部が前記音声による前記指示を受け付けた時点から過去の所定の期間までに実行した各処理の頻度に基づいて前記実行する処理を決定する、
   請求項２に記載の通信端末。
4. 前記処理決定部は、前記受付部が前記音声による前記指示を受け付けた時点の日時及び曜日の少なくとも一つを含む情報に基づいて前記処理を決定する、
   請求項１乃至３の何れか１項に記載の通信端末。
5. 前記通信端末と通信可能な所定の他端末の利用状況を取得する利用状況取得部をさらに有し、
   前記処理決定部は、前記認識結果取得部が、前記受付部が受け付けた前記指示を認識した結果を取得できなかった場合又は前記受付部が受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、前記他端末の利用状況にさらに基づいて前記処理を決定する、
   請求項１乃至４の何れか１項に記載の通信端末。
6. 前記利用状況取得部は、前記他端末の位置情報を含む前記他端末の利用状況を取得し、
   前記処理決定部は、前記位置情報が示す位置に基づいて、前記処理を決定する、
   請求項５に記載の通信端末。
7. 前記処理決定部は、前記他端末の位置が第１の範囲内にある場合、前記他端末に電話の発信処理を行い、前記他端末の位置が第２の範囲内にある場合、前記他端末にテキストを送信する、
   請求項５又は６に記載の通信端末。
8. 前記利用状況取得部は、前記他端末の操作情報を含む前記他端末の利用状況を取得し、
   前記処理決定部は、前記操作情報に基づいて、前記処理を決定する、
   請求項５乃至７の何れか１項に記載の通信端末。
9. 前記処理決定部は、前記他端末が使用中であれば、前記他端末に電話の発信処理を行い、前記他端末が使用中でなければ、前記他端末にテキストを送信する、
   請求項８に記載の通信端末。
10. 前記記憶部は、前記自端末の利用状況に関連付けて複数の音声の話者の情報を記憶し、
    前記認識結果取得部は、前記話者を特定する情報を含む前記音声の認識結果を取得し、
    前記処理決定部は、前記認識結果取得部が取得した前記認識結果に対応する話者と、前記記憶部に記憶された前記話者の前記情報とに基づいて前記処理を決定する、
    請求項２又は３に記載の通信端末。
11. 前記記憶部は、前記自端末の利用状況に関連付けて、前記音声の話者の感情を示す感情情報を記憶し、
    前記認識結果取得部は、前記感情情報を含む前記音声の認識結果を取得し、
    前記処理決定部は、前記認識結果取得部が取得した前記認識結果に含まれている前記感情情報と前記記憶部が記憶している感情情報とに基づいて前記処理を決定する、
    請求項２、３又は１０に記載の通信端末。
12. 音声による指示を受け付けるステップと、
    前記音声の認識結果を取得するステップと、
    受け付けた前記指示を認識した結果を取得できなかった場合又は受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定するステップと、
    を有する通信方法。
13. 通信端末のコンピュータに、
    音声による指示を受け付けるステップと、
    前記音声の認識結果を取得するステップと、
    受け付けた前記指示を認識した結果を取得できなかった場合又は受け付けた前記指示を認識した結果に基づいて処理を決定できない場合に、自端末の利用状況に基づいて、実行する処理を決定するステップと、
    を実行させるためのプログラム。

Images