JP2021051212A - 情報処理方法 - Google Patents

Abstract

【課題】必要性が高い場合に再質問できる情報処理方法を提供する。【解決手段】情報処理方法は、ユーザへの質問を出力する出力ステップと、出力された質問に対するユーザの応答を取得する第１取得ステップと、質問の重要度、および、質問が出力されたときのユーザの応答の困難度の少なくとも一方を取得する第２取得ステップと、ユーザの応答が取得されない場合、取得された質問の重要度、および、ユーザの応答の困難度の少なくとも一方に応じて、質問の再出力を許可するか否か制御する制御ステップと、を備える。【選択図】図４

Description

本発明は、ユーザに対して音声を出力する技術に関する。

近年、対話型のカーナビゲーション装置などが普及している。特許文献１は、基本音声から理解されない単位表現を抽出し、抽出された単位表現が明確となるように、抽出された単位表現に関連した明確化質疑を提供する対話処理装置を開示する。

特開２０１７−５８６７３号公報

対話装置において、ユーザに質問を出力し、その質問に対するユーザの応答がない場合、再質問することが想定される。しかし、ユーザが意識的に質問を無視した可能性があるため、常に再質問すると煩わしい可能性がある。そのため、必要性が高い場合に再質問することが望まれる。

本発明の目的は、必要性が高い場合に再質問できる情報処理方法を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理方法は、ユーザへの質問を出力する出力ステップと、出力された質問に対するユーザの応答を取得する第１取得ステップと、質問の重要度、および、質問が出力されたときのユーザの応答の困難度の少なくとも一方を取得する第２取得ステップと、ユーザの応答が取得されない場合、取得された質問の重要度、および、ユーザの応答の困難度の少なくとも一方に応じて、質問の再出力を許可するか否か制御する制御ステップと、を備える。

本発明によれば、必要性が高い場合に再質問できる。

第１の実施の形態に係る情報処理システムの機能構成を示すブロック図である。 図１の情報処理システムを搭載した車両がドラッグストアＡＡ付近を走行する状況を示す図である。 図２の車両がドラッグストアＡＡの駐車場に駐車している状況を示す図である。 図１の情報処理装置の処理を示すフローチャートである。 第２の実施の形態に係る情報処理装置の処理を示すフローチャートである。 第３の実施の形態に係る情報処理装置の処理を示すフローチャートである。

（第１の実施の形態）
第１の実施の形態では、質問に対するユーザの応答が取得されない場合、質問が出力されたときのユーザの応答の困難度に応じて、質問の再出力を許可するか否か制御する。

図１は、第１の実施の形態に係る情報処理システム１の機能構成を示すブロック図である。情報処理システム１は、自動車である車両に搭載される。情報処理システム１は、ユーザと対話し、品物の購入に関するリマインドや、各種の質問を出力するエージェントまたは対話システムと呼ぶこともできる。情報処理システム１は、情報処理装置１０、マイク１２、ＧＰＳ受信部１４、スピーカ１６、センサ１８およびカメラ２０を備える。

マイク１２は、自車両の車室内に設けられ、車室内の音声を取得する。この音声は、情報処理システム１のユーザである車両の運転者による発話を含む。マイク１２は、取得した音声のデータを情報処理装置１０に出力する。

ＧＰＳ受信部１４は、ＧＰＳ衛星から信号を受信し、自車両の位置を導出する。自車両の位置は、車両に乗車したユーザの位置であるとする。自車両の位置は、緯度と経度を含む。ＧＰＳ受信部１４は、自車両の位置情報を情報処理装置１０に出力する。

スピーカ１６は、自車両の車室内に設けられ、音声を出力する音声出力装置である。

センサ１８は、自車両の各種の車両情報を検出する。車両情報は、車速、加速度、アクセル操作量、ブレーキ操作量、操舵角、イグニッションスイッチがオンであるかオフであるかの情報を含む。センサ１８は、検出した車両情報を情報処理装置１０に出力する。

カメラ２０は、自車両の車室内に配置され、運転者の上半身を撮影する。カメラ２０は、撮影した画像を情報処理装置１０に出力する。

情報処理装置１０は、位置取得部４０、品物情報取得部４２、第１取得部４８、第２取得部５０、制御部４４および出力部４６を備える。

情報処理装置１０において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

位置取得部４０は、ＧＰＳ受信部１４から自車両の位置情報を定期的に取得する。位置情報は緯度および経度を含む。位置取得部４０は、位置情報を制御部４４へ出力する。

情報処理システム１の利用状況の一例として、ユーザは、同じ日にレストラン、アミューズメント施設、ドラッグストアをこの順に車両で訪れる状況を想定する。ユーザは、ドラッグストアで品物を購入する予定であるが、一日に複数の予定があると、購入自体を忘れたり、何を購入するか忘れたりする可能性がある。また、複数の品物を購入する場合にも購入すべき品物を全て覚えておくことは難しい可能性がある。そこで、出発までにユーザは、リマインドして欲しい内容、すなわち購入を希望する品物と、その品物の販売店とを情報処理システム１に登録する。ここでは、品物は炭酸水と栄養ドリンクであり、それぞれの販売店は同じドラッグストアであるとする。それぞれの品物の販売店は異なってもよい。登録する品物は１つでも複数でもよい。

品物情報取得部４２は、ユーザによるボタン操作などのリマインド登録操作が行われた場合、マイク１２から音声信号を受け付け、音声信号に基づいて、ユーザにより発話された音声を音声認識する。音声認識結果は、テキストデータを含む。品物情報取得部４２は、音声認識結果にもとづいて、ユーザが購入を希望する品物および品物の販売店の情報を取得する。品物の情報は、品物名を含む。音声認識および音声認識結果から情報を取得する処理は、周知の技術を用いて実行できる。

ユーザは、たとえば図示しないボタンを操作して「ドラッグストアＡＡで炭酸水を買うの覚えておいて」と発話する。また、ユーザは、ボタンを操作して「ドラッグストアＡＡで栄養ドリンクを買うの覚えておいて」と発話する。これらの発話により、品物情報取得部４２は、品物名として「炭酸水」、「栄養ドリンク」を取得し、品物の種類として「飲食物」を取得し、品物の販売店として「ドラッグストアＡＡ」を取得する。品物情報取得部４２は、取得した情報を制御部４４に供給する。

品物情報取得部４２は、図示しないタッチパネルに入力された情報にもとづいて、品物名、品物の種類および品物の販売店の情報を取得してもよい。この場合、図示しない表示部に表示された地図上で販売店が指定されてもよい。

制御部４４は、品物情報取得部４２から品物の情報などが供給された場合、リマインドが登録されたことを示す応答内容を出力部４６に供給する。この応答内容は、たとえば「覚えておくよ」という所定のテキストデータである。

出力部４６は、制御部４４から応答内容が供給された場合、応答内容を、スピーカ１６を介して出力する。具体的には出力部４６は、供給された応答内容のテキストデータを音声信号に変換してスピーカ１６に出力する。スピーカ１６は、出力部４６から出力された音声信号に基づいて、応答内容を音声で出力する。ユーザの「ドラッグストアＡＡで炭酸水を買うの覚えておいて」という発話に対して情報処理システム１が「覚えておくよ」と応答するので、ユーザはリマインドが登録されたことを把握できる。発話が不適切または不明確であるなどの理由で品物情報取得部４２が品物名などを取得できない場合、情報処理システム１は応答しないため、ユーザは登録が失敗したことを把握でき、再度発話してリマインドを登録できる。なお、出力部４６は、図示しない表示部にキャラクタを表示させてもよい。この場合、出力部４６は、キャラクタが音声を出力し、ユーザと対話しているようにアニメーション表示させてもよい。

制御部４４は、品物情報取得部４２から供給された品物と販売店の情報にもとづいて、品物の購入に関するリマインドを作成する。リマインドは、たとえば『「販売店」で「品物名」を買うって言ってたよね』という内容のテキストデータである。リマインドは、複数の品物名を含んでもよい。

制御部４４は、所定のリマインド条件が満たされた場合、作成したリマインドのデータを出力部４６に供給する。

リマインド条件は、位置取得部４０から供給されたユーザの位置が販売店から所定距離内にあることである。販売店の位置は、制御部４４が保持する地図データにもとづいて緯度および経度で特定される。地図データは、車両に搭載された図示しないカーナビゲーション装置から供給されてもよいし、無線通信により外部サーバから供給されてもよい。所定距離は、たとえば十メートルから百メートルの間であってよく、実験などにより適宜定めることができる。

出力部４６は、制御部４４からリマインドのデータが供給された場合、つまりリマインド条件が満たされた場合、供給されたリマインドを、スピーカ１６を介して出力する。新たにリマインド条件が満たされる度にリマインドは出力される。

ユーザは、車両でレストランに移動し、レストランで昼食をとり、その後アミューズメント施設に移動したとする。アミューズメント施設を楽しんだユーザは、アミューズメント施設を出発し、ドラッグストアＡＡで買い物することを忘れ、自宅へ向かう途中にドラッグストアＡＡ付近を走行したとする。

図２は、図１の情報処理システム１を搭載した車両１００がドラッグストアＡＡ付近を走行する状況を示す。図２の位置でリマインド条件が満たされ、情報処理システム１は、「ドラッグストアＡＡで炭酸水と栄養ドリンクを買うって言ってたよね」とリマインドを発話する。これにより車両１００のユーザは、ドラッグストアＡＡで購入すべき品物を思い出し、ドラッグストアＡＡに移動して買い物できる。

なお、リマインド条件は、ユーザの位置が販売店から所定距離内にあり、かつ、イグニッションスイッチがオフされたことであってもよい。この場合、ユーザは、何を購入するか忘れているが販売店に行くことは覚えており、車両を販売店付近に駐車したことが想定される。ユーザは、運転操作を行っていないためリマインドを聞き取りやすい。

情報処理システム１がリマインドを発話した後、ユーザはドラッグストアＡＡの駐車場に駐車してイグニッションスイッチをオフし、ユーザは車両１００を降りて商品を購入することが想定される。その後、ユーザは車両１００に戻り、イグニッションスイッチをオンする。

制御部４４は、リマインドのデータを出力部４６に供給し、かつ、イグニッションスイッチがオンされた場合、ユーザへの質問を出力部４６に供給する。ユーザへの質問は、リマインドの確認であり、たとえば『「商品名」買った？』というテキストデータである。出力部４６は、制御部４４からユーザへの質問が供給された場合、ユーザへの質問を、スピーカ１６を介して出力する。

図３は、図２の車両１００がドラッグストアＡＡの駐車場に駐車している状況を示す。図３は、図２に続く状況を表す。車両１００に戻ったユーザがイグニッションスイッチをオンすると、情報処理システム１は「炭酸水と栄養ドリンク買った？」と質問を発話する。

第１取得部４８は、出力部４６がユーザへの質問を出力し、かつ、ユーザによるボタン操作などの音声認識操作が行われた場合、所定の音声認識期間の間、マイク１２から音声信号を受け付け、音声信号に基づいて、ユーザにより発話された音声を音声認識する。第１取得部４８は、出力部４６がユーザへの質問を出力した場合、音声認識操作の有無を用いずに、所定の音声認識期間の間、マイク１２から音声信号を受け付けてもよい。第１取得部４８は、音声認識結果にもとづいて、出力された質問に対するユーザの応答を取得する。

ユーザの応答は、「買った」または「買ってない」が想定される。ユーザの応答がない場合も想定される。

制御部４４は、第１取得部４８でユーザの応答「買った」が取得された場合、「いいね！」というテキストデータを出力部４６に供給し、その音声を出力部４６に出力させ、出力部４６に質問とリマインドを再出力させない。これにより、不要なリマインドと質問によりユーザに煩わしく感じさせないようにできる。

制御部４４は、第１取得部４８でユーザの応答「買ってない」が取得された場合、「大丈夫？」というテキストデータを出力部４６に供給し、その音声を出力部４６に出力させ、出力部４６による質問とリマインドの再出力を許可する。これにより、車両が品物の販売店に再度近づいた場合、もう一度リマインドと質問を行い、ユーザに品物を購入させやすくなる。

第２取得部５０は、出力部４６からユーザへの質問が出力されたときの車両の車両情報をセンサ１８から取得し、取得した車両情報にもとづいて、出力部４６からユーザへの質問が出力されたときの車両の走行状態を特定する。

第２取得部５０は、出力部４６からユーザへの質問が出力されたときの運転者の画像をカメラ２０から取得し、取得した画像にもとづいて、出力部４６からユーザへの質問が出力されたときのユーザの行動を特定する。

第２取得部５０は、出力部４６からユーザへの質問が出力されたときの音声信号をマイク１２から取得し、取得した音声信号にもとづいて、出力部４６からユーザへの質問が出力されたときの車室内環境を特定する。

第２取得部５０は、出力部４６からユーザへの質問が出力されたときの車両の走行状態、ユーザの行動または車両の車室内環境にもとづいて、出力部４６から質問が出力されたときのユーザの応答の困難度を取得する。

車両の走行状態が、たとえば高速走行状態、加速状態、制動状態または操舵状態である場合、運転者は車両の運転操作に集中しており、応答は困難な可能性があるため、応答の困難度は所定の第２基準値以上である。

運転者の行動が、たとえば周囲を見回す行動である場合、運転者は何かを探しているか、道に迷っているなどの可能性があり、応答は困難な可能性があるため、応答の困難度は第２基準値以上である。

車両の車室内環境が、たとえば騒音やオーディオなどによる比較的大きい音量の環境である場合、出力された質問を運転者が正確に聞き取ることは困難であるため、応答の困難度は第２基準値以上である。

制御部４４は、第１取得部４８でユーザの応答が取得されない場合、ユーザの応答の困難度に応じて、出力部４６による質問とリマインドの再出力を許可するか否か制御する。制御部４４は、ユーザの応答が取得されない場合、応答の困難度が第２基準値以上であれば、出力部４６による質問とリマインドの再出力を許可する。この場合、ユーザは質問に答えられなかった確率が高いためである。

制御部４４は、ユーザの応答が取得されない場合、応答の困難度が第２基準値未満であれば、出力部４６に質問とリマインドを再出力させない。この場合、ユーザは質問を無視した確率が高いためである。

これにより、必要性が高い場合に再質問でき、必要性が低い場合に再質問しないようにできる。

制御部４４は、ユーザの応答が取得されない場合、応答の困難度によらず、「大丈夫？」というテキストデータを出力部４６に供給し、この内容の音声を出力部４６に出力させてもよい。

また、制御部４４は、リマインドの確認以外の質問、たとえば「明日の天気知ってる？」または「今日は何の日か知ってる？」などの雑談の質問を所定のタイミングで出力部４６に供給し、出力部４６に出力させる。制御部４４は、この質問に対するユーザの応答が取得された場合、応答内容に基づいて発話のデータを生成し、出力部４６に発話を出力させるとともに、この質問の再出力を許可する。制御部４４は、この質問に対するユーザの応答が取得されない場合、応答の困難度が第２基準値以上であれば、この質問の再出力を許可する。制御部４４は、ユーザの応答が取得されない場合、応答の困難度が第２基準値未満であれば、この質問を再出力させない。制御部４４は、再出力を許可するか否か質問毎に決める。ユーザが「明日の天気知ってる？」という質問に答えたくなく、無視した場合、この質問は再出力されないので、ユーザに煩わしく感じさせ難くできる。

次に、以上の構成による情報処理システム１の全体的な動作を説明する。図４は、図１の情報処理装置１０の処理を示すフローチャートである。図４の処理は、制御部４４が出力部４６に質問を供給すると実行される。

出力部４６は、ユーザへの質問を出力し（Ｓ３０）、第１取得部４８は、ユーザの応答を取得し（Ｓ３２）、第２取得部５０は、質問が出力されたときのユーザの応答の困難度を取得する（Ｓ３４）。ユーザの応答がある場合（Ｓ３６のＹ）、制御部４４は、質問と応答内容にもとづいて質問の再出力を許可または禁止し（Ｓ３８）、処理を終了する。

ユーザの応答がない場合（Ｓ３６のＮ）、応答の困難度が第２基準値以上であれば（Ｓ４０のＹ）、制御部４４は質問の再出力を許可し（Ｓ４２）、処理を終了する。応答の困難度が第２基準値以上でなければ（Ｓ４０のＮ）、制御部４４は質問の再出力を禁止し（Ｓ４４）、処理を終了する。

（第２の実施の形態）
第２の実施の形態では、質問に対するユーザの応答が取得されない場合、応答の困難度に替えて、質問の重要度に応じて質問の再出力を許可するか否か制御することが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。

図示は省略するが、情報処理システム１は、図１のセンサ、カメラを備えなくてよい。情報処理システム１は、第１の実施の形態の発話に加え、ユーザの誕生日を取得し、誕生日を祝う発話を行う。制御部４４は、たとえば３週間などの所定期間が経過する毎にユーザへの誕生日の質問のデータを出力部４６に供給し、誕生日の質問の音声を出力部４６に出力させる。ユーザへの誕生日の質問は、たとえば「誕生日を教えて？」である。ユーザが誕生日の質問に応答して誕生日を発話すると、第１取得部４８は誕生日を取得する。

制御部４４は、誕生日が取得された場合、取得された誕生日を保持し、出力部４６に誕生日の質問を停止させる。制御部４４は、現在日時が取得された誕生日に近づくと、誕生日を祝う「もうすぐ誕生日だね。おめでとう。」などのテキストデータを出力部４６に供給し、この内容の音声を出力部４６に出力させる。

第２取得部５０は、それぞれの質問の重要度を含むデータベースを保持している。たとえば、ユーザへの誕生日の質問の重要度は、所定の第１基準値以上である。『「商品名」買った？』というリマインドの確認の重要度、および、「明日の天気知ってる？」などの雑談の質問の重要度は、第１基準値未満である。第２取得部５０は、制御部４４から供給された質問のデータにもとづいて当該質問の重要度を取得し、取得した重要度を制御部４４に供給する。

制御部４４は、出力された質問に対するユーザの応答が第１取得部４８で取得されない場合、その質問の重要度が第１基準値以上であれば、出力部４６によるその質問の再出力を許可する。よって、誕生日の質問は、ユーザの誕生日が取得されるまで繰り返される。誕生日の質問に対する応答が取得されない場合、誕生日を祝う発話サービスを提供できないため、再質問することが望ましいためである。これにより、相対的に重要な質問へのユーザの応答を取得しやすくなる。

制御部４４は、出力された質問に対するユーザの応答が第１取得部４８で取得されない場合、その質問の重要度が第１基準値未満であれば、出力部４６にその質問を再出力させない。これにより、ユーザに煩わしく感じさせ難くできる。

よって、必要性が高い場合に再質問でき、必要性が低い場合に再質問しないようにできる。

図５は、第２の実施の形態に係る情報処理装置１０の処理を示すフローチャートである。Ｓ３０，Ｓ３２の処理は、図４と同一である。Ｓ３２の後、第２取得部５０は、質問の重要度を取得する（Ｓ４６）。続くＳ３６，Ｓ３８の処理は図４と同一である。Ｓ３６でユーザの応答がない場合（Ｓ３６のＮ）、質問の重要度が第１基準値以上であれば（Ｓ４８のＹ）、図４と同じＳ４２の処理を実行する。質問の重要度が第１基準値以上でなければ（Ｓ４８のＮ）、図４と同じＳ４４の処理を実行する。

（第３の実施の形態）
第３の実施の形態では、質問に対するユーザの応答が取得されない場合、ユーザの応答の困難度および質問の重要度に応じて質問の再出力を許可するか否か制御することが、第１の実施の形態と異なる。以下、第１の実施の形態との相違点を中心に説明する。

情報処理システム１の構成は図１と同じである。制御部４４は、応答が取得されない場合、質問の重要度が第１基準値以上であれば、出力部４６による質問の再出力を許可する。制御部４４は、応答が取得されない場合、質問の重要度が第１基準値未満であり、かつ、応答の困難度が第２基準値以上であれば、出力部４６による質問の再出力を許可する。制御部４４は、応答が取得されない場合、質問の重要度が第１基準値未満であり、かつ、応答の困難度が第２基準値未満であれば、出力部４６に質問を再出力させない。

これにより、必要性が高い場合に再質問でき、必要性が低い場合に再質問しないようにできる。

図６は、第３の実施の形態に係る情報処理装置１０の処理を示すフローチャートである。Ｓ３０，Ｓ３２の処理は、図４と同一である。Ｓ３２の後、第２取得部５０は、質問の重要度と、ユーザの応答の困難度とを取得する（Ｓ５０）。続くＳ３６，Ｓ３８の処理は図４と同一である。Ｓ３６でユーザの応答がない場合（Ｓ３６のＮ）、質問の重要度が第１基準値以上であれば（Ｓ４８のＹ）、図４と同じＳ４２の処理を実行する。質問の重要度が第１基準値以上でない場合（Ｓ４８のＮ）、応答の困難度が第２基準値以上であれば（Ｓ４０のＹ）、Ｓ４２の処理を実行する。応答の困難度が第２基準値以上でなければ（Ｓ４０のＮ）、図４と同じＳ４４の処理を実行する。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、情報処理システム１は車両に搭載される一例について説明したが、情報処理システム１は、ユーザにより所持されるスマートフォンなどの携帯端末として構成されてもよい。

１…情報処理システム、１０…情報処理装置、４０…位置取得部、４２…品物情報取得部、４４…制御部、４６…出力部、４８…第１取得部、５０…第２取得部。

Claims (1)

1. ユーザへの質問を出力する出力ステップと、
   出力された質問に対するユーザの応答を取得する第１取得ステップと、
   質問の重要度、および、質問が出力されたときのユーザの応答の困難度の少なくとも一方を取得する第２取得ステップと、
   ユーザの応答が取得されない場合、取得された質問の重要度、および、ユーザの応答の困難度の少なくとも一方に応じて、質問の再出力を許可するか否か制御する制御ステップと、
   を備えることを特徴とする情報処理方法。

Images