JP2020077000A - インタラクション装置、インタラクション方法、プログラム、および車両制御方法 - Google Patents

Abstract

【課題】利用者の心情状態を推定すると共に利用者の心情状態に応じた応答を生成すること。【解決手段】利用者の認識情報を取得する取得部と、取得部により取得された認識情報に対して応答する応答部と、を備え、応答部は、認識情報に基づいて、利用者の心情状態を示す指標を導出し、導出した指標に基づいた態様で応答内容を決定する、インタラクション装置である。【選択図】図１

Description

本発明は、インタラクション装置、インタラクション方法、プログラム、および車両制御方法に関する。
本願は、２０１７年６月１６日に、日本に出願された特願２０１７−１１８７０１号に基づき優先権を主張し、その内容をここに援用する。

近年、利用者とコミュニケーションを行うロボット装置が研究されている。例えば、特許文献１には、利用者の言動などの外部状況に基づいて感情を表出するロボット装置が記載されている。

特開２０１７−０７７５９５号公報

特許文献１記載のロボット装置は、利用者のロボット装置に対する行動に基づいてロボット装置の感情を生成するものであり、利用者の心情状態に応じてロボット装置の制御を行うものではなかった。

本発明は、このような事情を考慮してなされたものであり、利用者の心情状態を推定すると共に利用者の心情状態に応じた応答を生成することができるインタラクション装置、インタラクション方法、プログラム、および車両制御方法を提供することを目的の一つとする。

この発明に係る情報処理装置は、以下の構成を採用した。
（１）：この発明の一態様に係るインタラクション装置は、利用者の認識情報を取得する取得部と、前記取得部により取得された前記認識情報に対して応答する応答部と、を備え、前記応答部は、前記認識情報に基づいて、前記利用者の心情状態を示す指標を導出し、導出した前記指標に基づいた態様で応答内容を決定する、インタラクション装置である。

（２）：上記（１）の態様において、前記応答部は、前記認識情報と前記応答内容との関係の過去の履歴に基づいて、前記応答内容を決定するものである。

（３）：上記（１）または（２）の態様において、前記応答部は、前記応答に対する前記利用者の前記認識情報に基づいて、前記利用者の不快度を前記指標として導出するものである。

（４）：上記（１）から（３）のうちいずれか１つの態様において、前記応答部は、前記応答に対する前記利用者の前記認識情報に基づいて、前記利用者の親密度を前記指標として導出するものである。

（５）：上記（１）から（４）のうちいずれか１つの態様において、前記応答部は、前記応答内容にゆらぎを持たせるものである。

（６）：上記（１）から（５）のうちいずれか１つの態様において、前記応答部は、前記応答に対する前記利用者の前記認識情報の過去の履歴に基づいて、前記応答内容に対する前記指標を導出し、前記導出した指標と、実際に取得された前記応答内容に対する指標との差に基づいて、前記指標を導出するためのパラメータを調整するものである。

（７）：この発明の一態様に係るインタラクション方法は、コンピュータが、利用者の認識情報を取得し、取得した前記認識情報に対して応答し、前記認識情報に基づいて、前記利用者の心情状態を示す指標を導出し、導出した前記指標に基づいた態様で応答内容を決定する、インタラクション方法である。

（８）：この発明の一態様に係るプログラムは、コンピュータに、利用者の認識情報を取得させ、取得させた前記認識情報に対して応答させ、前記認識情報に基づいて、前記利用者の心情状態を示す指標を導出させ、導出させた前記指標に基づいた態様で応答内容を決定させる、プログラムである。

（９）：この発明の一態様に係るインタラクション装置は、利用者の認識情報を取得する取得部と、前記取得部により取得された前記認識情報を分析して前記認識情報の内容に関連した情報を含むコンテキスト情報を生成し、前記コンテキスト情報に基づいて前記利用者の心情状態に応じた応答内容を決定する応答部と、を備え、前記応答部は、記憶部に記憶された過去の前記コンテキスト情報に基づいて生成された応答内容に対応する前記利用者の応答履歴を参照し、前記利用者に対して応答するためのコンテキスト応答を生成するコンテキスト応答生成部と、前記応答内容により変化する前記利用者の心情状態を示す指標を算出し、前記コンテキスト応答生成部により生成された前記コンテキスト応答と、前記指標とに基づき応答態様を変化させた新たな応答内容を決定する応答生成部と、を備える、インタラクション装置である。

（１０）：上記（９）の態様において、前記応答生成部は、決定した前記応答内容を前記コンテキスト情報に関連付けて応答履歴として前記記憶部の応答履歴記憶部に記憶させ、前記コンテキスト応答生成部は、前記応答履歴記憶部に記憶された前記応答履歴を参照し、前記利用者に対して応答するための新たなコンテキスト応答を生成するものである。

（１１）：上記（９）または（１０）の態様において、前記取得部は、利用者の反応に関するデータを取得して数値化した前記認識情報を生成し、前記認識情報と予め学習されたデータとの比較結果に基づいて特徴量を算出し、前記応答部は、前記取得部により算出された前記特徴量に基づいて前記認識情報を分析し、前記コンテキスト情報を生成するものである。

（１）、（７）、（８）、（９）によれば、利用者の心情状態を推定すると共に利用者の心情状態に応じた応答を生成することができる。

（２）によれば、応答内容に対する利用者の反応を予め予測し、利用者との親密な対話が実現できる。

（３）、（４）、（１０）によれば、利用者の心情状態を推定することで、応答内容を変更して利用者との親密さを向上させることができる。

（５）によれば、導出される指標を好ましい方向になるように応答を変える上で、指標が局所的な最適解に陥ることで応答が改善しないという状態が生じるのを回避することができる。

（６）、（１１）によれば、予測された利用者の心情状態と実際に取得された利用者の心情状態との間に差がある場合に、フィードバックによって応答内容を調整することができる。

インタラクション装置１の構成の一例を示す図である。 推定部１３により導出された指標の一例を示す図である。 推定部１３により導出された指標の一例を示す図である。 車両が検出する状態に対応つけられたタスクデータ３３の内容の一例を示す図である。 利用者Ｕに提供される情報の一例を示す図である。 インタラクション装置１の処理の流れの一例を示すフローチャートである。 自動運転車両１００に適用されたインタラクション装置１Ａの構成の一例を示す図である。 インタラクションシステムＳの構成の一例を示す図である。 インタラクションシステムＳＡの構成の一例を示す図である。 変形例に係るインタラクション装置１の一部の詳細な構成の一例を示す図である。

以下、図面を参照し、本発明のインタラクション装置の実施形態について説明する。図１は、インタラクション装置１の構成の一例を示す図である。インタラクション装置１は、例えば、車両に搭載される情報提供装置である。インタラクション装置１は、例えば、車両の故障等の車両に関する情報を検出し、利用者Ｕに情報を提供する。

［装置構成］
インタラクション装置１は、例えば、検出部５と、車両センサ６と、カメラ１０と、マイク１１と、取得部１２と、推定部１３と、応答制御部２０と、スピーカ２１と、入出力ユニット２２と、記憶部３０とを備える。記憶部３０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などにより実現される。記憶部３０には、例えば、認識情報３１と、履歴データ３２と、タスクデータ３３と、応答パターン３４とが記憶されている。

取得部１２と、推定部１３と、応答制御部２０とは、それぞれ、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、上記の機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置（不図示）に装着されることで記憶装置にインストールされてもよい。推定部１３と応答制御部２０とを合わせたものが、「応答部」の一例である。

車両センサ６は、車両に設けられたセンサであり、部品の故障、損耗、液量の低下、断線などの状態を検出する。検出部５は、車両センサ６の検出結果に基づいて、車両に生じている故障や損耗などの状態を検出する。

カメラ１０は、例えば、車両内に設置され、利用者Ｕを撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、例えば、ルームミラーに取り付けられ、利用者Ｕの顔を含む領域を撮像し撮像データを取得する。カメラ１０は、ステレオカメラであってもよい。マイク１１は、例えば、利用者Ｕの声の音声データを収録する。マイク１１は、カメラ１０に内蔵されていてもよい。カメラ１０およびマイク１１が取得したデータは、取得部１２により取得される。

スピーカ２１は、音声を出力する。入出力ユニット２２は、例えば、ディスプレイ装置を含み、画像を表示する。また、入出力ユニット２２は、利用者Ｕによる入力操作を受け付けるためのタッチパネル、スイッチ、キーなどを含む。スピーカ２１および入出力ユニット２２を介してタスク情報に関する情報が応答制御部２０から提供される。

推定部１３は、認識情報３１に基づいて、利用者Ｕの心情状態を示す指標を導出する。
推定部１３は、例えば、利用者Ｕの表情や声に基づいて、利用者Ｕの感情を離散データ化した指標を導出する。

指標には、例えば、利用者Ｕが、インタラクション装置１の仮想的な応答主体に対して感じる親密度や、利用者Ｕが感じている不快感を示す不快度がある。以下、親密度は、プラスで表され、不快度は、マイナスで表されるものとする。

図２および図３は、推定部１３により導出された指標の一例を示す図である。推定部１３は、例えば、認識情報３１の利用者Ｕの画像に基づいて、利用者Ｕの親密度、および不快度を導出する。推定部１３は、取得された利用者Ｕの顔の画像における目、口の位置、大きさを特徴量として取得し、取得された特徴量を表情の変化を示す数値としてパラメータ化する。

更に、推定部１３は、認識情報３１の利用者Ｕの声の音声データを解析し、声の変化を示す数値としてパラメータ化する。推定部１３は、例えば、音声の波形データを高速フーリエ変換（FFT ：Fast Fourier Transform）し、波形成分の解析によって音声をパラメータ化する。推定部１３は、それぞれのパラメータに係数を乗じて重みを付けてもよい。推定部１３は、表情のパラメータと声のパラメータとに基づいて、利用者Ｕの親密度および不快度を導出する。

応答制御部２０は、例えば、検出部５により検出された車両の状態変化に基づいて、利用者Ｕが行動すべきタスクを決定する。利用者Ｕが行動すべきタスクとは、例えば、車両が何らかの状態を検出した場合に利用者Ｕに与えられる指示である。例えば、検出部５が車両センサ６の検出結果に基づいて、故障を検出した場合、応答制御部２０により利用者Ｕに故障個所を修理すべき旨の指示が利用者Ｕに与えられる。

タスクは、車両が検出する状態に対応付けられてタスクデータ３３として記憶部３０に記憶されている。図４は、車両が検出する状態に対応つけられたタスクデータ３３の内容の一例を示す図である。

応答制御部２０は、検出部５により検出された検出結果に対応するタスクを、タスクデータ３３を参照して決定する。応答制御部２０は、利用者Ｕが行動すべきタスクに対して時系列でタスク情報を生成する。応答制御部２０は、タスク情報に関する情報をスピーカ２１又は入出力ユニット２２を介して外部に出力する。タスク情報に関する情報とは、タスクに対応付けられた具体的なスケジュール等である。例えば、利用者Ｕに修理をすべき旨の指示が行われる場合、具体的な修理の方法や修理の依頼方法等に関する情報が提示される。

また、応答制御部２０は、推定部１３により推定された心情状態に基づいて、応答内容を変更する。応答内容とは、スピーカ２１と、入出力ユニット２２とを介して利用者Ｕに提供される情報の内容である。

例えば、対話形式で利用者Ｕに情報が伝達される場合に、インタラクション装置１が伝達する情報の内容が利用者Ｕとインタラクション装置１との親密度によって変更される。
例えば、親密度が高ければ情報が友達口調で伝達され、親密度が低ければ丁寧語で伝達される。親密度が高い場合、情報の伝達だけでなく、雑談等の親しみを込めた会話等が追加されてもよい。応答に対する利用者Ｕの反応を示す指標は、例えば、応答制御部２０により時系列の履歴データ３２として記憶部３０に記憶される。

［装置の動作］
次に、インタラクション装置１の動作について説明する。検出部５が車両センサ６の検出結果に基づいて、車両に生じている故障等の状態変化を検出する。応答制御部２０は、検出された車両の状態変化に対して利用者Ｕが行動すべきタスクを提供する。応答制御部２０は、例えば、検出部５が検出した車両の状態に基づいて、車両の状態に対応するタスクを記憶部３０に記憶されたタスクデータ３３から読み出し、タスク情報を生成する。

応答制御部２０は、タスク情報に関する情報をスピーカ２１又は入出力ユニット２２を介して外部に出力する。まず、応答制御部２０は、例えば、利用者Ｕに対して車両に関する情報がある旨の通知を行う。このとき、応答制御部２０は、対話形式で情報がある旨の通知を行い、利用者Ｕにリアクションをさせる。

取得部１２は、応答制御部２０から出力された通知に対する利用者Ｕの表情や反応を認識情報３１として取得する。推定部１３は、応答に対する利用者Ｕの反応を示す認識情報３１に基づいて、利用者Ｕの心情状態を推定する。心情状態の推定において、推定部１３は、心情状態を示す指標を導出する。

推定部１３は、例えば、認識情報３１に基づいて、利用者Ｕの親密度および不快度を導出する。応答制御部２０は、推定部１３により導出された指標の値の高低に基づいて、情報提供をする際の応答内容を変更する。

応答制御部２０は、指標と応答内容との関係が時系列で記憶された過去の履歴データ３２に基づいて、応答内容を決定する。応答制御部２０は、生成された応答内容に基づいて、スピーカ２１と入出力ユニット２２とを介して利用者Ｕに情報を提供する。このとき、応答制御部２０は、タスク情報に関する情報を出力する際、推定部１３により推定された利用者Ｕの親密度および不快度に基づいて応答を変更する。

応答の変更は、例えば、利用者Ｕの行動が認識された認識情報３１に基づいて、推定部１３が利用者の親密度および不快度を導出することで行われる。そして、応答制御部２０は、導出された指標に基づいた態様で応答内容を決定する。図５は、利用者Ｕに提供される情報の一例を示す図である。図示するように、親密度の指標の高低によって応答内容が変更される。

また、応答制御部２０は、利用者Ｕの不快度の絶対値が基準以上である場合、不快となる度合いが最小となるよう応答内容を変更する。例えば、利用者Ｕの不快度高くなった場合、応答制御部２０は、次の応答において、丁寧な口調によってタスク情報に関する情報を利用者Ｕに伝達する。応答制御部２０は、不快度の絶対値が閾値を超えた場合、謝罪の応答をしてもよい。

応答制御部２０は、記憶部３０に記憶された応答パターン３４に基づいて、応答内容を生成する。応答パターン３４は、利用者Ｕの親密度および不快度に対応した応答が予め定められたパターンで規定された情報である。応答パターン３４を使用するのではなく、人工知能による自動応答を行ってもよい。

応答制御部２０は、応答パターン３４に基づいて、タスクに応じた応答内容を決定し、利用者Ｕに応答内容を提示する。応答制御部２０は、応答パターン３４を用いずに、履歴データ３２に基づいて機械学習を行い、利用者Ｕの心情状態に対応する応答を決定してもよい。

応答制御部２０は、応答内容にゆらぎを持たせてもよい。ゆらぎとは、応答内容を一意に定めるのでなく、利用者Ｕが示した一つの心情状態に対して応答を変化させることをいう。応答内容にゆらぎを持たせることにより、導出される指標を好ましい方向になるように応答を変える上で、指標が局所的な最適解に陥ることで応答が改善しないという状態が生じるのを回避することができる。

例えば、応答制御部２０が決定した応答内容により、利用者Ｕとインタラクション装置１との親密度が高くなった状態で所定期間が経過した場合、応答制御部２０が決定する応答内容が所定の内容に収束し、利用者Ｕの親密度が所定の値に保たれる場合がある。

応答制御部２０は、このような状態において、導出される指標を好ましい方向になるように応答を変えるため、応答内容にゆらぎを持たせ、より親密度が高まるよう応答パターンを生成する。また、応答制御部２０は、現在の親密度が高いと判定された場合でも、意図的に応答内容に揺らぎを持たせてもよい。このような応答内容を行うことで、より親密度の高まる応答パターンが発見される可能性がある。

また、利用者Ｕがインタラクション装置１の応答を行うキャラクタを選択または自分で設定することにより、利用者Ｕは、自分の趣向に応じたキャラクタと対話を行うようにしてもよい。

応答制御部２０による応答に対する利用者Ｕの心情状態の反応は、予測された心情状態と差がある場合がある。この場合、実際に取得された利用者Ｕの認識情報に基づいて心情状態の予測を調整してもよい。推定部１３は、応答制御部２０による応答に対する利用者Ｕの認識情報３１の過去の履歴データ３２に基づいて、利用者Ｕの心情状態を予測して応答内容を決定する。取得部１２は、利用者Ｕの表情等の認識情報３１を取得する。

推定部１３は、認識情報３１に基づいて、導出された指標と、実際に取得された応答内容に対する指標とを比較し、２つの指標の間に差が生じた場合、指標を導出するためのパラメータを調整する。推定部１３は、例えば、それぞれのパラメータに係数を掛け、係数を調整することによって導出される指標の値を調整する。

［処理フロー］
次に、インタラクション装置１の処理の流れについて説明する。図６は、インタラクション装置１の処理の流れの一例を示すフローチャートである。応答制御部２０は、検出部５により検出された検出結果に基づいて、利用者Ｕが行動すべきタスクがある旨の通知をする（ステップＳ１００）。取得部１２は、通知に対する利用者Ｕのリアクションを認識し、認識情報３１を取得する（ステップＳ１１０）。推定部１３は、認識情報３１に基づいて、利用者Ｕの心情状態を示す指標を導出する（ステップＳ１２０）。

応答制御部２０は、指標に基づいて、情報提供時の利用者Ｕへの応答内容を決定する（ステップＳ１３０）。取得部１２は、応答に対する利用者Ｕのリアクションを認識して認識情報３１を取得し、推定部１３は、予測された指標と、実際に取得された応答内容に対する指標とを比較し、２つの指標の間に差が生じるか否かによって利用者Ｕの反応が予測通りか否かを判定する（ステップＳ１４０）。推定部１３は、２つの指標の間に差が生じた場合、指標を導出するためのパラメータを調整する（ステップＳ１５０）。

以上説明したインタラクション装置１によれば、情報提供時に利用者Ｕの心情状態に応じた応答内容で応答することができる。また、インタラクション装置１によれば、利用者Ｕとの親密度を導出することにより、情報提供において親密さを演出することができる。
更に、インタラクション装置１によれば、利用者Ｕの不快度を導出することにより、利用者Ｕが快適となる対話を演出することができる。

［変形例１］
上述したインタラクション装置１は、自動運転車両１００に適用してもよい。図７は、自動運転車両１００に適用されたインタラクション装置１Ａの構成の一例を示す図である。以下の説明では、上記と同様の構成については同一の名称および符号を用い、重複する説明については適宜省略する。

ナビゲーション装置１２０は、目的地までの経路を推奨車線決定装置１６０に出力する。推奨車線決定装置１６０は、ナビゲーション装置１２０が備える地図データよりも詳細な地図を参照し、車両が走行する推奨車線を決定し、自動運転制御装置１５０に出力する。また、インタラクション装置１Ａは、ナビゲーション装置１２０の一部として構成されてもよい。

自動運転制御装置１５０は、外部センシング部１１０から入力される情報に基づいて、推奨車線決定装置１６０から入力される推奨車線に沿って走行するように、エンジンやモータを含む駆動力出力装置１７０、ブレーキ装置１８０、ステアリング装置１９０のうち一部または全部を制御する。

このような自動運転車両１００では、利用者Ｕが自動運転中にインタラクション装置１Ａと対話する機会が増える。インタラクション装置１Ａは、利用者Ｕとの親密度を増すことにより、利用者Ｕが自動運転車両１００内で過ごす時間を快適にすることができる。

上述したインタラクション装置１をサーバとして構成し、インタラクションシステムＳを構成してもよい。図８は、インタラクションシステムＳの構成の一例を示す図である。
インタラクションシステムＳは、車両１００Ａと、ネットワークＮＷを介して車両１００Ａと通信するインタラクション装置１Ｂとを備える。車両１００Ａは、無線通信を行い、ネットワークＮＷを介してインタラクション装置１Ｂと通信を行う。

車両１００Ａには、車両センサ６、カメラ１０、マイク１１、スピーカ２１、および入出力ユニット２２の各装置が設けられており、これらは通信部２００に接続されている。
通信部２００は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、無線通信を行い、ネットワークＮＷを介してインタラクション装置１Ｂと通信する。

インタラクション装置１Ｂは、通信部４０を備え、ネットワークＮＷを介して車両１００Ａと通信する。インタラクション装置１Ｂは、通信部４０を介して車両センサ６、カメラ１０、マイク１１、スピーカ２１、および入出力ユニット２２と通信し、情報の入出力を行う。通信部４０は、例えば、ＮＩＣ（Network Interface Card）を含む。

以上説明したインタラクションシステムＳによれば、インタラクション装置１Ｂをサーバとして構成することにより、１台の車両だけでなく複数の車両をインタラクション装置１Ｂに接続することができる。

上記のインタラクション装置により提供されるサービスは、スマートフォン等の端末装置により実施されてもよい。図９は、インタラクションシステムＳＡの構成の一例を示す図である。

インタラクションシステムＳＡは、端末装置３００と、ネットワークＮＷを介して端末装置３００と通信するインタラクション装置１Ｃとを備える。端末装置３００は、無線通信を行い、ネットワークＮＷを介してインタラクション装置１Ｃと通信を行う。

端末装置３００では、インタラクション装置により提供されるサービスを利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、以下に説明するサービスをサポートする。以下の説明では、端末装置３００がスマートフォンであり、アプリケーションプログラムが起動していることを前提とする。

端末装置３００は、例えば、スマートフォンやタブレット端末、パーソナルコンピュータなどである。端末装置３００は、例えば、通信部３１０と、入出力部３２０と、取得部３３０と、応答部３４０とを備える。

通信部３１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（などを利用して、無線通信を行い、ネットワークＮＷを介してインタラクション装置１Ｂと通信する。

入出力部３２０は、例えばタッチパネル、スピーカを含む。取得部３３０は、端末装置３００に内蔵されている利用者Ｕを撮像するカメラ、マイクを含む。

応答部３４０は、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、上記の機能部は、ＬＳＩ（LargeScale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

応答部３４０は、例えば、取得部３３０が取得した情報を、通信部３１０を介してインタラクション装置１Ｃに送信する。応答部３４０は、インタラクション装置１Ｃから受信した応答内容を、入出力部３２０を介して利用者Ｕに提供する。

上記構成により、端末装置３００は、情報提供時に利用者Ｕの心情状態に応じた応答内容で応答することができる。また、インタラクションシステムＳＡにおける端末装置３００は、車両と通信することによって車両に関する状態の情報を取得し、車両に関する情報を提供してもよい。

以上説明したインタラクションシステムＳＡによれば、インタラクション装置１Ｃと通信を行う端末装置３００により、利用者Ｕに情報提供をする際に、利用者Ｕの心情状態を推定すると共に利用者の心情状態に応じた応答を生成することができる。

［変形例２］
上述したインタラクション装置１は、利用者との対話内容の属性に応じて参照する情報を変更し、応答内容を生成してもよい。以下の説明では、上記実施形態と同一の構成については同一の名称および符号を用い、重複する説明については省略する。図１０は、変形例２に係るインタラクション装置１の一部の詳細な構成の一例を示す図である。図１０には、例えば、インタラクション装置１のうち、取得部１２と、応答部（推定部１３および応答制御部２０）と、記憶部３０との間のデータ、処理の流れの一例が記載されている。

推定部１３は、例えば、履歴比較部１３Ａを備える。応答制御部２０は、例えば、コンテキスト応答生成部２０Ａと、応答生成部２０Ｂと、を備える。

取得部１２は、例えば、カメラ１０およびマイク１１から利用者の反応に関するデータを取得する。取得部１２は、例えば、利用者Ｕを撮像した画像データおよび利用者Ｕの応答を含む音声データを取得する。取得部１２は、取得した画像データ、音声データを信号変換し、画像、音声を数値化した情報を含む認識情報３１を生成する。

認識情報３１は、例えば、音声に基づく特徴量、音声の内容をテキスト化したテキストデータ、画像に基づく特徴量等の情報を含む。以下、各特徴量、コンテキスト属性について説明する。

取得部１２は、例えば、音声データをテキスト変換器などに通して音声認識させ、音声を文節ごとのテキストデータに変換する。取得部１２は、例えば、取得した画像データに基づく特徴量を算出する。取得部１２は、例えば、画像の画素の輝度差に基づいて物体の輪郭やエッジなどの特徴点を抽出し、抽出した特徴点に基づいて物体を認識する。

取得部１２は、例えば、画像上の利用者Ｕの顔の輪郭、目、鼻、口等の特徴点を抽出し、複数の画像の特徴点を比較して利用者Ｕの顔の動きを認識する。取得部１２は、例えば、人の顔の動きについて予めニューラルネットワーク等により学習されたデータセットと、取得した画像データとの比較により特徴量（ベクトル）を抽出する。取得部１２は、例えば、目、鼻、口、等の変化に基づいて、「目の動き」、「口の動き」、「笑い」、「無表情」、「怒り」等のパラメータを含む特徴量を算出する。

取得部１２は、テキストデータに基づいて生成された後述のコンテキスト情報、画像データに基づく特徴量の情報を含む認識情報３１を生成する。認識情報３１は、例えば、テキスト変換データおよび画像データに基づく特徴量と、インタラクション装置１が出力した音声や表示に関するデータとを対応付けた情報である。

取得部１２は、例えば、インタラクション装置１が整備を促す通知を発した場合、通知に対して利用者Ｕが発した音声のテキストデータや、その時の利用者Ｕの表情の特徴量を対応付けて認識情報３１を生成する。取得部１２は、音声データに基づいて、利用者Ｕの発した音声の大きさ［ｄＢ］のデータを生成して認識情報３１に付加してもよい。取得部１２は、認識情報３１を推定部１３に出力する。

推定部１３は、取得部１２から取得した認識情報３１に基づいて特徴量を評価し、利用者Ｕの感情を数値化する。推定部１３は、例えば、認識情報３１に基づいて、インタラクション装置１が発した通知に対応する画像データに基づく利用者Ｕの表情の特徴量のベクトルを抽出する。

推定部１３は、例えば、認識情報３１に含まれるテキストデータを分析し、利用者の会話の内容のコンテキスト分析を行う。コンテキスト分析とは、会話の内容を数理的に処理可能なパラメータとして算出することである。

推定部１３は、例えば、テキストデータの内容に基づいて、ニューラルネットワーク等により予め学習されたデータセットと、テキストデータとを比較して、対話内容の意味を分類し、意味内容に基づいてコンテキスト属性を決定する。

コンテキスト属性は、例えば、「車両」、「ルート検索」、「周辺情報」等の類型化された対話の内容の複数のカテゴリのそれぞれに該当するか否かを数理的に処理可能なように数値で表したものである。推定部１３は、例えば、テキストデータの内容に基づいて、「故障」、「センサ不良」、「修理」等の対話内容の単語を抽出し、抽出した単語と予め学習されたデータセットとを比較して、属性値を算出し、属性値の大きさに基づいて対話内容のコンテキスト属性を「車両」と決定する。

推定部１３は、例えば、テキストデータの内容に基づいて、コンテキスト属性に対する評価項目である各パラメータの度合いを示す評価値を算出する。推定部１３は、例えば、テキストデータに基づいて「車両」に関連する「整備」、「故障」、「操作」、「修理」等の対話内容の特徴量を算出する。取得部１２は、例えば、対話内容の特徴量として、対話内容が「整備」であれば、対話内容に基づいて整備の内容に関連する「消耗品等交換」、「整備場所」、「交換対象」等の予め学習されたパラメータに対する特徴量を算出する。

推定部１３は、算出したテキストデータに基づく特徴量をコンテキスト属性に対応付けてコンテキスト情報を生成し、応答制御部２０のコンテキスト応答生成部２０Ａに出力する。コンテキスト応答生成部２０Ａの処理については後述する。

推定部１３は、更に、テキストデータに基づいて利用者Ｕの応答内容から利用者Ｕの感情の特徴量を算出する。推定部１３は、例えば、利用者Ｕの発した会話の語尾の単語や、呼びかけの単語等を抽出し、「親密」、「普通」、「不快」、「不満」等の利用者Ｕの感情の特徴量を算出する。

推定部１３は、画像に基づく利用者Ｕの感情の特徴量およびコンテキスト分析結果に基づく利用者Ｕの感情の特徴量に基づいて、利用者Ｕの感情の指標値となる感情パラメータを算出する。感情パラメータとは、例えば、喜怒哀楽等の分類化された複数の感情の指標値である。推定部１３は、算出した感情パラメータに基づいて、利用者Ｕの感情を推定する。推定部１３は、算出した感情パラメータに基づいて、感情を指数化した親密度や不快度等の指数を算出してもよい。

推定部１３は、例えば、感情評価関数に特徴量のベクトルを入力し、ニューラルネットワークにより感情パラメータを算出する。感情評価関数は、予め多数の入力ベクトルと、そのときの正解の感情パラメータとを教師データとして学習することにより、正解に対応した計算結果が保持されている。感情評価関数は、新規に入力された特徴量のベクトルに対し、正解との類似度に基づいて、感情パラメータを出力するように構成される。推定部１３は、感情パラメータのベクトルの大きさに基づいて、利用者Ｕとインタラクション装置１との親密度を算出する。

履歴比較部１３Ａは、算出された親密度を過去に生成した応答内容の応答履歴と比較して調整する。履歴比較部１３Ａは、例えば、記憶部３０に記憶された応答履歴を取得する。応答履歴とは、インタラクション装置１が生成した応答内容に対する利用者Ｕの反応に関する過去の履歴データ３２である。

履歴比較部１３Ａは、算出された親密度と、取得部１２から取得した認識情報３１と、応答履歴とを比較し、応答履歴に応じて親密度を調整する。履歴比較部１３Ａは、例えば、認識情報３１と応答履歴とを比較し、利用者Ｕとの親密度の進み具合に応じて親密度を加減算して調整する。履歴比較部１３Ａは、例えば、応答履歴を参照し、コンテキスト応答により変化する利用者の心情状態を示す親密度を変化させる。履歴比較部１３Ａは、調整した親密度を応答生成部２０Ｂに出力する。親密度は、利用者Ｕの設定により変更されてもよい。

次に応答制御部２０における処理について説明する。応答制御部２０は、分析結果に基づいて利用者に対する応答内容を決定する。

コンテキスト応答生成部２０Ａは、推定部１３から出力されたコンテキスト情報を取得する。コンテキスト応答生成部２０Ａは、コンテキスト情報に基づいて、記憶部３０に記憶されたコンテキスト情報に対応する応答履歴を参照する。コンテキスト応答生成部２０Ａは、応答履歴から利用者Ｕの会話内容に対応する応答を抽出し、利用者Ｕに対して応答するための応答パターンとなるコンテキスト応答を生成する。コンテキスト応答生成部２０Ａは、コンテキスト応答を応答生成部２０Ｂに出力する。

応答生成部２０Ｂは、コンテキスト応答生成部２０Ａにより生成されたコンテキスト応答と、履歴比較部１３Ａから取得した親密度とに基づき応答態様を変化させた応答内容を決定する。この時、応答生成部２０Ｂは、ランダム関数を用いて、意図的に応答内容に揺らぎを与えてもよい。

応答生成部２０Ｂは、決定した応答内容をコンテキスト情報に関連付けて記憶部３０の応答履歴記憶部に記憶させる。そして、コンテキスト応答生成部２０Ａは、応答履歴記憶部に記憶された新たな応答履歴を参照し、利用者に対して応答するための新たなコンテキスト応答を生成する。

上述した変形例２に係るインタラクション装置１によれば、利用者Ｕの会話内容の属性に応じて参照する応答履歴を変えることで、より適切な応答内容を出力することができる。変形例２に係るインタラクション装置１によれば、一時的な計算結果に加えて、認識情報３１の解析結果を反映することで少ないパラメータに対して認識精度を向上することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。例えば、上記のインタラクション装置は、手動運転車両に適用してもよい。そして、インタラクション装置１は、車両に関する情報を提供する他に、ルート検索、周辺情報検索、スケジュール管理等の情報を提供、管理する情報提供装置として用いられてもよい。インタラクション装置１は、ネットワークから情報を取得するものであってもよく、ナビゲーション装置と連動するものであってもよい。

Claims (11)

1. 検出部により検出された装置の状態の変化に対する利用者の認識情報を取得する取得部と、
   前記取得部により取得された前記認識情報に対して応答する応答部と、を備え、
   前記応答部は、前記状態および前記認識情報に基づいて、前記利用者の心情状態を示す指標を導出し、導出した前記指標に基づいた態様で応答内容を決定する、
   インタラクション装置。
2. 前記応答部は、前記認識情報と前記応答内容との関係の過去の履歴に基づいて、前記応答内容を決定する、
   請求項１に記載のインタラクション装置。
3. 前記応答部は、前記応答に対する前記利用者の前記認識情報に基づいて、前記利用者の不快度を前記指標として導出する、
   請求項１または２に記載のインタラクション装置。
4. 前記応答部は、前記応答に対する前記利用者の前記認識情報に基づいて、前記利用者の親密度を前記指標として導出する、
   請求項１から３のうちいずれか１項に記載のインタラクション装置。
5. 前記応答部は、前記応答内容にゆらぎを持たせる、
   請求項１から４のうちいずれか１項に記載のインタラクション装置。
6. 前記応答部は、前記応答に対する前記利用者の前記認識情報の過去の履歴に基づいて、前記応答内容に対する前記指標を導出し、前記導出した指標と、実際に取得された前記応答内容に対する指標との差に基づいて、前記指標を導出するためのパラメータを調整する、
   請求項１から５のうちいずれか１項に記載のインタラクション装置。
7. コンピュータが、
   装置の状態の変化を検出し、
   前記装置の状態に対する利用者の認識情報を取得し、
   取得した前記認識情報に対して応答し、
   前記状態および認識情報に基づいて、前記利用者の心情状態を示す指標を導出し、
   導出した前記指標に基づいた態様で応答内容を決定する、
   インタラクション方法。
8. コンピュータに、
   装置の状態の変化を検出させ、
   前記装置の状態に対する利用者の認識情報を取得させ、
   取得させた前記認識情報に対して応答させ、
   前記状態および認識情報に基づいて、前記利用者の心情状態を示す指標を導出させ、
   導出させた前記指標に基づいた態様で応答内容を決定させる、
   プログラム。
9. 検出部により検出された装置の状態の変化に対する利用者の認識情報を取得する取得部と、
   前記装置の状態および前記取得部により取得された前記認識情報を分析して前記認識情報の内容に関連した情報を含むコンテキスト情報を生成し、前記コンテキスト情報に基づいて前記利用者の心情状態に応じた応答内容を決定する応答部と、を備え、
   前記応答部は、記憶部に記憶された過去の前記コンテキスト情報に基づいて生成された応答内容に対応する前記利用者の応答履歴を参照し、前記利用者に対して応答するためのコンテキスト応答を生成するコンテキスト応答生成部と、
   前記応答内容により変化する前記利用者の心情状態を示す指標を算出し、前記コンテキスト応答生成部により生成された前記コンテキスト応答と、前記指標とに基づき応答態様を変化させた新たな応答内容を決定する応答生成部と、を備える、
   インタラクション装置。
10. 車載コンピュータが、
    車両の周辺車両の位置を認識し、
    認識された前記周辺車両の位置に基づいて、複数の軌道の候補を生成し、
    生成された前記複数の軌道の候補のうち、前記車両が走行可能な軌道を示す画像と、前記車両が走行不能な軌道とを示す画像との双方を併せて表示部に表示させる、
    車両制御方法。
11. 前記取得部は、利用者の反応に関するデータを取得して数値化した前記認識情報を生成し、前記認識情報と予め学習されたデータとの比較結果に基づいて特徴量を算出し、
    前記応答部は、前記取得部により算出された前記特徴量に基づいて前記認識情報を分析し、前記コンテキスト情報を生成する、
    請求項９に記載のインタラクション装置。

Images