JP2018143639A - インタラクションを用いたユーザの状態推定装置及びその方法 - Google Patents

Abstract

【課題】ユーザの状態を推定するのに必要な情報の制約を受けず、ユーザが無意識下にあるときでもユーザの状態を適切に推定し、漏れが生じることなくユーザの状態を適切に推定する。【解決手段】インタラクションを用いてユーザの状態を推定する装置１は、ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを第１インタラクションとして表出するインタラクション表出部２と、前記第１インタラクションに対するユーザの反応レベルを検出し、当該第１インタラクションに対してユーザが抱いた印象を検出する印象検出部３と、印象検出部による検出結果を用いてユーザの状態を推定する状態推定部４と、を備える。【選択図】図１

Description

本発明は、インタラクションを用いたユーザの状態推定装置及びその方法に関する。

例えば特許文献１には、コミュニケーションロボットにおいて、ユーザが触っている場所及び強度を検出し、ユーザの状態を積極的、消極的、荒っぽい、自由奔放及び不明の何れかに判別し、ユーザの状態に応じたインタラクションを表出する技術が開示されている。

特開２００８−２７８９８１号公報

しかしながら、特許文献１の技術は、ユーザがコミュニケーションロボットに触れたことを検出する構成が前提であるので、ユーザが触れたことを検出する構成を持たない装置に適用することができない。又、ユーザが無意識下にあるときのユーザの状態を推定することができず、例えば意思疎通が容易でない精神患者や赤ちゃん等の無意識下での状態を推定することができない。更に、ユーザの状態を積極的、消極的、荒っぽい、自由奔放及び不明の何れかにしか判別することができず、状態の推定に漏れが生じる可能性がある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザの状態を推定するのに必要な情報の制約を受けず、ユーザが無意識下にあるときでもユーザの状態を適切に推定することができ、更に、漏れが生じることなくユーザの状態を適切に推定することができるインタラクションを用いたユーザの状態推定装置及びその方法を提供することにある。

請求項１に記載した発明によれば、インタラクション表出部（２）は、ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを第１インタラクションとして表出する。印象検出部（３）は、第１インタラクションに対するユーザの反応レベルを検出し、第１インタラクションに対してユーザが抱いた印象を検出する。状態推定部（４）は、印象検出部による検出結果を用いてユーザの状態を推定する。

ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを表出したときのユーザの反応レベルが、ユーザの状態により異なることに着眼した。ユーザへの働きかけに対してユーザが抱いた印象を検出し、その検出結果を用いてユーザの状態を推定するようにした。ユーザがコミュニケーションロボットに触れたことを検出する構成を前提とせず、ユーザへの働きかけに対するユーザの反応レベルからユーザの状態を推定するので、ユーザの状態を推定するのに必要な情報の制約を受けない。又、ユーザが無意識下にあるときでもユーザの状態を適切に推定することができる。更に、漏れが生じることなくユーザの状態を適切に推定することができる。

本発明の一実施形態を示す機能ブロック図 人型ロボットの斜視図 ユーザが抱いた印象とユーザの情緒安定性との関係を示す図 ユーザの情緒安定性の度合いを推定する態様を示す図 インタラクションを表出する態様を示す図 フローチャート

以下、本発明の一実施形態について図面を参照して説明する。ユーザの状態推定装置１は、インタラクション表出部２と、印象検出部３と、状態推定部４と、インタラクション検出部５と、インタラクション調整部６とを備える。これらの機能ブロックを構成する各部２〜６は、全てが同一の機器に搭載されて集約されていても良いし、少なくとも一部が別々の機器に搭載されて分散されていても良い。又、各部２〜６は、それぞれマイクロコンピュータが実行するコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。即ち、マイクロコンピュータは、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行し、コンピュータプログラムに対応する処理を実行することで、ユーザの状態推定装置１の動作全般を制御する。各部２〜６の全てが同一の機器に搭載されている構成であれば、その機器に搭載されている例えば一つのマイクロコンピュータが一つのコンピュータプログラムを実行し、ユーザの状態推定装置１の動作全般を制御する。各部２〜６の少なくとも一部が別々の機器に搭載されている構成であれば、その別々の機器に搭載されている別々のマイクロコンピュータが別々のコンピュータプログラムを他と連携して実行し、ユーザの状態推定装置１の動作全般を制御する。

インタラクション表出部２は、ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを第１インタラクションとして表出する。図２に示すように、インタラクション表出部２が例えば人型ロボット８の可動を制御する構成であれば、インタラクション表出部２は、人型ロボット８の可動を制御することで、ユーザの視覚を刺激するユーザへの働きかけを表出する。人型ロボット８は、頭部９と胴体部１０とを有する構造であり、インタラクション表出部２は、頭部９を項垂れたり左右に振ったりするように可動を制御し、ユーザへの働きかけを表出する。

印象検出部３は、インタラクション表出部２により表出されたユーザへの働きかけに対するユーザの反応レベルを検出し、ユーザへの働きかけに対してユーザが抱いた印象を検出する。具体的に説明すると、印象検出部３は、センサ類７から入力するセンシング信号を用い、ユーザへの働きかけに対してユーザが抱いた印象を検出する。センサ類７は、例えばユーザの顔を撮影する画像センサ、ユーザの発話音声を入力する音声センサ、ユーザからの接触を検知する触覚センサ等であり、少なくとも何れかのセンサであれば良い。

印象検出部３は、ユーザの顔を撮影した映像を含む映像信号を画像センサからセンシング信号として入力すると、その入力した映像信号に含まれる映像を解析し、ユーザへの働きかけに対してユーザが抱いた印象を検出する。又、印象検出部３は、ユーザの発話音声を含む音声信号を音声センサからセンシング信号として入力すると、その入力した音声信号に含まれる発話音声を解析し、ユーザが抱いた印象を検出する。又、印象検出部３は、ユーザからの接触を含む接触信号を触覚センサからセンシング信号として入力すると、その入力した触覚信号に含まれるユーザからの接触を解析し、ユーザが抱いた印象を検出する。印象検出部３は、解析した映像や音声や接触がネガティブな種別であると判定すると、ユーザへの働きかけに対してユーザがネガティブな印象を抱いたと検出し、一方、解析した映像や音声や接触がポジティブな種別であると判定すると、ユーザへの働きかけに対してユーザがポジティブな印象を抱いたと検出する。そして、印象検出部３は、このようにしてユーザへの働きかけに対してユーザが抱いた印象を検出すると、その検出結果を状態推定部４及びインタラクション調整部６に出力する。

尚、センサ類７は、必ずしも人型ロボット８に実装されている必要はない。即ち、触覚センサは人型ロボット８に実装されている必要があるが、画像センサや音声センサは人型ロボット８に実装されている必要はない。画像センサは、少なくともユーザの顔を撮影可能な部位に配置されていれば良く、ユーザへの働きかけを人型ロボット８が行ったときのユーザの顔を撮影した映像を含む映像信号を例えば無線通信により印象検出部３に送信する構成であっても良い。又、音声センサは、少なくともユーザの発話音声を入力可能な部位に配置されていれば良く、ユーザへの働きかけを人型ロボット８が行ったときのユーザの発話音声を含む音声信号を例えば無線通信により印象検出部３に送信する構成であっても良い。又、例えばユーザがアンケートへの回答を印象検出部３に操作入力したりユーザが作成したＳＮＳ（Social Networking Service）等を印象検出部３に送信したりすることで、ユーザが抱いた印象を検出しても良い。即ち、印象検出部３は、ユーザへの働きかけに対してユーザが抱いた印象をリアルタイムで検出しても良いし遅延して検出しても良い。

状態推定部４は、印象検出部３から検出結果を入力すると、その入力した検出結果を用いてユーザの状態を推定する。ここでいうユーザの状態とは、ユーザの性格や精神状態を意味する。即ち、ユーザの状態とは、周囲環境の影響や時系列の変化にあまり左右されずに不変性が比較的高い性質を持つ性格と、周囲環境の影響や時系列の変化に左右されて不変性が比較的低い性質を持つ精神状態との両方を意味する。状態推定部４は、図３に示すように、ユーザが抱いた印象とユーザの情緒安定性との関係に関して検証実験で得られた結果を用いてユーザの状態を推定する。ｔ検定で有意差が確認されたこととして、例えばユーザの情緒安定性が低い状態であれば、ユーザからの働きかけとユーザへの働きかけとの関係が、ポジティブとポジティブとの関係、又はネガティブとポジティブとの関係である場合に、ユーザが誠実な印象を抱くことが挙げられる。又、ユーザの情緒安定性が高い状態であれば、ユーザからの働きかけとユーザへの働きかけとの関係が、ポジティブとポジティブとの関係、又はネガティブとネガティブとの関係である場合に、ユーザが誠実な印象を抱くことが挙げられる。情緒安定性とは、心理学的にビッグファイブと称される５因子のうちの一つであり、外部からの刺激に対してユーザが落ち着いて対応することができるか否かを示す指標であり、精神的なバランスが安定しているかを示す指標である。

このようなユーザが抱いた印象とユーザの情緒安定性との関係を利用すると、図４に示す組み合わせにより、ユーザが抱いた印象からユーザの情緒安定性の度合いを推定することができる。例えばユーザからのネガティブな働きかけに対し、ユーザへのポジティブな働きかけをした場合に、ユーザが誠実な印象を抱けば、ユーザの情緒安定性が低いと推定することができ、一方、ユーザが誠実な印象を抱かなければ、ユーザの情緒安定性が高いと推定することができる。又、例えばユーザからのネガティブな働きかけに対し、ユーザへのネガティブな働きかけをした場合に、ユーザが誠実な印象を抱けば、ユーザの情緒安定性が高いと推定することができ、一方、ユーザが誠実な印象を抱かなければ、ユーザの情緒安定性が低いと推定することができる。

インタラクション検出部５は、ユーザからの働きかけを第２インタラクションとして検出すると、その検出結果をインタラクション調整部６に出力する。インタラクション調整部６は、印象検出部３から検出結果を入力し、インタラクション検出部５から検出結果を入力すると、その入力した検出結果を用いて前述した第１インタラクションを調整する。

具体的には、図５に示すように、ユーザが人型ロボット８の頭部９を叩いたことで、ユーザからのネガティブな働きかけを検出した場合に、インタラクション調整部６は、頭部９を項垂れるというユーザへのネガティブな働きかけを表出し、ネガティブな印象を受けたことをユーザに働きかけ、一方、頭部９を左右に振るというユーザへのポジティブな働きかけを表出し、ポジティブな印象を受けたことをユーザに働きかけるように調整する。インタラクション調整部６は、上記した頭部９を項垂れる動作を最大のネガティブな働きかけとし、頭部９を左右に振る動作を最大のポジティブな働きかけとし、その間で段階的に動作を変化させることで、第１インタラクションのネガティブレベルやポジティブレベルを調整すれば良い。

次に、上記した構成の作用について図６を参照して説明する。ユーザの状態推定装置１は、ユーザの状態を推定する状態推定処理を開始すると、ユーザからの働きかけに対してインタラクション表出部２が表出する第１インタラクションをランダムに決定する（Ｓ１）。ユーザの状態推定装置１は、ユーザからの働きかけを第２インタラクションとしてインタラクション検出部５により検出すると（Ｓ２、インタラクション検出手順に相当する）、先にランダムに決定しておいたインタラクション表出部２が表出する第１インタラクションを、その検出結果を用いてインタラクション調整部６により調整する（Ｓ３、インタラクション調整手順に相当する）。

ユーザの状態推定装置１は、インタラクション調整部６により調整した第１インタラクションをインタラクション表出部２により表出し（Ｓ４、インタラクション表出手順に相当する）、ユーザへの働きかけに対してユーザが抱いた印象を印象検出部３により検出する（Ｓ５、印象検出手順に相当する）。ユーザの状態推定装置１は、印象検出部３による検出結果を用いてユーザの状態を推定する（Ｓ６、状態推定手順に相当する）。ユーザの状態推定装置１は、状態推定処理を終了する条件が成立していなければ（Ｓ７：ＮＯ）、ステップＳ２に戻り、ステップＳ２以降を繰り返す。即ち、ユーザの状態推定装置１は、ユーザへの働きかけに対してユーザが抱いた印象を検出する前では、ユーザからの働きかけを検出した検出結果を用いてユーザへの働きかけを調整し、ユーザへの働きかけに対してユーザが抱いた印象を検出した後では、ユーザからの働きかけを検出した検出結果とユーザが抱いた印象を検出した検出結果とを用いてユーザへの働きかけを調整する。

具体的な用途として、例えば意思疎通が容易でない精神患者や赤ちゃんの状態を推定することが挙げられる。尚、赤ちゃんとは、出生してから２８日未満の新生児と１歳未満の乳児とを含む。精神患者の状態を、誠実性の度合いから推定する場合であれば、ユーザの状態推定装置１が搭載されているコミュニケーションロボットを用意し、精神患者にコミュニケーションロボットと対話してもらい、対話中のコミュニケーションロボットに対する精神患者の対話レベルを取得する、又は対話後にコミュニケーションロボットに対する印象をアンケートしてコミュニケーションロボットを通じて回答してもらう。対話レベルとは、対話に満足しているかや対話に積極的であるか等に関する指標である。ユーザの状態推定装置１では、対話レベル又はアンケートの回答から誠実性の度合いを推定し、その推定した誠実性の度合いから情緒安定性の度合いを推定する。又、赤ちゃんの状態を、怒りの度合いから推定する場合であれば、ユーザの状態推定装置１が搭載されている玩具ロボットを用意し、赤ちゃんに玩具ロボットと遊んでもらい、遊んでいる最中の赤ちゃんの表情や泣き声等を取得する。ユーザの状態推定装置１では、表情や泣き声等から怒りの度合いを推定し、その推定した怒りの度合いから情緒安定性の度合いを推定する。

尚、以上は、ユーザへの働きかけとして頭部９を項垂れたり左右に振ったりする動作を例示し、ユーザの視覚を刺激する働きかけを説明したが、ユーザの聴覚、触覚及び嗅覚を刺激する働きかけでも良く、即ちユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激する働きかけであれば良い。

以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
ユーザの状態推定装置１において、ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを表出したときのユーザの反応レベルが、ユーザの状態により異なることに着眼した。ユーザへの働きかけに対してユーザが抱いた印象を検出し、その検出結果を用いてユーザの状態を推定するようにした。ユーザがコミュニケーションロボットに触れたことを検出する構成を前提とせず、ユーザへの働きかけに対するユーザの反応レベルからユーザの状態を推定するので、ユーザの状態を推定するのに必要な情報の制約を受けない。又、ユーザが無意識下にあるときでもユーザの状態を適切に推定することができる。更に、漏れが生じることなくユーザの状態を適切に推定することができる。

又、ユーザの状態推定装置１において、ユーザからの働きかけを第２インタラクションとして検出し、ユーザへの働きかけに対してユーザが抱いた印象やユーザからの働きかけを用いてユーザへの働きかけを調整するようにした。ユーザが抱いた印象やユーザからの働きかけからユーザの状態を適切に推定することができる。

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

ユーザの状態推定装置１として人型ロボット８に適用した構成を例示したが、例えばぬいぐるみ型ロボット等のユーザとの対話を表現するロボットに適用しても良い。又、コンピュータを用いて作成した画像（即ちコンピュータグラフィックス）に適用しても良い。インタラクションを表出する態様として、人型ロボット８の頭部９を項垂れる動作や左右に振る動作を例示したが、これら以外の動作を採用しても良い。例えばぬいぐるみ型ロボットであれば、尻尾を振る動作等を採用しても良い。

図面中、１はユーザの状態推定装置、２はインタラクション表出部、３は印象検出部、４は状態推定部、５はインタラクション検出部、６はインタラクション調整部である。

Claims (6)

1. インタラクションを用いてユーザの状態を推定する装置（１）において、
   ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを第１インタラクションとして表出するインタラクション表出部（２）と、
   前記第１インタラクションに対するユーザの反応レベルを検出し、当該第１インタラクションに対してユーザが抱いた印象を検出する印象検出部（３）と、
   前記印象検出部による検出結果を用いてユーザの状態を推定する状態推定部（４）と、を備えたインタラクションを用いたユーザの状態推定装置。
2. ユーザからの働きかけを第２インタラクションとして検出するインタラクション検出部（５）と、
   前記印象検出部による検出結果及び前記第２インタラクションのうち少なくとも何れかを用いて前記第１インタラクションを調整するインタラクション調整部（６）と、を備えた請求項１にインタラクションを用いたユーザの状態推定装置。
3. 前記インタラクション調整部は、前記第１インタラクションのネガティブレベルやポジティブレベルを調整する請求項２に記載のインタラクションを用いたユーザの状態推定装置。
4. 前記状態推定部は、ユーザの状態として情緒安定性の程度を推定する請求項１から３の何れか一項に記載のインタラクションを用いたユーザの状態推定装置。
5. インタラクションを用いてユーザの状態を推定する方法において、
   ユーザの視覚、聴覚、触覚及び嗅覚のうち少なくとも一つ以上の感覚を刺激するユーザへの働きかけを第１インタラクションとして表出するインタラクション表出手順と、
   前記第１インタラクションに対するユーザの反応レベルを検出し、当該第１インタラクションに対してユーザが抱いた印象を検出する印象検出手順と、
   前記印象検出手順による検出結果を用いてユーザの状態を推定する状態推定手順と、を行うインタラクションを用いたユーザの状態推定方法。
6. ユーザからの働きかけを第２インタラクションとして検出するインタラクション検出手順と、
   前記印象検出手順による検出結果及び前記第２インタラクションのうち少なくとも何れかを用いて前記第１インタラクションを調整するインタラクション調整手順と、を行う請求項５に記載のインタラクションを用いたユーザの状態推定方法。

Images