本発明の一態様に係る情報提示装置の制御方法は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し、センサにより取得した物理量、又は、前記情報提示装置が備える提示部により前記ユーザに提示した情報に基づいて、前記ユーザに、推定した前記感情を引き起こした対象を特定する特定情報を生成し、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する。
上記態様によれば、情報提示装置は、ユーザの感情と、その感情をユーザが抱いた対象とを取得し、これらに基づいた情報の提示を行う。ここで、情報提示装置がユーザの感情だけでなく、その感情をユーザが抱いた対象を取得しているので、ユーザの感情だけを取得する場合に比べて、より適切な情報をユーザに提示することができる。このように、情報提示装置は、推定した感情に基づいて、よりユーザに適した情報を提示することができる。
なお、予め定められた対象により引き起こされるユーザの感情を推定する装置も想定し得る。しかしながら、このような装置は、予め定められた対象についてのユーザの感情を推定するだけであり、つまり上記対象以外の対象についての感情を推定することがなく、提供できるサービスが限定されてしまうことに変わりはない。本発明に係る情報提示装置は、ユーザの感情を推定するとともに、その対象を特定する処理を行い、その感情と対象とに基づいて、より適切な情報をユーザに提示することができるのである。
例えば、前記所定の処理の実行では、人が抱いている感情と当該人に前記感情を引き起こした対象との1以上の組それぞれが候補情報に対応付けられたテーブルから一の情報を選択する選択処理、又は、前記ユーザが抱いている感情と前記ユーザに前記感情を引き起こした前記対象とを用いて情報を生成する生成処理を実行することで、前記情報を取得してもよい。
上記態様によれば、情報提示装置は、選択処理又は生成処理を用いて、より具体的に提示の制御のための情報を生成することができる。
例えば、前記感情は、ポジティブな感情とネガティブな感情とを含み、前記所定の処理の実行では、推定した前記感情がネガティブな感情であるときには、前記対象を取り除くために前記ユーザに提示する提示情報を取得し、推定した前記感情がポジティブな感情であるときには、前記感情を維持するために前記ユーザに提示する提示情報を取得し、前記提示の制御では、取得した前記提示情報を前記情報提示装置により提示してもよい。
上記態様によれば、情報提示装置は、ユーザの感情とその対象とに基づいて、ユーザの感情を変化又は維持させるための情報をユーザに提示する。具体的には、ユーザの感情がネガティブであり、ユーザがその感情を維持するのが適当でないと考えられる場合には、ユーザにその感情を引き起こした対象を取り除くための情報をユーザに提示する。一方、ユーザの感情がポジティブであり、ユーザがその感情を維持するのが良いと考えられる場合には、ユーザの感情を維持させるための情報をユーザに提示する。このように、情報提示装置は、よりユーザに適した情報を提示することができる。
例えば、前記情報提示装置は、車両のナビゲーション装置であり、前記ナビゲーション装置は、人が抱いている感情と、当該人の視線の向きを示す情報との1以上の組それぞれが、前記ナビゲーション装置による道案内又は音声出力についての制御情報に対応付けられたテーブルを記憶しているメモリを備え、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる前記ユーザの視線の向きを示す情報に基づいて、前記特定情報を生成し、前記所定の処理の実行では、推定した前記感情と、生成した前記特定情報により特定される前記対象との組に前記テーブルにおいて対応付けられている前記制御情報を選択することで、前記情報を取得し、前記提示の制御では、選択した前記制御情報に従って前記ナビゲーション装置による道案内又は音声出力を制御してもよい。
上記態様によれば、情報提示装置は、車両のナビゲーション装置として、ユーザの感情と視線の向きとに基づいて取得される情報をユーザに提示する。一般に、ユーザの視線は、その感情を引き起こした対象である物事に向けられる。よって、ユーザの感情を推定するだけでなく、その感情をユーザが抱いた対象をユーザの視線の向きから特定することで、その感情の推定だけをする場合に比べて、より適切な情報を提示することができる。
例えば、前記テーブルでは、前記人が抱いている前記感情と、前記人の視線の向きを示す前記情報と、前記ナビゲーション装置により取得した道路状況に関する情報との組に、前記ナビゲーション装置の前記制御情報を対応付けており、前記所定の処理では、前記ナビゲーション装置により、道路状況に関する道路情報を取得し、推定した前記感情と、生成した前記特定情報により特定される前記対象と、取得した前記道路情報との組に、前記テーブルにおいて対応付けられている前記制御情報を選択することで、前記制御情報を取得してもよい。
上記態様によれば、情報提示装置は、ユーザの感情及び視線の向きに加えて、道路状況にも基づいて、ユーザに適切な情報を提示することができる。
例えば、前記対象は、商品の性質、及び、前記商品の価格のいずれかであり、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる前記ユーザの視線の延長上に前記商品があるか、又は、前記商品の価格表示があるかに基づいて、前記性質及び前記価格のうちの一方を示す前記特定情報を生成し、前記所定の処理の実行では、推定した前記感情と、生成した前記特定情報とに基づいて、前記ユーザの購入行動を促すための提示情報を生成することで、前記情報を取得し、前記提示の制御では、生成した前記提示情報を提示してもよい。
上記態様によれば、情報提示装置は、接客方針を提示する装置として、商品の性質と価格表示についてのユーザの感情に基づいて取得される情報をユーザに提示する。一般に、商品の性質と価格とのそれぞれに対してのユーザの満足が得られる場合に購入行動が行われる。しかしながら、商品の性質と価格とのいずれか又は両方についての満足しない限り購入行動は行わない。そこで、商品の性質と価格とについてのユーザの感情を分析して、購入行動を促す情報を生成することで、ユーザの購入行動につなげることができる利点がある。
例えば、前記感情の推定、及び、前記特定情報の生成では、(a)前記対象としての前記性質について前記ユーザが抱いている満足の度合いを前記感情として推定するとともに、前記性質を示す情報を前記特定情報として生成し、(b)前記対象としての前記価格について前記ユーザが抱いている満足の度合いを前記感情として推定するとともに、前記価格を示す情報を前記特定情報として生成し、前記所定の処理の実行では、前記(a)及び前記(b)それぞれにより推定した前記感情、及び、生成した前記特定情報に基づいて、前記ユーザの購入行動を促すために前記ユーザに提示すべき提示情報を生成してもよい。
上記態様によれば、情報提示装置は、商品の性質と価格表示についてのユーザの満足度に基づいて、満足が得られていないものについて満足が得られるような情報を取得して、ユーザに提供する。これにより、具体的に、ユーザの購入行動を起こさせることができる。
例えば、前記対象は、複数の第一料理のいずれかであり、前記感情の推定では、前記複数の第一料理のそれぞれについて前記ユーザが抱いている好意の度合いを前記感情として推定し、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる情報であって、前記ユーザが前記複数の第一料理のうちのどれを口に入れたかを示す情報を、前記特定情報として生成し、前記所定の処理の実行では、前記ユーザに提供する料理の候補である複数の第二料理のうち、前記ユーザが抱いた好意の度合いから算定される前記ユーザの嗜好に属性が近い第二料理を、より優先的に含む提示情報を生成することで、前記情報を取得し、前記提示の制御では、生成した前記提示情報を提示してもよい。
上記態様によれば、情報提示装置は、ユーザに提供する料理を提示する装置として、ユーザの感情と、ユーザが口に運んだ料理とに基づいてユーザの嗜好を分析し、ユーザの嗜好に比較的近い料理を示す情報をユーザに提示する。これにより、情報提示装置は、ユーザの感情を良くすることができる。
例えば、前記情報提示装置は、前記複数の第一料理それぞれの属性ごとの属性値を記憶しているメモリを備え、前記所定の処理の実行では、前記複数の第一料理それぞれについて前記ユーザが抱いた好意の度合いに基づいて、前記複数の第一料理それぞれの属性ごとのユーザの嗜好を各成分とする嗜好ベクトルを導出し、前記複数の第二料理のうち、当該第二料理の属性ごとの属性値を各成分とする属性ベクトルと前記嗜好ベクトルとの内積値が小さい第二料理を、より優先的に含む前記提示情報を生成してもよい。
上記態様によれば、情報提示装置は、料理の属性ごとの属性値を用いたベクトル演算により、具体的にユーザの嗜好を分析し、提供する料理を決定することができる。
例えば、前記対象は、前記提示部による音声出力により前記ユーザに提示した一の言語による音声データであり、前記感情の推定では、前記提示部が提示した前記音声データについて前記ユーザが示した理解の度合いを前記感情として推定し、前記特定情報の生成では、前記提示部が提示した前記音声データを特定する情報を、前記特定情報として生成し、前記所定の処理の実行では、推定した前記理解の度合いが所定より低い場合に、前記一の言語とは異なる言語による音声データを取得し、前記提示の制御では、取得した当該音声データを前記提示部による音声出力により提示してもよい。
上記態様によれば、情報提示装置は、複数の言語による音声案内を行う装置として、言語に対するユーザの感情に基づいて、ユーザが理解できる言語を決定して音声案内を行うことができる。ここで、情報提示装置がユーザに提示した言語に対するユーザの推定される感情を用いることで、ユーザが理解できる言語をより適切に判定することができる。
例えば、前記情報提示装置は、それぞれが一の言語による音声案内データである複数の音声案内データを記憶しているメモリを備え、前記所定の処理の実行では、(a)推定した前記理解の度合いが所定より低い場合に、前記メモリに記憶された前記複数の音声案内データのうち、前記提示部が提示した前記音声案内データの前記一の言語とは異なる言語による音声案内データを選択することで取得し、(b)推定した前記理解の度合いが所定以上である場合に、前記提示部が提示した前記一の言語が、前記ユーザが理解できる言語であると判定してもよい。
上記態様によれば、情報提示装置は、言語に対するユーザの理解度に基づいてユーザが理解できる言語を具体的に判定することができる。
また、本発明の一態様に係る情報提示装置は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定する感情推定部と、センサにより取得した物理量、又は、前記情報提示装置により前記ユーザに提示した情報に基づいて、推定した前記感情を前記ユーザに引き起こした対象を特定する特定情報を生成する対象特定部と、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する制御部とを備える。
これにより、上記と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
実施の形態1において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について説明する。
図1は、本実施の形態における情報提示装置1の機能ブロックを示すブロック図である。
図1に示されるように、情報提示装置1は、感情推定部11と、対象特定部13と、制御部14と、提示部16とを備える。また、情報提示装置1は、センサ10及び12を備えてもよい。
センサ10は、感情推定部11が用いるセンサの一例であり、具体例は、可視光線又は赤外線による撮像により画像を取得するカメラ、心拍計、血圧計などである。なお、センサ10は、情報提示装置1に必須の構成ではない。
感情推定部11は、センサにより取得した物理量に基づいてユーザUが抱いている感情を推定する処理部である。感情推定部11が上記で用いるセンサは、例えばセンサ10であるが、これに限られない。感情推定部11は、センサにより取得した物理量を情報提示装置1の外部から取得してもよい。感情推定部11は、例えば、センサとしてのカメラによる撮像により取得した物理量を提供する画像におけるユーザUの表情を分析することで、ユーザUが抱いている感情を推定し得る。ここで、表情(より具体的には、目、口及び鼻などのパーツの特徴点の位置)を分析することで感情を得る方法は周知技術を採用し得る。
センサ12は、対象特定部13が用いるセンサの一例であり、具体例は、可視光線又は赤外線による撮像により画像を取得するカメラである。なお、センサ12は、情報提示装置1に必須の構成ではない。
対象特定部13は、センサにより取得した物理量、又は、情報提示装置1が備える提示部16によりユーザUに提示した情報に基づいて、ユーザUに、感情推定部11が推定した上記感情を引き起こした対象を特定する処理部である。なお、対象特定部13が上記で用いるセンサは、例えばセンサ12であるが、これに限られない。対象特定部13は、センサにより取得した物理量を情報提示装置1の外部から取得してもよい。対象特定部13は、例えば、センサとしてのカメラによる撮像により取得した物理量を提供する画像におけるユーザUの視線の向きを分析することで、上記対象を特定する。ここで、画像に基づいてユーザUの視線の向きを分析する方法は、周知技術を採用し得る。
制御部14は、感情推定部11が推定した上記感情と、対象特定部13が生成した上記特定情報(以下で説明する)とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置1による提示、つまり提示部16による提示を制御する処理部である。
提示部16は、制御部14による制御に基づいて、所定の情報の提示を行う出力インタフェースである。具体的には、提示部16は、表示画面(不図示)による画像の表示、又は、スピーカによる音声の出力により提示を行う。
なお、感情推定部11、対象特定部13、制御部14及び提示部16の一部又は全部は、情報提示装置1が備えるプロセッサ(不図示)がプログラムを実行することでソフトウェア的に実現されてもよいし、専用回路によりハードウェア的に実現されてもよい。また、上記構成要素が処理に用いる情報は、情報提示装置1が備えるメモリ(不図示)又はストレージ(不図示)に格納されているとする。
図2は、本実施の形態における情報提示装置1の制御方法を示すフロー図である。
ステップS101において、センサ10が物理量を取得する。なお、センサ10の代わりに、情報提示装置1の外部のセンサを用いてもよく、その場合には、本ステップにおいて、情報提示装置1は、外部のセンサにより取得された物理量を取得する。
ステップS102において、感情推定部11は、センサ10(又は外部のセンサ)により取得した物理量に基づいてユーザが抱いている感情を推定する。
ステップS103において、センサ12が物理量を取得する。なお、上記と同様、センサ12の代わりに、情報提示装置1の外部のセンサを用いてもよく、その場合には、本ステップにおいて、情報提示装置1は、外部のセンサにより取得された物理量を取得する。
ステップS104において、対象特定部13は、センサ12(又は外部のセンサ)により取得した物理量、又は、提示部16によりユーザUに提示した情報に基づいて、ユーザUに、ステップS102で推定した上記感情を引き起こした対象を特定する特定情報を生成する。
ステップS105において、ステップS102で推定した上記感情と、ステップS104で生成した上記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置1による提示を制御する。
なお、上記所定の処理の実行では、ユーザUの感情を、推定した感情から変化又は維持させるための提示情報を、上記情報として取得してもよい。その場合、上記提示の制御では、取得した提示情報を情報提示装置1(提示部16)により提示する。
また、上記所定の処理の実行では、人が抱いている感情と当該人に感情を引き起こした対象との1以上の組それぞれが候補情報に対応付けられたテーブルから一の情報を選択する選択処理、又は、ユーザUが抱いている感情とユーザUに上記感情を起こした対象とを用いて情報を生成する生成処理を実行することで、上記情報を取得してもよい。上記生成処理では、ユーザUが抱いている感情と上記感情の対象とを用いて、所定のアルゴリズムにより情報を生成する。
また、上記感情は、ポジティブな感情とネガティブな感情とを含み、上記所定の処理の実行では、推定した感情がネガティブな感情であるときには、対象を取り除くためにユーザUに提示する提示情報を取得し、推定した感情がポジティブな感情であるときには、感情を維持するためにユーザUに提示する提示情報を取得してもよい。この場合、上記提示の制御では、取得した提示情報を情報提示装置1により提示してもよい。「対象を取り除くためにユーザUに提示する提示情報」は、「ユーザUのネガティブな感情をポジティブな感情に変化させるための情報」ということもできる。
以上のように、本実施の形態の情報提示装置1は、ユーザの感情と、その感情をユーザが抱いた対象とを取得し、これらに基づいた情報の提示を行う。ここで、情報提示装置1がユーザの感情だけでなく、その感情をユーザが抱いた対象を取得しているので、ユーザの感情だけを取得する場合に比べて、より適切な情報をユーザに提示することができる。このように、情報提示装置1は、推定した感情に基づいて、よりユーザに適した情報を提示することができる。
また、情報提示装置1は、選択処理又は生成処理を用いて、より具体的に提示の制御のための情報を生成することができる。
また、情報提示装置1は、ユーザの感情とその対象とに基づいて、ユーザの感情を変化又は維持させるための情報をユーザに提示する。具体的には、ユーザの感情がネガティブであり、ユーザがその感情を維持するのが適当でないと考えられる場合には、ユーザにその感情を引き起こした対象を取り除くための情報をユーザに提示する。一方、ユーザの感情がポジティブであり、ユーザがその感情を維持するのが良いと考えられる場合には、ユーザの感情を維持させるための情報をユーザに提示する。このように、情報提示装置1は、よりユーザに適した情報を提示することができる。
(実施の形態2)
実施の形態2において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置2は、実施の形態1の情報提示装置1における構成及び処理を、車両のナビゲーション装置に適用する例である。
図3は、本実施の形態における情報提示装置2の利用場面を示す説明図である。図4は、本実施の形態における情報提示装置2の機能ブロックを示すブロック図である。
情報提示装置2は、図3に示されるように運転者であるユーザUの感情を推定するとともに、その感情をユーザUに引き起こした対象をユーザUの視線の向きに基づいて特定し、ユーザUに適切な情報を提示する。この情報は、ユーザUの感情がネガティブ感情であるときにはポジティブ感情に変化させるための情報であり、ユーザUの感情がポジティブ感情であるときにはその感情を維持させるための情報であってもよい。
図4に示されるように、情報提示装置2は、感情推定部11Aと、対象特定部13Aと、制御部14Aと、提示部16と、カメラ20と、道路状況取得部22とを備える。なお、感情推定部11A、対象特定部13A、制御部14A及びカメラ20は、それぞれ、情報提示装置1の感情推定部11、対象特定部13、制御部14及びセンサ10及び12の具体例である。
カメラ20は、ユーザUの顔を撮像する可視光線カメラ又は赤外線カメラである(図3参照)。カメラ20は、物理量を提供する画像を取得するセンサとして機能する。
感情推定部11Aは、センサとしてのカメラ20が取得した画像におけるユーザUの表情に基づいて、ユーザUが抱いている感情を推定する処理部である。ここで、ユーザUが抱いている感情は、ポジティブ感情とネガティブ感情とを含むものとする。ポジティブ感情とは、元気で生き生きとした状態を示す感情であり、具体的には、覚醒、興奮、又は、幸福のような感情である。ネガティブ感情とは、ポジティブ感情の反対の感情であり、元気がなく消極的な状態を示す感情であり、具体的には、怒り、悲しみ、又は、恐れのような感情である。
対象特定部13Aは、センサとしてのカメラ20が取得した画像に基づいて、ユーザUに、感情推定部11Aが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部13Aは、ユーザUの視線の向きを上記対象として取得する。対象特定部13Aは、例えば、カメラにより取得した画像におけるユーザUの顔を抽出したうえで、ユーザUの顔の向き、及び、眼球の位置を分析することでユーザUの視線の向きを特定する。この場合、ユーザUの視線の先が指す物事が、上記対象として特定される。視線の向きは、例えば、下向きか、前向きか、又は、横向きかのいずれかに判定される。下向きは、ユーザUがナビゲーション装置の表示パネルを見ている場合に相当し、前向きは、ユーザUが車両の進行方向を見ている場合に相当し、横向きは、ユーザUが景色又は助手席を見ている場合に相当する。ここで、画像における顔の向き、及び、眼球の位置から、視線の向きを得る方法は周知技術を採用し得る。
制御部14Aは、感情推定部11Aが推定した感情と、対象特定部13Aが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部16による提示を制御する処理部である。制御部14Aは、その内部構成として、心情推定部24と、動作決定部26と、案内生成部28とを備える。
心情推定部24は、ユーザUの心情を推定する処理部である。心情推定部24は、感情推定部11Aが推定したユーザUの感情と、対象特定部13Aが生成した特定情報と、道路状況取得部22が取得した渋滞情報に基づいて、ユーザUの心情を推定する。
動作決定部26は、心情推定部24が推定したユーザUの心情に基づいて、情報提示装置2(ナビゲーション装置)が行う動作を決定する処理部である。動作決定部26は、メモリが保有している動作決定テーブルT1を用いて、例えば道案内、又は、音声出力などの動作を決定する。
案内生成部28は、動作決定部26による制御に基づいて、車両の道案内情報を生成する処理部である。案内生成部28は、情報提示装置2に保有している地図データ、及び、GPS(Global Positioning System)等により取得する現在位置情報に基づいて、車両が今後進行する道を案内する案内情報を生成する。
提示部16は、制御部14Aによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。提示部16は、具体的には、ナビゲーション装置の表示パネルである液晶ディスプレイである。
道路状況取得部22は、車両の周囲の道路の状況(道路状況ともいう)を示す情報を外部から取得する処理部である。車両の周囲の道路の状況は、具体的には、車両の周囲の道路の渋滞の有無、車両が現在走行している道路の幅、車両の周囲にあるランドマーク、及び、車両の周囲の街の種別(ビジネス街又はレストラン街など)などを含む情報である。道路状況取得部22は、例えばVICS(登録商標)(Vehicle Information and Communication System)により渋滞情報を取得することができる。また、情報提示装置2に保有している地図データ、及び、GPS等により取得する現在位置情報に基づいて道路の幅、ランドマーク、及び、街の種別などの情報を取得することができる。
以上のように構成された情報提示装置2の処理を以下で説明する。
図5は、本実施の形態における情報提示装置2の制御方法を示すフロー図である。図6は、本実施の形態における情報提示装置2の動作の決定に用いる動作決定テーブルT1を示す説明図である。これらの図を参照しながら、情報提示装置2の動作を説明する。
ステップS201において、カメラ20による撮像により、ユーザUの顔を含む画像を取得する。
ステップS202において、感情推定部11Aは、カメラ20が取得した画像におけるユーザUの表情から、ユーザUが抱いている感情を推定する。
ステップS203において、対象特定部13Aは、カメラ20が取得した画像におけるユーザUの視線の向きに基づいて、ユーザUの感情の対象を特定する特定情報を生成する。
ステップS204において、道路状況取得部22は、車両の周囲の道路の状況を取得する。
ステップS205において、心情推定部24は、ステップS202で推定したユーザUの感情、ステップS203で生成した特定情報、及び、ステップS204で取得した道路状況に基づいて、動作決定テーブルT1を用いてユーザUの心情を推定する(図6参照)。
図6に示されるように、動作決定テーブルT1において、人である運転者の感情(ネガティブ、又は、ポジティブ)と、運転者の視線の向き(下向き、前向き、又は、横向き)と、道路状況との組に対して、当該運転者の推定される心情と動作決定部26が決定する動作とが予め対応付けられている。運転者の視線の向きとしての下向き、前向き、又は、横向きは、それぞれ、運転者の感情を引き起こした対象としての、ナビゲーション装置の表示パネル(情報提示装置2の提示部16)、進行方向の光景、又は、周囲の状況に対応している。
例えば、運転者がネガティブ感情を有しており、視線が下向きであり、道路が渋滞中であることが、「渋滞が嫌だ。他のルートはないか?」という心情と対応付けられており、また、「抜け道の探索」という動作に対応付けられている。
心情推定部24は、感情推定部11Aが推定したユーザUの感情と、対象特定部13Aが特定したユーザUの視線の向き(下向き、前向き、又は、横向き)と、道路状況取得部22が取得した道路状況との組を取得すると、当該組に動作決定テーブルT1において対応付けられている心情を選択することで、ユーザUの心情を推定する。上記の例では、ユーザUが「渋滞が嫌だ。他のルートはないか?」という心情を有していると推定される。
図5に戻り、ステップS206において、動作決定部26は、ステップS205で推定したユーザUの心情に基づいて、動作決定テーブルT1を用いて情報提示装置2の動作を決定する。動作決定部26は、心情推定部24がユーザUの心情を推定すると、この心情に動作決定テーブルT1において対応付けられている動作を選択することで、情報提示装置2の動作を決定する。上記の例では、「抜け道の探索」という動作に決定され、情報提示装置2は、案内生成部28により現在案内している行路とは異なる渋滞の少ない行路を探索し、道案内のための画像を生成する。
ステップS207において、提示部16は、ステップS206で決定された動作に基づいて、情報提示装置2の動作として、道案内のための画像表示、又は、音声出力を制御する。
なお、動作決定テーブルT1は、運転者の感情と視線の向きとの組に対して、当該運転者の推定される心情と動作決定部26が決定する動作とが予め対応付けられていてもよい。つまり、動作決定テーブルT1は、道路状況を含まないものであってもよい。この場合、心情推定部24は、感情と視線の向きとの組に基づいて、動作を決定する。これにより、道路状況を取得できない場合であっても、ユーザUに適切な情報を提示することができる。
なお、心情推定部24は、感情と視線の向きと道路情報との組に基づいて、動作を決定するとしたが、その組には、そのときの天気、再生されている楽曲などに関する運転者の好みを抽出した情報を含めてもよい。
また、感情推定部11Aは、運転者だけでなく同乗者を含めて感情推定してもよい。特に助手席の同乗者が、運転者の異性であった場合で、運転者がポジティブな感情を有しており、意識(視線や会話)が助手席に向けられていたときには、動作決定部26は、(a)助手席の同乗者がポジティブな感情を有している場合、回り道できるルートに誘導する、あるいは一緒に過ごせる施設(ホテル等)に誘導する、又は、(b)助手席の同乗者がネガティブな感情を有している場合、まっすぐ帰る道を選ぶ、というように動作を決定してもよい。
また、感情推定部11Aは、ポジティブ及びネガティブとは異なる感情を推定してもよい。例えば、感情として、覚醒及び眠気の度合いを判定した場合は、覚醒の度合いが大きければ学習によって判定した落ち着く曲を再生するようにし、眠気の度合いが大きければ学習によって判定したポジティブ感情になれる曲を再生するようにしてもよい。
また、車両が一定時間の停車状態から、運転状態になった直後の感情を推定し、停車時の施設と紐付けをして、施設の好みを学習したり、施設へ顧客満足度をフィードバックしたりするものであってもよい。例えば車両がガソリンスタンドから出てきたときの運転者の感情を推定し、ガソリンスタンドの満足度をガソリンスタンドにフィードバックしてもよい。
また、カーシェアリングしている車両で運転者の感情を推定し、車両の好みを学習したり、高い満足度が多く得られた車をより多くシェアしたりするなどのマーケティングに利用してもよい。
以上のように、本実施の形態の情報提示装置は、車両のナビゲーション装置として、ユーザの感情と視線の向きとに基づいて取得される情報をユーザに提示する。一般に、ユーザの視線は、その感情を引き起こした対象である物事に向けられる。よって、ユーザの感情を推定するだけでなく、その感情をユーザが抱いた対象をユーザの視線の向きから特定することで、その感情の推定だけをする場合に比べて、より適切な情報を提示することができる。
また、情報提示装置は、ユーザの感情及び視線の向きに加えて、道路状況にも基づいて、ユーザに適切な情報を提示することができる。
(実施の形態3)
実施の形態3において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置3は、実施の形態1の情報提示装置1における構成及び処理を、商品を購入しようとするユーザに対する接客方針を提示する装置に適用する例である。
図7は、本実施の形態における情報提示装置3の利用場面を示す説明図である。図8は、本実施の形態における情報提示装置3の機能ブロックを示すブロック図である。
情報提示装置3は、例えば店舗に配置され、図7に示されるような商品51と、商品51に取り付けられた価格表示53とのそれぞれについてのユーザUの満足度を、感情として推定する。そして、情報提示装置3は、推定した満足度に基づいて、ユーザUの購入行動を促す情報を接客方針として販売員に提示する。つまり、情報提示装置3は、ユーザUが商品51の性質又は価格について満足していない感情を有するときには、満足に近づけるように感情を変化させる情報を提示し、ユーザUが商品51の性質及び価格について満足している感情を有するときには、その感情を維持させる情報を提示する。
図8に示されるように、情報提示装置3は、感情推定部11Bと、対象特定部13Bと、制御部14Bと、提示部16と、カメラ20と、カメラ位置取得部42とを備える。なお、感情推定部11B、対象特定部13B、制御部14B及びカメラ20は、それぞれ、情報提示装置1の感情推定部11、対象特定部13、制御部14及びセンサ10及び12の具体例である。
カメラ20は、ユーザUを撮像する可視光線カメラ又は赤外線カメラである(図7参照)。カメラ20は、物理量を提供する画像を取得するセンサとして機能する。
カメラ位置取得部42は、カメラ20が設置されている位置を示す情報を、メモリ又は外部から取得する処理部である。
感情推定部11Bは、センサとしてのカメラ20が取得した画像におけるユーザUの表情に基づいて、ユーザUが抱いている感情を推定する処理部である。ここで、ユーザUが抱いている感情は、商品の性質又は価格に満足している度合いである満足度を含む。満足度は、例えば、満足していることを1で示し、不満である(全く満足していない)ことを0で示し、満足と不満との間の満足度を0から1の間の数値で示すものである。表情から満足度を算定する方法は、周知技術を採用し得る。
対象特定部13Bは、センサとしてのカメラ20が取得した画像に基づいて、ユーザUに、感情推定部11Bが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部13Bは、カメラ20が取得した画像からユーザUの視線の向きを取得し、取得したユーザUの視線の延長上に商品51があるか、又は、商品51の価格表示53があるかに基づいて、商品の性質及び価格のうちの一方を示す特定情報を生成する。また、対象特定部13Bは、カメラ位置取得部42からカメラ20が設置されている位置の位置情報を取得し、ユーザUが視線を向けている商品が、複数の商品(不図示)のうちのどの商品であるかを特定する。
例えば、図7の(a)の場面では、感情推定部11Bは、商品の性質についてユーザUが満足していると推定し、1に比較的近い満足度を算定する。対象特定部13Bは、商品の性質と価格とのうち、商品の性質を示す特定情報を生成する。
また、例えば、図7の(b)の場面では、感情推定部11Bは、商品の価格についてユーザUが満足していないと推定し、0に比較的近い満足度を算定する。対象特定部13Bは、商品の性質と価格とのうち、商品の価格を示す特定情報を生成する。
制御部14Bは、感情推定部11Bが推定した感情と、対象特定部13Bが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部16による提示を制御する処理部である。制御部14Bは、その内部構成として、心情推定部44と、方針決定部46とを備える。
心情推定部44は、ユーザUの心情を推定する処理部である。心情推定部44は、感情推定部11B及び対象特定部13Bから、商品の性質及び価格のそれぞれについてのユーザUの満足度を取得し、メモリが保有している心情テーブルT2を用いてユーザUの心情を推定する。
方針決定部46は、心情推定部44が推定したユーザUの心情を取得し、メモリが保有している提示情報テーブルT3を用いて接客方針を決定する処理部である。
提示部16は、制御部14Bによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。
以上のように構成された情報提示装置3の処理を以下で説明する。
図9は、本実施の形態における情報提示装置3の制御方法を示すフロー図である。図10は、本実施の形態における顧客状況の分析方法を示す説明図である。図11は、本実施の形態における顧客状況テーブルを示す説明図である。図12は、本実施の形態における接客方針を示す説明図である。図13は、本実施の形態における接客方針の提示の一例を示す説明図である。これらの図を参照しながら、情報提示装置3の動作を説明する。
ステップS301において、カメラ20による撮像により、ユーザUの顔を含む画像を取得する。このとき、ユーザUの視線が商品51に向いているとする(図7の(a))。
ステップS302において、対象特定部13Bは、ステップS301で取得した画像から、ユーザUの視線が商品51に向いていることを認識し、商品を示す特定情報を生成する。
ステップS303において、感情推定部11Bは、カメラ20が取得した画像におけるユーザUの表情から、ユーザUが商品の品質について抱いている満足度を推定する。
ステップS304において、カメラ20による撮像により、ユーザUの顔を含む画像を取得する。このとき、ユーザUの視線が価格表示53に向いているとする(図7の(b))。
ステップS305において、対象特定部13Bは、ステップS304で取得した画像から、ユーザUの視線が価格表示53に向いていることを認識し、価格表示を示す特定情報を生成する。
ステップS306において、感情推定部11Bは、カメラ20が取得した画像におけるユーザUの表情から、ユーザUが商品の価格について抱いている満足度を推定する。
ステップS307において、心情推定部44は、ユーザUの心情を推定する(図10及び図11参照)。
図10には、商品及び価格それぞれについてのユーザUの満足度を座標軸に示すグラフである。ステップS303で取得した満足度を「商品」軸にとり、ステップS306で取得した満足度を「価格」軸にとることで示される点Pが、ユーザUの商品51についての満足度に対応付けられる。例えば、図7の(a)及び(b)から推定されるユーザUの満足度は、図10の点Pで示される。
図11は、点Pが、図10に示されるグラフの第1象限から第4象限のどれにあるかと、ユーザUの心情とを予め対応付けて示す心情テーブルT2である。例えば、点Pが第2象限にあることは、ユーザUは、商品の性質には満足しているが、商品の価格に不満がある、という心情を有していることに対応付けられている。
図9に戻り、ステップS308において、方針決定部46は、ステップS307で心情推定部44が推定した心情に基づいて接客方針の決定を行うことで、ユーザUの購入行動を促すための提示情報を生成する(図12参照)。
図12は、点Pが、図10に示されるグラフの第1象限から第4象限のどれにあるかと、ユーザUの購入行動を促すための提示情報とを予め対応付けて示す提示情報テーブルT3である。例えば、点Pが第2象限にあることは、価格についての課題を解決すること、すなわち、ユーザUが抱いている価格に対する不満を解消する接客方針に対応付けられている。この場合、具体的には、有効な接客方針として、商品の値引きをする、又は、クーポン(特典)を贈呈するなどの提案をすることが示されている。
方針決定部46は、点Pが図10に示されるグラフの第1象限から第4象限のどれにあるかに応じて、提示情報テーブルT3から接客方針(及びその具体例)を選択することで、提示情報を生成する。
図9に戻り、ステップS309において、提示部16は、制御部14Bによる制御に基づいて、提示情報を提示する(図13参照)。
図13には、提示部16による提示情報の提示の一例が示されている。図13に示される例は、ユーザUを接客している販売員に対して示すための提示情報の例である。提示部16は、ユーザUの、商品の性質及び価格それぞれの満足度を示すグラフ55と、接客方針を示す文字列57とを提示している。販売員は、提示部16に提示されたグラフ55を視認することで、ユーザUの商品の性質及び価格それぞれについての満足度を知ることができるとともに、文字列57を視認することで、ユーザUの購入行動を促すためにどのような方針で接客すればよいかを知ることができる利点がある。
なお、上記では、ユーザUが商品51の実物を見ながら買い物をする場面を例として説明したが、情報端末を通じたオンラインショッピングにおいても同様の機能を奏する。
図14は、本実施の形態における情報提示装置3の利用場面の変形例を示す説明図である。
図14に示される情報提示装置3Aは、情報提示装置3の機能を備えるとともに、オンラインショッピングの機能をユーザUに提供する装置である。
情報提示装置3Aは、提示部16により商品51の画像51A、及び、商品51の価格表示の画像53Aを表示している。また、カメラ20により、オンラインショッピングをしているユーザUの顔を含む画像を取得する。
この場合においても、情報提示装置3Aは、情報提示装置3と同様に、ユーザUの商品の性質及び価格それぞれについての満足度を知ることができる。そして、これらの満足度に基づいてユーザUの購入行動を促すための処理を行うことができる。
なお、感情推定部11Bによる表情判定は、画像における特徴点を用いるとしたがその限りではない。感情推定部11Bは、鼻の表面温度を放射温度計で測定し、温度上昇により快の感情を、また、温度下降により不快の感情を推定してもよい。
また、対象特定部13Bによる視線の向きの判定は可視光線カメラを用いた画像処理以外にも、赤外線カメラを用いた画像処理を用いてもよい。
また、対象特定部13Bによる対象の特定は、ユーザUの視線の検出を用いるとしたが、ユーザUの手を接触させる、又は、ユーザUの顔を近づけさせるなどのジェスチャを用いてもよい。
また、心情推定部44は第1象限から第4象限の4つの象限による分類としたが、もっと細かい分類でもよく、また、もっと粗い分類でもよい。
また、方針決定部46は、接客方針を決定する際に、商品情報を用いるものとしたが、商品情報によらずに、4象限に分類した顧客状況に応じた接客方針を決定してもよい。また、対象となる商品51は、ある種別のジーンズのように個別の商品としてもよいし、商品カテゴリ(パンツ、シャツ若しくはジャケットなどの衣類分類、又は、商品、食品、食器若しくは家具などの商品分類)であってもよい。
また、顔画像認証と組み合わせ、ユーザUを一の顧客として特定した上で、当該一の顧客の過去の購買履歴を用いてお勧め商品又はサービスを選択することで、接客方針を決定してもよい。
また、顔画像認証でユーザUを一の顧客を特定した上で、購買履歴と共に、特定した顧客の心情をネットワーク上のサーバで管理し、他の店舗に当該顧客が現れた場合に、同等の接客方針に基づく接客を提供できるようにすることも可能である。
以上のように、本実施の形態の情報提示装置は、接客方針を提示する装置として、商品の性質と価格表示についてのユーザの感情に基づいて取得される情報をユーザに提示する。一般に、商品の性質と価格とのそれぞれに対してのユーザの満足が得られる場合に購入行動が行われる。しかしながら、商品の性質と価格とのいずれか又は両方についての満足しない限り購入行動は行われない。そこで、商品の性質と価格とについてのユーザの感情を分析して、購入行動を促す情報を生成することで、ユーザの購入行動につなげることができる利点がある。
また、情報提示装置は、商品の性質と価格表示についてのユーザの満足度に基づいて、満足が得られていないものについて満足が得られるような情報を取得して、ユーザに提供する。これにより、具体的に、ユーザの購入行動を起こさせることができる。
(実施の形態4)
実施の形態4において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置4は、実施の形態1の情報提示装置1における構成及び処理を、人に提供する料理を決定する装置に適用する例である。
図15は、本実施の形態における情報提示装置4の利用場面を示す説明図である。図16は、本実施の形態における情報提示装置4の機能ブロックを示すブロック図である。
情報提示装置4は、図15に示されるような料理A及び料理Bを提供されたユーザUの食事行動の際のユーザUの好意度を、感情として推定する。そして、情報提示装置4は、推定した好意度に基づいて、ユーザUの食べ物の嗜好の分析、及び、次にユーザUに提供することが推奨される料理を、料理提供者に提示する。つまり、情報提示装置4は、次にユーザUに提供する料理によってユーザUの好意度を上昇させる、又は、既に好意度が比較的高い場合には維持させる。
図16に示されるように、情報提示装置4は、感情推定部11Cと、対象特定部13Cと、制御部14Cと、提示部16と、カメラ20とを備える。なお、感情推定部11C、対象特定部13C、制御部14C及びカメラ20は、それぞれ、情報提示装置1の感情推定部11、対象特定部13、制御部14及びセンサ10及び12の具体例である。
カメラ20は、ユーザUを撮像する可視光線カメラ又は赤外線カメラである(図15参照)。カメラ20は、物理量を提供する画像を取得するセンサとして機能する。より具体的には、カメラ20は、ユーザU、料理A及びB、並びに、料理A及びBそれぞれが盛られた器DA及びDBを含む画像を撮像により取得する。
感情推定部11Cは、センサとしてのカメラ20が取得した画像におけるユーザUの表情に基づいて、ユーザUが抱いている感情を推定する処理部である。ここで、ユーザUが抱いている感情は、料理が好きである、料理がおいしいと感じている、又は、料理に満足しているというような料理の対する好意の度合いである好意度を含むものである。表情から好意度を算定する方法は、周知技術を採用し得る。
対象特定部13Cは、センサとしてのカメラ20が取得した画像に基づいて、ユーザUに、感情推定部11Cが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部13Cは、カメラ20が撮像により取得した画像に対する分析に基づいて、ユーザUが、器DAに盛られた料理Aを口に運んだのか、又は、器DBに盛られた料理Bを口に運んだのかを判別する。そして、ユーザUが口に運んだ料理(料理A及びBのいずれか一方)を示す特定情報を生成する。画像の分析では、例えば、器DAと器DBとの色又は形、ユーザUの口の位置を判別し、どちらの器からユーザUの口に物体が運ばれたかに基づいて、ユーザUが口に運んだ料理を特定する。
上記により、感情推定部11Cと対象特定部13Cとは、料理A及びBそれぞれについてユーザUが抱いている好意度を推定するとともに、その好意度を抱いた料理A又はBを示す特定情報を生成する。
制御部14Cは、感情推定部11Cが推定した感情と、対象特定部13Cが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部16による提示を制御する処理部である。制御部14Cは、その内部構成として、嗜好判定部62と、料理決定部64とを備える。
嗜好判定部62は、ユーザUの食べ物の嗜好を判定する処理部である。嗜好判定部62は、感情推定部11C及び対象特定部13Cから、ユーザUの料理A及びBのそれぞれについての好意度を取得し、取得した好意度に基づいて所定の算定方法により、ユーザUの食べ物の嗜好を判定する。
料理決定部64は、嗜好判定部62が判定したユーザUの食べ物の嗜好に基づいて所定の算定方法により、ユーザUに次に提供する料理を、メモリに保有している複数の候補から決定する処理部である。
提示部16は、制御部14Cによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。
以上のように構成された情報提示装置4の処理を以下で説明する。
図17は、本実施の形態における情報提示装置4の制御方法を示すフロー図である。図18は、本実施の形態における嗜好ベクトルの導出方法を示す説明図である。図19は、本実施の形態における料理の決定方法を示す説明図である。図20は、本実施の形態における料理の提示の一例を示す説明図である。
ステップS401において、カメラ20がユーザU、料理A及びB、並びに、器DA及びDBを含む画像を取得する。このとき、ユーザUが器DAから料理Aを口に運ぶ場面(例えば図15の(a))の画像が取得されたとする。
ステップS402において、対象特定部13Cは、ステップS401で取得した画像から、ユーザUが料理Aを口に運んだことを判別する。これにより、対象特定部13Cは、ユーザUが抱いている感情を引き起こした対象が料理Aであることを特定し、料理Aを示す特定情報を生成する。
ステップS403において、感情推定部11Cは、ステップS401で取得した画像におけるユーザUの表情から、ユーザUが抱いている感情を推定する。ユーザUが料理Aを口に運ぶ場面であるので、感情推定部11Cが推定する感情は、ユーザUが料理Aについて抱いている感情、より具体的には、料理Aに対する好意度である。
ステップS404、S405及びS406において、上記と同様に、カメラ20により取得したユーザUが器DBから料理Bを口に運ぶ場面(例えば図15の(b))の画像に基づいて、対象特定部13C及び感情推定部11Cにより、ユーザUの料理Bに対する好意度を取得する。
ステップS407において、嗜好判定部62は、ユーザUの食べ物の嗜好を示す嗜好ベクトルを生成する(図18参照)。
図18には、料理A及びBについてのユーザUの好意度からユーザUの嗜好ベクトル(多次元ベクトル)を導出する導出方法が示されている。
前提として、料理A及びBそれぞれについて、属性ごとの属性値が予め定められているとする。属性には、例えば、肉又は野菜のように料理の材料に由来するものと、甘み又は辛味のように料理の味に由来するものとが含まれる。属性ごとの属性値とは、当該属性の大きさを示す指標であり、例えば、0以上1以下の値をとる。例えば、材料として肉が多く含まれている料理の「肉」の属性の属性値は相対的に高い値(例えば0.8)をとる。また、甘みが少ない料理の「甘み」の属性の属性値は相対的に低い値(例えば0.3)をとる。なお、各属性を各成分とするベクトルのことを属性ベクトルともいう。
嗜好判定部62は、ステップS403及びステップS406で推定された、料理A及びBそれぞれの好意度を重みとして、料理A及びBの属性値それぞれの加重平均をとることで嗜好ベクトルを生成する。生成される嗜好ベクトルは、属性の個数と同じ次元を有し、属性値の加重平均を各成分とするベクトルである。例えば、料理A及びBそれぞれの「肉」の属性の属性値がそれぞれ0.8及び0.2であり、ユーザUの好意度が料理Aについて0.9、料理Bについて0.1であるとき、嗜好ベクトルの「肉」の成分は、0.8×0.9+0.2×0.1=0.74と算出される。他の属性及び成分についても同様である。嗜好ベクトルの成分のそれぞれは、ユーザUが、各属性を有する料理に好意を抱く度合いを示しているので、嗜好ベクトルは、ユーザUの嗜好を示しているといえる。
図17に戻り、ステップS408において、料理決定部64は、ユーザUに次に提供する料理を決定する。具体的には、料理決定部64は、複数の料理候補のそれぞれの属性ベクトルとステップS408で算出した嗜好ベクトルとの内積値に基づいて、次にユーザUに提供する料理を決定する(図19参照)。
図19には、属性ベクトルと嗜好ベクトルとの内積値に基づいて料理を決定する方法が示されている。
前提として、情報提示装置4は、ユーザUに提供する料理の候補である複数の料理候補(図19における料理C及びD)を保有しているとする。料理C及びDについては、料理A及びBと同様に、属性ごとの属性値が予め定められているとする。
料理決定部64は、ユーザの嗜好に属性が近い料理を、より優先的に含む提示情報を生成する。より具体的には、料理決定部64は、ステップS407で生成した嗜好ベクトルと、料理C及びDの属性ベクトルとの内積値(この例ではそれぞれ1.801及び0.998)を算出する。そして、より大きな内積値を有する料理(この例では料理C)を、次にユーザUに提供する料理として優先的に選択することで決定する。属性ベクトルと嗜好ベクトルとの内積値が大きいことは、各ベクトルの成分が比較的近い値をとっていることを示しているので、上記のように決定することで、複数の料理候補のうちからユーザUの嗜好に近い料理が選択される。
図17に戻り、ステップS409において、提示部16は、制御部14Cによる制御に基づいて、ステップS408で決定したユーザUに次に提供する料理を提示する(図20参照)。
図20には、提示部16により提示される提示情報の一例が示されている。図20に示される例は、ユーザUの嗜好が、料理候補である料理C及びDのうち、料理Cに近いことを示す文字列71と、料理Cのレシピを示す文字列73とが示されている。これらの文字列を見た料理提供者は、ユーザUに次に料理Cを提供するのが適切であると考えることができ、また、料理Cの提供にあたりそのレシピを知ることができる。なお、文字列71及び文字列73のいずれか一方のみが表示されてもよい。
なお、感情推定部11Cによる表情判定は画像処理を用いるとしたがその限りではない。鼻の表面温度を放射温度計で測定し、温度上昇により快の感情を、また、温度下降により不快の感情を判定してもよい。
また、対象特定部13Cによる視線の向きの判定は可視光線カメラを用いた画像処理以外にも、赤外線カメラを用いた画像処理を用いてもよい。
また、対象特定部13Cによる対象の特定は、ユーザUの視線の検出を用いるとしたが、ユーザUの手を接触させる、又は、ユーザUの顔を近づけさせるなどのジェスチャを用いてもよい。
また、対象特定部13Cは、料理が入っている器を特定することで料理の判定をするとしたが、ユーザUの口に運ばれる物体そのものを物体認識することで判定してもよい。例えば料理がラーメンである場合、構成物は、スープ、麺、チャーシュー、メンマ及びネギ等があり得るので、この5種を、口に運ばれる物体の形及び色に基づいて判定してもよい。
また、情報提示装置4は、次に提供する料理を決定するだけでなく、ユーザUの嗜好を特定した上で、その嗜好に基づいて商品のレコメンドを行うシステムであれば、どんなものにも応用できる。情報提示装置4は、例えば、パソコン上で様々な商品をユーザUに提示し、その時のユーザUの感情を、パソコンに付属したカメラが取得した映像から判定することで、ユーザUが本当に欲しいものを提示するシステムに応用できる。
また、上記では、好意度つまりポジティブ感情が相対的に高い対象物を重く評価する(対象物の多次元ベクトルの重み付けを大きくする)としたが、その反対に、好意度が低い、つまり、ネガティブ感情が相対的に高い対象物を重く評価してもよい。この場合、利用者が嫌悪する対象を判定できる。例えば、教室において、生徒がネガティブ感情を有する対象物としての勉強科目を重く評価することにすれば、生徒の苦手科目を判定することができ、その科目を繰り返し説明するなどのより効果的な教育を実現できる。この場合、対象特定部13Cがプレゼンテーションソフトと連動しており、生徒に説明するプレゼンテーションのページから対象物を決定してもよい。このようにすると、プレゼンテーションのページと、生徒の感情との組み合わせにより、生徒の苦手科目を判定することができる利点がある。
以上のように、本実施の形態の情報提示装置は、ユーザに提供する料理を提示する装置として、ユーザの感情と、ユーザが口に運んだ料理とに基づいてユーザの嗜好を分析し、ユーザの嗜好に比較的近い料理を示す情報をユーザに提示する。これにより、情報提示装置は、ユーザの感情を良くすることができる。
また、情報提示装置は、料理の属性ごとの属性値を用いたベクトル演算により、具体的にユーザの嗜好を分析し、提供する料理を決定することができる。
(実施の形態5)
実施の形態5において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置5は、実施の形態1の情報提示装置1における構成及び処理を、複数の言語による情報提供(例えば観光案内)を行う装置に適用する例である。
図21は、本実施の形態における情報提示装置5の利用場面を示す説明図である。図22は、本実施の形態における情報提示装置5の機能ブロックを示すブロック図である。
情報提示装置5は、図21に示されるように、複数の言語それぞれによる音声を提示されたユーザUの理解度を、感情として推定する。そして、情報提示装置5は、推定した理解度に基づいて、ユーザUが理解できる言語を決定し、ユーザUが理解できる言語により情報提供を行う。つまり、情報提示装置5は、ユーザUに提供する情報の言語によってユーザUの理解度を上昇させる、又は、既に理解度が比較的高い場合には維持させる。
図22に示されるように、情報提示装置5は、感情推定部11Dと、対象特定部13Dと、制御部14Dと、提示部16と、カメラ20と、人種特定部80とを備える。なお、感情推定部11D、対象特定部13D、制御部14D及びカメラ20は、それぞれ、情報提示装置1の感情推定部11、対象特定部13、制御部14及びセンサ10の具体例である。
カメラ20は、ユーザUを撮像する可視光線カメラ又は赤外線カメラである(図21参照)。カメラ20は、物理量を提供する画像を取得するセンサとして機能する。より具体的には、カメラ20は、ユーザUの顔を含む画像を撮像により取得する。
感情推定部11Dは、センサとしてのカメラ20が取得した画像におけるユーザUの表情に基づいて、ユーザUが抱いている感情を推定する処理部である。ここで、ユーザUが抱いている感情は、提示部16が提示した言語が理解できる、又は、理解できないというような言語についての理解の度合いである理解度を含む。理解度は、例えば、理解している状態を1で示し、理解していない状態を0で示し、これらの間の理解度を0から1の間の数値で示すものである。表情から理解度を算定する方法は、周知技術を採用し得る。
対象特定部13Dは、提示部16によりユーザUに提示した情報に基づいて、ユーザUに、感情推定部11Dが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部13Dは、提示部16が提示した音声の言語種別を上記対象として取得し、その言語種別を示す情報を生成する。
制御部14Dは、感情推定部11Dが推定した感情と、対象特定部13Dが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部16による提示を制御する処理部である。制御部14Dは、その内部構成として、理解度判定部82と、言語決定部84とを備える。
理解度判定部82は、提示部16が提示した音声の言語についてのユーザUの理解度を判定する処理部である。理解度判定部82は、感情推定部11Dが推定した理解度を取得し、また、対象特定部13Dから言語種別を示す情報を取得する。そして、感情推定部11Dが取得した理解度を、提示部16が提示した音声の言語についてのユーザUの理解度であると判定する。
言語決定部84は、理解度判定部82が判定したユーザUの理解度と所定値との大小比較に基づいて、提示部16が提示した言語をユーザUが理解できるか否かを決定する処理部である。また、言語決定部84は、提示部16が提示した言語が、ユーザUが理解できない言語であった場合には、次にユーザUに提示する音声の言語を、メモリが保有している言語選択テーブルT4又はT5を用いて決定する。次にユーザUに提示する音声の言語を決定する際には、人種特定部80から得られる人種情報を用いてもよい。
提示部16は、制御部14Dによる制御に基づいて、所定の言語による情報提供を音声により行う出力インタフェースである。
人種特定部80は、ユーザUの人種を特定する処理部である。人種特定部80は、カメラ20が取得した画像に含まれるユーザUの顔、体格、肌の色などの特徴を抽出し、ユーザUの人種(黄色人種、白色人種など)を特定する人種情報を生成する。人種特定部80が生成した人種情報は、言語決定部84に提供される。なお、人種特定部80は、情報提示装置5に必須の構成要素ではない。
以上のように構成された情報提示装置5の処理を以下で説明する。
図23は、本実施の形態における情報提示装置5の制御方法を示すフロー図である。図24は、本実施の形態における言語選択テーブルT4を示す説明図である。
ステップS501において、カメラ20によりユーザUの顔を含む画像を取得する。
ステップS502において、人種特定部80は、カメラ20が取得した画像に含まれるユーザUの顔(より具体的には、目、口及び鼻などのパーツの特徴点の位置)、体格、並びに、肌の色等に基づいて、ユーザUの人種を特定し、人種情報を生成する。ここでは、ユーザUの人種が、白色人種であると特定されたとする。
ステップS503において、言語決定部84は、人種特定部80から人種情報を取得すると、人種情報により特定される人種の人が話す言語として予め定められた複数の言語のうちから一の言語を選択することで、ユーザUに提供する情報の言語を決定する。言語の決定方法について、図24を参照しながら詳しく説明する。
図24には、複数の言語から言語を選択する際に用いる言語選択テーブルT4が示されている。言語選択テーブルT4には、人種別に、当該人種の人が理解できると推測される言語が所定の順序で示されている。この順序は、任意の順序であってよいが、例えば、当該人種の人が理解することができる言語が多い順に上から示される順序とすれば、ユーザUが理解できる言語をより早く特定することができる利点がある。
上記ステップS503では、言語決定部84は、言語選択テーブルT4に記載された人種情報のうち、人種特定部80から取得した人種情報に対応する言語を上から順に特定する。例えば、人種特定部80から白色人種を示す人種情報を取得した場合には、言語決定部84は、言語選択テーブルT4に記載された「英語」を選択する。
ステップS504において、提示部16は、ステップS503で決定した言語による音声データを音声出力により提示する。
ステップS505において、カメラ20によりユーザUの顔を含む画像を取得する。
ステップS506において、感情推定部11D及び対象特定部13Dは、ステップS505でカメラ20により取得した画像におけるユーザUの表情から、ステップS504で提示した情報に対するユーザUの理解度を推定する。
ステップS507において、言語決定部84は、ステップS506で推定した理解度が所定値(例えば0.8)以上であるか否かを判定する。理解度が所定値以上である場合(ステップS507でYes)にはステップS508へ、理解度が所定値未満である場合(ステップS507でNo)にはステップS509に進む。
ステップS508において、言語決定部84は、ステップS504でユーザUに提示した情報の言語をユーザUが理解できると判定する。言語決定部84は、その後、この言語を用いてユーザUへの情報提供を継続することができる。
ステップS509において、言語決定部84は、ユーザUに提供する情報の言語を他の言語に決定する。他の言語の決定の際には、言語選択テーブルT4を用いる。ステップS503で白色人種に対して英語を選択した後であれば、言語決定部84は、言語選択テーブルT4において英語の次に記載されたフランス語を、次にユーザUに提供する情報の言語として決定することができる。この後、情報提示装置5は、ステップS504に戻り処理を続ける。
以上のような一連の処理により、情報提示装置5は、ユーザUが理解することができる言語を決定し、その後、決定した言語による情報提供を行うことができる。
なお上記では、言語選択テーブルT4として人種ごとに言語が対応付けられたテーブルを用いる例を示したが、人種ごとの対応付けがない言語選択テーブルT5を用いてもよい(図25参照)。言語選択テーブルT5を用いる場合、情報提示装置5は、ユーザUの人種を特定することなく、言語の選択を行う。このようにすると、よりシンプルな言語選択テーブルT5を用いて、ユーザUに提供する情報の言語を決定することができるので、処理量の削減、処理に係る消費電力の削減の効果がある。なお、この場合、人種特定部80及び、ユーザUの人種を特定する処理(ステップS501〜S502)は不要である。
なお、上記では、情報提示装置5が起こしたイベントの後に変化したユーザUの感情の変化を推定することで、ユーザUの感情を引き起こした対象を特定している。特に、挨拶のような、特定の意味を持たない言葉を提示した後にユーザUがネガティブな感情を有するときは、そもそも言語が理解できていない状況であると状況判定し、使用する言語を変えるものである。
ここで、イベントは他のものであってもかまわない。例えば観光客に対し、お勧めの観光地を提示し、その後の観光客の表情を判定する。観光客がネガティブな感情を有していると、その観光地は観光客の好みではないと考えられるので、他の観光地をさらにお勧めする。観光客の観光についての嗜好を判定する方法には、実施の形態4の多次元ベクトルを用いる方法を適用可能である。
また、イベントは発話だけではなく、動作でもかまわない。
また、情報提示装置5の用途は、観光案内のための情報提供に限定されるものではない。学習型ロボットであって、ロボットが行った発話や動作の後のユーザUの感情を推定し、その感情がネガティブであるか又はポジティブであるかを判定し、ユーザUの嗜好に合わせて、ロボットの振舞い方を学習していくものであってもよい。
また、情報提示装置5の用途は、生体認証システムであってもよい。この場合、情報提示装置5は、あらかじめユーザUの嗜好を学習しておく。そして、その嗜好に基づく感情の変化をユーザUの生体認証の一つの情報として用いる。例えば、まず、顔認証で、認証候補を絞り込む。その上で、本当に本人かどうか確認するために、本人の嗜好に合わせた画像の提示を行う。例えば、猫は好きだが犬は嫌い、といった嗜好を持つ人に対して猫のかわいい画像を見せて、そのタイミングでの感情を推定する。本人であれば、ポジティブな感情が推定されるはずである。また、犬の画像を見せたときは、ネガティブな感情が推定されるはずである。このように、対象物(猫又は犬)と感情との組み合わせによって、本人か否かを判定することができる。この方法は、顔だけではなく、その人物の心の内面まで踏み込んで判定する点で、従来の生体認証より優位である。この場合、利用者と生体認証システムとの間で、認証のための特殊な感情についての取り決めをしておいてもよい。例えば、犬の画像を提示したときは怒り出す、という、通常ではありえない感情の変化を、認証キーとして取り決めておいてもよい。
また、情報提示装置5の用途は、税関における犯罪者の判定であってもよい。税関で犯罪者を発見する際に、質問と、当該質問を提示した後の感情の変化の組み合わせにより、ネガティブな感情がどのような質問で起こったかを集計することで、犯罪者の判定を行ってもよい。
また、情報提示装置5の用途は、ソーシャルゲームであってもよい。他のユーザのキャラクタと出会ったタイミングの後の感情がポジティブであった場合には、そのキャラクタに好意を持っているということだから、そのキャラクタと二人でのイベントが起こるようにゲーム内容を変更するものであってもよい。また、相手のキャラクタへの好意に応じて、自分のキャラクタの表示が変化するものであってもよい。また、ソーシャルゲームの戦闘イベントのタイミングの感情が非常にポジティブであった場合には、自分のキャラクタの能力が向上するものであってもよい。
以上のように、本実施の形態の情報提示装置は、複数の言語による音声案内を行う装置として、言語に対するユーザの感情に基づいて、ユーザが理解できる言語を決定して音声案内を行うことができる。ここで、情報提示装置がユーザに提示した言語に対するユーザの推定される感情を用いることで、ユーザが理解できる言語をより適切に判定することができる。
また、情報提示装置は、言語に対するユーザの理解度に基づいてユーザが理解できる言語を具体的に判定することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、情報提示装置の制御方法であって、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し、センサにより取得した物理量、又は、前記情報提示装置が備える提示部により前記ユーザに提示した情報に基づいて、前記ユーザに、推定した前記感情を引き起こした対象を特定する特定情報を生成し、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する制御方法を実行させる。
以上、一つまたは複数の態様に係る情報提示装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。