JP2019208885A - 感情評価支援システム及び感情評価支援方法 - Google Patents

Abstract

【課題】ユーザが目視している領域毎に、その領域に対するユーザの深層心理における複数の感情の変化の評価を支援する感情評価支援システムを提供する。【解決手段】本発明の感情評価支援システムは、ユーザの視点を検出する視点検出部と、ユーザの脳波を計測する脳波計測部と、脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを、抽出する感情分析部と、視点と複数種類の感情の度合いとの各々を、タイムスタンプで対応付ける関連付部とを備える。【選択図】図１

Description

本発明は、目視した評価対象に対するユーザの感情の変化の評価を支援する感情評価支援システム及び感情評価支援方法に関する。

従来から、商品開発を行う際などに、評価対象の商品（対象商品）に関する、商品評価のアンケートをユーザに対して行っていた。
しかし、上記アンケートにおいては、ユーザの対象商品に対する表面的な評価を得ることはできるが、ユーザの潜在的な嗜好などの感情の情報を高い精度で得ることが出来ない。
このため、対象商品を目視している際に、ユーザの生体情報及び行動情報を取得して、取得した生体情報、行動情報それぞれとユーザの年齢や性別などの属性情報とに基づき、ユーザが対象商品に対して持つ、潜在的な嗜好を判断する嗜好判断システムがある（例えば、特許文献１参照）。
この特許文献１における嗜好判断システムによれば、アンケートなどに比較して、高い精度でユーザの嗜好を判断することができる。

特開２０１４−２１９９３７号公報

しかしながら、特許文献１においては、嗜好の度合いを判断することはできるが、生体情報、行動情報それぞれにより、単純にユーザの興味の有無により嗜好を推定している。
人間の深層心理においては、対象商品に対する感情として、嗜好といってもいくつかの感情が複雑に絡み合っている。
このため、特許文献１の嗜好判断システムでは、各ユーザの深層心理で感じている真の感情を判断し、ユーザ間における共通の感情の要素を抽出して、ユーザの真の嗜好に対応した商品開発を行うことはできない。

また、特許文献１の嗜好判断システムは、対象商品全体としての嗜好を判断することができるが、その対象商品のいずれの箇所に対して、どのような感情を有しているかの視点単位の感情を判断することはできない。
例えば、レストランなどでメニューを見たとき、メニュー全体としての嗜好の判断を行うことは可能であるが、メニューに記載されている複数の商品において、どの商品に嗜好があるかを判断することはできない。

本発明は、このような事情に鑑みてなされたもので、ユーザが目視している視点毎に、その視点に対するユーザの深層心理における複数の感情の変化の評価を支援する感情評価支援システム及び感情評価支援方法を提供することを目的とする。

この発明は上述した課題を解決するためになされたもので、本発明の感情評価支援システムは、ユーザの視点を検出する視点検出部と、前記ユーザの脳波を計測する脳波計測部と、前記脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを、抽出する感情分析部と、前記視点と前記複数種類の感情の度合いとの各々を、タイムスタンプで対応付ける関連付部とを備えることを特徴とする。

本発明の感情評価支援システムは、前記感情分析部が、複数の人間に対して、前記複数種類の感情の各々を生じさせて脳波を取得し、この脳波に対して統計処理を行いて生成された、前記複数種類の感情の各々の度合いを出力する計算モデルそれぞれを用いて、前記ユーザの前記脳波から複数種類の感情の度合いを求めることを特徴とする。

本発明の感情評価支援方法は、ユーザの視点を検出する視点検出過程と、前記ユーザの脳波を計測する脳波計測過程と、前記脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを、抽出する感情分析過程と、前記視点と前記複数種類の感情の度合いとの各々を、タイムスタンプで対応付ける関連付過程とを含むことを特徴とする。

この発明によれば、ユーザが目視している視点毎に、その視点の対象に対するユーザの深層心理における複数の感情の変化の評価を行えるため、ユーザの視点毎に複数種類の感情の度合いの変化の組合わせを得ることができ、この感情の度合いの組合わせからユーザの深層心理における真の感情を推定することが可能となり、従来に比較してより精度の高い商品開発などの支援を容易に行うことができるという効果が得られる。

本発明の一実施形態による感情評価支援システム１の構成例を示す概念図である。 記憶部１１２に記憶されている脳波データテーブルの構成例を示す図である。 記憶部１３７に記憶されている視点座標テーブルの構成例を示す図である。 記憶部１３７に記憶されている感情度合テーブルの構成例を示す図である。 記憶部１３７に記憶されている視点感情度合関連付テーブルの構成例を示す図である。 記憶部１３７に記憶されている感情度合検出テーブルの構成例を示す図である。 表示部１３６の表示画面に表示されるグラフ表示領域及び視点画像表示領域の表示例を示す図である。 視点画像表示領域２００に表示されるフレームの画像の他の表示例を示す図である。 感情評価支援システム１により行なう対象に対するユーザの感情変化を評価する処理の動作例を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の一実施形態による感情評価支援システム１の構成例を示す概念図である。この図１において、感情評価支援システム１は、脳波計測装置１１、視点検出装置１２及び感情評価支援装置１３の各々を備えている。

脳波計測装置１１は、ユーザの頭部にヘッドバンドで所定の位置に電極を接触させ、所定の計測周期により脳波を取得し、タイムスタンプを付して、感情評価支援装置１３に対して出力する。
また、脳波計測装置１１は、感情分析部１１１及び記憶部１１２の各々を備えている。
脳波計測装置１１は、ユーザから取得した脳波データの各々をタイムスタンプに対応させて、記憶部１１２に対して書き込んで記憶させる。

図２は、記憶部１１２に記憶されている脳波データテーブルの構成例を示す図である。この脳波データテーブルは、ユーザ毎に生成される。
図２の脳波データテーブルにおいて、レコード毎に、タイムスタンプ及び脳波データの各々の欄が設けられている。ここで、タイムスタンプは、脳波の測定周期に対応した日付けや時刻を示すデータである。脳波データは、例えば、タイムスタンプの時刻において測定された脳波の電位を示すデータである。

図１に戻り、感情分析部１１１は、脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを抽出する。また、感情分析部１１１は、他に、集中度及び鎮静度などの種類の感情の度合いも抽出する。
ここで、感情分析部１１１は、興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の各々の度合いを、ユーザの脳波データから算出する計算モデルを使用する。

この計算モデルは、例えば、複数の人間に対して、興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の各々を生じさせて脳波を取得し、この脳波に対して統計処理を行いて生成された、複数種類の感情の各々の度合いを出力するモデルである。
ここで、感情分析部１１１は、視点座標テーブルのタイムスタンプの時刻に対応した脳波データを用い、フレームの時刻に同期させて、ユーザの複数種類の感情の各々の度合いを求める。
そして、感情分析部１１１は、上記計算モデルを用いて脳波データから求めた興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の度合いを、視点座標テーブルのタイムスタンプに対応させて、感情評価支援装置１３に対して出力する。

視点検出装置１２は、評価対象物の画像とこの画像におけるユーザの目視している視点とを検出し、タイムスタンプを付して、感情評価支援装置１３に対して出力する。
視点検出装置１２は、例えば、画像撮像装置１２１及び視線撮像部１２２の各々を備えている。
画像撮像装置１２１は、ユーザの視界画像である動画像（例えば、３０フレーム／秒）を撮像し、各フレーム毎にタイムスタンプを付して、感情評価支援装置１３に対して出力する。
視線撮像部１２２は、動画像のフレームに同期して、ユーザの瞳孔の画像を撮像し、フレームにおける視点の位置（視点座標値）を算出し、タイムスタンプを付して、感情評価支援装置１３に対して出力する。

感情評価支援装置１３は、入力制御部１３１、関連付部１３３、度合分析部１３４、画像制御部１３５、表示部１３６及び記憶部１３７の各々を備えている。
入力制御部１３１は、視点検出装置１２から供給されるフレームの各々と、フレームそれぞれにおける視点の視点座標値とをタイムスタンプに対応させて、記憶部１３７に対して書き込んで記憶させる。
また、入力制御部１３１は、脳波計測装置１１から供給される興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の度合いを、視点座標テーブルのタイムスタンプに対応させて記憶部１３７に対して書き込んで記憶させる。

図３は、記憶部１３７に記憶されている視点座標テーブルの構成例を示す図である。この視点座標テーブルは、ユーザ毎に生成される。
図３の視点座標テーブルにおいて、レコード毎に、タイムスタンプ、視界画像データインデックス及び視点座標値の各々の欄が設けられている。ここで、タイムスタンプは、日付けや時刻を示すデータである。視界画像データインデックスは、例えば、画像撮像装置１２１の撮像した動画像のフレームの画像のデータが記憶されている記憶部１３７の領域のアドレスである。視点座標値は、対応するタイムスタンプの視界画像データにおけるユーザの視点の位置を示している。

図４は、記憶部１３７に記憶されている感情度合テーブルの構成例を示す図である。この感情度合テーブルは、ユーザ毎に生成される。
図４の感情度合テーブルにおいて、レコード毎に、タイムスタンプ、興味度、好き度、ストレス度、集中度及び鎮静度の各々の欄が設けられている。ここで、タイムスタンプは、日付けや時刻を示すデータである。興味度は、フレームにおける視点座標値の画像領域に対するユーザの興味の度合いを示している。好き度は、フレームにおける視点座標値の画像領域に対するユーザの好きの度合いを示している。ストレス度は、フレームにおける視点座標値の画像領域に対するユーザのストレスの度合いを示している。集中度は、フレームにおける視点座標値の画像領域に対するユーザの集中の度合いを示している。鎮静度は、フレームにおける視点座標値の画像領域に対するユーザの鎮静の度合いを示している。

図１に戻り、関連付部１３３は、記憶部１３７における視点座標テーブルのタイムスタンプを読み出し、感情度合いテーブルを参照して、このタイムスタンプに対応するタイムスタンプを有する興味度、好き度、ストレス度、集中度及び鎮静度の各々の種類の感情の度合いを読み出す。
そして、関連付部１３３は、視点座標テーブルにおけるタイムスタンプで関連付けて（マッチングさせて）、視点座標値と、興味度、好き度、ストレス度、集中度及び鎮静度の各々の種類の感情の度合いとを、記憶部１３７に書き込んで記憶させる。

図５は、記憶部１３７に記憶されている視点感情度合関連付テーブルの構成例を示す図である。この視点感情度合関連付テーブルは、ユーザ毎に生成される。
図５の視点感情度合関連付テーブルにおいて、レコード毎に、タイムスタンプ、視点座標値、興味度、好き度、ストレス度、集中度及び鎮静度の各々の欄が設けられている。ここで、タイムスタンプは、図２における視点座標テーブルにおけるタイムスタンプの時刻に対応した日付けや時刻を示すデータである。視点座標値は、対応するタイムスタンプの視界画像データにおけるユーザの視点の位置を示している。

また、興味度は、フレームにおける視点座標値の画像領域に対するユーザの興味の度合いを示している。好き度は、フレームにおける視点座標値の画像領域に対するユーザの好きの度合いを示している。ストレス度は、フレームにおける視点座標値の画像領域に対するユーザのストレスの度合いを示している。集中度は、フレームにおける視点座標値の画像領域に対するユーザの集中の度合いを示している。鎮静度は、フレームにおける視点座標値の画像領域に対するユーザの鎮静の度合いを示している。

図１に戻り、度合分析部１３４は、所定時間範囲内における興味度、好き度、ストレス度、集中度及び鎮静度の各々の度合いの変化量を検出する。
そして、度合分析部１３４は、予め設定された変化量閾値を超えた時点のタイムスタンプを抽出する。
また、度合分析部１３４は、変化量閾値を超えた時点のタイムスタンプと、このタイムスタンプにおける視点座標値と、変化量閾値を超えた感情を示す情報とを記憶部１３７に書き込んで記憶させる。

図６は、記憶部１３７に記憶されている感情度合検出テーブルの構成例を示す図である。この感情度合検出テーブルは、ユーザ毎に生成される。
図６の感情度合検出テーブルにおいて、レコード毎に、タイムスタンプ、視点座標値、興味度フラグ、好き度フラグ、ストレス度フラグ、集中度フラグ及び鎮静度フラグの各々の欄が設けられている。ここで、タイムスタンプは、図２における視点座標テーブルにおけるタイムスタンプの時刻に対応した日付けや時刻を示すデータである。視点座標値は、対応するタイムスタンプの視界画像データにおけるユーザの視点の位置を示している。

興味度フラグは、タイムスタンプに対応したフレームにおける視点座標値の画像領域に対するユーザの興味の度合いの変化量が変化量閾値を超えたか否かの判定情報を示している。好き度フラグは、タイムスタンプに対応したフレームにおける視点座標値の画像領域に対するユーザの好きの度合いの変化量が変化量閾値を超えたか否かの判定情報を示している。ストレス度フラグは、タイムスタンプに対応したフレームにおける視点座標値の画像領域に対するユーザのストレスの度合いの変化量が変化量閾値を超えたか否かの判定情報を示している。集中度フラグは、タイムスタンプに対応したフレームにおける視点座標値の画像領域に対するユーザの集中の度合いの変化量が変化量閾値を超えたか否かの判定情報を示している。鎮静度フラグは、タイムスタンプに対応したフレームにおける視点座標値の画像領域に対するユーザの鎮静の度合いの変化量が変化量閾値を超えたか否かの判定情報を示している。上述した各フラグは、度合いの変化量の判定情報として、例えば、フレームにおける度合いの変化量が変化量閾値を超えた場合、フラグが立っている状態として「１」が書き込まれ、フレームにおける度合いの変化量が変化量閾値を超えていない場合、フラグが立っていない状態として「０」が書き込まれる。

図１に戻り、画像制御部１３５は、表示部１３６の表示画面のグラフ表示領域に対し、記憶部１３７の視点感情度合関連付テーブルを参照し、タイムスタンプ毎に、興味度、好き度、ストレス度、集中度及び鎮静度の各々の感情の度合いを、それぞれ異なる色の線分からなるグラフとして表示する。
また、画像制御部１３５は、表示部１３６の表示画面の視点画像表示領域に対し、上記グラフ表示領域に表示されるグラフにおけるタイムスタンプに対応したフレームの画像を表示する。

このとき、画像制御部１３５は、記憶部１３７に記憶されている感情度合検出テーブルを参照して、上記タイムスタンプにおいて、フラグが立っている感情の有無を検出する。
そして、画像制御部１３５は、フラグが立っている感情があれば、この感情フレームの画像における視点座標値に対して、所定のマークを表示する。

ここで、画像制御部１３５は、例えば、フラグが立っている感情毎に、それぞれグラフ表示領域に表示されているグラフに対応した色のマークを表示する構成としても良い。
また、画像制御部１３５は、同一のタイムスタンプ、すなわち同一の視点座標値において、複数の感情のフラグが立っている場合、それぞれのフラグに対応する感情のマークをずらして、各感情のマークが視認できるように構成しても良い。

表示部１３６は、例えば、カラーの液晶ディスプレイなどの表示画面を有する画像表示装置である。

図７は、表示部１３６の表示画面に表示されるグラフ表示領域及び視点画像表示領域の表示例を示す図である。この図７において、グラフ表示領域１００には、好き度、興味度及びストレス度の各々の感情の度合いのグラフが表示される。横軸はタイムスタンプであり、時系列的な時刻周期で順番が示され、縦軸は度合いの数値が０から１００の間で示されている。曲線１０１は、好き度の度合いの時刻変化を示す曲線である。曲線１０２は、興味度の度合いの時刻変化を示す曲線である。曲線１０３は、ストレス度の度合いの時刻変化を示す曲線である。

視点画像表示領域２００には、例えば、ユーザがレストランのメニューを目視している際のフレームの画像が表示される。この視点画像表示領域２００に表示される画像は、グラフ表示領域１００におけるタイムスタンプマーク１１０のタイムスタンプの時刻におけるフレームの画像である。
また、視点画像表示領域２００に表示されるフレームの画像には、このフレームのタイムスタンプにおける度合いの変化量が変化量閾値を超えた感情に対応して、視点座標値にマーク２０１が重畳して表示される。

自動表示を行う場合、画像制御部１３５は、所定の時間間隔でタイムスタンプマーク１１０が時刻の経過方向（左から右方向）に、グラフ表示領域１００において移動させて表示する。そして、画像制御部１３５は、タイムスタンプマーク１１０の位置するタイムスタンプに対応するフレームの画像を、視点画像表示領域２００に表示する。
一方、手動表示を行う場合、ユーザがタイムスタンプマーク１１０をマウスなどにより、左方向あるいは右方向のいずれかに任意に移動させる。これにより、画像制御部１３５は、ユーザが移動させたタイムスタンプマーク１１０が位置するタイムスタンプに対応するフレームの画像を、視点画像表示領域２００に表示する。

図８は、視点画像表示領域２００に表示されるフレームの画像の他の表示例を示す図である。図８は、所定の時間範囲内において、ユーザが目視していたメニューのページの画像である。この視点画像表示領域２００における画像には、所定の時間範囲内において、変化量が変化量閾値を超えた感情を有するフレームに表示したマークの各々が全て重畳されて表示されている。この画面は、ユーザの深層心理を示す複数の感情を、その感情の変化量が変化量閾値を超えて変化した視点座標値に対して配置（マッピング）した感性マップを示しており、例えば、ユーザが任意のメニューのページの料理に対するユーザの感情を評価したい場合に用いる。

ここで、ユーザが不図示の入力手段で、所定のページを目視していた時間範囲を、グラフ表示領域１００においてタイムスタンプを開始点と終了点とを設定することで指定する。
これにより、画像制御部１３５は、記憶部１３７の感情度合検出テーブルを参照して、ユーザが指定したタイムスタンプの範囲において、変化量が変化量閾値を超えた感情を有するフレームを抽出し、それぞれのフレームにおけるマークを視点画像表示領域２００の感性マップ（画像）に表示する。
また、画像制御部１３５は、視点画像表示領域２００の感性マップに表示する感情のマークを、グラフ表示領域１００に表示する感情の曲線と同一の色で表示する。

視点画像表示領域２００の感性マップにおいて、部分画像２１０におけるマークが多いため、ユーザがこの部分画像２１０の料理に注目していることが判る。
マークの表示において、マーク２１１が興味度を示し、マーク２１２が好き度を示し、マーク２１３がストレスを示している。
この図８における視点画像表示領域２００の感性マップから、複数の感情の度合いがそれぞれマークとして、ユーザが目視している視点座標に表示されるため、部分画像２１０の料理は好きであるため好き度が高いが、カロリーが高いために太ることを考えるためストレス度が高くなっているなどが、ビジュアル的にユーザの深層心理の複数の感情変化として容易に判断することが可能となる。

図９は、感情評価支援システム１により行なう対象に対するユーザの感情変化を評価する処理の動作例を示すフローチャートである。
ステップＳ１０１：被験者としてのユーザの頭部に脳波計測装置１１及び視点検出装置１２の各々を装着する。
そして、所定の時間、ユーザに平静な状態を保持してもらい、何も感情の起伏がなく、すなわち脳波の変化が少ない状態において、バックグランドのデータとしての脳波を取得する。

次に、バックグランドのデータを取得した後、ユーザの感情変化を評価する対象（例えば、メニューやカタログなど）を、所定の時間範囲において目視して貰う。
これにより、脳波計測装置１１は、タイムスタンプとこのタイムスタンプにおいて取得した脳波データを記憶部１１２の脳波データテーブルに対して書き込んで記憶させる。
また、視点検出装置１２は、視界画像としての動画及び視点座標値を取得し、タイムスタンプと、このタイムスタンプのフレーム及び視点座標値の各々を、感情評価支援装置１３に対して送信する。

ステップＳ１０２：入力制御部１３１は、視点検出装置１２から供給される動画像のフレームの画像のデータ各々と、フレームの画像それぞれにおける視点の視点座標値とを、タイムスタンプに対応させて、記憶部１３７の視点座標テーブルに対して、順次、書き込んで記憶させる。

ステップＳ１０３：感情分析部１１１は、記憶部１３７の脳波データテーブルを参照し、各タイムスタンプにおける興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の各々の度合いを、計算モデルを使用して求める（感情分析処置を行う）。
そして、感情分析部１１１は、タイムスタンプ毎に求めた興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の各々の度合いを、このタイムスタンプに対応させて、感情評価支援装置１３に対して送信する。
入力制御部１３１は、脳波計測装置１１から供給される、タイムスタンプ毎の興味度、好き度、ストレス度、集中度及び鎮静度などの複数種類の感情の各々の度合いを取得する。そして、入力制御部１３１は、視点座標テーブルのタイムスタンプに対応させて、記憶部１３７の感情度合テーブルに書き込んで記憶させる。

ステップＳ１０４：関連付部１３３は、記憶部１３７の視点座標テーブルを参照し、順次、各フレームに対応するタイムスタンプを読み出す。そして、関連付部１３３は、このフレームのタイムスタンプに対応したタイムスタンプを、記憶部１３７の感情度合いテーブルから順次検出する。
関連付部１３３は、フレームのタイムスタンプに対応したタイムスタンプ毎に、このタイムスタンプにおける興味度、好き度、ストレス度、集中度及び鎮静度の各々の種類の感情の度合いを読み出す。
そして、関連付部１３３は、視点座標テーブルにおけるタイムスタンプに関連付けて、視点座標値と、読み出した興味度、好き度、ストレス度、集中度及び鎮静度の各々の種類の感情の度合いとをマッチングさせて、記憶部１３７の視点感情度合テーブルに順次書き込んで記憶させる。

ステップＳ１０５：度合分析部１３４は、記憶部１３７の視点感情度合テーブルを参照し、タイムスタンプ毎に、興味度、好き度、ストレス度、集中度及び鎮静度の各々の感情の所定時間範囲内における変化量をそれぞれ求める。
そして、度合分析部１３４は、所定時間範囲内において、予め設定された変化量閾値を超えた変化量となった度合いに対応する時点のタイムスタンプを抽出する。
また、度合分析部１３４は、変化量閾値を超えた時点のタイムスタンプと、このタイムスタンプにおける視点座標値と、変化量閾値を超えた感情を示すフラグ（興味度フラグ、好き度フラグ、ストレス度フラグ、集中度フラグ及び鎮静度フラグ）とを、記憶部１３７の感情度合検出テーブルに対して書き込んで記憶させる。

ステップＳ１０６：画像制御部１３５は、表示部１３６の表示画面のグラフ表示領域に対し、記憶部１３７の視点感情度合関連付テーブルを参照し、表示部１３６の表示画面のグラフ表示領域に対して、図７に示すグラフ表示領域１００の画像のように、タイムスタンプ毎に、興味度、好き度、ストレス度、集中度及び鎮静度の各々の感情の度合いの変化を、それぞれ異なる色の線分からなる曲線として表示する。
また、画像制御部１３５は、表示部１３６の表示画面の視点画像表示領域に対し、図７の視点画像表示領域２００の画像のように、グラフ表示領域に表示されるタイムスタンプマークにおけるタイムスタンプに対応したフレームの画像を表示する。

このとき、画像制御部１３５は、記憶部１３７に記憶されている感情度合検出テーブルを参照して、タイムスタンプマークにおけるタイムスタンプにおいて、フラグが立っている感情を抽出する。
そして、画像制御部１３５は、表示部１３６の表示画面における視点画像表示領域において、タイムスタンプマークにおけるタイムスタンプのフレームの画像における視点座標値に対してマークを表示する。

本実施形態によれば、図７のグラフ表示領域１００に示す様に、複数の感情の度合いの変化が、感情の種類毎に異なる色の曲線として時系列的に表示されるため、ユーザの複数の種類の感情の変化をビジュアル的に確認することができ、かつ図７の視点画像表示領域に示す様に、グラフ表示領域のグラフにおけるタイムスタンプに同期して、そのタイムスタンプにおけるフレームの画像が表示され、この画像に感情の変化量が大きい視点座標値にマークが表示されるため、ユーザの感情が大きく変化した際にユーザの視点がフレームの画像のいずれの位置にあるかがビジュアル的に判断でき、その際、複数の異なる感情の変化により、従来に比較してユーザの深層心理を高い精度で推定することが可能となる。

また、本実施形態によれば、図８に示す感性マップが生成されるため、ユーザが目視した対象の各部において、ユーザの感情の変化が大きくなった部分（視点座標値）を容易に確認でき、その部分に対して複数の異なる種類の変化が大きくなった感情が異なった表示形態（例えば、色、マークの形状など）で表示されるため、ビジュアル的にユーザの深層心理を複数の感情変化として、従来に比較して高い精度で判断することが可能となる。
上述したように、本実施形態によれば、ユーザの視点位置毎に、異なる複数の種類の感情の変化を抽出することができるため、この異なる複数の種類から、ユーザの複雑な深層心理における真の感情の変化（感性）を推定することができるため、アンケートなどの一元的な評価に比較して、より高い精度でユーザの評価を得られるため、ユーザの真の要望を推定することが可能となるため、より商品開発が容易に行えるようになる。

また、図１の感情評価支援システム１における感情評価支援装置１３の機能、また脳波計測装置１３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ユーザの深層心理における感情の変化を評価する支援を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…感情評価支援システム
１１…脳波計測装置
１２…視点検出装置
１３…感情評価支援装置
１１１…感情分析部
１１２，１３７…記憶部
１２１…画像撮像装置
１２２…視線撮像部
１３１…入力制御部
１３３…関連付部
１３４…度合分析部
１３５…画像制御部
１３６…表示部

Claims (3)

1. ユーザの視点を検出する視点検出部と、
   前記ユーザの脳波を計測する脳波計測部と、
   前記脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを、抽出する感情分析部と、
   前記視点と前記複数種類の感情の度合いとの各々を、タイムスタンプで対応付ける関連付部と
   を備える感情評価支援システム。
2. 前記感情分析部が、
   複数の人間に対して、前記複数種類の感情の各々を生じさせて脳波を取得し、この脳波に対して統計処理を行いて生成された、前記複数種類の感情の各々の度合いを出力する計算モデルそれぞれを用いて、前記ユーザの前記脳波から複数種類の感情の度合いを求める
   ことを特徴とする請求項１に記載の感情評価支援システム。
3. ユーザの視点を検出する視点検出過程と、
   前記ユーザの脳波を計測する脳波計測過程と、
   前記脳波から、少なくとも興味度、好き度、ストレス度を含む複数種類の感情の度合いを、抽出する感情分析過程と、
   前記視点と前記複数種類の感情の度合いとの各々を、タイムスタンプで対応付ける関連付過程と
   を含むことを特徴とする感情評価支援方法。

Images