JP2014030657A - 刺激誘発装置、刺激誘発方法及びプログラム - Google Patents

Abstract

【課題】ユーザにとって好ましい情動を発生させる刺激を、ユーザに応じて発生させることができる。
【解決手段】ユーザの視線及び周囲の音から情動を推定したら、刺激選択部は、情動／刺激テーブルに基づいて、推定された情動とは異なる情動を発生させるような刺激を選択する。刺激選択部が選択された刺激の種類を判定すると、出力制御部は、刺激の種類に応じた出力部から刺激を出力する。刺激が画像の場合には、画像データを記憶部から取得して表示部に表示する。刺激が音の場合には、音データを記憶部から取得して音声出力部から出力する。または、香り出力部を介して香りを出力する。または、空気調和部を介して温度、湿度を調整する。
【選択図】 図１

Description

本発明は、刺激誘発装置、刺激誘発方法及びプログラムに関する。

特許文献１には、映像データと連動させて、体験者が着座する椅子に設けられた振動出力部を介して椅子を振動させたり、指向性スピーカから音を発生させたりする映像体験支援システムが開示されている。

特開２００６−１１３４７４号公報

映像を観ているユーザは、映像によりある情動を発生させる。特許文献１に記載の発明においては、映像の制作者は、映像によってユーザに発生する情動を推定し、それに基づいて刺激を決定すると考えられる。しかしながら、特許文献１に記載の発明では、ユーザの情動が推定と異なる場合には、映像データと連動して発生させた刺激が、ユーザに効果的に作用しない可能性がある。

また、特許文献１に記載の発明では、映像の制作者側によりあらかじめ刺激が決定されている。例えば、同じ映像を二人のユーザが観た場合、あるユーザは「可愛い」という情動を生じるが、別のユーザは「楽しい」という情動を生じる場合がある。この場合には、ユーザに発生している情動が異なるため、ユーザに癒しや精神的な安定をもたらすことができる刺激もユーザによって異なることが考えられる。しかしながら、特許文献１に記載の発明では、ユーザ毎に刺激を選択したいというニーズにこたえることはできない。

本発明はこのような事情に鑑みてなされたもので、ユーザにとって好ましい情動を発生させる刺激を、ユーザに応じて発生させることができる刺激誘発装置、刺激誘発方法及びプログラムを提供することを目的とする。

本発明は上記の目的を達成するためになされたもので、本発明に係る刺激誘発装置は、例えば、第１の情動と、ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応付けた情動刺激関係情報が記憶された記憶部と、ユーザの情動を推定する情動推定部と、前記情動刺激関係情報に基づいて、前記推定された情動に対応する刺激を選択する刺激選択部と、前記刺激選択部により選択された刺激を出力する出力部と、を備える。

また、前記出力された刺激である第１の刺激の変更要求を受け付ける入力受付部と、前記変更要求が入力されると、前記情動刺激関係情報を修正する修正手段と、を備え、前記刺激選択部は、前記変更要求が入力されると、前記推定された情動に応じた刺激であって、前記第１の刺激とは異なる第２の刺激を選択し、前記出力部は、前記第２の刺激を出力してもよい。

また、前記ユーザが受けている刺激を取得する刺激取得部を備え、前記情動推定部は、前記刺激取得部により取得された刺激に基づいて情動を推定してもよい。
また、前記刺激取得部は、前記ユーザの視線を検出する視線検出部と、前記視線の先にある被写体を撮影する第１の撮影部と、を備え、前記情動推定部は、前記撮影された被写体に基づいて情動を推定する画像解析部を有してもよい。

また、前記視線検出部は、前記視線に基づいて前記ユーザの注視点を検出し、前記撮影部は、前記注視点を含み、かつ前記注視点にピントが合った画像を撮影してもよい。

また、前記画像解析部は、前記ユーザが視認している被写体が何であるかを示す情報を、前記被写体の種類を示す語として取得することにより情動を推定してもよい。

また、前記刺激取得部は、前記ユーザの顔を撮影する第２の撮影部を備え、前記情動推定部は、前記撮影されたユーザの顔に基づいてユーザの表情を解析し、当該表情に基づいて情動を推定する表情解析部を有してもよい。
また、前記刺激取得部は、前記刺激誘発装置の周辺の音を取得する音取得部を備え、前記情動推定部は、前記音取得部により取得された音を解析して情報を推定してもよい。
また、前記音解析部は、前記取得された音から特定のキーワードを検出し、当該検出されたキーワードに基づいて情動を推定してもよい。
また、前記ユーザの脳波を測定する脳波計を備え、前記情動推定部は、前記測定された脳波に基づいて情動を推定してもよい。

また、前記出力部は、画像の表示が可能な表示部であり、前記記憶部は、画像データを記憶し、前記刺激選択部は、前記刺激として画像を選択し、前記出力部は、前記選択された画像の画像データを前記記憶部から取得してもよい。

また、前記出力部は、音声出力部であり、前記記憶部は、音声データを記憶し、前記刺激選択部は、前記刺激として音声を選択し、前記出力部は、前記選択された音声の音声データを前記記憶部から取得して出力してもよい。

また、前記出力部は、複数の芳香剤が収容された芳香剤収容部と、前記芳香剤を拡散させる芳香剤拡散部と、を備えた香り出力部であり、前記刺激選択部は、前記刺激として香りの種類を選択し、前記出力部は、前記選択された種類の香りを拡散させてもよい。

また、前記出力部は、前記ユーザがいる空間の気温及び湿度を調整する空気調和部であり、前記刺激選択部は、前記刺激として室温及び湿度を選択し、前記出力部は、前記選択された室温及び湿度となるように気温及び湿度を調整してもよい。

本発明に係る刺激誘発方法は、例えば、ユーザの情動を推定するステップと、第１の情動と、前記ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応付けた情動刺激関係情報を取得するステップと、前記取得された情報に基づいて、前記第１の情動に応じた刺激を選択するステップと、前記選択された刺激を出力するステップと、を有する。

本発明に係るプログラムは、例えば、ユーザの情動を推定するステップと、第１の情動と、前記ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応付けた情動刺激関係情報を取得するステップと、前記取得された情報に基づいて、前記第１の情動に応じた刺激を選択するステップと、前記選択された刺激を出力するステップと、をコンピューターに実行させる。

現在生じている情動よりユーザにとって好ましい情動を、ユーザに発生させることができる。

本発明の第１の実施形態に係る刺激誘発装置１の構成を説明するための概略構成図である。 刺激誘発装置１の外観を示す斜視図である。 情動（画像）テーブル１２１の概略説明図である。 情動（音）テーブル１２２の概略説明図である。 刺激テーブル１２３の概略説明図である。 刺激誘発装置１のハードウェア構成を示す図である。 視線検出により情動を推定する処理の流れを示すフローチャートである。 音から情動を推定する処理の流れを示すフローチャートである。 刺激を出力する処理の流れを示すフローチャートである。 修正された刺激テーブル１２３−１の概略説明図である。 本発明の第２の実施形態に係る刺激誘発装置２の構成を説明するための概略構成図である。 刺激誘発装置２の外観を示す斜視図である。 情動（脳波）テーブル１２５の概略説明図である。 刺激誘発装置２のハードウェア構成を示す図である。 脳波から情動を推定する処理の流れを示すフローチャートである。 本発明の第３の実施形態に係る刺激誘発装置３の構成を説明するための概略構成図である。 刺激誘発装置３の外観を示す斜視図である。 情動（表情）テーブル１２６の概略説明図である。 刺激誘発装置３のハードウェア構成を示す図である。 視線検出により情動を推定する処理の流れを示すフローチャートである。 表情から情動を推定する処理の流れを示すフローチャートである。 本発明の効果を示す図である。 本発明の効果を示す図である。

以下、本発明の一実施形態について図面を参照しながら説明する。

＜第１の実施形態＞
図１は、刺激誘発装置１の構成を説明するための概略構成図である。図２は、刺激誘発装置１の外観を示す斜視図である。図２に示すように、刺激誘発装置１は、眼鏡本体１ａを有する眼鏡型の装置である。眼鏡本体１ａには、刺激誘発装置１の各機能部が設けられている。なお、眼鏡本体１ａには、刺激誘発装置１の一部機能のみを設け、他の機能については、直接、或いは図示しないネットワークを介して接続された他の装置に設けられていてもよい。

刺激誘発装置１は、主として、制御部１０と、情動推定部１１と、記憶部１２と、刺激選択部１３と、視線検出部１４と、撮影部１５と、音取得部１６と、出力制御部１７と、表示部１８と、音声出力部１９と、入力受付部２０と、通信Ｉ／Ｆ（インターフェース）２１とで構成される。刺激誘発装置１は、香り出力部２２と、空気調和部２３と直接、或いは図示しないネットワークを介して接続される。また、刺激誘発装置１には、図示しない電源が設けられている。

制御部１０は、刺激誘発装置１の各機能部に対して、全体的な情報管理を行う。制御部１０はプログラムが開始されると、各機能部に対して、各種処理を行うように指示を出力する。

情動推定部１１は、主として、画像解析部１１１と、音分析部１１２とを備えている。画像解析部１１１は、撮影部１５により撮影された画像を解析して情動を推定する。音分析部１１２は、音取得部１６により取得された音を解析して情動を推定する。情動推定部１１の処理については、後に詳述する。
記憶部１２には、主として、情動（画像）テーブル１２１と、情動（音）テーブル１２２と、刺激テーブル１２３とが予め記憶されている。

図３は、情動（画像）テーブル１２１の概略説明図である。情動（画像）テーブル１２１は、画像情報格納領域１２１ａと、画像詳細情報格納領域１２１ｂと、情動格納領域１２１ｃとを有する。
画像情報格納領域１２１ａには、画像の種類、例えば人物の顔、動物、花等の情報が格納される。
画像詳細情報格納領域１２１ｂには、画像の詳細な内容を示す情報、例えば画像が人物の顔である場合には、笑顔、泣顔、渋顔、寝顔等の情報が格納される。

情動格納領域１２１ｃには、画像詳細情報格納領域１２１ｂに格納された情報に対応する情動が記憶される。例えば、画像詳細情報格納領域１２１ｂに「笑顔」が格納されている場合には、情動格納領域１２１ｃには「楽しい」という情動が格納される。画像詳細情報格納領域１２１ｂに「泣顔」が格納されている場合には、情動格納領域１２１ｃには「悲しい」という情動が格納される。画像詳細情報格納領域１２１ｂに「渋顔」が格納されている場合には、情動格納領域１２１ｃには「怒り」という情動が格納される。画像詳細情報格納領域１２１ｂに「寝顔」が格納されている場合には、情動格納領域１２１ｃには「可愛い」という情動が格納される。
このように、情動（画像）テーブル１２１には、画像の種類と、画像の詳細な内容を示す情報と、情動とが関連付けて記憶されている。

図４は、情動（音）テーブル１２２の概略説明図である。情動（音）テーブル１２２には、音情報格納領域１２２ａと、音詳細情報格納領域１２２ｂと、情動格納領域１２２ｃとを有する。
音情報格納領域１２２ａには、音の種類、例えば楽器の音、人の話し声等を示す情報が格納される。

音詳細情報格納領域１２２ｂには、音の詳細な内容を示す情報が格納される。例えば、音の種類が楽器の場合には、音の詳細な内容としてその楽器の種類（ピアノ、ドラム・・・等）の情報が記憶される。音の種類が人物の声である場合には、音の詳細な内容として笑い声、泣き声、叫び声等の情報が記憶される。また、音の種類が人物の声である場合には、音の詳細な内容として言葉が記憶される。言葉としては、例えば、ごはん、食事、海、山、公園等の単語が記憶される。

情動格納領域１２２ｃには、音詳細情報格納領域１２２ｂに格納された情報に対応する情動が記憶される。例えば、音詳細情報格納領域１２２ｂに「ピアノ」が格納されている場合には、情動格納領域１２１ｃには「気持ちいい」という情動が格納される。音詳細情報格納領域１２２ｂに「笑い声」が格納されている場合には、情動格納領域１２１ｃには「楽しい」という情動が格納される。画像詳細情報格納領域１２１ｂに「泣き声」が格納されている場合には、情動格納領域１２１ｃには「悲しい」という情動が格納される。画像詳細情報格納領域１２１ｂに「叫び声」が格納されている場合には、情動格納領域１２１ｃには「怒り」という情動が格納される。

さらに、音詳細情報格納領域１２２ｂに「海」、「山」、「公園」、「遊園地」、「旅行」等の行楽に関する単語が格納されている場合には、情動格納領域１２２ｃには「楽しい」という情動が格納される。
このように、情動（音）テーブル１２２には、音の種類と、音の詳細な内容を示す情報と、情動とが関連付けて記憶されている。

図５は、刺激テーブル１２３の概略説明図である。刺激テーブル１２３は、情動格納領域１２３ａと、刺激（種類）格納領域１２３ｂと、刺激格納領域１２３ｃと、重みづけ格納領域１２３ｄとを有する。
情動格納領域１２３ａには、「嬉しい」、「楽しい」、「悲しい」、「怒り」等の情動が格納される。

刺激（種類）格納領域１２３ｂには、刺激格納領域１２３ｃに記憶された刺激の種類が格納される。本実施の形態では、刺激の種類として、音、画像、香り、及び温度／湿度が記憶される。

刺激格納領域１２３ｃには、情動格納領域１２３ａに格納された情動に対応する刺激が格納される。刺激格納領域１２３ｃに格納される刺激は、情動格納領域１２３ａに格納された情動とは異なる情動であって、ユーザにとって好ましい情動をユーザに発生させるような刺激である。例えば、情動格納領域１２３ａに「嬉しい」という情動が格納されている場合には、「刺激Ａ１」として「楽しい」情動を発生させるような音楽が刺激格納領域１２３ｃに格納される。また、情動格納領域１２３ａに「嬉しい」という情動が格納されている場合には、「刺激Ａ２」として「気持ちいい」情動を発生させるような音楽が刺激格納領域１２３ｃに格納される。

刺激（種類）格納領域１２３ｂが「音」の場合には、刺激格納領域１２３ｃには音楽の題名が記憶される。刺激（種類）格納領域１２３ｂが「画像」の場合には、刺激格納領域１２３ｃには画像の名称が記憶される。刺激（種類）格納領域１２３ｂが「香り」の場合には、刺激格納領域１２３ｃには香りの名称（例えば、ラベンダー、ベルガモット、レモン等）が記憶される。刺激（種類）格納領域１２３ｂが「温度／湿度」の場合には、刺激格納領域１２３ｃには温度、湿度の情報が記憶される。

重みづけ格納領域１２３ｄには、各刺激に対する重みづけが格納される。１つの情動に複数の刺激が記憶されるため、各刺激に対して重みづけを記憶しておくことで、刺激の優先順位を明確にしている。例えば、「嬉しい」という情動には「刺激Ａ１」、「刺激Ａ２」、「刺激Ａ３」等の複数の刺激が記憶されるため、「刺激Ａ１」には最も優先順位の高い重みづけ「Ａ」が関連付けられ、「刺激Ａ２」には２番目に優先順位の高い重みづけ「Ｂ」が関連付けられ、「刺激Ａ３」には３番目に優先順位の高い重みづけ「Ｃ」が関連付けられる。なお、重みづけ格納領域１２３ｄに格納される情報は、優先順位を明確にできればよく、例えば、「８０」、「５０」等の数値を格納してもよい。

このように刺激テーブル１２３には、情動と、刺激と、重みづけが関連付けて記憶されている。なお、刺激（種類）格納領域１２３ｂ及び重みづけ格納領域１２３ｄは必須ではない。例えば、情動に対して刺激が１つの場合には、刺激（種類）格納領域１２３ｂ及び重みづけ格納領域１２３ｄは不要である。

なお、図３〜５は、それぞれ情動（画像）テーブル１２１、情動（音）テーブル１２２、及び刺激テーブル１２３の一例であり、情動（画像）テーブル１２１、情動（音）テーブル１２２、及び刺激テーブル１２３の形態はこれに限られない。

さらに、記憶部１２は刺激記憶領域１２４を有する。刺激記憶領域１２４には、刺激テーブル１２３に含まれる各種刺激のデータが記憶されている。具体的には、刺激格納領域１２３ｃに記憶された題名の音楽データと、刺激格納領域１２３ｃに記憶された名称の画像データとが記憶される。
図１の説明に戻る。刺激選択部１３は、情動推定部１１で推定された情動に基づいて刺激を選択する。刺激選択部１３の処理については、後に詳述する。

視線検出部１４は、ＣＣＤカメラ等の撮像装置１４ａ、１４ｂを有する。図２に示すように、視線検出部１４は、眼鏡本体１ａの裏側、かつ左右のレンズ１ｂ、１ｃの上側にそれぞれ設けられる。視線検出部１４は、暗い部分である瞳孔部分を含み、かつ右目及び左目の輪郭が認識できるように、右目及び左目の画像を撮影する。右目用のレンズ１ｂの上に設けられた撮像装置１４ａは、右目を撮影する。右目用のレンズ１ｂの上に設けられた撮像装置１４ｂは、左目を撮影する。

撮影部１５は、ＣＣＤカメラ等の撮像装置１５ａを有する。図２に示すように、撮影部１５は、眼鏡本体１ａの表側、かつ眼鏡本体１ａの略中央に設けられる。撮影部１５は、視線検出部１４が検出した注視点の距離を撮像装置１５ａの焦点距離と設定する。撮影部１５は、撮像装置１５ａを介して、設定された焦点距離で、注視点を含む所定の範囲にある被写体が含まれる画像を撮影する。これにより、注視点にある被写体、すなわちユーザが視認している被写体にピントが合った画像を撮影することができる。

音取得部１６は、少なくとも１つのマイクロフォン１６ａと、アナログ−デジタル変換器（図示せず）と、処理部（図示せず）とを有する。マイクロフォン１６ａは、眼鏡本体１ａの表側の任意の位置に設けられる。図２ではマイクロフォン１６ａは眼鏡本体１ａの右側面に設けられているが、マイクロフォン１６ａが設けられる位置はこれに限定されない。マイクロフォン１６ａは、周囲の音を集音してアナログ音声信号を生成し、そのアナログ音声信号をマイクロフォン１６ａに接続されたアナログ−デジタル変換器へ出力する。

アナログ−デジタル変換器は、アナログ音声信号をデジタル化することにより音データを生成する。そしてアナログ−デジタル変換器は、その音データを音分析部１１２へ出力する。

出力制御部１７は、刺激選択部１３により選択された刺激に応じて記憶部１２から情報を取得し、表示部１８、音声出力部１９、香り出力部２２、空気調和部２３へ各種情報を出力する。出力制御部１７の処理については、後に詳述する。

表示部１８は、カラー表示が可能な液晶ディスプレイ１８ａと、モニタ保持部１８ｂと、表示制御部（図示せず）を有する。図２に示すように、液晶ディスプレイ１８ａは、眼鏡本体１ａに回動自在に設けられたモニタ保持部１８ｂの裏面に設けられる。

表示制御部は、出力制御部１７から入力され画像データを表示用の画像データに変換し、液晶ディスプレイ１８ａに出力する。これにより、液晶ディスプレイ１８ａに画像データが表示される。

なお、表示部１８の形態はこれに限られない。例えば、左右のレンズ１ｂ、１ｃに透明な液晶ディスプレイ１８ａを貼付するようにしてもよい。また、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置を用いてもよい。

音声出力部１９は、音声コーデック部（図示せず）と、スピーカ１９ａ、１９ｂとを有する。図２に示すように、スピーカ１９ａ、１９ｂは、眼鏡本体１ａの左右側面にそれぞれ設けられる。

音声コーデック部は、出力制御部１７から入力された音データをデジタル音声信号に変換し、音量調整などの音質調整処理を行い、スピーカ１９ａ、１９ｂに出力する。これにより、スピーカ１９ａ、１９ｂから音声が出力される。
なお、スピーカ１９ａ、１９ｂは１つでもよいし、設けられる位置も図２に示す場合に限られない。

入力受付部２０は、図示しない電源ボタン、決定キー等を含み、ユーザからの操作指示を受け付けて、操作情報を制御部１０等へ送出する。入力受付部２０は、特定のボタンを押すなどの情報を各種命令に変換し、制御部１０等へ出力する。例えば、電源ボタンが押下されると、刺激誘発装置１の電源が投入される。

通信Ｉ／Ｆ（インターフェース）２１は、刺激誘発装置１の各機能部間、及び刺激誘発装置１と外部装置間を、信号の送受信可能に接続する。また、図示しないネットワークや各機能部間におけるインターフェースを提供する。

香り出力部２２は、アロマオイルの添加された水（芳香剤）を収容する芳香剤収容部２２１と、芳香剤を拡散する芳香剤拡散部２２２とを有する。香り毎に芳香剤が異なるため、芳香剤収容部２２１は、衝動／刺激テーブルに記憶された刺激に含まれる香りの種類だけ芳香剤を収容する必要がある。したがって、芳香剤収容部２２１は、記憶された香りの数以上の数の収容部を備えている。

芳香剤拡散部２２２は、タンク（図示せず）と、芳香剤をタンクに注入する注入部（図示せず）と、タンクの底面に設けられた超音波振動板（図示せず）と、ファン（図示せず）と、吹き出し口（図示せず）とを有する拡散器（ディフューザー）である。芳香剤収容部２２１に収容された任意の芳香剤がタンクに注入されると、芳香剤は超音波振動板によって気化される。気化された芳香剤は、ファンにより、吹き出し口から拡散される。

空気調和部２３は、室内の壁面等に取り付けられた空気調和を行う空調装置（エアコン）であり、室内の温度及び湿度の調整が可能である。空気調和部２３としてはすでに様々な装置が公知であるため、説明を省略する。

図６は、刺激誘発装置１のハードウェア構成を示す図である。図３に示すように、刺激誘発装置１は、主として、ＣＰＵ(Central Processing Unit)５１と、ＲＡＭ(Random Access Memory)５２と、ＲＯＭ(Read Only Memory)５３と、通信装置５４と、撮影装置（１）５５と、撮影装置（２）５６と、表示装置５７と、マイクロフォン５８と、スピーカ５９と、入力装置６０と、バス６１とを有する。

ＣＰＵ５１は、数値演算及び各デバイスを制御する等、刺激誘発装置１が行う様々な主たる処理を実行する。ＲＡＭ５２は、演算データなどを格納する。ＲＯＭ５３は、プログラムやデータを格納する。通信装置５４は、各種ハードウェアを制御部１に接続するインターフェースである。バス６１は、刺激誘発装置１の各構成要素を接続する。

制御部１０と、情動推定部１１と、刺激選択部１３と、出力制御部１７とは、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１で実行することで実現可能である。
記憶部１２は、ＣＰＵ５１がＲＡＭ５２と又はＲＯＭ５３を利用することにより実現可能である。

視線検出部１４は、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１が実行し、かつＣＰＵ５１が撮影装置（１）５５を利用することにより実現可能である。

撮影部１５は、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１で実行し、かつＣＰＵ５１が撮影装置（２）５６を利用することにより実現可能である。
音取得部１６は、ＣＰＵ５１がマイクロフォン５８を利用することにより実現可能である。
表示部１８は、ＣＰＵ５１が表示装置５７を利用することで実現可能である。
音声出力部１９は、ＣＰＵ５１がスピーカ５９を利用することにより実現可能である。
入力受付部２０は、ＣＰＵ５１が入力装置６０を利用することで実現可能である。
通信Ｉ／Ｆ２１は、ＣＰＵ５１が通信装置５４を利用することで実現可能である。

以上のように構成された刺激誘発装置１の作用を、図７〜９のフローチャートを用いて説明する。

図７は、ユーザが受けている刺激が画像である場合に、ユーザの視線を検出して情動を推定する処理の流れを示すフローチャートである。この処理は、刺激誘発装置１の電源が投入されることにより開始される。
視線検出部１４は、撮像装置１４ａ、１４ｂを介して、ユーザの右目及び左目の画像を取得する（ステップＳ１０）。取得した画像は、視線検出部１４から画像解析部１１１に出力される。

画像解析部１１１は、撮影された右目及び左目の画像から暗い部分である瞳孔部分を抽出して、その位置を検出する。瞳孔部分の抽出は、画像の明暗を利用した画像処理技術（すでにさまざまな方法が公知）を用いて行うことができる。また、画像解析部１１１は、瞳孔部分の位置より両眼眼球の向いている方向、すなわち視線方向を検出する。また、画像解析部１１１は、両眼の視線が交差する位置を注視点として検出する（ステップＳ１２）。瞳孔部分の位置より視線方向を検出する方法はすでに公知の様々な方法を用いることができる。また、注視点は、左右の目の間隔（平均値である６５ｍｍを使用できる）と、検出された視線方向とから算出することができる。

画像解析部１１１は、注視点の情報を撮影部１５に出力する。撮影部１５は、撮像装置１５ａを介して注視点を含み、かつ注視点にピントが合った画像を取得する（ステップＳ１４）。取得された画像は、撮影部１５から画像解析部１１１へ出力される。

画像解析部１１１は、撮影部１５から出力された画像を取得し、ピントが合っている被写体を抽出する。また、刺激選択部１３は、パターン認識を行い、抽出された被写体が何であるかを示す情報を取得する（ステップＳ１６）。画像からピントが合っている被写体を抽出する方法は、すでに公知の様々な画像処理技術を用いることができる。また、パターン認識は、主成分分析を用いることができる。主成分分析に用いる各種データは、記憶部１２に記憶しておけばよい。

ステップＳ１６において、画像解析部１１１は、抽出された被写体が何であるかを示す情報を、人の顔、動物、自動車等の被写体の種類を示す語として取得する。また、刺激選択部１３は、被写体が人の顔の場合には、その表情（笑顔、泣顔等）を含む情報を取得する。

画像解析部１１１は、情動（画像）テーブル１２１を記憶部１２から取得する。そして、画像解析部１１１は、情動（画像）テーブル１２１に基づいて、ステップＳ１６で取得された被写体に応じた情動を推定する（ステップＳ１８）。
ステップＳ１８の処理について、ステップＳ１６で、被写体が人の顔であり、かつ笑顔であることが取得された場合を例に説明する。

まず、画像解析部１１１は、情動（画像）テーブル１２１のなかから、画像情報格納領域１２１ａに人物の顔が格納された情報を抽出する。図３に示す例においては、画像情報格納領域１２１ａに「顔（人）」が格納された情報が抽出される。
次に、画像解析部１１１は、抽出された情報の中から、画像詳細情報格納領域１２１ｂに「笑顔」が格納された情報を抽出する。

そして、画像解析部１１１は、抽出された情報の情動格納領域１２１ｃに格納された情報を、ユーザの情動と推定する。図３に示す例においては、画像詳細情報格納領域１２１ｂに「笑顔」が格納された情報において、情動格納領域１２１ｃには「楽しい」が格納されている。したがって、ユーザの情動として「楽しい」が推定される。

これにより、ユーザの視線を検出して情動を推定する処理が終了される。情動推定部１１は、ユーザの視線を検出して情動を推定する処理を、一定期間おきに自動的に行う。これは、刻々変化するユーザの視線を、その都度検出して情動の推定を行うと、推定の精度が低下すると考えられるためである。

また、ステップＳ１４で取得された画像によっては、ステップＳ１６で抽出された被写体が何であるかの判定結果を得られないことも考えられる。この場合には、ステップＳ１８の処理を行わずにフローを終了するようにしてもよい。

次に、ユーザが受けている刺激が音である場合に、音から情動を推定する処理について説明する。図８は、音から情動を推定する処理の流れを示すフローチャートである。この処理は、刺激誘発装置１の電源が投入されることにより開始される。音から情動を推定する処理は、ユーザの視線を検出して情動を推定する処理（図７参照）と同時に行うことができる。

音取得部１６は、マイクロフォン１６ａを介して、刺激誘発装置１の周囲の音を取得する（ステップＳ２０）。音取得部１６は、取得したアナログ音声信号をデジタル化して音データを生成し、音分析部１１２に出力する。

音分析部１１２は、音取得部１６から出力された音データに基づいて、その音が何であるか（例えば、人の声、動物の鳴き声、楽器の音等）を分析する（ステップ２２）。また、音分析部１１２は、音データに人の声が含まれている場合には、音データに含まれる特定のキーワードをワードスポッティングにより検出する（ステップＳ２２）。音分析部１１２は、音データの分析に、周波数解析、パターン認識等のすでに公知の様々な手法を用いることができる。ワードスポッティング、パターン認識等に用いる各種データは、記憶部１２に記憶しておけばよい。

音分析部１１２は、情動（音）テーブル１２２を記憶部１２から取得する。そして、音分析部１１２は、情動（音）テーブル１２２に基づいて、ステップＳ２２で分析された音及び言葉に応じた情動を推定する（ステップＳ２４）。

ステップＳ２４の処理について、ステップＳ２２で分析された結果が楽器の音であり、その楽器がピアノである場合を例に説明する。まず、音分析部１１２は、情動（音）テーブル１２２のなかから、音情報格納領域１２２ａに「楽器」が格納された情報を抽出する。次に、音分析部１１２は、抽出された情報の中から、音詳細情報格納領域１２２ｂに「ピアノ」が格納された情報を抽出する。

そして、音分析部１１２は、抽出された情報の情動格納領域１２２ｃに格納された情報を、ユーザの情動と推定する。図３に示す例においては、音詳細情報格納領域１２２ｂに「ピアノ」が格納された情報において、情動格納領域１２２ｃには「気持ちいい」が格納されている。したがって、ユーザの情動として「気持ちいい」が推定される。

また、ステップＳ２４の処理について、ステップＳ２２で分析された結果が「旅行」、「海」、及び「食事」というキーワードである場合について説明する。まず、音分析部１１２は、情動（音）テーブル１２２のなかから、音詳細情報格納領域１２２ｂに「旅行」、「海」、「食事」が格納された情報を抽出する。そして、音分析部１１２は、抽出された情報の情動格納領域１２２ｃに格納された情報であって、最も数が多い情動を、ユーザの情動と推定する。

図４に示す情動（音）テーブル１２２では、「旅行」及び「海」は「楽しい」という情動が関連付けられている。また、「食事」は「嬉しい」という情動が関連付けられている。つまり、「楽しい」という情動が２つ、「嬉しい」という情動が１つである。したがって、ユーザの情動として「楽しい」が推定される。

これにより、音から情動を推定する処理が終了される。情動推定部１１は、視線から情動を推定する処理と同様、推定の精度が低下しないように、音から情動を推定する処理を一定期間おきに自動的に行う。

以上のようにして、情動推定部１１によりユーザの情動が推定される。ユーザの視線を検出して情動を推定する処理と、音から情動を推定する処理との２通りの方法により情動が推定されるため、情動推定部１１は、２通りの情動を推定する場合がある。この場合には、情動推定部１１は、その前に推定された情動に近い情動を推定結果とすることができる。例えば、直近２回の推定結果が「楽しい」、「気持ちいい」であった場合に、視線から情動を推定する処理による推定結果が「楽しい」であり、音から情動を推定する処理による推定結果が「悲しい」であった場合には、情動推定部１１は、すでに推定された結果である「楽しい」を、今回の推定結果とすることができる。また、情動推定部１１は、ユーザの視線を検出して情動を推定する処理（音から情動を推定する処理でもよい）により推定された結果を優先して、情動推定部１１による推定結果とすることができる。

また、視線から情動を推定する処理と、音から情動を推定する処理とを一定期間おきに自動的に行うため、ある時点で推定された情動が、前回推定された情動と異なる場合も考えられる。この場合には、現時点までに推定された情動に基づいて、どの推定結果を採用するか、推定結果を採用しないか等を決定することができる。例えば、直近２回の推定結果が「楽しい」、「気持ちいい」であった場合に、今回の推定結果が「怒り」であった場合には、情動推定部１１は、今回の推定結果は信頼性が低いと判定し、前回の推定結果である「気持ちいい」を今回の推定結果とすることができる。

図９は、情動の推定結果に基づいて刺激を出力する処理の流れを示すフローチャートである。この処理は、情動推定部１１により情動が推定され、情動推定部１１から推定結果が刺激選択部１３へ出力された場合に開始される。

刺激選択部１３は、刺激テーブル１２３を記憶部１２から取得する。そして、刺激選択部１３は、刺激テーブル１２３に基づいて、情動推定部１１から入力された情動に適した刺激を選択する（ステップＳ３０）。

ステップＳ３０の処理について、具体的に説明する。取得された情動が「嬉しい」であった場合には、刺激選択部１３は、情動格納領域１２３ａに「嬉しい」が格納された情報を刺激テーブル１２３から抽出する。

次に、刺激選択部１３は、抽出された情報のうち、重みづけ格納領域１２３ｄの重みづけが最も重い刺激を抽出する。図５に示す刺激テーブル１２３には、情動格納領域１２３ａに「嬉しい」が格納された情報として、刺激格納領域１２３ｃには、「刺激Ａ１」、「刺激Ａ２」、「刺激Ａ３」・・・が格納されている。このうち、重みづけ格納領域１２３ｄの重みづけが最も重い「Ａ」に関連付けられているのは「刺激Ａ１」であるため、刺激選択部１３は、「刺激Ａ１」を情動に適した刺激として選択する。

刺激選択部１３は、ステップＳ３０で選択された刺激の種類が何であるかを判定する（ステップＳ３２）。具体的には、刺激選択部１３は、ステップＳ３０で選択された刺激に関連付けられた刺激の種類を、刺激（種類）格納領域１２３ｂから取得し、その結果を判定結果とする。

刺激の種類が「画像」であった場合（ステップＳ３２で「画像」）には、刺激選択部１３は、ステップＳ３０で選択された刺激に記載された題名を出力制御部１７に出力する。出力制御部１７は、画像データを刺激記憶領域１２４から取得して、表示部１８に出力する（ステップＳ３４）。
表示部１８は、出力制御部１７から入力され画像データを表示用の画像データに変換し、液晶ディスプレイ１８ａに表示させる（ステップＳ３６）。

刺激の種類が「音」であった場合（ステップＳ３２で「音」）には、刺激選択部１３は、ステップＳ３０で選択された刺激に記載された題名を出力制御部１７に出力する。出力制御部１７は、音データを刺激記憶領域１２４から取得して、音声出力部１９に出力する（ステップＳ３８）。

音声出力部１９は、出力制御部１７から入力された音データをデジタル音声信号に変換し、音量調整などの音質調整処理を行い、スピーカ１９ａ、１９ｂから出力する（ステップＳ４０）。

刺激の種類が「香り」であった場合（ステップＳ３２で「香り」）には、刺激選択部１３は、ステップＳ３０で選択された刺激に記載された香りの名称を出力制御部１７に出力する。出力制御部１７は、取得された香りの名称を香り出力部２２に出力する。香り出力部２２は、刺激選択部１３から入力された種類の香りを、芳香剤収容部２２１からタンクに注入する（ステップＳ４２）。
香り出力部２２は、タンクに注入された芳香剤を気化して、吹き出し口から拡散させる（ステップＳ４４）。

刺激の種類が「温度／湿度」であった場合（ステップＳ３２で「温度／湿度」）には、刺激選択部１３は、ステップＳ３０で選択された刺激に記載された温度及び湿度を出力制御部１７に出力する。出力制御部１７は、取得された温度及び湿度を空気調和部２３に出力する（ステップＳ４６）。
空気調和部２３は、刺激選択部１３から入力された温度及び湿度となるように、温度及び湿度を調整する（ステップＳ４８）。

刺激を出力する処理（ステップＳ３２〜Ｓ４８）が終了したら、制御部１０は、入力受付部２０を介して刺激の変更要求が受け付けられたか否かを判定する（ステップＳ５０）。
入力受付部２０から刺激の変更要求が受け付けられていない場合（ステップＳ５０でＮＯ）には、処理を終了する。

入力受付部２０から刺激の変更要求が受け付けられた場合（ステップＳ５０でＹＥＳ）には、刺激選択部１３は、刺激テーブル１２３を記憶部１２から取得する。そして、刺激選択部１３は、刺激テーブル１２３に基づいて、情動推定部１１から入力された情動に適した刺激であって、ステップＳ３０で選択された刺激とは異なる刺激を選択する（ステップＳ５２）。

ステップＳ５２の処理について、具体的に説明する。例えば、情動が「嬉しい」であり、「刺激Ａ１」を情動に適した刺激として出力したものが否定された場合には、刺激選択部１３は、情動格納領域１２３ａに「嬉しい」が格納された情報のうち、「刺激Ａ１」の次に重みづけが最も重い刺激を選択する。図５に示す刺激テーブル１２３において、重みづけ格納領域１２３ｄの重みづけが「刺激Ａ１」の次に重いのは「刺激Ａ２」であるため、刺激選択部１３は、「刺激Ａ２」を選択する。
また、刺激選択部１３は、ステップＳ５２で選択した刺激の重みづけが一番重くなるように、刺激テーブル１２３を修正する（ステップＳ５４）。

図１０は、図５に示す刺激テーブル１２３が修正された場合の刺激テーブル１２３−１の一例である。例えば、「刺激Ａ１」及び「刺激Ａ２」を出力した時には刺激の変更要求が入力され、「刺激Ａ３」を出力した時には刺激の変更要求が入力されなかった場合には、刺激選択部１３は、「刺激Ａ３」に関連付けられた重みづけ格納領域１２３ｄに「Ａ」を格納する。

また、刺激選択部１３は、これに伴い、「刺激Ａ１」及び「刺激Ａ２」に関連付けられた重みづけを下げる。具体的には、刺激選択部１３は、「刺激Ａ１」に関連付けられた重みづけ格納領域１２３ｄに「Ｂ」を格納する。また、刺激選択部１３は、「刺激Ａ２」に関連付けられた重みづけ格納領域１２３ｄに「Ｃ」を格納する。

これにより、刺激テーブル１２３が修正される（学習機能）。刺激テーブル１２３が修正されることで、次回同じ情動が選択された場合には、ユーザによる入力を反映した刺激を出力することができる。その後、ステップＳ３２（出力する刺激の種類を判定するステップ）へ戻る。

本実施の形態によれば、周囲の状況から情動を推定することができる。また、推定された情動に基づいて、この情動とは異なる情動であって、ユーザにとって好ましい情動を、ユーザに発生させることができる。したがって、ユーザに癒しやノスタルジーに浸ったり、精神的な安定をもたらしたりすることができる。

例えば、図２２に示すように、野山や川が写っている風景写真を見ている場合には、「綺麗だ」と思う情動が発生する。この場合に、せせらぎの音が流れたり、室温が低くなったりすると、新たに「気持ちいい」という情動が発生する。これにより、ユーザは癒しを得ることができる。

また、図２３に示すように、昔の写真を見ている場合には、「懐かしい」という情動が発生する。この場合に、見ている写真に関連する音楽が流れると、より懐かしさが増して、新たに「楽しい」という情動が発生する。これにより、ユーザはノスタルジーを感じることができる。

また、本実施の形態によれば、ユーザの入力に基づいて情動／刺激テーブルが修正されるため、ユーザにとってよりよい刺激を出力することができる。さらに、刺激の受け手であるユーザが、出力（刺激）をコントロールすることができる。

なお、本実施の形態では、ユーザが視認している画像に基づいて情動を推定したが、ユーザが本、雑誌等を読んでいる場合等には、画像解析部は、本の内容を分析して情動を推定するようにしてもよい。本、雑誌等の文字は、撮影された画像中の文字を読み取り、前もって記憶されたパターンとの照合により文字を特定する文字読み取り技術（ＯＣＲ）を用いて取得することができる。本、雑誌等の内容は、取得された文字から単語を読み取り、キーワードを抽出することにより分析することができる。

また、本実施の形態では、マイクロフォン１６ａを用いて音を取得したが、ユーザがイヤホンを介して音楽を聴いている場合も考えられる。この場合には、音取得部が、イヤホンの出力内容を直接取得するようにすればよい。

また、本実施の形態では、ユーザが刺激を選択できるが、ユーザに否定される可能性が高い刺激を出力することが避けることが望ましい。例えば、ユーザが音楽を聴いている場合にはその音楽を継続して聞きたい場合が通常である。このような場合に、刺激として音を出力することは得策ではない。したがって、音から情動を推定した結果に基づいて刺激を出力する場合には、刺激選択部は、音ではない種類の刺激（例えば、香り）を出力するようにしてもよい。これにより、元の刺激による情動なのか、出力された刺激による情動なのかを切り分けることもできる。
また、本実施の形態では、刺激選択部１３が刺激テーブル１２３に基づいて情動推定部１１から入力された情動に適した刺激を選択する処理（ステップＳ３０）において、刺激テーブル１２３の重みづけ格納領域１２３ｄに格納された重みづけが最も重い刺激を抽出したが、刺激の種類に基づいて刺激を抽出するようにしてもよい。例えば、情動格納領域１２３ａに「嬉しい」が格納された情報として、刺激格納領域１２３ｃには、「刺激Ａ１」、「刺激Ａ２」、「刺激Ａ３」・・・が格納されている(図５参照)。ユーザが受けている刺激が「音」である場合には、刺激（種類）格納領域１２３ｂに格納された情報が「音」でない刺激であって、重みづけ格納領域１２３ｄの重みづけが最も重い刺激である「刺激Ａ３」を情動に適した刺激として選択すればよい。
また、本実施の形態では、音の刺激として音楽を例に説明したが、ノイズキャンセラ等によりノイズを消す刺激を、音の刺激として出力してもよい。

＜第２の実施形態＞
本発明の第１の実施の形態は、ユーザが受けている刺激（例えば、ユーザの視線や音）に基づいて情動を推定したが、情動を推定する方法はこれに限られない。
本発明の第２の実施の形態は、脳波から情動を推定する形態である。なお、第１の実施の形態と同一の部分については、同一の符号を付し、詳細な説明を省略する。

図１１は、刺激誘発装置２の構成を説明するための概略構成図である。図１２は、刺激誘発装置２の外観を示す斜視図である。図１２に示すように、刺激誘発装置２は、帽子２ａを有する帽子型の装置である。帽子２ａには、刺激誘発装置２の各機能部が設けられている。なお、帽子２ａには、刺激誘発装置２の一部機能のみを設け、他の機能については、直接、或いは図示しないネットワークを介して接続された他の装置に設けられていてもよい。

刺激誘発装置２は、主として、制御部１０と、情動推定部１１Ａと、記憶部１２Ａと、刺激選択部１３と、出力制御部１７と、表示部１８と、音声出力部１９と、入力受付部２０と、通信Ｉ／Ｆ（インターフェース）２１と、脳波取得部２４とで構成される。刺激誘発装置２は、香り出力部２２と、空気調和部２３と直接、或いは図示しないネットワークを介して接続される。
情動推定部１１Ａは、脳波取得部２４により取得された脳波を解析して情動を推定する。情動推定部１１Ａの処理については、後に詳述する。
記憶部１２には、主として、情動（脳波）テーブル１２５と、刺激テーブル１２３とが予め記憶されている。

図１３は、情動（脳波）テーブル１２５の概略説明図である。情動（脳波）テーブル１２５は、δ波格納領域１２５ａと、θ波格納領域１２５ｂと、α波格納領域１２５ｃと、β波格納領域１２５ｄと、情動格納領域１２１ｅとを有する。

δ波格納領域１２５ａには、取得された脳波のうちのδ波の割合が格納される。δ波は、０Ｈｚ以上４Ｈｚ未満の脳波を意味する。δ波は、深い睡眠時に出現する。

θ波格納領域１２５ｂには、取得された脳波のうちのθ波の割合が格納される。θ波は、４Ｈｚ以上８Ｈｚ未満の脳波を意味する。θ波は、うたた寝などの浅い眠り時に出現する。

α波格納領域１２５ｃには、取得された脳波のうちのα波の割合が格納される。α波は、８Ｈｚ以上１３Ｈｚ未満の脳波を意味する。α波は、目を閉じてくつろいでいる時に出現する。

β波格納領域１２５ｄには、取得された脳波のうちのβ波の割合が格納される。β波は、１３Ｈｚ以上の脳波を意味するβ波は、集中している時、緊張している時や考え事をしている時に出現する。

情動格納領域１２５ｅには、δ波格納領域１２５ａと、θ波格納領域１２５ｂと、α波格納領域１２５ｃと、β波格納領域１２５ｄとにそれぞれ記憶された割合の時の情動が記憶される。例えば、δ波格納領域１２５ａにＡ１％、θ波格納領域１２５ｂにＢ１％、α波格納領域１２５ｃにＣ１％が、β波格納領域１２５ｄに１％が格納されている場合には、情動格納領域１２５ｅには、「楽しい」という情動が格納される。
このように、情動（脳波）テーブル１２５には、脳波の特徴と、情動とが関連付けて記憶されている。

図１１の説明に戻る。表示部１８Ａは、カラー表示が可能な液晶ディスプレイ１８ａと、モニタ保持部１８ｃと、表示制御部（図示せず）を有する。図１２に示すように、液晶ディスプレイ１８ａは、変形自在かつ帽子２ａに対して回動自在に設けられたモニタ保持部１８ｃに設けられる。なお、モニタ保持部１８ｃの形態は図１２に示す場合に限られない。

音声出力部１９Ａは、音声コーデック部（図示せず）と、スピーカ１９ｃとを有する。図１２に示すように、スピーカ１９ｃは、帽子２ａ側面に設けられる。なお、スピーカ１９ｃの数は２つでもよいし、設けられる位置も図１２に示す場合に限られない。

脳波取得部２４は、複数の電極２４ａを有する。図１２に示すように、複数の電極２４ａは、帽子２ａの内側の所定の位置に設けられている。頭皮を１０〜２０％の等間隔で区切り、計２１個の電極２４ａを配置するのが一般的である。脳波取得部２４は、複数の電極２４ａにより得られた電気信号に基づいて脳波を取得する。

図１４は、刺激誘発装置２のハードウェア構成を示す図である。図１４に示すように、刺激誘発装置１は、主として、ＣＰＵ(Central Processing Unit)５１と、ＲＡＭ(Random Access Memory)５２と、ＲＯＭ(Read Only Memory)５３と、通信装置５４と、表示装置５７と、スピーカ５９と、入力装置６０と、バス６１と、脳波計６２とを有する。

ＣＰＵ５１は、数値演算及び各デバイスを制御する等、刺激誘発装置１が行う様々な主たる処理を実行する。ＲＡＭ５２は、演算データなどを格納する。ＲＯＭ５３は、プログラムやデータを格納する。通信装置５４は、各種ハードウェアを制御部１に接続するインターフェースである。バス６１は、ＣＰＵ５１と、ＲＡＭ５２と、ＲＯＭ５３と、通信装置５４と、脳波計６２と、表示装置５７と、スピーカ５９と、入力装置６０とを接続する。

制御部１０と、情動推定部１１Ａと、刺激選択部１３と、出力制御部１７とは、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１で実行することで実現可能である。
記憶部１２Ａは、ＣＰＵ５１がＲＡＭ５２と又はＲＯＭ５３を利用することにより実現可能である。
表示部１８Ａは、ＣＰＵ５１が表示装置５７を利用することで実現可能である。
音声出力部１９Ａは、ＣＰＵ５１がスピーカ５９を利用することにより実現可能である。
脳波取得部２４は、ＣＰＵ５１が脳波計６２を利用することで実現可能である。脳波計６２の構成及び作用はすでに公知であるため、説明を省略する。

以上のように構成された刺激誘発装置２の作用を、図１５のフローチャートを用いて説明する。図１５は、音から情動を推定する処理の流れを示すフローチャートである。この処理は、刺激誘発装置２の電源が投入されることにより開始される。
脳波取得部２４は、電極２４ａを介してユーザの脳波を取得する（ステップＳ６０）。脳波取得部２４は、取得した脳波を情動推定部１１Ａに出力する。

情動推定部１１Ａは、入力された脳波を解析して、δ波、θ波、α波及びβ波の割合を取得する（ステップＳ６２）。脳波を解析する方法はすでに公知であるため、説明を省略する。

情動推定部１１Ａは、情動（脳波）テーブル１２５を記憶部１２Ａから取得する。そして、情動推定部１１Ａは、情動（脳波）テーブル１２５に基づいて、ステップＳ６で分析された脳波に応じた情動を推定する（ステップＳ６４）。情動推定部１１Ａは、ステップＳ６２で取得されたδ波、θ波、α波及びβ波の割合に最も近い組み合わせの情報を、情動（脳波）テーブル１２５から抽出する。そして、情動推定部１１Ａは、抽出された情報の情動格納領域１２２ｃに格納された情報を、ユーザの情動と推定する。

これにより、脳波から情動を推定する処理が終了される。情動推定部１１Ａは、推定の精度が低下しないように、脳波から情動を推定する処理を一定期間おきに自動的に行う。

脳波から情動を推定する処理が終了したら、情動の推定結果に基づいて刺激を出力する処理を行う。情動の推定結果に基づいて刺激を出力する処理は、第１の実施の形態（図９）と同様であるため、説明を省略する。

本実施の形態によれば、脳波を用いることで、ユーザの情動をより簡単に推定することができる。また、脳波を用いることで、リラックスできていない時に発生する否定的な情動も容易に推定できるため、うつ状態のユーザの気分を改善するような用途に用いることもできる。

なお、本実施の形態では、入力受付部２０から刺激の変更要求が入力されたか否か（ステップＳ５０、図９参照）に基づいて刺激の変更（ステップＳ５２、図９参照）及び情動（脳波）テーブル１２５の修正（ステップＳ５４、図９参照）を行ったが、脳波の解析結果に基づいて刺激の変更（ステップＳ５２）及び情動（脳波）テーブル１２５の修正（ステップＳ５４）を行ってもよい。この場合には、脳波を取得し、その脳波に基づいて情動を推定し、推定した情動が怒り等の不快を示す情動であれば刺激を変更し（ステップＳ５２）推定した情動が楽しい等の快適を示す情動であれば処理を終了するようにすればよい。

また、本実施の形態では、脳波に基づいて情動を推定するが、情動を推定するのに脈拍を用いてもよいし、脳波及び脈拍を用いてもよい。脈拍は、すでに公知の脈拍計を用いることが出来る。
＜第３の実施形態＞
本発明の第１の実施の形態は、ユーザが装着する装置を用いて、ユーザが受けている刺激に基づいて情動を推定したが、情動を推定する装置の形態はこれに限られない。

本発明の第３の実施の形態は、据え置き型の装置を用いて情動を推定する形態である。なお、第１の実施の形態と同一の部分については、同一の符号を付し、詳細な説明を省略する。

図１６は、刺激誘発装置３の構成を説明するための概略構成図である。図１７は、刺激誘発装置３の外観を示す斜視図である。図１７に示すように、刺激誘発装置３は、本体部３ａと、表示部３ｂとを備えた据え置き型の装置である。表示部３ｂには、表示部１８Ｂが設けられ、本体部３ａには、刺激誘発装置３の表示部１８Ｂ以外の各機能部が設けられている。なお、本体部３ａには、刺激誘発装置３の一部機能のみを設け、他の機能については、直接、或いは図示しないネットワークを介して接続された他の装置に設けられていてもよい。

刺激誘発装置３は、主として、制御部１０と、情動推定部１１Ｂと、記憶部１２Ｂと、刺激選択部１３と、視線検出部１４Ａと、出力制御部１７と、表示部１８Ｂと、音声出力部１９Ｂと、入力受付部２０と、通信Ｉ／Ｆ（インターフェース）２１と、顔撮影部２５とで構成される。刺激誘発装置２は、香り出力部２２と、空気調和部２３と直接、或いは図示しないネットワークを介して接続される。

情動推定部１１Ｂは、主として、視認対象解析部１１３と、表情解析部１１４とを備えている。視認対象解析部１１３は、視線検出部１４Ａにより取得された目の画像から視認対象を解析して情動を推定する。表情解析部１１４は、顔撮影部２５により撮影されたユーザの顔画像から表情を認識して情動を推定する。情動推定部１１Ｂの処理については、後に詳述する。
記憶部１２Ｂには、主として、情動（画像）テーブル１２１と、情動（表情）テーブル１２６とが予め記憶されている。
図１８は、情動（表情）テーブル１２６の概略説明図である。情動（表情）テーブル１２６は、表情格納領域１２６ａと、情動格納領域１２６ｂとを有する。

表情格納領域１２６ａには、表情の情報、例えば笑顔、泣顔の情報が格納される。情動格納領域１２６ｂには、表情格納領域１２６ａに格納された表情に対応する情動が格納される。すなわち、情動（表情）テーブル１２６には、表情と、情動とが関連付けて記憶される。

図１６の説明に戻る。視線検出部１４Ａは、ＣＣＤカメラ等の撮像装置１４ｃを有する。図１７に示すように、視線検出部１４Ａは、本体部３ａ前面に設けられる。視線検出部１４Ｂは、暗い部分である瞳孔部分を含み、かつ右目及び左目の輪郭が認識できるように、右目及び左目を含む画像を撮影する。

表示部１８Ｂは、カラー表示が可能な液晶ディスプレイ１８ｄと、表示制御部（図示せず）を有する。図１７に示すように、液晶ディスプレイ１８ｄは、表示部３ｂの前面に設けられる。

表示制御部は、出力制御部１７から入力され画像データを表示用の画像データに変換し、液晶ディスプレイ１８ｄに出力する。これにより、液晶ディスプレイ１８ｄに画像データが表示される。
音声出力部１９は、音声コーデック部（図示せず）と、スピーカ１９ｄとを有する。図１７に示すように、スピーカ１９ｄは、本体部３ａの前面に設けられる。

音声コーデック部は、出力制御部１７から入力された音データをデジタル音声信号に変換し、音量調整などの音質調整処理を行い、スピーカ１９ｄに出力する。これにより、スピーカ１９ｄから音声が出力される。
なお、スピーカ１９ｄは複数でもよいし、設けられる位置も図１７に示す場合に限られない。

顔撮影部２５は、ＣＣＤカメラ等の撮像装置２５ａ、２５ｂを有する。図１７に示すように、撮像装置２５ａ、２５ｂは、本体部３ａ前面、かつ撮像装置１４ｃの左右に設けられる。撮像装置２５ａ、２５ｂは、左右からユーザの顔を撮影する。これにより、ユーザの顔を立体的に認識し、表情が精度よく認識できるようになる。ただし、撮像装置は１つでも表情認識は可能である。

図１９は、刺激誘発装置３のハードウェア構成を示す図である。図１９に示すように、刺激誘発装置１は、主として、ＣＰＵ(Central Processing Unit)５１と、ＲＡＭ(Random Access Memory)５２と、ＲＯＭ(Read Only Memory)５３と、通信装置５４と、撮影装置（１）５５と、表示装置５７と、スピーカ５９と、入力装置６０と、バス６１と、撮影装置（３）６３とを有する。

制御部１０と、情動推定部１１Ｂと、刺激選択部１３と、出力制御部１７とは、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１で実行することで実現可能である。
記憶部１２Ｂは、ＣＰＵ５１がＲＡＭ５２と又はＲＯＭ５３を利用することにより実現可能である。

視線検出部１４Ａは、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１が実行し、かつＣＰＵ５１が撮影装置（１）５５を利用することにより実現可能である。

顔撮影部２５は、ＲＯＭ５３に記憶されている所定のプログラムをＲＡＭ５２にロードしてＣＰＵ５１で実行し、かつＣＰＵ５１が撮影装置（３）６３を利用することにより実現可能である。
表示部１８Ｂは、ＣＰＵ５１が表示装置５７を利用することで実現可能である。
以上のように構成された 刺激誘発装置３の作用を、図２０、２１のフローチャートを用いて説明する。

図２０は、視線に基づいて情動を推定する処理の流れを示すフローチャートである。図２０の処理は、刺激誘発装置３の電源が投入されることにより開始される。

視線検出部１４Ａは、撮像装置１４ｃを介して、ユーザの右目及び左目の画像を取得する（ステップＳ７０）。取得した画像は、視線検出部１４Ａから視認対象解析部１１３に出力される。

視認対象解析部１１３は、ステップＳ７０で取得された画像に基づいて、ユーザが液晶ディスプレイ１８ｄを視認しているか否かを判定する（ステップＳ７２）。ステップＳ７２の処理について具体的に説明する。

視認対象解析部１１３は、撮影された右目及び左目の画像から暗い部分である瞳孔部分を抽出して、その位置を検出する。瞳孔部分の抽出は、画像の明暗を利用した画像処理技術（すでにさまざまな方法が公知）を用いて行うことができる。また、視認対象解析部１１３は、瞳孔部分の位置より両眼眼球の向いている方向、すなわち視線方向を検出する。また、視認対象解析部１１３は、両眼の視線が交差する位置を注視点として検出する。瞳孔部分の位置より視線方向を検出する方法はすでに公知の様々な方法を用いることができる。また、注視点は、左右の目の間隔（平均値である６５ｍｍを使用できる）と、検出された視線方向とから算出することができる。

視認対象解析部１１３は、ユーザと液晶ディスプレイ１８ｄとの位置関係に基づいて、このようにして算出された注視点が液晶ディスプレイ１８ｄ上であるか否かを判定する。視認対象解析部１１３は、注視点が液晶ディスプレイ１８ｄ上である場合にはユーザが液晶ディスプレイ１８ｄを視認していると判定する。ユーザと液晶ディスプレイ１８ｄとの位置関係は、視線検出部１４Ａで撮影された画像の目の位置及び大きさから推定することが出来る。
ユーザが液晶ディスプレイ１８ｄを視認していない場合（ステップＳ７２でＮＯ）には、視認対象解析部１１３は、処理を終了する。

ユーザが液晶ディスプレイ１８ｄを視認している場合（ステップＳ７２でＹＥＳ）には、視認対象解析部１１３は、液晶ディスプレイ１８ｄに表示している画像と、注視点の位置とに基づいて、ユーザが視認している画像が何であるかを示す情報を取得する（ステップＳ７４）。液晶ディスプレイ１８ｄに表示している画像は、表示制御部から取得することができる。

視認対象解析部１１３は、情動（画像）テーブル１２１を記憶部１２から取得する。そして、視認対象解析部１１３は、情動（画像）テーブル１２１に基づいて、ステップＳ７４で取得された画像に応じた情動を推定する（ステップＳ７６）。ステップＳ７６の処理は、ステップＳ１８の処理と同様の内容であるため、説明を省略する。

図２１は、ユーザの表情に基づいて情動を推定する処理の流れを示すフローチャートである。図２１の処理は、刺激誘発装置３の電源が投入されることにより開始される。

撮像装置２５ａ、２５ｂは、ユーザの顔を撮影することにより、ユーザの顔画像を取得する（ステップＳ８０）。顔撮影部２５は、取得した顔画像を表情解析部１１４に出力する。

表情解析部１１４は、取得された顔画像を解析して、ユーザの表情を認識する（ステップＳ８２）。ユーザの表情を認識する方法は、パターン認識等のすでに公知の方法を用いることが出来る。

表情解析部１１４は、情動（表情）テーブル１２６を記憶部１２Ｂから取得する。そして、表情解析部１１４は、情動（表情）テーブル１２６に基づいて、ユーザの表情に応じた情動を推定する（ステップＳ８４）。例えば、表情が笑顔である場合には、「楽しい」という情動が推定される。

情動を推定する処理が終了したら、情動の推定結果に基づいて刺激を出力する処理を行う。情動の推定結果に基づいて刺激を出力する処理は、第１の実施の形態（図９）と同様であるため、説明を省略する。
本実施の形態によれば、ユーザの表情を用いることで、より正確な情動を把握することが出来る。

なお、本実施の形態では、ユーザが視認している画像と、ユーザの表情とに基づいて情動を推定したが、ユーザの表情にのみ基づいて情動を推定してもよい。また、ユーザが視認している画像に基づいて推定された情動と、ユーザの表情に基づいて推定された情動とが異なる場合には、ユーザの表情に基づいて推定された情動に基づいて刺激を出力すればよい。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明は、刺激誘発装置に限らず、刺激誘発装置を含むシステムとして提供しても良いし、刺激誘発装置に適用するプログラムとして提供することもできる。

１、２、３：刺激誘発装置、１１、１１Ａ、１１Ｂ：情動推定部、１２、１２Ａ、１２Ｂ：記憶部、１３：刺激選択部、１４、１４Ａ、１４Ｂ：視線検出部、１５：撮影部、１６：音取得部、１７：出力制御部、１８、１８Ａ、１８Ｂ：表示部、１９、１９Ａ：音声出力部、２０：入力受付部、２１：通信Ｉ／Ｆ、２２：香り出力部、２３：空気調和部、２４：脳波取得部、２５：顔撮影部、５１：ＣＰＵ、５２：ＲＡＭ、５３：ＲＯＭ、５４：通信装置、５７：表示装置、５８：マイクロフォン、５９：スピーカ、６０：入力装置、６１：バス、６２：脳波計、１１１：画像解析部、１１２：音分析部、１１３：視認対象解析部、１１４：表情解析部、１２１：画像／情動テーブル、１２２：音／情動テーブル、１２３：情動／刺激テーブル、１２４：刺激記憶領域、１２５：脳波／情動テーブル、１２６：表情／情動テーブル

Claims (16)

1. 第１の情動と、ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応付けた情動刺激関係情報が記憶された記憶部と、
   ユーザの情動を推定する情動推定部と、
   前記情動刺激関係情報に基づいて、前記推定された情動に対応する刺激を選択する刺激選択部と、
   前記刺激選択部により選択された刺激を出力する出力部と、
   を備えたことを特徴とする刺激誘発装置。
2. 請求項１に記載の刺激誘発装置であって、
   前記出力された刺激である第１の刺激の変更要求を受け付ける入力受付部と、
   前記変更要求が入力されると、前記情動刺激関係情報を修正する修正手段と、を備え、
   前記刺激選択部は、前記変更要求が入力されると、前記推定された情動に応じた刺激であって、前記第１の刺激とは異なる第２の刺激を選択し、
   前記出力部は、前記第２の刺激を出力する
   ことを特徴とする刺激誘発装置。
3. 請求項１又は２に記載の刺激誘発装置であって、
   前記ユーザが受けている刺激を取得する刺激取得部を備え、
   前記情動推定部は、前記刺激取得部により取得された刺激に基づいて情動を推定する
   ことを特徴とする刺激誘発装置。
4. 請求項３に記載の刺激誘発装置であって、
   前記刺激取得部は、
   前記ユーザの視線を検出する視線検出部と、前記視線の先にある被写体を撮影する第１の撮影部と、を備え、
   前記情動推定部は、前記撮影された被写体に基づいて情動を推定する画像解析部を有する
   ことを特徴とする刺激誘発装置。
5. 請求項４に記載の刺激誘発装置であって、
   前記視線検出部は、前記視線に基づいて前記ユーザの注視点を検出し、
   前記撮影部は、前記注視点を含み、かつ前記注視点にピントが合った画像を撮影する
   ことを特徴とする刺激誘発装置。
6. 請求項５に記載の刺激誘発装置であって、
   前記画像解析部は、前記ユーザが視認している被写体が何であるかを示す情報を、前記被写体の種類を示す語として取得することにより情動を推定する
   ことを特徴とする刺激誘発装置。
7. 請求項３に記載の刺激誘発装置であって、
   前記刺激取得部は、前記ユーザの顔を撮影する第２の撮影部を備え、
   前記情動推定部は、前記撮影されたユーザの顔に基づいてユーザの表情を解析し、当該表情に基づいて情動を推定する表情解析部を有する
   ことを特徴とする刺激誘発装置。
8. 請求項３に記載の刺激誘発装置であって、
   前記刺激取得部は、前記刺激誘発装置の周辺の音を取得する音取得部を備え、
   前記情動推定部は、前記音取得部により取得された音を解析して情報を推定する音解析部を有する
   ことを特徴とする刺激誘発装置。
9. 請求項８に記載の刺激誘発装置であって、
   前記音解析部は、前記取得された音から特定のキーワードを検出し、当該検出されたキーワードに基づいて情動を推定する
   ことを特徴とする刺激誘発装置。
10. 請求項１又は２に記載の刺激誘発装置であって、
    前記ユーザの脳波を測定する脳波計を備え、
    前記情動推定部は、前記測定された脳波に基づいて情動を推定する
    ことを特徴とする刺激誘発装置。
11. 請求項１から１０のいずれか１項に記載の刺激誘発装置であって、
    前記出力部は、画像の表示が可能な表示部であり、
    前記記憶部は、画像データを記憶し、
    前記刺激選択部は、前記刺激として画像を選択し、
    前記出力部は、前記選択された画像の画像データを前記記憶部から取得して表示する
    ことを特徴とする刺激誘発装置。
12. 請求項１から１１のいずれか１項に記載の刺激誘発装置であって、
    前記出力部は、音声出力部であり、
    前記記憶部は、音声データを記憶し、
    前記刺激選択部は、前記刺激として音声を選択し、
    前記出力部は、前記選択された音声の音声データを前記記憶部から取得して出力する
    ことを特徴とする刺激誘発装置。
13. 請求項１から１２のいずれか１項に記載の刺激誘発装置であって、
    前記出力部は、複数の芳香剤が収容された芳香剤収容部と、前記芳香剤を拡散させる芳香剤拡散部と、を備えた香り出力部であり、
    前記刺激選択部は、前記刺激として香りの種類を選択し、
    前記出力部は、前記選択された種類の香りを拡散させる
    ことを特徴とする刺激誘発装置。
14. 請求項１から１３のいずれか１項に記載の刺激誘発装置であって、
    前記出力部は、前記ユーザがいる空間の気温及び湿度を調整する空気調和部であり、
    前記刺激選択部は、前記刺激として室温及び湿度を選択し、
    前記出力部は、前記選択された室温及び湿度となるように気温及び湿度を調整する
    ことを特徴とする刺激誘発装置。
15. ユーザの情動を推定するステップと、
    第１の情動と、前記ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応させた情動刺激関係情報を取得するステップと、
    前記取得された情報に基づいて、前記第１の情動に応じた刺激を選択するステップと、
    前記選択された刺激を出力するステップと、
    を有することを特徴とする刺激誘発方法。
16. ユーザの情動を推定するステップと、
    第１の情動と、前記ユーザにとって好ましい情動である第２の情動を発生させる刺激とを対応させた情動刺激関係情報を取得するステップと、
    前記取得された情報に基づいて、前記第１の情動に応じた刺激を選択するステップと、
    前記選択された刺激を出力するステップと、
    をコンピューターに実行させることを特徴とするプログラム。

Images