JP2005058449A - 感情の可視化装置および感情の可視化方法、感情の可視化出力物 - Google Patents

Abstract

【課題】人の感情を正確に反映することができると共に、感情の変化や感情の状態分布をも、目に見える形で可視化表現できるようにする。
【解決手段】人の生体情報を取得するための生体情報取得手段からの生体情報を解析し、当該人の感情を表わす感情情報を得る感情解析処理部１０８と、感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持部１２６と、この変換テーブル情報保持部１２６の変換テーブル情報を用いて、感情解析処理部１０８からの感情情報に対応する色情報を得る色変換処理部２１２とを備える。色変換処理部２１２からの色情報を用いて、感情解析処理部１０８で得られた人の感情を、色により可視化する。
【選択図】図１

Description

この発明は、例えば、人の日々の感情や、コンテンツを鑑賞したときの感情を、可視化する装置および方法並びに前記装置や方法により可視化された感情の可視化出力物に関する。

人は、例えば過去の、ある期間やある時に、どのような感情の状態で過ごしていたか、また、ある体験をしていたときに、どのような感情の状態であったかなどは、例えば日記に、そのときの出来事および感情が文章として書き記されている場合には、その日記を読むことで推し量ることができる。

しかしながら、日記の場合、人の文章表現力にもよるが、一般的には、そのときの感情を、客観的に書き記すことが、困難である。また、日記は、それを読まなければ、そのときの人の感情を知ることはできない。また、文章から感情を推し量ることになるので、そのときの感情を、正確に認識することが困難である。

特許文献１（特開２００２−２３００１１号公報）には、文書に表現されている感情を判別し、その判別した感情を、アイコンなどの視覚的表示形式に変換して表示することができる感情認識システムが提供されている。

この特許文献１においては、予め、単語ごとに、例えば「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情要素を数値化して割り当てた感情表現辞書を用意しておき、認識対象文書を、単語に分解して、前記感情表現辞書を用いて、当該認識対象文書に表現されている感情を認識する。そして、特許文献１においては、認識した「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情を、アイコンなどの視覚的表示形式に変換して、視覚化表示するようにしている。
特開２００２−２３００１１号公報

しかしながら、上述の特許文献１の技術を用いて日記に記述されている文章に表現されている感情を判別することができたとしても、前述もしたように、記述された文章に、そのときの感情が客観的に、また、正確に記述されていない場合には、そのときの感情を正確に反映させることができない。

また、特許文献１の場合には、認識した感情を、それに対応するアイコンにより、視覚化表示するようにしている。このアイコンとしては、例えば「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情を、例えば顔（実画像、簡単な漫画など）の表情で表わしたものを用いることができると考えられる。

しかし、この特許文献１に記載されるようなアイコンの場合には、文章に表現された、ある一定期間の平均の感情のみを表わしており、当該期間内における感情の変化や、「興奮」「リラックス」「不快」「快適」などの種々の感情のそれぞれが、当該期間においてどのぐらいの割合で分布していたかなどの感情の状態分布を表わすことができない。

この発明は、以上の点にかんがみ、人の感情を正確に反映することができると共に、感情の変化や感情の状態分布をも、目に見える形で可視化表現できるようにすることを目的とする。

上記の課題を解決するために、請求項１の発明による可視化装置においては、
人の生体情報を取得するための生体情報取得手段と、
前記生体情報取得手段からの生体情報を解析し、前記人の感情を表わす感情情報を得る感情解析処理部と、
前記感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持部と、
前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記感情情報に対応する色情報を得る色変換処理部と、
を備え、
前記色変換処理部からの前記色情報を用いて、前記感情解析処理部で得られた前記人の感情を色により可視化することを特徴とする。

この請求項１の発明によれば、人の生体情報を解析して当該人の感情を表わす感情情報を得るので、当該人の客観的な感情の情報を正確に得ることができる。そして、その感情情報を色に変換して表示するようにするので、例えば、「赤色」が濃いほど快適の感情を示し、「青色」が濃いほど不快の感情を示すように表示するなどすることにより、当該色の変化として感情の変化が可視化されると共に、色の分布状態により感情の状態分布を表示することが可能になる。

また、請求項２の発明は、請求項１に記載の感情の可視化装置において、
前記感情解析処理部は、前記複数個の生体情報取得手段からの生体情報を、所定の単位時間毎に平均化して解析し、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
前記色変換処理部は、前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記単位時間毎の平均の感情を表す感情情報に対応する色を出力するものである
ことを特徴とする。

この請求項２の発明によれば、単位時間毎の平均の感情が色として可視化されるので、細かな感情変化が除去された前記単位時間内の主たる感情が可視化されることになり、感情の状態判断が容易になる。

また、請求項３の発明は、請求項１に記載の感情の可視化装置において、
前記色変換処理部からの所定の期間の前記色情報に基づく色出力を、前記所定の期間内における時間の経過に対応させて可視化表示することにより、前記所定の期間内における感情の変化を色として可視化する感情変化可視化手段を備える
ことを特徴とする。

この請求項３の発明によれば、所定の期間、例えば特定の１日における感情の変化が、時間の変化に対応して色の変化として可視化されるので、当該１日が、どのような感情状態で過ごされたのかなどを可視化することができる。また、所定の期間が、例えば所定の放送番組や映画コンテンツなどを視聴している期間に対応している場合には、当該所定の放送番組や映画コンテンツなどを視聴しているときの感情の変化を可視化することができる。

また、請求項１１の発明は、請求項１に記載の感情の可視化装置において、
前記色変換処理部からの前記色情報による各色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化する感情分布可視化手段を備える
ことを特徴とする。

この請求項１１の発明によれば、所定の期間、例えば特定の１日における感情の状態分布が色の分布として可視化され、当該１日が概ねどのような感情の状態で過ごしたかを可視化することができる。

また、所定の期間が、例えば所定の放送番組や映画コンテンツなどを視聴している期間に対応している場合には、当該所定の放送番組や映画コンテンツなどを視聴したときの感情の状態分布が色の分布として可視化することができる。したがって、当該放送番組や映画コンテンツなどを、概ねどのような感情の状態で視聴したかを可視化することができる。

この発明によれば、人の感情を正確に反映することができると共に、感情の変化や感情の状態分布をも、目に見える形で色により可視化表現できる。

以下、この発明による感情の可視化装置および感情の可視化方法並びに感情の可視化出力物の実施形態を、図を参照しながら説明する。

以下に説明する実施形態は、感情の可視化装置および方法を、撮像情報記録再生装置に適用した場合である。この実施形態の感情の可視化装置の例としての撮像情報記録再生装置は、撮像部を備え、当該撮像部により撮像しているときの撮影者の生体情報を取り込んで、感情解析し、その感情解析結果を色変換して可視化データとしたものを、撮像情報と共に、時間情報に関連させて記録するようにする機能を備える。

＜可視化装置（撮像情報記録再生装置）のハードウエア構成例＞
図１は、この実施形態の可視化装置の例としての撮像情報記録再生装置１００のブロック図である。

この撮像情報記録再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１に対して、システムバス１０２を介して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４とが接続されたコンピュータを備える構成となっている。

そして、システムバス１０２に対して、撮像部コントローラ１０５と、撮像信号処理部１０６と、生体情報入力部コントローラ１０７と、感情解析処理部１０８と、データ格納部コントローラ１０９と、再生処理部１１０と、計時部１１１と、ビジュアルデータ処理部１１２と、表示部コントローラ１１３と、キー入力インターフェース（図ではインターフェースはＩ／Ｆと記載する。以下同じ）１１４と、ネットワークインターフェース１１５とが接続されている。

撮像部コントローラ１０５は、ＲＯＭ１０３に格納されているプログラムにしたがったＣＰＵ１０１からの制御に基づいて、撮像部コントロール信号を撮像部１２１に供給する。

撮像部１２１は、レンズ系と、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で構成される撮像素子とを備え、撮像部コントローラ１０５からの撮像部コントロール信号を受けて、撮像記録の開始、停止、ズーム倍率、露出値、オートフォーカスなどの制御がなされる。

撮像部１２１からの撮像画像信号は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器１２２によりデジタル信号に変換された後、撮像信号処理部１０６に供給される。撮像信号処理部１０６では、ＲＯＭ１０３に記憶されているプログラムに従ったＣＰＵ１０１からの制御指示命令により処理が実行されて、Ａ／Ｄ変換器１２２からの撮像画像信号が、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式により画像データ圧縮されると共に、適切な記録フォーマットに変換される。また、撮像信号処理部１０６では、計時部１１１からの時刻情報が用いられて、撮像画像データに撮像時刻の情報が付加される処理も行なわれる。

そして、撮像信号処理部１０６で適切な記録フォーマットに変換された、撮像時刻の情報を含む撮像画像データは、システムバス１０２を通じてデータ格納部コントローラ１０９に転送される。データ格納部コントローラ１０９は、受け取った撮像画像データを、データ格納部１２３に格納する。

データ格納部１２３は、この例では、ハードディスクドライブで構成され、例えば１日分以上のデータを格納する記憶容量を備えるものである。なお、データ格納部１２３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの大容量記録形光ディスクや、半導体メモリなどを記憶媒体に用いる装置を用いるようにしても良い。

生体情報入力部コントローラ１０７は、生体情報入力部１２４からの生体情報を、Ａ／Ｄ変換部１２５を通じて受け取る。生体情報入力部１２４は、詳しくは後述するが、当該撮像情報記録再生装置１００の使用者（撮影者）の生体情報を取得する手段を構成するものである。

ここで、生体情報とは、この明細書では、生理的、生化学的、または身体的な反応または状態の情報をいうものとする。生体情報としては、例えば、人間が自発的・誘発的に発する情報、例えば、心拍、脈波、呼吸、血圧、心電、脳波、皮膚発汗、皮膚抵抗、体動、体位、脳磁図、筋電、体表面温度、瞳孔径の大きさ、マイクロバイブレーション、瞬目（瞬き）、生化学反応などが挙げられる。

したがって、人の生体情報には、人に装着された電極を通じて検出するもののみではなく、体動、体位などのようにカメラで撮影した情報から検出されるもの、体表面温度などのようにセンサにより遠隔で検出できるものを含む。

生体情報入力部１２４で取得されたユーザの生体情報は、Ａ／Ｄ変換部１２５でデジタル信号に変換され、生体信号入力部コントローラ１０７およびＣＰＵ１０１、ＲＯＭ１０３のプログラム、ワークエリア用ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。このとき、撮像画像データの場合と同様に対応して、生体情報には取得時刻の情報が付加されるデータ格納部１２３に格納される。

生体情報入力部１２４で取得された生体情報は、また、Ａ／Ｄ変換部１２５でデジタル信号に変換された後、感情解析処理部１０８に供給され、ここで後述もするように、所定の方式にしたがって感情解析が行なわれる。そして、この感情解析処理部１０８での感情解析の結果得られたユーザの感情を表わすための情報（以下、感情データという）は、ＲＯＭ１０３のプログラムにしたがって、ＣＰＵ１０１、ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。この感情データにも、時刻情報が付加され、撮像画像データや生体情報との対応が可能とされている。

なお、感情データは、上述のようにリアルタイムで生体情報から生成するのではなく、撮像情報および生体情報のデータ格納部１２３への格納が終了した後、当該データ格納部１２３に格納されている生体情報を読み出して、感情解析し、その解析結果をデータ格納部１２３に格納するようにすることもできる。ただし、その場合には、後述するようなリアルタイムでの感情の可視化表示はできない。

また、上述の説明では、撮像部１２１により取得した被写体の撮像画像データや生体情報入力部１２４を通じて取得したユーザの生体情報、また、感情解析処理部１０８で生体情報を解析することによって得られる感情を表わす感情データは、すべてデータ格納部１２３に記憶して格納するものとして説明したが、これに限るものではない。

例えば、ネットワークインターフェース１１５を通じてインターネットなどのネットワークに接続し、ネットワーク上に設けられた所定のサーバ装置に送信して、そのサーバ装置に、撮像画像データや生体情報、感情状態を示す情報を記憶保持させるようにするようにすることも可能である。

感情解析処理部１０８は、後で詳述するように、生体情報入力部１２４を通じて取得した種々の生体情報、または、データ格納部１２３に格納された生体情報を、この例では、感情モデルを解析する方法で感情状態の抽出を行なう。

再生処理部１１０は、再生時に、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出された圧縮画像データの伸張デコード処理等を行って再生用の画像データを形成するものである。再生処理部１１０において処理された画像データは、ビジュアルデータ処理部１１２に供給される。

ビジュアルデータ処理部１１２は、感情解析処理部１０８からの感情データあるいはデータ格納部１２３に格納されている感情データから、後で詳述するように、色変換テーブル情報記憶部１２６に格納されている変換テーブル情報を用いて感情の可視化データを生成し、生成した感情の可視化データを、データ格納部コントローラ１０９を通じてデータ格納部１２３に格納する機能を備える。後述するように、ビジュアルデータ処理部１１２は、感情変化可視化手段および感情分布可視化手段の役割機能も備える。

また、ビジュアルデータ処理部１１２は、再生時には、データ格納部１２３から読み出された撮像画像データおよび感情の可視化データとを、時間軸に同期させて再生し、表示部コントローラ１１３を通じて表示部１２７の画面に表示させるようにする機能を備える。なお、この再生時、データ格納部１２３から読み出された撮像画像データは、上述したように、再生処理部１１０で伸長デコード処理された後、ビジュアルデータ処理部１１２に供給されるものである。

表示部コントローラ１１３は、表示部１２７に供給する表示用画像信号を形成し、これを表示部１２７に供給する。表示部１２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイであり、表示部コントローラ１１３からの画像信号に応じた画像をその表示画面に表示する。

キー入力インターフェース１１４には、キー入力操作部１２８が接続される。キー入力操作部１２８は、撮像記録開始キー、再生開始キー、早送りキー、巻戻しキー、ジャンプキー、停止キーなどのキーを備える。キー入力操作部１２８のいずれかのキーが操作されると、キー入力インターフェース１１４を通じてその操作入力情報がシステムバス１０２に供給される。ＣＰＵ１０１は、この操作入力情報を判別して、どのキーが操作されたかを判別し、その操作されたキーに対応する処理を実行する。

なお、図１では省略したが、撮像部１２１にマイクロホンが取り付けられており、撮像時に、被写体周辺の音声がこのマイクロホンにより収音され、Ａ／Ｄ変換され、また必要に応じてデータ圧縮されて、撮像画像データと共にデータ格納部１２３に格納されて、記録される。

＜生体情報入力部１２４〜生体信号入力部コントローラ１０７の部分の構成例＞
ここで、上述した生体情報入力部１２４、Ａ／Ｄ変換部１２５および生体信号入力部コントローラ１０７の部分の、より具体的な構成例について説明する。図２は、生体情報入力部１２４、Ａ／Ｄ変換器部１２５および生体情報入力部コントローラ１０７の部分の詳細構成例を示すブロック図である。

人の感情を表わす感情データは、適切な一つの生体情報のみを用いて得るようにすることもできるが、より正確に人の感情を表わす感情データを得るために、この例では、複数個の生体情報を用いる。図２の例では、ユーザの生体情報として、脳波、心電、脈波（脈拍）、体温などを電極（センサを含む）を通じて検出する場合を例にして説明する。

図２に示すように、この例の生体情報入力部１２４は、人に装着されて、複数の生体情報、この例においては、脳波、心電、脈波、体温、筋電など、に対応する生体信号を収集するための複数個の電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅと、それぞれの電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅからの生体信号を増幅するための複数個の増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅとからなる。

電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅは、脳波をはじめとする生体電気現象や脳磁気をはじめとする生体磁気現象を測定する機能を有するものであり、この例においては、撮影者に装着される。増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅは、増幅のみでなく、必要に応じて、数種類の周波数帯域に分けるなどのフィルタリング処理を行なう場合もある。

例えば、生体情報が脳波であれば、増幅部１２４２ａは、電極１２４１ａから得られた数マイクロボルトの電位の生体情報信号を増幅し、アルファ波、ベータ波、などの数種類の周波数帯域の成分に分けるようにフィルタリングをかける処理を行なう。

電極１２４１ａ、１２４１ｂ、１２４１ｃ、１２４１ｄ、・・・、１２４１ｅを通じて検出された各生体情報は、対応する増幅部１２４２ａ、１２４２ｂ、１２４２ｃ、１２４２ｄ、・・・、１２４２ｅに供給されて増幅され、Ａ／Ｄ変換部１２５に供給される。この実施形態においては、Ａ／Ｄ変換部１２５は、図２に示すように、供給される生体情報に応じた複数個のＡ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅを備えたものであり、供給される生体情報（アナログ信号）をデジタル信号に変換する。

例えば、脳波の電位レベルは一般には５０μＶ（マイクロボルト）程度、心電の電位レベルは１ｍＶ（ミリボルト）程度と生体信号の種類により異なる。このため、各Ａ／Ｄ変換器１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅにおいてのＡ／Ｄ変換時の量子化ビット数は、増幅された各種生体信号の電位レベルを下回らない程度の精度を有するようにされている。

そして、Ａ／Ｄ変換された後の各生体情報は、生体情報入力部コントローラ１０７に供給される。生体情報入力部コントローラ１０７は、デジタル化された各種生体信号を受信するための受信部１０７１と、それらの生体情報を感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な信号にするための処理を行なう生体信号処理部１０７２と、処理された生体信号をバス１０２に出力するための送信部１０７３とから構成される。

受信部１０７１は、Ａ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅから出力される、もとの生体信号が再現される程度の間隔のサンプリング周波数を有するデジタル生体情報を受信して、これを後段の生体信号処理部１０７２に供給する。

生体信号処理部１０７２は、受信部１０７１からのデジタル生体情報の供給を受けて、生体情報のそれぞれについて、例えば振幅調整や帯域通過のためのフィルタ演算処理、ＦＦＴやウェーブレット解析をはじめとする時間−周波数解析、あるいは、ニューラルネットやカオス解析をはじめとする非線形解析などを行って、感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な形式の信号に変換し、変換後の生体情報（生体信号）を送信部１０７３に供給する。

送信部１０７３は、バス１０２に対し逐次適切なタイミングで、上述のように処理されて形成された生体信号を出力し、上述もしたように、データ格納部コントローラ１０９を通じてデータ格納部１２３に記録させたり、また、感情解析処理部１０８に供給して、生体情報の解析を行なわせたりするようにする。

＜感情解析処理部１０８における感情解析の一例＞
次に、感情解析処理部１０８において行われる感情解析処理の一例について説明する。感情解析処理部１０８には、前述したように、生体情報入力部１２４、Ａ／Ｄ変換部１２５、生体情報入力部コントローラ１０７を通じて、必要な信号処理や解析処理が行われて得られたデジタル化された複数の生体情報が入力される。

感情解析処理部１０８には、生体情報入力部コントローラ１０７からバス１０２を通じて生体情報が供給される場合だけではなく、データ格納部１２３に一旦格納された生体情報が、データ格納部コントローラ１０９を通じて読み出されて、これがバス１０２を通じて供給される場合もある。また、感情解析処理部１０８は、ネットワークインターフェース１１５を通じて外部機器や外部サーバに記憶するようにした生体情報の供給を受けるようにすることもできる。

感情解析処理部１０８では、複数の生体情報の入力を受け付けて、これらの複数の生体情報を元に解析処理を行ない、感情データとして、感情モデルで定義される複数の感情パラメータ値を出力する。感情モデルとしては、例えば２軸モデル、３軸モデル、６軸モデル等がある。これらのモデルの一例を図３に示す。

２軸モデルは、最も簡易なモデルであり、図３Ａに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸との２軸により、感情モデルを形成する。そして、前記２軸で定まる感情２次元空間におけるそれぞれ感情の状態を、前記第１軸方向のパラメータ（座標値）および第２軸方向のパラメータ（座標値）からなる感情パラメータ値により表現する。

３軸モデルは、図３Ｂに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸と、緊張と弛緩とのどちらに、より近いかの度合いを示す第３軸との３軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。

６軸モデルは、図３Ｃに示すように、怒りの度合いを示す第１軸と、恐れの度合いを示す第２軸と、悲しみの度合いを示す第３軸と、喜びの度合いを示す第４軸と、嫌悪の度合いを示す第５軸と、驚きの度合いを示す第６軸との６軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。

感情解析処理部１０８は、例えば、上述した感情モデルのいずれかを用いるようにし、例えば、学習済み、あるいは、ユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ（SOM : Self Organizing Map）等のニューラルネットワークの手法を利用して、入力として受け付けた複数種類の生体情報から、当該生体情報の発信元である人の感情の解析処理を行って、その解析結果として求められた感情を表わす感情データとしての感情パラメータ値を求める。

このように、この実施の形態の感情解析処理部１０８においては、所定の感情モデルとニューラルネットワークの手法を用いて、複数種類の生体情報を解析することによって、それらの生体情報の提供元であるユーザの感情の状態を感情パラメータ値として把握することが可能となる。

そして、この感情解析結果の感情パラメータ値を、後述するように、ビジュアルデータ処理部１１２において、色変換テーブル情報記憶部１２６の変換テーブル情報を用いて色情報出力に変換して、時間情報に対応して可視化する。これにより、例えば、喜びの感情が表れている期間、悲しみの感情が表れている期間、怒りの感情が表れている期間、恐れの感情が表れている期間を容易に把握することができ、また、それらの感情の変化などを色の変化として容易に把握することができる。

そして、後述するように、例えば、１日、１ヶ月などの所定期間におけるユーザの感情の状態分布、すなわち、喜びの感情が何％、悲しみの感情が何％というように、各感情の分布を、対応する色の面積により把握するなどのことが可能となる。

生体情報を用いた感情状態の解析の具体例としては、以下のように、種々のものが考えられる。例えば、リラックス状態の評価については、生体情報として脳波を用いることができる。一般的にはα波の周波数成分とβ波の周波数成分の比をとり、α波成分の割合が大きくなるほどリラックス状態にあることが知られている。また、呼吸や心拍の周期の安定性や脈拍の振幅増加量に基づいて、評価することも可能である。

また、驚きの評価については、皮膚の電気抵抗値を用いることができる。一般的には驚きや恐怖、心配によって皮膚電気抵抗値が上昇することが知られており、この皮膚電気抵抗値によって、感情状態の１つである驚きの評価を行なうことができる。

また、喜びを評価する場合には、心拍数、皮膚温度（体温）、心電（心電図周波数）を用いて評価することが可能である。すなわち、喜びの感情が大きい時には、心拍数が下がり、皮膚温度が上がり、心電図周波数が上がることが知られている。

また、一般に、精神的、心理的に安定な状態にある場合は、末梢血管が拡張して、抹消血管に動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。逆に、精神的、心理的に高い緊張状態にある場合は、末梢血管が収縮し、抹消血管への動脈血の流入が減るため、心拍や脈拍は速まり、体温は下降傾向にある。このような生理的な変化に応じて、感情の状態を評価し、把握することが可能となる。

なお、上述のような生理指標とともに、表情による筋電の変化や画像による表情認識、加速度センサや傾斜センサなどによる姿勢認識、音声認識などを複合的に用いることによって、ユーザの怒りや悲しみなどの感情状態を評価するようにしてもよい。

すなわち、人間の顔面の筋電の変化によって、泣いているのか、笑っているのか、怒っているのかなどを把握することが可能であるし、同様に、画像による表情認識によっても泣いているのか、笑っているのか、怒っているのかなどを把握することが可能である。

また、加速度センサや傾斜センサを用いることにより、ユーザの姿勢を判断し、胸をはった状態か、前屈みの状態などかを検出することにより、感情状態を評価する場合の情報として用いることも可能である。

また、音声認識の結果を感情状態を評価する場合の情報として用いることも可能である。例えば、喜んでいる場合などには、人の声は比較的に高くなり、逆に、落ち込んでいる場合などには、人の声は比較的に低くなるという傾向にあり、これを利用することにより、感情状態を評価することが可能である。また、音声信号の大きさ（レベル）に基づいて、感情状態を評価することも可能である。

また、例えば、感情データの解析技術として、特開平８−１１７１９９号公報には、脳波のα波ゆらぎを利用したニューラルネットワークによる覚醒度と気分の解析が開示されている。これは、心理学や精神生理学では覚醒度と気分の２つの軸が基本的な指標であるという知見を利用し、定量的な解析を行なうようにしたものである。

また、ＮＩＣＯＧＲＡＰＨ 論文集pp.17-25, 1993において表情認識の報告が行われており、また、電子情報通信学会論文集D-II Vol.J77-D-II No.8 pp.1512-1521においては音声律情報などの非言語情報からユーザの感情を認識する報告を行われている。このような種々の解析方法を利用して、ユーザの感情状態を把握するようにしてももちろんよい。

上述のように、この実施の形態の撮像情報記録再生装置１００は、ユーザの生体情報を継続的に検出して、検出した生体情報を分析することによりユーザの感情を把握することができる。そして、把握したユーザの感情を表わす感情データ（感情パラメータ値）を求め、ビジュアルデータ処理部１１２により、当該感情パラメータ値を後述するように色変換して、感情を色出力として可視化することができる。

＜感情の色変換による可視化処理の概要＞
この実施形態では、感情解析処理部１０８においては、感情モデルとして上述した２軸モデルを採用し、第１軸をＸ座標軸と、第２軸をＹ座標軸として感情パラメータ値を検出する。

そして、この例では、色変換テーブル情報記憶部１２６には、感情モデルとして上述した２軸モデルの場合における色変換テーブル情報が記憶されている。この例の色変換テーブル情報を、図４を用いて説明する。すなわち、図４は、この色変換テーブル情報により感情パラメータ値が色情報出力されたときのカラー出力を示すものであるが、図４では、便宜上、白黒の濃淡により示されている。

この色変換テーブル情報の作成に当たっては、感情に対して変換出力される色として、見た目で感覚的に感情を掴める色を用いるようにしている。以下に、この色変換テーブル情報の一例を説明する。

すなわち、図４の色変換テーブルを説明すると、Ｘ軸方向において、快適は黄色で、不快はブルー（青）で表現される。そして、快適なほど、濃い黄色とされ、また、不快なほど、濃いブルーとなるようにされる。したがって、Ｘ軸方向においては、不快から快適の方向に沿って、濃いブルー→薄いブルー→白→薄い黄色→濃い黄色のように変化するものとされる。

また、Ｙ軸方向において、興奮、緊張はマゼンタ色で、リラックスはブルーで表現される。そして、興奮、緊張しているほど、ピュアなマゼンタ色になり、また、リラックスしているほど、ピュアなブルーとなり、興奮、緊張とリラックスとの間では、リラックスから興奮、緊張の方向に沿って、ピュアなブルーから、徐々にマゼンタ色の混色の割合が増加して、ピュアなマゼンタに至るような変化をするものとされる。

そして、興奮、緊張、かつ、快適な感情の状態（図４の色変換テーブル上では、右上隅位置が対応する）は、マゼンタ色と黄色との減法混色の結果としての赤色が割り当てられる。そして、図４の右下隅から右上隅までの色の変化としては、ピュアな黄色から、黄色に対して徐々に赤色の混色の割合が増加して、ピュアな赤に至る。ここで、黄色と赤色の混合色は、橙色である。

また、同様に、図４の左上隅から右上隅までの色の変化としては、濃いマゼンタ色→ブルー混じりの徐々に薄くなるマゼンタ色→黄色混じりの徐々に濃くなる赤→濃い赤、のように変化するものとなる。

そして、このとき、感情解析処理部１０８からは、感情パラメータ値として、Ｘ軸方向のパラメータ値（座標値）およびＹ軸方向のパラメータ値（座標値）が得られるが、この感情パラメータ値は、ビジュアルデータ処理部１１２では、図４の色変換テーブル空間上でそれらのパラメータ値によって定まる色情報に変換される。そして、この色情報が感情の可視化データとして出力されることになる。

ビジュアルデータ処理部１１２では、色変換テーブル情報を用いて、感情パラメータ値に対して変換して得た色情報を、そのまま出力するではなく、時系列順に、時間の経過に対応する感情の変化がわかるような表示出力態様（以下、このタイプの表示出力態様を時系列表示タイプと呼ぶ）で出力する。この機能は、感情変化可視化手段に対応する。

また、ビジュアルデータ処理部１１２は、所定時間内において移り変わる感情を、興奮、リラックス、快適、不快などの個々の感情が当該所定時間内において、どのくらいの割合ずつ含まれるかを、この例では、矩形領域における各感情に対応する色の分布で表わす表示出力態様（以下、このタイプの表示出力態様を分布表示タイプと呼ぶ）で出力することもできる。この機能は、感情分布可視化手段に対応する。

図５（Ａ），（Ｂ），（Ｃ）は、時系列表示タイプのいくつかの例を示しており、また、図５（Ｄ）は、分布表示タイプの例を示している。

時系列表示タイプにおいては、瞬時瞬時の感情に対応する色情報を順次に表示するようにしてもよいが、それでは、細かな感情変化も表現され過ぎてしまい、かえって、人の感情の変化が判りにくくなる場合ある。

そこで、図５（Ａ），（Ｂ），（Ｃ）の例では、予め定めた所定の単位時間を平均化間隔とし、当該平均化間隔の単位時間区間で得られる感情データを平均化し、その平均化した感情データを、色変換テーブルを用いて色情報に変換するようにしている。このため、図５（Ａ），（Ｂ），（Ｃ）の例では、感情データに対応する色情報出力は、前記単位時間区間に対応する所定の幅単位でなされる。

図５（Ａ）は、時系列表示タイプのうちのスライドバータイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に１次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。

図５（Ａ）の例では、横方向に時間の経過をとったとき、当該時間の経過に沿って、各単位時間区間における感情データに対応する色情報を縦バーとして描画してゆくような表示態様である。このスライドバータイプは、例えば撮像画像を再生したときに、その表示画像の下欄あるいは上欄に表示し、かつ、現在、表示されている時間位置をスライドバーにおいて輝点などにより示すようにすれば、当該画面の場面において、ユーザがどのような感情であったかを容易に知ることができる。

また、図５（Ｂ）は、時系列表示タイプのうちのブロックタイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に２次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。

すなわち、感情を表示すべき所定の期間分を等分割して、複数の分割時間区間（単位時間区間）にし、当該分割時間区間を、複数段に並べて表示する表示態様である。このブロックタイプは、例えば１日の感情変化を表わす場合に、６時間毎に、横バーを４段にして２４時間分の表示する場合などに便利である。

また、図５（Ｃ）は、時系列表示タイプのうちのサークルタイプを示しており、感情を表示すべき所定の期間を環状領域の１周分に割り当てて、感情に対応する色出力は、周方向に前記単位時間区間に対応する所定の幅単位で順次に表示するようにする表示態様である。

なお、図５（Ｅ）および（Ｆ）は、作成したブロックタイプあるいはサークルタイプの表示態様において、色変換出力による可視化画像に特殊効果を付けてアート的に表現したり、金属的に表現したりしたものである。例えば、ぼかしを使い感情の単位時間区間ごとの変化部分を滑らかにする処理をする。また、感情変化のピーク点に対応する色変化の大きい部分に、ハイライトや影を入れることにより、金属的な表現をする。さらに、これに幾何学的な変換を行なってアート的な表現をしてもよい。

図５（Ｄ）は、分布表示タイプの例である。これは、感情を表示すべき所定の期間内において経験された（感情として発現された）感情状態に応じたマップが作成され、それが表現されたものである。これは、自己組織化マップを利用して作成される。

この分布表示タイプの表示態様によれば、所定の期間内において、概ねどの感情が優勢であったかなどが判る。例えば、分布表示タイプの表示において、黄色で表現された部分が優勢を占めていて、しかも、残りが赤色やマゼンタ色になっていたときには、興奮および緊張した感情であったが、心地良いものであったことが判る。

図６は、ビジュアルデータ処理部１１２におけるビジュアルデータの作成処理を説明するためのフローチャートである。

この図６の例は、ビジュアルデータ処理部１１２が、データ格納部１２３に格納されている感情解析処理部１０８で生成された感情データを、色変換テーブル情報を用いて感情ビジュアルデータ（感情可視化画像データ）に変換して可視化データを生成する場合の例である。

先ず、初期設定を行なう（ステップＳ１０１）。この初期設定の内容は、作成する感情データの可視化情報の表示タイプの選択設定、平均化間隔の長さの設定、その他の属性データの設定などである。

次に、先ず、最初の平均化間隔分の単位時間区間を設定する（ステップＳ１０２）。次に、設定された単位時間区間内の感情データを平均化して、当該単位時間区間内の平均の感情の感情パラメータ値を算出する（ステップＳ１０３）。次に、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、ステップＳ１０３で算出された感情パラメータ値に対する色変換出力情報を得る（ステップＳ１０４）。

次に、表示出力態様のタイプは、時系列表示タイプであるか否か判別し（ステップＳ１０５）、時系列表示タイプであると判別したときには、前述した時系列表示タイプのうちのいずれか設定された表示タイプに応じた表示図形領域において、対応する単位時間区間に対応する位置に、ステップＳ１０４で求められた色変換出力情報による色を描画するような画像データを生成するとともに、当該画像データを、前記単位時間区間に対応して一時保存する（ステップＳ１０６）。

そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１０７）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１０７で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた前記画像データからなる、生成した感情ビジュアルデータを、属性データと共に保存する（ステップＳ１０８）。

また、ステップＳ１０５で時系列表示タイプではなく、分布表示タイプであると判別したときには、ステップＳ１０４で求められた色変換出力情報を、前記単位時間区間に対応して一時保存する（ステップＳ１１０）。

そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１１１）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１１１で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた感情データに対応する色変換出力情報のすべてを用いて、対象となる所定の期間における感情の状態分布を示す感情ビジュアルデータを生成し、表示する（ステップＳ１１２）。そして、生成した感情ビジュアルデータ（感情可視化画像データ）を属性データと共に保存する（ステップＳ１０８）。以上で、感情ビジュアルデータの生成処理を終了する。

＜記録処理動作の説明＞
次に、撮像情報記録再生装置１００としての記録処理の流れを、図７のフローチャートを参照して説明する。以下に説明するフローチャートの各ステップは、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行する。

すなわち、撮像情報記録のスタート指示がなされると、計時部１１１の時間情報、生体情報入力部コントローラ１０７の生体信号処理部１０７２、感情解析処理部１０８、表示部１２７等の初期化処理が行なわれる（ステップＳ２０１）。次に、ユーザによる感情ビジュアルデータの表示タイプの指定などの設定を受け付けて、設定を実行する（ステップＳ２０２）。

そして、撮像部１２１からの撮像画像データおよび音声データを、計時部１１１からの時間情報（年月日、時分秒）を付加した形式で、データ格納部コントローラ１０９によりデータ格納部１２３に順次に格納する（ステップＳ２０３）。

これと並行して、生体情報入力部コントローラ１０７で、生体情報入力部１２４で取得され、Ａ／Ｄ変換部１２５でデジタル信号に変換された生体情報を、解析処理させる（ステップＳ２０４）。そして、生体情報入力部コントローラ１０７からの生体情報を、感情解析処理部１０８に転送し、感情解析させ、その解析結果の感情データ（感情パラメータ値）を、時間情報と共に、データ格納部コントローラ１０９により、データ格納部１２３に格納させる（ステップＳ２０５）。

このステップＳ２０５においては、生体情報入力部コントローラ１０７からの生体情報のそれぞれに対して感情データ（感情パラメータ値）を算出するようにしてもよいが、この実施形態では、前述の図６で説明したのと同様に、予め定められた一定時間（単位時間）毎に、感情データを平均化して当該一定時間毎の感情データ（感情パラメータ値）を算出するようにする。この場合の一定時間（単位時間）は、前述の図６において設定される平均化間隔の時間よりも短い一定時間とされる。そして、この一定時間単位の時間情報と関連して、データ格納部１２３に感情データが格納される。

また、感情解析処理部１０８での解析結果の感情データをビジュアルデータ処理部１１２に送り、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、当該感情データを色情報に変換し、それを表示部コントローラ１１３により表示部１２７の画面に表示させる（ステップＳ２０６）。この表示は、撮像しながら情報記録を行なっているときの、その時々のユーザの感情状態を、表示部１２７にリアルタイムで表示するものである。

そして、記録終了の操作入力がユーザによりなされたか否か判別し（ステップＳ２０７）、記録終了の操作入力がなされていないと判別したときには、ステップＳ２０３に戻って、ステップＳ２０３以降の処理を繰り返す。

また、ステップＳ２０７で、記録終了の操作入力がユーザによりなされたと判別したときには、記録した時間区間すべてにおける記録した感情データを、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出し、図６に示したようにして、ステップＳ２０２で設定された表示タイプの感情ビジュアルデータを作成し、データ格納部１２３に撮像記録した情報に関連させて格納する（ステップＳ２０８）。

このとき、ステップＳ２０８では、記録した時間区間のすべての区間における感情を、指定された表示タイプで、前述したように時系列表示タイプや分布表示タイプで表示したものからなる小さいアイコンの表示用画像情報も生成し、データ格納部１２３に撮像記録した情報に関連させて格納する。

このアイコン表示用画像情報により表示されるアイコン（以下、感情表示アイコンという）は、後の時点において、記録された撮像記録情報の一覧画面などにおいて、それぞれの撮像記録情報用のインデックスとして表示することができる。ユーザは、そのインデックスの感情表示アイコンから、対応する撮像記録情報が記録されたときのユーザの感情を推量することができ、便利である。

また、データ格納部１２３が、例えばＤＶＤなどのリムーバルな記録媒体を用いる場合には、この感情表示アイコンをシールや記録紙などに、カラー印刷して出力し、ＤＶＤに貼り付けたり、ジャケット内に同封したりしておくことができる。これにより、後の時点において、その印刷された感情表示アイコンを見ることにより、当該ＤＶＤに記録された撮像情報が記録されたときのユーザの感情状態で推量することでき、便利である。

そして、撮像画像データおよび音声データと、感情データと、感情ビジュアルデータと、前記アイコン表示用画像情報とを、関連するものとする管理情報をデータ格納部１２３に格納する（ステップＳ２０９）。

この管理情報と、各データとの関係を図８に示す。すなわち、管理情報には、撮像記録された情報全体に対しては、タイトルと、所有者と、開示属性と、記録開始日時と、記録時間とが記録され、感情ビジュアルデータについては、そのアドレス（所在情報）と、データ属性および表示タイプとが記録され、撮像画像データおよび音声データについては、そのアドレス（所在情報）およびデータ属性が記録され、さらに、感情データについては、そのアドレス（所在情報）と、情報属性と、感情モデル、感情パラメータおよびサンプリング間隔とが記録される。

タイトルや所有者等は、撮像記録情報の全体についての識別情報となるものであるが、このタイトルや所有者等の他に識別番号等の識別情報を管理情報に加えるようにしてもよい。この例の場合には、図８のような管理情報により、図８の各種の情報を関連付けて保存するようにしているが、撮像情報や感情データなどの格納データの管理方法としては、このような管理方法にのみ限られるものではない。例えば、それぞれのデータを別々に格納すると共に、前述した撮像記録情報についての識別情報を、それぞれの格納データに付加するようにして、互いに関連させるようにしても良い。

また、前記の感情ビジュアルデータのアドレス、撮像画像データおよび音声データのアドレス、および感情データのアドレスは、上述の例の場合には、データ格納部１２３におけるアドレスであって、ハードディスク上のアドレスや、ＤＶＤ上のアドレスなどとされるが、ネットワークを通じてサーバ装置に前記データが格納される場合には、サーバ装置のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とメモリアドレスなどとされる。

なお、上述の説明では、感情ビジュアルデータは、記録終了後、必ず生成するようにしたが、撮像情報の記録が終了した後、ユーザが指示したときにのみ、データ格納部１２３に格納されている感情データを読み出して生成するようにしてもよい。

＜撮像情報および感情ビジュアルデータの再生＞
次に、図９を参照して、上記のようにして記録された撮像情報および感情ビジュアルデータについての再生処理について説明する。この図９のフローチャートの各ステップの処理も、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行するものである。

先ず、データ格納部１２３に格納されている管理情報を読み出す（ステップＳ３０１）。次に、データ格納部１２３から撮像画像データを読み出し、再生処理部１１０および表示部コントローラ１１３を通じて表示部１２７に供給して、その表示画面おいて表示して、再生する。また、図示は省略したが、データ格納部１２３からは、関連する音声データが読み出され、再生処理部およびアンプを通じてスピーカに供給されて、音響再生される。このとき、現在再生中である撮像画像データおよび音声データについての時間情報を管理するようにする（ステップＳ３０２）。

次に、感情ビジュアルデータをデータ格納部１２３から読み出し、表示部１２７の画面に撮像画像データによる画像の一部に表示する。あるいは、表示部１２７の画面を分割して、撮像画像データによる画像と、感情ビジュアルデータデータによる感情可視化表示画像とが別々の領域に表示されるようにしても良い（ステップＳ３０３）。

このとき、表示された感情可視化表示画像中には、現在再生中である撮像画像データおよび音声データについての時間位置が、当該感情可視化表示画像中のどの位置に対応しているかが輝点などにより表示されて、参照可能なようにされている。

図１０（Ａ）〜（Ｄ）は、このときの各表示タイプの感情可視化表示画像を示しており、ＣＳで示す輝点の位置の色により、それぞれ現在表示されている撮像画像データに対応する感情の状態を示している。すなわち、輝点ＣＳは、撮像画像データに対応する感情の状態の指標を示すものである。図１０（Ａ）〜（Ｃ）の時系列表示タイプの場合には、輝点ＣＳの位置は、合わせて時間位置を示すものとなる。そして、この輝点ＣＳの位置は、再生が、時間の経過に伴って進んでゆくと、対応する時点の感情データ位置に移るように変化するものとなる。

再生中、視聴ユーザが何らの操作もしないときには、再生データの最後まで、上述のステップＳ３０２およびステップＳ３０３の動作が継続され、連続して再生処理がなされる。しかし、ユーザが、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作を、キー入力操作部１２８を通じて行なうと、ＣＰＵ１０１は、それに応じた処理を実行する。

また、この実施形態では、感情可視化画像上での輝点ＣＳをカーソルマークと考えて、当該輝点ＣＳの位置をカーソルキーにより変更することができ、そのときには、輝点ＣＳで示される感情の時間軸位置の、撮像画像データおよび音声データが再生されるように制御される。

すなわち、ＣＰＵ１０１は、キー入力インターフェース１１４を通じて何等かのイベントが発生したか否か判別し（ステップＳ３０４）、発生しないと判別したときには、ステップＳ３０２に戻って、上述の動作を繰り返す。

また、ステップＳ３０４で、何等かのイベントが発生したと判別したときには、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作であるか否か判別し（ステップＳ３０５）、当該イベント操作であると判別したときには、撮像画像データおよび音声データの再生位置を変更すると共に、感情可視化画像における輝点ＣＳの位置を、当該変更された再生位置に対応する位置に変更する（ステップＳ３０６）。その後、ステップＳ３０２に戻り、上述の動作を繰り返す。

また、ステップＳ３０５で、再生位置変更のイベント操作ではないと判別したときには、カーソルキーによる感情可視化画像上における輝点ＣＳの位置変更指定であるか否か判別し（ステップＳ３０７）、輝点ＣＳの位置変更指定であると判別したときには、感情可視化画像上の輝点ＣＳの位置から時間情報を検索し、対応する時間位置の撮像画像データおよび音声データをデータ格納部１２３から読み出して、再生する（ステップＳ３０８）。

ステップＳ３０７で、輝点ＣＳの位置変更指定ではないと判別したときには、停止キーが操作されたのか否か判別し（ステップＳ３０９）、停止キー以外のキーが操作されたと判別したときには、当該操作されたキーに応じたイベント処理を行ない（ステップＳ３１０）、ステップＳ３０２に戻る。また、ステップＳ３０９で、停止キーが操作されたと判別したときには、この再生処理ルーチンを終了する。

＜感情データあるいは感情ビジュアルデータの蓄積によるアプリケーション＞
以上のようにして、データ格納部１２３に格納されたデータが、１年、２年、３年などの長期間にわたって蓄積できれば、過去のある日、ある月、ある年には、自分がどのような感情の状態で過ごしていたかを可視化表示することができる。以下に説明する例は、そのことを考慮したものである。

図１１は、データ蓄積システムの例を示すブロック図である。この例のデータ蓄積システムは、ネットワーク１０を通じて複数個の撮像情報記録再生装置１００が、例えばパーソナルコンピュータからなるサーバ装置２０に接続されることにより構成される。

サーバ装置２０は、前述した撮像情報記録再生装置１００のビジュアルデータ処理部１１２および色変換テーブル情報記憶部１２６と同様の構成のビジュアルデータ処理部２１および色変換テーブル情報記憶部２２を備えると共に、大容量のデータ格納部２３を備える。そして、ＣＰＵ２４による制御により、ビジュアルデータ処理部２１での色変換テーブル情報記憶部２２の色変換テーブル情報を用いた感情ビジュアルデータ生成処理がなされると共に、大容量のデータ格納部２３に対するデータの格納および読み出し処理が制御される。なお、図１１のサーバ装置２０では、ここで説明のために必要となる主要部のみを示したものであり、プログラムＲＯＭ、ＲＡＭ、ネットワークインターフェースやその他の処理部は省略されている。

そして、このシステムにおいては、各撮像情報記録再生装置１００は、自己の装置ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；識別情報）を伴ってサーバ装置２０にアクセスするように構成されている。そして、各撮像情報記録再生装置１００は、自己のデータ格納部１２３に格納している撮像画像データ、音声データ、感情データ、感情ビジュアルデータを、それらを関連付ける時間情報と共にサーバ装置２０に送って、蓄積してもらうことができるように構成されている。

また、各撮像情報記録再生装置１００は、サーバ装置２０に対して、過去の蓄積データから、この例では、年単位、月単位、日単位の感情可視化画像情報の生成を依頼することができ、サーバ装置２０は、その依頼に対応する感情可視化画像情報を生成して、依頼してきた撮像情報記録再生装置１００に、生成した感情可視化画像情報を送ることができるように構成されている。

そして、撮像情報記録再生装置１００は、サーバ装置２０から受信した感情可視化画像情報による感情可視化画像を表示部１２７の画面に表示し、その画面において、感情可視化画像上における前述した輝点ＣＳと同様の再生位置指示手段により、画像および音声の再生位置を指定することができるように構成されている。そして、その再生位置が指定されたとき、撮像情報記録再生装置１００は、その再生位置指定情報をサーバ装置２０に送るように構成されている。

サーバ装置２０は、その再生位置指定情報を受け取ると、その再生位置指定情報により示される再生時間位置の撮像画像データおよび音声データをデータ格納部２３から読み出して、要求してきた撮像情報記録再生装置１００に送るようにする機能を備える。

図１２および図１３は、このシステムにおけるサーバ装置２０での処理動作を示すフローチャートである。このフローチャートにおける各ステップの処理は、ＣＰＵ２４がプログラムＲＯＭおよびワークエリアＲＡＭと共に実行するものである。

すなわち、先ず、いずれかの撮像情報記録再生装置１００からのアクセスを受信したか否か判別し（ステップＳ４０１）、受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０２）、ステップＳ４０１に戻る。

ステップＳ４０１で、いずれかの撮像情報記録再生装置１００からのアクセスを受信したと判別したときには、当該アクセスしてきた撮像情報記録再生装置１００の装置ＩＤを認識し、認証する（ステップＳ４０３）。

そして、撮像情報記録再生装置１００からデータ蓄積依頼を受信したか否か判別し（ステップＳ４０４）、データ蓄積依頼であると判別したときには、その後、撮像情報記録再生装置１００から送られてくる、撮像画像データ、音声データ、感情データおよび感情ビジュアルデータを、それらを互いに関連付けるための時間情報と共に受信し、装置ＩＤおよび前記時間情報により関連させてデータ格納部２３に格納する（ステップＳ４０５）。そして、ステップＳ４０１に戻る。

ステップＳ４０４で、データ蓄積依頼ではないと判別したときには、過去の感情ビジュアルデータの作成依頼か否か判別し（ステップＳ４０６）、そうでないと判別したときには、再生位置指定情報を受信したか否か判別する（ステップＳ４０７）。再生位置指定情報を受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０８）、ステップＳ４０１に戻る。

また、ステップＳ４０７で、再生位置指定情報を受信したと判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている撮像画像データおよび音声データの中から、指定された再生位置に対応する再生時間位置の撮像画像データおよび音声データを読み出して、前記要求してきた撮像情報記録再生装置１００に送る（ステップＳ４０９）。そして、ステップＳ４０１に戻る。

また、ステップＳ４０６で、過去の感情ビジュアルデータの作成依頼を受信したと判別したときには、依頼の単位は、年、月、日のいずれであるか判別する（ステップＳ４１１）。

ステップＳ４１１で依頼が年単位であると判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の感情データについて、この例では、月単位で平均化し、各月の感情データ（感情パラメータ）を算出する（ステップＳ４１２）。

次に、算出された各月の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１３）。次に、指定された各年度毎に、月毎の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１４）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１４に、年単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのスライドバータイプの画像であり、２０００年〜２００２年が年度として指定された場合である。各年度の月毎の感情の状態が、色出力により可視化されていることがわかる。これにより、各年度で、月ごとにどのような感情状態で過ごしたのかが一目でわかる。

ステップＳ４１１で依頼が月単位であると判別したときには、表示する年度、月の指定を受け付ける（ステップＳ４１６）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月の感情データについて、この例では、１日単位で平均化し、各１日の感情データ（感情パラメータ）を算出する（ステップＳ４１７）。

次に、算出された各１日の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１８）。次に、指定された年度の、指定された月毎の、１日単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１９）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１５に、月単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのブロックタイプの画像であり、２００３年が年度として指定され、かつ、その１月から３月が指定された場合である。各月の１日毎の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月において、１日ごとにどのような感情状態で過ごしたのかが一目でわかる。

次に、ステップＳ４１１において、依頼が日単位であると判別したときには、表示する年度、月、日の指定を受け付ける（ステップＳ４２０）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月、かつ、指定された日の感情データについて、この例では、１時間単位で平均化し、各１時間毎の感情データ（感情パラメータ）を算出する（ステップＳ４２１）。

次に、算出された各１時間毎の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４２２）。次に、指定された年度の、指定された月の指定された日毎の、１時間単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４２３）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１６に、日単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのサークルタイプの画像であり、２００３年が年度として指定され、かつ、その４月のすべての日が指定された場合である。指定された月の１日毎の１時間単位の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月の、指定された日において、１時間ごとにどのような感情状態で過ごしたのかが一目でわかる。また、図１６の例の場合には、指定された月において、１日単位でどのような感情の変化があったかも知ることができる。

なお、上述の例では、感情データについて、年単位の指定では、１月毎の平均を取り、また、月単位の指定では、１日毎の平均を取り、さらに、日単位の指定では１時間毎の平均を取るようにしてが、平均を取る期間または時間の長さは、これに限られるものではなく、また、ユーザが指定できるようにしても良い。

なお、このシステムが、例えば、家庭用ホームＬＡＮシステムの構成とするときには、サーバ装置は、パーソナルコンピュータの構成とすることができ、その場合には、過去の感情ビジュアルデータの生成指示は、撮像情報記録再生装置からのみではなく、パーソナルコンピュータのキーボードやマウスの入力に基づいて行なえるようにすることもできる。

また、図１１のシステムにおいては、サーバ装置２０には複数個の撮像情報記録再生装置１００の複数人の感情データを格納するので、それらの複数人のそれぞれの感情、また、それらの複数人の平均の感情についての可視化するようにすることもできる。

例えば、家族や友人など団体で旅行に行ったときに、各人が撮像情報記録再生装置１００で撮像記録を行ないながら、生体情報に基づいて、感情データ、感情ビジュアルデータを記録する。帰宅後、ネットワーク１０を通じてサーバ装置２０に、その撮像記録データと共に、感情データおよび感情ビジュアルデータを蓄積する。サーバ装置２０は、この蓄積データを用いて、当該旅行についての複数人の平均の感情を、例えば分布表示タイプにより表示するようにする感情可視化画像データを生成することができる。

この感情可視化画像によれば、旅行した人々の、当該旅行についての平均の感情がどのようなものであったかを可視化表示して知ることができる。また、旅行中の各訪問地やイベントにおける当該旅行参加者の平均の感情を、当該訪問地やイベントに対応する時間帯における旅行参加者の感情データの平均値を求めて色表示することにより可視化することができ、旅行の良し悪しの評価をするための参考資料とすることができる。

また、複数人のそれぞれの感情の状態も可視化できるので、他の人の感情と自分の感情とを比較するなど、種々の利用形態が考えられる。

＜他の実施形態＞
以上の実施形態は、撮像部を備える記録再生装置で、撮像記録をしながら撮影者の生体情報を取得し、当該撮影者の感情データを記録し、その感情データから感情ビジュアルデータを生成するようにした場合に、この発明を適用した場合であるが、この発明は、このような場合にのみ適用されるのではないことは言うまでもない。

例えば、放送番組を視聴しながら録画をしたとき、その視聴している人の生体情報を収集し、その収集した生体情報から感情データを解析して得、その感情データから感情ビジュアルデータを生成し、録画情報と共に記録し、録画情報の再生時に、再生画像に合わせて感情可視化画像を表示するようにしてもよい。

また、その場合に、放送番組の視聴後、当該放送番組を視聴していた期間における感情を可視化した、時系列表示タイプあるいは分布表示タイプのアイコン状の感情可視化画像を、記録紙あるいはシールに印刷出力し、当該録画したＤＶＤやそのジャケットなどにシールを貼ったり、記録紙をジャケットにしまって残しておいたりするようにしてもよい。そのようにした場合には、それらの記録紙やシールをみることにより、録画した番組視聴時にどのような感情を持ったか、一目でわかる。

同様に、放送番組ではなく、映画やドラマのコンテンツが記録されているＤＶＤなどを再生して視聴した場合にも、その視聴時の感情ビジュアルデータを生成し、その感情可視化画像をシールや記録紙に印刷して、上述の放送番組の場合と同様に、ＤＶＤやそのジャケットなどにシールを貼ったり、記録紙をジャケットにしまって残しておいたりすることにより、それらの記録紙やシールをみることにより、映画やドラマのコンテンツ視聴時にどのような感情を持ったが、一目でわかる。

また、上述のような画像および音声の視聴を伴う感情の可視化の場合に限らず、音楽のみを聴取した時の感情の可視化の場合、本を読んだときの感情の可視化の場合、美術品を鑑賞したときの感情を可視化する場合などにも適用可能である。

さらには、複数人の平均の感情の可視化を適用する場合も、上述した場合に限らず、例えば、コンサート、テーマパーク、イベントに参集した人々の平均の感情を可視化表示するようにする場合にも適用可能である。その場合にも、自分と周りの人の感情の比較を行なう場合にも適用可能である。

さらに、この発明は、撮像データなどの情報記録を伴う場合にのみ適用されるのではないことは言うまでもない。

例えば、感情可視化表示したい対象人の生体情報を単に収集し、その収集した生体情報から感情データを解析して得、その感情データから感情ビジュアルデータを生成するようにしても勿論よい。

なお、この明細書において、色は、色相と彩度と明度とにより決まるものであるので、上述のように、色の変化は、それらの組み合わせによりなされる。したがって、色相が変わるものに限らず、色相が同一で、彩度や明度が変化するものも、この発明における色の変化には含まれるものである。

この発明による感情の可視化方法の実施形態が適用された撮像情報記録再生装置の一例のブロック図である。 図１の一部の構成例を示すブロック図である。 この発明による感情の可視化方法の実施形態の説明に用いる感情モデルの例を示す図である。 この発明による感情の可視化方法の実施形態に用いられる色変換テーブル情報の一例を示す図である。 この発明による感情の可視化方法の実施形態による可視化出力画像のいくつからの表示タイプを説明するための図である。 この発明による感情の可視化方法の実施形態を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における記録処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置において、格納されるデータの管理構造を説明するための図である。 図１の撮像情報記録再生装置における再生処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における再生処理時の、感情可視化画像表示例を示す図である。 この発明による感情の可視化方法の実施形態が適用されるネットワークシステムの一例を示す図である。 この発明による感情の可視化方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 この発明による感情の可視化方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。

Claims (31)

1. 人の生体情報を取得するための生体情報取得手段と、
   前記生体情報取得手段からの生体情報を解析し、前記人の感情を表わす感情情報を得る感情解析処理部と、
   前記感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持部と、
   前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記感情情報に対応する色情報を得る色変換処理部と、
   を備え、
   前記色変換処理部からの前記色情報を用いて、前記感情解析処理部で得られた前記人の感情を色により可視化することを特徴とする感情の可視化装置。
2. 請求項１に記載の感情の可視化装置において、
   前記感情解析処理部は、前記生体情報から得た感情情報を、所定の単位時間毎に平均化した、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
   前記色変換処理部は、前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記単位時間毎の平均の感情を表す感情情報に対応する色情報を出力するものである
   ことを特徴とする感情の可視化装置。
3. 請求項１に記載の感情の可視化装置において、
   前記色変換処理部からの所定の期間の前記色情報に基づく色出力を、前記所定の期間内における時間の経過に対応させて可視化表示することにより、前記所定の期間内における感情の変化を色により可視化する感情変化可視化手段を備える
   ことを特徴とする感情の可視化装置。
4. 請求項２に記載の感情の可視化装置において、
   前記色変換処理部からの所定の期間における前記単位時間毎の色情報に基づく色出力を、前記所定の期間内における時間の経過に対応させて可視化表示することにより、前記所定の期間内における前記単位時間毎の感情の変化を色として可視化する感情変化可視化手段を備える
   ことを特徴とする感情の可視化装置。
5. 請求項１に記載の感情の可視化装置において、
   前記生体情報は、それを取得した時間情報と対応させて取得するものであり、
   前記感情解析処理部からの前記感情情報を、時間情報に対応して蓄積する感情情報蓄積手段と、
   前記時間情報に基づいた所定の１日または数日、１月または数ヶ月、１年または数年などの所定の期間について、当該所定の期間内における所定時間毎、所定日数毎、所定月数毎、所定年数毎などからなる単位時間毎に、前記色変換処理部からの色情報を割り当てて可視化することにより、前記感情の変化を色の変化として可視化する感情変化可視化手段と、
   を備えることを特徴とする感情の可視化装置。
6. 請求項３、請求項４または請求項５に記載の感情の可視化装置において、
   前記感情変化可視化手段は、前記所定の期間内に含まれる複数の前記単位時間毎の前記感情情報に対応する色情報による色の表示領域を、矩形領域に１次元的に展開して、前記単位時間毎の前記感情の変化を可視化する
   ことを特徴とする感情の可視化装置。
7. 請求項３、請求項４または請求項５に記載の感情の可視化装置において、
   前記感情変化可視化手段は、前記所定の期間内に含まれる複数の前記単位時間毎の前記感情情報に対応する色情報による色の表示領域を、矩形領域に２次元的に展開して、前記単位時間毎の前記感情の変化を可視化する
   ことを特徴とする感情の可視化装置。
8. 請求項３、請求項４または請求項５に記載の感情の可視化装置において、
   前記感情変化可視化手段は、前記所定の期間を環状領域に割り当て、前記所定の期間内に含まれる複数の単位時間毎の前記感情情報に対応する色情報による色の表示領域を、前記環状領域を円周方向に分割した領域に割り当てて、前記単位時間毎の前記感情の変化を可視化する
   ことを特徴とする感情の可視化装置。
9. 請求項３、請求項４または請求項５に記載の感情の可視化装置において、
   前記感情変化可視化手段は、色の変化による前記感情の変化を、表示画面に表示して可視化する
   ことを特徴とする感情の可視化装置。
10. 請求項３、請求項４または請求項５に記載の感情の可視化装置において、
    前記感情変化可視化手段は、色の変化による前記感情の変化を、記録担体に印刷することにより可視化する
    ことを特徴とする感情の可視化装置。
11. 請求項１に記載の感情の可視化装置において、
    前記色変換処理部からの前記色情報による各色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化する感情分布可視化手段を備える
    ことを特徴とする可視化装置。
12. 請求項１１に記載の可視化表示装置において、
    前記感情分布可視化手段は、前記所定の期間分について、前記色変換処理部からの前記色情報を、自己組織化マップを利用して処理して、前記所定の期間内における前記感情の状態分布を色変化により可視化する
    ことを特徴とする可視化装置。
13. 請求項１１または請求項１２に記載の感情の可視化装置において、
    前記感情分布可視化手段は、色の変化による前記感情の分布を、表示画面に表示して可視化する
    ことを特徴とする感情の可視化装置。
14. 請求項１１または請求項１２に記載の感情の可視化装置において、
    前記感情分布可視化手段は、色の変化による前記感情の分布を、記録担体に印刷することにより可視化する
    ことを特徴とする感情の可視化装置。
15. 人から取得された所定の期間分の生体情報から前記人の前記所定の期間における単位時間毎の感情を表わす感情情報が生成され、当該生成された前記所定の期間における前記単位時間毎の感情情報が色変換されたものが、前記所定の期間における時間の経過と対応されて色出力表示されてなる感情の可視化出力物。
16. 人から取得された所定の期間分の生体情報から前記人の前記所定の期間における単位時間毎の感情を表わす感情情報が生成され、当該生成された前記所定の期間における前記単位時間毎の感情情報が色変換され、当該色変換された情報に基づいて、前記所定の期間内における前記感情の状態分布が色出力表示されてなる感情の可視化出力物。
17. 人の生体情報を取得する生体情報取得工程と、
    前記生体情報取得工程で取得された前記生体情報を解析し、前記人の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を用いて、前記感情解析処理部からの前記感情情報に対応する色情報を得る色変換処理工程と、
    を備え、
    前記色変換処理工程で得られた前記色情報を用いて、前記感情解析処理工程で得られた前記人の感情を色により可視化することを特徴とする感情の可視化方法。
18. 請求項１７に記載の感情の可視化方法において、
    前記感情解析処理工程では、前記生体情報から得た感情情報を、所定の単位時間毎に平均化した、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
    前記色変換処理工程では、前記変換テーブル情報を用いて、前記感情解析処理工程で得られた前記単位時間毎の平均の感情を表す感情情報に対応する色情報を出力するものである
    ことを特徴とする感情の可視化方法。
19. 請求項１７に記載の感情の可視化方法において、
    前記色変換処理工程で得られた所定の期間の前記色情報に基づく色出力を、前記所定の期間内における時間の経過に対応させて可視化表示することにより、前記所定の期間内における感情の変化を色により可視化する感情変化可視化工程を備える
    ことを特徴とする感情の可視化方法。
20. 請求項１８に記載の感情の可視化方法において、
    前記色変換処理工程で得られた所定の期間における前記単位時間毎の色情報に基づく色出力を、前記所定の期間内における時間の経過に対応させて可視化表示することにより、前記所定の期間内における前記単位時間毎の感情の変化を色により可視化する感情変化可視化工程を備える
    ことを特徴とする感情の可視化方法。
21. 請求項１７に記載の感情の可視化方法において、
    前記色変換処理工程で得られた前記色情報による各色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化する感情分布可視化工程を備える
    ことを特徴とする感情の可視化方法。
22. 複数の人から取得した生体情報のそれぞれを解析して、前記複数の人各々の感情を表わす感情情報を得る感情解析処理部と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持部と、
    前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記複数の人各々の前記感情情報を平均化した感情情報に対応する色情報を得る色変換処理部と、
    前記色変換処理部からの前記色情報による各色出力を用いて、前記複数の人の前記平均化した感情を可視化する感情可視化手段と、
    を備えることを特徴とする感情の可視化装置。
23. 複数の人から取得した生体情報のそれぞれを解析して、前記複数の人各々の感情を表わす感情情報を得る感情解析処理部と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持部と、
    前記変換テーブル情報保持部の前記変換テーブル情報を用いて、前記感情解析処理部からの前記複数の人各々の前記感情情報に対応する色情報を得る色変換処理部と、
    前記色変換処理部からの前記複数の人各々の感情に対応する前記色情報による各色出力を用いて、前記複数の人の前記感情の状態分布を可視化する感情可視化手段と、
    を備えることを特徴とする感情の可視化装置。
24. 同一の体験をしている複数の人のそれぞれから生体情報を取得する生体情報取得工程と、
    前記生体情報取得工程で取得された前記複数の人各々の生体情報のそれぞれを解析して、前記複数の人各々の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を用いて、前記感情解析処理工程で得られた前記複数の人各々の前記感情情報に対応する色情報を得る色変換処理工程と、
    前記色変換処理工程で得られた前記色情報による各色出力を用いて、前記同一の体験をしている前記複数の人の前記平均化した感情を可視化する感情可視化工程と、
    を備えることを特徴とする感情の可視化方法。
25. 同一の体験をしている複数の人のそれぞれから生体情報を取得する生体情報取得工程と、
    前記生体情報取得工程で取得された前記複数の人各々の生体情報のそれぞれを解析して、前記複数の人各々の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を用いて、前記感情解析処理工程で得られた前記複数の人各々の前記感情情報に対応する色情報を得る色変換処理工程と、
    前記色変換処理工程で得られた前記複数の人各々の感情に対応する前記色情報による各色出力を用いて、前記同一の体験をしている前記複数の人の前記感情の状態分布を可視化する感情分布可視化工程と、
    を備えることを特徴とする感情の可視化方法。
26. 所定のコンテンツを鑑賞している人の生体情報を取得する生体情報取得工程と、
    前記生体情報取得工程で取得された前記人の生体情報を解析して、前記人の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を用いて、前記感情解析処理工程で得られた前記人の前記感情情報に対応する色情報を得る色変換処理工程と、
    前記人の前記所定のコンテンツを鑑賞した所定時間における感情の時間変化を、前記色変換処理工程で得られた前記色情報を用いて色の変化として可視化出力する感情変化可視化工程と
    を備えることを特徴とする感情の可視化方法。
27. 請求項２６に記載の感情の可視化方法において、
    前記感情変化可視化工程では、前記可視化出力として、前記人の前記所定のコンテンツを鑑賞した所定時間における感情の時間変化を、前記色変換処理工程で得られた前記色情報を用いて色の変化として記録担体に記録する
    ことを特徴とする感情の可視化方法。
28. 所定のコンテンツを鑑賞している人の生体情報を取得する生体情報取得工程と、
    前記生体情報取得工程で取得された前記人の生体情報を解析して、前記人の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を用いて、前記感情解析処理工程で得られた前記人の前記感情情報に対応する色情報を得る色変換処理工程と、
    前記人の前記所定のコンテンツを鑑賞した所定期間の感情の状態分布を、前記色変換処理処理工程で得られた前記感情情報に対応する色情報に基づき可視化する感情分布可視化工程を備える
    ことを特徴とする感情の可視化方法。
29. 請求項２８に記載の感情の可視化方法において、
    前記感情変化可視化工程では、前記可視化出力として、前記人の前記所定のコンテンツを鑑賞した所定期間の感情の状態分布を、前記色変換処理処理工程で得られた前記感情情報に対応する色情報に基づく色分布パターンとして記録担体に記録する
    ことを特徴とする感情の可視化方法。
30. 人の生体情報を解析して得た、当該人の感情を表わす感情情報を、時間情報と共に蓄積する蓄積手段と、
    前記感情情報と色情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記蓄積手段により蓄積された前記感情情報のうちの、指定された所定の期間の前記感情情報を読み出し、前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記所定の期間の感情情報のそれぞれに対応する色情報を得る色変換処理手段と、
    前記色変換処理手段からの前記色情報を用いて、前記所定の期間における前記人の感情を色により可視化する感情可視化画像情報を生成する感情可視化手段と、
    前記感情可視化手段で生成された前記感情可視化画像情報を出力する感情可視化情報出力手段と、
    を備えることを特徴とする感情の可視化装置。
31. 請求項３０に記載の感情の可視化装置において、
    前記感情可視化手段は、所定の１日または数日、１月または数ヶ月、１年または数年などの前記所定の期間について、当該所定の期間内における所定時間毎、所定日数毎、所定月数毎、所定年数毎などからなる単位時間毎に、前記色変換処理部からの色情報を割り当てて可視化することにより、前記感情可視化画像情報を生成する
    を備えることを特徴とする感情の可視化装置。

Images