JP2005064839A - 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法 - Google Patents

Abstract

【課題】人の感情の状態およびその感情を持ったときの出来事や経験などを、対応付けて正確に知ることができるようにする。
【解決手段】撮像情報記録手段は、被写体を撮像する撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する。生体情報取得手段は、撮像手段で撮像を行なう撮影者の生体情報を取得する。感情解析処理手段は、生体情報取得手段からの生体情報を解析し、撮影者の感情を表わす感情情報を得る。感情情報記録手段は、感情解析処理手段からの感情情報を、当該感情情報の取得時間の情報に対応させることにより撮像情報と対応させて記録する。感情可視化手段は、感情情報記録手段で記録された感情情報に対応する可視化情報を生成する。この感情可視化手段で生成した可視化情報を、撮像情報および感情情報に関連させて格納する。
【選択図】図１

Description

この発明は、例えば、人の日々の体験とそのときの当該人の感情との対応や、再生コンテンツと、そのコンテンツを鑑賞した人の感情との対応などを可視化することができるようにするための装置および方法に関する。

人は、例えば過去の、ある期間やある時に、どのような感情の状態で過ごしていたか、そのとき当該人はどのような環境にいたか、あるいは、どのような体験をしていたか、などを知りたい場合がある。例えば日記に、そのときの出来事および感情が文章として書き記されている場合には、その日記を読むことで、上記の感情およびその感情を持ったときの出来事などを推し量ることができる。

しかしながら、日記の場合、人の文章表現力にもよるが、一般的には、そのときの経験や出来事およびその際の感情を、客観的に、かつ、正確に書き記すことは困難である。また、日記は、それを読まなければ、そのときの経験や出来事およびその際の人の感情を知ることはできない。また、文章から感情を推し量ることになるので、そのときの経験や出来事およびその際の人の感情を、正確に認識することも困難である。

特許文献１（特開２００２−２３００１１号公報）には、文書に表現されている感情を判別し、その判別した感情を、アイコンなどの視覚的表示形式に変換して表示することができる感情認識システムが提供されている。

この特許文献１においては、予め、単語ごとに、例えば「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情要素を数値化して割り当てた感情表現辞書を用意しておき、認識対象文書を、単語に分解して、前記感情表現辞書を用いて、当該認識対象文書に表現されている感情を認識する。そして、特許文献１においては、認識した「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情を、アイコンなどの視覚的表示形式に変換して、視覚化表示するようにしている。
特開２００２−２３００１１号公報

しかしながら、上述の特許文献１の技術を用いて日記に記述されている文章に表現されている感情を判別することができたとしても、前述もしたように、記述された文章に、そのときの感情が客観的に、また、正確に記述されていない場合には、そのときの感情を正確に反映させることができない。また、そのときどんな出来事が生じていたか、あるいは人がどんな経験をしていたかは、特許文献１では認識することができない。

この発明は、以上の点にかんがみ、人の感情の状態と、その感情を持ったときの出来事や経験などとを、対応付けて正確に知ることができるようにすることを目的とする。

上記の課題を解決するために、請求項１の発明は、
被写体を撮像する撮像手段と、
前記撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する撮像情報記録手段と、
前記撮像手段で撮像を行なう撮影者の生体情報を取得するための生体情報取得手段と、
前記生体情報取得手段からの生体情報を解析し、前記撮影者の感情を表わす感情情報を得る感情解析処理手段と、
前記感情解析処理手段からの前記感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応させることにより前記撮像情報と対応させて記録する感情情報記録手段と、
前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化手段と、
前記感情可視化手段からの前記感情情報を可視化するための情報を、前記撮像情報および前記感情情報に関連させて格納する感情可視化情報格納手段と、
を備えることを特徴とする記録装置を提供する。

また、請求項２の発明は、請求項１に記載の記録装置において、
前記感情可視化手段は、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する前記可視化情報を得る変換処理手段と、
前記変換処理手段からの前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成手段と、
ことを特徴とする。

また、請求項３の発明は、請求項２に記載の記録装置において、
前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報であり、
前記変換処理手段は、前記前記色変換テーブル情報を用いて、前記感情情報に対応する色情報を得るものであり、
前記感情可視化画像情報生成手段は、前記変換処理手段からの前記色情報を用いて、前記撮影者の感情を色により可視化する感情可視化画像情報を生成する
ことを特徴とする。

請求項１の発明による記録装置によれば、撮像手段で撮像した撮像情報を記録するとともに、撮影者の生体情報を解析して当該撮影者の感情を表わす感情情報を得、当該撮影者の感情情報を前記撮像情報と関連させて記録するようにするので、当該撮影者が経験している出来事を撮像情報から知ると共に、そのときの撮影者の客観的な感情の情報を可視化することにより正確に得ることができる。

請求項２の発明によれば、感情情報を可視化するための情報としては、感情情報と可視化情報との変換テーブル情報を用いて得た前記可視化情報から生成した感情可視化画像情報を得るようにするので、感情の可視化のための構成を簡単にすることができる。

そして、請求項３の発明による記録装置によれば、感情情報を色に変換して表示するようにするので、例えば、「赤色」が濃いほど快適の感情を示し、「青色」が濃いほど不快の感情を示すように表示するなどすることにより、当該色の変化として感情の変化が可視化されると共に、色の分布状態により感情の状態分布を表示することが可能になる。

また、請求項４の発明は、請求項１に記載の記録装置において、
表示手段を設け、
前記撮像手段で撮像しながら、前記感情解析処理手段からの前記感情情報を、前記変換テーブル情報を用いて可視化情報に変換し、前記可視化情報による画像を前記表示手段に表示する
ことを特徴とする。

この請求項４の発明によれば、撮像時に撮影者は、自分の感情状態を、可視化情報による画像を見ることにより、確認することができる。

また、請求項５の発明は、請求項２に記載の記録装置において、
前記感情解析処理手段は、前記生体情報から得た感情情報を、所定の単位時間毎に平均化した、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
前記感情可視化手段は、前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情解析処理手段からの前記単位時間毎の平均の感情を表す感情情報に対応する可視化情報を出力するものである
ことを特徴とする。

この請求項５の発明によれば、単位時間毎の平均の感情が色として可視化されるので、細かな感情変化が除去された前記単位時間内の主たる感情が可視化されることになり、感情の状態判断が容易になる。

また、請求項６の発明は、請求項３に記載の記録装置において、
前記感情可視化手段は、前記色変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記撮像情報が記録された期間内における感情の変化を色により可視化する感情可視化画像情報を生成する
ことを特徴とする。

この請求項６の発明によれば、所定の期間、例えば特定の１日における感情の変化が、時間の変化に対応して色の変化として可視化されるので、当該１日が、どのような感情状態で過ごされたのかなどを可視化することができる。

また、請求項７の発明は、請求項３に記載の記録装置において、
前記感情可視化手段は、前記色変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記撮像情報が記録された期間内における前記感情の状態分布を可視化する感情可視化画像情報を生成する
ことを特徴とする。

この請求項７の発明によれば、所定の期間、例えば特定の１日における感情の状態分布が色の分布として可視化され、当該１日が概ねどのような感情の状態で過ごしたかを可視化することができる。

また、請求項２８の発明は、
コンテンツを、当該コンテンツの先頭からの再生時間位置を管理しながら再生する再生手段と、
前記再生手段で再生されたコンテンツを鑑賞している鑑賞者の生体情報を取得するための生体情報取得手段と、
前記生体情報取得手段からの生体情報を解析し、前記鑑賞者の感情を表わす感情情報を得る感情解析処理手段と、
前記感情解析処理手段からの前記感情情報を、当該感情情報を取得した前記再生時間位置の情報に対応させることにより前記コンテンツと対応させて記録する感情情報記録手段と、
前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化手段と、
前記感情可視化手段で生成された前記感情を可視化するための情報を、前記コンテンツおよび前記感情情報に関連させて格納する感情可視化情報格納手段と、
を備えることを特徴とする再生装置を提供する。

この請求項２４の発明によれば、例えば所定の放送番組や映画コンテンツなどを視聴しているときの感情の変化を可視化することができる。また、所定の放送番組や映画コンテンツなどを視聴したときの感情の状態分布を可視化することができる。したがって、当該放送番組や映画コンテンツなどを、概ねどのような感情の状態で視聴したかを可視化することができる。

この発明によれば、人の感情の状態と、その感情を持ったときの出来事や経験などを、対応付けて正確に知ることができる。

［第１の実施形態］
以下に説明する第１の実施形態は、この発明を、撮像情報記録再生装置に適用した場合である。この第１の実施形態の撮像情報記録再生装置は、撮像部を備え、当該撮像部により撮像しているときの撮影者の生体情報を取り込んで、感情解析し、その感情解析結果を変換テーブル情報を用いて変換して可視化データを得、この可視化データに基づいて生成した感情可視化画像情報を、撮像情報と共に、時間情報に関連させて記録するようにする機能を備える。

この実施形態では、可視化データとしては、色情報を用いる。すなわち、この実施形態では、感情解析結果の感情情報を、色情報に変換して可視化するようにする。ここで、色は、色相と彩度と明度とにより決まるものであるので、色の変化は、それらの組み合わせによりなされる。したがって、色相が変わるものに限らず、色相が同一で、彩度や明度が変化するものも含まれるものである。

＜撮像情報記録再生装置のハードウエア構成例＞
図１は、この実施形態の撮像情報記録再生装置１００のブロック図である。

この撮像情報記録再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１に対して、システムバス１０２を介して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４とが接続されたコンピュータを備える構成となっている。

そして、システムバス１０２に対して、撮像部コントローラ１０５と、撮像信号処理部１０６と、生体情報入力部コントローラ１０７と、感情解析処理部１０８と、データ格納部コントローラ１０９と、再生処理部１１０と、計時部１１１と、ビジュアルデータ処理部１１２と、表示部コントローラ１１３と、キー入力インターフェース（図ではインターフェースはＩ／Ｆと記載する。以下同じ）１１４と、ネットワークインターフェース１１５と、プリンタコントローラ１１６とが接続されている。

撮像部コントローラ１０５は、ＲＯＭ１０３に格納されているプログラムにしたがったＣＰＵ１０１からの制御に基づいて、撮像部コントロール信号を撮像部１２１に供給する。

撮像部１２１は、レンズ系と、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で構成される撮像素子とを備え、撮像部コントローラ１０５からの撮像部コントロール信号を受けて、撮像記録の開始、停止、ズーム倍率、露出値、オートフォーカスなどの制御がなされる。

撮像部１２１からの撮像画像信号は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器１２２によりデジタル信号に変換された後、撮像信号処理部１０６に供給される。撮像信号処理部１０６では、ＲＯＭ１０３に記憶されているプログラムに従ったＣＰＵ１０１からの制御指示命令により処理が実行されて、Ａ／Ｄ変換器１２２からの撮像画像信号が、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式により画像データ圧縮されると共に、適切な記録フォーマットに変換される。また、撮像信号処理部１０６では、計時部１１１からの時刻情報が用いられて、撮像画像データに撮像時刻の情報が付加される処理も行なわれる。

そして、撮像信号処理部１０６で適切な記録フォーマットに変換された、撮像時刻の情報を含む撮像画像データは、システムバス１０２を通じてデータ格納部コントローラ１０９に転送される。データ格納部コントローラ１０９は、受け取った撮像画像データを、データ格納部１２３に格納する。

データ格納部１２３は、この例では、ハードディスクドライブで構成され、例えば１日分以上のデータを格納する記憶容量を備えるものである。なお、データ格納部１２３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの大容量記録形光ディスクや、半導体メモリなどを記憶媒体に用いる装置を用いるようにしても良い。

生体情報入力部コントローラ１０７は、生体情報入力部１２４からの生体情報を、Ａ／Ｄ変換部１２５を通じて受け取る。生体情報入力部１２４は、詳しくは後述するが、当該撮像情報記録再生装置１００の使用者（撮影者）の生体情報を取得する手段を構成するものである。

ここで、生体情報とは、この明細書では、生理的、生化学的、または身体的な反応または状態の情報をいうものとする。生体情報としては、例えば、人間が自発的・誘発的に発する情報、例えば、心拍、脈波、呼吸、血圧、心電、脳波、皮膚発汗、皮膚抵抗、体動、体位、脳磁図、筋電、体表面温度、瞳孔径の大きさ、マイクロバイブレーション、瞬目（瞬き）、生化学反応などが挙げられる。

したがって、人の生体情報には、人に装着された電極を通じて検出するもののみではなく、体動、体位などのようにカメラで撮影した情報から検出されるもの、体表面温度などのようにセンサにより遠隔で検出できるものを含む。

生体情報入力部１２４で取得されたユーザの生体情報は、Ａ／Ｄ変換部１２５でデジタル信号に変換され、生体信号入力部コントローラ１０７およびＣＰＵ１０１、ＲＯＭ１０３のプログラム、ワークエリア用ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。このとき、撮像画像データの場合と同様に対応して、生体情報には取得時刻の情報が付加されるデータ格納部１２３に格納される。

生体情報入力部１２４で取得された生体情報は、また、Ａ／Ｄ変換部１２５でデジタル信号に変換された後、感情解析処理部１０８に供給され、ここで後述もするように、所定の方式にしたがって感情解析が行なわれる。そして、この感情解析処理部１０８での感情解析の結果得られたユーザの感情を表わすための情報（以下、感情データという）は、ＲＯＭ１０３のプログラムにしたがって、ＣＰＵ１０１、ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。この感情データにも、時刻情報が付加され、撮像画像データや生体情報との対応が可能とされている。

なお、感情データは、上述のようにリアルタイムで生体情報から生成するのではなく、撮像情報および生体情報のデータ格納部１２３への格納が終了した後、当該データ格納部１２３に格納されている生体情報を読み出して、感情解析し、その解析結果をデータ格納部１２３に格納するようにすることもできる。ただし、その場合には、後述するようなリアルタイムでの感情の可視化表示はできない。

また、上述の説明では、撮像部１２１により取得した被写体の撮像画像データや生体情報入力部１２４を通じて取得したユーザの生体情報、また、感情解析処理部１０８で生体情報を解析することによって得られる感情を表わす感情データは、すべてデータ格納部１２３に記憶して格納するものとして説明したが、これに限るものではない。

例えば、ネットワークインターフェース１１５を通じてインターネットなどのネットワークに接続し、ネットワーク上に設けられた所定のサーバ装置に送信して、そのサーバ装置に、撮像画像データや生体情報、感情状態を示す情報を記憶保持させるようにするようにすることも可能である。

感情解析処理部１０８は、後で詳述するように、生体情報入力部１２４を通じて取得した種々の生体情報、または、データ格納部１２３に格納された生体情報を、この例では、感情モデルを解析する方法で感情状態の抽出を行なう。

再生処理部１１０は、再生時に、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出された圧縮画像データの伸張デコード処理等を行って再生用の画像データを形成するものである。再生処理部１１０において処理された画像データは、ビジュアルデータ処理部１１２に供給される。

計時部１１１は、カレンダー機能つきの時計回路であって、年月日および時刻情報をシステムバス１０２に送出する。

ビジュアルデータ処理部１１２は、感情解析処理部１０８からの感情データあるいはデータ格納部１２３に格納されている感情データから、後で詳述するように、色変換テーブル情報記憶部１２６に格納されている変換テーブル情報を用いて感情の可視化データを得、その可視化データを用いた感情可視化画像情報を生成し、生成した感情可視化画像情報を、データ格納部コントローラ１０９を通じてデータ格納部１２３に格納する機能を備える。後述するように、ビジュアルデータ処理部１１２は、感情変化可視化手段および感情分布可視化手段の役割機能も備える。

また、ビジュアルデータ処理部１１２は、再生時には、データ格納部１２３から読み出された撮像画像データおよび感情可視化画像情報とを、時間軸に同期させて再生し、表示部コントローラ１１３を通じて表示部１２７の画面に表示させるようにする機能を備える。なお、この再生時、データ格納部１２３から読み出された撮像画像データは、上述したように、再生処理部１１０で伸長デコード処理された後、ビジュアルデータ処理部１１２に供給されるものである。

表示部コントローラ１１３は、表示部１２７に供給する表示用画像信号を形成し、これを表示部１２７に供給する。表示部１２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイであり、表示部コントローラ１１３からの画像信号に応じた画像をその表示画面に表示する。

キー入力インターフェース１１４には、キー入力操作部１２８が接続される。キー入力操作部１２８は、撮像記録開始キー、再生開始キー、早送りキー、巻戻しキー、ジャンプキー、停止キーなどのキーを備える。キー入力操作部１２８のいずれかのキーが操作されると、キー入力インターフェース１１４を通じてその操作入力情報がシステムバス１０２に供給される。ＣＰＵ１０１は、この操作入力情報を判別して、どのキーが操作されたかを判別し、その操作されたキーに対応する処理を実行する。

プリンタコントローラ１１６には、この例ではカラープリンタ１２９が接続され、後述するように、ビジュアルデータ処理部１１２から得られる感情可視化画像情報による出力画像が、このカラープリンタ１２９によりカラー印刷出力されるように構成されている。

なお、図１では省略したが、撮像部１２１にマイクロホンが取り付けられており、撮像時に、被写体周辺の音声がこのマイクロホンにより収音され、Ａ／Ｄ変換され、また必要に応じてデータ圧縮されて、撮像画像データと共にデータ格納部１２３に格納されて、記録される。

＜生体情報入力部１２４〜生体信号入力部コントローラ１０７の部分の構成例＞
ここで、上述した生体情報入力部１２４、Ａ／Ｄ変換部１２５および生体信号入力部コントローラ１０７の部分の、より具体的な構成例について説明する。図２は、生体情報入力部１２４、Ａ／Ｄ変換器部１２５および生体情報入力部コントローラ１０７の部分の詳細構成例を示すブロック図である。

人の感情を表わす感情データは、適切な一つの生体情報のみを用いて得るようにすることもできるが、より正確に人の感情を表わす感情データを得るために、この例では、複数個の生体情報を用いる。図２の例では、ユーザの生体情報として、脳波、心電、脈波（脈拍）、体温などを電極（センサを含む）を通じて検出する場合を例にして説明する。

図２に示すように、この例の生体情報入力部１２４は、人に装着されて、複数の生体情報、この例においては、脳波、心電、脈波、体温、筋電など、に対応する生体信号を収集するための複数個の電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅと、それぞれの電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅからの生体信号を増幅するための複数個の増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅとからなる。

電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅは、脳波をはじめとする生体電気現象や脳磁気をはじめとする生体磁気現象を測定する機能を有するものであり、この例においては、撮影者に装着される。増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅは、増幅のみでなく、必要に応じて、数種類の周波数帯域に分けるなどのフィルタリング処理を行なう場合もある。

例えば、生体情報が脳波であれば、増幅部１２４２ａは、電極１２４１ａから得られた数マイクロボルトの電位の生体情報信号を増幅し、アルファ波、ベータ波、などの数種類の周波数帯域の成分に分けるようにフィルタリングをかける処理を行なう。

電極１２４１ａ、１２４１ｂ、１２４１ｃ、１２４１ｄ、・・・、１２４１ｅを通じて検出された各生体情報は、対応する増幅部１２４２ａ、１２４２ｂ、１２４２ｃ、１２４２ｄ、・・・、１２４２ｅに供給されて増幅され、Ａ／Ｄ変換部１２５に供給される。この実施形態においては、Ａ／Ｄ変換部１２５は、図２に示すように、供給される生体情報に応じた複数個のＡ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅを備えたものであり、供給される生体情報（アナログ信号）をデジタル信号に変換する。

例えば、脳波の電位レベルは一般には５０μＶ（マイクロボルト）程度、心電の電位レベルは１ｍＶ（ミリボルト）程度と生体信号の種類により異なる。このため、各Ａ／Ｄ変換器１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅにおいてのＡ／Ｄ変換時の量子化ビット数は、増幅された各種生体信号の電位レベルを下回らない程度の精度を有するようにされている。

そして、Ａ／Ｄ変換された後の各生体情報は、生体情報入力部コントローラ１０７に供給される。生体情報入力部コントローラ１０７は、デジタル化された各種生体信号を受信するための受信部１０７１と、それらの生体情報を感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な信号にするための処理を行なう生体信号処理部１０７２と、処理された生体信号をバス１０２に出力するための送信部１０７３とから構成される。

受信部１０７１は、Ａ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅから出力される、もとの生体信号が再現される程度の間隔のサンプリング周波数を有するデジタル生体情報を受信して、これを後段の生体信号処理部１０７２に供給する。

生体信号処理部１０７２は、受信部１０７１からのデジタル生体情報の供給を受けて、生体情報のそれぞれについて、例えば振幅調整や帯域通過のためのフィルタ演算処理、ＦＦＴやウェーブレット解析をはじめとする時間−周波数解析、あるいは、ニューラルネットやカオス解析をはじめとする非線形解析などを行って、感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な形式の信号に変換し、変換後の生体情報（生体信号）を送信部１０７３に供給する。

送信部１０７３は、バス１０２に対し逐次適切なタイミングで、上述のように処理されて形成された生体信号を出力し、上述もしたように、データ格納部コントローラ１０９を通じてデータ格納部１２３に記録させたり、また、感情解析処理部１０８に供給して、生体情報の解析を行なわせたりするようにする。

＜感情解析処理部１０８における感情解析の一例＞
次に、感情解析処理部１０８において行われる感情解析処理の一例について説明する。感情解析処理部１０８には、前述したように、生体情報入力部１２４、Ａ／Ｄ変換部１２５、生体情報入力部コントローラ１０７を通じて、必要な信号処理や解析処理が行われて得られたデジタル化された複数の生体情報が入力される。

感情解析処理部１０８には、生体情報入力部コントローラ１０７からバス１０２を通じて生体情報が供給される場合だけではなく、データ格納部１２３に一旦格納された生体情報が、データ格納部コントローラ１０９を通じて読み出されて、これがバス１０２を通じて供給される場合もある。また、感情解析処理部１０８は、ネットワークインターフェース１１５を通じて外部機器や外部サーバに記憶するようにした生体情報の供給を受けるようにすることもできる。

感情解析処理部１０８では、複数の生体情報の入力を受け付けて、これらの複数の生体情報を元に解析処理を行ない、感情データとして、感情モデルで定義される複数の感情パラメータ値を出力する。感情モデルとしては、例えば２軸モデル、３軸モデル、６軸モデル等がある。これらのモデルの一例を図３に示す。

２軸モデルは、最も簡易なモデルであり、図３Ａに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸との２軸により、感情モデルを形成する。そして、前記２軸で定まる感情２次元空間におけるそれぞれ感情の状態を、前記第１軸方向のパラメータ（座標値）および第２軸方向のパラメータ（座標値）からなる感情パラメータ値により表現する。

３軸モデルは、図３Ｂに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸と、緊張と弛緩とのどちらに、より近いかの度合いを示す第３軸との３軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。

６軸モデルは、図３Ｃに示すように、怒りの度合いを示す第１軸と、恐れの度合いを示す第２軸と、悲しみの度合いを示す第３軸と、喜びの度合いを示す第４軸と、嫌悪の度合いを示す第５軸と、驚きの度合いを示す第６軸との６軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。

感情解析処理部１０８は、例えば、上述した感情モデルのいずれかを用いるようにし、例えば、学習済み、あるいは、ユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ（SOM : Self Organizing Map）等のニューラルネットワークの手法を利用して、入力として受け付けた複数種類の生体情報から、当該生体情報の発信元である人の感情の解析処理を行って、その解析結果として求められた感情を表わす感情データとしての感情パラメータ値を求める。

このように、この実施の形態の感情解析処理部１０８においては、所定の感情モデルとニューラルネットワークの手法を用いて、複数種類の生体情報を解析することによって、それらの生体情報の提供元であるユーザの感情の状態を感情パラメータ値として把握することが可能となる。

そして、この感情解析結果の感情パラメータ値を、後述するように、ビジュアルデータ処理部１１２において、色変換テーブル情報記憶部１２６の変換テーブル情報を用いて色情報出力に変換して、時間情報に対応して可視化する。これにより、例えば、喜びの感情が表れている期間、悲しみの感情が表れている期間、怒りの感情が表れている期間、恐れの感情が表れている期間を容易に把握することができ、また、それらの感情の変化などを色の変化として容易に把握することができる。

そして、後述するように、例えば、１日、１ヶ月などの所定期間におけるユーザの感情の状態分布、すなわち、喜びの感情が何％、悲しみの感情が何％というように、各感情の分布を、対応する色の面積により把握するなどのことが可能となる。

生体情報を用いた感情状態の解析の具体例としては、以下のように、種々のものが考えられる。例えば、リラックス状態の評価については、生体情報として脳波を用いることができる。一般的にはα波の周波数成分とβ波の周波数成分の比をとり、α波成分の割合が大きくなるほどリラックス状態にあることが知られている。また、呼吸や心拍の周期の安定性や脈拍の振幅増加量に基づいて、評価することも可能である。

また、驚きの評価については、皮膚の電気抵抗値を用いることができる。一般的には驚きや恐怖、心配によって皮膚電気抵抗値が上昇することが知られており、この皮膚電気抵抗値によって、感情状態の１つである驚きの評価を行なうことができる。

また、喜びを評価する場合には、心拍数、皮膚温度（体温）、心電（心電図周波数）を用いて評価することが可能である。すなわち、喜びの感情が大きい時には、心拍数が下がり、皮膚温度が上がり、心電図周波数が上がることが知られている。

また、一般に、精神的、心理的に安定な状態にある場合は、末梢血管が拡張して、抹消血管に動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。逆に、精神的、心理的に高い緊張状態にある場合は、末梢血管が収縮し、抹消血管への動脈血の流入が減るため、心拍や脈拍は速まり、体温は下降傾向にある。このような生理的な変化に応じて、感情の状態を評価し、把握することが可能となる。

なお、上述のような生理指標とともに、表情による筋電の変化や画像による表情認識、加速度センサや傾斜センサなどによる姿勢認識、音声認識などを複合的に用いることによって、ユーザの怒りや悲しみなどの感情状態を評価するようにしてもよい。

すなわち、人間の顔面の筋電の変化によって、泣いているのか、笑っているのか、怒っているのかなどを把握することが可能であるし、同様に、画像による表情認識によっても泣いているのか、笑っているのか、怒っているのかなどを把握することが可能である。

また、加速度センサや傾斜センサを用いることにより、ユーザの姿勢を判断し、胸をはった状態か、前屈みの状態などかを検出することにより、感情状態を評価する場合の情報として用いることも可能である。

また、音声認識の結果を感情状態を評価する場合の情報として用いることも可能である。例えば、喜んでいる場合などには、人の声は比較的に高くなり、逆に、落ち込んでいる場合などには、人の声は比較的に低くなるという傾向にあり、これを利用することにより、感情状態を評価することが可能である。また、音声信号の大きさ（レベル）に基づいて、感情状態を評価することも可能である。

また、例えば、感情データの解析技術として、特開平８−１１７１９９号公報には、脳波のα波ゆらぎを利用したニューラルネットワークによる覚醒度と気分の解析が開示されている。これは、心理学や精神生理学では覚醒度と気分の２つの軸が基本的な指標であるという知見を利用し、定量的な解析を行なうようにしたものである。

また、ＮＩＣＯＧＲＡＰＨ 論文集pp.17-25, 1993において表情認識の報告が行われており、また、電子情報通信学会論文集D-II Vol.J77-D-II No.8 pp.1512-1521においては音声律情報などの非言語情報からユーザの感情を認識する報告を行われている。このような種々の解析方法を利用して、ユーザの感情状態を把握するようにしてももちろんよい。

上述のように、この実施の形態の撮像情報記録再生装置１００は、ユーザの生体情報を継続的に検出して、検出した生体情報を分析することによりユーザの感情を把握することができる。そして、把握したユーザの感情を表わす感情データ（感情パラメータ値）を求め、ビジュアルデータ処理部１１２により、当該感情パラメータ値を後述するように色変換して、感情を色出力として可視化することができる。

＜感情の色変換による可視化処理の概要＞
この実施形態では、感情解析処理部１０８においては、感情モデルとして上述した２軸モデルを採用し、第１軸をＸ座標軸と、第２軸をＹ座標軸として感情パラメータ値を検出する。

そして、この例では、色変換テーブル情報記憶部１２６には、感情モデルとして上述した２軸モデルの場合における色変換テーブル情報が記憶されている。この例の色変換テーブル情報を、図４を用いて説明する。すなわち、図４は、この色変換テーブル情報により感情パラメータ値が色情報出力されたときのカラー出力を示すものであるが、図４では、便宜上、白黒の濃淡により示されている。

この色変換テーブル情報の作成に当たっては、感情に対して変換出力される色として、見た目で感覚的に感情を掴める色を用いるようにしている。以下に、この色変換テーブル情報の一例を説明する。

すなわち、図４の色変換テーブルを説明すると、Ｘ軸方向において、快適は黄色で、不快はブルー（青）で表現される。そして、快適なほど、濃い黄色とされ、また、不快なほど、濃いブルーとなるようにされる。したがって、Ｘ軸方向においては、不快から快適の方向に沿って、濃いブルー→薄いブルー→白→薄い黄色→濃い黄色のように変化するものとされる。

また、Ｙ軸方向において、興奮、緊張はマゼンタ色で、リラックスはブルーで表現される。そして、興奮、緊張しているほど、ピュアなマゼンタ色になり、また、リラックスしているほど、ピュアなブルーとなり、興奮、緊張とリラックスとの間では、リラックスから興奮、緊張の方向に沿って、ピュアなブルーから、徐々にマゼンタ色の混色の割合が増加して、ピュアなマゼンタに至るような変化をするものとされる。

そして、興奮、緊張、かつ、快適な感情の状態（図４の色変換テーブル上では、右上隅位置が対応する）は、マゼンタ色と黄色との減法混色の結果としての赤色が割り当てられる。そして、図４の右下隅から右上隅までの色の変化としては、ピュアな黄色から、黄色に対して徐々に赤色の混色の割合が増加して、ピュアな赤に至る。ここで、黄色と赤色の混合色は、橙色である。

また、同様に、図４の左上隅から右上隅までの色の変化としては、濃いマゼンタ色→ブルー混じりの徐々に薄くなるマゼンタ色→黄色混じりの徐々に濃くなる赤→濃い赤、のように変化するものとなる。

そして、このとき、感情解析処理部１０８からは、感情パラメータ値として、Ｘ軸方向のパラメータ値（座標値）およびＹ軸方向のパラメータ値（座標値）が得られるが、この感情パラメータ値は、ビジュアルデータ処理部１１２では、図４の色変換テーブル空間上でそれらのパラメータ値によって定まる色情報に変換される。そして、この色情報が感情の可視化データとして出力されることになる。

ビジュアルデータ処理部１１２では、色変換テーブル情報を用いて、感情パラメータ値に対して変換して得た色情報を、そのまま出力するではなく、時系列順に、時間の経過に対応する感情の変化がわかるような表示出力態様（以下、このタイプの表示出力態様を時系列表示タイプと呼ぶ）で出力する。この機能は、感情変化可視化手段に対応する。この時系列表示タイプは、撮像部１２１により撮像された画像データに時系列順に対応して、感情可視化画像を表示するようにする場合に用いられる。

また、ビジュアルデータ処理部１１２は、所定時間内において移り変わる感情を、興奮、リラックス、快適、不快などの個々の感情が当該所定時間内において、どのくらいの割合ずつ含まれるかを、この例では、矩形領域における各感情に対応する色の分布で表わす表示出力態様（以下、このタイプの表示出力態様を分布表示タイプと呼ぶ）で出力することもできる。この機能は、感情分布可視化手段に対応する。この分布表示タイプは、撮像部１２１により撮像された所定期間分において、どのような感情の状態分布をしていたかを表示する場合に用いられる。例えば、全体としては、快適な気分であったが、一部、緊張した期間があったなどを表示することができる。

図５（Ａ），（Ｂ），（Ｃ）は、時系列表示タイプのいくつかの例を示しており、また、図５（Ｄ）は、分布表示タイプの例を示している。

時系列表示タイプにおいては、瞬時瞬時の感情に対応する色情報を順次に表示するようにしてもよいが、それでは、細かな感情変化も表現され過ぎてしまい、かえって、人の感情の変化が判りにくくなる場合ある。

そこで、図５（Ａ），（Ｂ），（Ｃ）の例では、予め定めた所定の単位時間を平均化間隔とし、当該平均化間隔の単位時間区間で得られる感情データを平均化し、その平均化した感情データを、色変換テーブルを用いて色情報に変換するようにしている。このため、図５（Ａ），（Ｂ），（Ｃ）の例では、感情データに対応する色情報出力は、前記単位時間区間に対応する所定の幅単位でなされる。

図５（Ａ）は、時系列表示タイプのうちのスライドバータイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に１次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。

図５（Ａ）の例では、横方向に時間の経過をとったとき、当該時間の経過に沿って、各単位時間区間における感情データに対応する色情報を縦バーとして描画してゆくような表示態様である。このスライドバータイプは、例えば撮像画像を再生したときに、その表示画像の下欄あるいは上欄に表示し、かつ、現在、表示されている時間位置をスライドバーにおいて輝点などにより示すようにすれば、当該画面の場面において、ユーザがどのような感情であったかを容易に知ることができる。

また、図５（Ｂ）は、時系列表示タイプのうちのブロックタイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に２次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。

すなわち、感情を表示すべき所定の期間分を等分割して、複数の分割時間区間（単位時間区間）にし、当該分割時間区間を、複数段に並べて表示する表示態様である。このブロックタイプは、例えば１日の感情変化を表わす場合に、６時間毎に、横バーを４段にして２４時間分の表示する場合などに便利である。

また、図５（Ｃ）は、時系列表示タイプのうちのサークルタイプを示しており、感情を表示すべき所定の期間を環状領域の１周分に割り当てて、感情に対応する色出力は、周方向に前記単位時間区間に対応する所定の幅単位で順次に表示するようにする表示態様である。

なお、図５（Ｅ）および（Ｆ）は、作成したブロックタイプあるいはサークルタイプの表示態様において、色変換出力による可視化画像に特殊効果を付けてアート的に表現したり、金属的に表現したりしたものである。例えば、ぼかしを使い感情の単位時間区間ごとの変化部分を滑らかにする処理をする。また、感情変化のピーク点に対応する色変化の大きい部分に、ハイライトや影を入れることにより、金属的な表現をする。さらに、これに幾何学的な変換を行なってアート的な表現をしてもよい。

図５（Ｄ）は、分布表示タイプの例である。これは、感情を表示すべき所定の期間内において経験された（感情として発現された）感情状態に応じたマップが作成され、それが表現されたものである。これは、自己組織化マップを利用して作成される。

この分布表示タイプの表示態様によれば、所定の期間内において、概ねどの感情が優勢であったかなどが判る。例えば、分布表示タイプの表示において、黄色で表現された部分が優勢を占めていて、しかも、残りが赤色やマゼンタ色になっていたときには、興奮および緊張した感情であったが、心地良いものであったことが判る。

図６は、ビジュアルデータ処理部１１２におけるビジュアルデータの作成処理を説明するためのフローチャートである。

この図６の例は、ビジュアルデータ処理部１１２が、データ格納部１２３に格納されている感情解析処理部１０８で生成された感情データを、色変換テーブル情報を用いて感情ビジュアルデータ（感情可視化画像データ）に変換して感情可視化画像情報を生成する場合の例である。

先ず、初期設定を行なう（ステップＳ１０１）。この初期設定の内容は、作成する感情データの可視化情報の表示タイプの選択設定、平均化間隔の長さの設定、その他の属性データの設定などである。

次に、先ず、最初の平均化間隔分の単位時間区間を設定する（ステップＳ１０２）。次に、設定された単位時間区間内の感情データを平均化して、当該単位時間区間内の平均の感情の感情パラメータ値を算出する（ステップＳ１０３）。次に、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、ステップＳ１０３で算出された感情パラメータ値に対する色変換出力情報を得る（ステップＳ１０４）。

次に、表示出力態様のタイプは、時系列表示タイプであるか否か判別し（ステップＳ１０５）、時系列表示タイプであると判別したときには、前述した時系列表示タイプのうちのいずれか設定された表示タイプに応じた表示図形領域において、対応する単位時間区間に対応する位置に、ステップＳ１０４で求められた色変換出力情報による色を描画するような画像データを生成するとともに、当該画像データを、前記単位時間区間に対応して一時保存する（ステップＳ１０６）。

そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１０７）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１０７で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた前記画像データからなる、生成した感情ビジュアルデータを、属性データと共に保存する（ステップＳ１０８）。

また、ステップＳ１０５で時系列表示タイプではなく、分布表示タイプであると判別したときには、ステップＳ１０４で求められた色変換出力情報を、前記単位時間区間に対応して一時保存する（ステップＳ１１０）。

そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１１１）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１１１で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた感情データに対応する色変換出力情報のすべてを用いて、対象となる所定の期間における感情の状態分布を示す感情ビジュアルデータを生成し、表示する（ステップＳ１１２）。そして、生成した感情ビジュアルデータ（感情可視化画像データ）を属性データと共に保存する（ステップＳ１０８）。以上で、感情ビジュアルデータの生成処理を終了する。

＜記録処理動作の説明＞
次に、撮像情報記録再生装置１００としての記録処理の流れを、図７のフローチャートを参照して説明する。以下に説明するフローチャートの各ステップは、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行する。

すなわち、撮像情報記録のスタート指示がなされると、計時部１１１の時間情報、生体情報入力部コントローラ１０７の生体信号処理部１０７２、感情解析処理部１０８、表示部１２７等の初期化処理が行なわれる（ステップＳ２０１）。次に、ユーザによる感情ビジュアルデータの表示タイプの指定などの設定を受け付けて、設定を実行する（ステップＳ２０２）。

そして、撮像部１２１からの撮像画像データおよび音声データを、計時部１１１からの時間情報（年月日、時分秒）を付加した形式で、データ格納部コントローラ１０９によりデータ格納部１２３に順次に格納する（ステップＳ２０３）。

これと並行して、生体情報入力部コントローラ１０７で、生体情報入力部１２４で取得され、Ａ／Ｄ変換部１２５でデジタル信号に変換された生体情報を、解析処理させる（ステップＳ２０４）。そして、生体情報入力部コントローラ１０７からの生体情報を、感情解析処理部１０８に転送し、感情解析させ、その解析結果の感情データ（感情パラメータ値）を、時間情報と共に、データ格納部コントローラ１０９により、データ格納部１２３に格納させる（ステップＳ２０５）。

このステップＳ２０５においては、生体情報入力部コントローラ１０７からの生体情報のそれぞれに対して感情データ（感情パラメータ値）を算出するようにしてもよいが、この実施形態では、前述の図６で説明したのと同様に、予め定められた一定時間（単位時間）毎に、感情データを平均化して当該一定時間毎の感情データ（感情パラメータ値）を算出するようにする。この場合の一定時間（単位時間）は、前述の図６において設定される平均化間隔の時間よりも短い一定時間とされる。そして、この一定時間単位の時間情報と関連して、データ格納部１２３に感情データが格納される。この実施形態においては、時間情報により、感情データと、撮像画像データとは対応を付けることができる。

また、感情解析処理部１０８での解析結果の感情データをビジュアルデータ処理部１１２に送り、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、当該感情データを色情報に変換し、それを表示部コントローラ１１３により表示部１２７の画面に表示させる（ステップＳ２０６）。この表示は、撮像しながら情報記録を行なっているときの、その時々のユーザの感情状態を、表示部１２７にリアルタイムで表示するものである。

そして、記録終了の操作入力がユーザによりなされたか否か判別し（ステップＳ２０７）、記録終了の操作入力がなされていないと判別したときには、ステップＳ２０３に戻って、ステップＳ２０３以降の処理を繰り返す。

また、ステップＳ２０７で、記録終了の操作入力がユーザによりなされたと判別したときには、記録した時間区間すべてにおける記録した感情データを、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出し、図６に示したようにして、ステップＳ２０２で設定された表示タイプの感情ビジュアルデータを作成し、データ格納部１２３に撮像記録した情報に関連させて格納する（ステップＳ２０８）。

このとき、ステップＳ２０８では、記録した時間区間のすべての区間における感情を、指定された表示タイプで、前述したように時系列表示タイプや分布表示タイプで表示したものからなる小さいアイコンの表示用画像情報も生成し、データ格納部１２３に撮像記録した情報に関連させて格納する。

このアイコン表示用画像情報により表示されるアイコン（以下、感情表示アイコンという）は、後の時点において、記録された撮像記録情報の一覧画面などにおいて、それぞれの撮像記録情報用のインデックスとして表示することができる。ユーザは、そのインデックスの感情表示アイコンから、対応する撮像記録情報が記録されたときのユーザの感情を推量することができ、便利である。

また、データ格納部１２３が、例えばＤＶＤなどのリムーバルな記録媒体を用いる場合には、この感情表示アイコンの情報をプリンタコントローラ１１６を通じてカラープリンタ１２９に出力して、シールや記録紙などに、カラー印刷する。したがって、このカラー印刷したシールや記録紙をＤＶＤに貼り付けたり、ジャケット内に同封したりしておくことができる。これにより、後の時点において、その印刷された感情表示アイコンを見ることにより、当該ＤＶＤに記録された撮像情報が記録されたときのユーザの感情状態で推量することでき、便利である。

そして、撮像画像データおよび音声データと、感情データと、感情ビジュアルデータと、前記アイコン表示用画像情報とを、関連するものとする管理情報をデータ格納部１２３に格納する（ステップＳ２０９）。

この管理情報と、各データとの関係を図８に示す。すなわち、管理情報には、撮像記録された情報全体に対しては、タイトルと、所有者と、開示属性と、記録開始日時と、記録時間とが記録され、感情ビジュアルデータについては、そのアドレス（所在情報）と、データ属性および表示タイプとが記録され、撮像画像データおよび音声データについては、そのアドレス（所在情報）およびデータ属性が記録され、さらに、感情データについては、そのアドレス（所在情報）と、情報属性と、感情モデル、感情パラメータおよびサンプリング間隔とが記録される。

タイトルや所有者等は、撮像記録情報の全体についての識別情報となるものであるが、このタイトルや所有者等の他に識別番号等の識別情報を管理情報に加えるようにしてもよい。この例の場合には、図８のような管理情報により、図８の各種の情報を関連付けて保存するようにしているが、撮像情報や感情データなどの格納データの管理方法としては、このような管理方法にのみ限られるものではない。例えば、それぞれのデータを別々に格納すると共に、前述した撮像記録情報についての識別情報を、それぞれの格納データに付加するようにして、互いに関連させるようにしても良い。

また、前記の感情ビジュアルデータのアドレス、撮像画像データおよび音声データのアドレス、および感情データのアドレスは、上述の例の場合には、データ格納部１２３におけるアドレスであって、ハードディスク上のアドレスや、ＤＶＤ上のアドレスなどとされるが、ネットワークを通じてサーバ装置に前記データが格納される場合には、サーバ装置のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とメモリアドレスなどとされる。

なお、上述の説明では、感情ビジュアルデータは、記録終了後、必ず生成するようにしたが、撮像情報の記録が終了した後、ユーザが指示したときにのみ、データ格納部１２３に格納されている感情データを読み出して生成するようにしてもよい。

＜撮像情報および感情ビジュアルデータの再生＞
次に、図９を参照して、上記のようにして記録された撮像情報および感情ビジュアルデータについての再生処理について説明する。この図９のフローチャートの各ステップの処理も、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行するものである。

先ず、データ格納部１２３に格納されている管理情報を読み出す（ステップＳ３０１）。次に、データ格納部１２３から撮像画像データを読み出し、再生処理部１１０および表示部コントローラ１１３を通じて表示部１２７に供給して、その表示画面おいて表示して、再生する。また、図示は省略したが、データ格納部１２３からは、関連する音声データが読み出され、再生処理部およびアンプを通じてスピーカに供給されて、音響再生される。このとき、現在再生中である撮像画像データおよび音声データについての時間情報を管理するようにする（ステップＳ３０２）。

次に、感情ビジュアルデータをデータ格納部１２３から読み出し、表示部１２７の画面に撮像画像データによる画像の一部に表示する。あるいは、表示部１２７の画面を分割して、撮像画像データによる画像と、感情ビジュアルデータデータによる感情可視化表示画像とが別々の領域に表示されるようにしても良い（ステップＳ３０３）。

このとき、表示された感情可視化表示画像中には、現在再生中である撮像画像データおよび音声データについての時間位置が、当該感情可視化表示画像中のどの位置に対応しているかが輝点などにより表示されて、参照可能なようにされている。

図１０（Ａ）〜（Ｄ）は、このときの各表示タイプの感情可視化表示画像を示しており、ＣＳで示す輝点の位置の色により、それぞれ現在表示されている撮像画像データに対応する感情の状態を示している。すなわち、輝点ＣＳは、撮像画像データに対応する感情の状態の指標を示すものである。図１０（Ａ）〜（Ｃ）の時系列表示タイプの場合には、輝点ＣＳの位置は、合わせて時間位置を示すものとなる。そして、この輝点ＣＳの位置は、再生が、時間の経過に伴って進んでゆくと、対応する時点の感情データ位置に移るように変化するものとなる。

再生中、視聴ユーザが何らの操作もしないときには、再生データの最後まで、上述のステップＳ３０２およびステップＳ３０３の動作が継続され、連続して再生処理がなされる。しかし、ユーザが、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作を、キー入力操作部１２８を通じて行なうと、ＣＰＵ１０１は、それに応じた処理を実行する。

また、この実施形態では、感情可視化画像上での輝点ＣＳをカーソルマークと考えて、当該輝点ＣＳの位置をカーソルキーにより変更することができ、そのときには、輝点ＣＳで示される感情の時間軸位置の、撮像画像データおよび音声データが再生されるように制御される。

すなわち、ＣＰＵ１０１は、キー入力インターフェース１１４を通じて何等かのイベントが発生したか否か判別し（ステップＳ３０４）、発生しないと判別したときには、ステップＳ３０２に戻って、上述の動作を繰り返す。

また、ステップＳ３０４で、何等かのイベントが発生したと判別したときには、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作であるか否か判別し（ステップＳ３０５）、当該イベント操作であると判別したときには、撮像画像データおよび音声データの再生位置を変更すると共に、感情可視化画像における輝点ＣＳの位置を、当該変更された再生位置に対応する位置に変更する（ステップＳ３０６）。その後、ステップＳ３０２に戻り、上述の動作を繰り返す。

また、ステップＳ３０５で、再生位置変更のイベント操作ではないと判別したときには、カーソルキーによる感情可視化画像上における輝点ＣＳの位置変更指定であるか否か判別し（ステップＳ３０７）、輝点ＣＳの位置変更指定であると判別したときには、感情可視化画像上の輝点ＣＳの位置から時間情報を検索し、対応する時間位置の撮像画像データおよび音声データをデータ格納部１２３から読み出して、再生する（ステップＳ３０８）。

ステップＳ３０７で、輝点ＣＳの位置変更指定ではないと判別したときには、停止キーが操作されたのか否か判別し（ステップＳ３０９）、停止キー以外のキーが操作されたと判別したときには、当該操作されたキーに応じたイベント処理を行ない（ステップＳ３１０）、ステップＳ３０２に戻る。また、ステップＳ３０９で、停止キーが操作されたと判別したときには、この再生処理ルーチンを終了する。

＜感情データあるいは感情ビジュアルデータの蓄積によるアプリケーション＞
以上のようにして、データ格納部１２３に格納されたデータが、１年、２年、３年などの長期間にわたって蓄積できれば、過去のある日、ある月、ある年には、自分がどのような感情の状態で過ごしていたかを可視化表示することができる。そのためには、データ格納部１２３の容量が、そのような大容量のものである必要がある。しかし、以下に説明する例では、データ格納部１２３の容量が小さくても上述の要求を満足することができるデータ蓄積システムを提案する。

図１１は、データ蓄積システムの例を示すブロック図である。この例のデータ蓄積システムは、ネットワーク１０を通じて複数個の撮像情報記録再生装置１００が、例えばパーソナルコンピュータからなるサーバ装置２０に接続されることにより構成される。

サーバ装置２０は、前述した撮像情報記録再生装置１００のビジュアルデータ処理部１１２および色変換テーブル情報記憶部１２６と同様の構成のビジュアルデータ処理部２１および色変換テーブル情報記憶部２２を備えると共に、大容量のデータ格納部２３を備える。そして、ＣＰＵ２４による制御により、ビジュアルデータ処理部２１での色変換テーブル情報記憶部２２の色変換テーブル情報を用いた感情ビジュアルデータ生成処理がなされると共に、大容量のデータ格納部２３に対するデータの格納および読み出し処理が制御される。なお、図１１のサーバ装置２０では、ここで説明のために必要となる主要部のみを示したものであり、プログラムＲＯＭ、ＲＡＭ、ネットワークインターフェースやその他の処理部は省略されている。

そして、このシステムにおいては、各撮像情報記録再生装置１００は、自己の装置ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；識別情報）を伴ってサーバ装置２０にアクセスするように構成されている。そして、各撮像情報記録再生装置１００は、自己のデータ格納部１２３に格納している撮像画像データ、音声データ、感情データ、感情ビジュアルデータを、それらを関連付ける時間情報と共にサーバ装置２０に送って、蓄積してもらうことができるように構成されている。

また、各撮像情報記録再生装置１００は、サーバ装置２０に対して、過去の蓄積データから、この例では、年単位、月単位、日単位の感情可視化画像情報の生成を依頼することができ、サーバ装置２０は、その依頼に対応する感情可視化画像情報を生成して、依頼してきた撮像情報記録再生装置１００に、生成した感情可視化画像情報を送ることができるように構成されている。

そして、撮像情報記録再生装置１００は、サーバ装置２０から受信した感情可視化画像情報による感情可視化画像を表示部１２７の画面に表示し、その画面において、感情可視化画像上における前述した輝点ＣＳと同様の再生位置指示手段により、画像および音声の再生位置を指定することができるように構成されている。そして、その再生位置が指定されたとき、撮像情報記録再生装置１００は、その再生位置指定情報をサーバ装置２０に送るように構成されている。

サーバ装置２０は、その再生位置指定情報を受け取ると、その再生位置指定情報により示される再生時間位置の撮像画像データおよび音声データをデータ格納部２３から読み出して、要求してきた撮像情報記録再生装置１００に送るようにする機能を備える。

図１２および図１３は、このシステムにおけるサーバ装置２０での処理動作を示すフローチャートである。このフローチャートにおける各ステップの処理は、ＣＰＵ２４がプログラムＲＯＭおよびワークエリアＲＡＭと共に実行するものである。

すなわち、先ず、いずれかの撮像情報記録再生装置１００からのアクセスを受信したか否か判別し（ステップＳ４０１）、受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０２）、ステップＳ４０１に戻る。

ステップＳ４０１で、いずれかの撮像情報記録再生装置１００からのアクセスを受信したと判別したときには、当該アクセスしてきた撮像情報記録再生装置１００の装置ＩＤを認識し、認証する（ステップＳ４０３）。

そして、撮像情報記録再生装置１００からデータ蓄積依頼を受信したか否か判別し（ステップＳ４０４）、データ蓄積依頼であると判別したときには、その後、撮像情報記録再生装置１００から送られてくる、撮像画像データ、音声データ、感情データおよび感情ビジュアルデータを、それらを互いに関連付けるための時間情報と共に受信し、装置ＩＤおよび前記時間情報により関連させてデータ格納部２３に格納する（ステップＳ４０５）。そして、ステップＳ４０１に戻る。

ステップＳ４０４で、データ蓄積依頼ではないと判別したときには、過去の感情ビジュアルデータの作成依頼か否か判別し（ステップＳ４０６）、そうでないと判別したときには、再生位置指定情報を受信したか否か判別する（ステップＳ４０７）。再生位置指定情報を受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０８）、ステップＳ４０１に戻る。

また、ステップＳ４０７で、再生位置指定情報を受信したと判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている撮像画像データおよび音声データの中から、指定された再生位置に対応する再生時間位置の撮像画像データおよび音声データを読み出して、前記要求してきた撮像情報記録再生装置１００に送る（ステップＳ４０９）。そして、ステップＳ４０１に戻る。

また、ステップＳ４０６で、過去の感情ビジュアルデータの作成依頼を受信したと判別したときには、依頼の単位は、年、月、日のいずれであるか判別する（ステップＳ４１１）。

ステップＳ４１１で依頼が年単位であると判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の感情データについて、この例では、月単位で平均化し、各月の感情データ（感情パラメータ）を算出する（ステップＳ４１２）。

次に、算出された各月の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１３）。次に、指定された各年度毎に、月毎の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１４）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１４に、年単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのスライドバータイプの画像であり、２０００年〜２００２年が年度として指定された場合である。各年度の月毎の感情の状態が、色出力により可視化されていることがわかる。これにより、各年度で、月ごとにどのような感情状態で過ごしたのかが一目でわかる。

ステップＳ４１１で依頼が月単位であると判別したときには、表示する年度、月の指定を受け付ける（ステップＳ４１６）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月の感情データについて、この例では、１日単位で平均化し、各１日の感情データ（感情パラメータ）を算出する（ステップＳ４１７）。

次に、算出された各１日の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１８）。次に、指定された年度の、指定された月毎の、１日単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１９）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１５に、月単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのブロックタイプの画像であり、２００３年が年度として指定され、かつ、その１月から３月が指定された場合である。各月の１日毎の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月において、１日ごとにどのような感情状態で過ごしたのかが一目でわかる。

次に、ステップＳ４１１において、依頼が日単位であると判別したときには、表示する年度、月、日の指定を受け付ける（ステップＳ４２０）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月、かつ、指定された日の感情データについて、この例では、１時間単位で平均化し、各１時間毎の感情データ（感情パラメータ）を算出する（ステップＳ４２１）。

次に、算出された各１時間毎の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４２２）。次に、指定された年度の、指定された月の指定された日毎の、１時間単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４２３）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。

図１６に、日単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのサークルタイプの画像であり、２００３年が年度として指定され、かつ、その４月のすべての日が指定された場合である。指定された月の１日毎の１時間単位の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月の、指定された日において、１時間ごとにどのような感情状態で過ごしたのかが一目でわかる。また、図１６の例の場合には、指定された月において、１日単位でどのような感情の変化があったかも知ることができる。

そして、例えば図１６の例のような感情可視化画像表示においては、ユーザが、特定の日の特定の時間帯を、撮像情報記録再生装置１００における表示画面上において、例えばカーソルキーなどの指示手段を通じて、前述した輝点からなるカーソルマークの位置を指定すると、前述した当該指示位置を示す再生位置指定情報が発生し、それがサーバ装置２０に送られる。

サーバ装置２０は、前述したように、ステップＳ４０７で、この再生位置指定情報の受信を確認し、ステップＳ４０９で、当該再生位置指定情報により指定された時間位置の撮像画像データおよび音声データを、要求してきた撮像情報記録再生装置１００に送る。

なお、上述の例では、感情データについて、年単位の指定では、１月毎の平均を取り、また、月単位の指定では、１日毎の平均を取り、さらに、日単位の指定では１時間毎の平均を取るようにしてが、平均を取る期間または時間の長さは、これに限られるものではなく、また、ユーザが指定できるようにしても良い。

なお、このシステムが、例えば、家庭用ホームＬＡＮシステムの構成とするときには、サーバ装置は、パーソナルコンピュータの構成とすることができ、その場合には、過去の感情ビジュアルデータの生成指示は、撮像情報記録再生装置からのみではなく、パーソナルコンピュータのキーボードやマウスの入力に基づいて行なえるようにすることもできる。

また、図１１のシステムにおいては、サーバ装置２０には複数個の撮像情報記録再生装置１００の複数人の感情データを格納するので、それらの複数人のそれぞれの感情、また、それらの複数人の平均の感情についての可視化するようにすることもできる。

例えば、家族や友人など団体で旅行に行ったときに、各人が撮像情報記録再生装置１００で撮像記録を行ないながら、生体情報に基づいて、感情データ、感情ビジュアルデータを記録する。帰宅後、ネットワーク１０を通じてサーバ装置２０に、その撮像記録データと共に、感情データおよび感情ビジュアルデータを蓄積する。サーバ装置２０は、この蓄積データを用いて、当該旅行についての複数人の平均の感情を、例えば分布表示タイプにより表示するようにする感情可視化画像データを生成することができる。

この感情可視化画像によれば、旅行した人々の、当該旅行についての平均の感情がどのようなものであったかを可視化表示して知ることができる。また、旅行中の各訪問地やイベントにおける当該旅行参加者の平均の感情を、当該訪問地やイベントに対応する時間帯における旅行参加者の感情データの平均値を求めて色表示することにより可視化することができ、旅行の良し悪しの評価をするための参考資料とすることができる。

また、複数人のそれぞれの感情の状態も可視化できるので、他の人の感情と自分の感情とを比較するなど、種々の利用形態が考えられる。

［第２の実施形態］
第２の実施形態は、この発明を、放送受信機部および例えばインターネットなどのネットワークのサーバ装置からの配信データの受信機能を備える録画再生装置に適用した場合である。この録画再生装置においては、録画した放送番組コンテンツあるいはサーバ装置からダウンロードしたコンテンツの再生時に、当該コンテンツの鑑賞者の生体情報を取り込んで、感情解析し、その感情解析結果を色変換して可視化データとしたものを、撮像情報と共に、時間情報に関連させて記録するようにする機能を備える。

この実施形態においても、可視化方法は、感情解析結果の感情情報を、色情報に変換して可視化する方法を用いる。なお、この明細書において、コンテンツとは、視覚的または聴覚的に鑑賞可能なものを意味している。

＜録画再生装置のハードウエア構成例＞
図１７は、この実施形態の録画再生装置２００のブロック図である。この録画再生装置２００は、ＣＰＵ２０１に対して、システムバス２０２を介して、ＲＯＭ２０３と、ＲＡＭ２０４とが接続されたコンピュータを備える構成となっている。

そして、システムバス２０２に対して、放送受信機部２０５と、記録エンコード・デコード部２０６と、生体情報入力部コントローラ２０７と、感情解析処理部２０８と、データ格納部コントローラ２０９と、計時部２１１と、ビジュアルデータ処理部２１２と、表示部コントローラ２１３と、キー入力インターフェース２１４と、ネットワークインターフェース２１５と、プリンタコントローラ２１６と、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）インターフェース２１７が接続されている。

生体情報入力部コントローラ２０７には、生体情報入力部２２４がＡ／Ｄ変換部２２５を介して接続されている。この生体情報入力部２２４、Ａ／Ｄ変換部２２５および生体情報入力部コントローラ２０７の構成は、前述の第１の実施形態における生体情報入力部１２４、Ａ／Ｄ変換部１２５および生体情報入力部コントローラ１０７の構成と全く同一とされている。

また、感情解析処理部２０８も、前述の第１の実施形態の感情解析処理部１０８と同一の構成とされている。

また、データ格納部コントローラ２０９には、例えばハードディスクドライブやＤＶＤレコーダなどの大容量光ディスク装置などからなるデータ格納部２２３が接続される。この構成も、前述の第１の実施形態のデータ格納部コントローラ１０９およびデータ格納部１２３と同様の構成とされている。

計時部２１１は、第１の実施形態の計時部１１１と同様の構成のもので、カレンダー機能つきの時計回路であって、年月日および時刻情報をシステムバス２０２に送出する。また、この第２の実施形態においては、後述する放送番組のタイマー録画をする際の監視タイマーの役割も果たす。

ビジュアルデータ処理部２１２は、第１の実施形態のビジュアルデータ処理部１１２と同様の構成を備えるもので、感情解析処理部２０８からの感情データあるいはデータ格納部２２３に格納されている感情データから、前述の第１の実施形態と同様に、色変換テーブル情報記憶部２２６に格納されている色変換テーブル情報を用いて感情の可視化データとしての色情報を得、この可視化データとしての色情報に基づいて感情可視化画像情報を生成し、生成した感情可視化画像情報を、データ格納部コントローラ２０９を通じてデータ格納部２２３に格納する機能を備える。第１の実施形態と同様に、ビジュアルデータ処理部２１２は、感情変化可視化手段および感情分布可視化手段の役割機能も備える。

また、ビジュアルデータ処理部２１２は、データ格納部２２３から読み出されたコンテンツデータおよび感情可視化画像情報とを、時間軸に同期させて再生し、表示部コントローラ２１３を通じて表示部２２７の画面に表示させるようにする機能を備える。なお、この再生時、データ格納部２２３から読み出されたコンテンツデータは、記録エンコード・デコード部２０６のデコード部でデコード処理された後、ビジュアルデータ処理部２１２に供給されるものである。

表示部コントローラ２１３は、表示部２２７に供給する表示用画像信号を形成し、これを表示部２２７に供給する。表示部２２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイであり、表示部コントローラ２１３からの画像信号に応じた画像をその表示画面に表示する。

キー入力インターフェース２１４には、キー入力操作部２２８が接続される。キー入力操作部２２８は、録画キー、録画予約キー、再生キー、早送りキー、巻戻しキー、ジャンプキー、停止キーなどに加え、放送番組選択キーなどを備える。キー入力操作部２２８のいずれかのキーが操作されると、キー入力インターフェース２１４を通じてその操作入力情報がシステムバス２０２に供給される。ＣＰＵ２０１は、この操作入力情報を判別して、どのキーが操作されたかを判別し、その操作されたキーに対応する処理を実行する。

なお、リモコン受信機をシステムバス２０２に接続しておき、リモコン送信機を通じて、上述の操作キーによる入力操作ができるようにすることも、もちろんできる。

プリンタコントローラ２１６には、この例ではカラープリンタ２２９が接続され、後述するように、ビジュアルデータ処理部２１２から得られる感情可視化画像情報による出力画像が、このカラープリンタ２２９によりカラー印刷出力されるように構成されている。

ＡＶ出力インターフェース２１７は、再生時に、記録エンコード・デコード部２０６でデコードされて得られた音声データおよび／または画像データをアナログ信号にしてモニター装置２３０に供給する機能を備える。また、再生すべき音声データおよび／または画像データに、後述するように感情ビジュアルデータが関連してデータ格納部２２３に格納されている場合には、当該感情ビジュアルデータによる感情可視化画像も、再生画像に重畳して、あるいは再生画像とは画面分割の状態で、モニター装置２３０の画面に表示させるようにする機能も備える。

放送受信機部２０５は、この例では、デジタルテレビ放送を受信する機能を備えるものであり、キー入力インターフェース２１４に接続されるキー入力操作部２２８やリモコン送信部での放送番組選局キーによる選局操作に従った選局信号が供給されて、ユーザの希望する放送番組を受信する。

そして、この例の録画再生装置２００は、放送受信機部２０５で受信した放送番組コンテンツを、コンテンツ格納部２２３に格納して録画することができるように構成されている。また、録画再生装置２００は、前述したように、計時部２１１によるタイマー機能を備え、放送番組コンテンツを、予約録画することができる機能を備えている。

また、この例の録画再生装置２００は、ネットワークインターフェース２１５を通じて、音楽コンテンツや画像コンテンツ、さらには電子小説などのテキストデータ（一部、画像情報を含む場合もある）からなるコンテンツをダウンロードして、データ格納部２２３に記録する機能も備える。なお、記録エンコード・デコード部２０６の記録エンコード部は、データ格納部２２３に、データ格納部コントローラ２０９を通じて放送番組コンテンツ、ダウンロードコンテンツを格納する際に、必要な記録エンコード処理を行なう。

そして、記録エンコード・デコード部２０６のデコード部は、データ格納部２２３からデータ格納部コントローラ２０９を通じて、格納されているデータが読み出されたとき、その読み出されたデータについてのデコード処理を行ない、前述したように、そのデコード処理結果のデータをＡＶ出力インターフェース２１７に転送する。

コンテンツ格納部２２３には、放送受信機部２０２で受信した放送番組コンテンツの実体データ（以下、単に放送番組コンテンツデータという）、ダウンロードしたコンテンツのデータ、およびそれらのコンテンツに関する情報とが、合わせて格納されている。このコンテンツに関する情報としては、コンテンツ識別情報（コンテンツＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））に関連して、放送番組コンテンツの場合には、放送番組名（タイトル）放送年月日、放送時間などの情報などが記憶され、ダウンロードコンテンツの場合には、コンテンツのタイトル名、ダウンロード日、データ容量などが記憶される。

また、コンテンツデータは、放送時刻および／または受信時刻の時間情報が付加されてデータ格納部２２３に格納される。あるいは、当該放送時刻および／または受信時刻の時間情報がコンテンツデータに関連した状態でデータ格納部２２３に格納される。この時間情報により、感情データと、コンテンツデータとは対応を付けることができる。したがって、この時間情報は、この実施形態では、少なくとも感情データを取得する時間単位で記録する必要がある。

コンテンツの記録時、つまり、データ格納部２２３へのコンテンツデータの格納時に、当該コンテンツをユーザ（コンテンツの鑑賞者）が視聴している場合には、その際に、視聴しているユーザの生体情報を収集し、その生体情報に基づいて、鑑賞者の感情データを取得して、その感情データを、例えばコンテンツＩＤおよび記録時の前記時間情報に対応させてデータ格納部２２３に格納することができる。

このコンテンツデータの記録時における感情データの記録動作は、上述した第１の実施形態における撮像情報の記録時における感情データの記録動作と同様であり、コンテンツを視聴しているときの感情を表わす感情データをデータ格納部２２３に、前記コンテンツの時間情報に関連させて格納すると共に、視聴しているコンテンツの画像と共にリアルタイム表示することができる。そして、コンテンツの記録終了時（視聴終了時）に、当該コンテンツの視聴期間における感情ビジュアルデータを生成してデータ格納部２２３に格納し、また、その感情ビジュアルデータからなる感情表示アイコンの画像データの生成も行ない、生成した感情表示アイコンの画像データもデータ格納部２２３に格納する。

しかし、予約録画時や、コンテンツのダウンロード時には、一般的には、ユーザは、当該放送番組コンテンツやダウンロードコンテンツを鑑賞することはない。そこで、この実施形態では、再生時に、コンテンツを鑑賞しているユーザの生体情報を収集し、その生体情報に基づいて、鑑賞者の感情データを取得して、その感情データを、例えばコンテンツＩＤおよび記録時の前記時間情報に対応させてデータ格納部２２３に格納するようにする。

データ格納部２２３に格納した感情表示アイコンの画像情報は、前述した第１の実施形態の場合と同様にして、再生に先立ち、データ格納部２２３に格納されている再生可能なコンテンツの一覧を表示する際に、それぞれのコンテンツに対応させて、画面に表示させるようにする。これにより、各コンテンツを以前に鑑賞したときの感情状態が判り、鑑賞したいコンテンツの選択の参考資料とすることができる。

図１８は、この録画再生装置２００におけるデータ格納部２２３に格納されているコンテンツの再生時の処理動作を説明するためのフローチャートである。この図１８の処理は、ＣＰＵ２０１により、ＲＯＭ２０３に格納されているプログラムにしたがって、ＲＡＭ２０４がワークエリアとして用いられて実行される。

先ず、再生に先立ち、データ格納部２２３に格納されている再生可能なコンテンツについての一覧を表示する（ステップＳ５０１）。この一覧表示においては、既にユーザが一度鑑賞して、感情データ、感情ビジュアルデータおよび感情アイコンのデータがデータ格納部２２３に格納されているコンテンツに関しては、前記感情表示アイコンの画像が、対応するコンテンツ名の表示の横などに表示される。

次に、ＣＰＵ２０１は、表示されたコンテンツ一覧の中から、再生するコンテンツが選択されるのを待ち（ステップＳ５０２）、コンテンツが選択されたと判別したときには、選択されたコンテンツが感情表示アイコン付きのコンテンツであるか否か判別する（ステップＳ５０３）。選択されたコンテンツが感情表示アイコン付きのコンテンツであると判別したときには、既に鑑賞者の感情データが蓄積されているので、この例では、感情データの再蓄積は行なわず、データ格納部２２３から選択されたコンテンツのデータを読み出して、再生を実行する（ステップＳ５０４）。もっとも、前に記録した感情データを破棄して、再度、新たに鑑賞（ここでは視聴）したときの感情データや感情ビジュアルデータを記録するようにすることももちろんできる。さらに、別々に記録してそれらの変化を見る、平均化処理を行なう等の利用もできる。

ステップＳ５０４におけるコンテンツの再生時においては、感情ビジュアルデータによる感情可視化画像も、例えばモニター装置２３０の画面や、表示部２２７の画面に表示される。そして、前述の第１の実施形態と同様に、再生中のコンテンツにおいて現在視聴しているパートに対応する感情データは、当該感情可視化画像において、どの位置であるかが、図１０における輝点ＣＳなどの指標により表示されて、対応関係がわかるように表示される。感情可視化画像が時系列タイプのものであれば、コンテンツにおいて、どの再生時間位置の感情であるかも知ることができる。

次に、ＣＰＵ２０１は、停止キーが操作されて、再生停止指示がなされるまで、再生処理を継続し、再生停止指示がなされたと判別したときには（ステップＳ５０５）、データ格納部２２３からのコンテンツデータの読み出しを停止する（ステップＳ５０６）。そして、再生モードの終了操作がなされたか否か判別し（ステップＳ５０７）、再生モードの終了操作がなされてはいないと判別したときには、ステップＳ５０１に戻り、また、再生モードの終了操作がなされたと判別したときには、この再生処理ルーチンを終了する。

ステップＳ５０３で、感情表示アイコン付きではないと判別したときには、ＣＰＵ２０１は、ユーザの感情解析をするか否かの指示入力を待って、感情解析をするかどうか判別する（ステップＳ５０８）。感情解析をしないと判別したときには、ステップＳ５０４に進み、前述したステップＳ５０４以降の処理を実行する。

また、ステップＳ５０８で感情解析をすると判別したときには、ＣＰＵ２０１は、生体情報の取得をしながらコンテンツの再生を実行するようにする（ステップＳ５０９）。このとき、ユーザが生体情報入力部２２４を構成する、例えば電極を取り付けていないことを、その出力データを監視するなどにより検知したときには、生体情報の取得ができる状態になっていないことをユーザに報知して、電極などの装着を促し、当該電極などの装着を確認した後、コンテンツの再生を実行するようにする。そして、この再生においては、ＣＰＵ２０１は、データ格納部２２３にコンテンツデータと共に記録されている時間情報を監視して、再生時間位置の管理も行なう。

次に、ＣＰＵ２０１は、生体情報入力部コントローラ２０７で、生体情報入力部２２４で取得され、Ａ／Ｄ変換部２２５でデジタル信号に変換された、コンテンツ鑑賞者の生体情報を、解析処理させる（ステップＳ５１０）。そして、生体情報入力部コントローラ１０７からの生体情報を、感情解析処理部２０８に転送し、感情解析させ、その解析結果の感情データ（感情パラメータ値）を、管理されている再生時間位置に対応する時間情報と共に、データ格納部コントローラ２０９により、データ格納部２２３に格納させる（ステップＳ５１１）。

このステップＳ５１１においては、生体情報入力部コントローラ２０７からの生体情報のそれぞれに対して感情データ（感情パラメータ値）を算出するようにしてもよいが、この実施形態では、前述の図６で説明したのと同様に、予め定められた一定時間（単位時間）毎に、感情データを平均化して当該一定時間毎の感情データ（感情パラメータ値）を算出するようにする。この場合の一定時間（単位時間）は、前述の図６において設定される平均化間隔の時間よりも短い一定時間とされる。そして、この一定時間単位の時間情報と関連して、データ格納部２２３に感情データが格納される。この実施形態においては、時間情報により、感情データと、コンテンツデータとは対応を付けることができる。

また、感情解析処理部２０８での解析結果の感情データをビジュアルデータ処理部２１２に送り、色変換テーブル情報記憶部２２６の色変換テーブル情報を用いて、当該感情データを色情報に変換し、それを、ＡＶ出力インターフェース２１７を通じてモニター装置２３０に送って、その表示画面に表示させる。あるいは、表示部コントローラ２１３により表示部２２７の画面に表示させる（ステップＳ５１２）。この表示は、コンテンツ再生を行なっているときの、その時々のユーザの感情状態を、モニター装置２３０のコンテンツ再生画面において、あるいは、表示部２２７において、リアルタイムで表示するものである。

そして、再生停止の操作入力がユーザによりなされて再生終了となったか否か、あるいは、対象となるコンテンツデータのすべてが読み出されて再生終了となったか否か判別し（ステップＳ５１３）、再生終了でないと判別したときには、ＣＰＵ２０１は、ステップＳ５０９に戻って、このステップＳ５０９以降の処理を繰り返す。

また、ステップＳ５１３で、再生終了と判別したときには、ＣＰＵ２０１は、記録した時間区間のすべてにおける感情データを、データ格納部２２３からデータ格納部コントローラ２０９を通じて読み出し、図６に示したようにして、予め設定された表示タイプの感情ビジュアルデータを作成し、データ格納部２２３に格納されているコンテンツデータに関連させて格納する（ステップＳ５１４）。

このとき、ステップＳ５１４では、再生コンテンツについて、鑑賞した時間区間のすべての区間における感情を、指定された表示タイプで、前述したように時系列表示タイプや分布表示タイプで表示したものからなる小さい感情表示アイコンも生成し、データ格納部２２３に、再生したコンテンツに関連させて格納する。

そして、データ格納部２２３に格納されている、コンテンツデータと、感情データと、感情ビジュアルデータと、前記感情表示アイコンの表示用画像情報とを関連するものとする管理情報（図８参照）の更新を行なう（ステップＳ５１５）。そして、ステップＳ５０７に進み、再生モードの終了操作がなされたか否か判別し、再生モードの終了操作がなされてはいないと判別したときには、ステップＳ５０１に戻り、また、再生モードの終了操作がなされたと判別したときには、この再生処理ルーチンを終了する。

なお、前述の感情表示アイコンの画像、また、感情ビジュアルデータによる感情可視化画像を、プリンタコントローラ２１６を通じてカラープリンタ２２９に出力して、シールや記録紙などに、カラー印刷することができる。そのカラー印刷出力物に、コンテンツＩＤやコンテンツタイトルなどを合わせて印刷出力することもできる。

したがって、データ格納部２２３が、例えばＤＶＤなどのリムーバルな記録媒体を用いる装置からなる場合には、このカラー印刷したシールや記録紙をＤＶＤに貼り付けたり、ジャケット内に同封したりしておくことができる。これにより、後の時点において、それらのシールや記録紙に印刷された感情表示アイコンを見ることにより、当該ＤＶＤに格納されているコンテンツ視聴時にどのような感情を持ったか、一目でわかり、便利である。

なお、図１７の例では、放送番組コンテンツやインターネットなどのネットワークからダウンロードしたコンテンツをデータ格納部に格納するようにしたが、ＡＶ入力端子を設け、例えばＤＶＤプレーヤなどからの音声データおよび画像データを受けて、データ格納部２２３に格納するようにしてもよい。

また、録画再生装置２００のユーザは、例えば家族ユーザである場合には、コンテンツ毎の感情データは、家族構成員のそれぞれについて、記録するようにしてもよい。その場合には、家族構成員のそれぞれにユーザＩＤを付与し、当該ユーザＩＤに対応して感情データをデータ格納部２２３に格納するようにする。

ただし、コンテンツ一覧表示においては、家族構成員のそれぞれの感情表示アイコンを、すべて表示するようにしてもよいし、再生要求をしようとしているユーザの感情表示アイコンのみを表示するようにしてもよい。さらに、家族の平均の感情データを生成して、当該平均の感情データによる可視化画像を感情表示アイコンとして表示するようにしても良い。

また、録画再生装置２００は、図１７の例に限らず、データ格納部２２３を例えばハードディスクドライブで構成し、これに加えて、ＤＶＤドライブが設けられて、ＤＶＤの記録再生が可能とされる構成とすることもできる。その場合に、感情ビジュアルデータや感情表示アイコンは、各ＤＶＤに記録するようにするとよい。また、各ＤＶＤに記録するのではなく、データ格納部２２３に、各ＤＶＤの識別子と対応させると共に、当該ＤＶＤに記録されているコンテンツの再生時間位置の情報と対応させて、そのＤＶＤのコンテンツについての感情データや感情ビジュアルデータ、また、感情表示アイコンを記録するようにすることもできる。

なお、この第２の実施形態を、再生部についてのみについて注目すれば、録画再生装置ではなく、ＤＶＤプレーヤなどのコンテンツの再生装置にもこの発明が適用できることは言うまでもない。

＜他の実施形態＞
この発明は、上述のような画像および音声の視聴を伴う感情の可視化の場合に限らず、音楽のみを聴取した時の感情の可視化の場合、本（電子文書）を読んだときの感情の可視化の場合、美術作品の画像を鑑賞したときの感情を可視化する場合などにも適用可能である。それらの場合、音楽コンテンツ（音声情報）、電子文書コンテンツ（画像情報）、美術作品のコンテンツ（画像情報）が、感情データと対応してデータ格納部に記録されるのは、上述の例と同様である。

また、この発明は、複数人の平均の感情の可視化を適用する場合も、上述した場合に限らず、例えば、コンサート、テーマパーク、イベントに参集した人々の平均の感情を可視化表示するようにする場合にも適用可能である。その場合には、当該コンサートの画像や音声情報、テーマパークでの画像と音声情報、イベントにおける画像および音声情報と、それら複数人の平均の感情データとを対応させて記録するものである。

また、上述の実施形態では、感情の可視化情報としては、色情報を用いるようにしたが、例えば顔（実画像、簡単な漫画など）の表情で表わしたものや、記号などで表わしたものであっても良い。その場合には、感情データと、顔の表情や記号との変換テーブルを用意して、上述の色変換処理と同様にすることができる。また、感情の変化を光の明暗で表わすようにすることもできる。

この発明による感情の可視化方法の実施形態が適用された撮像情報記録再生装置の一例のブロック図である。 図１の一部の構成例を示すブロック図である。 この発明による感情の可視化方法の実施形態の説明に用いる感情モデルの例を示す図である。 この発明による感情の可視化方法の実施形態に用いられる色変換テーブル情報の一例を示す図である。 この発明による感情の可視化方法の実施形態による可視化出力画像のいくつからの表示タイプを説明するための図である。 この発明による感情の可視化方法の実施形態を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における記録処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置において、格納されるデータの管理構造を説明するための図である。 図１の撮像情報記録再生装置における再生処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における再生処理時の、感情可視化画像表示例を示す図である。 この発明による感情の可視化方法の実施形態が適用されるネットワークシステムの一例を示す図である。 この発明による感情の可視化方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 この発明による感情の可視化方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。 この発明による感情の可視化方法の実施形態が適用された録画再生装置の一例のブロック図である。 図１７の例の録画再生装置における再生処理を説明するためのフローチャートである。

Claims (40)

1. 被写体を撮像する撮像手段と、
   前記撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する撮像情報記録手段と、
   前記撮像手段で撮像を行なう撮影者の生体情報を取得するための生体情報取得手段と、
   前記生体情報取得手段からの生体情報を解析し、前記撮影者の感情を表わす感情情報を得る感情解析処理手段と、
   前記感情解析処理手段からの前記感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応させることにより前記撮像情報と対応させて記録する感情情報記録手段と、
   前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化手段と、
   前記感情可視化手段からの前記感情情報を可視化するための情報を、前記撮像情報および前記感情情報に関連させて格納する感情可視化情報格納手段と、
   を備えることを特徴とする記録装置。
2. 請求項１に記載の記録装置において、
   前記感情可視化手段は、
   前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
   前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する前記可視化情報を得る変換処理手段と、
   前記変換処理手段からの前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成手段と、
   を備えることを特徴とする記録装置。
3. 請求項２に記載の記録装置において、
   前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報であり、
   前記変換処理手段は、前記前記色変換テーブル情報を用いて、前記感情情報に対応する色情報を得るものであり、
   前記感情可視化画像情報生成手段は、前記変換処理手段からの前記色情報を用いて、前記撮影者の感情を色により可視化する感情可視化画像情報を生成する
   ことを特徴とする記録装置。
4. 請求項２に記載の記録装置において、
   表示手段を設け、
   前記撮像手段で撮像しながら、前記感情解析処理手段からの前記感情情報を、前記変換テーブル情報を用いて可視化情報に変換し、前記可視化情報による画像を前記表示手段に表示する
   ことを特徴とする記録装置。
5. 請求項２に記載の記録装置において、
   前記感情解析処理手段は、前記生体情報から得た感情情報を、所定の単位時間毎に平均化した、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
   前記感情可視化手段は、前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情解析処理手段からの前記単位時間毎の平均の感情を表す感情情報に対応する感情可視化画像情報を出力するものである
   ことを特徴とする記録装置。
6. 請求項３に記載の記録装置において、
   前記感情可視化手段は、前記色変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記撮像情報が記録された期間内における感情の変化を色により可視化する感情可視化画像情報を生成する
   ことを特徴とする記録装置。
7. 請求項３に記載の記録装置において、
   前記感情可視化手段は、前記色変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記撮像情報が記録された期間内における前記感情の状態分布を可視化する感情可視化画像情報を生成する
   ことを特徴とする記録装置。
8. 請求項２に記載の記録装置において、
   前記感情可視化画像情報に基づく画像を、記録担体に印刷する印刷出力手段を備える
   ことを特徴とする記録装置。
9. 被写体を撮像する撮像手段と、
   前記撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する撮像情報記録手段と、
   前記撮像手段で撮像する撮影者の生体情報を取得するための生体情報取得手段と、
   前記生体情報取得手段からの生体情報を解析し、前記撮影者の感情を表わす感情情報を得る感情解析処理手段と、
   前記感情解析処理手段からの前記感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応させることにより前記撮像情報と対応させて記録する感情情報記録手段と、
   前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化手段と、
   前記感情可視化手段からの前記感情情報を可視化するための情報を、前記撮像情報および前記感情情報に関連させて格納する感情可視化情報格納手段と、
   前記撮像情報記録手段により記録された前記撮像情報と、前記感情可視化情報格納手段により格納された前記感情を可視化するための情報とを、関連させて再生させる再生手段と、
   を備えることを特徴とする記録再生装置。
10. 請求項９に記載の記録再生装置において、
    前記感情可視化手段は、
    前記感情情報と前記感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する前記可視化情報を得る変換処理手段と、
    前記変換処理手段からの前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成手段と、
    を備えることを特徴とする記録再生装置。
11. 請求項１０に記載の記録再生装置において、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報であり、
    前記変換処理手段は、前記前記色変換テーブル情報を用いて、前記感情情報に対応する色情報を得るものであり、
    前記感情可視化画像生成手段は、前記変換処理手段からの前記色情報を用いて、前記撮影者の感情を色により可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生装置。
12. 請求項９に記載の記録再生装置において、
    前記感情可視化手段は、前記撮像情報の記録を停止した後、前記感情情報記録手段により記録された前記感情情報を順次に読み出して、当該感情情報に対応する可視化情報を得、当該可視化情報を用いて、前記撮像情報が記録された期間における前記撮影者の感情を可視化する感情可視化画像情報を生成するものであって、
    前記再生手段により再生されるときに、前記感情可視化画像情報による画像には、前記撮像情報のうちの再生中の画像に対応する感情情報の再生位置を示す指標が表示される
    ことを特徴とする記録再生装置。
13. 請求項１１に記載の記録再生装置において、
    前記感情可視化手段は、前記撮像情報が記録された期間内における前記感情情報の変化に対応する色情報による色の変化の表示領域を、矩形領域に１次元的に展開して、前記撮影者の感情の変化を可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生装置。
14. 請求項１１に記載の記録再生装置において、
    前記感情可視化手段は、前記撮像情報が記録された期間内における前記感情情報の変化に対応する色情報による色の変化の表示領域を、矩形領域に２次元的に展開して、前記撮影者の感情の変化を可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生装置。
15. 請求項１１に記載の記録再生装置において、
    前記感情可視化手段は、前記撮像情報が記録された期間内における前記感情情報の変化に対応する色情報による色の変化の表示領域を、前記環状領域を円周方向に分割した領域に割り当てて、前記撮影者の感情の変化を可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生装置。
16. 請求項１１に記載の記録再生装置において、
    前記感情可視化手段は、前記色変換処理手段からの前記色情報による各色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生装置。
17. 請求項１０に記載の記録再生装置において、
    前記感情可視化画像情報に基づく画像を、記録担体に印刷する印刷出力手段を備える
    ことを特徴とする記録再生装置。
18. 撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する撮像情報記録工程と、
    前記撮像情報記録工程と並行して、前記撮像手段で撮像する撮影者の生体情報を取得し、当該取得した生体情報を解析し、前記撮影者の感情を表わす感情情報を得、当該感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応させることにより前記撮像情報と対応させて記録する感情情報記録工程と、
    前記撮像情報記録工程および前記感情情報記録工程の終了後、前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化工程と、
    前記感情可視化工程で生成された前記感情情報を可視化するための情報を、前記撮像情報および前記感情情報に関連させて格納する感情可視化情報格納工程と、
    を備えることを特徴とする記録方法。
19. 請求項１８に記載の記録方法において、
    前記感情可視化工程は、
    前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する可視化情報を得る変換処理工程と、
    前記変換処理工程で得られた前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成工程と、
    からなることを特徴とする記録方法。
20. 請求項１８に記載の記録方法において、
    前記変換テーブル情報は、感情情報と色情報との対応関係を示す色変換テーブル情報であり、
    前記変換処理工程は、前記色変換テーブル情報を用いて前記感情情報に対応する色情報を得るものであり、
    前記感情可視化工程は、前記色情報を用いて、前記撮影者の感情を色により可視化する感情可視化画像情報を生成する
    ことを特徴とする記録方法。
21. 請求項１９に記載の記録方法において、
    前記感情情報記録工程と並行して、前記感情情報記録工程において得られる前記感情情報を、前記変換テーブル情報を用いて可視化情報に変換し、当該可視化情報による画像を表示画面に表示する工程を備える
    ことを特徴とする記録方法。
22. 撮像手段で撮像した撮像情報を、撮像時刻の時間情報と対応させて記録する撮像情報記録工程と、
    前記撮像情報記録工程と並行して、前記撮像手段で撮像する撮影者の生体情報を取得し、当該取得した生体情報を解析し、前記撮影者の感情を表わす感情情報を得、当該感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応させることにより前記撮像情報と対応させて記録する感情情報記録工程と、
    前記撮像情報記録工程および前記感情情報記録工程の終了後、前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化工程と、
    前記感情可視化工程で得られた前記感情情報を可視化するための情報を、前記撮像情報および前記感情情報に関連させて格納する感情可視化情報格納工程と、
    再生指示を受けたときに、前記撮像情報記録工程において記録された前記撮像情報と、前記感情可視化情報格納工程で格納された前記感情情報を可視化するための情報とを、関連させて再生させる再生工程と、
    を備えることを特徴とする記録再生方法。
23. 請求項２２に記載の記録再生方法において、
    前記感情可視化工程は、
    前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する可視化情報を得る変換処理工程と、
    前記変換処理工程で得られた前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成工程と、
    からなることを特徴とする記録再生方法。
24. 請求項２３に記載の記録再生方法において、
    前記変換テーブル情報は、感情情報と色情報との対応関係を示す色変換テーブル情報であり、
    前記変換処理工程は、前記色変換テーブル情報を用いて前記感情情報に対応する色情報を得るものであり、
    前記感情可視化画像情報生成工程は、前記色情報を用いて、前記撮影者の感情を色により可視化する感情可視化画像情報を生成する
    ことを特徴とする記録再生方法。
25. 請求項２３に記載の記録再生方法において、
    前記感情情報記録工程と並行して、前記感情情報記録工程において得られる前記感情情報を、前記変換テーブル情報を用いて可視化情報に変換し、当該可視化情報による画像を表示画面に表示する工程を備える
    ことを特徴とする記録再生方法。
26. 請求項２３に記載の記録再生方法において、
    前記感情可視化工程で生成される前記感情可視化画像情報は、前記撮像情報が記録された全期間における前記撮影者の感情の変化を時間の経過に対応して表示するものであって、前記撮像情報のうちの、再生中の画像に対応する感情情報の再生位置を示す指標を伴うものである
    ことを特徴とする記録再生方法。
27. 請求項２４に記載の記録再生方法において、
    前記感情可視化工程で生成される前記感情可視化画像情報は、前記変換処理手段からの前記色情報による各色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記撮像情報が記録された期間内における前記感情の状態分布を可視化するものであって、前記撮像情報のうちの、再生中の画像に対応する感情情報の再生位置を示す指標を伴うものである
    ことを特徴とする記録再生方法。
28. コンテンツを、当該コンテンツの先頭からの再生時間位置を管理しながら再生する再生手段と、
    前記再生手段で再生されたコンテンツを鑑賞している鑑賞者の生体情報を取得するための生体情報取得手段と、
    前記生体情報取得手段からの生体情報を解析し、前記鑑賞者の感情を表わす感情情報を得る感情解析処理手段と、
    前記感情解析処理手段からの前記感情情報を、当該感情情報を取得した前記再生時間位置の情報に対応させることにより前記コンテンツと対応させて記録する感情情報記録手段と、
    前記感情情報記録手段で記録された前記感情情報を可視化するための情報を得る感情可視化手段と、
    前記感情可視化手段で生成された前記感情を可視化するための情報を、前記コンテンツおよび前記感情情報に関連させて格納する感情可視化情報格納手段と、
    を備えることを特徴とする再生装置。
29. 請求項２８に記載の再生装置において、
    前記感情可視化手段は、
    前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情情報記録手段で記録された前記感情情報に対応する可視化情報を得る変換処理手段と、
    前記変換処理手段からの前記可視化情報を用いて感情可視化画像情報を生成する感情可視化画像情報生成手段と、
    を備えることを特徴とする再生装置。
30. 請求項２９に記載の再生装置において、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報であり、
    前記変換処理手段は、前記前記色変換テーブル情報を用いて、前記感情情報に対応する色情報を得るものであり、
    前記感情可視化画像生成手段は、前記変換処理手段からの前記色情報を用いて、前記コンテンツの鑑賞者の感情を色により可視化する感情可視化画像情報を生成する
    ことを特徴とする再生装置。
31. 請求項２９に記載の再生装置において、
    表示手段を設け、
    前記コンテンツを再生しながら、前記感情解析処理手段からの前記感情情報から得た前記可視化情報による画像を前記表示手段に表示する
    ことを特徴とする再生装置。
32. 請求項２９に記載の再生装置において、
    前記変換処理手段は、前記コンテンツの再生を終了した後、前記感情情報記録手段により記録された前記感情情報を順次に読み出して、当該感情情報に対応する可視化情報を得るものであり、
    前記感情可視化手段は、前記コンテンツを鑑賞している期間における前記鑑賞者の感情を可視化する感情可視化画像情報を生成するものである
    ことを特徴とする再生装置。
33. 請求項２９に記載の再生装置において、
    前記感情解析処理手段は、前記生体情報から得た感情情報を、所定の単位時間毎に平均化した、前記単位時間毎の平均の感情を表わす感情情報を得るものであり、
    前記変換処理手段は、前記変換テーブル情報保持手段の前記変換テーブル情報を用いて、前記感情解析処理手段からの前記単位時間毎の平均の感情を表す感情情報に対応する可視化情報を出力するものである
    ことを特徴とする再生装置。
34. 請求項３０に記載の再生装置において、
    前記感情可視化手段の前記変換処理手段は、前記コンテンツの再生を終了した後、前記感情情報記録手段により記録された前記感情情報を順次に読み出して、当該感情情報に対応する色情報を得るものであり、
    前記感情可視化画像生成手段は、前記色変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記コンテンツを鑑賞している期間内における前記鑑賞者の感情の変化を色により可視化する感情可視化画像情報を生成する
    ことを特徴とする再生装置。
35. 請求項３０に記載の再生装置において、
    前記感情可視化手段の前記変換処理手段は、前記コンテンツの再生を終了した後、前記感情情報記録手段により記録された前記感情情報を順次に読み出して、当該感情情報に対応する色情報を得るものであり、
    前記感情可視化画像生成手段は、前記変換処理手段からの前記色情報に基づく色出力の、前記鑑賞者が前記コンテンツを鑑賞している期間分についての割合を可視化することにより、前記コンテンツを鑑賞している期間内における前記鑑賞者の前記感情の状態分布を可視化する感情可視化画像情報を生成する
    ことを特徴とする再生装置。
36. 請求項２９に記載の再生装置において、
    前記感情可視化画像情報に基づく画像を、記録担体に印刷する印刷出力手段を備える
    ことを特徴とする再生装置。
37. 請求項２９に記載の再生装置において、
    コンテンツの再生時に前記感情可視化情報格納手段により格納された前記感情可視化画像情報が存在するときに、表示画面に、前記コンテンツの全再生期間における前記鑑賞者の感情を可視化する感情可視化画像であって、再生中の前記コンテンツ位置に対応する感情情報の位置を示す指標を伴う画像を表示する
    ことを特徴とする再生装置。
38. コンテンツを、当該コンテンツの先頭からの再生時間位置を管理しながら再生する再生工程と、
    前記再生工程で再生されたコンテンツを鑑賞している鑑賞者の生体情報を取得して解析し、前記鑑賞者の感情を表わす感情情報を得る感情解析処理工程と、
    前記感情解析処理工程で得られた前記感情情報を、当該感情情報を取得した前記再生時間位置の情報に対応させることにより前記コンテンツと対応させて記録する感情情報記録工程と、
    前記再生工程および前記感情情報記録工程の終了後、前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報を用いて、前記感情情報に対応する可視化情報を得る変換処理工程と、
    前記変換処理工程で得られた前記可視化情報を用いて、前記鑑賞者の感情を可視化する感情可視化画像情報を生成する感情可視化工程と、
    前記感情可視化工程で生成された前記感情可視化画像情報を、前記コンテンツおよび前記感情情報に関連させて格納する感情可視化情報格納工程と、
    を備えることを特徴とする再生方法。
39. 請求項３８に記載の再生方法において、
    前記コンテンツを再生しながら、前記感情解析処理で得られた前記感情情報を、前記変換テーブル情報を用いて可視化情報に変換して、前記可視化情報による画像を表示画面に表示する工程を備える
    ことを特徴とする再生方法。
40. 請求項３８に記載の再生方法において、
    コンテンツの再生時に前記感情可視化情報格納工程により格納された前記感情可視化画像情報が存在するときに、表示画面に、前記コンテンツの全再生期間における前記鑑賞者の感情を可視化する感情可視化画像であって、再生中の前記コンテンツ位置に対応する感情情報の位置を示す指標を伴う画像を表示する
    ことを特徴とする再生方法。

Images