JP2005063163A - 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法 - Google Patents

撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法 Download PDF

Info

Publication number
JP2005063163A
JP2005063163A JP2003292857A JP2003292857A JP2005063163A JP 2005063163 A JP2005063163 A JP 2005063163A JP 2003292857 A JP2003292857 A JP 2003292857A JP 2003292857 A JP2003292857 A JP 2003292857A JP 2005063163 A JP2005063163 A JP 2005063163A
Authority
JP
Japan
Prior art keywords
information
emotion
visualization
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003292857A
Other languages
English (en)
Other versions
JP4264717B2 (ja
Inventor
Satoru Sasa
哲 佐々
Chisato Kitsukawa
千里 橘川
Hiroteru Matsuyama
博輝 松山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003292857A priority Critical patent/JP4264717B2/ja
Publication of JP2005063163A publication Critical patent/JP2005063163A/ja
Application granted granted Critical
Publication of JP4264717B2 publication Critical patent/JP4264717B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】人の感情の状態およびその感情を持ったときの出来事や経験などを、対応付けて正確に検索することができるようにする。
【解決手段】撮像情報格納部に、撮像情報を撮像時刻の時間情報と対応して格納する。感情情報格納部に、撮影者から取得した生体情報を解析して得た当該撮影者の感情を表わす感情情報を、撮像時刻の時間情報に対応して格納する。撮像がなされた全期間あるいは一部の期間における感情情報が、変換テーブル情報により変換可能な可視化情報により可視化された感情可視化画像を表示画面に表示する。感情可視化画像上の任意の画像位置あるいは任意の画像範囲が指定されたとき、その指定位置あるいは範囲の感情情報を、変換テーブル情報を用いて検出する。検出された感情情報あるいは当該感情情報に近似する感情情報を、感情情報格納部から検索し、対応する撮像情報を再生する。
【選択図】図１

Description

この発明は、例えば、人の日々の体験を、そのときの人の感情から、あるいは再生コンテンツを、そのコンテンツを鑑賞した人の感情から検索することができるようにするための装置および方法に関する。また、この発明は、前記装置および方法に用いることができる、ある感情と近似する感情を検索する装置および方法に関する。
人は、例えば過去の、ある期間やある時に、どのような感情の状態で過ごしていたか、そのとき当該人はどのような環境にいたか、あるいは、どのような体験をしていたか、などを知りたい場合がある。例えば日記に、そのときの出来事および感情が文章として書き記されている場合には、その日記を読むことで、上記の感情およびその感情を持ったときの出来事などを推し量ることができる。
しかしながら、日記の場合、人の文章表現力にもよるが、一般的には、そのときの経験や出来事およびその際の感情を、客観的に、かつ、正確に書き記すことは困難である。また、日記は、それを読まなければ、そのときの経験や出来事およびその際の人の感情を知ることはできない。また、文章から感情を推し量ることになるので、そのときの経験や出来事およびその際の人の感情を、正確に認識することも困難である。
特許文献１（特開２００２−２３００１１号公報）には、文書に表現されている感情を判別し、その判別した感情を、アイコンなどの視覚的表示形式に変換して表示することができる感情認識システムが提供されている。
この特許文献１においては、予め、単語ごとに、例えば「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情要素を数値化して割り当てた感情表現辞書を用意しておき、認識対象文書を、単語に分解して、前記感情表現辞書を用いて、当該認識対象文書に表現されている感情を認識する。そして、特許文献１においては、認識した「喜び」、「悲しみ」、「驚き」、「恐怖」、「怒り」、「嫌悪」などの感情を、アイコンなどの視覚的表示形式に変換して、視覚化表示するようにしている。
特開２００２−２３００１１号公報
しかしながら、上述の特許文献１の技術では、日記に記述されている文章に表現されている感情を判別することができたとしても、その感情を人が持ったときの出来事や経験を検索することができない。また、ある感情、例えばリラックスしていると感じる状態と、同様の感情を持った状態を検索しようとしても、それを検索することはできない。
人は、ある種の感情を持ったときに、それと同様な感情を持ったのは、何時であったかなどを知りたいことがある。そのような感情を持った時点が判れば、日記やその他の資料、記憶などにより、ある程度は、そのときに当該人の周囲で起こったことは判明すると期待できる。さらには、その感情を持った時点で、どのような出来事が生じていたか、あるいは、どのような経験をしていたかを客観的に知る手立てがあれば、非常に便利である。
また、あるコンテンツ（この明細書で、コンテンツとは、視覚的あるいは聴覚的に鑑賞できるものを称し、例えば映画、音楽、小説などの文書、絵画などを含むものである）を鑑賞したときの感情（例えば興奮したなど）と同様の感情を得たいときに、その感情が得られるコンテンツを検索することができれば、非常に便利である。
この発明は、以上のような要求に答えることができる装置および方法を提供することを目的とする。
上記の課題を解決するために、請求項１の発明は、
撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲の指定手段と、
前記指定手段により指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて検出する手段と、
前記検出した感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
を備える撮像情報の検索再生装置を提供する。
請求項１の発明による撮像情報の検索再生装置においては、人が体験した出来事や経験は、撮像されて撮像情報格納部に格納されると共に、そのときに人が持った感情を表わす感情情報が感情情報格納部に格納される。この場合に、撮像時刻の時間情報を媒介にして、撮像情報と感情情報とは、互いに対応関係を持って格納される。
そして、請求項１の発明においては、感情情報は、変換テーブル情報により変換可能な可視化情報が用いられた感情可視化画像として表示画面に表示される。この感情可視化画像を構成する各可視化情報は、前述したように、各感情情報に対応している。したがって、この感情可視化画像上において、ある位置や範囲を指示すると、その指示は、感情や感情範囲の指示に対応する。
そして、この表示画面上において、感情可視化画像上の任意の画像位置あるいは任意の画像範囲がユーザにより指定されると、その指定された任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報が、前記変換テーブル情報が用いられて検出される。
そして、この検出された感情情報が、感情情報格納部から検索されて、当該感情情報に対応する時間情報が検出される。そして、この検出された時間情報で特定される撮像情報が、撮像情報格納部から読み出されて再生される。
したがって、この請求項１の発明によれば、感情情報を、可視化情報に変換して生成した感情可視化画像を用いることにより、感情の可視化情報を用いて、特定の感情や感情変化範囲の指定が可能になる。
そして、この請求項１の発明によれば、指定された特定の感情、あるいは特定の感情変化が生じたときの、撮像情報が検索されて再生されるので、指定された特定の感情や感情変化が、どのような出来事の元で得られたかが容易にわかる。
また、請求項２の発明は、
撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索手段と、
前記検索手段で検索された時間情報に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
を備える撮像情報の検索再生装置を提供する。
この請求項２の発明による撮像情報の検索再生装置においては、感情情報は、変換テーブル情報により変換可能な可視化情報が用いられて時系列に可視化された感情可視化画像として表示画面に表示される。したがって、この感情可視化画像上において、ある位置や範囲を指示すると、その指示は、感情情報が得られた時間情報に対応する。
そして、この表示画面上において、感情可視化画像上の任意の画像位置あるいは任意の画像範囲がユーザにより指定されると、その指定された任意の画像位置あるいは前記任意の画像範囲に対応する時間情報が検索される。そして、この検索された時間情報で特定される撮像情報が、撮像情報格納部から読み出されて再生される。
したがって、この請求項２の発明によれば、感情情報を、可視化情報に変換して生成した感情可視化画像を用いることにより、感情の可視化情報を用いて、特定の感情や感情変化範囲に対応する時間の指定が可能になる。
そして、この請求項１の発明によれば、指定された特定の感情、あるいは特定の感情変化が生じたときの、撮像情報が検索されて再生されるので、指定された特定の感情や感情変化が、どのような出来事の元で得られたかが容易にわかる。
また、請求項３の発明は、請求項１または請求項２に記載の撮像情報の検索再生装置において、
前記感情情報の可視化情報は、色情報であって、
前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
ことを特徴とする。
請求項３の発明によれば、感情情報を可視化するための情報としては、色情報を用い、感情情報を色に変換して表示するようにするので、例えば、「赤色」が濃いほど快適の感情を示し、「青色」が濃いほど不快の感情を示すように表示するなどすることにより、当該色の変化として感情の変化が可視化されると共に、色の分布状態により感情の状態分布を表示することが可能になる。
また、請求項６の発明は、
撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて得る感情情報検出手段と、
前記感情情報検出手段で得られた感情情報で表わされる感情に近似する感情を表わす感情情報を前記感情情報格納部に格納された感情情報から検索する検索手段と、
前記検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
ことを特徴とする撮像情報の検索再生装置を提供する。
この請求項６の発明においては、ユーザにより感情可視化画像上において指定された可視化情報に対応する感情情報が表わす感情に近似する感情を示すものとなる感情情報が感情情報格納部から検索される。そして、その検索された感情情報の時間位置に対応する撮像情報が再生される。
したがって、この請求項６の発明によれば、ある特定の感情と近似する感情が得られたときを検索することができると共に、その近似する感情が得られたときの出来事など、周辺の環境を知ることができる。
また、請求項１７の発明は、
コンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
前記指定手段を通じてユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて得る感情情報検出手段と、
前記感情情報検出手段で得られた感情情報を、前記感情情報格納部から検索する検索手段と、
前記検索手段で検索された前記感情情報の時間位置に対応する前記コンテンツデータを、前記コンテンツ格納部から読み出して再生する手段と、
を備えるコンテンツの検索再生装置を提供する。
この請求項１７の発明によれば、感情可視化画像により、例えば所定の放送番組や映画コンテンツなどを視聴しているときの感情の変化を可視化することができる。また、所定の放送番組や映画コンテンツなどを視聴したときの感情の状態分布を可視化することができる。
そして、この表示画面上において、感情可視化画像上の任意の画像位置あるいは任意の画像範囲がユーザにより指定されると、その指定された任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報が、前記変換テーブル情報が用いられて検出される。
そして、この検出された感情情報が、感情情報格納部から検索されて、当該感情情報に対応する時間情報が検出される。そして、この検出された時間情報で特定されるコンテンツが再生される。
したがって、請求項１７の発明によれば、例えば映画コンテンツにおいて、感情可視化画像で指定した感情の状態から検索した場面を視聴することができる。つまり、感情可視化画像上において、例えば興奮している感情に応じた可視化画像部分を指示すると、その興奮状態を現出させる場面が再生される。
また、請求項２２の発明は、
複数個のコンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報を、前記コンテンツのそれぞれに対応して、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像の情報を格納する感情可視化画像情報格納部と、
前記感情可視化画像情報格納部に格納される感情可視化画像情報を表示画面に表示する表示手段と、
前記表示画面に表示された複数の感情可視化画像の中から任意の感情可視化画像をユーザが指定するための指定手段と、
前記指定手段を通じて指定された前記感情可視化画像と近似する感情可視化画像となる感情可視化画像情報を前記感情可視化画像情報格納部に格納された感情可視化画像情報から検索し、検索結果の感情可視化画像情報に対応するコンテンツを提示する検索提示手段と、
前記提示されたコンテンツのデータを、前記コンテンツ格納部から読み出して再生する手段と、
を備えることを特徴とするコンテンツの検索再生装置を提供する。
この請求項２２の発明においては、コンテンツのそれぞれに対応して、鑑賞者が当該コンテンツを鑑賞したときの感情情報を、変換テーブル情報により変換可能な可視化情報により可視化した感情可視化画像が生成され、当該感情可視化画像が感情可視化画像情報格納部に格納されている。
この場合、感情可視化画像は、対応するコンテンツを鑑賞したときの鑑賞者の感情の状態が示されている。
そして、表示画面には、この感情可視化画像情報格納部に格納されている複数個の感情可視化画像が表示される。そして、ユーザは、その複数個の感情可視化画像を指定手段を通じて指定することができる。いずれかの感情可視化画像が選択指定されると、指定された前記感情可視化画像と近似する感情可視化画像となる感情可視化画像情報が、感情可視化画像情報格納部に格納された感情可視化画像情報から検索される。そして、検索結果の感情可視化画像情報に対応するコンテンツが提示される。
つまり、ある感情可視化画像をユーザが指定すると、その感情可視化画像に表現されている感情の状態と同様の感情の状態が得られるコンテンツが検索されて提示される。そして、ユーザは、その提示されたコンテンツを再生させることができる。
したがって、この請求項２２の発明によれば、感情可視化画像に表れている感情状態を基準にして、自分が鑑賞したいコンテンツを選択することが可能になる。
また、請求項３１の発明は、
人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報を取得した時間情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記感情情報格納部に格納されている前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報が用いられて時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
前記指定手段を通じて指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索手段と、
検索結果の時間情報を前記ユーザに報知するようにする手段と、
を備えることを特徴とする感情検索装置を提供する。
この請求項３１の発明においては、ユーザにより感情可視化画像上において指定された可視化情報に対応する感情情報あるいは感情情報範囲に対応する時間が検索され、その時間情報がユーザに報知される。
したがって、この請求項３１の発明によれば、ある特定の感情が得られた日時などを検索することができる。
また、請求項３２の発明は、
人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報を取得した時間情報に対応して格納されている感情情報格納部と、
前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
前記感情情報格納部に格納されている前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報が用いられて可視化された感情可視化画像を表示画面に表示する表示手段と、
前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
前記指定手段を通じて指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて検出する手段と、
前記検出した感情情報に近似する感情情報を前記感情情報格納部に格納された感情情報から検索する検索手段と、
検索結果の感情情報あるいは感情情報範囲に対応する時間が判るように前記ユーザに報知するようにする手段と、
を備えることを特徴とする感情検索装置を提供する。
この請求項３２の発明においては、ユーザにより感情可視化画像上において指定された可視化情報に対応する感情情報が表わす感情に近似する感情を示すものとなる感情情報が感情情報格納部から検索され、その検索された感情情報あるいは感情情報範囲に対応する時間が判るようにユーザに報知される。
したがって、この請求項３２の発明によれば、ある特定の感情と近似する感情が得られた日時などを検索することができる。
この発明によれば、人が持った感情および感情の変化を感情可視化画像として表示し、当該感情可視化画像を通じて、所定の感情を検索指示することができる。そして、請求項１の発明によれば、前記感情可視化画像上で指定された感情を持ったときに得られた撮像情報を検索して、再生することができる。
また、請求項６の発明によれば、前記感情可視化画像上で指定された感情と近似する感情を持った時点あるいは時間範囲を検索することができる。そして、その検索結果の中から、特定の時点あるいは時間範囲の感情が指定されると、それに対応する撮像情報を検索して再生することができる。したがって、ある特定の感情と近似する感情が得られたときを検索することができると共に、その近似する感情が得られたときの出来事など、周辺の環境を知ることができる。
また、請求項１７の発明によれば、感情可視化画像により、例えば所定の放送番組や映画コンテンツなどを視聴しているときの感情の変化や感情の状態分布を可視化することができる。
そして、この表示画面上において、感情可視化画像上の任意の画像位置あるいは任意の画像範囲がユーザにより指定されると、当該指定された画像位置あるいは画像範囲に対応する感情あるいは感情範囲が検索され、対応するコンテンツの場面を視聴することができる。
また、請求項２２の発明によれば、感情可視化画像に表れている感情状態を基準にして、自分が鑑賞したいコンテンツを選択することが可能になる。
また、請求項３１の発明によれば、ある特定の感情が得られた日時などを検索することができる。さらに、請求項３２の発明によれば、ある特定の感情と近似する感情が得られた日時などを検索することができる。
［第１の実施形態］
以下に説明する第１の実施形態は、この発明による撮像情報の検索再生装置および方法を、撮像情報記録再生装置に適用した場合である。この第１の実施形態における撮像情報記録再生装置は、撮像部を備え、当該撮像部により撮像しているときの撮影者の生体情報を取り込んで、感情解析し、その感情解析結果を色変換して可視化データ（色情報）を得、この可視化データに基づいて生成した感情可視化画像情報を、撮像情報と共に、時間情報に関連させて記録するようにする機能を備える。
この実施形態では、可視化データとしては、色情報を用いる。すなわち、この実施形態では、感情解析結果の感情情報を、色情報に変換して可視化するようにする。ここで、色は、色相と彩度と明度とにより決まるものであるので、色の変化は、それらの組み合わせによりなされる。したがって、色相が変わるものに限らず、色相が同一で、彩度や明度が変化するものも含まれるものである。
＜撮像情報記録再生装置のハードウエア構成例＞
図１は、この実施形態の撮像情報記録再生装置１００のブロック図である。
この撮像情報記録再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１に対して、システムバス１０２を介して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４とが接続されたコンピュータを備える構成となっている。
そして、システムバス１０２に対して、撮像部コントローラ１０５と、撮像信号処理部１０６と、生体情報入力部コントローラ１０７と、感情解析処理部１０８と、データ格納部コントローラ１０９と、再生処理部１１０と、計時部１１１と、ビジュアルデータ処理部１１２と、表示部コントローラ１１３と、キー入力インターフェース（図ではインターフェースはＩ／Ｆと記載する。以下同じ）１１４と、ネットワークインターフェース１１５と、プリンタコントローラ１１６と、検索処理部１１７とが接続されている。
撮像部コントローラ１０５は、ＲＯＭ１０３に格納されているプログラムにしたがったＣＰＵ１０１からの制御に基づいて、撮像部コントロール信号を撮像部１２１に供給する。
撮像部１２１は、レンズ系と、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で構成される撮像素子とを備え、撮像部コントローラ１０５からの撮像部コントロール信号を受けて、撮像記録の開始、停止、ズーム倍率、露出値、オートフォーカスなどの制御がなされる。
撮像部１２１からの撮像画像信号は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器１２２によりデジタル信号に変換された後、撮像信号処理部１０６に供給される。撮像信号処理部１０６では、ＲＯＭ１０３に記憶されているプログラムに従ったＣＰＵ１０１からの制御指示命令により処理が実行されて、Ａ／Ｄ変換器１２２からの撮像画像信号が、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式により画像データ圧縮されると共に、適切な記録フォーマットに変換される。また、撮像信号処理部１０６では、計時部１１１からの時刻情報が用いられて、撮像画像データに撮像時刻の情報が付加される処理も行なわれる。
そして、撮像信号処理部１０６で適切な記録フォーマットに変換された、撮像時刻の情報を含む撮像画像データは、システムバス１０２を通じてデータ格納部コントローラ１０９に転送される。データ格納部コントローラ１０９は、受け取った撮像画像データを、データ格納部１２３に格納する。
データ格納部１２３は、この例では、ハードディスクドライブで構成され、例えば１日分以上のデータを格納する記憶容量を備えるものである。なお、データ格納部１２３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの大容量記録形光ディスクや、半導体メモリなどを記憶媒体に用いる装置を用いるようにしても良い。
生体情報入力部コントローラ１０７は、生体情報入力部１２４からの生体情報を、Ａ／Ｄ変換部１２５を通じて受け取る。生体情報入力部１２４は、詳しくは後述するが、当該撮像情報記録再生装置１００の使用者（撮影者）の生体情報を取得する手段を構成するものである。
ここで、生体情報とは、この明細書では、生理的、生化学的、または身体的な反応または状態の情報をいうものとする。生体情報としては、例えば、人間が自発的・誘発的に発する情報、例えば、心拍、脈波、呼吸、血圧、心電、脳波、皮膚発汗、皮膚抵抗、体動、体位、脳磁図、筋電、体表面温度、瞳孔径の大きさ、マイクロバイブレーション、瞬目（瞬き）、生化学反応などが挙げられる。
したがって、人の生体情報には、人に装着された電極を通じて検出するもののみではなく、体動、体位などのようにカメラで撮影した情報から検出されるもの、体表面温度などのようにセンサにより遠隔で検出できるものを含む。
生体情報入力部１２４で取得されたユーザの生体情報は、Ａ／Ｄ変換部１２５でデジタル信号に変換され、生体信号入力部コントローラ１０７およびＣＰＵ１０１、ＲＯＭ１０３のプログラム、ワークエリア用ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。このとき、撮像画像データの場合と同様に対応して、生体情報には取得時刻の情報が付加されるデータ格納部１２３に格納される。
生体情報入力部１２４で取得された生体情報は、また、Ａ／Ｄ変換部１２５でデジタル信号に変換された後、感情解析処理部１０８に供給され、ここで後述もするように、所定の方式にしたがって感情解析が行なわれる。そして、この感情解析処理部１０８での感情解析の結果得られたユーザの感情を表わすための情報（以下、感情データという）は、ＲＯＭ１０３のプログラムにしたがって、ＣＰＵ１０１、ＲＡＭ１０４によって、適切な記録フォーマットに変換され、データ格納部コントローラ１０９によって、データ格納部１２３に格納される。この感情データにも、時刻情報が付加され、撮像画像データや生体情報との対応が可能とされている。
なお、感情データは、上述のようにリアルタイムで生体情報から生成するのではなく、撮像情報および生体情報のデータ格納部１２３への格納が終了した後、当該データ格納部１２３に格納されている生体情報を読み出して、感情解析し、その解析結果をデータ格納部１２３に格納するようにすることもできる。ただし、その場合には、後述するようなリアルタイムでの感情の可視化表示はできない。
また、上述の説明では、撮像部１２１により取得した被写体の撮像画像データや生体情報入力部１２４を通じて取得したユーザの生体情報、また、感情解析処理部１０８で生体情報を解析することによって得られる感情を表わす感情データは、すべてデータ格納部１２３に記憶して格納するものとして説明したが、これに限るものではない。
例えば、ネットワークインターフェース１１５を通じてインターネットなどのネットワークに接続し、ネットワーク上に設けられた所定のサーバ装置に送信して、そのサーバ装置に、撮像画像データや生体情報、感情状態を示す情報を記憶保持させるようにするようにすることも可能である。
感情解析処理部１０８は、後で詳述するように、生体情報入力部１２４を通じて取得した種々の生体情報、または、データ格納部１２３に格納された生体情報を、この例では、感情モデルを解析する方法で感情状態の抽出を行なう。
再生処理部１１０は、再生時に、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出された圧縮画像データの伸張デコード処理等を行って再生用の画像データを形成するものである。再生処理部１１０において処理された画像データは、ビジュアルデータ処理部１１２に供給される。
計時部１１１は、カレンダー機能つきの時計回路であって、年月日および時刻情報をシステムバス１０２に送出する。
ビジュアルデータ処理部１１２は、感情解析処理部１０８からの感情データあるいはデータ格納部１２３に格納されている感情データから、後で詳述するように、色変換テーブル情報記憶部１２６に格納されている変換テーブル情報を用いて感情の可視化データ（この例では色情報となる）を得、その可視化データを用いた感情可視化画像情報を生成し、生成した感情可視化画像情報を、データ格納部コントローラ１０９を通じてデータ格納部１２３に格納する機能を備える。後述するように、ビジュアルデータ処理部１１２は、感情変化可視化手段および感情分布可視化手段の役割機能も備える。
また、ビジュアルデータ処理部１１２は、再生時には、データ格納部１２３から読み出された撮像画像データおよび感情可視化画像情報とを、時間軸に同期させて再生し、表示部コントローラ１１３を通じて表示部１２７の画面に表示させるようにする機能を備える。なお、この再生時、データ格納部１２３から読み出された撮像画像データは、上述したように、再生処理部１１０で伸長デコード処理された後、ビジュアルデータ処理部１１２に供給されるものである。
表示部コントローラ１１３は、表示部１２７に供給する表示用画像信号を形成し、これを表示部１２７に供給する。表示部１２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイであり、表示部コントローラ１１３からの画像信号に応じた画像をその表示画面に表示する。
キー入力インターフェース１１４には、キー入力操作部１２８が接続される。キー入力操作部１２８は、撮像記録開始キー、再生開始キー、早送りキー、巻戻しキー、ジャンプキー、停止キーなどのキーを備える。キー入力操作部１２８のいずれかのキーが操作されると、キー入力インターフェース１１４を通じてその操作入力情報がシステムバス１０２に供給される。ＣＰＵ１０１は、この操作入力情報を判別して、どのキーが操作されたかを判別し、その操作されたキーに対応する処理を実行する。
プリンタコントローラ１１６には、この例ではカラープリンタ１２９が接続され、後述するように、ビジュアルデータ処理部１１２から得られる感情の可視化データによる出力画像が、このカラープリンタ１２９によりカラー印刷出力されるように構成されている。
なお、図１では省略したが、撮像部１２１にマイクロホンが取り付けられており、撮像時に、被写体周辺の音声がこのマイクロホンにより収音され、Ａ／Ｄ変換され、また必要に応じてデータ圧縮されて、撮像画像データと共にデータ格納部１２３に格納されて、記録される。
検索処理部１１７は、感情可視化画像情報による出力画像（感情可視化画像）を通じて指定された感情あるいは感情範囲に応じて、以下に説明するような検索処理を実行する。すなわち、この実施形態では、検索モードとして、単純検索モードと近似検索モードとを備える。
単純検索モードは、感情可視化画像情報による出力画像（感情可視化画像）を通じて指定された感情あるいは感情範囲に対応する時間位置あるいは時間範囲を検索し、その検索結果に基づいて、データ格納部１２３から対応する時間位置あるいは時間範囲の撮像情報を検索するモードである。この単純検索モードは、指定された感情に対応する撮像情報を検索して再生するモードである。
近似検索モードは、感情可視化画像情報による出力画像（感情可視化画像）を通じて指定された感情あるいは感情範囲に近似する他の感情あるいは感情範囲を検索し、その検索結果の感情あるいは感情範囲の時間あるいは時間範囲をユーザに報知するモードである。この近似検索モードにおいては、検索結果の時間あるいは時間範囲がユーザにより指示されたときには、その時間あるいは時間範囲に対応する撮像情報を読み出して再生することができる。
この検索処理部１１７でなされる単純検索モードおよび近似検索モードの詳細な処理動作は、後で詳述する。
＜生体情報入力部１２４〜生体信号入力部コントローラ１０７の部分の構成例＞
ここで、上述した生体情報入力部１２４、Ａ／Ｄ変換部１２５および生体信号入力部コントローラ１０７の部分の、より具体的な構成例について説明する。図２は、生体情報入力部１２４、Ａ／Ｄ変換器部１２５および生体情報入力部コントローラ１０７の部分の詳細構成例を示すブロック図である。
人の感情を表わす感情データは、適切な一つの生体情報のみを用いて得るようにすることもできるが、より正確に人の感情を表わす感情データを得るために、この例では、複数個の生体情報を用いる。図２の例では、ユーザの生体情報として、脳波、心電、脈波（脈拍）、体温などを電極（センサを含む）を通じて検出する場合を例にして説明する。
図２に示すように、この例の生体情報入力部１２４は、人に装着されて、複数の生体情報、この例においては、脳波、心電、脈波、体温、筋電など、に対応する生体信号を収集するための複数個の電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅと、それぞれの電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅからの生体信号を増幅するための複数個の増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅとからなる。
電極１２４１ａ，１２４１ｂ，１２４１ｃ，１２４１ｄ，・・・，１２４１ｅは、脳波をはじめとする生体電気現象や脳磁気をはじめとする生体磁気現象を測定する機能を有するものであり、この例においては、撮影者に装着される。増幅部１２４２ａ，１２４２ｂ，１２４２ｃ，１２４２ｄ，・・・，１２４２ｅは、増幅のみでなく、必要に応じて、数種類の周波数帯域に分けるなどのフィルタリング処理を行なう場合もある。
例えば、生体情報が脳波であれば、増幅部１２４２ａは、電極１２４１ａから得られた数マイクロボルトの電位の生体情報信号を増幅し、アルファ波、ベータ波、などの数種類の周波数帯域の成分に分けるようにフィルタリングをかける処理を行なう。
電極１２４１ａ、１２４１ｂ、１２４１ｃ、１２４１ｄ、・・・、１２４１ｅを通じて検出された各生体情報は、対応する増幅部１２４２ａ、１２４２ｂ、１２４２ｃ、１２４２ｄ、・・・、１２４２ｅに供給されて増幅され、Ａ／Ｄ変換部１２５に供給される。この実施形態においては、Ａ／Ｄ変換部１２５は、図２に示すように、供給される生体情報に応じた複数個のＡ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅを備えたものであり、供給される生体情報（アナログ信号）をデジタル信号に変換する。
例えば、脳波の電位レベルは一般には５０μＶ（マイクロボルト）程度、心電の電位レベルは１ｍＶ（ミリボルト）程度と生体信号の種類により異なる。このため、各Ａ／Ｄ変換器１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅにおいてのＡ／Ｄ変換時の量子化ビット数は、増幅された各種生体信号の電位レベルを下回らない程度の精度を有するようにされている。
そして、Ａ／Ｄ変換された後の各生体情報は、生体情報入力部コントローラ１０７に供給される。生体情報入力部コントローラ１０７は、デジタル化された各種生体信号を受信するための受信部１０７１と、それらの生体情報を感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な信号にするための処理を行なう生体信号処理部１０７２と、処理された生体信号をバス１０２に出力するための送信部１０７３とから構成される。
受信部１０７１は、Ａ／Ｄコンバータ１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、・・・、１２５ｅから出力される、もとの生体信号が再現される程度の間隔のサンプリング周波数を有するデジタル生体情報を受信して、これを後段の生体信号処理部１０７２に供給する。
生体信号処理部１０７２は、受信部１０７１からのデジタル生体情報の供給を受けて、生体情報のそれぞれについて、例えば振幅調整や帯域通過のためのフィルタ演算処理、ＦＦＴやウェーブレット解析をはじめとする時間−周波数解析、あるいは、ニューラルネットやカオス解析をはじめとする非線形解析などを行って、感情解析処理部１０８、データ格納部１２３、表示部１２７、再生処理部１１０で利用可能な形式の信号に変換し、変換後の生体情報（生体信号）を送信部１０７３に供給する。
送信部１０７３は、バス１０２に対し逐次適切なタイミングで、上述のように処理されて形成された生体信号を出力し、上述もしたように、データ格納部コントローラ１０９を通じてデータ格納部１２３に記録させたり、また、感情解析処理部１０８に供給して、生体情報の解析を行なわせたりするようにする。
＜感情解析処理部１０８における感情解析の一例＞
次に、感情解析処理部１０８において行われる感情解析処理の一例について説明する。感情解析処理部１０８には、前述したように、生体情報入力部１２４、Ａ／Ｄ変換部１２５、生体情報入力部コントローラ１０７を通じて、必要な信号処理や解析処理が行われて得られたデジタル化された複数の生体情報が入力される。
感情解析処理部１０８には、生体情報入力部コントローラ１０７からバス１０２を通じて生体情報が供給される場合だけではなく、データ格納部１２３に一旦格納された生体情報が、データ格納部コントローラ１０９を通じて読み出されて、これがバス１０２を通じて供給される場合もある。また、感情解析処理部１０８は、ネットワークインターフェース１１５を通じて外部機器や外部サーバに記憶するようにした生体情報の供給を受けるようにすることもできる。
感情解析処理部１０８では、複数の生体情報の入力を受け付けて、これらの複数の生体情報を元に解析処理を行ない、感情データとして、感情モデルで定義される複数の感情パラメータ値を出力する。感情モデルとしては、例えば２軸モデル、３軸モデル、６軸モデル等がある。これらのモデルの一例を図３に示す。
２軸モデルは、最も簡易なモデルであり、図３Ａに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸との２軸により、感情モデルを形成する。そして、前記２軸で定まる感情２次元空間におけるそれぞれ感情の状態を、前記第１軸方向のパラメータ（座標値）および第２軸方向のパラメータ（座標値）からなる感情パラメータ値により表現する。
３軸モデルは、図３Ｂに示すように、感情として、例えば、快適と不快とのどちらに、より近いかの度合いを示す第１軸と、興奮または緊張とリラックスとのどちらに、より近いかの度合いを示す第２軸と、緊張と弛緩とのどちらに、より近いかの度合いを示す第３軸との３軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。
６軸モデルは、図３Ｃに示すように、怒りの度合いを示す第１軸と、恐れの度合いを示す第２軸と、悲しみの度合いを示す第３軸と、喜びの度合いを示す第４軸と、嫌悪の度合いを示す第５軸と、驚きの度合いを示す第６軸との６軸により、感情モデルを形成し、当該３軸空間における座標値からなる感情パラメータにより感情の状態を表現するものである。
感情解析処理部１０８は、例えば、上述した感情モデルのいずれかを用いるようにし、例えば、学習済み、あるいは、ユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ（SOM : Self Organizing Map）等のニューラルネットワークの手法を利用して、入力として受け付けた複数種類の生体情報から、当該生体情報の発信元である人の感情の解析処理を行って、その解析結果として求められた感情を表わす感情データとしての感情パラメータ値を求める。
このように、この実施の形態の感情解析処理部１０８においては、所定の感情モデルとニューラルネットワークの手法を用いて、複数種類の生体情報を解析することによって、それらの生体情報の提供元であるユーザの感情の状態を感情パラメータ値として把握することが可能となる。
そして、この感情解析結果の感情パラメータ値を、後述するように、ビジュアルデータ処理部１１２において、色変換テーブル情報記憶部１２６の変換テーブル情報を用いて色情報出力に変換して、時間情報に対応して可視化する。これにより、例えば、喜びの感情が表れている期間、悲しみの感情が表れている期間、怒りの感情が表れている期間、恐れの感情が表れている期間を容易に把握することができ、また、それらの感情の変化などを色の変化として容易に把握することができる。
そして、後述するように、例えば、１日、１ヶ月などの所定期間におけるユーザの感情の状態分布、すなわち、喜びの感情が何％、悲しみの感情が何％というように、各感情の分布を、対応する色の面積により把握するなどのことが可能となる。
生体情報を用いた感情状態の解析の具体例としては、以下のように、種々のものが考えられる。例えば、リラックス状態の評価については、生体情報として脳波を用いることができる。一般的にはα波の周波数成分とβ波の周波数成分の比をとり、α波成分の割合が大きくなるほどリラックス状態にあることが知られている。また、呼吸や心拍の周期の安定性や脈拍の振幅増加量に基づいて、評価することも可能である。
また、驚きの評価については、皮膚の電気抵抗値を用いることができる。一般的には驚きや恐怖、心配によって皮膚電気抵抗値が上昇することが知られており、この皮膚電気抵抗値によって、感情状態の１つである驚きの評価を行なうことができる。
また、喜びを評価する場合には、心拍数、皮膚温度（体温）、心電（心電図周波数）を用いて評価することが可能である。すなわち、喜びの感情が大きい時には、心拍数が下がり、皮膚温度が上がり、心電図周波数が上がることが知られている。
また、一般に、精神的、心理的に安定な状態にある場合は、末梢血管が拡張して、抹消血管に動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。逆に、精神的、心理的に高い緊張状態にある場合は、末梢血管が収縮し、抹消血管への動脈血の流入が減るため、心拍や脈拍は速まり、体温は下降傾向にある。このような生理的な変化に応じて、感情の状態を評価し、把握することが可能となる。
なお、上述のような生理指標とともに、表情による筋電の変化や画像による表情認識、加速度センサや傾斜センサなどによる姿勢認識、音声認識などを複合的に用いることによって、ユーザの怒りや悲しみなどの感情状態を評価するようにしてもよい。
すなわち、人間の顔面の筋電の変化によって、泣いているのか、笑っているのか、怒っているのかなどを把握することが可能であるし、同様に、画像による表情認識によっても泣いているのか、笑っているのか、怒っているのかなどを把握することが可能である。
また、加速度センサや傾斜センサを用いることにより、ユーザの姿勢を判断し、胸をはった状態か、前屈みの状態などかを検出することにより、感情状態を評価する場合の情報として用いることも可能である。
また、音声認識の結果を感情状態を評価する場合の情報として用いることも可能である。例えば、喜んでいる場合などには、人の声は比較的に高くなり、逆に、落ち込んでいる場合などには、人の声は比較的に低くなるという傾向にあり、これを利用することにより、感情状態を評価することが可能である。また、音声信号の大きさ（レベル）に基づいて、感情状態を評価することも可能である。
また、例えば、感情データの解析技術として、特開平８−１１７１９９号公報には、脳波のα波ゆらぎを利用したニューラルネットワークによる覚醒度と気分の解析が開示されている。これは、心理学や精神生理学では覚醒度と気分の２つの軸が基本的な指標であるという知見を利用し、定量的な解析を行なうようにしたものである。
また、ＮＩＣＯＧＲＡＰＨ 論文集pp.17-25, 1993において表情認識の報告が行われており、また、電子情報通信学会論文集D-II Vol.J77-D-II No.8 pp.1512-1521においては音声律情報などの非言語情報からユーザの感情を認識する報告を行われている。このような種々の解析方法を利用して、ユーザの感情状態を把握するようにしてももちろんよい。
上述のように、この実施の形態の撮像情報記録再生装置１００は、ユーザの生体情報を継続的に検出して、検出した生体情報を分析することによりユーザの感情を把握することができる。そして、把握したユーザの感情を表わす感情データ（感情パラメータ値）を求め、ビジュアルデータ処理部１１２により、当該感情パラメータ値を後述するように色変換して、感情を色出力として可視化することができる。
＜感情の色変換による可視化処理の概要＞
この実施形態では、感情解析処理部１０８においては、感情モデルとして上述した２軸モデルを採用し、第１軸をＸ座標軸と、第２軸をＹ座標軸として感情パラメータ値を検出する。
そして、この例では、色変換テーブル情報記憶部１２６には、感情モデルとして上述した２軸モデルの場合における色変換テーブル情報が記憶されている。この例の色変換テーブル情報を、図４を用いて説明する。すなわち、図４は、この色変換テーブル情報により感情パラメータ値が色情報出力されたときのカラー出力を示すものであるが、図４では、便宜上、白黒の濃淡により示されている。
この色変換テーブル情報の作成に当たっては、感情に対して変換出力される色として、見た目で感覚的に感情を掴める色を用いるようにしている。以下に、この色変換テーブル情報の一例を説明する。
すなわち、図４の色変換テーブルを説明すると、Ｘ軸方向において、快適は黄色で、不快はブルー（青）で表現される。そして、快適なほど、濃い黄色とされ、また、不快なほど、濃いブルーとなるようにされる。したがって、Ｘ軸方向においては、不快から快適の方向に沿って、濃いブルー→薄いブルー→白→薄い黄色→濃い黄色のように変化するものとされる。
また、Ｙ軸方向において、興奮、緊張はマゼンタ色で、リラックスはブルーで表現される。そして、興奮、緊張しているほど、ピュアなマゼンタ色になり、また、リラックスしているほど、ピュアなブルーとなり、興奮、緊張とリラックスとの間では、リラックスから興奮、緊張の方向に沿って、ピュアなブルーから、徐々にマゼンタ色の混色の割合が増加して、ピュアなマゼンタに至るような変化をするものとされる。
そして、興奮、緊張、かつ、快適な感情の状態（図４の色変換テーブル上では、右上隅位置が対応する）は、マゼンタ色と黄色との減法混色の結果としての赤色が割り当てられる。そして、図４の右下隅から右上隅までの色の変化としては、ピュアな黄色から、黄色に対して徐々に赤色の混色の割合が増加して、ピュアな赤に至る。ここで、黄色と赤色の混合色は、橙色である。
また、同様に、図４の左上隅から右上隅までの色の変化としては、濃いマゼンタ色→ブルー混じりの徐々に薄くなるマゼンタ色→黄色混じりの徐々に濃くなる赤→濃い赤、のように変化するものとなる。
そして、このとき、感情解析処理部１０８からは、感情パラメータ値として、Ｘ軸方向のパラメータ値（座標値）およびＹ軸方向のパラメータ値（座標値）が得られるが、この感情パラメータ値は、ビジュアルデータ処理部１１２では、図４の色変換テーブル空間上でそれらのパラメータ値によって定まる色情報に変換される。そして、この色情報が感情の可視化データとして出力されることになる。
ビジュアルデータ処理部１１２では、色変換テーブル情報を用いて、感情パラメータ値に対して変換して得た色情報を、そのまま出力するではなく、時系列順に、時間の経過に対応する感情の変化がわかるような表示出力態様（以下、このタイプの表示出力態様を時系列表示タイプと呼ぶ）で出力する。この機能は、感情変化可視化手段に対応する。この時系列表示タイプは、撮像部１２１により撮像された画像データに時系列順に対応して、感情可視化画像を表示するようにする場合に用いられる。
この時系列表示タイプの感情可視化画像の各画像位置は、その画像位置の感情データが得られた時間情報に対応するものとなっている。この場合に、各画像位置に対応して時間情報を記憶するようにしてもよいし、時系列表示タイプの感情可視化画像が生成される時間範囲の先頭と、終わりの時間を保持するようにすれば、各画像位置に対応して、例えば連続番号を付与するようにすれば、各画像位置に対応する時間情報は容易に得られる。
また、ビジュアルデータ処理部１１２は、所定時間内において移り変わる感情を、興奮、リラックス、快適、不快などの個々の感情が当該所定時間内において、どのくらいの割合ずつ含まれるかを、この例では、矩形領域における各感情に対応する色の分布で表わす表示出力態様（以下、このタイプの表示出力態様を分布表示タイプと呼ぶ）で出力することもできる。この機能は、感情分布可視化手段に対応する。この分布表示タイプは、撮像部１２１により撮像された所定期間分において、どのような感情の状態分布をしていたかを表示する場合に用いられる。例えば、全体としては、快適な気分であったが、一部、緊張した期間があったなどを表示することができる。
この分布表示タイプの感情可視化画像の各画像位置も、その画像位置の感情データが得られた時間情報と対応が付くようにしておくとよい。例えば、分布表示タイプの感情可視化画像が生成される時間範囲の先頭と、終わりの時間を保持すると共に、当該感情可視化画像の各画像位置に対応して、例えば時系列方向（時間方向）の連続番号を付与するようにすれば、各画像位置に対応する時間情報は容易に得られる。
図５（Ａ），（Ｂ），（Ｃ）は、時系列表示タイプのいくつかの例を示しており、また、図５（Ｄ）は、分布表示タイプの例を示している。
時系列表示タイプにおいては、瞬時瞬時の感情に対応する色情報を順次に表示するようにしてもよいが、それでは、細かな感情変化も表現され過ぎてしまい、かえって、人の感情の変化が判りにくくなる場合ある。
そこで、図５（Ａ），（Ｂ），（Ｃ）の例では、予め定めた所定の単位時間を平均化間隔とし、当該平均化間隔の単位時間区間で得られる感情データを平均化し、その平均化した感情データを、色変換テーブルを用いて色情報に変換するようにしている。このため、図５（Ａ），（Ｂ），（Ｃ）の例では、感情データに対応する色情報出力は、前記単位時間区間に対応する所定の幅単位でなされる。この場合には、時間情報は、単位時間区間単位の情報となる。そして、前述したように、この例の場合には、時間情報は、感情を表示すべき所定の期間の先頭と、終わりの時間と、各単位時間区間単位の時間方向の番号を記憶する。各単位時間区間毎の時間情報を逐一記憶するようにしてもよいことは勿論である。
図５（Ａ）は、時系列表示タイプのうちのスライドバータイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に１次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。
図５（Ａ）の例では、横方向に時間の経過をとったとき、当該時間の経過に沿って、各単位時間区間における感情データに対応する色情報を縦バーとして描画してゆくような表示態様である。このスライドバータイプは、例えば撮像画像を再生したときに、その表示画像の下欄あるいは上欄に表示し、かつ、現在、表示されている時間位置をスライドバーにおいて輝点などにより示すようにすれば、当該画面の場面において、ユーザがどのような感情であったかを容易に知ることができる。
また、図５（Ｂ）は、時系列表示タイプのうちのブロックタイプを示しており、前記単位時間区間毎の前記感情データに対応する色情報による色の表示領域を、矩形領域に２次元的に展開して、前記単位時間区間毎の前記感情の変化を可視化するものである。
すなわち、感情を表示すべき所定の期間分を等分割して、複数の分割時間区間（単位時間区間）にし、当該分割時間区間を、複数段に並べて表示する表示態様である。このブロックタイプは、例えば１日の感情変化を表わす場合に、６時間毎に、横バーを４段にして２４時間分の表示する場合などに便利である。
また、図５（Ｃ）は、時系列表示タイプのうちのサークルタイプを示しており、感情を表示すべき所定の期間を環状領域の１周分に割り当てて、感情に対応する色出力は、周方向に前記単位時間区間に対応する所定の幅単位で順次に表示するようにする表示態様である。
なお、図５（Ｅ）および（Ｆ）は、作成したブロックタイプあるいはサークルタイプの表示態様において、色変換出力による可視化画像に特殊効果を付けてアート的に表現したり、金属的に表現したりしたものである。例えば、ぼかしを使い感情の単位時間区間ごとの変化部分を滑らかにする処理をする。また、感情変化のピーク点に対応する色変化の大きい部分に、ハイライトや影を入れることにより、金属的な表現をする。さらに、これに幾何学的な変換を行なってアート的な表現をしてもよい。
図５（Ｄ）は、分布表示タイプの例である。これは、感情を表示すべき所定の期間内において経験された（感情として発現された）感情状態に応じたマップが作成され、それが表現されたものである。これは、自己組織化マップを利用して作成される。この場合には、時間情報は、各感情データ単位の情報となる。そして、前述したように、この例の場合には、時間情報は、感情を表示すべき所定の期間の先頭と、終わりの時間と、各感情データ単位の時間方向の番号を記憶する。なお、各感情可視化画像上における各画像位置に対応して、感情データ毎の時間情報を逐一記憶するようにしてもよいことは勿論である。
この分布表示タイプの表示態様によれば、所定の期間内において、概ねどの感情が優勢であったかなどが判る。例えば、分布表示タイプの表示において、黄色で表現された部分が優勢を占めていて、しかも、残りが赤色やマゼンタ色になっていたときには、興奮および緊張した感情であったが、心地良いものであったことが判る。
図６は、ビジュアルデータ処理部１１２におけるビジュアルデータの作成処理を説明するためのフローチャートである。
この図６の例は、ビジュアルデータ処理部１１２が、データ格納部１２３に格納されている感情解析処理部１０８で生成された感情データを、色変換テーブル情報を用いて色情報からなる可視化データに変換して感情ビジュアルデータ（感情可視化画像情報）を生成する場合の例である。
先ず、初期設定を行なう（ステップＳ１０１）。この初期設定の内容は、作成する感情データの可視化情報の表示タイプの選択設定、平均化間隔の長さの設定、その他の属性データの設定などである。
次に、先ず、最初の平均化間隔分の単位時間区間を設定する（ステップＳ１０２）。次に、設定された単位時間区間内の感情データを平均化して、当該単位時間区間内の平均の感情の感情パラメータ値を算出する（ステップＳ１０３）。次に、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、ステップＳ１０３で算出された感情パラメータ値に対する色変換出力情報を得る（ステップＳ１０４）。
次に、表示出力態様のタイプは、時系列表示タイプであるか否か判別し（ステップＳ１０５）、時系列表示タイプであると判別したときには、前述した時系列表示タイプのうちのいずれか設定された表示タイプに応じた表示図形領域において、対応する単位時間区間に対応する位置に、ステップＳ１０４で求められた色変換出力情報による色を描画するような画像データを生成するとともに、当該画像データを、前記単位時間区間に対応して一時保存する（ステップＳ１０６）。
そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１０７）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１０７で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた前記画像データからなる、生成した感情ビジュアルデータを、属性データと共に保存する（ステップＳ１０８）。
また、ステップＳ１０５で時系列表示タイプではなく、分布表示タイプであると判別したときには、ステップＳ１０４で求められた色変換出力情報を、前記単位時間区間に対応して一時保存する（ステップＳ１１０）。
そして、対象となるすべての感情データについての処理を終了したか否か判別し（ステップＳ１１１）、すべての感情データについては、未だ終了していないと判別したときには、次の平均化間隔分の単位時間区間を設定し（ステップＳ１０９）、ステップＳ１０３以降の処理を繰り返す。また、ステップＳ１１１で、すべての感情データについての処理を終了したと判別したときには、一時保存されていた感情データに対応する色変換出力情報のすべてを用いて、対象となる所定の期間における感情の状態分布を示す感情ビジュアルデータを生成し、表示する（ステップＳ１１２）。そして、生成した感情ビジュアルデータ（感情可視化画像データ）を属性データと共に保存する（ステップＳ１０８）。以上で、感情ビジュアルデータの生成処理を終了する。
＜記録処理動作の説明＞
次に、撮像情報記録再生装置１００としての記録処理の流れを、図７のフローチャートを参照して説明する。以下に説明するフローチャートの各ステップは、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行する。
すなわち、撮像情報記録のスタート指示がなされると、計時部１１１の時間情報、生体情報入力部コントローラ１０７の生体信号処理部１０７２、感情解析処理部１０８、表示部１２７等の初期化処理が行なわれる（ステップＳ２０１）。次に、ユーザによる感情ビジュアルデータの表示タイプの指定などの設定を受け付けて、設定を実行する（ステップＳ２０２）。
そして、撮像部１２１からの撮像画像データおよび音声データを、計時部１１１からの時間情報（年月日、時分秒）を付加した形式で、データ格納部コントローラ１０９によりデータ格納部１２３に順次に格納する（ステップＳ２０３）。
これと並行して、生体情報入力部コントローラ１０７で、生体情報入力部１２４で取得され、Ａ／Ｄ変換部１２５でデジタル信号に変換された生体情報を、解析処理させる（ステップＳ２０４）。そして、生体情報入力部コントローラ１０７からの生体情報を、感情解析処理部１０８に転送し、感情解析させ、その解析結果の感情データ（感情パラメータ値）を、時間情報と共に、データ格納部コントローラ１０９により、データ格納部１２３に格納させる（ステップＳ２０５）。
このステップＳ２０５においては、生体情報入力部コントローラ１０７からの生体情報のそれぞれに対して感情データ（感情パラメータ値）を算出するようにしてもよいが、この実施形態では、前述の図６で説明したのと同様に、予め定められた一定時間（単位時間）毎に、感情データを平均化して当該一定時間毎の感情データ（感情パラメータ値）を算出するようにする。この場合の一定時間（単位時間）は、前述の図６において設定される平均化間隔の時間よりも短い一定時間とされる。そして、この一定時間単位の時間情報と関連して、データ格納部１２３に感情データが格納される。この実施形態においては、時間情報により、感情データと、撮像画像データとは対応を付けることができる。
また、感情解析処理部１０８での解析結果の感情データをビジュアルデータ処理部１１２に送り、色変換テーブル情報記憶部１２６の色変換テーブル情報を用いて、当該感情データを色情報に変換し、それを表示部コントローラ１１３により表示部１２７の画面に表示させる（ステップＳ２０６）。この表示は、撮像しながら情報記録を行なっているときの、その時々のユーザの感情状態を、表示部１２７にリアルタイムで表示するものである。
そして、記録終了の操作入力がユーザによりなされたか否か判別し（ステップＳ２０７）、記録終了の操作入力がなされていないと判別したときには、ステップＳ２０３に戻って、ステップＳ２０３以降の処理を繰り返す。
また、ステップＳ２０７で、記録終了の操作入力がユーザによりなされたと判別したときには、記録した時間区間すべてにおける記録した感情データを、データ格納部１２３からデータ格納部コントローラ１０９を通じて読み出し、図６に示したようにして、ステップＳ２０２で設定された表示タイプの感情ビジュアルデータを作成し、データ格納部１２３に撮像記録した情報に関連させて格納する（ステップＳ２０８）。
このとき、ステップＳ２０８では、記録した時間区間のすべての区間における感情を、指定された表示タイプで、前述したように時系列表示タイプや分布表示タイプで表示したものからなる小さいアイコンの表示用画像情報も生成し、データ格納部１２３に撮像記録した情報に関連させて格納する。
このアイコン表示用画像情報により表示されるアイコン（以下、感情表示アイコンという）は、後の時点において、記録された撮像記録情報の一覧画面などにおいて、それぞれの撮像記録情報用のインデックスとして表示することができる。ユーザは、そのインデックスの感情表示アイコンから、対応する撮像記録情報が記録されたときのユーザの感情を推量することができ、便利である。
また、データ格納部１２３が、例えばＤＶＤなどのリムーバルな記録媒体を用いる場合には、この感情表示アイコンの情報をプリンタコントローラ１１６を通じてカラープリンタ１２９に出力して、シールや記録紙などに、カラー印刷する。したがって、このカラー印刷したシールや記録紙をＤＶＤに貼り付けたり、ジャケット内に同封したりしておくことができる。これにより、後の時点において、その印刷された感情表示アイコンを見ることにより、当該ＤＶＤに記録された撮像情報が記録されたときのユーザの感情状態で推量することでき、便利である。
そして、撮像画像データおよび音声データと、感情データと、感情ビジュアルデータと、前記アイコン表示用画像情報とを、関連するものとする管理情報をデータ格納部１２３に格納する（ステップＳ２０９）。
この管理情報と、各データとの関係を図８に示す。すなわち、管理情報には、撮像記録された情報全体に対しては、タイトルと、所有者と、開示属性と、記録開始日時と、記録時間とが記録され、感情ビジュアルデータについては、そのアドレス（所在情報）と、データ属性および表示タイプとが記録され、撮像画像データおよび音声データについては、そのアドレス（所在情報）およびデータ属性が記録され、さらに、感情データについては、そのアドレス（所在情報）と、情報属性と、感情モデル、感情パラメータおよびサンプリング間隔とが記録される。
タイトルや所有者等は、撮像記録情報の全体についての識別情報となるものであるが、このタイトルや所有者等の他に識別番号等の識別情報を管理情報に加えるようにしてもよい。この例の場合には、図８のような管理情報により、図８の各種の情報を関連付けて保存するようにしているが、撮像情報や感情データなどの格納データの管理方法としては、このような管理方法にのみ限られるものではない。例えば、それぞれのデータを別々に格納すると共に、前述した撮像記録情報についての識別情報を、それぞれの格納データに付加するようにして、互いに関連させるようにしても良い。
また、前記の感情ビジュアルデータのアドレス、撮像画像データおよび音声データのアドレス、および感情データのアドレスは、上述の例の場合には、データ格納部１２３におけるアドレスであって、ハードディスク上のアドレスや、ＤＶＤ上のアドレスなどとされるが、ネットワークを通じてサーバ装置に前記データが格納される場合には、サーバ装置のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とメモリアドレスなどとされる。
なお、上述の説明では、感情ビジュアルデータは、記録終了後、必ず生成するようにしたが、撮像情報の記録が終了した後、ユーザが指示したときにのみ、データ格納部１２３に格納されている感情データを読み出して生成するようにしてもよい。
＜撮像情報および感情ビジュアルデータの再生＞
この実施形態においては、記録された撮像情報を順次に再生してゆく一般再生と、検索処理部１１７により、感情可視化画像を通じて指定された感情に対応して検索された結果に応じて再生を行なう検索再生とがある。
図９は一般再生を説明するためのフローチャートである。この図９を参照して、一般再生時の撮像情報および感情ビジュアルデータについての再生処理について説明する。この図９のフローチャートの各ステップの処理も、ＲＯＭ１０３に記憶されたプログラムにしたがってＣＰＵ１０１が、ＲＡＭ１０４をワークエリアとして使用して実行するものである。
先ず、データ格納部１２３に格納されている管理情報を読み出す（ステップＳ３０１）。次に、データ格納部１２３から撮像画像データを読み出し、再生処理部１１０および表示部コントローラ１１３を通じて表示部１２７に供給して、その表示画面おいて表示して、再生する。また、図示は省略したが、データ格納部１２３からは、関連する音声データが読み出され、再生処理部およびアンプを通じてスピーカに供給されて、音響再生される。このとき、現在再生中である撮像画像データおよび音声データについての時間情報を管理するようにする（ステップＳ３０２）。
次に、感情ビジュアルデータをデータ格納部１２３から読み出し、表示部１２７の画面に撮像画像データによる画像の一部に表示する。あるいは、表示部１２７の画面を分割して、撮像画像データによる画像と、感情ビジュアルデータデータによる感情可視化表示画像とが別々の領域に表示されるようにしても良い（ステップＳ３０３）。
このとき、表示された感情可視化表示画像中には、現在再生中である撮像画像データおよび音声データについての時間位置が、当該感情可視化表示画像中のどの位置に対応しているかが輝点などにより表示されて、参照可能なようにされている。
図１０（Ａ）〜（Ｅ）は、このときの各表示タイプの感情可視化表示画像を示しており、ＣＳで示す輝点の位置の色により、それぞれ現在表示されている撮像画像データに対応する感情の状態を示している。すなわち、輝点ＣＳは、撮像画像データに対応する感情の状態の指標を示すものである。図１０（Ａ）〜（Ｃ）の時系列表示タイプの場合には、輝点ＣＳの位置は、合わせて時間位置を示すものとなる。そして、この輝点ＣＳの位置は、再生が、時間の経過に伴って進んでゆくと、対応する時点の感情データ位置に移るように変化するものとなる。
再生中、視聴ユーザが何らの操作もしないときには、再生データの最後まで、上述のステップＳ３０２およびステップＳ３０３の動作が継続され、連続して再生処理がなされる。しかし、ユーザが、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作を、キー入力操作部１２８を通じて行なうと、ＣＰＵ１０１は、それに応じた処理を実行する。
また、この実施形態では、感情可視化画像上での輝点ＣＳをカーソルマークと考えて、当該輝点ＣＳの位置をカーソルキーにより変更することができ、そのときには、輝点ＣＳで示される感情の時間軸位置の、撮像画像データおよび音声データが再生されるように制御される。
すなわち、ＣＰＵ１０１は、キー入力インターフェース１１４を通じて何等かのイベントが発生したか否か判別し（ステップＳ３０４）、発生しないと判別したときには、ステップＳ３０２に戻って、上述の動作を繰り返す。
また、ステップＳ３０４で、何等かのイベントが発生したと判別したときには、早送りや巻戻し、ジャンプなどの再生位置変更のイベント操作であるか否か判別し（ステップＳ３０５）、当該イベント操作であると判別したときには、撮像画像データおよび音声データの再生位置を変更すると共に、感情可視化画像における輝点ＣＳの位置を、当該変更された再生位置に対応する位置に変更する（ステップＳ３０６）。その後、ステップＳ３０２に戻り、上述の動作を繰り返す。
また、ステップＳ３０５で、再生位置変更のイベント操作ではないと判別したときには、カーソルキーによる感情可視化画像上における輝点ＣＳの位置変更指定であるか否か判別し（ステップＳ３０７）、輝点ＣＳの位置変更指定であると判別したときには、感情可視化画像上の輝点ＣＳの位置から時間情報を検索し、対応する時間位置の撮像画像データおよび音声データをデータ格納部１２３から読み出して、再生する（ステップＳ３０８）。
ステップＳ３０７で、輝点ＣＳの位置変更指定ではないと判別したときには、停止キーが操作されたのか否か判別し（ステップＳ３０９）、停止キー以外のキーが操作されたと判別したときには、当該操作されたキーに応じたイベント処理を行ない（ステップＳ３１０）、ステップＳ３０２に戻る。また、ステップＳ３０９で、停止キーが操作されたと判別したときには、この再生処理ルーチンを終了する。
＜検索処理動作の説明＞
次に、検索再生時の処理について説明する。図１１および図１２は、この検索再生時の処理動作を説明するためのフローチャートである。この検索処理は、ＣＰＵ１０１による制御の下、検索処理部１１７およびビジュアルデータ処理部１１２が用いられてなされる。なお、この検索処理は、検索処理部１１７を設けることなく、ＣＰＵ１０１により実行されるプログラムによるソフトウエアによって構成することもできる。
この検索再生は、表示部２２７の画面に表示されている、図１０に示した感情可視化画像において、輝点ＣＳの位置が、ユーザによりキー入力操作部２２８あるいは図示を省略したリモコン送信機のカーソルキーを用いられて設定指示されることによりなされる。前述した一般再生をしている状態からも、この検索再生に移行することも可能とされている。
検索再生における輝点ＣＳの位置の設定指示の方法としては、スポット的に一点を指示する場合（スポット検索）と、図１０（Ａ）〜図１０（Ｃ）の時系列表示タイプの場合において、時間に沿った２点を指示することにより時間範囲を指示設定する場合とがある。なお、図１０（Ｄ）の分布表示タイプの場合には、検索再生の近似検索においては、スポット検索のみが可能とされている。
すなわち、この分布表示タイプの感情可視化画像上の任意の点を、ユーザが指し示すと、検索処理部１１７により、指示設定された位置に対応する色情報から感情データが求められ、その感情データに近似する近似感情値を有する時間範囲が検索される。そして、ＣＰＵ１０１は、検索された時間範囲に対応する画像が再生するようにする。
さらに、この変形例として図１０（Ｅ）のような表示形式および検索方法を行なうことができる。図１０（Ｅ）に示される分布表示タイプの感情可視化画像は、図１０（Ｄ）の感情可視化画像と同様であるが、図１０（Ｅ）の場合には、当該感情可視化画像の下方にスライドバー３０が併せて表示されている。このスライドバー３０は、図１０（Ｅ）の感情可視化画像により、感情が可視化される所定の期間の画像データの始点から終点までの時間区間ＴＧに対応して表示され、例えばスライドバー３０の左端が時間区間ＴＧの始点時刻に、右端が終点時刻にそれぞれ対応付けられている。
このスライドバー３０には、このスライドバー３０上を移動する操作つまみ３１が表示されている。操作つまみ３１は、ユーザのキー入力操作部１２８の所定のキー操作により、スライドバー３０上を移動するように構成されている。
そして、感情可視化画像上には、図１０（Ｅ）に示すように、スライドバー３０上における操作つまみ３１の位置に対応する感情データ部分が輝点ＣＳにより表示される。また、時間区間ＴＧの始点時刻から終点時刻までの感情データの推移を時系列に表わした軌跡３２が描かれている。そして、スライドバー３０上に表示される操作つまみ３１を移動させることにより、その軌跡３２上を輝点ＣＳが移動するようになされている。
つまり、操作つまみ３１がスライドバー３０の左端にあるときは、輝点ＣＳは、軌跡３２の始点ＳＴの位置にあり、操作つまみ３１を徐々に右側に移動させるにつれて、輝点ＣＳが軌跡３２上を移動し、操作つまみ３１がスライドバー３０の右端にまで移動すると、輝点ＣＳは、軌跡３２の終点ＥＤの位置に移動する。
この図１０（Ｅ）の表示形式を採用した場合には、単純検索および近似検索のいずれも行なうことができる。すなわち、単純検索の場合は、スライドバー３０の操作つまみ３１を、所定の区間、移動させることで、この区間に対応する時間区間情報あるいは色情報群を求め、それらを検索キーとして、対応する画像データの検索を行なう。また、近似検索の場合は、軌跡３２上あるいは感情可視化画像上の一点を指し示して指示設定することにより、図１０（Ｄ）と同様に検索が行なえる。
なお、分布表示タイプの感情可視化画像が対応する時間区間の始点から終点までの間の時間位置を操作する手段としては、図１０（Ｅ）のようなスライドバーに限らず、回転式に操作するようなものであってもよい。また、輝点ＣＳを直接的に軌跡３２上を移動させるようにしても良い。
前述したように、検索再生には、単純検索と近似検索とがあるので、いずれの検索であるかの選択指示もユーザによりなされる。また、近似検索の場合には、近似検索を行なう時間範囲や、近似するものとして検索出力する件数の最大値などの検索設定入力もなされる。
上述のいずれかの指示設定の方法により感情可視化画像上において輝点ＣＳの位置が指示設定され、また、単純検索と近似検索とのいずれかの選択指示および検索設定入力がなされて、検索指示がなされると、図１１および図１２のフローチャートが開始となる。この検索処理は、ＣＰＵ１０１による制御の下、検索処理部１１７によりなされる。なお、検索処理部１１７は、ＣＰＵ１０１により実行されるプログラムによるソフトウエアによって構成することもできる。
図１１に示すように、先ず、検索処理部１１７は、感情可視化画像上で指示設定された位置あるいは範囲、また、単純検索か近似検索かの選択指示、さらに検索設定入力を受け付ける（ステップＳ３１１）。
次に、単純検索であるか否か判別する（ステップＳ３１２）。単純検索であると判別したときには、検索処理部１１７は、感情可視化画像上で指定された画像位置あるいは範囲にある色情報を検出し、その色情報を、ビジュアルデータ処理部１１２に転送する。ビジュアルデータ処理部１１２は、この色情報を、色変換テーブル情報記憶部１２６に記憶されている色変換テーブル情報を用いて感情データに変換し、当該色情報に対応する感情データを検索処理部１１７に送る。検索処理部１１７は、当該色情報に対応する感情データを受け取る（ステップＳ３１３）。
次に、検索処理部１１７は、データ格納部コントローラ１０９を通じてデータ格納部１２３に格納されている感情データを検索して、受け取った感情データが記録された時間情報を検出する。そして、当該検出した時間情報で関連付けられる撮像画像データおよび音声データを、データ格納部１２３から読み出して、再生処理部１１０に転送し、前述したようにして撮像画像および音声の再生を行なう（ステップＳ３１４）。
このとき、感情可視化画像上で指示設定されたのが画像位置であるときには、前記撮像画像データおよび音声データの再生は、当該指示設定された画像位置に対応する感情位置を先頭として、それ以降が順次再生される。また、感情可視化画像が時系列表示タイプであって、感情可視化画像上で指示設定されたのが画像範囲であるときには、前記撮像画像データおよび音声データの再生は、当該指示設定された画像範囲に対応する時間範囲においてなされる。
なお、感情可視化画像が分布表示タイプである場合には、この単純検索においては、感情可視化画像上では、画像位置の指示設定のみが可能とされる。分布表示タイプの感情可視化画像においては、矩形領域で指示設定された画像範囲は、時間的には不連続なデータであるからである。
ステップＳ３１２で、単純検索ではないと判別したときには、検索処理部１１７は、近似検索であると判別して、感情可視化画像上で指定された画像位置あるいは画像範囲を検出すると共に、検索範囲（この例では時間範囲）と検索出力する件数の最大値の設定入力を検知する（ステップＳ３１５）。
そして、検索処理部１１７は、指示指定されたのは、スポット的な画像位置であるか否か判別し（ステップＳ３１６）、スポット的な画像位置であると判別したときには、指示指定された画像位置にある色情報を検出して、その色情報を、ビジュアルデータ処理部１１２に転送する。そして、ビジュアルデータ処理部１１２から、この色情報に対応する感情データを受け取って、指示指定された感情データを検出する（ステップＳ３１７）。
次に、検索処理部１１７は、設定入力された検索範囲内において、データ格納部コントローラ１０９を通じてデータ格納部１２３に格納されている感情データについて、ステップＳ３１７で検出した感情データと近似する感情データを検索する。そして、その検索の結果として近似するものとして検出された感情データを、設定された検索結果の件数の最大値分リストアップする。ここで、近似するものとして検出された感情データ数が前記最大値よりも多い時には、より近時する感情データから順にリストアップする（ステップＳ３１８）。
ここで、指示された感情データと近似する感情データの検索は、次のような感情ベクトル距離を計算することにより行なうことができる。すなわち、感情データは、前述したように複数のパラメータで表わすことができるので、感情データを、ｎ次の項で扱うことができる。
そこで、検索元の指示された感情データを、
Ｅ＝Ｅ０，Ｅ１，Ｅ２，…，Ｅｎ−１
とし、比較する近似する感情データを
ｅ＝ｅ０，ｅ１，ｅ２，…，ｅｎ−１
としたとき、両感情データ間の感情ベクトル距離Ｄは、
Ｄ＝｛ｋ０（Ｅ０−ｅ０）２＋ｋ１（Ｅ１−ｅ１）２＋…
＋ｋｎ−１（Ｅｎ−１−ｅｎ−１）２｝１／２
で求めることができる。
この感情ベクトル距離Ｄが小さい感情データｅほど、検索元の指示された感情データＥに近似するものとして、検出することができる。したがって、ステップＳ３１８では、この感情ベクトル距離Ｄの小さいものから順に、近似する感情データとしてリストアップすることができる。
検索処理部１１７では、以上のようにして検索した感情データを、ユーザに報知するため、表示部１２７に表示するようにする（ステップＳ３１９）。この検索結果の表示方法の一つとしては、例えば表示部１２７の表示画面に表示されている感情可視化画像上において、検索結果の感情データ部分を例えば矢印などの指標により指示表示するようにする方法がある。他の方法としては、検索された感情データに対応する時間を順次に表示画面にリストアップする方法がある。検索結果の表示方法としては、これに限られるものではないことは言うまでもない。
ユーザは、ステップＳ３１９で表示された検索結果の中から、自分が再生したいと思うものを選択指示するようにする。そこで、検索処理部１１７は、そのリストからの検索結果についての選択入力を待ち（ステップＳ３２０）、その選択入力を受け付けたと判別したときには、選択された感情データに対応する時間情報を検知して、その時間情報に対応する撮像画像データおよび音声データをデータ格納部１２３から読み出して、前述と同様にして再生を実行する（ステップＳ３２１）。そして、この検索処理ルーチンを終了する。
また、ステップＳ３１６で、指定されたのが、所定の画像範囲であると判別したときには、検索処理部１１７は、検索処理部１１７は、指示指定された画像範囲（時系列表示タイプであるので、時間範囲になる）の色情報のそれぞれに対応する感情データを、前述したステップＳ３１３やステップＳ３１７の場合と同様にして、ビジュアルデータ処理部１１２および色変換テーブル情報記憶部１２６を用いて検出する（ステップＳ３３１）。
次に、検索処理部１１７は、検索設定入力により設定された時間範囲において、検出された指示指定された範囲の感情データ変化に近似する変化をする感情データ範囲を、データ格納部１２３に格納されている感情データから検索する。この検索も、前述した感情ベクトル距離Ｄを用いることによりなされる。例えば、検索元の感情データ範囲と同じ時間幅の感情データ範囲の単位で、データ格納部１２３の感情データを取り出し、それを検索元の範囲の感情データと比較する。そして、前記時間範囲内において同じ時間位置の感情データ同士の感情ベクトル距離Ｄを求める。そして、その検索の結果として感情ベクトル距離Ｄが小さいものから、順に、より近似するものとして、設定された検索結果の件数の最大値分リストアップする（ステップＳ３３２）。
なお、上述の説明では、指示指定された範囲の感情データ変化に近似する変化をする感情データ範囲を検索するようにしたが、感情データの変化の仕方は異なっても、指示指定された範囲にある感情データと、同様の感情データを含む対応する時間範囲を、データ格納部１２３に格納されている感情データから検索するようにしてもよい。
次に、検索処理部１１７では、以上のようにして検索した感情データ範囲を、ユーザに報知するため、表示部１２７に表示するようにする（ステップＳ３３３）。このステップＳ３３３における検索結果の表示方法の一つとしては、例えば表示部１２７の表示画面に表示されている感情可視化画像上において、検索結果の感情データ範囲を例えば他とは明度を異ならせて表示するようにする方法がある。他の方法としては、検索された感情データ範囲に対応する時間範囲を順次に表示画面にリストアップする方法がある。検索結果の表示方法としては、これに限られるものではないことは言うまでもない。
ユーザは、ステップＳ３３３で表示された検索結果の中から、自分が再生したいと思うものを選択指示するようにする。そこで、検索処理部１１７は、そのリストからの検索結果についての選択入力を待ち（ステップＳ３３４）、その選択入力を受け付けたと判別したときには、選択された感情データ範囲に対応する時間範囲を検知して、その時間範囲に対応する撮像画像データおよび音声データをデータ格納部１２３から読み出して、前述と同様にして再生を実行する（ステップＳ３３５）。そして、この検索処理ルーチンを終了する。
なお、上述の例におけるステップＳ３１３、Ｓ３１７およびＳ３３１においては、感情可視化画像が時系列表示タイプである場合に、その画像上の輝点ＣＳの位置に対応する色情報を取得し、それを感情データに変換して検索キーとして使用したが、これに限らない。
例えば、感情可視化画像上のある位置を輝点ＣＳで指示設定したときに、その位置に対応する時間情報を検出し、この時間情報を用いて対応する感情データをデータ格納部１２３から読み取り検索キーとして使用してもよい。特に単純検索の場合には、さらに単純化して、指示設定された輝点ＣＳの位置に対応する時間情報を検出して、その時間情報を検索キーとして使用してもよい。
上述の例のように色情報から変換された感情データを検索キーとして検索する場合、同一の感情データを有する画像が複数あるときには、さらに、その中からどの画像を再生するか選択する必要もでてくるが、輝点ＣＳの位置に対応する時間情報から対応する感情データを特定した場合には、このような手間は要らずに直接的に画像再生が可能となる。
また、近似検索の場合において、指示設定された輝点ＣＳの位置から時間情報を検出するようにした場合には、当該指示設定された輝点ＣＳの位置は特定できるので、検索された近似感情データあるいは近似感情データ変化のリストの中から、当該輝点ＣＳの位置の感情データを除外することができる。
また、図１１および図１２のフローチャートで示される検索処理では、ステップＳ３１１において検索モードの設定を行なうようにしたが、次のような変形例も考えられる。
すなわち、時系列表示タイプの感情可視化画像が表示されているときに、ユーザが輝点ＣＳを任意の位置に設定する。この時点で単純検索モードが開始されるものとする。このモードにおける画像データ／音声データの再生は上記の実施例と同様になされる。この再生中には、再生データの時間情報に応じて感情可視化画像上の輝点ＣＳも、その位置を変えて表示される。
この再生中に、近似検索を指示する操作キーをユーザが押す。すると、装置は、近時検索モードに移行し、操作キーを押したときの輝点ＣＳの位置から対応する時間情報あるいは感情データを検出して、その検出した時間情報あるいは感情データを検索キーとして近似感情データの検索を行なう。
＜感情データあるいは感情ビジュアルデータの蓄積によるアプリケーション＞
以上のようにして、データ格納部１２３に格納されたデータが、１年、２年、３年などの長期間にわたって蓄積できれば、過去のある日、ある月、ある年には、自分がどのような感情の状態で過ごしていたかを可視化表示することができる。そのためには、データ格納部１２３の容量が、そのような大容量のものである必要がある。しかし、以下に説明する例では、データ格納部１２３の容量が小さくても上述の要求を満足することができるデータ蓄積システムを提案する。
図１３は、データ蓄積システムの例を示すブロック図である。この例のデータ蓄積システムは、ネットワーク１０を通じて複数個の撮像情報記録再生装置１００が、例えばパーソナルコンピュータからなるサーバ装置２０に接続されることにより構成される。
サーバ装置２０は、前述した撮像情報記録再生装置１００のビジュアルデータ処理部１１２および色変換テーブル情報記憶部１２６と同様の構成のビジュアルデータ処理部２１および色変換テーブル情報記憶部２２を備えると共に、大容量のデータ格納部２３を備える。そして、ＣＰＵ２４による制御により、ビジュアルデータ処理部２１での色変換テーブル情報記憶部２２の色変換テーブル情報を用いた感情ビジュアルデータ生成処理がなされると共に、大容量のデータ格納部２３に対するデータの格納および読み出し処理が制御される。なお、図１３のサーバ装置２０では、ここで説明のために必要となる主要部のみを示したものであり、プログラムＲＯＭ、ＲＡＭ、ネットワークインターフェースやその他の処理部は省略されている。
そして、このシステムにおいては、各撮像情報記録再生装置１００は、自己の装置ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；識別情報）を伴ってサーバ装置２０にアクセスするように構成されている。そして、各撮像情報記録再生装置１００は、自己のデータ格納部１２３に格納している撮像画像データ、音声データ、感情データ、感情ビジュアルデータを、それらを関連付ける時間情報と共にサーバ装置２０に送って、蓄積してもらうことができるように構成されている。
また、各撮像情報記録再生装置１００は、サーバ装置２０に対して、過去の蓄積データから、この例では、年単位、月単位、日単位の感情可視化画像情報の生成を依頼することができ、サーバ装置２０は、その依頼に対応する感情可視化画像情報を生成して、依頼してきた撮像情報記録再生装置１００に、生成した感情可視化画像情報を送ることができるように構成されている。
そして、撮像情報記録再生装置１００は、サーバ装置２０から受信した感情可視化画像情報による感情可視化画像を表示部１２７の画面に表示し、その画面において、感情可視化画像上における前述した輝点ＣＳと同様の再生位置指示手段により、画像および音声の再生位置を指定することができるように構成されている。そして、その再生位置が指定されたとき、撮像情報記録再生装置１００は、その再生位置指定情報をサーバ装置２０に送るように構成されている。
サーバ装置２０は、その再生位置指定情報を受け取ると、その再生位置指定情報により示される再生時間位置の撮像画像データおよび音声データをデータ格納部２３から読み出して、要求してきた撮像情報記録再生装置１００に送るようにする機能を備える。
図１４および図１５は、このシステムにおけるサーバ装置２０での処理動作を示すフローチャートである。このフローチャートにおける各ステップの処理は、ＣＰＵ２４がプログラムＲＯＭおよびワークエリアＲＡＭと共に実行するものである。
すなわち、先ず、いずれかの撮像情報記録再生装置１００からのアクセスを受信したか否か判別し（ステップＳ４０１）、受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０２）、ステップＳ４０１に戻る。
ステップＳ４０１で、いずれかの撮像情報記録再生装置１００からのアクセスを受信したと判別したときには、当該アクセスしてきた撮像情報記録再生装置１００の装置ＩＤを認識し、認証する（ステップＳ４０３）。
そして、撮像情報記録再生装置１００からデータ蓄積依頼を受信したか否か判別し（ステップＳ４０４）、データ蓄積依頼であると判別したときには、その後、撮像情報記録再生装置１００から送られてくる、撮像画像データ、音声データ、感情データおよび感情ビジュアルデータを、それらを互いに関連付けるための時間情報と共に受信し、装置ＩＤおよび前記時間情報により関連させてデータ格納部２３に格納する（ステップＳ４０５）。そして、ステップＳ４０１に戻る。
ステップＳ４０４で、データ蓄積依頼ではないと判別したときには、過去の感情ビジュアルデータの作成依頼か否か判別し（ステップＳ４０６）、そうでないと判別したときには、再生位置指定情報を受信したか否か判別する（ステップＳ４０７）。再生位置指定情報を受信しなかったと判別したときには、その他の処理を行ない（ステップＳ４０８）、ステップＳ４０１に戻る。
また、ステップＳ４０７で、再生位置指定情報を受信したと判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている撮像画像データおよび音声データの中から、指定された再生位置に対応する再生時間位置の撮像画像データおよび音声データを読み出して、前記要求してきた撮像情報記録再生装置１００に送る（ステップＳ４０９）。そして、ステップＳ４０１に戻る。
また、ステップＳ４０６で、過去の感情ビジュアルデータの作成依頼を受信したと判別したときには、依頼の単位は、年、月、日のいずれであるか判別する（ステップＳ４１１）。
ステップＳ４１１で依頼が年単位であると判別したときには、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の感情データについて、この例では、月単位で平均化し、各月の感情データ（感情パラメータ）を算出する（ステップＳ４１２）。
次に、算出された各月の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１３）。次に、指定された各年度毎に、月毎の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１４）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。
図１６に、年単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのスライドバータイプの画像であり、２０００年〜２００２年が年度として指定された場合である。各年度の月毎の感情の状態が、色出力により可視化されていることがわかる。これにより、各年度で、月ごとにどのような感情状態で過ごしたのかが一目でわかる。
ステップＳ４１１で依頼が月単位であると判別したときには、表示する年度、月の指定を受け付ける（ステップＳ４１６）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月の感情データについて、この例では、１日単位で平均化し、各１日の感情データ（感情パラメータ）を算出する（ステップＳ４１７）。
次に、算出された各１日の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４１８）。次に、指定された年度の、指定された月毎の、１日単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４１９）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。
図１７に、月単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのブロックタイプの画像であり、２００３年が年度として指定され、かつ、その１月から３月が指定された場合である。各月の１日毎の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月において、１日ごとにどのような感情状態で過ごしたのかが一目でわかる。
次に、ステップＳ４１１において、依頼が日単位であると判別したときには、表示する年度、月、日の指定を受け付ける（ステップＳ４２０）。そして、データ格納部２３から、要求してきた撮像情報記録再生装置の装置ＩＤに対応して記憶されている感情データの中から、指定された年度の、指定された月、かつ、指定された日の感情データについて、この例では、１時間単位で平均化し、各１時間毎の感情データ（感情パラメータ）を算出する（ステップＳ４２１）。
次に、算出された各１時間毎の感情データを、色変換テーブル情報を用いて色情報に変換する（ステップＳ４２２）。次に、指定された年度の、指定された月の指定された日毎の、１時間単位の感情の変化を表現可能な感情可視化画像データを作成する（ステップＳ４２３）。そして、作成した感情可視化画像データを、要求してきた撮像情報記録再生装置１００に転送する（ステップＳ４１５）。そして、ステップＳ４０１に戻る。
図１８に、日単位の感情可視化画像データによる画像の例を示す。この例は、時系列表示タイプのサークルタイプの画像であり、２００３年が年度として指定され、かつ、その４月のすべての日が指定された場合である。指定された月の１日毎の１時間単位の感情の状態が、色出力により可視化されていることがわかる。これにより、指定された年度および月の、指定された日において、１時間ごとにどのような感情状態で過ごしたのかが一目でわかる。また、図１８の例の場合には、指定された月において、１日単位でどのような感情の変化があったかも知ることができる。
そして、例えば図１８の例のような感情可視化画像表示においては、ユーザが、特定の日の特定の時間帯を、撮像情報記録再生装置１００における表示画面上において、例えばカーソルキーなどの指示手段を通じて、前述した輝点からなるカーソルマークの位置を指定すると、前述した当該指示位置を示す再生位置指定情報が発生し、それがサーバ装置２０に送られる。
サーバ装置２０は、前述したように、ステップＳ４０７で、この再生位置指定情報の受信を確認し、ステップＳ４０９で、当該再生位置指定情報により指定された時間位置の撮像画像データおよび音声データを、要求してきた撮像情報記録再生装置１００に送る。
なお、上述の例では、感情データについて、年単位の指定では、１月毎の平均を取り、また、月単位の指定では、１日毎の平均を取り、さらに、日単位の指定では１時間毎の平均を取るようにしてが、平均を取る期間または時間の長さは、これに限られるものではなく、また、ユーザが指定できるようにしても良い。
なお、このシステムが、例えば、家庭用ホームＬＡＮシステムの構成とするときには、サーバ装置は、パーソナルコンピュータの構成とすることができ、その場合には、過去の感情ビジュアルデータの生成指示は、撮像情報記録再生装置からのみではなく、パーソナルコンピュータのキーボードやマウスの入力に基づいて行なえるようにすることもできる。
また、図１３のシステムにおいては、サーバ装置２０には複数個の撮像情報記録再生装置１００の複数人の感情データを格納するので、それらの複数人のそれぞれの感情、また、それらの複数人の平均の感情についての可視化するようにすることもできる。
例えば、家族や友人など団体で旅行に行ったときに、各人が撮像情報記録再生装置１００で撮像記録を行ないながら、生体情報に基づいて、感情データ、感情ビジュアルデータを記録する。帰宅後、ネットワーク１０を通じてサーバ装置２０に、その撮像記録データと共に、感情データおよび感情ビジュアルデータを蓄積する。サーバ装置２０は、この蓄積データを用いて、当該旅行についての複数人の平均の感情を、例えば分布表示タイプにより表示するようにする感情可視化画像データを生成することができる。
この感情可視化画像によれば、旅行した人々の、当該旅行についての平均の感情がどのようなものであったかを可視化表示して知ることができる。また、旅行中の各訪問地やイベントにおける当該旅行参加者の平均の感情を、当該訪問地やイベントに対応する時間帯における旅行参加者の感情データの平均値を求めて色表示することにより可視化することができ、旅行の良し悪しの評価をするための参考資料とすることができる。
また、複数人のそれぞれの感情の状態も可視化できるので、他の人の感情と自分の感情とを比較するなど、種々の利用形態が考えられる。
なお、図１３のシステムにおいても、サーバ装置２０のデータ格納部２３には、撮像画像データおよび音声データと感情データや感情可視化画像データとが、時間情報によって関連されて格納されているので、図１６〜図１８の場合における感情可視化画像において、ユーザが、輝点ＣＳなどのカーソル指標として指示指定することにより、上述した単純検索および近似検索を行なうことができる。
［第２の実施形態］
第２の実施形態は、この発明を、放送受信機部および例えばインターネットなどのネットワークのサーバ装置からの配信データの受信機能を備える録画再生装置に適用した場合である。この録画再生装置においては、録画した放送番組コンテンツあるいはサーバ装置からダウンロードしたコンテンツの再生時に、当該コンテンツの鑑賞者の生体情報を取り込んで、感情解析し、その感情解析結果を色変換して感情可視化画像とした情報を、撮像情報と共に、時間情報に関連させて記録するようにする機能を備える。
この実施形態においても、可視化方法は、感情解析結果の感情情報を、色情報に変換して可視化する方法を用いる。なお、この明細書において、コンテンツとは、視覚的または聴覚的に鑑賞可能なものを意味している。
＜録画再生装置のハードウエア構成例＞
図１９は、この実施形態の録画再生装置２００のブロック図である。この録画再生装置２００は、ＣＰＵ２０１に対して、システムバス２０２を介して、ＲＯＭ２０３と、ＲＡＭ２０４とが接続されたコンピュータを備える構成となっている。
そして、システムバス２０２に対して、放送受信機部２０５と、記録エンコード・デコード部２０６と、生体情報入力部コントローラ２０７と、感情解析処理部２０８と、データ格納部コントローラ２０９と、計時部２１１と、ビジュアルデータ処理部２１２と、表示部コントローラ２１３と、キー入力インターフェース２１４と、ネットワークインターフェース２１５と、プリンタコントローラ２１６と、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）インターフェース２１７と、検索処理部２１８とが接続されている。
生体情報入力部コントローラ２０７には、生体情報入力部２２４がＡ／Ｄ変換部２２５を介して接続されている。この生体情報入力部２２４、Ａ／Ｄ変換部２２５および生体情報入力部コントローラ２０７の構成は、前述の第１の実施形態における生体情報入力部１２４、Ａ／Ｄ変換部１２５および生体情報入力部コントローラ１０７の構成と全く同一とされている。
また、感情解析処理部２０８も、前述の第１の実施形態の感情解析処理部１０８と同一の構成とされている。
また、データ格納部コントローラ２０９には、例えばハードディスクドライブやＤＶＤレコーダなどの大容量光ディスク装置などからなるデータ格納部２２３が接続される。この構成も、前述の第１の実施形態のデータ格納部コントローラ１０９およびデータ格納部１２３と同様の構成とされている。
データ格納部２２３には、この例では、後述するように放送番組のコンテンツデータの場合には、当該コンテンツデータは、その放送時間の時間情報と対応されて、当該コンテンツの先頭からの時間位置がわかるように格納されている。この場合には、コンテンツデータが、記録エンコード・デコード部２０６によりＭＰＥＧ方式により圧縮されて格納される場合に、その圧縮データには、前述と同様にして、時間位置情報が順次に挿入されている。ダウンロードコンテンツの場合にも、同様にして、この例では、ＭＰＥＧ方式により圧縮されて格納される。したがって、圧縮コンテンツデータには、時間位置情報が挿入されている。
計時部２１１は、第１の実施形態の計時部１１１と同様の構成のもので、カレンダー機能つきの時計回路であって、年月日および時刻情報をシステムバス２０２に送出する。また、この第２の実施形態においては、後述する放送番組のタイマー録画をする際の監視タイマーの役割も果たす。
ビジュアルデータ処理部２１２は、第１の実施形態のビジュアルデータ処理部１１２と同様の構成を備えるもので、感情解析処理部２０８からの感情データあるいはデータ格納部２２３に格納されている感情データから、前述の第１の実施形態と同様に、色変換テーブル情報記憶部２２６に格納されている色変換テーブル情報を用いて感情の可視化データとしての色情報を得、この可視化データとしての色情報に基づいて感情可視化画像情報を生成し、生成した感情可視化画像情報を、データ格納部コントローラ２０９を通じてデータ格納部２２３に格納する機能を備える。第１の実施形態と同様に、ビジュアルデータ処理部２１２は、感情変化可視化手段および感情分布可視化手段の役割機能も備える。
また、ビジュアルデータ処理部２１２は、データ格納部２２３から読み出されたコンテンツデータおよび感情可視化画像情報とを、時間軸に同期させて再生し、表示部コントローラ２１３を通じて表示部２２７の画面に表示させるようにする機能を備える。なお、この再生時、データ格納部２２３から読み出されたコンテンツデータは、記録エンコード・デコード部２０６のデコード部でデコード処理された後、ビジュアルデータ処理部２１２に供給されるものである。
表示部コントローラ２１３は、表示部２２７に供給する表示用画像信号を形成し、これを表示部２２７に供給する。表示部２２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイであり、表示部コントローラ２１３からの画像信号に応じた画像をその表示画面に表示する。
キー入力インターフェース２１４には、キー入力操作部２２８が接続される。キー入力操作部２２８は、録画キー、録画予約キー、再生キー、早送りキー、巻戻しキー、ジャンプキー、停止キーなどに加え、放送番組選択キーなどを備える。キー入力操作部２２８のいずれかのキーが操作されると、キー入力インターフェース２１４を通じてその操作入力情報がシステムバス２０２に供給される。ＣＰＵ２０１は、この操作入力情報を判別して、どのキーが操作されたかを判別し、その操作されたキーに対応する処理を実行する。
なお、リモコン受信機をシステムバス２０２に接続しておき、リモコン送信機を通じて、上述の操作キーによる入力操作ができるようにすることも、もちろんできる。
プリンタコントローラ２１６には、この例ではカラープリンタ２２９が接続され、後述するように、ビジュアルデータ処理部２１２から得られる感情可視化画像情報による出力画像が、このカラープリンタ２２９によりカラー印刷出力されるように構成されている。
ＡＶ出力インターフェース２１７は、再生時に、記録エンコード・デコード部２０６でデコードされて得られた音声データおよび／または画像データをアナログ信号にしてモニター装置２３０に供給する機能を備える。また、再生すべき音声データおよび／または画像データに、後述するように感情ビジュアルデータが関連してデータ格納部２２３に格納されている場合には、当該感情ビジュアルデータによる感情可視化画像も、再生画像に重畳して、あるいは再生画像とは画面分割の状態で、モニター装置２３０の画面に表示させるようにする機能も備える。
検索処理部２１８は、前述した第１の実施形態と同様に、感情可視化画像情報による出力画像（感情可視化画像）を通じて指定された感情あるいは感情範囲に応じて検索処理を実行する機能を備える。この第２の実施形態では、検索範囲としては、「一つのコンテンツ内のみ」、「特定のジャンルのコンテンツの範囲」、「全コンテンツの範囲」などのように指示設定可能とされる。そして、検索モードとしては、前述の第１の実施形態と同様に単純検索モードと近似検索モードとを備える。
この単純検索モードや近似検索モードは、感情データに対応するデータが、第１の実施形態の場合には撮像画像データや音声データであったものが、第２の実施形態では、コンテンツデータに変わるのみであって、その他は同様であるので、ここではその詳細な説明は省略する。
この第２の実施形態の検索処理部２１８は、さらに、全体として鑑賞した後の感情が近似するコンテンツを検索することができるコンテンツ検索再生モードを備える。すなわち、第２の実施形態では、感情可視化画像をアイコン化した感情表示アイコンを各コンテンツに対応してデータ格納部２２３に格納し、コンテンツ再生の際のコンテンツ一覧に表示するようにする。ユーザが、いずれかの感情表示アイコンを指示指定すると、検索処理部２１８は、その指示指定された感情表示アイコンと、感情状態が近似する感情表示アイコンが得られるコンテンツの検索をする。
このコンテンツ検索再生モードにおいては、例えば過去に視聴したときの感情を記憶しているコンテンツと同じような感情を得たい他のコンテンツを、ユーザは、容易に見つけ出すことができるようになる。
例えば、ユーザは、非常に興奮したコンテンツＡと同様の興奮を味わいたい他のコンテンツＢを見つけたいときには、前記コンテンツＡに対応する感情表示アイコンを指示指定する。すると、検索処理部２１８により、コンテンツＢの候補が検索され、一覧表示されるので、ユーザは、その一覧表示から好みのコンテンツを選択することができる。このコンテンツ検索再生の詳細については、後述する。
放送受信機部２０５は、この例では、デジタルテレビ放送を受信する機能を備えるものであり、キー入力インターフェース２１４に接続されるキー入力操作部２２８やリモコン送信部での放送番組選局キーによる選局操作に従った選局信号が供給されて、ユーザの希望する放送番組を受信する。
そして、この例の録画再生装置２００は、放送受信機部２０５で受信した放送番組コンテンツを、コンテンツ格納部２２３に格納して録画することができるように構成されている。また、録画再生装置２００は、前述したように、計時部２１１によるタイマー機能を備え、放送番組コンテンツを、予約録画することができる機能を備えている。
また、この例の録画再生装置２００は、ネットワークインターフェース２１５を通じて、音楽コンテンツや画像コンテンツ、さらには電子小説などのテキストデータ（一部、画像情報を含む場合もある）からなるコンテンツをダウンロードして、データ格納部２２３に記録する機能も備える。なお、記録エンコード・デコード部２０６の記録エンコード部は、データ格納部２２３に、データ格納部コントローラ２０９を通じて放送番組コンテンツ、ダウンロードコンテンツを格納する際に、必要な記録エンコード処理を行なう。
そして、記録エンコード・デコード部２０６のデコード部は、データ格納部２２３からデータ格納部コントローラ２０９を通じて、格納されているデータが読み出されたとき、その読み出されたデータについてのデコード処理を行ない、前述したように、そのデコード処理結果のデータをＡＶ出力インターフェース２１７に転送する。
コンテンツ格納部２２３には、放送受信機部２０２で受信した放送番組コンテンツの実体データ（以下、単に放送番組コンテンツデータという）、ダウンロードしたコンテンツのデータ、およびそれらのコンテンツに関する情報とが、合わせて格納されている。このコンテンツに関する情報としては、コンテンツ識別情報（コンテンツＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））に関連して、放送番組コンテンツの場合には、放送番組名（タイトル）放送年月日、放送時間などの情報などが記憶され、ダウンロードコンテンツの場合には、コンテンツのタイトル名、ダウンロード日、データ容量などが記憶される。
また、コンテンツデータは、放送時刻および／または受信時刻の時間情報に基づく時間情報（時間位置情報）が付加されてデータ格納部２２３に格納される。この時間情報（時間位置情報）により、感情データと、コンテンツデータとは対応を付けることができる。したがって、この時間情報は、この実施形態では、少なくとも感情データを取得する時間単位で記録する必要がある。
コンテンツの記録時、つまり、データ格納部２２３へのコンテンツデータの格納時に、当該コンテンツをユーザ（コンテンツの鑑賞者）が視聴している場合には、その際に、視聴しているユーザの生体情報を収集し、その生体情報に基づいて、鑑賞者の感情データを取得して、その感情データを、例えばコンテンツＩＤおよび記録時の前記時間情報に対応させてデータ格納部２２３に格納することができる。
このコンテンツデータの記録時における感情データの記録動作は、上述した第１の実施形態における撮像情報の記録時における感情データの記録動作と同様であり、コンテンツを視聴しているときの感情を表わす感情データをデータ格納部２２３に、前記コンテンツの時間情報に関連させて格納すると共に、視聴しているコンテンツの画像と共にリアルタイム表示することができる。そして、コンテンツの記録終了時（視聴終了時）に、当該コンテンツの視聴期間における感情ビジュアルデータを生成してデータ格納部２２３に格納し、また、その感情ビジュアルデータからなる感情表示アイコンの画像データの生成も行ない、生成した感情表示アイコンの画像データもデータ格納部２２３に格納する。
しかし、予約録画時や、コンテンツのダウンロード時には、一般的には、ユーザは、当該放送番組コンテンツやダウンロードコンテンツを鑑賞することはない。そこで、この実施形態では、再生時に、コンテンツを鑑賞しているユーザの生体情報を収集し、その生体情報に基づいて、鑑賞者の感情データを取得して、その感情データを、例えばコンテンツＩＤおよび記録時の前記時間情報に対応させてデータ格納部２２３に格納するようにする。
データ格納部２２３に格納した感情表示アイコンの画像情報は、前述した第１の実施形態の場合と同様にして、再生に先立ち、データ格納部２２３に格納されている再生可能なコンテンツの一覧を表示する際に、それぞれのコンテンツに対応させて、画面に表示させるようにする。これにより、各コンテンツを以前に鑑賞したときの感情状態が判り、鑑賞したいコンテンツの選択の参考資料とすることができる。
＜通常の再生および検索再生の説明＞
図２０および図２１は、この録画再生装置２００におけるデータ格納部２２３に格納されているコンテンツを再生する際の処理動作を説明するためのフローチャートである。この図２０および図２１の処理は、ＣＰＵ２０１により、ＲＯＭ２０３に格納されているプログラムにしたがって、ＲＡＭ２０４がワークエリアとして用いられて実行されると共に、検索処理部２１８により実行されるもので、通常のようにコンテンツを再生する場合と、感情表示アイコンを通じた指示指定に応じたコンテンツ検索再生モードによる再生を含む。なお、前述したように、感情可視化画像を通じて行なう単純検索および近似検索については、説明が複雑になるので、この図２０および図２１においては、説明を省略する。
なお、検索処理部２１８は、前述の第１の実施形態の検索処理部１１７と同様に、ソフトウエアにより構成しても、もちろんよい。
図２０および図２１の処理の開始に先立ち、通常再生するか、コンテンツ検索再生をするかの指定入力を受け付ける。そして、そのような指定入力があると図２０のスタートから処理が開始する。
まず、検索処理部２１８は、指示入力されたのが、コンテンツ検索再生であるか否か判別し（ステップＳ５０１）、コンテンツ検索再生ではないと判別したときには、通常の再生が指示指定されたと判別し、検索処理部２１８は、データ格納部２２３に格納されている再生可能なコンテンツについての一覧を表示する（図２１のステップＳ５１１）。
この一覧表示においては、既にユーザが一度鑑賞して、感情データ、感情ビジュアルデータおよび感情表示アイコンのデータがデータ格納部２２３に格納されているコンテンツに関しては、前記感情表示アイコンの画像が、対応するコンテンツ名の表示の横などに表示される。
次に、ＣＰＵ２０１は、表示されたコンテンツ一覧の中から、再生するコンテンツが選択されるのを待ち（ステップＳ５１２）、コンテンツが選択されたと判別したときには、選択されたコンテンツが感情表示アイコン付きのコンテンツであるか否か判別する（ステップＳ５１３）。選択されたコンテンツが感情表示アイコン付きのコンテンツであると判別したときには、既に鑑賞者の感情データが蓄積されているので、この例では、感情データの再蓄積は行なわず、データ格納部２２３から選択されたコンテンツのデータを読み出して、再生を実行する（ステップＳ５１４）。もっとも、前に記録した感情データを破棄して、再度、新たに鑑賞（ここでは視聴）したときの感情データや感情ビジュアルデータを記録するようにすることももちろんできる。さらに、別々に記録してそれらの変化を見る、平均化処理を行なう等の利用もできる。
ステップＳ５１４におけるコンテンツの再生時においては、感情ビジュアルデータによる感情可視化画像も、例えばモニター装置２３０の画面や、表示部２２７の画面に表示される。そして、前述の第１の実施形態と同様に、再生中のコンテンツにおいて現在視聴しているパートに対応する感情データは、当該感情可視化画像において、どの位置であるかが、図１０における輝点ＣＳなどの指標により表示されて、対応関係がわかるように表示される。感情可視化画像が時系列タイプのものであれば、コンテンツにおいて、どの再生時間位置の感情であるかも知ることができる。
次に、ＣＰＵ２０１は、停止キーが操作されて、再生停止指示がなされるまで、再生処理を継続し、再生停止指示がなされたと判別したときには（ステップＳ５１５）、データ格納部２２３からのコンテンツデータの読み出しを停止する（ステップＳ５１６）。そして、再生モードの終了操作がなされたか否か判別し（ステップＳ５１７）、再生モードの終了操作がなされてはいないと判別したときには、ステップＳ５１１に戻り、また、再生モードの終了操作がなされたと判別したときには、この再生処理ルーチンを終了する。
また、この再生時、あるいは再生停止時において、感情可視化画像が画面に表示されているときには、当該感情可視化画像を通じて単純検索または近似検索の指示指定をすることができる。検索処理部２１８は、単純検索または近似検索の指示指定がなされたと判別したときには、前述の第１の実施形態の場合と同様にして、データ格納部２２３に格納されているコンテンツに関して、単純検索または近似検索を実行する。そして、その単純検索または近似検索の結果の一覧リストからユーザにより指定されたコンテンツのパートが再生される。
なお、単純検索または近似検索は、このように再生の途中で行なうのではなく、あるコンテンツについての感情可視化画像を画面に表示して、その感情可視化画像を通じて行うようにするようにすることもできる。
次に、ステップＳ５１３で、感情表示アイコン付きではないと判別したときには、ＣＰＵ２０１は、ユーザの感情解析をするか否かの指示入力を待って、感情解析をするかどうか判別する（ステップＳ５１８）。感情解析をしないと判別したときには、ステップＳ５１４に進み、前述したステップＳ５１４以降の処理を実行する。
また、ステップＳ５１８で感情解析をすると判別したときには、ＣＰＵ２０１は、生体情報の取得をしながらコンテンツの再生を実行するようにする（ステップＳ５１９）。このとき、ユーザが生体情報入力部２２４を構成する、例えば電極を取り付けていないことを、その出力データを監視するなどにより検知したときには、生体情報の取得ができる状態になっていないことをユーザに報知して、電極などの装着を促し、当該電極などの装着を確認した後、コンテンツの再生を実行するようにする。そして、この再生においては、ＣＰＵ２０１は、データ格納部２２３にコンテンツデータと共に記録されている時間情報を監視して、再生時間位置の管理も行なう。
次に、ＣＰＵ２０１は、生体情報入力部コントローラ２０７で、生体情報入力部２２４で取得され、Ａ／Ｄ変換部２２５でデジタル信号に変換された、コンテンツ鑑賞者の生体情報を、解析処理させる（ステップＳ５２０）。そして、生体情報入力部コントローラ２０７からの生体情報を、感情解析処理部２０８に転送し、感情解析させ、その解析結果の感情データ（感情パラメータ値）を、管理されている再生時間位置に対応する時間情報と共に、データ格納部コントローラ２０９により、データ格納部２２３に格納させる（ステップＳ５２１）。
このステップＳ５２１においては、生体情報入力部コントローラ２０７からの生体情報のそれぞれに対して感情データ（感情パラメータ値）を算出するようにしてもよいが、この実施形態では、前述の図６で説明したのと同様に、予め定められた一定時間（単位時間）毎に、感情データを平均化して当該一定時間毎の感情データ（感情パラメータ値）を算出するようにする。この場合の一定時間（単位時間）は、前述の図６において設定される平均化間隔の時間よりも短い一定時間とされる。そして、この一定時間単位の時間情報と関連して、データ格納部２２３に感情データが格納される。この実施形態においては、時間情報により、感情データと、コンテンツデータとは対応を付けることができる。
また、感情解析処理部２０８での解析結果の感情データをビジュアルデータ処理部２１２に送り、色変換テーブル情報記憶部２２６の色変換テーブル情報を用いて、当該感情データを色情報に変換し、それを、ＡＶ出力インターフェース２１７を通じてモニター装置２３０に送って、その表示画面に表示させる。あるいは、表示部コントローラ２１３により表示部２２７の画面に表示させる（ステップＳ５２２）。この表示は、コンテンツ再生を行なっているときの、その時々のユーザの感情状態を、モニター装置２３０のコンテンツ再生画面において、あるいは、表示部２２７において、リアルタイムで表示するものである。
そして、再生停止の操作入力がユーザによりなされて再生終了となったか否か、あるいは、対象となるコンテンツデータのすべてが読み出されて再生終了となったか否か判別し（ステップＳ５２３）、再生終了でないと判別したときには、ＣＰＵ２０１は、ステップＳ５１９に戻って、このステップＳ５１９以降の処理を繰り返す。
また、ステップＳ５２３で、再生終了と判別したときには、ＣＰＵ２０１は、記録した時間区間のすべてにおける感情データを、データ格納部２２３からデータ格納部コントローラ２０９を通じて読み出し、図６に示したようにして、予め設定された表示タイプの感情ビジュアルデータを作成し、データ格納部２２３に格納されているコンテンツデータに関連させて格納する（ステップＳ５２４）。
このとき、ステップＳ５２４では、再生コンテンツについて、鑑賞した時間区間のすべての区間における感情を、指定された表示タイプで、前述したように時系列表示タイプや分布表示タイプで表示したものからなる小さい感情表示アイコンも生成し、データ格納部２２３に、再生したコンテンツに関連させて格納する。
そして、データ格納部２２３に格納されている、コンテンツデータと、感情データと、感情ビジュアルデータと、前記感情表示アイコンの表示用画像情報とを関連するものとする管理情報（図８参照）の更新を行なう（ステップＳ５２５）。そして、ステップＳ５１７に進み、再生モードの終了操作がなされたか否か判別し、再生モードの終了操作がなされてはいないと判別したときには、ステップＳ５１１に戻り、また、再生モードの終了操作がなされたと判別したときには、この再生処理ルーチンを終了する。
次に、ステップＳ５０１において、コンテンツ検索再生モードがユーザにより指定されたと判別したときには、検索処理部２１８は、データ格納部２２３に格納されている再生可能なコンテンツであって、感情表示アイコンのデータが併せて格納されているコンテンツの一覧を表示する（ステップＳ５０２）。このコンテンツ一覧表示には、各コンテンツ名の表示の横などに、対応する感情表示アイコンの画像が表示される。
次に、検索処理部２１８は、表示されたコンテンツ一覧の中から、検索したい感情表示アイコンが選択されるのを待ち（ステップＳ５０３）、感情表示アイコンが選択されたと判別したときには、選択された感情表示アイコンに対応する感情ビジュアルデータを、データ格納部２２３から検出する（ステップＳ５０４）。
次に、検索処理部２１８は、検出した感情ビジュアルデータと、近似する感情ビジュアルデータを、データ格納部２２３から検索する（ステップＳ５０５）。この検索は、前述した感情ベクトル距離Ｄを用いて行なうことができる。すなわち、例えば感情表示アイコンの画像上において、互いに対応する位置となる感情データ間の感情ベクトル距離をすべて求め、そのすべての感情ベクトル距離の一定距離よりも短いときに近似していると判別する。そして、距離の差の合計が小さい方が、より近似していると判別するようにする。
なお、感情ビジュアルデータの感情データを用いなくても、感情表示アイコンあるいは感情ビジュアルデータの色情報を用いて、それらの画像上において、近似しているか否かを、判別するようにすることもできる。
以上のようにして、近似する感情ビジュアルデータを検出したら、当該感情ビジュアルデータに対応するコンテンツをすべてリストアップして、その感情表示アイコンと共に、表示部２２７の画面に表示する（ステップＳ５０６）。
そして、検索処理部２２８は、そのリストからの検索結果についての選択入力を待ち（ステップＳ５０７）、その選択入力を受け付けたと判別したときには、選択されたコンテンツを検知して、そのコンテンツのデータをデータ格納部２２３から読み出して、前述と同様にして再生を実行する（図２１のステップＳ５１４）。
以上のようにして、ユーザは、自分が視聴したい感情雰囲気の感情表示アイコンを指示指定することにより、似た感情雰囲気が得られるコンテンツを検索することができる。そして、その検索したコンテンツの中から、ユーザは、希望するものを選択することにより、再生することができ、非常に便利である。
なお、前述の感情表示アイコンの画像、また、感情ビジュアルデータによる感情可視化画像を、プリンタコントローラ２１６を通じてカラープリンタ２２９に出力して、シールや記録紙などに、カラー印刷することができる。そのカラー印刷出力物に、コンテンツＩＤやコンテンツタイトルなどを合わせて印刷出力することもできる。
したがって、データ格納部２２３が、例えばＤＶＤなどのリムーバルな記録媒体を用いる装置からなる場合には、このカラー印刷したシールや記録紙をＤＶＤに貼り付けたり、ジャケット内に同封したりしておくことができる。これにより、後の時点において、それらのシールや記録紙に印刷された感情表示アイコンを見ることにより、当該ＤＶＤに格納されているコンテンツ視聴時にどのような感情を持ったかが、一目でわかり、便利である。
なお、図１７の例では、放送番組コンテンツやインターネットなどのネットワークからダウンロードしたコンテンツをデータ格納部に格納するようにしたが、ＡＶ入力端子を設け、例えばＤＶＤプレーヤなどからの音声データおよび画像データを受けて、データ格納部２２３に格納するようにしてもよい。
また、録画再生装置２００のユーザは、例えば家族ユーザである場合には、コンテンツ毎の感情データは、家族構成員のそれぞれについて、記録するようにしてもよい。その場合には、家族構成員のそれぞれにユーザＩＤを付与し、当該ユーザＩＤに対応して感情データをデータ格納部２２３に格納するようにする。
ただし、コンテンツ一覧表示においては、家族構成員のそれぞれの感情表示アイコンを、すべて表示するようにしてもよいし、再生要求をしようとしているユーザの感情表示アイコンのみを表示するようにしてもよい。さらに、家族の平均の感情データを生成して、当該平均の感情データによる可視化画像を感情表示アイコンとして表示するようにしても良い。
また、録画再生装置２００は、図１９の例に限らず、データ格納部２２３を例えばハードディスクドライブで構成し、これに加えて、ＤＶＤドライブが設けられて、ＤＶＤの記録再生が可能とされる構成とすることもできる。その場合に、感情ビジュアルデータや感情表示アイコンは、各ＤＶＤに記録するようにするとよい。また、各ＤＶＤに記録するのではなく、データ格納部２２３に、各ＤＶＤの識別子と対応させると共に、当該ＤＶＤに記録されているコンテンツの再生時間位置の情報と対応させて、そのＤＶＤのコンテンツについての感情データや感情ビジュアルデータ、また、感情表示アイコンを記録するようにすることもできる。
なお、この第２の実施形態を、再生部についてのみについて注目すれば、録画再生装置ではなく、ＤＶＤプレーヤなどのコンテンツの再生装置にもこの発明が適用できることは言うまでもない。
＜他の実施形態＞
この発明は、上述のような画像および音声の視聴を伴う感情の可視化の場合に限らず、音楽のみを聴取した時の感情の可視化の場合、本（電子文書）を読んだときの感情の可視化の場合、美術作品の画像を鑑賞したときの感情を可視化する場合などにも適用可能である。それらの場合、音楽コンテンツ（音声情報）、電子文書コンテンツ（画像情報）、美術作品のコンテンツ（画像情報）が、感情データと対応してデータ格納部に記録されるのは、上述の例と同様である。
また、この発明は、複数人の平均の感情の可視化を適用する場合も、上述した場合に限らず、例えば、コンサート、テーマパーク、イベントに参集した人々の平均の感情を可視化表示するようにする場合にも適用可能である。その場合には、当該コンサートの画像や音声情報、テーマパークでの画像と音声情報、イベントにおける画像および音声情報と、それら複数人の平均の感情データとを対応させて記録するものである。
また、上述の実施形態では、感情の可視化情報としては、色情報を用いるようにしたが、例えば顔（実画像、簡単な漫画など）の表情で表わしたものや、記号などで表わしたものであっても良い。その場合には、感情データと、顔の表情や記号との変換テーブルを用意して、上述の色変換処理と同様にすることができる。また、感情の変化を光の明暗で表わすようにすることもできる。
この発明による撮像情報の検索再生方法の実施形態が適用された撮像情報記録再生装置の一例のブロック図である。 図１の一部の構成例を示すブロック図である。 この発明による撮像情報の検索再生方法の実施形態の説明に用いる感情モデルの例を示す図である。 この発明による撮像情報の検索再生方法の実施形態に用いられる色変換テーブル情報の一例を示す図である。 この発明による撮像情報の検索再生方法の実施形態による可視化出力画像のいくつからの表示タイプを説明するための図である。 この発明による撮像情報の検索再生方法の実施形態を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における記録処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置において、格納されるデータの管理構造を説明するための図である。 図１の撮像情報記録再生装置における再生処理時の処理動作を説明するためのフローチャートを示す図である。 図１の撮像情報記録再生装置における再生処理時の、感情可視化画像表示例を示す図である。 この発明による撮像情報の検索再生方法の第１の実施形態における検索処理動作を説明するためのフローチャートの一部である。 この発明による撮像情報の検索再生方法の第１の実施形態における検索処理動作を説明するためのフローチャートの一部である。 この発明による撮像情報の検索再生方法の実施形態が適用されるネットワークシステムの一例を示す図である。 この発明による撮像情報の検索再生方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 この発明による撮像情報の検索再生方法の実施形態を用いた可視化表現のアプリケーションを説明するためのフローチャートの一部を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。 感情の可視化表示の例を示す図である。 この発明によるコンテンツの検索再生方法の実施形態が適用された録画再生装置の一例のブロック図である。 図１９の例の録画再生装置における再生処理を説明するためのフローチャートの一部を示す図である。 図１９の例の録画再生装置における再生処理を説明するためのフローチャートの一部を示す図である。

Claims (42)

  1. 撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて得る感情情報検出手段と、
    前記感情情報検出手段で得られた感情情報を、前記感情情報格納部から検索する検索手段と、
    前記検索手段で検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
    を備える撮像情報の検索再生装置。
  2. 撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索手段と、
    前記検索手段で検索された時間情報に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
    を備える撮像情報の検索再生装置。
  3. 請求項１または請求項２に記載の撮像情報の検索再生装置において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とする撮像情報の検索再生装置。
  4. 請求項３に記載の撮像情報の検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記撮像情報が記録された期間内における感情の変化を色により可視化するものである
    ことを特徴とする撮像情報の検索再生装置。
  5. 請求項３に記載の撮像情報の検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記撮像情報が記録された期間内における前記感情の状態分布を可視化するものである
    ことを特徴とする撮像情報の検索再生装置。
  6. 撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて得る感情情報検出手段と、
    前記感情情報検出手段で得られた感情情報で表わされる感情に近似する感情を表わす感情情報を前記感情情報格納部に格納された感情情報から検索する検索手段と、
    前記検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
    を備えることを特徴とする撮像情報の検索再生装置。
  7. 撮像された撮像情報が、撮像時刻の時間情報と対応して格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報が、当該感情情報を取得した前記撮像時刻の時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて前記ユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を得る時間情報検出手段と、
    前記時間情報検出手段で得られた時間情報に対応する感情情報で表わされる感情に近似する感情を表わす感情情報を前記感情情報格納部に格納された感情情報から検索する検索手段と、
    前記検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する手段と、
    を備えることを特徴とする撮像情報の検索再生装置。
  8. 請求項６または請求項７に記載の撮像情報の検索再生装置において、
    前記検索手段で複数の感情情報が検索されたとき、そのうちの一の感情情報を選択する選択手段をさらに備えることを特徴とする撮像情報の検索再生装置。
  9. 請求項６または請求項７に記載の撮像情報の検索再生装置において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とする撮像情報の検索再生装置。
  10. 請求項９に記載の撮像情報の検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記撮像情報が記録された期間内における感情の変化を色により可視化するものである
    ことを特徴とする撮像情報の検索再生装置。
  11. 請求項９に記載の撮像情報の検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記撮像情報が記録された期間内における前記感情の状態分布を可視化するものである
    ことを特徴とする撮像情報の検索再生装置。
  12. 撮像された撮像情報が、撮像時刻の時間情報と対応されて格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応されて格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備える装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記撮像情報を検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を、前記変換テーブル情報を用いて得る感情情報検出工程と、
    前記感情情報検出工程で得られた感情情報を、前記感情情報格納部から検索する検索工程と、
    前記検索手段で検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する工程と、
    を備える撮像情報の検索再生方法。
  13. 撮像された撮像情報が、撮像時刻の時間情報と対応されて格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応されて格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備える装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記撮像情報を検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索工程と、
    前記検索手段で検索された時間情報に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する工程と、
    を備える撮像情報の検索再生方法。
  14. 撮像された撮像情報が、撮像時刻の時間情報と対応されて格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応されて格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備える装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記撮像情報を検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を、前記変換テーブル情報を用いて得る感情情報検出工程と、
    前記感情情報検出工程で検出された感情情報に近似する感情情報を前記感情情報格納部に格納された感情情報から検索する工程と、
    前記検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する工程と、
    を備える撮像情報の検索再生方法。
  15. 撮像された撮像情報が、撮像時刻の時間情報と対応されて格納されている撮像情報格納部と、
    前記撮像を行なう撮影者から取得した生体情報が解析されて得られた前記撮影者の感情を表わす感情情報を、当該感情情報を取得した前記撮像時刻の時間情報に対応されて格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記撮像がなされた全期間あるいは一部の期間における前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備える装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記撮像情報を検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を得る時間情報検出工程と、
    前記時間情報検出工程で検出された時間情報に対応する感情情報に近似する感情情報を前記感情情報格納部に格納された感情情報から検索する工程と、
    前記検索された感情情報の時間位置に対応する前記撮像情報を、前記撮像情報格納部から読み出して再生する工程と、
    を備える撮像情報の検索再生方法。
  16. 請求項１４または請求項１５に記載の撮像情報の検索再生方法において、
    前記検索工程で複数の感情情報が検索されたとき、そのうちの一の感情情報を選択する選択工程をさらに備えることを特徴とする撮像情報の検索再生方法。
  17. コンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じてユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて得る感情情報検出手段と、
    前記感情情報検出手段で得られた感情情報を、前記感情情報格納部から検索する検索手段と、
    前記検索手段で検索された前記感情情報の時間位置に対応する前記コンテンツデータを、前記コンテンツ格納部から読み出して再生する手段と、
    を備えるコンテンツの検索再生装置。
  18. コンテンツのデータが、当該コンテンツの先頭からの時間位置と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記コンテンツの先頭からの時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じてユーザにより指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索手段と、
    前記検索手段で検索された時間情報に対応する前記コンテンツデータを、前記コンテンツ格納部から読み出して再生する手段と、
    を備えるコンテンツの検索再生装置。
  19. 請求項１７または請求項１８に記載のコンテンツの検索再生装置において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とするコンテンツの検索再生装置。
  20. 請求項１９に記載のコンテンツの検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記コンテンツの鑑賞期間内における感情の変化を色により可視化するものである
    ことを特徴とするコンテンツの検索再生装置。
  21. 請求項１９に記載のコンテンツの検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記コンテンツの鑑賞期間内における前記感情の状態分布を可視化するものである
    ことを特徴とするコンテンツの検索再生装置。
  22. 複数個のコンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報を、前記コンテンツのそれぞれに対応して、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像の情報を格納する感情可視化画像情報格納部と、
    前記感情可視化画像情報格納部に格納される感情可視化画像情報を表示画面に表示する表示手段と、
    前記表示画面に表示された複数の感情可視化画像の中から任意の感情可視化画像をユーザが指定するための指定手段と、
    前記指定手段を通じて指定された前記感情可視化画像と近似する感情可視化画像となる感情可視化画像情報を前記感情可視化画像情報格納部に格納された感情可視化画像情報から検索し、検索結果の感情可視化画像情報に対応するコンテンツを提示する検索提示手段と、
    前記提示されたコンテンツのデータを、前記コンテンツ格納部から読み出して再生する手段と、
    を備えることを特徴とするコンテンツの検索再生装置。
  23. 請求項２２に記載のコンテンツの検索再生装置において、
    前記検索提示手段で複数のコンテンツが提示されたとき、そのうちの一のコンテンツを選択する選択手段をさらに備えることを特徴とするコンテンツの検索再生装置。
  24. 請求項２２に記載のコンテンツの検索再生装置において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とするコンテンツの検索再生装置。
  25. 請求項２４に記載のコンテンツの検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、前記コンテンツの鑑賞期間内における感情の変化を色により可視化するものである
    ことを特徴とするコンテンツの検索再生装置。
  26. 請求項２４に記載のコンテンツの検索再生装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、前記撮像情報が記録された期間分についての割合を可視化することにより、前記コンテンツの鑑賞期間内における前記感情の状態分布を可視化するものである
    ことを特徴とするコンテンツの検索再生装置。
  27. コンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備えるコンテンツ再生装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記コンテンツの一部分あるいは前記コンテンツを検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を、前記変換テーブル情報を用いて検出する検出工程と、
    前記検出工程で検出された感情情報を、前記感情情報格納部から検索する検索工程と、
    前記検索工程で検索された感情情報の時間位置に対応する前記コンテンツデータを、前記コンテンツ格納部から読み出して再生する工程と、
    を備えるコンテンツの検索再生方法。
  28. コンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備えるコンテンツ再生装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記コンテンツの一部分あるいは前記コンテンツを検索する方法であって、
    前記表示画面に表示された感情可視化画像上において、ユーザにより指定された任意の画像位置あるいは任意の画像範囲を検出する指定受付工程と、
    前記指定受付工程により検出された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索工程と、
    前記検索工程で検索された時間情報に対応する前記コンテンツデータを、前記コンテンツ格納部から読み出して再生する工程と、
    を備えるコンテンツの検索再生方法。
  29. コンテンツのデータが、時間位置情報と対応して格納されているコンテンツ格納部と、
    前記コンテンツを鑑賞した鑑賞者の生体情報が解析されて得られた前記鑑賞者の感情を表わす感情情報が、当該感情情報を取得した前記時間位置情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記鑑賞者の前記コンテンツを鑑賞したときの前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報により可視化された感情可視化画像を表示画面に表示する表示手段と、
    を備えるコンテンツ再生装置において、前記感情可視化画像を通じて指定された感情情報に対応する前記コンテンツの一部分あるいは前記コンテンツを検索する方法であって、
    前記表示画面に表示された複数の感情可視化画像の中から選択された任意の感情可視化画像の指定を受け付ける指定受付工程と、
    前記指定受付工程により指定された前記感情可視化画像と近似する感情可視化画像となる感情可視化画像情報を前記感情可視化画像情報格納部に格納された感情可視化画像情報から検索し、検索結果の感情可視化画像情報に対応するコンテンツを提示する検索提示工程と、
    前記提示されたコンテンツのデータを、前記コンテンツ格納部から読み出して再生する工程と、
    を備えることを特徴とするコンテンツの検索再生方法。
  30. 請求項２９に記載のコンテンツの検索再生方法において、
    前記検索提示工程で複数のコンテンツが提示されたとき、そのうちの一のコンテンツを選択する選択工程をさらに備えることを特徴とするコンテンツの検索再生方法。
  31. 人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報を取得した時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記感情情報格納部に格納されている前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報が用いられて時系列に可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索手段と、
    検索結果の時間情報を前記ユーザに報知するようにする手段と、
    を備えることを特徴とする感情検索装置。
  32. 人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報を取得した時間情報に対応して格納されている感情情報格納部と、
    前記感情情報と、当該感情情報の可視化情報との間の対応関係を示す変換テーブル情報を保持する変換テーブル情報保持手段と、
    前記感情情報格納部に格納されている前記感情情報が、前記変換テーブル情報により変換可能な前記可視化情報が用いられて可視化された感情可視化画像を表示画面に表示する表示手段と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲をユーザが指定するための指定手段と、
    前記指定手段を通じて指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて検出する手段と、
    前記検出した感情情報に近似する感情情報を前記感情情報格納部に格納された感情情報から検索する検索手段と、
    検索結果の感情情報あるいは感情情報範囲に対応する時間が判るように前記ユーザに報知するようにする手段と、
    を備えることを特徴とする感情検索装置。
  33. 請求項３１または請求項３２に記載の感情検索装置において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とする感情検索装置。
  34. 請求項３３に記載の感情検索装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、感情の変化を色により可視化するものである
    ことを特徴とする感情検索装置。
  35. 請求項３３に記載の感情検索装置において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化するものである
    ことを特徴とする感情検索装置。
  36. 請求項３１または請求項３２に記載の感情検索装置において、
    前記感情情報は、任意の長さの期間毎に、当該期間内において単位時間毎に順次に取得されて、前記感情情報格納部に格納されているものであり、
    前記感情可視化画像は、前記感情情報が含まれる前記期間毎に、当該期間内における前記感情情報に対応する色情報を時間の経過に対応させて表示することにより、前記期間内における感情の変化を可視化するものであり、
    前記検索手段は、前記指定手段で前記表示画面に表示されている任意の前記感情可視化画像が指定されたときに、前記指定された前記感情可視化画像における前記感情の変化に近似する状態分布をしている感情可視化画像を検索する
    ことを特徴とする感情検索装置。
  37. 請求項３１または請求項３２に記載の感情検索装置において、
    前記感情情報は、任意の長さの期間毎に、当該期間内において単位時間毎に順次に取得されて、前記感情情報格納部に格納されているものであり、
    前記感情可視化画像は、前記感情情報が含まれる前記期間毎に、当該期間内における前記感情の状態分布を可視化するものであり、
    前記検索手段は、前記指定手段で前記表示画面に表示されている任意の前記感情可視化画像が指定されたときに、前記指定された前記感情可視化画像における前記感情の状態分布に近似する状態分布をしている感情可視化画像を検索する
    ことを特徴とする感情検索装置。
  38. 人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報が取得された時間情報に対応して格納されている感情情報格納部の中から、指定された前記感情情報に近似する感情情報を検索する方法であって、
    前記感情情報を、前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報により変換可能な前記可視化情報を用いて時系列に可視化する感情可視化画像を表示画面に表示する表示工程と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲のユーザによる指定を受け付ける指定受付工程と、
    前記指定受付工程において指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する時間情報を検索する検索工程と、
    前記検索工程での検索結果の時間情報を前記ユーザに報知するようにする工程と、
    を備えることを特徴とする感情検索方法。
  39. 人から取得した生体情報が解析されて得られた前記人の感情を表わす感情情報が、当該感情情報が取得された時間情報に対応して格納されている感情情報格納部の中から、指定された前記感情情報に近似する感情情報を検索する方法であって、
    前記感情情報を、前記感情情報と可視化情報との間の対応関係を示す変換テーブル情報により変換可能な前記可視化情報を用いて可視化する感情可視化画像を表示画面に表示する表示工程と、
    前記表示画面に表示された感情可視化画像上の任意の画像位置あるいは任意の画像範囲のユーザによる指定を受け付ける指定受付工程と、
    前記指定受付工程において指定された前記任意の画像位置あるいは前記任意の画像範囲の前記可視化情報に対応する前記感情情報を前記変換テーブル情報を用いて検出する検出工程と、
    前記検出工程で検出した感情情報に近似する感情情報を前記感情情報格納部に格納されている感情情報から検索する検索工程と、
    前記検索工程での検索結果の感情情報あるいは感情情報範囲に対応する時間を前記ユーザに報知するようにする工程と、
    を備えることを特徴とする感情検索方法。
  40. 請求項３８または請求項３９に記載の感情検索方法において、
    前記感情情報の可視化情報は、色情報であって、
    前記変換テーブル情報保持手段に保持される前記変換テーブル情報は、前記感情情報と色情報との間の対応関係を示す色変換テーブル情報である
    ことを特徴とする感情検索方法。
  41. 請求項４０に記載の感情検索方法において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力を、時間の経過に対応させて可視化することにより、感情の変化を色により可視化するものである
    ことを特徴とする感情検索方法。
  42. 請求項４０に記載の感情検索方法において、
    前記感情可視化画像は、前記変換処理手段からの前記色情報に基づく色出力の、所定の期間分についての割合を可視化することにより、前記所定の期間内における前記感情の状態分布を可視化するものである
    ことを特徴とする感情検索方法。
JP2003292857A 2003-08-13 2003-08-13 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法 Expired - Fee Related JP4264717B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003292857A JP4264717B2 (ja) 2003-08-13 2003-08-13 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003292857A JP4264717B2 (ja) 2003-08-13 2003-08-13 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法

Publications (2)

Publication Number Publication Date
JP2005063163A true JP2005063163A (ja) 2005-03-10
JP4264717B2 JP4264717B2 (ja) 2009-05-20

Family

ID=34370040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003292857A Expired - Fee Related JP4264717B2 (ja) 2003-08-13 2003-08-13 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法

Country Status (1)

Country Link
JP (1) JP4264717B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346471A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置
JP2014228923A (ja) * 2013-05-20 2014-12-08 ヤマハ株式会社 表示装置
US9210366B2 (en) 2008-06-24 2015-12-08 Samsung Electronics Co., Ltd. Method and apparatus for processing multimedia
KR101609939B1 (ko) * 2014-07-25 2016-04-07 주식회사 제론헬스케어 신생아 영상 시스템
JP2017021737A (ja) * 2015-07-15 2017-01-26 Kddi株式会社 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
JP2020037155A (ja) * 2018-09-05 2020-03-12 日本放送協会 仕草制御装置及び仕草制御プログラム
JP2021089646A (ja) * 2019-12-05 2021-06-10 富士通株式会社 検出方法、通知方法、検出プログラムおよび通知プログラム
US11227296B2 (en) * 2015-08-18 2022-01-18 Sony Corporation Information processing system and information processing method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346471A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置
JP4641389B2 (ja) * 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
US9564174B2 (en) 2008-06-24 2017-02-07 Samsung Electronics Co., Ltd. Method and apparatus for processing multimedia
US9210366B2 (en) 2008-06-24 2015-12-08 Samsung Electronics Co., Ltd. Method and apparatus for processing multimedia
JP2014228923A (ja) * 2013-05-20 2014-12-08 ヤマハ株式会社 表示装置
KR101609939B1 (ko) * 2014-07-25 2016-04-07 주식회사 제론헬스케어 신생아 영상 시스템
JP2017021737A (ja) * 2015-07-15 2017-01-26 Kddi株式会社 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
US11227296B2 (en) * 2015-08-18 2022-01-18 Sony Corporation Information processing system and information processing method
US11887135B2 (en) 2015-08-18 2024-01-30 Sony Group Corporation Information processing system and information processing method
JP2020037155A (ja) * 2018-09-05 2020-03-12 日本放送協会 仕草制御装置及び仕草制御プログラム
JP7152908B2 (ja) 2018-09-05 2022-10-13 日本放送協会 仕草制御装置及び仕草制御プログラム
JP2021089646A (ja) * 2019-12-05 2021-06-10 富士通株式会社 検出方法、通知方法、検出プログラムおよび通知プログラム
JP7354813B2 (ja) 2019-12-05 2023-10-03 富士通株式会社 検出方法、通知方法、検出プログラムおよび通知プログラム

Also Published As

Publication number Publication date
JP4264717B2 (ja) 2009-05-20

Similar Documents

Publication Publication Date Title
JP3968522B2 (ja) 記録装置、及び記録方法
JP4608858B2 (ja) 感情の可視化装置および感情の可視化方法、感情の可視化出力物
Lee et al. Lifelogging memory appliance for people with episodic memory impairment
CN101286196B (zh) 图像存储处理装置和方法、图像搜索装置和方法
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US20120191542A1 (en) Method, Apparatuses and Service for Searching
JP2005128884A (ja) 情報コンテンツの編集装置及び編集方法
JP2005032167A (ja) 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
US20200275875A1 (en) Method for deriving and storing emotional conditions of humans
JP4200370B2 (ja) 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法
JP4407198B2 (ja) 記録再生装置、再生装置、記録再生方法および再生方法
JP4264717B2 (ja) 撮像情報の検索再生装置および方法、コンテンツの検索再生装置および方法、並びに感情検索装置および方法
JP2005124909A (ja) 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
Morgan et al. Using affective and behavioural sensors to explore aspects of collaborative music making
US20210249032A1 (en) Processing Audio Information
US20050262527A1 (en) Information processing apparatus and information processing method
CN113079411A (zh) 一种多模态数据同步可视化系统
US20200402641A1 (en) Systems and methods for capturing and presenting life moment information for subjects with cognitive impairment
KR20150019351A (ko) 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
JP2006268395A (ja) 情報処理装置、情報処理方法及びプログラム
JP3822796B2 (ja) 情報処理装置、情報処理プログラムおよび記録媒体
JP2005117541A (ja) 編集装置、編集方法
JP2005044120A (ja) 情報蓄積装置、情報検索装置、情報蓄積方法、情報検索方法、情報蓄積システム、情報検索システム、クライアント装置およびサーバ装置
US20030097268A1 (en) System and method for analyzing and evaluation of human behavior stigmata
KR20220083887A (ko) 우울 감정 해소 및 자살 예방을 위한 스마트 피드백 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081022

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090203

R151 Written notification of patent or utility model registration

Ref document number: 4264717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees