JP2017011386A - 情報加工システム - Google Patents

Abstract

【課題】ユーザや周辺の人の精神状態を反映するように情報を加工する。
【解決手段】情報加工システム１００は、ライフイベントにおける主対象者であるユーザ１１０の生体情報を取得する生体情報取得部１２０と、ユーザ１１０の周辺情報を取得する周辺情報取得部１４０と、生体情報取得部１２０および周辺情報取得部１４０で取得された情報を入力として、これらの情報を保存する記録部１５０と、ユーザ１１０の生体情報と周辺情報のうち少なくとも一方に基づいてイベントが発生したか否かを判定するイベント判定部１６０と、イベント判定部１６０が抽出したイベントの情報に基づいて周辺情報を加工する情報加工部１７０とを備える。
【選択図】 図１

Description

本発明は、例えば結婚式などのライフイベントにおいて収録された画像や音声等の情報を、情報の主対象者であるユーザや周辺の人の精神状態を反映するように加工する情報加工システムに関するものである。

従来、結婚式などのライフイベントにおいて、対象とするユーザの画像や動画を記録し、適宜編集してプレゼンテーションとしてイベント中に情報を提示したり、ライフイベントの終了後にアルバムやＤＶＤにまとめて情報を提示したりするサービスがある（特許文献１参照）。

特開２００１−１５０８３４号公報

しかしながら、特許文献１に開示された技術は、ライフイベント当日に撮影された写真や動画といった情報をそのまま提供するに留まるものであり、ライフイベントの主役やイベント参加者の精神状態を反映した情報提供を行うものではなく、ライフイベント当日の感動や思いを想起させるのに充分な情報提供ができているとは言えないという問題点があった。

本発明は上記課題に鑑みてなされたものであって、その目的は、例えばライフイベントにおける主役であるユーザとイベント参加者の精神状態を反映するように情報を加工することができる情報加工システムを提供することにある。

本発明の情報加工システムは、主対象者となるユーザの生体情報と、前記ユーザとその周辺の状況を表す周辺情報とを入力として、これらの情報を保存する記録手段と、前記ユーザの生体情報と周辺情報のうち少なくとも一方に基づいてイベントが発生したか否かを判定するイベント判定手段と、このイベント判定手段が抽出したイベントの情報に基づいて前記周辺情報を加工する情報加工手段とを備えることを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記イベント判定手段は、前記ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに前記周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、前記情報加工手段は、前記イベントの重みに応じて、このイベントに対応する前記周辺情報を加工することを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記イベント判定手段は、前記ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに前記周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、前記情報加工手段は、前記ユーザの生体情報に基づいて抽出されたイベントと前記周辺情報または周辺情報取得に関する操作に基づいて抽出されたイベントの中の同一と見なせるイベントを統合する処理を行い、同一と見なせるイベントが存在しないイベントと統合したイベントのそれぞれについて、イベントの重みに応じて、イベントに対応する前記周辺情報を加工することを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記情報加工手段は、前記イベントの重みが大きくなるほど、このイベントに対応する前記周辺情報が強調されるように加工することを特徴とするものである。
また、本発明の情報加工システムの１構成例において、前記ユーザの生体情報は、心拍数、体温、血圧、血糖値のうち少なくとも１つを含み、前記イベント判定手段は、前記ユーザの生体情報の変化に基づいてイベントの発生時刻を決定すると共に、この生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことを特徴とするものである。
また、本発明の情報加工システムの１構成例において、前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像、前記ユーザまたはその周辺を撮影した動画像、前記ユーザまたはその周辺の音声のうち少なくとも１つを含むことを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像を少なくとも含み、前記イベント判定手段は、単位時間あたりの前記静止画像の撮影枚数が所定の閾値を超えた時刻をイベントの発生時刻と判定すると共に、単位時間あたりの前記静止画像の撮影枚数が多いほど、イベントの重みが大きくなるように重み付けを行うことを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した動画像を少なくとも含み、前記イベント判定手段は、動画像撮影のズームイン操作が開始された時刻をイベントの発生時刻と判定すると共に、ズームイン操作開始からズームアウト操作開始までのズームイン継続時間が長いほど、イベントの重みが大きくなるように重み付けを行うことを特徴とするものである。

また、本発明の情報加工システムの１構成例において、前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像、前記ユーザまたはその周辺を撮影した動画像、前記ユーザまたはその周辺の音声のうち少なくとも１つと、さらに前記ユーザ以外の人の生体情報を含み、この生体情報は、心拍数、体温、血圧、血糖値のうち少なくとも１つを含み、前記イベント判定手段は、前記ユーザ以外の人の生体情報の変化に基づいてイベントの発生時刻を決定すると共に、この生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことを特徴とするものである。

本発明によれば、主対象者となるユーザの生体情報と、ユーザとその周辺の状況を表す周辺情報とを保存し、ユーザの生体情報と周辺情報のうち少なくとも一方に基づいてイベントが発生したか否かを判定し、抽出したイベントの情報に基づいて周辺情報を加工することにより、ユーザとその周辺の人の精神状態を反映するように周辺情報を加工することができる。その結果、本発明では、従来技術と比較して、ライフイベント当日の感動や思いを想起させるのに充分な情報提供を実現することができる。

また、本発明では、イベント判定手段が、ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、情報加工手段が、イベントの重みに応じて、このイベントに対応する周辺情報を加工することにより、例えば一連のライフイベントにおける複数の特徴的なイベントに対応する各周辺情報を、イベントの重要度に応じて加工することができる。本発明では、ユーザの生体情報に基づいて抽出したイベントの情報に基づいて周辺情報を加工すると共に、ユーザの周辺情報または周辺情報取得に関する操作に基づいて抽出したイベントの情報に基づいて周辺情報を加工することにより、ユーザの生体情報が特異的な変化を示したときと周辺情報または周辺情報取得に関する操作が特異的な変化を示したときで周辺情報を別々に加工することができ、ユーザの生体情報が特異的な変化を示したときと、周辺情報または周辺情報取得に関する操作が特異的な変化を示したときとが一致しているのか一致していないのか、という情報を提供することが可能になる。

また、本発明では、イベント判定手段が、ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、情報加工手段が、ユーザの生体情報に基づいて抽出されたイベントと周辺情報または周辺情報取得に関する操作に基づいて抽出されたイベントの中の同一と見なせるイベントを統合する処理を行い、同一と見なせるイベントが存在しないイベントと統合したイベントのそれぞれについて、イベントの重みに応じて、イベントに対応する周辺情報を加工することにより、ユーザの生体情報に基づいて抽出されたイベントと周辺情報または周辺情報取得に関する操作に基づいて抽出されたイベントとを関連付けることができ、ユーザ本人にとって特異的なイベントに関係する周辺情報とユーザ以外の周辺の人にとって特異的なイベントに関係する周辺情報とを相互に関連付けることができる。これにより、本発明では、ユーザとその周辺の人の精神状態を反映するように周辺情報を加工することができる。

また、本発明では、イベントの重みが大きくなるほど、イベントに対応する周辺情報が強調されるように加工することにより、例えば一連のライフイベントにおける複数の特徴的なイベントに対応する各周辺情報を、イベントの重要度が明らかになるように加工することができる。

また、本発明では、ユーザの生体情報を、心拍数、体温、血圧、血糖値のうち少なくとも１つを含むものとし、イベント判定手段が、ユーザの生体情報の変化に基づいてイベントの発生時刻を決定することにより、例えば一連のライフイベントにおけるユーザの精神的な状態変化を推定することができる。また、本発明では、ユーザの生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことにより、例えば一連のライフイベント期間を通してユーザの生体情報の変化の大きいイベントを重み付けすることができ、一連のライフイベントにおける特徴的なイベントに対応する周辺情報を、ユーザの精神状態を反映するように加工することができる。

また、本発明では、ユーザの周辺情報を、ユーザまたはその周辺を撮影した静止画像、ユーザまたはその周辺を撮影した動画像、ユーザまたはその周辺の音声のうち少なくとも１つを含むものとすることにより、例えば一連のライフイベントにおける周囲の評価の変化を推定することができる。

また、本発明では、ユーザの周辺情報を、ユーザまたはその周辺を撮影した静止画像を少なくとも含むものとし、イベント判定手段が、単位時間あたりの静止画像の撮影枚数が所定の閾値を超えた時刻をイベントの発生時刻と判定することにより、例えば一連のライフイベントにおける周囲の評価の変化を推定することができ、ユーザ以外の周辺の人が静止画像を残しておくに値すると感じた特徴的なイベントを抽出することができる。また、本発明では、単位時間あたりの静止画像の撮影枚数が多いほど、イベントの重みが大きくなるように重み付けを行うことにより、例えば一連のライフイベント期間を通してユーザ以外の周辺の人が静止画像を残しておくに値すると感じたイベントを重み付けすることができ、一連のライフイベントにおける特徴的なイベントに対応する周辺情報を、ユーザ以外の周辺の人の精神状態を反映するように加工することができる。

また、本発明では、ユーザの周辺情報を、ユーザまたはその周辺を撮影した動画像を少なくとも含むものとし、イベント判定手段が、動画像撮影のズームイン操作が開始された時刻をイベントの発生時刻と判定することにより、例えば一連のライフイベントにおける周囲の評価の変化を推定することができ、ユーザ以外の周辺の人が着目するに値すると感じた特徴的なイベントを抽出することができる。また、本発明では、ズームイン操作開始からズームアウト操作開始までのズームイン継続時間が長いほど、イベントの重みが大きくなるように重み付けを行うことにより、例えば一連のライフイベント期間を通してユーザ以外の周辺の人が着目するに値すると感じた期間が長いイベントを重み付けすることができ、一連のライフイベントにおける特徴的なイベントに対応する周辺情報を、ユーザ以外の周辺の人の精神状態を反映するように加工することができる。

また、本発明では、ユーザの周辺情報を、ユーザまたはその周辺を撮影した静止画像、ユーザまたはその周辺を撮影した動画像、ユーザまたはその周辺の音声のうち少なくとも１つと、さらにユーザ以外の人の生体情報を含むものとし、この生体情報を、心拍数、体温、血圧、血糖値のうち少なくとも１つを含むものとし、イベント判定手段が、ユーザ以外の人の生体情報の変化に基づいてイベントの発生時刻を決定することにより、例えば一連のライフイベントにおけるユーザ以外の周辺の人の精神的な状態変化を推定することができる。また、本発明では、この生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことにより、例えば一連のライフイベント期間を通してユーザ以外の周辺の人の生体情報の変化の大きいイベントを重み付けすることができ、一連のライフイベントにおける特徴的なイベントに対応する周辺情報を、ユーザ以外の周辺の人の精神状態を反映するように加工することができる。

本発明の実施の形態に係る生体情報の提示システムの一つの例を説明するためのシステム構成図である。 本発明の実施の形態に係る生体情報の提示システムの動作を説明するフローチャートである。 本発明の実施の形態においてユーザの生体情報からイベントの発生時刻および重みを決定する方法を説明するフローチャートである。 ライフイベントにおけるユーザの生体情報である心拍数の時系列変化の例を示す図である。 図４の心拍数の変動をプロットした図である。 本発明の実施の形態においてユーザの周辺情報からイベントの発生時刻および重みを決定する方法を説明するフローチャートである。 ライフイベント中に静止画像が撮影された枚数を１分間毎にヒストグラム化した例を示す図である。 本発明の実施の形態においてユーザの周辺情報からイベントの発生時刻および重みを決定する他の方法を説明するフローチャートである。 ライフイベント中の動画像の撮影中にズームイン操作が継続していた時間をヒストグラム化した例を示す図である。 本発明の実施の形態におけるユーザの周辺情報の加工方法の１例を説明する図である。 本発明の実施の形態における情報加工部の動作を説明するフローチャートである。 本発明の実施の形態における情報加工部の処理の結果の１例を示す図である。 本発明の実施の形態における情報加工部の他の動作を説明するフローチャートである。

以下、好適な実施の形態について図を参照して本発明を説明するが、本発明はかかる実施形態に限定されない。

図１は本発明の実施の形態に係る情報加工システム１００の一つの例を説明するためのシステム構成図である。情報加工システム１００の特徴は、ライフイベントにおける主対象者（以下、ユーザ）１１０の生体情報を取得する生体情報取得部１２０と、ユーザ１１０の周辺情報を取得する周辺情報取得部１４０と、生体情報取得部１２０および周辺情報取得部１４０で取得された情報を入力として、これらの情報を保存する記録部１５０と、ユーザ１１０の生体情報と周辺情報のうち少なくとも一方に基づいてイベントが発生したか否かを判定するイベント判定部１６０と、イベント判定部１６０が抽出したイベントの情報に基づいて周辺情報を加工する情報加工部１７０と、情報加工部１７０が加工した周辺情報を出力する情報出力部１８０とを備えることである。

図１の例のようにライフイベントが結婚式であるとすれば、主対象者であるユーザ１１０は例えば新郎または新婦であり、ユーザ１１０以外のイベント参加者１３０は結婚式の出席者である。

生体情報取得部１２０は、ユーザ１１０が身に付けてライフイベントに参加することが可能なセンサであれば良く、ウェアラブルな運動量計、ＧＰＳ（Global Positioning System）発信機、高度計、心拍・心電計、体温計、血圧計、血糖値計等を好適に用いることができる。

特に、心拍・心電計が取得するユーザ１１０の心拍数、体温計が取得するユーザ１１０の体温、血圧計が取得するユーザ１１０の血圧、血糖値計が取得するユーザ１１０の血糖値は、自律神経系や内分泌系の働きによって変動することが知られており、緊張／リラックスなどユーザ１１０の精神状態の推定に有効であり、本発明の目的に鑑みて好適に用いることができる。

周辺情報取得部１４０は、ユーザ１１０以外のイベント参加者１３０が身に付けるか、あるいはイベント参加者１３０が携行してライフイベントに参加することが可能な電子機器であればよい。この周辺情報取得部１４０としては、一般的なカメラ、ビデオカメラ、マイク、イベント参加者１３０が身に付けるウェアラブルセンサ等を用いることができる。

ここで、ユーザ１１０の周辺情報とは、ユーザ１１０とその周辺の状況を表す情報であり、ユーザ１１０またはその周辺を撮影した静止画像、ユーザ１１０またはその周辺を撮影した動画像、ユーザ１１０またはその周辺の音声のうち少なくとも１つを含むものである。さらに、後述のように、これらの情報とは別にイベント参加者１３０が身に付けるウェアラブルセンサによって測定される、イベント参加者１３０の生体情報を含むものであってもよい。

記録部１５０とイベント判定部１６０と情報加工部１７０と情報出力部１８０とは、ＣＰＵ（Central Processing Unit）、記憶装置およびインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、記憶装置に格納されたプログラムに従って以下で説明する処理を実行し、記録部１５０、イベント判定部１６０、情報加工部１７０および情報出力部１８０として機能する。

図２は本実施の形態の情報加工システム１００の動作を説明するフローチャートである。情報加工システム１００は、ライフイベントにおいてユーザ１１０の生体情報を生体情報取得部１２０で取得し、かつユーザ１１０以外のイベント参加者１３０が周辺情報取得部１４０を用いてユーザ１１０の周辺情報を取得する情報取得ステップ（図２ステップＳ１）と、情報取得ステップで取得したユーザ１１０の生体情報と周辺情報とを記録部１５０に保存する情報記録ステップ（図２ステップＳ２）と、情報記録ステップで記録部１５０に記録された生体情報と周辺情報を基に特異なイベントの発生時刻およびイベントの重みをイベント判定部１６０で決定するイベント抽出ステップ（図２ステップＳ３）と、イベント抽出ステップで抽出したイベントの情報に基づいてユーザ１１０の周辺情報を加工する情報加工ステップ（図２ステップＳ４）と、情報加工ステップで加工した情報を出力する情報出力ステップ（図２ステップＳ５）とを実行する。以下、各ステップについて順次説明する。

情報取得ステップでは、ユーザ１１０が生体情報取得部１２０を身に付け、少なくとも１名以上のイベント参加者１３０が周辺情報取得部１４０を身に付けるか携行していればよく、特に生体情報や周辺情報を取得することを意識することなく、自然にライフイベントを経験すればよい。

つまり、生体情報取得部１２０は、ライフイベント中のユーザ１１０の生体情報を自動的に常時取得し、周辺情報取得部１４０は、ライフイベント中のユーザ１１０の周辺情報を自動的に常時取得する（図２ステップＳ１）。なおこの際、生体情報取得部１２０の内部時計が計時する時刻と、周辺情報取得部１４０の内部時計が計時する時刻とを合わせておくことが望ましい。

情報記録ステップでは、記録部１５０は、情報取得ステップで取得された情報を記録する（図２ステップＳ２）。生体情報取得部１２０は、取得した生体情報に測定時刻情報を付加して送信したり、測定時刻情報が付加された生体情報をメモリーカード等の記録メディアに記録したりする。周辺情報取得部１４０は、取得した周辺情報に測定時刻情報を付加して送信したり、測定時刻情報が付加された周辺情報を記録メディアに記録したりする。

ライフイベント中にユーザ１１０の周辺情報を加工して出力（例えばライフイベント中の映像再生など）する必要がある場合には、生体情報取得部１２０および周辺情報取得部１４０から生体情報や周辺情報を無線送信したり有線送信したりする必要がある。この場合、記録部１５０は、生体情報取得部１２０および周辺情報取得部１４０から無線送信された生体情報や周辺情報を受信する無線通信部（不図示）、あるいは生体情報取得部１２０および周辺情報取得部１４０から有線送信された情報を受信する有線通信部（不図示）を備えている。

また、ライフイベント終了後に周辺情報を加工して出力（例えばアルバムの印刷やＤＶＤへの書き込み）する必要がある場合、記録部１５０は、生体情報取得部１２０の記録メディアに記録された情報と、周辺情報取得部１４０の記録メディアに記録された情報とを読み出して保存するものでもよい。この場合、記録部１５０は、生体情報取得部１２０および周辺情報取得部１４０の記録メディアから情報を読み出す情報読出部（不図示）を備えている。

イベント抽出ステップでは、イベント判定部１６０は、記録部１５０に保存された生体情報と周辺情報から、特異なイベントの発生時刻およびイベントの重みを決定する（図２ステップＳ３）。ここで、特異なイベントの発生時刻および重みの決定方法について、ユーザ１１０の生体情報から決定する方法と、ユーザ１１０の周辺情報から決定する方法を順に説明する。

図３は、生体情報取得部１２０が取得し記録部１５０に記録された、ユーザ１１０の生体情報に基づいてイベントの発生時刻および重みを決定する方法を説明するフローチャートである。ここでは、ユーザ１１０の生体情報が心拍数である場合を例に挙げて説明する。

図４に、ライフイベント（ここでは結婚式）における新郎（ユーザ１１０）の心拍数を記録した時系列データの例を示す。ユーザ１１０の心拍数は、一連のライフイベントの中でユーザ１１０の精神状態を反映して増減する。特に、心拍数が増加し続けたり、減少し続けたりしている時点が、ユーザ１１０にとって特異なイベントが生じた時刻と考えられる。

そこで、イベント判定部１６０は、ユーザ１１０の心拍数の変動（微分）が極値（極大値または極小値）をとり（図３ステップＳ１０）、かつ心拍数の変動の極値の絶対値が所定の閾値を超えたとき（図３ステップＳ１１）、ユーザ１１０にとって特異なイベントが発生したと判定し、心拍数の変動の極値の絶対値が閾値を超えた時刻をイベントの発生時刻とする（図３ステップＳ１２）。このイベントの発生時刻として採用すべき時刻は、生体情報取得部１２０がユーザ１１０の生体情報に付加した測定時刻情報から取得すればよい。

図５に、図４に示した心拍数の一部分の変動（微分）をプロットしたものを示す。図５に示したグラフにおいて、心拍数の変動が極値をとり、かつ極値の絶対値が所定の閾値（本実施の形態では０．１）を超えた点を抽出すると、３０１〜３０５の５つの点が得られる。したがって、この５つの点３０１〜３０５の時刻をそれぞれイベントの発生時刻として決定することができる。図５の例では、点３０２の極大値が最も大きい。実際にこの点３０２の時刻に新郎が式場に入場するという、新郎にとって特異なイベントが発生していた。

イベント判定部１６０は、ステップＳ１０〜Ｓ１２の処理を所定の周期（例えばミリ秒単位）毎に繰り返し行い、外部から生体情報の測定終了の指示があったとき、あるいはユーザ１１０が生体情報の測定を止めて生体情報取得部１２０の電源を切ったときに（図３ステップＳ１３においてＹＥＳ）、ステップＳ１０〜Ｓ１２の処理でイベント発生と判定した極値の絶対値を、当該イベントの重みとして決定する（図３ステップＳ１４）。イベント判定部１６０は、このような重みの決定をイベント毎に行う。

図５の例では、点３０１の極小値の絶対値Ａ１、点３０２の極大値の絶対値Ａ２、点３０３の極小値の絶対値Ａ３、点３０４の極大値の絶対値Ａ４、点３０５の極小値の絶対値Ａ５が、それぞれ５つのイベントの重みとして決定される。つまり、イベント判定部１６０は、心拍数の変動の極値の絶対値が大きいほど、イベントの重みが大きくなるように決定する。

なお、図３を用いた説明では、外部から生体情報の測定終了の指示があったり、ユーザ１１０が生体情報の測定を止めたりした後でイベントの重みを決定している。外部からの生体情報測定終了の指示の例としては、例えばライフイベントの終了に伴って情報加工システム１００の操作者（例えばイベント運営会社の係員等）が入力する指示、あるいはライフイベント中の周辺情報加工・出力のために情報加工システム１００の操作者が入力する指示などがある。

ただし、イベントの重みの決定処理は、図３で説明した例に限るものではない。イベント判定部１６０は、心拍数の測定が継続している最中（ステップＳ１０〜Ｓ１２の処理が継続している最中）に心拍数の変動に極値が現れ、イベントが発生したと判定したときに、この心拍数の変動の極値の絶対値をイベントの重みとして即時決定することも可能である。

また、正規化の基準値（例えば極値の絶対値の予想し得る最大値）を予め設定しておけば、イベント判定部１６０は、心拍数の変動の極値の絶対値を正規化した値をイベントの重みとして決定することも可能である。

以上のようにして、イベント判定部１６０は、ユーザ１１０の生体情報からイベントの発生時刻および重みを決定することができる。
なお、心拍数および心拍数の変動の測定に際しては、周波数の高いノイズや揺らぎの影響を除外するため、測定した心拍数および心拍数の変動に対してローパスフィルタ処理を適用してもよい。

また、以上の説明では、ユーザ１１０の生体情報が心拍数の場合を例にして説明しているが、ユーザ１１０の生体情報が体温、血圧、血糖値等、心拍数以外の情報である場合も、心拍数の場合と同様の手法でイベントの発生時刻および重みを決定することが可能である。

この場合、ユーザ１１０の生体情報として、心拍数、体温、血圧、血糖値のうち１つだけが含まれ、この１つについて上記の手法でイベントの発生時刻および重みを決定してもよいし、ユーザ１１０の生体情報として、心拍数、体温、血圧、血糖値のうち複数が含まれ、この複数の生体情報の各々について個別に上記の手法でイベントの発生時刻および重みを決定してもよい。

次に、図６は、周辺情報取得部１４０が取得し記録部１５０に記録された、ユーザ１１０の周辺情報からイベントの発生時刻および重みを決定する方法を説明するフローチャートである。ここでは、ユーザ１１０の周辺情報が静止画像である場合を例に挙げて説明する。

図７に、ライフイベント（ここでは結婚式）中に静止画像（写真）が撮影された枚数を１分間毎にヒストグラム化した時系列データの例を示す。周辺情報取得部１４０（カメラ）による単位時間あたりの撮影枚数が多い時刻は、撮影者（イベント参加者１３０）が多くの写真を残したほうが良いと判断したことを示しており、特異なイベントが発生した時刻と考えられる。

そこで、イベント判定部１６０は、単位時間あたりの静止画像の撮影枚数が所定の閾値を超えたとき（図６ステップＳ２０）、イベント参加者１３０にとって特異なイベントが発生したと判定し、単位時間あたりの静止画像の撮影枚数が閾値を超えた時刻をイベントの発生時刻とする（図６ステップＳ２１）。このイベントの発生時刻として採用すべき時刻は、周辺情報取得部１４０がユーザ１１０の周辺情報に付加した測定時刻情報から取得すればよい。

図７に示した例において、単位時間（ここでは１分間）あたりの静止画像の撮影枚数が所定の閾値（本実施の形態では４枚）を超えた点を抽出すると、４０１〜４０７の７つの点が得られる。したがって、この７つの点４０１〜４０７の時刻を７つのイベントの発生時刻として決定することができる。

図７の例では、点４０１の時刻に新婦入場というイベントが発生し、点４０２の時刻に新婦父から新郎への新婦の手渡しというイベントが発生し、点４０３，４０４の時刻に新郎と新婦の指輪交換というイベントが発生し、点４０５の時刻に新婦のベールオープンと、新郎と新婦のウェディングキスというイベントが発生し、点４０６の時刻に結婚証明書へのサインというイベントが発生し、点４０７の時刻に新郎新婦退場というイベントが発生していた。

イベント判定部１６０は、ステップＳ２０，Ｓ２１の処理を単位時間毎に行い、例えば外部から静止画像の撮影終了の指示があったとき、あるいはイベント参加者１３０が撮影を止めて周辺情報取得部１４０（カメラ）の電源を切ったときに（図６ステップＳ２２においてＹＥＳ）、ステップＳ２０，Ｓ２１の処理でイベント発生と判定した静止画像の撮影枚数を、当該イベントの重みとして決定する（図６ステップＳ２３）。イベント判定部１６０は、このような重みの決定をイベント毎に行う。

図７の例では、点４０１の撮影枚数６枚、点４０２の撮影枚数５枚、点４０３の撮影枚数７枚、点４０４の撮影枚数５枚、点４０５の撮影枚数９枚、点４０６の撮影枚数５枚、点４０７の撮影枚数６枚が、それぞれ７つのイベントの重みとして決定される。つまり、イベント判定部１６０は、単位時間あたりの静止画像の撮影枚数が多いほど、イベントの重みが大きくなるように決定する。

なお、図６を用いた説明では、外部から静止画像の撮影終了の指示があったり、イベント参加者１３０が撮影を止めたりした後でイベントの重みを決定している。外部からの撮影終了の指示としては、例えばライフイベントの終了に伴って情報加工システム１００の操作者（例えばイベント運営会社の係員等）が入力する指示、あるいはライフイベント中の周辺情報加工・出力のために情報加工システム１００の操作者が入力する指示などがある。

ただし、ユーザ１１０の生体情報の場合と同様に、イベントの重みの決定処理は図６の例に限るものではない。イベント判定部１６０は、静止画像の撮影が継続している最中（ステップＳ２０，Ｓ２１の処理が継続している最中）に単位時間あたりの静止画像の撮影枚数が閾値を超えて、イベントが発生したと判定したときに、この撮影枚数をイベントの重みとして即時決定することも可能である。

また、正規化の基準値（例えば撮影枚数の予想し得る最大値）を予め設定しておけば、イベント判定部１６０は、単位時間あたりの静止画像の撮影枚数を正規化した値をイベントの重みとして決定することも可能である。

図６を用いた説明では、ユーザ１１０の周辺情報が静止画像の場合を例にして説明しているが、ユーザ１１０の周辺情報が動画像の場合も、静止画像の場合と同様の手法でイベントの発生時刻および重みを決定することが可能である。ただし、動画像の場合には、画像そのものではなく、画像撮影に関する操作に基づいてイベントを抽出する。

図８は、周辺情報取得部１４０が取得し記録部１５０に記録された動画像からイベントの発生時刻および重みを決定する方法を説明するフローチャート、図９は、ライフイベント（ここでは結婚式）中の動画像の撮影中に被写体を大きく写すズームイン操作が継続していた時間をヒストグラム化した例を示す図である。周辺情報取得部１４０（ビデオカメラ）のズームイン操作がされていた時刻は、撮影者（イベント参加者１３０）が着目した方が良いと判断したことを示しており、イベント参加者１３０にとって特異なイベントが発生した時刻と考えられる。

そこで、イベント判定部１６０は、周辺情報取得部１４０に対するズームイン操作が開始されたとき（図８ステップＳ３０）、イベント参加者１３０にとって特異なイベントが発生したと判定し、このズームイン操作が開始された時刻をイベントの発生時刻とする（図８ステップＳ３１）。上記と同様に、イベントの発生時刻として採用すべき時刻は、周辺情報取得部１４０がユーザ１１０の周辺情報に付加した測定時刻情報から取得すればよい。

ただし、動画像撮影のズーム操作に基づいてイベントの発生時刻および重みを決定する方法においては、周辺情報取得部１４０（ビデオカメラ）から、イベント判定部１６０を構成するコンピュータに対して周辺情報取得部１４０の操作情報を無線または有線で送信することが必要である。このような操作情報の送信により、イベント判定部１６０は、周辺情報取得部１４０に対するズームイン操作またはズームアウト操作を検出することができる。

図９において、周辺情報取得部１４０に対するズームイン操作が開始された点を抽出すると、５０１〜５０３の３つの点が得られる。したがって、この３つの点５０１〜５０３の時刻をそれぞれ３つのイベントの発生時刻として決定することができる。図９の例では、点５０１の時刻に新婦入場というイベントが発生し、点５０２の時刻に指輪交換というイベントが発生し、点５０３の時刻に結婚証明書へのサインというイベントが発生していた。

イベント判定部１６０は、ステップＳ３０，Ｓ３１の処理を単位時間毎に行い、外部から動画像の撮影終了の指示があったとき、あるいはイベント参加者１３０が撮影を止めて周辺情報取得部１４０（ビデオカメラ）の電源を切ったときに（図８ステップＳ３２においてＹＥＳ）、ステップＳ３０，Ｓ３１の処理でイベント発生と判定したズームイン操作開始からズームアウト操作開始までのズームイン継続時間を、当該イベントの重みとして決定する（図８ステップＳ３３）。イベント判定部１６０は、このような重みの決定をイベント毎に行う。

図９の例では、点５０１のズームイン操作開始からズームアウト操作開始までのズームイン継続時間２分、点５０２のズームイン操作開始からズームアウト操作開始までのズームイン継続時間２分、点５０３のズームイン操作開始からズームアウト操作開始までのズームイン継続時間３分が、それぞれ３つのイベントの重みとして決定される。つまり、イベント判定部１６０は、ズームイン継続時間が長いほど、イベントの重みが大きくなるように決定する。

なお、ユーザ１１０の生体情報や静止画像の場合と同様に、イベントの重みの決定処理は、図８の例に限るものではない。イベント判定部１６０は、動画像の撮影が継続している最中（ステップＳ３０，Ｓ３１の処理が継続している最中）にズームイン操作が開始されて、イベントが発生したと判定したときに、このズームイン操作開始からズームアウト操作開始までのズームイン継続時間をイベントの重みとして即時決定することも可能である。

また、正規化の基準値（例えばズームイン継続時間の予想し得る最大値）を予め設定しておけば、イベント判定部１６０は、ズームイン継続時間を正規化した値をイベントの重みとして決定することも可能である。

以上の説明では、ユーザ１１０の周辺情報が静止画像または動画像の場合を例にして説明しているが、ユーザ１１０の周辺情報が音声の場合も、イベントの発生時刻および重みを決定することが可能である。

ユーザ１１０の周辺情報が音声の場合、イベント判定部１６０は、周辺情報取得部１４０（マイク）が収音した音声の強度が所定の閾値を超えたとき、イベント参加者１３０にとって特異なイベントが発生したと判定し、音声の強度が閾値を超えた時刻をイベントの発生時刻とすればよい。また、イベント判定部１６０は、イベント発生と判定した音声の強度を、当該イベントの重みとして決定すればよい。また、他の情報と同様に、正規化の基準値（例えば音声の強度の予想し得る最大値）を予め設定しておけば、イベント判定部１６０は、音声の強度を正規化した値をイベントの重みとして決定することも可能である。

なお、ユーザ１１０の周辺情報として、静止画像、動画像、音声のうち１つだけが含まれ、この１つについて上記の手法でイベントの発生時刻および重みを決定してもよいし、ユーザ１１０の周辺情報として、静止画像、動画像、音声のうち複数が含まれ、この複数の周辺情報の各々について個別に上記の手法でイベントの発生時刻および重みを決定してもよい。

また、ユーザ１１０の周辺情報として、ユーザ１１０以外のイベント参加者１３０の生体情報（心拍数、体温、血圧、血糖値のうち少なくとも１つ）が含まれる場合は、図３〜図５で説明したのと同じ手法により、イベント参加者１３０にとって特異なイベントの発生時刻および重みを決定することができる。

ただし、本実施の形態では、後述のようにイベント判定部１６０の処理結果を用いてユーザ１１０の周辺情報を加工するので、ユーザ１１０の周辺情報としてイベント参加者１３０の生体情報を取得する場合には、このイベント参加者１３０の生体情報とは別に加工対象の周辺情報として静止画像、動画像、音声のうち少なくとも１つを取得する必要がある。

この場合、ユーザ１１０の周辺情報に含まれる、イベント参加者１３０の生体情報についてのみ図３〜図５で説明したのと同じ手法によりイベントの発生時刻および重みを決定してもよいし、静止画像、動画像、音声のうち少なくとも１つとイベント参加者１３０の生体情報の各々について個別に上記の手法でイベントの発生時刻および重みを決定してもよい。

次に、情報加工ステップでは、情報加工部１７０は、イベント判定部１６０が抽出したイベントの情報に基づいてユーザ１１０の周辺情報を加工する（図２ステップＳ４）。より具体的には、情報加工部１７０は、イベントの重みが大きくなるほど、このイベントに対応する周辺情報が強調されるように加工する。

図１０はユーザ１１０の周辺情報の加工方法の１例を説明する図である。この図１０の例によると、結婚式における新郎の心拍数の変動の極値の絶対値が閾値０．１５を超えたことにより抽出されたイベント６０１〜６０６と、結婚式中の１分間あたりの静止画像の撮影枚数が閾値４を超えたことにより抽出されたイベント６０７〜６１２とが発生していることが分かる。

本実施の形態では、ユーザ１１０の生体情報に基づいて抽出したイベントとユーザ１１０の周辺情報に基づいて抽出したイベントの中の同一と見なせるイベントを統合して、各イベントの最終的な重みを算出する。図１１は本実施の形態の情報加工部１７０の動作を説明するフローチャートである。

最初に、情報加工部１７０は、イベント判定部１６０がユーザ１１０の生体情報に基づいて抽出した各イベントの重みを正規化すると共に、イベント判定部１６０がユーザ１１０の周辺情報に基づいて抽出した各イベントの重みを正規化する（図１１ステップＳ４０）。

ユーザ１１０の生体情報が心拍数である場合、この心拍数の変動に基づいて抽出されたイベントの重みの正規化は、心拍数の測定開始から測定終了までに得られた心拍数の変動の極値の絶対値のうちの最大値が１となるように行われる。ユーザ１１０の生体情報が体温、血圧、血糖値等、心拍数以外の情報である場合も、心拍数の場合と同様の手法でイベントの重みを正規化することができる。

同様に、ユーザ１１０の周辺情報としてイベント参加者１３０の生体情報（心拍数、体温、血圧、血糖値のうちの少なくとも１つ）が含まれ、この生体情報の変動に基づいて抽出されたイベントがある場合、このイベントの重みの正規化は、生体情報の測定開始から測定終了までに得られた生体情報の変動の極値の絶対値のうちの最大値が１となるように行われる。

また、ユーザ１１０の周辺情報として静止画像が含まれ、単位時間あたりの静止画像の撮影枚数に基づいて抽出されたイベントがある場合、このイベントの重みの正規化は、静止画像の撮影開始から撮影終了までにカウントされた単位時間あたりの静止画像の撮影枚数のうちの最大値が１となるように行われる。

また、ユーザ１１０の周辺情報として動画像が含まれ、ズームイン操作の開始点に基づいて抽出されたイベントがある場合、このイベントの重みの正規化は、動画像の撮影開始から撮影終了までに計測されたズームイン継続時間のうちの最大値が１となるように行われる。

ユーザ１１０の周辺情報として音声が含まれ、音声の強度に基づいて抽出されたイベントがある場合、このイベントの重みの正規化は、音声の収録開始から収録終了までに計測された音声の強度のうちの最大値が１となるように行われる。

なお、情報加工部１７０によるイベントの重みの正規化は本発明の必須の処理ではない。上記で説明したように、イベント判定部１６０でイベントの重みの正規化が行われている場合には、情報加工部１７０のステップＳ４０の処理でイベントの重みを正規化しなくてもよい。

次に、情報加工部１７０は、イベント判定部１６０がユーザ１１０の生体情報に基づいて抽出した各イベントとイベント判定部１６０がユーザ１１０の周辺情報に基づいて抽出した各イベントの中に同一と見なせるイベントが存在するかどうかを判定する（図１１ステップＳ４１）。

情報加工部１７０は、ユーザ１１０の生体情報に基づいて抽出されたイベントの発生時刻とユーザ１１０の周辺情報に基づいて抽出されたイベントの発生時刻とが同じ場合、これら発生時刻が同じ２つのイベントを同一のイベントと見して統合の対象とする。また、情報加工部１７０は、ユーザ１１０の生体情報に基づいて抽出されたイベントの発生時刻を中心とする所定の時間範囲内に、ユーザ１１０の周辺情報に基づいて抽出されたイベントの発生時刻が含まれる場合、これら発生時刻が近接した２つのイベントを同一のイベントと見なす。

情報加工部１７０は、ユーザ１１０の生体情報に基づいて抽出されたイベントとユーザ１１０の周辺情報に基づいて抽出されたイベントの中に同一と見なせるイベントが存在する場合（ステップＳ４１においてＹＥＳ）、同一と見なせる複数のイベントを１つのイベントとして扱うように統合する（図１１ステップＳ４２）。

このとき、情報加工部１７０は、統合するイベントに含まれる、ユーザ１１０の生体情報に基づいて抽出されたイベントの発生時刻、統合するイベントに含まれる、ユーザ１１０の周辺情報に基づいて抽出されたイベントの発生時刻、これら複数のイベントの発生時刻の中間値などを、統合処理後のイベントの発生時刻とする（図１１ステップＳ４３）。統合処理後のイベントの発生時刻の決定方法については、予め選択して情報加工部１７０に設定しておくことができる。

また、情報加工部１７０は、統合するイベントに含まれる、ユーザ１１０の生体情報に基づいて抽出されたイベントの重みと、統合するイベントに含まれる、ユーザ１１０の周辺情報に基づいて抽出されたイベントの重みとを加算し、加算した結果を統合処理後のイベントの重みとする（図１１ステップＳ４４）。

情報加工部１７０は、ユーザ１１０の生体情報に基づいて抽出されたイベントとユーザ１１０の周辺情報に基づいて抽出されたイベントの全てについてステップＳ４１〜Ｓ４４の処理を行う（図１１ステップＳ４５）。

図１２は以上のステップＳ４０〜Ｓ４５の処理の結果の１例を示す図である。ここでは、図１０で説明したイベント６０１〜６１２について情報加工部１７０で処理した結果を示している。図１０で説明したとおり、イベント６０１〜６０６はユーザ１１０の生体情報（結婚式における新郎の心拍数）に基づいて抽出されたイベントであり、イベント６０７〜６１２はユーザ１１０の周辺情報（静止画像）に基づいて抽出されたイベントである。

なお、図１０の例では、６０１の時刻に新郎入場というイベントが発生し、６０２，６０７の時刻に新婦入場というイベントが発生し、６０３，６０８の時刻に新婦父から新郎への新婦の手渡しというイベントが発生し、６０９の時刻に指輪交換というイベントが発生し、６０４，６１０の時刻にウェディングキスというイベントが発生し、６０５，６１１の時刻に結婚証明書へのサインというイベントが発生し、６０６，６１２の時刻に新郎新婦退場というイベントが発生していた。

図１２の７０１の欄の「６０２＋６０７」は結婚式における新郎の心拍数の変動に基づいて抽出されたイベント６０２と結婚式中の１分間あたりの静止画像の撮影枚数に基づいて抽出されたイベント６０７とが１つに統合されたことを示している。「６０３＋６０８」は新郎の心拍数の変動に基づいて抽出されたイベント６０３と静止画像の撮影枚数に基づいて抽出されたイベント６０８とが１つに統合されたことを示している。また、「６０４＋６１０」は新郎の心拍数の変動に基づいて抽出されたイベント６０４と静止画像の撮影枚数に基づいて抽出されたイベント６１０とが１つに統合されたことを示している。他のイベントについても同様である。

図１２の７０２の欄は結婚式における新郎の心拍数の変動の極値の絶対値、すなわちイベント判定部１６０が決定したイベント６０１〜６０６の重みを表している。イベント６０９は結婚式中の１分間あたりの静止画像の撮影枚数に基づいて抽出されたイベントであり、新郎の心拍数の変動に基づいて抽出されたイベントではないので、７０２の欄に記述される重みが０となっている。

図１２の７０３の欄は情報加工部１７０が正規化したイベント６０１〜６０６の重みを表している。７０２の欄に示したイベント６０１〜６０６の重みにおいて、重みの正規化の基準値となる最大値はイベント６０１の重み０．５である。したがって、情報加工部１７０は、イベント６０１の重みが１となるように、イベント６０１〜６０６の重みを正規化する。

図１２の７０４の欄は結婚式中の１分間あたりの静止画像の撮影枚数、すなわちイベント判定部１６０が決定したイベント６０７〜６１２の重みを表している。イベント６０１は結婚式中の新郎の心拍数の変動に基づいて抽出されたイベントであり、静止画像の撮影枚数に基づいて抽出されたイベントではないので、７０４の欄に記述される重みが０となっている。

図１２の７０５の欄は情報加工部１７０が正規化したイベント６０７〜６１２の重みを表している。７０４の欄に示したイベント６０７〜６１２の重みにおいて、重みの正規化の基準値となる最大値はイベント６１０の重み９である。したがって、情報加工部１７０は、イベント６１０の重みが１となるように、イベント６０７〜６１２の重みを正規化する。

図１２の７０６の欄はステップＳ４４の処理後のイベントの重みを表している。つまり、情報加工部１７０は、イベント６０２と６０７を統合したので、イベント６０２の正規化した重み０．３４とイベント６０７の正規化した重み０．６７とを加算した値１．０１が統合処理後のイベントの重みとなる。また、情報加工部１７０は、イベント６０３と６０８を統合したので、イベント６０３の正規化した重み０．３４とイベント６０８の正規化した重み０．５６とを加算した値０．９が統合処理後のイベントの重みとなる。また、情報加工部１７０は、イベント６０４と６１０を統合したので、イベント６０４の正規化した重み０．３４とイベント６１０の正規化した重み１とを加算した値１．３４が統合処理後のイベントの重みとなる。６０５と６１１の統合、６０６と６１２の統合についても同様である。

結婚式中の新郎の心拍数の変動に基づいて抽出されたイベント６０１については、静止画像の撮影枚数に基づいて抽出されたイベントの中に同一と見なせるイベントが存在しないので、統合が行われず、正規化された重み１がそのままイベント６０１の最終的な重みとなる。

同様に、静止画像の撮影枚数に基づいて抽出されたイベント６０９についても、新郎の心拍数の変動に基づいて抽出されたイベント中に同一と見なせるイベントが存在しないので、統合が行われず、正規化された重み０．７８がそのままイベント６０９の最終的な重みとなる。

なお、本実施の形態では、統合するイベントに含まれる、ユーザ１１０の生体情報に基づいて抽出されたイベントの重みＡと、統合するイベントに含まれる、ユーザ１１０の周辺情報に基づいて抽出されたイベントの重みＢとを等しい重みとして、ＡとＢを加算した結果（Ａ＋Ｂ）を統合処理後のイベントの重みとしているが、これに限るものではなく、統合処理後のイベントの重みに占める、重みＡとＢの割合を変えてもよい。１例としては、例えば統合処理後のイベントの重みを（２Ａ＋Ｂ）としてもよい。これにより、ユーザ１１０の精神状態の特異的な変化（ユーザ１１０の生体情報の特異的な変化）を重視したイベントの統合を実現することができる。

次に、情報加工部１７０は、ユーザ１１０の生体情報に基づいて抽出されたイベントとユーザ１１０の周辺情報に基づいて抽出されたイベントの全てについてステップＳ４１〜Ｓ４４の処理を終えた後に（図１１ステップＳ４５においてＹＥＳ）、各イベントに対応するユーザ１１０の周辺情報を、当該イベントの重みに基づいて加工する（図１１ステップＳ４６）。

情報加工部１７０は、加工対象の周辺情報が静止画像である場合、各静止画像の面積の比が、イベントの重みの比と等しくなるように各静止画像のサイズを加工する。イベントに対応する静止画像とは、撮影時刻がイベントの発生時刻と等しい静止画像のことをいう。静止画像の撮影時刻は、周辺情報取得部１４０が静止画像に付加した測定時刻情報から取得すればよい。

情報加工部１７０は、対応するイベントが存在しない静止画像については、正規化された重みの最大値（本実施の形態では１）よりも小さい所定値の重みを有するものとしてサイズを加工すればよい。こうして、対応するイベントの重みが大きくなるほど、静止画像のサイズが大きくなる。

同様に、情報加工部１７０は、加工対象の周辺情報が動画像である場合、動画像の各フレームの面積の比が、イベントの重みの比と等しくなるように動画像の各フレームのサイズを加工する。イベントに対応する動画像のフレームとは、撮影時刻がイベントの発生時刻と等しいフレームのことをいう。静止画像の場合と同様に、撮影時刻は、周辺情報取得部１４０が動画像の各フレームに付加した測定時刻情報から取得すればよい。

情報加工部１７０は、対応するイベントがない画像フレームについては、正規化された重みの最大値よりも小さい所定値の重みを有するものとしてサイズを加工すればよい。こうして、対応するイベントの重みが大きくなるほど、動画像のフレームのサイズが大きくなる。

なお、加工対象の周辺情報が静止画像または動画像の場合、加工後の画像のサイズが予め規定された最大サイズで収まるように自動的に調整される。具体的には、１枚の画像が最大サイズで収まるように調整してもよいし、最大サイズで収まるように画像の周辺領域をカットしてもよい。

また、情報加工部１７０は、加工対象の周辺情報が音声である場合、音声の強度の比が、イベントの重みの比と等しくなるように音声の各区間の音量を調整する。イベントに対応する音声の区間とは、収録時刻がイベントの発生時刻と等しい区間のことをいう。静止画像の場合と同様に、収録時刻は、周辺情報取得部１４０が音声データに付加した測定時刻情報から取得すればよい。

情報加工部１７０は、対応するイベントがない音声の区間については、正規化された重みの最大値よりも小さい所定値の重みを有するものとして音量を調整すればよい。こうして、対応するイベントの重みが大きくなるほど、音声が大きくなる。加工対象の周辺情報が音声の場合、加工後の音量が予め規定された最大音量で収まるように音量が自動的にリミット処理される。
以上で、情報加工部１７０の処理が終了する。

なお、ユーザ１１０の周辺情報については、イベント抽出の基となる周辺情報と加工対象の周辺情報が同一でもよいし異なっていてもよい。例えばユーザ１１０以外のイベント参加者１３０の生体情報に基づいてイベントを抽出し、静止画像、動画像、音声のうち少なくとも１つを加工する場合には、イベント抽出の基となる周辺情報と加工対象の周辺情報が異なることになる。また、静止画像の撮影枚数に基づいてイベントを抽出して、静止画像を加工する場合には、イベント抽出の基となる周辺情報と加工対象の周辺情報とが同じになる。

次に、情報出力部１８０は、情報加工部１７０が加工した周辺情報を出力する（図２ステップＳ５）。
情報加工部１７０が加工した周辺情報が静止画像である場合、周辺情報出力の形態としては、ディスプレイ表示、アルバム等の印刷、ＤＶＤ等の記録メディアへの記録などがある。

情報加工部１７０が加工した周辺情報が動画像である場合、周辺情報出力の形態としては、ディスプレイ表示、ＤＶＤ等の記録メディアへの記録などがある。
情報加工部１７０が加工した周辺情報が音声である場合、周辺情報出力の形態としては、スピーカ出力、ＤＶＤ等の記録メディアへの記録などがある。

以上のようにして、本実施の形態では、ユーザ１１０の生体情報に基づいてユーザ１１０にとって特異なイベントを抽出する共に、ユーザ１１０の周辺情報に基づいてイベント参加者１３０にとって特異なイベントを抽出し、ユーザ１１０の生体情報に基づいて抽出したイベントとユーザ１１０の周辺情報に基づいて抽出したイベントとを統合した上で、イベントの重みに基づいてユーザ１１０の周辺情報を加工することにより、ユーザ１１０の精神状態が特異的な変化を示したときの周辺情報をイベントの重みに応じて強調すると共に、イベント参加者１３０の精神状態が特異的な変化を示したときの周辺情報をイベントの重みに応じて強調することができ、ユーザ１１０とイベント参加者１３０の精神状態を反映するように周辺情報を加工して出力することができる。その結果、本実施の形態では、特許文献１に開示された従来技術と比較して、ライフイベント当日の感動や思いを想起させるのに充分な情報提供を実現することができる。

本実施の形態では、ユーザ１１０の生体情報に基づいて抽出したイベントとユーザ１１０の周辺情報に基づいて抽出したイベントの中の同一と見なせるイベントを統合しているため、ユーザ１１０の精神状態が特異的な変化を示したとき（ユーザ１１０の生体情報が特異的な変化を示したとき）と、イベント参加者１３０の精神状態が特異的な変化を示したとき（周辺情報が特異的な変化を示したとき）とが一致していれば、統合するイベントの重みが加算されて大きくなるので、重要なイベントとして周辺情報を強調することができる。

なお、情報加工部１７０は、加工対象の周辺情報が静止画像または動画像の場合、周辺情報がユーザ１１０の精神状態（ユーザ１１０の生体情報に基づいて抽出したイベント）を反映して加工されたものなのか、周辺情報がイベント参加者１３０の精神状態（ユーザ１１０の周辺情報に基づいて抽出したイベント）を反映して加工されたものなのか、周辺情報がユーザ１１０とイベント参加者１３０の両者の精神状態を反映して加工されたものなのかが分かるように、加工する静止画像または動画像に、加工の理由を説明する文字情報を加えてもよい。

これにより、情報加工部１７０から出力された周辺情報を見た人は、ユーザ１１０の精神状態が特異的な変化を示したとき（ユーザ１１０の生体情報が特異的な変化を示したとき）と、イベント参加者１３０の精神状態が特異的な変化を示したとき（周辺情報が特異的な変化を示したとき）とが一致しているのか一致していないのかを認識することができる。

例えば図１０、図１２の例では、イベント６０２は新郎の心拍数の変動に基づいて抽出されたイベントであり、イベント６０７は静止画像の撮影枚数に基づいて抽出されたイベントであり、これらイベント６０２と６０７とが統合されたとき、統合されたイベントに対応する静止画像または動画像には、ユーザ１１０とイベント参加者１３０の精神状態を反映して加工されたことを説明する文字情報が加えられる。

したがって、情報加工部１７０から出力された周辺情報を見た人は、新婦の入場に際して、ユーザ１１０の精神状態とイベント参加者１３０の精神状態が特異的な変化を示しており、ユーザ１１０とイベント参加者１３０の感じ方が一致していることを認識できる。

また図１０、図１２の例では、イベント６０９は静止画像の撮影枚数に基づいて抽出されたイベントであり、新郎の心拍数の変動に基づいて抽出されたイベントではないので、イベント６０９に対応する静止画像または動画像には、イベント参加者１３０の精神状態を反映して加工されたことを説明する文字情報が加えられる。

したがって、情報加工部１７０から出力された周辺情報を見た人は、指輪の交換が行われたときに、ユーザ１１０の精神状態については大きく変化しておらず、イベント参加者１３０の精神状態が特異的な変化を示しており、ユーザ１１０とイベント参加者１３０の感じ方が違うことを認識できる。

なお、イベントの統合は本発明の必須の処理ではない。つまり、情報加工部１７０は、図１１のステップＳ４１〜Ｓ４５の処理を実施しなくてもよい。この場合の情報加工部１７０の動作のフローチャートを図１３に示す。情報加工部１７０は、ステップＳ４０の処理を行った後に、イベント判定部１６０がユーザ１１０の生体情報に基づいて抽出したイベントとユーザ１１０の周辺情報に基づいて抽出したイベントについて別々にステップＳ４６の処理を行えばよい。また、イベントを統合しない場合においても、上記と同様に、加工する静止画像または動画像に、加工の理由を説明する文字情報を加えることが可能である。

また、本実施の形態では、ユーザ１１０の生体情報と周辺情報のそれぞれについてイベントを抽出しているが、どちらか一方の情報のみについてイベントを抽出するようにしてもよい。

本発明は、画像や音声等の情報の主対象者であるユーザや周辺の人の精神状態を反映するように情報を加工する技術に適用することができる。

１００…情報加工システム、１１０…ユーザ、１２０…生体情報取得部、１３０…イベント参加者、１４０…周辺情報取得部、１５０…記録部、１６０…イベント判定部、１７０…情報加工部、１８０…情報出力部。

Claims (9)

1. 主対象者となるユーザの生体情報と、前記ユーザとその周辺の状況を表す周辺情報とを入力として、これらの情報を保存する記録手段と、
   前記ユーザの生体情報と周辺情報のうち少なくとも一方に基づいてイベントが発生したか否かを判定するイベント判定手段と、
   このイベント判定手段が抽出したイベントの情報に基づいて前記周辺情報を加工する情報加工手段とを備えることを特徴とする情報加工システム。
2. 請求項１記載の情報加工システムにおいて、
   前記イベント判定手段は、前記ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに前記周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、
   前記情報加工手段は、前記イベントの重みに応じて、このイベントに対応する前記周辺情報を加工することを特徴とする情報加工システム。
3. 請求項１記載の情報加工システムにおいて、
   前記イベント判定手段は、前記ユーザの生体情報に基づいてイベントを抽出すると共にイベントの重みを決定し、さらに前記周辺情報または周辺情報取得に関する操作に基づいてイベントを抽出すると共にイベントの重みを決定し、
   前記情報加工手段は、前記ユーザの生体情報に基づいて抽出されたイベントと前記周辺情報または周辺情報取得に関する操作に基づいて抽出されたイベントの中の同一と見なせるイベントを統合する処理を行い、同一と見なせるイベントが存在しないイベントと統合したイベントのそれぞれについて、イベントの重みに応じて、イベントに対応する前記周辺情報を加工することを特徴とする情報加工システム。
4. 請求項２または３記載の情報加工システムにおいて、
   前記情報加工手段は、前記イベントの重みが大きくなるほど、このイベントに対応する前記周辺情報が強調されるように加工することを特徴とする情報加工システム。
5. 請求項２乃至４のいずれか１項に記載の情報加工システムにおいて、
   前記ユーザの生体情報は、心拍数、体温、血圧、血糖値のうち少なくとも１つを含み、
   前記イベント判定手段は、前記ユーザの生体情報の変化に基づいてイベントの発生時刻を決定すると共に、この生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことを特徴とする情報加工システム。
6. 請求項１乃至５のいずれか１項に記載の情報加工システムにおいて、
   前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像、前記ユーザまたはその周辺を撮影した動画像、前記ユーザまたはその周辺の音声のうち少なくとも１つを含むことを特徴とする情報加工システム。
7. 請求項２乃至５のいずれか１項に記載の情報加工システムにおいて、
   前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像を少なくとも含み、
   前記イベント判定手段は、単位時間あたりの前記静止画像の撮影枚数が所定の閾値を超えた時刻をイベントの発生時刻と判定すると共に、単位時間あたりの前記静止画像の撮影枚数が多いほど、イベントの重みが大きくなるように重み付けを行うことを特徴とする情報加工システム。
8. 請求項２乃至５のいずれか１項に記載の情報加工システムにおいて、
   前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した動画像を少なくとも含み、
   前記イベント判定手段は、動画像撮影のズームイン操作が開始された時刻をイベントの発生時刻と判定すると共に、ズームイン操作開始からズームアウト操作開始までのズームイン継続時間が長いほど、イベントの重みが大きくなるように重み付けを行うことを特徴とする情報加工システム。
9. 請求項２乃至５のいずれか１項に記載の情報加工システムにおいて、
   前記ユーザの周辺情報は、前記ユーザまたはその周辺を撮影した静止画像、前記ユーザまたはその周辺を撮影した動画像、前記ユーザまたはその周辺の音声のうち少なくとも１つと、さらに前記ユーザ以外の人の生体情報を含み、
   この生体情報は、心拍数、体温、血圧、血糖値のうち少なくとも１つを含み、
   前記イベント判定手段は、前記ユーザ以外の人の生体情報の変化に基づいてイベントの発生時刻を決定すると共に、この生体情報の変化が大きいほど、イベントの重みが大きくなるように重み付けを行うことを特徴とする情報加工システム。