JP2004178593A

JP2004178593A - 画像処理方法及びシステム

Info

Publication number: JP2004178593A
Application number: JP2003392971A
Authority: JP
Inventors: Elena A Fedorovskaya; エイフェドロフスカヤエレナ; Serguei Endrikhovski; エンドリコフスキセルゲイ; Tomasz A Matraszek; エイマトラジェックトーマス; Kenneth A Parulski; エイパルルスキケネス; Carolyn A Zacks; エイザックスキャロリン; Karen M Taxier; エムタクシアーカレン; Michael J Telek; ジェイタレクマイケル; Frank Marino; マリーノフランク; Dan Harel; ハレルダン
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-11-25
Filing date: 2003-11-21
Publication date: 2004-06-24
Also published as: US20070201731A1; CN100430934C; CN1510903A; EP1422639A2; US7418116B2; US7233684B2; US20040101212A1; EP1422639A3

Abstract

【課題】本願課題は、感情情報を取得し、画像の格納及び抽出を支援するために感情情報を使用する改善された方法を提供することである。
【解決手段】本発明によれば、画像処理方法が提供される。一態様によれば、ある場面の画像が捕捉される。捕捉時に感情情報が収集される。感情情報は画像に関連付けられる。
【選択図】図１ａ

Description

本発明は、画像捕捉システムに関連し、特に感情情報（ａｆｆｅｃｔｉｖｅｉｎｆｏｒｍａｔｉｏｎ）をも捕捉する画像捕捉処理システムに関連する。

静止画及び動画像はディジタル形式で益々記録されている。ディジタル的な静止画及び動画は、ディジタル静止画又はディジタル映像カメラを利用して捕捉され得る。また、ディジタル静止画及び動画は、他の方法で記録されていた画像をディジタル形式に変換することによっても得られる。例えば、アナログ電子映像信号をディジタル画像に変換するために、アナログディジタル変換器を利用することはよく知られている。また、写真プリント、フィルム、感光板又はプレート（ｐｌａｔｅ）、陰画又はネガに記録された画像からディジタル画像を導出するために、光学スキャナを利用することも知られている。

ディジタル静止画及び動画は、家庭のコンピュータその他の画像処理装置を利用して、ユーザにより容易に閲覧、格納、抽出及び印刷され得る。そのような画像は、１９９５年８月３日付で出願されたフレッドランド等による米国特許第５，６６６，２１５号（特許文献１）に記載されているように、閲覧用にウェブサイトにアップロードされ得る。ウェブブラウザを利用して、アップロードされたディジタル画像は、閲覧されること、印刷するために選択されること、他の家族及び／又は友人に電子的に送信されること、又はオンラインデータベースや写真アルバムに格納されることが可能である。

写真撮影用のディジタルカメラの利用が近年増加していることにより、並びに従来の静止画、アナログ映像及び動画像に基づくフィルムをディジタル形式に変換する技術の近年の成長により、利用可能な大量のディジタル画像が急速に増えつつある。しかしながら、しばしばユーザは直ちに印刷せず、そうではなくユーザは、光学的ではなくディジタル画像を利用して、後の利用に備えて電子格納装置又はデータ格納媒体にディジタル画像を転送又はアップロードする。従って、パーソナルコンピュータ、パーソナルディジタルアシスタント、コンピュータネットワーク、光学的な、磁気的な及び電子格納媒体、いわゆるセットトップボックス装置その他の電子画像格納装置は、ディジタル的な静止画及び動画を格納するために益々利用されつつある。

従って、ユーザにより容易にアクセスされ得る形式でそのような格納装置におけるディジタル静止画及び動画を分類する又は一覧目録化する（カタログ化する）作業が、益々重要になってきている。あるユーザは、そのような格納装置にてディジタル静止画及び動画を組織化するために大きなパーソナルデータベースを作成している。多くのコンピュータプログラムがそれを実行するユーザを支援するために開発されている。しかしながら、画像を検討及びカタログ化するのに要する時間及び労力に起因して、これらのデータベースは一般的に使用されること及びアップロードされることは非常に希である。

従って、画像に関する際立って少ない捕捉後分析（ｐｏｓｔｃａｐｔｕｒｅａｎａｌｙｓｉｓ）及び分類作業と共に画像を組織化及び分類することを支援する手法が必要とされている。

ユーザが画像を編成又は組織化するのに必要な時間及び労力を費やす場合に、データベースは、一般的には、捕捉の日付、場所、出来事又はイベント、人々のような様々なカテゴリに従って組織化される。他のカテゴリも使用される。そのようなカテゴリは、特に重要な又は価値のある画像をユーザが見出すことを有効に支援しないことが間々ある。そのため、ユーザは、その画像、画像が捕捉された時及び／又はユーザがそれをどのように分類したかを記憶しなければならない。

従って、画像を分類する一層有利な手法も必要とされている。様々な研究及び経験から、出来事及びそれに続く画像に関する最も記憶されるカテゴリは、捕捉時のユーザの感情（ｆｅｅｌｉｎｇ）に関連するもの又はその出来事やその場面又はシーン（ｓｃｅｎｅ）でユーザが体験した感情的反応（ｅｍｏｔｉｏｎａｌｒｅａｃｔｉｏｎ）であることが知られている。ユーザの感情の様相を分類するために使用され得る情報は、感情情報として知られている。感情情報は、ある出来事に対するユーザの心理学的、生理学的及び行動的な反応を表現する。感情情報は、記録されている生の（未処理の）生理学的信号及び彼らの解釈の双方を表現し得る。感情情報を利用して、ユーザにとっての重要度、興味の度合い、又は特定の感情の強さや性質に基づいて、ディジタル静止画及び動画が分類され得る。そのような分類は、それら価値ある画像を速やかに見出し、閲覧し、及び共用することを支援し得る。

画像に関するユーザの反応に基づいて感情情報を導出する様々な方法が当該技術分野で知られている。感情情報を導出するために生理学的状況を監視するあるシステム例は、着用可能な捕捉システムであり、それは人体からの生体信号に基づいて重要又は非重要として画像の分類を可能にする。このシステムは、非特許文献１に開示されている。彼の論文では、彼（Ｍａｎｎ）は、拳銃を武装し、現金を要求する強盗に着用者が襲われた場合においてそのシステムがどのように動作し得るかの例を述べている。この場合に、システムは、歩行速度に無関係な着用者の心拍の急激な増加のような生理学的信号を検出する。そして、このシステムは、その生体信号から、視覚的情報の高い重要性についての推測（ｉｎｆｅｒｅｎｃｅ）を行なう。これは、着用者のカメラから画像を記録する、及びこれらの画像を友人に又は危険の度合いを判別する関係者に送信する契機となる。

そのようなシステムの他の例は、非特許文献２に記載されている。この論文で提案されているシステムでは、コンピュータと、皮膚伝導率（ｓｋｉｎｃｏｎｄｕｃｔｉｖｉｔｙ）を監視する生理学的センサとを備えた着用可能な映像カメラが使用される。このシステムは、驚き反応（ｓｔａｒｔｌｅｒｅｓｐｏｎｓｅ）−皮膚伝導率の急激な変化−の検出に基づくものである。皮膚伝導率のそのような変化は、急激に興奮した、萎縮した又はストレスを受けた反応にしばしば関連付けられる。驚き反応が検出されると、着用者のディイジタルカメラで最近捕捉されたディジタル画像のバッファが、保存され及び選択的にリモートコンピュータに無線で送信され得る。ディジタル画像のこのような選択的な格納は、着用者自身の選択的な記憶反応をまねる（ｍｉｍｉｃ）ことを意図する、その着用者に関する「記憶（ｍｅｍｏｒｙ）」アーカイブを形成する。他の動作モードでは、着用者からほとんど応答が検出されなくなり、彼らの注意力（ａｔｔｅｎｔｉｏｎｌｅｖｅｌ）が落ちたことを示す場合に、カメラが指定された頻度で自動的に画像を記録するよう設定される。
米国特許第５，６６６，２１５号明細書Ｍａｎｎ，"ＨｕｍａｎｉｓｔｉｃＩｎｔｅｌｌｉｇｅｎｃｅ："ＷｅａｒＣｏｍｐ"ａｓｎｅｗｆｒａｍｅｗｏｒｋａｎｄａｐｐｌｉｃａｔｉｏｎｆｏｒｉｎｔｅｌｌｉｇｅｎｔｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ"，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ（ＩＥＥＥ），８６，ｐｐ．２１２３−２１５１，１９９８Ｈｅａｌｅｙ，ｅｔａｌ．，"ＳｔａｒｔｌｅＣａｍ：ＡＣｙｂｅｒｎｅｔｉｃＷｅａｒａｂｌｅＣａｍｅｒａ"，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｃｏｎｄＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＷｅｒａｂｌｅＣｏｍｐｕｔｅｒｓ，１９９８

マン等（Ｍａｎｎｅｔａｌ．）により提案されるシステムは生理学的信号を利用して、「重要」（即ち、生体反応の急激な変化を引き起こす）又は「非重要」（即ち、生体反応の急激な変化を引き起こさない）として画像を分類し、及び「重要」画像のみを格納及び／又は送信する契機を着用可能なカメラに与える。しかしながら、彼らのシステムはいくつかの欠点を有する。

説明されているシステムは、生理学的信号を又は対応する画像と共に他の「重要」識別子を関連付けず、格納せず、及び送信しない。その結果、これら「重要」画像にこれらの画像が「重要」であることを示すものが存在しないので、「重要」画像はデータベースの他の画像の中で容易に見失われてしまう。これは、例えば、ディジタル画像ファイルが別のシステムで使用される場合、その画像が記録可能なコンパクトディスクや他の媒体に転送される場合、その画像がオンライン写真サービスプロバイダにアップロードされる等の場合に起こり得る。また、説明されているシステムは、対応する画像と共にユーザの識別子を関連付けず、格納せず、及び送信しない。従って、システムが１ユーザ以上で使用される場合に、どのユーザがその画像を「重要」として反応したかを判別することは困難である。

更に、説明されているシステムは、「重要−非重要」の２進法的分類を与えるに過ぎず、捕捉した画像の中で相対的な重要度の緻密な差異を許容しない。その結果、画像を捕捉してしばらく後にユーザデータベース内では、ユーザが彼又は彼女のデータベースにて総ての画像について属性を変更しない限り（それは膨大な時間のかかる作業である）、重要画像の量が多過ぎて重要な属性を提供する意図を失ってしまう。

従って、説明されているシステムは、漠然とした「重要」な属性に基づいて画像を分類するに過ぎない。例えば、それらは、重要画像が肯定的な（楽しい）又は否定的な（楽しくない）ユーザの反応の何れであるかを見分けることができない。それ故に、広範囲にわたる人的感情反応（例えば、愉快である、悲しい、怒り、恐怖、興味がある等）は、そのシステムでは考慮されず、ユーザの利益に貢献していない。

従って、感情情報を取得し、画像の格納及び抽出を支援するために感情情報を使用する改善された方法が更に必要とされている。

本発明の一態様によれば、画像処理方法が提供される。この態様によれば、ある場面の画像が取得される。感情情報は捕捉時に収集される。感情情報はその場面の画像に関連付けられる。

本発明の他の態様によれば、画像処理方法の他の例が提供される。この態様では、ある場面の画像が取得される。感情情報は捕捉時に収集される。捕捉した画像の相対的な重要度は、収集した感情信号に少なくとも部分的に準拠して判別される。相対的な重要度はその場面の画像に関連付けられる。

本発明の他の態様によれば、写真撮影方法が提供される。この態様では、ある場面の画像が取得される。撮影者の少なくとも一部の画像が捕捉時に取得される。感情情報は、撮影者の画像の解釈に少なくとも部分的に準拠して判別される。感情情報はその場面の画像に関連付けられる。

本発明の更なる別の態様によれば、画像処理方法が提供される。この方法によれば、画像のストリームが捕捉され、感情情報の対応するストリームが画像捕捉中に収集される。感情情報のストリームはその画像のストリームに関連付けられる。

本発明の更なる別の態様によれば、感情情報を判別する方法が提供される。この方法によれば、人の顔の特徴及び生理学的特徴を含む感情信号が取得される。顔の特徴が分析され及び生理学的特徴が分析される。人の感情の状態は、その人の顔及び生理学的特徴の分析に基づいて判別される。

本発明の更なる別の態様によれば、画像処理システムが提供される。画像処理システムは、ユーザにより選択された画像を捕捉するように適合させた画像捕捉システムを有する。メモリは画像を格納する。一群のセンサは、捕捉時にユーザから感情信号を取得するために使用される。プロセッサは、感情情報を捕捉した画像に関連付けるために使用される。

本発明は、ユーザがある場面を見ながら感情情報及び関連する情報並びに指定された場面に関して捕捉した画像に対する解釈を収集する方法を提供する。感情情報の解釈は、ユーザの趣向（例えば、ユーザがその場面を好む度合い）に関するいくつかの階調又はグラデーションを与え得る。また、ユーザにとってのその場面の相対的な重要度も提供し得る。更に、感情情報の解釈は、その場面によって起こされる特定の感情（例えば、喜び、悲しみ、恐怖、怒り等）の観点から行なわれ得る。

場面は視聴者が見る何らかのものとして定められる。それは、動作又は出来事が生じる場所、人々の集まり、及び／又は視聴者が見る対象物又はオブジェクト、一連の動作及び出来事、景色又は景色の一部等であり得る。画像捕捉装置によって記録又は表示される場面は、場面の画像として言及される。画像捕捉装置の例は、フィルムに静止画像又は動画像のような画像を記録する、ディジタル静止画カメラ、携帯用ビデオカメラ、着用可能なビデオカメラ、一般的な写真機、アナログビデオカメラ等を含む。ユーザは、カメラののぞき窓又はビューファインダを通じて直接的に、又はビューファインダとして与えられるカメラのプレビュー画面を通じて場面を観察することができる。

ここで使用されるように、単数及び複数の画像（ｉｍａｇｅ）なる語は、限定するわけではないが、静止画像、動画像、ステレオ画像又は他の深度画像のようなマルチ透視図（ｍｕｌｔｉ−ｐｅｒｓｐｅｃｔｉｖｅｉｍａｇｅ）、その他の投入型（ｉｍｍｅｒｓｉｖｅ）静止画及び動画の形式を含む。

様々な目的及び用途により、人々は様々な場面の画像を取得する。捕捉する記憶される出来事は、通常の人々、専門的な写真家又はジャーナリスト関係者が一般に行なう動作の一例である。これらの出来事は、各人又は個々のグループにとって意味のある又は情的に重要なものである。そのような出来事の画像は、特別な注意を引き付け、記憶を呼び出し、感情を引き起こし、又は一般的に、それらは心理的反応をもたらす。これら心理的反応には、生理学的及び／又は行動的変化がしばしば付随する。

特定の場面又はその場面の画像に対するユーザの心理的、生理学的及び行動的反応を表現する情報は、ここでは感情情報として言及される。感情情報は、生の生理学的及び／又は行動的信号（例えば、電気による皮膚応答、心拍、表情等）に加えて、それらの心理的解釈（例えば、好ましい、好ましくない等）及び感情カテゴリとの関連性（例えば、恐れ、怒り、喜び等）を包含し得る。感情情報は、ユーザの心理的反応が変化すると変更される。これは、例えば、ユーザが、危険な事故、びっくりする動作又は美しい風景を突然に目撃するような場合に生じ得る。

感情的な識別又はタグ付け（ｔａｇｇｉｎｇ）は、感情情報を判別し、特定の場面の画像に関連する感情情報を格納するプロセスとして定められる。感情情報がユーザの識別データに関連して格納される場合に、それは「個人的感情情報」として言及される。ユーザ識別データは、ユーザに固有に付随する任意の形式の情報であり得る。ユーザ識別データは、広範囲にわたって固有のＩＤ（ＧＵＩＤ：ｇｌｏｂａｌｌｙｕｎｉｑｕｅＩＤ）、ユーザ番号、社会保障番号等のような個人的な識別コードであり得る。また、ユーザ識別子は、完備な正式名称、ニックネーム、コンピュータユーザ名等でもあり得る。ユーザ識別データは、代替的に、顔の画像や説明、指紋や説明、網膜スキャン（画像）等のような情報を包含する。また、ユーザ識別データは、インターネットアドレス、セルラ電話番号その他の識別情報であり得る。

個人的感情情報が対応する画像に関連して格納される場合に、それは「個人的感情タグ」として言及される。感情情報及びユーザ識別子は、ある種の画像「メタデータ（ｍｅｔａｄａｔａ）」であり、これは画像に関連する任意の情報について使用される用語である。感情タグに格納される個人的感情情報に組み込まれ得る他の形式の画像メタデータの例は、場面画像から導出される情報、及び画像捕捉時間、捕捉装置、捕捉場所、捕捉日、画像捕捉パラメータ、画像編集履歴等のような非画像データを包含する。

個人的感情情報は、例えばＥｘｉｆ（交換可能な画像ファイルフォーマット）画像ファイル内のタグ付け画像ファイルフォーマットＩＦＤを利用して、画像ファイル内で個人的感情情報を格納することによって、ディジタル画像に関連付けられる。或いは、感情情報は、ＪＰＥＧ規格フォーマットＩＳＯ１０９１８−１（ＩＴＵ−Ｔ．８１）に従って、第１画像（又は代替的に第２画像）を含むジョイント写真転送グループファイルにおける１つ又はそれ以上のアプリケーションセグメントに格納され得る。これは、単独の工業規格画像ファイルが、通常のＪＰＥＧ画像として格納されたＪＰＥＧ圧縮第１画像と、通常のＪＰＥＧリーダでは無視されるプロプラエタリ（ｐｒｏｐｒｉｅｔａｒｙ）形式で格納される感情情報との双方格納することを可能にする。更なる他の例では、個人的感情情報は、画像から分離したデータベースに格納され得る。また、この情報は、その情報に対する未認証アクセスを防止するためにセキュリティ及びアクセス許可情報と共に格納され得る。

感情タグ付けは、画像捕捉装置を利用して、特定の場面又はその場面の画像を見ながら手動で又は自動的になされ得る。手動による感情タグ付けの場合は、ユーザは手動制御要素（マニュアルコントロール）を利用することで感情情報を入力することができ、その制御要素は、例えばその場面に対する彼／彼女の反応を得るためのカメラの制御ボタン、タッチスクリーンディスプレイ、音声認識インターフェースを包含し得る。例えば、驚いたことについては、ユーザは「驚き」反応を表すカメラのボタンを「クリック」し、又は単に「ワゥ（Ｗｏｗ）！」とキーボードに喋ることが可能である。

自動的な感情タグ付けの場合は、画像捕捉装置は、感情情報を収集するために、以後に解釈され得る、以下の感情信号の１つ又はそれらの組み合わせを利用することが可能である：
− 目の動きの特徴（例えば、目の不動の持続時間、瞳（瞳孔）の大きさ、瞬きの速度、見る方向、眼球速度、眼球運動パターンから抽出される特徴及びパラメータ、それらの組み合わせ等）；
− 生態的又は生理学的反応（例えば、電気的な皮膚反応（ＧＳＲ）、手の温度、心拍速度、筋電図（ＥＭＧ）、呼吸パターン、脳波図（ＥＥＧ）、脳画像信号等）；
− 表情（例えば、微笑み、しかめ面等）；
− 声の特徴（例えば、声の大きさ、速さ、ピッチ等）
− 顔の動きを含む肉体的ジェスチャ（例えば、鼻筋をつまむ、耳の回りをこする等）。

以下に説明する本発明の一態様によれば、感情情報は、表情、目が止まっている時間、及び電気的皮膚反応に基づいて自動的に判別される。他の組み合わせも使用され得る。

図１ａ−１ｃを参照するに、本発明による画像捕捉システムの３つの例が示される。図１ａに示されるシステムは、特定のユーザ２の所有する携帯用画像捕捉装置６であり、そのユーザは、直接的に又はビューファインダ２４若しくはプレビュー画面２２を通じて場面４を見ている。ディジタル静止画カメラ、携帯用ディジタルビデオカメラ、着用可能なビデオカメラ等が、画像捕捉装置６として考えられることが理解されるであろう。着用可能な画像捕捉装置６の例は、図１ｂ及び図１ｃに示されている。

画像捕捉装置６は、場面４の画像を捕捉するための捕捉モジュール８を含む。捕捉モジュール８は、撮影レンズ（図示せず）、画像センサ（図示せず）及びＡ／Ｄ変換器（図示せず）を含む。また、この捕捉モジュールは、マイクロフォン（図示せず）、音声増幅器（図示せず）及び音声Ａ／Ｄ変換器（図示せず）でもあり得る。捕捉モジュール８は、ディジタル静止画又は動画信号及び関連するディジタルオーディオ信号を提供する。また、画像捕捉装置６は、中央処理装置（ＣＰＵ）１４及びディジタル格納装置１２を包含し、その格納装置は、捕捉モジュールにより与えられるディジタル静止画又は動画のような高解像度画像ファイルに加えて関連するメタデータを格納することが可能である。ディジタル格納装置１２は、小型磁気ハードドライブ、フラッシュＥＰＲＯＭメモリその他のディジタルメモリであり得る。

画像捕捉装置６は、無線モデム又は他の通信インターフェースのような通信モジュール１８に適合するように示されており、そのモジュールは、インターネットサービスプロバイダ２０のような通信サービスプロバイダを利用してディジタル静止画及び動画を含むデータをやりとりする。通信モジュール１８は、例えば、周知のブルートゥースシステムやＩＥＥＥ規格８０２．１５システム、ディジタルページングシステム、一般的なセルラ電話システムその他の無線システムのような、標準的な無線周波数無線通信システムを利用することが可能である。或いは、通信モジュール１８は、赤外線、レーザその他の光通信手法を利用して他の装置と情報を交換することが可能である。更なる他の実施例では、画像捕捉装置６は、ディジタル画像及び感情情報を含む情報が画像捕捉装置６及び他の装置の間で交換されることを可能にするために、ユニフォームシリアルバスケーブル、ＩＥＥＥ規格１３９４ケーブルや、１本又は一群の有線その他の電子データ経路、ウェーブガイド又は光データ経路のようなデータ交換ハードウエアを利用するよう構成される通信モジュール１８を有し得る。

感情情報を与えるために、画像捕捉装置６は、手動制御要素１３とユーザの生理学的信号を検出し得る一群のセンサ１５とを含む。ユーザ２は制御要素１３を利用して感情情報を入力することが可能であり、その制御要素は例えば手動的制御ボタン、タッチスクリーンディスプレイ又は音声若しくはジェスチャー認識インターフェースを包含し得る。

また、感情情報は一群のセンサ１５によっても集められる。例えば、図１ａに示される例では、一群のセンサ１５は、画像捕捉装置６の表面に搭載された電気的皮膚応答センサを含む。着用可能な例の場合は、センサ１５一式は図１ｂに示されるように別の場所に設けられ、電気的皮膚応答センサ１６はめがねを支持する一般的なフレーム２８の横側部分２９に設けられる。また、一群のセンサ１５は、ユーザ頭部のこめかみにおける動脈に付近の側面部２９に通常的には組み込まれ、温度測定及び／又は心拍速度の読み取りを支援する血管（ｖａｓｃｕｌａｒ）センサ１７を含み得る。また、センサ１５の組は、図１ｂに示されるような耳の近辺に又は耳に接触する形式で振動センサ１９を含み、耳近辺の可聴振動を検出するよう構成することも可能である。振動センサ１９は、ユーザから発する音と他の音源から発する音との双方を検出するよう構成され得る。任意の一群のセンサ１５は、他の有利な配置で設けられ得る。任意の一群のセンサ１５の１つは、それらの存在が着用可能な画像捕捉装置６の例の様相を変えないように小型化され得る。例えば、図１ｃの例に示されるように、電気的皮膚応答を検出するセンサ１６は、一般的なフレーム２８のブリッジ２６に設けられた着用可能な画像捕捉装置の一部である。

他の実施例では、一群のセンサ１５は、その環境との相互作用を可能にする神経細胞からの電気的挙動を監視するよう構成されるニューラルセンサ及び他の装置より成る。そのようなセンサ１５の例は、アメリカ合衆国アトランタＧＡのニューラルシグナルインコーポレーテッドにより販売されている頭脳通信装置及び筋肉通信装置を包含する。これらの装置は、神経細胞における電気信号及び神経細胞から発せられる信号をそれぞれ監視し、例えば平均的な人が手足の動きを引き起こす信号を検出する。これらの信号はコンピュータに送信され、そこではソフトウエアがそれらの信号を適切な情報にデコードする。そのような技術は感情情報に加えて感情情報を判別するのに有利なその他の情報を検出するために使用され得ることが、理解されるであろう。例えば、耳からの音声情報を搬送する神経に付随する神経活動が監視され、観察者がある出来事で実際に聴いたものを反映する音声情報を判別するために使用され得る。

また、画像捕捉装置６はユーザカメラ１０を含み、これはユーザ２の眼球運動、瞳孔サイズ及び表情の映像を記録するために使用される。ユーザカメラ１０は、例えば一般的な電荷結合画像処理装置、相補的金属酸化物画像処理装置又は電荷注入装置を組み込むことができる。他の画像処理技術も使用され得る。ユーザカメラ１０により捕捉された画像は、ユーザの画像又はユーザの顔の何らかの特徴を形成する映像を包含し得る。また、ユーザカメラ１０により捕捉された画像は、そこから感情情報が取得され得る他の形式の映像を包含し得る。例えば、目の位置及び瞳孔サイズを表現する画像は、ユーザの目の完全なディジタル画像を形成する必要はない。その代りに、コストを削減するため又は画像処理構造を簡単にするために、低解像度又は非線形画像パターンの他の形式の画像が使用され得る。

ユーザカメラ１０により捕捉された映像は、ＣＰＵ１４で処理される前にディジタル格納装置１２に格納される。ユーザ映像カメラ１０は、例えば赤外線センサカメラを包含し得る。この例では、一群の赤外線発光ダイオード（赤外線ＬＥＤ）は、ユーザの瞳に赤外線を向けている。ユーザ映像カメラ１０は、ユーザの目から発せられる赤外線信号を検出する。そして瞳はユーザの顔画像により追跡される。有利なユーザ映像カメラ１０の一例は、アメリカ合衆国ニューヨーク州アーモンクのインターナショナルビジネスマシーン図により開発されたブルーアイ（ＢｌｕｅＥｙｅｓ）カメラシステムである。ユーザカメラ１０の他の有利な例は、アメリカ合衆国バージニア州フェアファックスのＬＣテクノロジーズインコーポレーテッドにより販売されているアイゲイズ（Ｅｙｅｇａｚｅ）システムである。アメリカ合衆国マサチューセッツ州ボストンのアプライドサイエスラボラトリにより販売されているリモート追跡型眼球追跡カメラＡＳＬモデル５０４の形式のものも使用され得る。ユーザカメラ１０の他の有利な例は、ミラー等（Ｍｉｌｌｅｒｅｔａｌ．）による“ＣａｍｅｒａＳｙｓｔｅｍＷｉｔｈＥｙｅＭｏｎｉｔｏｒｉｎｇ”と題する米国特許出願番号第号（管理番号８５２４３）に更に詳細に提示及び説明されている。

ユーザビデオカメラ１０は、図１ａに示されるように携帯用画像捕捉装置６に取り付けられ又はその内部に、図１ｂに示されるように着用可能な画像捕捉装置６のような頭部搭載フレーム２８に、又は図１ｃに示されるように着用可能な画像捕捉装置６の遠隔したフレームに設けられ得る。図１ｃの場合には、ユーザカメラ１０は、瞳の大きさ、目及びまつ毛の動きを含むユーザの様々な顔の特徴を捕捉するのに特に適している。図１ｂに示される例では、眼球運動及び他の目の特徴を捕捉するのに最も適している。また、ユーザ映像カメラ１０は画像捕捉装置６から分離されることも可能であり、その場合に、ユーザ映像カメラ１０は任意の画像捕捉装置から構成することができ、その装置は画像捕捉装置６のユーザの画像を捕捉し、その画像を画像捕捉装置に転送することの可能なものである。遠隔したユーザ映像カメラ１０からの画像の転送は、既知の任意の無線通信システムを利用して無線で行なわれ得る。

特徴追跡は、例えば、Ｋｏｅｔａｌ．，“ＦａｃｉａｌＦｅａｔｕｒｅＴｒａｃｋｉｎｇｆｏｒＥｙｅＨｅａｄＣｏｎｔｒｏｌｌｅｄＨｕｍａｎＣｏｍｐｕｔｅｒＩｎｔｅｒｆａｃｅ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＴＥＮＣＯＮ，１９９９，ｐｐ．７２−７５に記載されているような様々なアルゴリズムを利用して実行され得る。リアルタイムの顔の特徴を追跡し得るこのアルゴリズムは、処理された顔画像から見分ける候補ブロックを利用して完全なグラフを構成し、各ブロックについての類似性の測定値を算出する。目は、最大の類似性を有するブロックとして位置付けられる。目の位置に基づいて、口、唇輪郭及び鼻の穴が位置付けられる。形成された特徴は追跡される。

眼球運動を記録するよう公正さ得るユーザ映像カメラ１０を有する着用可能な画像捕捉装置６の一例は、例えば、Ｐｅｌｚｅｔａｌ．，“ＯｃｕｌｏｍｏｔｏｒＢｅｈａｖｉｏｒａｎｄＰｅｒｃｅｐｔｕａｌＳｔｒａｔｅｇｉｅｓｉｎＣｏｍｐｌｅｘＴａｓｋｓ”，ＶｉｓｉｏｎＲｅｓｅａｒｃｈ，Ｖｏｌ．４１，ｐｐ．３５８７−３５９６，［２００２］のような文献に見受けられる。この文献は、ヘッドギア／ゴーグル形式の着用可能な軽量の眼球追跡器を開示しており、それは赤外線照明部、小型映像眼球カメラ、照射するビームに並行にカメラを合わせるビームスプリッタを含むモジュールを有する。明るい瞳画像を形成するために、後方反射（ｒｅｔｒｏ−ｒｅｆｌｅｃｔｉｏｎ）が瞳照明を与える。外部ミラーは、光学経路をゴーグルの前方に折り返し、ホットミラー（ｈｏｔｍｉｒｒｏｒ）はＩＲ照明を目に向け、目の画像を眼球カメラに写す。第２小型カメラは、ユーザの視点から場面の画像を取得するためにゴーグルに搭載される。

図１ｂ及び図１ｃの双方において、ユーザ映像カメラ１０は２つの部分を構成するように示され、両目の目の特徴を捕捉することを可能にする。しかしながら、ユーザ映像カメラ１０は、ユーザ２の双方の目又は目の一方のみの特徴を捕捉する１つの部分によって表現され得ることが、理解されるであろう。

画像捕捉装置６には適切なソフトウエアが設けられ、それは個人的な感情情報を作成及び使用するＣＰＵ１４によって使用される。このソフトウエアは典型的には格納装置１２に格納され、通信モジュール１８を利用してアップロード又は更新され得る。加えて、捕捉モジュール８によって与えられる場面の画像から抽出される、非感情的情報に関連する画像処理及び分析をＣＰＵ１４に実行させるソフトウエアも、ディジタル格納装置１２に格納される。加えて、ディジタル格納装置１２は個人的なユーザ特性又はユーザプロファイルに関連する情報を格納し、格納装置は、例えば典型的な反応パターンについての量的情報のようなユーザ反応の特徴を要約する情報を包含する特定のデータベースであり、ソフトウエアプログラムはＣＰＵ１４がその特定のデータベースにアクセスすることを可能にし得る。この個人的なユーザプロファイルは、個別化される感情情報を作成及び使用する際に、ＣＰＵ１４により問い合わせられ得る。個人的なユーザプロファイルは、ユーザ２の反応について学習した新たな情報によって更新される。

上述した画像捕捉装置６の全部又は一部は、画像捕捉装置６の一体的な部分として又は有線や無線で接続される物理的に分離した装置として実現され得ることは、理解されるであろう。

以下、表情から抽出される趣向の程度のような顔の特徴の分析；又は感情的カテゴリ及び表情から抽出された差異の程度に基づいて感情情報を判別するための画像捕捉装置６の様々な方法例が説明される。他の実施例は、瞳サイズ及び眼球運動から抽出される関心の度合いや、電気的皮膚応答から抽出される興奮の度合いのような生理学的情報に基づいて感情情報を判別する方法を示す。更なる例は、感情情報を導出するために顔分析及び生理学的情報の組み合わせを用いる方法を示す。

図２ａ，２ｂを参照するに、特定の場面の画像の一部に使用する趣向の程度に準拠して、感情情報を提供する本発明による方法の実施例を示すフローチャートが示されている。この例では、感情情報は特定のユーザの表情に基づいて判別される。

ユーザ２は先ず画像捕捉装置６を起動する（ステップ１１０）。好適実施例では、本発明による方法を使用するソフトウエアアプリケーションが画像捕捉装置６に既にインストールされており、それが自動的に開始される（ステップ１１２）。或いは、画像捕捉装置６の適切な制御ボタン（図示せず）を利用することによって、手動でそのアプリケーションを開始させることもできる。

ユーザ２はユーザＩＤ及びパスワードのようなユーザ識別データを入力する（ステップ１１４）。他の実施例では、ユーザ映像カメラ１０は、顔認識ソフトウエアに関連して、ユーザ２の身元を自動的に判別するために、及びユーザ名、個人的識別コードのような適切なユーザ識別子その他の識別子を与えるために使用される。他の実施例では、ユーザ識別データは、例えば通信モジュール１８を利用して、無線周波数トランスポンダのように捕捉装置外部のデータソースから取得され得る。更なる他の実施例では、画像捕捉装置６は、ユーザ識別データと供に前もってプログラムされ、この場合にはステップ１１４は不要である。

画像捕捉装置６は、選択的に、彼らが場面を見る場合にユーザの感情反応を判別スために、記録され得る信号の選択機能を与える（ステップ１１６）。ユーザは所望の信号を選択し、この例では表情を選択する（ステップ１１８）。他の実施例では、画像捕捉装置６は、１つ又はそれ以上の感情信号を利用することが事前にプログラムされており、その場合にはステップ１１６，１１８は不要である。

ユーザ２はその後に捕捉される場面を形成するために画像処理装置を指示する。捕捉モジュール８は、場面の第１画像を取得し（ステップ１２０）、同時にユーザ映像カメラ１０はユーザ２の第１顔画像を捕捉する（ステップ１３０）。

画像捕捉装置６は、その場面の画像（ステップ１２２）及び顔画像（ステップ１３２）を一時的に格納し、ユーザ２の表情を自動的に分析する（ステップ１３４）。Ｅｓｓａｅｔａｌ．，“ＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇａＤｙｎａｍｉｃＭｏｄｅｌａｎｄＭｏｔｉｏｎＥｎｅｒｇｙ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＣＣＶ９５，Ｃａｍｂｒｉｇｅ，ＭＡ，１９９５の文献に開示されているような表情認識に関する公知のアルゴリズムを利用して、表情は分析され得る。このアルゴリズムは、表現各々に関連する顔面筋肉活動の確率分布に関する知識及び皮膚や筋肉に関する詳細な肉体的モデルに基づくものである。このような肉体的なモデルは、映像信号から推定される筋肉活動と、感情表現に関する映像データベースから得た一般的な筋肉活動との比較によって、表情を認識するために使用される。

また、表情は他の公知の利用可能なアルゴリズムによっても分析され得る。そのようなアルゴリズムの一例は、Ｌｉｅｎ，ｅｔａｌ．，“Ｄｅｔｅｃｔｉｏｎ，Ｔｒａｃｋｉｎｇ，ａｎｄＣｌａｓｓｉｆｉｃａｔｉｏｎｏｆＡｃｔｉｏｎＵｎｉｔｓｉｎＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎ”，ＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｎｏｍｏｕｓＳｙｓｔｅｍｓ，Ｖｏｌ．３１，ｐｐ．１３１−１４６，２０００に見受けられる。同様な他のアルゴリズムは、Ｂａｒｌｅｔｔｅｔａｌ．，“Ｍｅａｓｕｒｉｎｇｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓｂｙｃｏｍｐｕｔｅｒｉｍａｇｅａｎａｌｙｓｉｓ”，Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ，Ｖｏｌ．３６，ｐｐ．２５３−２６３，１９９９の文献に見受けられる。これらのアルゴリズムは、特定の顔の動きの認識−基本的筋肉運動−に準拠しており、それは、Ｅｋｍａｎｅｔａｌ．，“ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ”，ＣｏｎｓｕｌｔｉｎｇＰｓｙｃｈｏｌｏｇｉｓｔｓＰｒｅｓｓＩｎｃ．，ＰａｌｏＡｌｔｏ，ＣＡ［１９７８］の論文にて公表されている。表情運動符号化システム（ＦＡＣＳ：ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ）では、任意の表情を表現するために、基本的な顔の動作が組み合わせられる。例えば、自然な微笑みは、２つの基本的な表情動作によって表現され、それらは：１）口の周りが、大頬骨（ｚｙｇｏｍａｔｉｃｕｓｍａｊｏｒ）と呼ばれる筋肉によって持ち上げられること；及び２）眼輪筋（ｏｒｂｉｃｕｌａｒｉｓｏｃｕｌｉ）と呼ばれる筋肉によって目にしわができることである。従って、持ち上がった口及びしわになった目が映像信号中に検出されると、それはその人が微笑んでいることを意味する。表情分析の結果、ユーザの顔に微笑みが検出される場合には、ユーザの顔は微笑んでいるものと認識され、微笑みが検出されない場合には微笑んでいないものと認識される。

画像捕捉装置６は微笑みのレベル、程度又は大きさを判別する（ステップ１３６）。微笑みが検出されない場合には、その微笑みレベルは０に等しい。微笑みが所与の画像に検出されると、その人の目の間の距離で分けられる指定される画像の開始から、最初の３秒間における口の周りの最大距離として、その画像に関する微笑みレベルが判別される。ユーザ２の目の間の距離は、上述した顔認識アルゴリズムを利用して判定される。口の大きさとユーザ２の頭部に関連する何らかの測定値（例えば、目の間の距離）の間の比率をとることの必要性は、顔画像から抽出される口の大きさは、ユーザ映像カメラ１０に対するユーザ２の距離や頭部の位置等に依存することに由来する。ユーザ２の目の間の距離は、この依存性に配慮するために使用されるのであるが、顔の長さや幅、顔の面積のような他の測定値も使用され得る。

画像捕捉装置６は、好みの程度を判別する（ステップ１３８）。微笑みが検出されなかった場合には、微笑みレベル従って好みのレベルは０に等しい。実際、微笑みが検出される場合に、好みの程度の大きさは微笑みレベルに対応する。相対的な微笑みレベルは、ユーザ２の個人的ユーザプロファイルに関連付けられる平均的微笑みレベルで微笑みレベルを割ったものとして定められる。個人的ユーザプロファイルにおける平均的微笑みレベルデータは、定常的に更新され、ディジタル格納装置１２に格納され得る。平均的な微笑みレベルに関する個人的なユーザプロファイルは、微笑みレベルデータを利用して更新され得る（ステップ１３９）。

得られた趣向（好み）のレベルは、ユーザ２により設定された閾値と比較される（ステップ１４０）。得られた趣向のレベルが閾値を上回る場合は、画像捕捉装置６は、捕捉されたその特定の画像に関心のあることを示す個人的感情タグを対応する画像のために作成する（ステップ１４４）。他の実施例では、趣向のレベルについての閾値も、例えばユーザの趣向レベルの分布に関する過去の累積確率に基づいて、個人的ユーザプロファイルから自動的に設定される。一実施例では、そのような確率は０．５に等しく、従って好みのレベルに対する閾値は、その場合に少なくとも５０％生じる値に対応する。更なる他の実施例では、個人的感情タグは、趣向の値に関するある範囲内から選択される値を含み、捕捉される様々な画像の間で相対的な趣向のレベルの区別を可能にする。

画像捕捉装置６は、対応する画像及び個人的感情タグを格納し、そのタグは、場面画像を含む画像ファイルの中で画像メタデータの一部として好みの程度を示す（ステップ１４６）。或いは、好みの程度を示す個人的感情タグは、ユーザ識別データ及び画像識別子に関連して別のファイルに格納され得る。これが行なわれる場合には、データはファイルの場所を示す画像メタデータ内に格納される。加えて、ユーザ２がある画像を見る日付に関する情報も（即ち、捕捉されてすぐの）、別項目として個人的感情タグに記録され得る。

更なる例では、生の顔画像が、画像識別子及びユーザ識別子と共に画像捕捉装置６の別ファイルに、又は画像メタデータの一部として個人的感情タグに、感情情報として格納され、その分析は後に別のシステムを利用して選択的に行なわれる。例えば、場面画像及び生の顔画像は、通信モジュール１８及びインターネットサービスプロバイダ２０（図１）を利用して、別のデスクトップコンピュータ（図示せず）又はコンピュータサーバ（図示せず）に通信され、それらはステップ１３４−１３８に関して既に説明した分析を実行し得る。

対応する画像、個人的感情タグ及び他の画像メタデータは、通信モジュール１８を利用してディジタル画像の個人的データベースに送信される（ステップ１４８）。この画像の個人的データベースは、例えば別個のデスクトップコンピュータ（図示せず）又はコンピュータサーバ（図示せず）を利用して格納され得る。

図示される例では、好みに関して取得したレベルが閾値を下回る場合には、ユーザの顔画像が消去される（ステップ１４２）。他の例では、取得した好みのレベルが閾値を下回る場合であってユーザ２が依然として同じ場面又はその場面の画像を例えばプレビュースクリーン２２にて眺めている場合には、画像捕捉装置６は選択的に次の顔画像を取得し、ステップ１３２乃至１４０を反復し、ユーザ２が同一の場面又はその場面に関して捕捉された画像を眺める場合に、ユーザ２が彼女の表情を変更するか否かを判別する。

閾値が０に設定されている場合には、総ての場面画像、及び画像捕捉装置６に記録される対応する感情情報（好みのレベル、又は他の例では生の顔画像）は、上記のようにして格納される。

ユーザが電力の投入を維持する場合には（ステップ１２４）、場面の次の画像を捕捉するプロセス（ステップ１２０−１２４）が反復され、同時に捕捉した画像に関する個人的感情タグの判別及び格納のステップ（ステップ１３０−１４６）が反復される（ステップ１２６）。

画像捕捉装置６は、ユーザ２が画像捕捉装置６の電源投入を維持する限り、捕捉モジュール８を利用して場面４の画像を、ユーザ画像カメラ１０を利用してユーザ２の顔画像を記録することを継続する。電源が落とされると、画像捕捉装置６は場面の画像及び顔画像の記録を停止し、感情タグ付けのプロセスを終了する（ステップ１２８）。

その開示内容が本願の参考に供せられる、２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザの好みの画像として、好みのレベルは、系統的且つ連続的な手法で画像をランク付けするためにディジタル画像処理システムで使用され得る。

他の例では、場面の画像に関して好みの二進法的なレベルが判別され得る。微笑みがステップ１３６で検出される場合に、対応する画像は、１に等しい趣向２進レベルを有する好みとして分類される。或いは、微笑みが検出されない場合には、その画像は０に等しい微笑みレベルを有する好みとして分類される。

２進法的な好みのレベルの観点から決定された感情情報は、個人的感情タグとして格納され、そのタグは画像メタデータの一部としてユーザ識別データを包含する。また、それは、画像識別子及びユーザ識別データと共にディジタル格納装置１２における別ファイルに格納され得る。加えて、ユーザの表情に関する実際の画像の観点から、感情情報は、画像識別子及びユーザ識別内容に関連する別ファイルに格納され得る。

他の例では、捕捉された画像は、感情情報が相対的な微笑みレベルのような閾値を超える場合にのみ、画像捕捉装置６によってインターネットサービスプロバイダ２０に転送される。その結果、趣向閾値を超える画像のみが、画像に関するユーザの個人データベースに格納される。この例では、そのようなファイルが趣向閾値に合うことを示すメタデータが画像ファイルに格納される。

図３ａ，３ｂを参照するに、画像取得中にユーザの反応の感情的なカテゴリを特徴付ける、感情情報を与える本発明の別の実施例を示すフローチャートが示される。本実施例では、感情情報はユーザの表情の分析に基づいて取得される。

更なる他の例では、場面に関する画像の感情的なカテゴリが判別され得る。表情は、「喜び」、「悲しみ」、「嫌悪」、「驚き」等のような広範囲にわたる感情カテゴリに分類される。顔認識の結果、「喜び」の表情を引き起こす場面は「喜び」感情カテゴリに割り当てられ；「悲しみ」の表情を引き起こす場面は「悲しみ」感情カテゴリに割り当てられる等々である。場面の画像は、非常に喜ばしい、幾らか喜ばしい、まあまあである、幾らか悲しい、非常に悲しい等のように、これらのカテゴリに関するある範疇の値を利用して更に分類される。

感情カテゴリの観点から判別された感情情報は、画像メタデータの一部としてユーザ識別子を含む個人的感情タグとして格納される。また、それは、画像識別子及びユーザ識別子と共にディジタル格納装置１２における別ファイルに格納され得る。

表情は、「喜び」、「悲しみ」、「嫌悪」、「驚き」等のような広範囲にわたる感情カテゴリに分類される。表情を分類する公知のアルゴリズムは、Ｄａｉｌｅｙｅｔａｌ．，“ＥＭＰＡＴＨ：ＡＮｅｕｒａｌＮｅｔｗｏｒｋｔｈａｔＣａｔｅｇｏｒｉｚｅｓＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｓ”，ＪｏｕｒｎａｌｏｆＣｏｇｎｉｔｉｖｅＮｅｕｒｏｓｃｉｅｎｃｅ，２００２に開示されている。このアルゴリズムは、感覚分析、オブジェクト表現、及び分類の３段階のプロセスを実行する３つのニューロン階層より成るフィードフォワードニューラルネットワークを進めることに基づいて、表情を６つのカテゴリ：「喜び」、「悲しみ」、「恐れ」、「怒り」、「嫌悪」及び「驚き」に分類する。このモデルでは、第１の階層は、視覚皮質における複合的な細胞に類似する性質を有する一群のニューロンをまねる（ｍｉｍｉｃ）。第２階層の部分はそのデータから規則性を抽出する。第３階層の出力は６つの基本的感情に分類される。その結果、各表情は、各々が表情に関する６つの数によって符号化される。様々な感情に対応する数は、それらが確率として解釈され得るように、総て正であって合計が１である。

以下に説明する方法は、ユーザの表情に基づいて感情カテゴリを判別し、更にこれらのカテゴリに対するある範疇の値を与え、より具体的には感情分類の「緻密化（ｄｉｓｔｉｎｃｔｉｖｅｎｅｓｓ）」が示唆され、図３ａ，３ｂに示される。感情分類の緻密化の度合いは、感情のファジィ性又は曖昧さとは反対に、特定の感情の一意性又は「純粋性（ｐｕｒｉｔｙ）」の測定値を反映する。

図３の例におけるステップ１５０乃至１７２は、概して図２の例におけるステップ１１０乃至１３２に対応する。

本実施例では、画像捕捉装置６は、デイリー等（Ｄａｉｌｅｙｅｔａｌ．）によるニューラルネットワーク法を応用することによってユーザ２の表情を自動的に分析する（ステップ１７４）。その結果、ユーザの表情は、各々が総て基本感情に対する６つの数に関連付けられる。

感情カテゴリ（ＥＣ）は、最大数に関するカテゴリを選択することによって決定される（ステップ１７６）。例えば、その数が、「喜び」、「悲しみ」、「恐れ」、「怒り」、「嫌悪」及び「驚き」に関してそれぞれ０．５，０．０１，０．２，０．１，０．１９及び０であったとすると、判定される感情カテゴリは喜びであり、その理由はそれが最大数０．５を有するからである。そして、「喜び」の表情を引き起こす場面には「喜び」感情カテゴリが割り当てられ；「悲しみ」の表情を引き起こす場面には「悲しみ」感情カテゴリが割り当てられる、等々である。

複数のカテゴリが同一の数であった場合は、１つのカテゴリがその感情であるとしてランダムに選択される。或いは、いくつかのカテゴリが同じ数である場合に、他の感情又は悲感情情報を利用して、１つのカテゴリの選択を支援することも可能である。

画像捕捉装置６は感情カテゴリの差別化（ｄｉｓｔｉｎｃｔｉｖｅｎｅｓｓ）の度合いを決定する（ステップ１７８）。差別化の度合い（ＤＤ_ＥＣ）は、先のステップ１７６で設定した６つの感情に対する数から算出され、便宜上それらをＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６と記す。以下の表記は、感情カテゴリＥＣに関する差別化の度合いを判別するために本発明で使用されるものである：

ＤＤ_ＥＣは、感情カテゴリＥＣに対する差別化の絶対的な大きさに対応する。差別化の相対的な大きさは、感情カテゴリに対する差別化の絶対的大きさＥＣを、特定のユーザの各感情カテゴリに関してユーザプロファイルで設定されたＤＤ_ＥＣの平均値で除算したものとして定義される。ユーザプロファイルにおける平均ＤＤ_ＥＣデータは、定常的に更新され、ユーザ２の個人的ユーザプロファイルの一部としてディジタル格納装置１２に格納される。個人的ユーザプロファイルは、感情カテゴリＤＤ_ＥＣの差別化の平均的大きさに関する問い合わせを受け、更新される（ステップ１７９）。

取得した差別化のレベルは、ユーザ２により又はユーザ２のために設定された閾値と比較される（ステップ１８０）。取得した差別化のレベルが閾値を上回る場合には、画像捕捉装置６は、関連するその画像について、その特定の捕捉した画像に関する差別化の度合いと共に感情カテゴリを示す個人的感情タグを作成する（ステップ１８４）。

他の実施例では、差別化の度合いに対する閾値も、例えば特定の感情カテゴリに関連するユーザの差別化レベル分布についての従前の累積確率に基づいて、個人的ユーザプロファイルから自動的に設定され得る。一実施例では、そのような確率は０．５に等しく、差別化レベルに関するその閾値は、少なくとも５０％の場合に生じる値に相当する。更なる他の実施例では、個人的感情タグは、ある範囲内の差別化の値の中から選択された値を包含し、捕捉した様々な画像の中で相対的な差別化レベルを差別化することができる。

画像捕捉装置６は、対応する画像とその差別化レベルと共に感情カテゴリを示す個人的感情タグとを、画像メタデータの一部として場面画像を含む画像ファイル内に格納する（ステップ１８６）。或いは、差別化レベルと共に感情カテゴリを示す個人的感情タグは、ユーザ識別データ及び画像識別子に関連する別個のファイルに格納され得る。加えて、ユーザが画像を見る日付（捕捉されてすぐの）についての情報も、別項目として個人的感情タグに記録され得る。

他の実施例では、生の顔画像が、画像識別子及びユーザ識別子と共に画像捕捉装置６における別個のファイル内に又は画像メタデータとして個人的感情タグ内に感情情報として格納され、その分析は後に選択的に別のシステムで行なわれる。例えば、場面画像及び生の顔画像は、無線モデム１８（図１）及びインターネットサービスプロバイダ２０により、ステップ１７４−１７８に関連する説明済みの分析を実行し得る別個のデスクトップコンピュータ（図示せず）又はコンピュータサーバ（図示せず）と通信され得る。

対応する画像、個人的感情タグ及び他の画像メタデータは、通信モジュール１８を利用してインターネットサービスプロバイダ２０に、ディジタル画像の個人的データベースに送信される（ステップ１８８）。画像に関するこの個人的データベースは、例えば別個このデスクトップコンピュータ（図示せず）又はコンピュータサーバ（図示せず）を利用して格納することができる。

図示されている例では、取得した差別化のレベルが閾値を下回る場合には、そのユーザの顔画像は消去される（ステップ１８２）。取得した差別化レベルが閾値を下回る場合であって、ユーザ２が例えばプレビュースクリーン２２等で同じ捕捉画像を依然として眺めている場合には、画像捕捉装置６は選択的に次の顔画像を捕捉し、ステップ１７２乃至１８０を反復し、ユーザ２がその同一場面を又はプレビュースクリーン２２で捕捉画像を眺める間にユーザ２がその表情を変えたか否かを判別する。

閾値が０に設定されていたならば、画像捕捉装置６により記録される総ての場面画像及び対応する感情情報（差別化のレベルを有する感情カテゴリ、又は他の例では生の顔画像）は、画像識別データ及びユーザ識別子と共に画像捕捉装置６における別個のファイル内に又は画像メタデータの一部として個人的感情タグ内に感情情報として永続的に格納される。

画像捕捉装置６は、ユーザ２が画像捕捉装置６の電源投入を維持する限り、捕捉モジュール８を利用して場面４の画像を及びユーザのビデオカメラ１０を利用してユーザ２の顔画像を記録し続ける。ステップ１６８では、電源が落とされた場合に、画像捕捉装置６はその場面の画像及び顔画像の記録を停止し、感情タグ付けのプロセスを終了する。

ユーザ２が電源投入を維持する場合には、その場面の次の画像を捕捉し（ステップ１６０−１６６）、それと同時に捕捉した画像についての個人的感情タグを判別及び格納するプロセス（ステップ１７０−１８６）が反復される。

その開示内容が本願の参考に供せられる、２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザにとって情的に大切な又は好みの画像として系統的且つ継続的な手法で画像をランク付けするために、ディジタル画像処理システム内で感情カテゴリ及びその差別化の程度が使用され得る。

他の実施例では、差別化の度合いなしに、場面の画像に関する感情カテゴリのみが決定され得る。感情カテゴリが検出されると（ステップ１７４）、対応する画像が指定された感情によって分類される。しかしながら、２つ又はそれ以上の感情カテゴリが、ステップ１７６で計算された同様な数値を有する場合には、中間的な又はニュートラルなカテゴリが割り当てられ得る。

感情カテゴリの観点から決定された感情情報は、画像メタデータの一部としてユーザ識別データを示す個人的感情タグとして格納される。また、それは、画像識別子及びユーザ識別データと共にディジタル格納装置１２における別ファイルに格納され得る。加えて、ユーザの表情の実際の画像に関する感情情報も、画像識別子及びユーザ識別データに関連付けて別ファイルに格納され得る。

以前に説明した実施例では、感情情報はユーザ２の顔の特徴から抽出されていた。図４ａ，４ｂは本発明の別の実施例を示すフローチャートであり、感情情報は、生理学的特徴、即ち眼凝視情報（ｅｙｅｇａｚｅｉｎｆｏｒｍａｔｉｏｎ）に基づく関心の度合いによって得られる。この例では、関心の度合いは目の凝視固定時間に基づいて決定され、その時間は、別の場所で凝視する前に、その場面の特定の場所でユーザ２の目が止まっている時間である。

Ｌａｎｇｅｔａｌ．，“ＬｏｏｋｉｎｇａｔＰｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ，Ｆａｃｉａｌ，Ｖｉｓｃｅｒａｌ，ａｎｄＢｅｈａｖｉｏｒａｌＲｅａｃｔｉｏｎｓ”，Ｐｓｙｃｈｏｐｈｉｓｉｏｌｏｇｙ，Ｖｏｌ．３０，ｐｐ．２６１−２７３の論文に記載されているデータは、平均的に、眺めている時間は関心の度合い又は観察者に引き起こされる画像への注目度に線形に関連することを示す。従って、そのような関連性により、その場面の領域にユーザの関心が向いている度合いとして、凝視時間を解釈することが可能である。引用されているラング等による公知文献では、単に場面の第三者画像について、眺めている時間を関心の度合いと比較している。本発明では、凝視時間は、場面についてだけでなく場面の当事者画像（ｆｉｒｓｔｐａｒｔｙｉｍａｇｅ）についても直接的に評価され、画像メタデータの一部として個人的感情タグ内に又はユーザ識別子及び画像識別子に関連する別ファイル内に格納される。

図４ａ，４ｂの実施例では、方法手順２１０−２２８は、概して図２の方法手順１１０−１２８に相当するが、ステップ２１８にてユーザが「凝視時間（ｆｉｘａｔｉｏｎｔｉｍｅ）」信号を選択する点で唯一相違する。或いは、画像捕捉装置６は「凝視時間」情報を捕捉するように事前にプログラムされ得る。

本実施例では、画像構成、捕捉、途中の捕捉後の再検討の何れかの際にユーザが場面を眺めるときに、画像捕捉装置６内のユーザビデオカメラ１０は、３０秒の時間枠のようなある時間枠の中で目の画像サンプルを取得する（ステップ２３０）。

ユーザの目の凝視方向の座標は、６０Ｈｚのサンプリングレートのようなあるサンプリングレートで格納される（ステップ２３２）。ある実施例では、サンプリングレートはユーザ２によって修正され得る。また、場面内容の時間変化率による目凝視の変化率や、感情データを格納するのに利用可能なメモリ容量等のような他の要因に基づいて、サンプリングレートが修正され得る。

生の（未処理の）凝視座標は、目の凝視位置にグループ化される（ステップ２３４）。目の凝視位置は、通常的には凝視座標が見る角度で１度以上変化しない間の少なくとも５０秒の期間として定められる。各凝視位置について、開始時間、終了時間及び凝視座標が判定される。加えて、平均的な瞳孔直径が各凝視位置について決定され得る。目の凝視時間はそれらの開始及び終了時間に基づいて測定される（ステップ２３６）。

画像捕捉装置６は目の凝視位置各々についての関心の度合いを判別する（ステップ２３８）。関心の度合いの絶対的な大きさは、対応する凝視時間として定められる。関心の度合いの相対的な大きさは、その凝視時間を、特定のユーザに対する平均的な凝視時間で除算したものとして定められる。平均的な凝視時間は、継続的に更新され、ユーザ２の個人的ユーザプロファイルの一部としてディジタル格納装置１２に格納される。個人的ユーザプロファイルは、ユーザ２に対する平均的凝視時間に関して問い合わせを受け更新される（ステップ２３９）。

取得した関心の度合いは、そのユーザのために設定された閾値と比較される（ステップ２４０）。取得した関心の度合いが閾値を上回る場合には、画像捕捉装置６は関心の度合いを示す個人的感情タグを作成する（ステップ２４４）。或いは、関心の度合いに関する閾値は、例えば、ユーザ２に関するユーザの関心の度合い分布による従前の累積確率に基づいて、個人的ユーザプロファイルから自動的に設定され得る。そのような確率が０．５に等しいならば、関心の度合いに関するその閾値は、少なくとも５０％の場合に生じる値に相当する。

一実施例では、画像捕捉装置６は、対応する画像及び関心の度合いを画像メタデータの一部として個人的感情タグに格納する（ステップ２４６）。或いは、関心の度合いは、ユーザ識別子及び画像識別子に関する別ファイルに格納され得る。これが行なわれる場合には、データは、個人的感情情報を有するファイルの場所を示す画像メタデータ内に格納される。加えて、ユーザがある場面を見る日付についての情報も、別項目として個人的感情タグに記録され得る。

他の実施例では、その場面画像及び目に関する生の情報が格納される。生の目の情報は、ＣＰＵ１４により又は格納された画像を受信する別装置（図示せず）内のプロセッサにより後に分析され得る。

対応する画像、個人的感情タグ及び他の画像メタデータは、ステップ１４８に関して以前に説明したように、ディジタル画像の個人的データベースに送信される（ステップ２４８）。

取得した関心の度合いが閾値を下回る場合には、対応する目の情報は消去される（ステップ２４２）。取得した関心の度合いが閾値を下回る場合であってユーザ２が例えばプレビュースクリーン２２等で同じ場面又は同じ場面の捕捉画像を依然として眺めている場合には、画像捕捉装置６は、目の画像の別のセグメントを選択的に捕捉し、ユーザ２が同じ場面又は同じ場面の捕捉画像を眺めている場合にステップ２３２乃至２４０を反復する。

閾値が０に設定されているならば、画像捕捉装置６により記録される総ての場面及び対応する感情情報（関心の度合い、又は他の例では生の目の画像）が、画像識別子及びユーザ識別子と共に画像捕捉装置６内の別個のファイル内に又は画像メタデータの一部として個人的感情タグ内に感情情報として格納される。

画像捕捉装置６は、ユーザ２が画像捕捉装置６の電源を投入している限り、捕捉モジュール８を利用して場面４の画像を、及びユーザビデオカメラ１０を利用してユーザ２の顔画像を記録し続ける。ステップ１６８では、電源が落とされると、画像捕捉装置６は、その場面の画像及び顔画像の記録を停止し、感情タグ付けのプロセスを終了する。

ユーザが電源投入を維持する場合には、その場面の次の画像を捕捉し（ステップ２２０−２２６）、それと同時に捕捉した画像に個人的感情タグを決定及び格納するプロセス（ステップ２３０−２４６）が反復される。

２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザにとって好ましい又は高い価値がある画像として系統的且つ継続的な手法で画像をランク付けするために、ディジタル画像処理システム内で関心の度合いが使用され得る。

他の実施例では、ユーザカメラ１０及び中央処理装置１４は、ユーザの目（又は両目）の画像から付加的な情報を取得するために使用される。そのような情報の例は、限定するわけではないが、眼球速度、涙の分泌（ｔｅａｒｆｏｒｍａｔｉｏｎ）、目の温度、虹彩又はアイリスパターン、血管パターン、及び血管サイズ等を含む。この情報は、ユーザの身元、感情の状態及び／又は健康状態を判別するために使用され得る。この情報は感情タグの一部として格納され得る。

感情情報の他の情報元又はソースは、ユーザ２により発せられる生理学的信号に由来するものである。図５は、感情情報が生理学的信号から判別される本発明の実施例を示す。本実施例では、生理学的信号は皮膚伝導率であり、その皮膚伝導率から導出される感情情報は興奮（ｅｘｃｉｔｅｍｅｎｔ）の度合いにより表現される。

皮膚伝導度変化は電気的な皮膚応答で測定される。皮膚伝導率は、場面又はその場面の画像を眺めるようなある出来事に対する応答として測定される皮膚の電気的伝導率の大きさの変化を反映する。Ｌａｎｇｅｔａｌ．，“ＬｏｏｋｉｎｇａｔＰｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ，Ｆａｃｉａｌ，Ｖｉｓｃｅｒａｌ，ａｎｄＢｅｈａｖｉｏｒａｌＲｅａｃｔｉｏｎｓ”，Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ，Ｖｏｌ．３０，ｐｐ．２６１−２７３，１９９３に記載されているように、皮膚伝導度変化は、その画像が眺めている人に喚起させる興奮度（ａｒｏｕｓａｌ）に依存し：その伝導度が高ければ高いほど、感情の高ぶり又は興奮度は低くなる、又はその逆であり：伝導度が低ければ低いほど感情の高ぶりは高くなる。また、皮膚伝導度応答の振幅測定は、関心度又は注目度を判定するためにも使用される。

本実施例では、方法手順３１０−３２８は、概して図２の方法手順１１０−１２８に相当するが、ステップ３１８にてユーザ２が、少なくとも感情情報の一部として電気的な皮膚応答情報を捕捉するように画像捕捉装置６に手動で命令できる点で唯一相違する。或いは、画像捕捉装置６は電気的皮膚応答情報を捕捉するように事前にプログラムされ得る。画像捕捉装置６は、電気的皮膚応答センサ１６を用いて、例えば５秒間の時間枠のようなある時間枠内で電気的皮膚応答を測定する（ステップ３３０）。別の実施例では、その時間枠はユーザ２によって修正され得る。電気的皮膚応答センサ１６の一例は、例えば、アメリカ合衆国ニューヨーク州ウエストチャジーのソートテクノロジにより販売されているプロコンプ（ＰｒｏＣｏｍｐ）検出システムによるＳＣ−フレックス／プロ（ＳＣ−Ｆｌｅｘ／Ｐｒｏ）センサであり得る。

電気的皮膚応答による皮膚伝導度信号は、例えば６０Ｈｚのサンプリングレートのようなあるサンプリングレートで格納される（ステップ３３２）。ある実施例では、サンプリングレートは、場面内容の時間変化率、電気的皮膚応答の時間的変化率、又は感情データを格納するのに利用可能なメモリ容量等のような他の要因に基づいて修正され得る。電気的皮膚応答の伝導度信号は、データ内のノイズを減らすために濾波又はフィルタ処理される（ステップ３３４）。電気的皮膚応答の伝導度信号の振幅は、その後に決定される（ステップ３３６）。

画像捕捉装置６は、電気的皮膚応答信号に基づいて興奮度合いを判別する（ステップ３３８）。その場面に関する興奮度合いの絶対的な大きさは、フィルタ処理された電気的皮膚応答の皮膚伝導度信号の振幅と等価である。興奮度の相対的な大きさは、電気的皮膚応答信号の振幅を、その特定のユーザに対する平均的な電気的皮膚応答信号で除算したものとして定められる。平均的な皮膚伝導度は、継続的に更新され、ユーザの生理学的プロファイルの一部としてディジタル格納装置１２に格納される。相対的な興奮度合いを算出するために平均的な皮膚伝導度応答情報は、個人的ユーザプロファイルから抽出される。個人的ユーザプロファイルは、皮膚伝導度応答情報に関して更新される（ステップ３３９）。

取得した興奮度合いは、そのユーザのために設定された閾値と比較される（ステップ３４０）。取得した興奮度合いが閾値を上回る場合には、画像捕捉装置６は興奮度合いを示す個人的感情タグを作成する（ステップ３４４）。他の実施例では、興奮度合いに関する閾値は、例えば、ユーザの興奮度合いに関する従前の累積確率に基づいて、個人的ユーザプロファイルから自動的に設定され得る。そのような確率が０．５に等しいならば、興奮度合いに関するその閾値は、少なくとも５０％の場合に生じる値に相当する。或いは、個人的感情タグは、ある範囲内の感情高まり値の中から選択された値を含み、捕捉した様々な画像の中で相対的な興奮度の差別化を可能にする。

画像捕捉装置６は、対応する場面画像及び興奮度合いを画像メタデータの一部として個人的感情タグに格納する（ステップ３４４及び３４６）。或いは、興奮度合いは、ユーザ識別子及び画像識別子に関する別ファイルに格納され得る。加えて、ユーザがある場面を見る日付についての情報も、別項目として個人的感情タグに記録され得る。

他の実施例では、生の電気的皮膚応答信号が、画像識別子及びユーザ識別データと共に画像捕捉装置６における別ファイル内に、又は画像メタデータの一部として個人的感情タグ内に感情情報として格納される。

対応する画像、個人的感情タグ及び他の画像メタデータは、ステップ１４８に関して以前に説明したように、ディジタル画像の個人的データベースに送信される（ステップ３４８）。

ステップ３４２では、取得した興奮度合いが閾値を下回る場合には、対応する皮膚伝導度信号は消去される。取得した興奮度合いが閾値を下回る場合であってユーザ２が例えばプレビュースクリーン２２等で同じ場面又は同じ場面の捕捉画像を依然として眺めている場合には、画像捕捉装置６は、皮膚伝導度信号の次のセグメントを５秒間選択的に測定し、ユーザ２が同じ場面又は同じ場面の捕捉画像を眺めている場合にステップ３３２乃至３４０を反復する。

閾値が０に設定されているならば、画像捕捉装置６により記録される総ての場面及び対応する感情情報が格納される。個人的ユーザプロファイルはその後に更新される（ステップ３３９）。

上述したように、２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザにとって好ましい、重要な又は感情の高まる画像として系統的且つ継続的な手法で画像をランク付けするために、ディジタル画像処理システム内で興奮度合いが使用され得る。

各ユーザ２は、ある画像について別々の生理学的及び表情反応を有することが、理解されるであろう。あるユーザは、控えめな表情反応しか示さないが強い生理学的応答を示す場合がある。別のユーザでは、強い表情反応を示すが弱い生理学的反応を示す場合もある。更に別のユーザは、控えめな生理学的及び表情反応を示す場合もある。従って、様々な種別の感情情報を結合させることで、その場面に対するユーザ２の感情応答に対するより牢堅な又はロバストな（ｒｏｂｕｓｔ）表現を得ることが可能である。以下の実施例は、感情情報の解釈を支援するために、生理学的及び表情応答情報の組み合わせを利用して感情情報を解釈する方法を示す。

図６ａ，６ｂを参照するに、図２−４に関して説明した３つの感情信号、即ち趣向の度合い、関心の度合い、及び興奮の度合いの組み合わせに基づく感情情報を与える、本発明の別の実施例を示すフローチャートが示され、それらの信号は肯定的重要性（ｐｏｓｉｔｉｖｅｉｍｐｏｒｔａｎｃｅ）の総合的測定値を得るために更に結合される。

本実施例では、方法手順４１０−４２８は、概して図２の方法手順１１０−１２８に相当するが、ステップ４１８において、ユーザが「結合された」信号の利用を選択する点又は画像捕捉装置６が「結合された」信号を利用することを事前にプログラムされる点で唯一相違する。

画像捕捉装置６は、図２のステップ１３０−１３９に関して説明済みの表情に基づいて趣向の度合い（ＤＰ）を判別する（ステップ４３０及び４３２）。また、画像捕捉装置６は、図３のステップ２３０−２３９と同じ方法で凝視時間に基づく関心の度合い（ＤＩ）をも判別する（ステップ４３４−４３６）。画像捕捉装置６は、更に、図５のステップ３３０−３３９と同じ方法で皮膚伝導度に基づく興奮度合い（ＤＥ）を判別する（ステップ４３８−４４０）。

画像捕捉装置６は、３つの測定値の和に基づいて肯定的な重要度（又は好み）を決定する：
肯定的重要度＝ＤＰ＋ＤＩ＋ＤＥ
他の実施例では、肯定的重要度はこれら３つの測定値の重み付けされた和に基づいて決定され、それは
肯定的重要度＝ｗ_ＤＰＤＰ＋ｗ_ＤＩＤＩ＋ｗ_ＤＥＤＥ
であり、ここで重み又はウエイトｗ_ＤＰ，ｗ_ＤＩ，ｗ_ＤＥは、その特定のユーザに関して以前に取得した規格化された信号（最大値で除算したもの）各々における標準偏差に基づいて決定される。この場合に、その信号における標準偏差が高くなればなるほど、その信号の肯定的重要度測定値への寄与の重みも大きくなる。従って、所与の信号に関する標準偏差が小さければ小さいほど、対応する信号に関する肯定的重要度測定値への寄与の重みも小さくなる。この依存性の原因は、特定のユーザに関する特定の測定値の標準偏差は、様々な場面の中での個々の相違の度合いを反映しているという仮定に由来する。このことは、最高の標準偏差を有する信号は、より多くの識別力（差別化する力）を有し、それ故に特定のユーザに関する肯定的重要度の総合的測定値を決定又は考慮する際にはより重要であることを示唆する。

例えば、ユーザＡに関して、別々の場面が、非常に様々な表情と皮膚伝導度応答の小さな変化とを引き起こす場合に、表情に基づく趣向の度合いの測定値（ＤＰ）に与えられる重みｗ_ＤＰは、皮膚伝導度に基づく興奮度合いの測定値（ＤＥ）に与えられる重みｗ_ＤＥよりも高くなる。一方、ユーザＢに関して、異なる場面が、表情に関する小さな変化と皮膚伝導度応答における大きな変化とを引き起こす場合には、重みに関する関係は逆転する。関連する信号の最大値及び標準偏差に関するデータは、ステップ４４３にて個人的ユーザプロファイルから取得され得る。個人的ユーザプロファイルはその後にこの情報に関して更新される。

取得した肯定的重要度は閾値と比較される（ステップ４４４）。閾値は事前に決定され得る。また、閾値はユーザ２により設定され又はユーザ２のために設定されているようにすることができる。取得した肯定的重要度が閾値を上回る場合には、画像捕捉装置６は、肯定的重要度を示す個人的感情タグを作成する（ステップ４４８）。他の実施例では、閾値は、例えば肯定的重要分布の以前の累積確率に基づいて、個人的ユーザプロファイルから自動的に決定され得る。そのような閾値は、以前の確率０．５を有する肯定的重要度に対応するものとして選択され得る。

画像捕捉装置６は、対応する場面画像及び肯定的重要度を画像メタデータの一部として個人的感情タグに格納する（ステップ４５０）。或いは、肯定的重要度は、ユーザ識別データ及びユーザ識別子に関連する別ファイルに格納され得る。加えて、ユーザがある画像を見る日付についての情報も、別項目として個人的感情タグに記録され得る。

対応する画像、個人的感情タグ及び他の画像メタデータは、図２のステップ１４８に関連して説明したように、ディジタル画像の個人的データベースに送信される（ステップ４５２）。

取得した肯定的重要度が閾値を下回る場合には、顔画像、目の画像及び皮膚伝導度信号の対応するセグメントは消去される（ステップ４４６）。

取得した肯定的重要度が閾値を下回る場合であって、ユーザ２が例えばプレビュースクリーン２２にて同じ場面又は同じ場面の捕捉画像を依然として眺めている場合には、画像捕捉装置６は、顔画像、目の画像及び皮膚伝導度信号の次のセグメントを選択的に測定し、ユーザ２が同じ場面又は同じ場面の捕捉画像を見ている場合に、ステップ４３２乃至４４４を反復する。

閾値が０に設定されているならば、画像捕捉装置６に記録される総ての場面及び対応する感情情報（肯定的重要度、又は他の例では生の顔画像、目の画像、及び電気的皮膚応答信号）が、格納されることになる。

上述したように、２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザにとって好ましい、重要な又は感情の高まる画像として系統的且つ継続的な手法で画像をランク付けするために、ディジタル画像処理システム内で肯定的重要度が使用され得る。

他の実施例では、表情、目の特徴及び生理学的反応の他の組み合わせが、個人的感情タグを生成するために使用され、「喜び」、「恐怖」、「怒り」等のような広範囲にわたる感情カテゴリに従って場面を分類することが可能である。そのような分類例が表１に示される。

表１：表情、目の特徴及び生理学的反応の組み合わせに基づく感情分類

画像は、非常に喜ばしい、いくらか喜ばしい、それほどでもない、いくらか悲しい、非常に悲しい等のようなそれらのカテゴリのある範囲内の値を利用して更に分類され得る。

感情カテゴリの観点から判別した感情情報は、画像メタデータの一部としてユーザ識別子を含む個人的感情タグとして格納される。また、それは画像識別子及びユーザ識別子と共にコンピュータにおける別ファイルに格納され得る。

図７を参照するに、感情情報を判別するために生理学的及び顔の分析が組み合わせて使用される本発明の別の実施例によるフローチャートが示される。本実施例では、画像に対するユーザの応答についての感情情報は、図２−５に関して説明した４つの感情信号、即ち趣向の度合い、差別化の度合い、関心の度合い、及び興奮の度合いの組み合わせに基づいており、それらの信号は重要性の総合的測定値を得るために更に結合される。本実施例は、図１ｃに示されるような着用可能な画像捕捉装置６のような例に適している。

本実施例では、方法手順５１０−５２８は、概して図６の方法手順４１０−４２８に相当するが、ユーザが「結合された差別化」信号の利用を選択すること又は画像捕捉装置６が「結合された差別化」信号を利用することを事前にプログラムされることの２点でのみ相違する。

画像捕捉装置６は、図３のステップ１７０−１７９に関して説明済みの差別化の度合い（ＤＤ）を判別する（ステップ５３０及び５３３）。

画像捕捉装置６は、重要度（又は感情応答の大きさ）を決定する。本実施例では、重要度の測定値は、４つの測定値の和に基づいている：
重要度＝ＤＰ＋ＤＤ＋ＤＩ＋ＤＥ
重要度＝ｗ_ＤＰＤＰ＋ｗ_ＤＤＤＤ＋ｗ_ＤＩＤＩ＋ｗ_ＤＥＤＥ
であり、ここで重みｗ_ＤＰ，ｗ_ＤＤ，ｗ_ＤＩ，ｗ_ＤＥは、その特定のユーザに関して以前に取得した規格化された信号（最大値で除算したもの）各々における標準偏差に基づいて決定される。この場合に、その信号における標準偏差が高くなればなるほど、その信号の重要度測定値への寄与の重みも大きくなる。従って、所与の信号に関する標準偏差が小さければ小さいほど、対応する信号に関する重要度測定値への寄与の重みも小さくなる。この依存性の原因は、特定のユーザに関する特定の測定値の標準偏差は、様々な場面の中での個々の相違の度合いを反映しているという仮定に由来する。このことは、最高の標準偏差を有する信号は、より多くの識別力（差別化する力）を有し、それ故に特定のユーザに関する重要度の総合的測定値を決定又は考慮する際にはより重要であることを示唆する。

例えば、ユーザＡに関して、別々の場面が、非常に大きな表情変化と皮膚伝導度応答の小さな変化とを引き起こす場合に、表情に基づく趣向の度合いの測定値（ＤＰ）に与えられる重みｗ_ＤＰは、皮膚伝導度に基づく興奮度合いの測定値（ＤＥ）に与えられる重みｗ_ＤＥよりも高くなる。一方、ユーザＢに関して、異なる場面が、表情に関する小さな変化と皮膚伝導度応答における大きな変化とを引き起こす場合には、重みに関する関係は逆転する。関連する信号の最大値及び標準偏差に関するデータは、個人的ユーザプロファイルから取得され得る。個人的ユーザプロファイルはその後にこの情報に関して更新される（ステップ５４３）。

取得した重要度は閾値と比較される（ステップ５４４）。この閾値は事前に決定され得る。また、閾値はユーザ２により設定され又はユーザ２のために設定されているようにすることができる。取得した重要度が閾値を上回る場合には、画像捕捉装置６は、重要度を示す個人的感情タグを作成する（ステップ５４８）。他の実施例では、閾値は、例えば重要分布の以前の累積確率に基づいて、個人的ユーザプロファイルから自動的に決定され得る。そのような閾値は、以前の確率０．５を有する肯定的重要度に対応するものとして選択され得る。

画像捕捉装置６は、対応する場面画像及び重要度を画像メタデータの一部として個人的感情タグに格納する（ステップ５５０）。或いは、重要度は、ユーザ識別子及び画像識別子に関連する別ファイルに格納され得る。加えて、ユーザ２がある画像を見る日付についての情報も、別項目として個人的感情タグに記録され得る。

対応する画像、個人的感情タグ及び他の画像メタデータは、図２のステップ１５２に関連して説明したように、ディジタル画像の個人的データベースに送信される（ステップ５５２）。

取得した重要度が閾値を下回る場合には、顔画像、目の画像及び皮膚伝導度信号の対応するセグメントは消去される（ステップ５４０）。他の実施例では、取得した重要度が閾値を下回る場合であって、ユーザ２が例えばプレビュースクリーン２２にて同じ場面又は同じ場面の捕捉画像を依然として眺めている場合には、画像捕捉装置６は、顔画像、目の画像及び皮膚伝導度信号の次のセグメントを選択的に測定し、ユーザ２が同じ場面又は同じ場面の捕捉画像を見ている場合に、ステップ５３２乃至５４４を反復する。

閾値が０に設定されているならば、画像捕捉装置６に記録される総ての場面及び対応する感情情報（重要度、又は他の例では生の顔画像、目の画像、及び電気的皮膚応答信号）が、格納されることになる。

他の実施例では、これら３つ又は他の感情信号（声、ＥＥＧ、頭脳スキャン、眼球運動その他のような信号）の異なる組み合わせを利用して、個人的感情タグを作成し、広範囲にわたる感情カテゴリに従って場面を分類することができる。更に、場所情報、画像分析、カレンダ（暦）及びスケジュール情報、時間及び日付情報のような非感情情報を利用して、画像に付随する重要度のような感情情報を一層良好に判別することの支援が可能になる。

上述したように、２００１年１２月２６日に出願された、マトラゼック等（Ｍａｔｒａｓｚｅｋｅｔａｌ．）による“ＭｅｔｈｏｄｆｏｒＣｒｅａｔｉｎｇａｎｄＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎｉｎａＤｉｇｉｔａｌＩｍａｇｉｎｇＳｙｓｔｅｍ”と題する米国特許出願番号第１０／０３６，１１３号、及び２００１年１２月２６日に出願されたマトラゼック等による“ＭｅｔｈｏｄｆｏｒＵｓｉｎｇＡｆｆｅｃｔｉｖｅＩｎｆｏｒｍａｔｉｏｎＲｅｃｏｒｄｅｄＷｉｔｈＤｉｇｉｔａｌＩｍａｇｅｓｆｏｒＰｒｏｄｕｃｉｎｇａｎＡｌｂｕｍＰａｇｅ”と題する米国特許出願番号第１０／０３６，１２３号に記載されているように、特定のユーザにとって好ましい、重要な又は感情の高まる画像として系統的且つ継続的な手法で画像をランク付けするために、ディジタル画像処理システム内で重要度が使用され得る。また、重要度は、画像圧縮、分解及び格納についての判別を行なうために画像捕捉装置６内でも使用され得る。画像捕捉装置内で個人感情タグを形成及び使用するコンピュータプログラムは、１つ又はそれ以上の格納媒体に記録されることが可能であり、その媒体は例えば、本発明による方法を実行するための命令を有するコンピュータプログラムを格納するのに使用される；（フロッピディスクのような）磁気ディスク又は磁気テープのような磁気格納媒体；光ディスク、光テープ又は機械読み取り可能なバーコードのような光格納媒体；ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）のようなソリッドステート電子格納装置；その他の物理的装置又は媒体である。

また、個人的感情タグは、相対的な重要度を示す情報をも包含し得る。上述したように、相対的な重要度は、感情情報のみに基づいて判別され得る。或いは、感情に関係する及び感情に関係しない情報（非感情情報）が、相対的な重要度を決定するために組み合わせて使用され得る。非感情情報の例は、日付及び時間情報、グローバルポジショニングシステム（ＧＰＳ）や同様な電子的位置測定器から利用可能であるような位置情報を包含する。画像自身の画像分析も、相対的な重要度に影響し得る感情に関係しない情報源として使用され得る。例えば、場面内の特定の事物の存在は、既存の画像処理及び画像認識アルゴリズムで容易に見分けられ得る。そのようなアルゴリズム例は、ルオ等（Ｌｕｏｅｔａｌ．）により１９９８年１２月３１日付出願の米国特許第６，２８２，３１７号（Ｂ１）に開示されており、その内容は本願の参考に供せられ、それは、肌、顔、空、草等を、色、背景、輝度等に関連する「構造的」特徴と共に意味のある特徴として識別し、簡単なマップを生成するためにそれらの特徴を結合することによって、写真画像内の主要事物の自動判定方法を開示している。

その開示内容が本願の参考に供せられる、ルオ等により２０００年１２月１４日に出願され“ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＭｅｔｈｏｄｆｏｒＤｅｔｅｃｔｉｎｇＨｕｍａｎＦｉｇｕｒｅｓｉｎＤｉｇｉｔａｌＩｍａｇｅ”と題する米国特許出願番号第２００２／００７６１００号（Ａ１）に開示されている他の画像処理技術は、ディジタルカラー画像内で人物を検出することを可能にする。アルゴリズムは、先ず、一様な色彩又は模様（テクスチャ）の重複しない領域に画像をセグメント化し、人体の肌の色の候補領域及び人物の顔の候補領域を以後に検出し；顔の候補領域の各々について、人物に関する所定のグラフィックスモデルに従って、人物の肌の色の領域に優先度を与えながら、顔領域近辺に領域をグループ化することによって人物を構成する。Ｌｉｕｅｔａｌ．，“ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇＫｅｒｎｅｌＢａｓｅｄＦｉｓｈｅｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ｐｐ．０１９７−０２０１，２００２に記載されるような顔認識アルゴリズムを用いて判別される、場面に内の人々又は特定の人々の存在は、相対的な重要度を増進するために使用され得る。また、ルオ等により２０００年８月１８日に出願され“ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍａｎｄＭｅｔｈｏｄｆｏｒＥｍｐｈａｓｉｚｅａＭａｉｎＳｕｂｊｅｃｔｏｆａｎＩｍａｇｅ”と題する米国特許出願番号第０９／６４２，５３３号に記載されるように、それは、品質を向上させ主要な事物を強調するために画像を選択的に処理するために使用され、及び見分けられた人々と共にこの画像を共有し、又はセキュリティに関してその画像を業者に送信するために使用され得る。

上述した実施例では、画像及び画像捕捉システムは、ディジタル画像及びディジタル画像捕捉システムであるとして説明されてきた。本発明の原理を考察するに、場面の画像は、アナログ電子形式で又は写真フィルム若しくはプレートのような光媒体で捕捉されることも可能である。これら何れかの形式で画像が捕捉される場合に、感情情報を表現するデータは、情報が関連付けられるべき画像を示す何らかの識別コードと共に、感情情報を画像とは別々に記録することによって画像に関連付けて記録され得る。或いは、感情情報はアナログ電子画像に関連してエンコード及び記録され得る。写真フィルム又はプレートが使用される場合には、感情情報はそのフィルム又はプレートにて光学的に又は磁気的に記録され得る。また、感情情報はそのフィルム又はプレートに関連する電子メモリにも記録され得る。

本発明によれば、感情情報は捕捉時又は捕捉中に捕捉されるものとして説明された。ここに使用されるように、これらの用語は、画像が構成される又は捕捉される任意の時間を包含する。また、そのような時間は、例えば捕捉した画像が満足のゆくものかを撮影者が確認する場合のような捕捉時点直後の期間をも包含する。

本発明は、ある特定の好適実施例を参照しながら詳細に説明されたが、本発明の精神及び範囲内で変形及び修正が可能であることは、理解されるであろう。

本発明による携帯用の画像捕捉システムの例を示す図である。本発明による装着可能な画像捕捉システムの例を示す図である。感情情報を形成するための本発明による装着可能な画像捕捉システムの別の例を示す図である。感情情報の提供が表情分析に準拠する本発明の一実施例を示すフローチャートである。感情情報の提供が表情分析に準拠する本発明の一実施例を示すフローチャートである。感情情報が表情分析に準拠して与えられる本発明の一実施例を示すフローチャートである。感情情報が表情分析に準拠して与えられる本発明の一実施例を示すフローチャートである。感情情報が固定時間の分析に準拠して与えられる方法例を示すフローチャートである。感情情報が固定時間の分析に準拠して与えられる方法例を示すフローチャートである。感情情報が皮膚伝導率の分析に準拠して与えられる方法例を示すフローチャートである。感情情報が皮膚伝導率の分析に準拠して与えられる方法例を示すフローチャートである。感情情報が顔の特徴及び生理学的特徴の総合的な分析に準拠して与えられる方法例を示すフローチャートである。感情情報が顔の特徴及び生理学的特徴の総合的な分析に準拠して与えられる方法例を示すフローチャートである。感情情報が顔の特徴及び生理学的特徴の総合的な分析に準拠して与えられる別の方法例を示すフローチャートである。感情情報が顔の特徴及び生理学的特徴の総合的な分析に準拠して与えられる別の方法例を示すフローチャートである。

符号の説明

２ユーザ
４場面
６画像捕捉装置
８捕捉モジュール
１０ユーザビデオカメラ
１２ディジタル格納装置
１３手動制御要素
１４中央処理要素
１５センサ
１６電気的皮膚応答センサ
１７血管センサ
１８通信モジュール
１９振動センサ
２０インターネットサービスプロバイダ
２２プレビュースクリーン
２４ビューファインダ
２６ブリッジ
２８レンズフレーム
２９側面側
１１０画像捕捉装置起動ステップ
１１２アプリケーション開始ステップ
１１４ユーザ識別データ入力ステップ
１１６感情反応判別ステップ
１１８所望信号選択ステップ
１２０場面画像捕捉ステップ
１２２場面画像格納ステップ
１２４電源投入検出ステップ
１２６捕捉継続ステップ
１２８電源遮断ステップ
１３０顔画像捕捉ステップ
１３２顔画像格納ステップ
１３４顔画像分析ステップ
１３６微笑みレベル判別ステップ
１３８趣向レベル判別ステップ
１３９個人的ユーザプロファイル更新ステップ
１４０閾値との比較ステップ
１４２顔画像消去ステップ
１４４個人的感情タグ作成ステップ
１４６画像及び感情タグ格納ステップ
１４８画像及び感情タグ送信ステップ
１５０画像捕捉装置起動ステップ
１５２アプリケーション開始ステップ
１５４ユーザ識別内容入力ステップ
１５６感情反応判別ステップ
１５８所望信号選択ステップ
１６０場面画像捕捉ステップ
１６２場面画像格納ステップ
１６４電源投入検出ステップ
１６６捕捉継続ステップ
１６８電源遮断ステップ
１７０顔画像捕捉ステップ
１７２顔画像格納ステップ
１７４表情分析ステップ
１７６感情カテゴリ判別ステップ
１７８差別化レベル判別ステップ
１７９個人的ユーザプロファイル更新ステップ
１８０差別化レベルの閾値との比較ステップ
１８２画像消去ステップ
１８４個人的感情タグ作成ステップ
１８６画像格納ステップ
１８８画像及び感情情報送信ステップ
２１０画像捕捉装置起動ステップ
２１２アプリケーション開始ステップ
２１４個人情報入力ステップ
２１６感情反応判別ステップ
２１８目凝視情報選択ステップ
２２０場面画像捕捉ステップ
２２２場面画像格納ステップ
２２４電源投入検出ステップ
２２６捕捉継続ステップ
２２８電源遮断ステップ
２３０目凝視画像サンプル捕捉ステップ
２３２目凝視座標格納ステップ
２３４凝視判別ステップ
２３６凝視時間測定ステップ
２３８凝視時間による関心度判別ステップ
２３９個人的ユーザプロファイル更新ステップ
２４０閾値との比較ステップ
２４２画像消去ステップ
２４４個人的感情タグ作成ステップ
２４６画像及び感情タグ格納ステップ
２４８画像及び感情タグ送信ステップ
３１０画像捕捉装置起動ステップ
３１２アプリケーション開始ステップ
３１４個人情報入力ステップ
３１６感情反応判別ステップ
３１８目凝視情報選択ステップ
３２０場面画像捕捉ステップ
３２２場面画像格納ステップ
３２４電源投入検出ステップ
３２６捕捉継続ステップ
３２８電源遮断ステップ
３３０電気的皮膚応答の第１セグメント捕捉ステップ
３３２皮膚伝導度格納ステップ
３３４電気的皮膚応答信号濾波ステップ
３３６電気的皮膚応答振幅測定ステップ
３３８興奮度判別ステップ
３３９個人的ユーザプロファイル更新ステップ
３４０閾値との比較ステップ
３４２次セグメント捕捉ステップ
３４４興奮度格納ステップ
３４６画像及び感情タグ格納ステップ
３４８画像及び感情タグ送信ステップ
４１０画像捕捉装置起動ステップ
４１２アプリケーション開始ステップ
４１４個人情報入力ステップ
４１６感情反応判別ステップ
４１８所望信号選択ステップ
４２０場面画像捕捉ステップ
４２２場面画像格納ステップ
４２４電源投入検出ステップ
４２６捕捉継続ステップ
４２８終了
４３０顔画像捕捉ステップ
４３２趣向の度合い判別ステップ
４３４目セグメント捕捉ステップ
４３６関心度判別ステップ
４３８皮膚伝導度信号セグメント捕捉ステップ
４４０興奮度判別ステップ
４４２重要度判別ステップ
４４３個人的ユーザプロファイル問合及び更新ステップ
４４４閾値との重要度比較ステップ
４４６画像消去ステップ
４４８感情タグ作成ステップ
４５０画像及び感情タグ格納ステップ
４５２データ送信ステップ
５１０画像捕捉装置起動ステップ
５１２アプリケーション開始ステップ
５１４個人情報入力ステップ
５１６感情反応判別ステップ
５１８所望信号選択ステップ
５２０場面画像捕捉ステップ
５２２場面画像格納ステップ
５２４終了
５２６捕捉継続ステップ
５２８電源遮断ステップ
５３０顔画像捕捉ステップ
５３２趣向の度合い判別ステップ
５３３差別化レベル判別ステップ
５３４目セグメント捕捉ステップ
５３６関心度判別ステップ
５３８皮膚伝導度信号セグメント捕捉ステップ
５４０興奮度判別ステップ
５４２重要度判別ステップ
５４３個人的ユーザプロファイル問合及び更新ステップ
５４４閾値との重要度比較ステップ
５４６顔の目及び電気的皮膚の消去ステップ
５４８感情タグ作成ステップ
５５０画像及び感情タグ格納ステップ
５５２画像送信ステップ

Claims

ある場面の画像を捕捉するステップ；
捕捉時に感情情報を収集するステップ；及び
感情情報を場面画像に関連付けるステップ；
より成ることを特徴とする画像処理方法。
写真撮影方法であって：
ある場面の画像を捕捉するステップ；
捕捉時に撮影者の画像を取得するステップ；
撮影者の画像の少なくとも部分的な解釈により感情情報を判別するステップ；及び
感情情報を場面画像に関連付けるステップ；
より成ることを特徴とする写真撮影方法。
ユーザにより選択される画像を捕捉するよう構成される画像捕捉システムと、画像を格納するメモリと、捕捉時にユーザから感情信号を取得するよう構成される一群のセンサと、捕捉した画像に感情情報を関連付けるよう構成されるプロセッサとを備えることを特徴とする画像処理システム。