JP2003233624A - デジタル画像化システムで情緒的な情報を生成及び使用する方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の目的は、反応に基づいて画像を分類
するために、画像に対するユーザの反応に関した情緒的
な情報を活用することである。 【解決手段】 複数の記憶されたデジタル画像から少な
くとも一つのデジタル画像を分類するために情緒的な情
報を提供することと；ユーザ識別子を提供することと；
少なくとも一つのデジタル画像に情緒的な情報及びユー
ザ識別子を関連させること、並びに少なくとも一つのデ
ジタル画像の検索を容易にするために情緒的な情報及び
ユーザ識別子を使用することを含有する記憶されたデジ
タル画像において検索スキームを提供するための方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像を検
索するシステムに関し、より詳細には情緒的な情報に基
づいたデジタル画像を検索するシステムに関する。

【０００２】

【従来の技術】デジタルカメラ若しくは走査された写真
フィルムのデジタル画像はホームコンピューターを用い
て見ることができ、保存でき、検索でき、印刷できる
か、又はここに参照として組み込まれている開示に記載
のように、見るためにウェブサイトにアップロードでき
る（例えば、特許文献１参照。）。ウェブブラウザを用
いて、かかるデジタル画像のグループは、例えばコダッ
クフォトネットサービスを用いて見ることができ、印刷
するために選択することができる。ユーザは生成される
各印刷の大きさを選択でき、各画像からなる印刷枚数を
選択できる。

【０００３】画像は、人、場所、目的又は出来事が描写
される論文にしたがって、カテゴリーに組織化できるも
のもある（例えば、非特許文献１参照）。この論文は、
ユーザの収集で“最良”の画像を示すために使用され
る、“お気に入り”特質を含むある画像を記述するため
に使用される、メタデータ特質について記述する。しか
しながら、この論文では、どのユーザが、これが“お気
に入り”画像であることを示したか指定するお気に入り
特質とは関係ないために、“お気に入り”特質は１人の
ユーザの自分のＰＣの上の画像を検索することを支援す
るために単に使用することができる。ＰＣが一人以上の
ユーザによって使用されるのであれば、ＦｏｔｏＦｉｌ
ｅシステムは、ユーザが“お気に入り”としてどの画像
を標識したか区別できない。さらに、“お気に入り”特
質はデジタル画像ファイルとは別個のデータベースに記
憶される。さらに、デジタル画像ファイルが異なるシス
テムで使用される場合、例えば画像がＣＤ−Ｒ若しくは
他の媒体を介して転送される場合か、又はオンラインの
フォトサービスプロバイダーにアップロードされる場
合、“お気に入り”特質の情報はもはや有効ではない。

【０００４】画像に関する様々なタイプのメタデータが
標準化されている。例えば、国際標準化機構（ＩＳＯ）
グループＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１
の“動画と音声のコード化（Ｃｏｄｉｎｇ ｏｆ Ｍｏ
ｖｉｎｇ Ｐｉｃｔｕｒｅｓａｎｄ Ａｕｄｉｏ）”
は、動画を備えて記憶できる、様々なタイプのメタデー
タを定義する、ＭＰＥＧ−７を要求するドキュメント
（“ＭＰＥＧ−７ Ｒｅｑｕｉｒｅｍｅｎｔｓ Ｄｏｃ
ｕｍｅｎｔ”）Ｖ．８，Ｎｏ．Ｎ２７２７，１９９９年
３月を開発した。さらに、デジタル画像化グループ（Ｄ
ＩＧ）はＤＩＧ３５メタデータ規格を開発した。しかし
ながら、かかるいずれの詳細は、画像が特定のユーザに
おいてお気に入り画像であるかを示唆する、メタデータ
を定義しない。

【０００５】ここに参照として組み入れられている開示
のように、アルバムページは同一ページの多くの画像を
配置することによってデジタル画像から生成できる（例
えば、特許文献２参照。）。かかるアルバムページは、
ページの画像のサイズと配置に関してカスタマイズで
き、アルバムページのサイズと仕上げに関してカスタマ
イズでき、さらに背景色又は使用されるパターンに関し
てカスタマイズできる。また、アルバムページのデジタ
ル画像を整理する方法がある（例えば、特許文献３参
照）。しかしながら、もしユーザが手動で介在せず、手
動で彼らの画像を調節しなければ、ユーザのお気に入り
画像をより大きくするか又はより顕著にすることによっ
て、この方法はユーザのお気に入り画像を自動的に特色
とすることができない。

【０００６】

【特許文献１】米国特許第５，６６６，２１５号明細書

【特許文献２】米国特許第６，００４，０６１号明細書

【特許文献３】米国特許出願公開第０９／５５９，４７
８号明細書

【特許文献４】米国特許第５，７６０，９１７号明細書

【非特許文献１】クチンスキー（Ｋｕｃｈｉｎｓｋｙ）
等著、「ホトファイル：消費者マルチメディア構成及び
検索システム（ＦｏｔｏＦｉｌｅ： Ａ Ｃｏｎｓｕｍ
ｅｒ Ｍｕｌｔｉｍｅｄｉａ Ｏｒｇａｎｉｚａｔｉｏ
ｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ Ｓｙｓｔｅｍ）」

【非特許文献２】ピーター．Ｊ．ラング（Ｐｅｔｅｒ
Ｊ． Ｌａｎｇ）等著「絵を見ること：情緒的行動、表
情、直感的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ
ａｔ Ｐｉｃｔｕｒｅｓ： Ａｆｆｅｃｔｉｖｅ， ｆ
ａｃｉａｌ， ｖｉｓｃｅｒａｌ， ａｎｄ ｂｅｈａ
ｖｉｏｒａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、
精神生理学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）、３
０、ｐ．２６１−２７３

【非特許文献３】イルファン エサ（Ｉｒｆａｎ Ｅｓ
ｓａ）等「ダイナミックモデルと移動エネルギーを用い
る顔の表情の認識」（“Ｆａｃｉａｌ Ｅｘｐｒｅｓｓ
ｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ Ｄ
ｙｎａｍｉｃ Ｍｏｄｅｌａｎｄ Ｍｏｔｉｏｎ Ｅｎ
ｅｒｇｙ”）、ＭＩＴメディア研究所知覚計算部門技術
レポート第３０７（ＭＩＴ Ｍｅｄｉａ Ｌａｂｏｒａ
ｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ
Ｓｅｃｔｉｏｎ ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ
Ｎｏ．３０７）、ｐ．１−８

【発明が解決しようとする課題】本発明の目的は、反応
に基づいて画像を分類するために、画像に対するユーザ
の反応に関した情緒的な情報を活用することである。

【０００７】

【課題を解決するための手段】かかる目的は、記憶され
たデジタル画像において検索スキームを提供するための
方法によって達成でき、その方法は下記の段階： ａ）複数の記憶されたデジタル画像から少なくとも一つ
のデジタル画像を分類するために情緒的な情報を提供す
ることと； ｂ）ユーザ識別子を提供することと； ｃ）少なくとも一つのデジタル画像に情緒的な情報及び
ユーザ識別子を関連させること、並びに ｄ）少なくとも一つのデジタル画像の検索を容易にする
ために情緒的な情報及びユーザ識別子を使用することを
含む。

【０００８】

【発明の実施の形態】本発明は、デジタル画像に関する
情緒的な情報とユーザ識別子を記憶するため、及びデジ
タル画像を検索し、アルバムページなどのハードコピー
出力の生成において情緒的な情報とユーザ識別子を使用
するための画像に関する情緒的な情報を決定するための
方法を定義する。本発明は、同一画像に対する異なる人
々の情緒的な反応を関連させる。ネットワーク化された
フォトシステムで使用される場合、人々はこれによって
共有することができ、より個人的な方法で画像を使用す
る。標準的な手法で情緒的な情報とユーザ識別子を記憶
することによって、特定の使用者における情緒的な情報
を用いて個人的なアルバムページなどの画像化製品を自
動的に生成することが可能である。

【０００９】情緒的な情報は、画像に対する人の感情又
は情動に間する情報として本発明で定義される。この情
報は、通常、与えられた画像に対する人の主観的な反応
を描写するか又は表す。画像は静止画像であるか、又は
ビデオクリップなどの動画であり得る。情緒的な情報
は、画像が“お気に入り”かどうかのような画像にユー
ザが関連させた重要度のレベルを示すことができる。例
えば、ユーザは結婚式又はクリスマスパーティなどの行
事では多くの写真を撮る。かかる多くの写真のうちで
も、通常は数枚の写真を使用者は特別に気に入る。情緒
的な情報はまた、恐れ、怒り、幸福などの感情的な分野
を含むことができる。

【００１０】情緒的な情報の簡素な実施例は、画像がユ
ーザにおいて“お気に入り”か又は“重要な”画像であ
ると確認されたかどうかを示す、画像と関連する“タ
グ”又は“フラッグ”である。かかるタグの欠損は、画
像がユーザにとってお気に入りであるか又は重要な画像
として識別することを示唆する。かかるタグは、画像を
“お気に入り”と“通常”の分野に分類する、二元性の
分類を表す。別の実施例において、お気に入りの画像は
レベルの範囲に分類される。例えば、画像は−１０乃至
＋１０の範囲に分類でき、ここで０は未分類の画像にお
いて使用され、＋１０は“最もお気に入り”の画像にお
いて使用され、−１０は“最も好ましくない”画像で使
用される。

【００１１】異なるユーザが同一の画像に対して異なっ
た感情的反応を有することを本発明は認識する。したが
って、有用なことには、画像に関する情緒的な情報は特
定のユーザと関係するべきである。これは、情緒的な情
報に沿ったユーザ識別子を提供することによってなすこ
とができる。ユーザ識別子は、特定のユーザを識別する
ことを可能にする任意の型の情報であり得る。ユーザ識
別子は、グローバルな独特のＩＤ（ＧＵＩＤ）、ユーザ
番号、ソーシャルセキュリティ番号などの個人的な識別
コードであり得る。ユーザ識別子はまた、完全な法的な
名前、ニックネーム、コンピューターのユーザ名、また
は同類のものであり得る。代替として、ユーザ識別子
は、表情の画像若しくは描写、指紋画像若しくは描写、
網膜走査、又は同類の情報を含むことができる。

【００１２】特定の画像に対するユーザの感情的な反応
が時間の経過につれて変化できることを本発明は認識す
る。例えば、ユーザは家族で集まった時に撮った、彼等
の子供及び配偶者のお気に入りの写真を有するかもしれ
ない。後に彼等は離婚するかもしれない。この時、その
画像はユーザに幸福な想い出を提供する、同様のお気に
入りの写真ではなくなる。代わって、ユーザの悲しみ又
は怒りとなる、“憎ましい”写真である。したがって、
本発明の数多の実施態様において、日付又は期間は情緒
的な情報に関係する。加えて、異なる日付又は期間で提
供される、同一のユーザの情緒的な情報は、画像と関係
することができる。さらに与えられた画像に対するユー
ザの反応の履歴は、治療、診断又は遡及的な目的におい
て使用できる、人の反応の変化の分析を可能にする。

【００１３】情緒的な情報は、例えばマウス、キーパッ
ド、若しくは音声認識を用い、ユーザによって手動で入
力できるか、又は自動的に集めることができる。

【００１４】下記は、情緒的な情報を自動に集めるため
の手法の実施例であり、それらは、重要な画像であるこ
とを通常示唆する長期間において見つめている、画像を
見る長い時間、何回も画像が印刷されたか又は画像が電
子メールを介して他に送られたかなど、画像の扱いに関
する、他の行動／使用情報、ユーザが画像を見るように
ビデオカメラによって自動的に撮像できるユーザの表
情、ユーザが画像を見るようにビデオカメラによって記
憶される身体のジェスチャー、画像を見る間のユーザの
視線のようなユーザの眼球の動き、画像を見る間に記憶
されるユーザの声、画像を見る間に記憶される、入力装
置（例えば、ジョイスティック又はマウス）へのユーザ
の手の圧力、及びユーザが画像を見ることで記憶される
ユーザの生物測定的又は生理的な反応であり、それら
は、ＥＭＧ、温度、ＧＳＲ、心拍数、脳波ＥＦＧ、脳の
画像化信号などを含有する、信号の任意の組み合わせと
なることができる。

【００１５】下記は、情緒的な情報を手動で提供するユ
ーザのための方法の実施例であり、それらは、“お気に
入りの画像”タグを表すアイコンをユーザがマウスで
“クリック”すること、画像に対して主観的な反応（例
えば、面白い、悲しい、等）を描写する、キーワードを
ユーザがタイプすること、又はキーワードのグループか
らキーワードを選択すること、及びユーザが音声記憶
（例えば、“これは私の一番お気に入りの画像”などの
言葉）を備えた画像に注釈を付けること、である。

【００１６】情緒的な情報は典型的には、ユーザが例え
ば彼等のホームコンピューターで彼等の自宅にて画像を
見るように、手動又は自動のいずれかで決定される。情
緒的な札付けは、情緒的な情報を決定し、画像に関する
情緒的な情報を記憶する工程として定義される。情緒的
な情報がユーザ識別子に関して保存される場合、“個人
的な情緒的情報”として周知である。情緒的な情報とユ
ーザ識別子は、画像に関する任意の情報において使用さ
れる用語である、“メタデータ”画像のタイプである。
他のタイプの画像メタデータの実施例は、画像撮像時
間、撮像装置、撮像位置、撮像日、画像撮像パラメータ
ー、画像編集歴、等を含む。

【００１７】個人の情緒的な情報は、例えば、Ｅｘｉｆ
画像ファイル内のＴＩＥＦ ＩＦＤを用いて、画像ファ
イル内の個人の情緒的情報を記憶することによってデジ
タル画像と関連できる。代替として、個人の情緒的な情
報は個別のデータベースに記憶できる。数多の実施態様
において、情報に対する許可のないアクセスを防ぐため
に、この情報はセキュリティ及びアクセス許可情報と共
に記憶される。

【００１８】図１を参照するに、個人の情緒的な情報を
提供し、画像メタデータとして画像と関連し、画像と関
連する個人の情緒的な情報を記憶するための本発明と一
致してなるデスクトップコンピューターシステムを例示
する。次いで、個人の情緒的な情報は改良された画像の
検索を提供し、カスタマイズされた写真製品を提供する
ために使用される。

【００１９】図１に描写のシステムは、ユーザの場所
（例えば、彼等の自宅）に位置するホームコンピュータ
ー１０（関連の周辺機器を備える）を含む。ゲーム・コ
ンソール、インターネット専用設備、セット・トップ・
ボックス又はキオスク端末などのシステムはホームコン
ピューターシステム１０に取って代わるかもしれないこ
とが理解される。ホームコンピューター１０は、モデム
２２又は他の通信インターフェイスを介して、インター
ネットサービスプロバイダー３０などの通信サービスプ
ロバイダーに接続されている。ホームコンピューター１
０は、ＣＰＵマザーボード１２、表示モニター１４、及
びデジタルの静止又はデジタルの動画及び関連するメタ
データなどの高解像度の画像ファイルを記憶できるハー
ドドライブ記憶装置２０を含む。メタデータは、例え
ば、特定の画像に関する音楽情報である、他のメタデー
タと同様に個人の情緒的な情報を含む。

【００２０】ホームコンピューターは、スキャナー２
８、ＣＤリーダー２６、及びデジタルカメラを含有する
様々な画像入力の周辺機器を含む。スキャナー２８は、
プリント又はフィルムを走査し、デジタル画像を生成す
るために使用される。ＣＤリーダー２６は、コダックピ
クチャーＣＤ（示されていない）などのＣＤ−Ｒディス
クからデジタル画像を入力するために使用される。ユー
ザはまた、モデム２２を用いてサービスプロバイダーか
ら画像をダウンロードできる。ホームコンピューター１
０はまた、ユーザの自宅で画像の印刷を可能にするイン
クジェットプリンターなどのローカルプリンター（示さ
れていない）に接続できる。

【００２１】デジタルカメラ２４は、米国ニューヨーク
州ロチェスターのイーストマンコダックカンパニーによ
って製造されたＫｏｄａｋ ＤＣ４８００デジタルカメ
ラなどのデジタルスチルカメラであり得る。代替とし
て、デジタルカメラ２４は、静止画像に加えて、動作と
音のビデオ・ファイルを記憶する、Ｋｏｄａｋ ＭＣ３
ポータブルマルチメディア装置などのデジタルビデオカ
メラである得る。デジタルカメラ２４は、周知のユニバ
ーサルシリアルバス（ＵＳＢ）インターフェイス又はＩ
ＥＥＥ１３９４インターフェイスなどの共通のインター
ファイスを採用するケーブルを介してホームコンピュー
ター１０に接続する。代替として、デジタルカメラ２４
は、周知のブルートゥースインターフェイス又はＩＥＥ
Ｅスタンダード８０２．１５インターフェイスなどの無
線インターフェイスを用いてホームコンピューター１０
に接続できる。代替として、コンパクトフラッシュ（登
録商標）（ＣｏｍｐａｃｔＦｌａｓｈ）カード及びカー
ドリーダー（示されていない）などの取り外し可能なメ
モリカードを用いて画像はデジタルカメラ２４からホー
ムコンピューター１０に転送できる。

【００２２】情緒的な情報を提供するために、ホームコ
ンピューター１０は、キーボード１６及び、マウス又は
トラックボールなどのポインティング装置１８に接続さ
れる。好ましい実施態様において、ポインティング装置
１８はまた、ＧＳＲ（電気皮膚反応）、手の温度及び心
拍率を含有するユーザの生理的な信号を検出できる、セ
ンサーを含む。センサーはまた、周囲の温度を検出す
る。

【００２３】ホームコンピューター１０は任意でビデオ
カメラ４に接続される。ビデオカメラはユーザ２の顔の
ビデオ画像を撮影し、ハードドライブ記憶２０にこのビ
デオ情報を記憶する。ビデオカメラ４は、例えば、イー
ストマンコダックカンパニーから販売されているＤＶ３
２５のつながれたカメラである得る。そのカメラは、ユ
ニバーサルシリアルバス（ＵＳＢ）インターファイスな
どの共通のインターフェイスを採用するケーブルを介し
てホームコンピューター１０と接続する。

【００２４】ホームコンピューター１０は、本発明と一
致して個人の情緒的な情報をつくり、使用するために適
切なソフトウェアを備えて提供される。このソフトウェ
アは典型的にはハードドライブ２０に記憶され、ＣＤリ
ーダー２６によって読取りできるか、又はフレキシブル
ディスクドライブ（示されていない）を介してホームコ
ンピューター１０にロードされるフレキシブルディスク
（示されていない）に提供できる、ＣＤ−ＲＯＭディス
ク（示されていない）を用いて提供される。代替とし
て、このソフトウェアはモデム２２を介してインターネ
ットからダウンロードできる。

【００２５】ホームコンピューター１０は、図８に示さ
れるように、インターネットなどのネットワークに接続
される。図８に描写されるように、多くの異なるホーム
コンピューター１０Ａ、１０Ｂ、１０Ｃ及び１０Ｄは、
様々なインターネットサービスプロバイダー（ＩＳＰ
ｓ）３０Ａ、３０Ｂ、及び３０Ｃによってインターネッ
トに接続される。ＩＳＰｓはサービスプロバイダー４０
に接続を提供する。ＩＰＳの３０Ａ乃至３０Ｃは、モデ
ム３２のバンクを含み、その一つはユーザのコンピュー
ター１０のモデム２２と通信するために接続される。次
ぎに、当業者に周知の装置と技術を用いてチャンネル３
６に通信を提供するために、モデム３２はコンピュータ
ー／ルーター３４と通信する。

【００２６】サービスプロバイダー４０は、一つ以上の
コンピューターと関連する周辺機器から構成される、イ
ンターネットサーバーなどのネットワークサーバー４２
によってインターネットなどのチャンネル３６に接続す
る。サービスプロバイダー４０はまた、電子データベー
ス４４を含む。電子データベース４４は、異なる印刷サ
イズ、マグ及びＴシャツなどの異なる出力フォーマット
を含み、アルバムページ上のデジタル画像の群を印刷す
る、多くの画像を産する製品のオプションを記載する情
報を提供する。電子データベース４４はネットワークサ
ーバー４２として同一のコンピューターに含まれること
ができるか、又は個別のコンピューターを活用できる
か、又は同一の物理的な部位若しくは異なる部位におい
て数多のコンピューターにわたって分配できる。

【００２７】図８に示されるように、電子データベース
４４は生産コントローラー５２に接続される。生産コン
トローラー５２は、写真製品の実施例となる、アルバム
ページ５６又は個別のハードコピー印刷５８を生成でき
る、一つ以上のカラーのハードコピープリンター５４を
制御する。生産コントローラー５２は、ユーザによって
アップロードされた一つ以上の画像を組み込むＴシャ
ツ、コーヒーマグ、などを生成するために使用できる、
転送印刷を生成するためにトランスファープリンター
（示されていない）に任意に接続できる。生産コントロ
ーラー５２はまた、輸送ラベル７４を生成するために輸
送ラベルプリンター７２を制御する、輸送システム７０
を制御する。輸送ラベル７４は、顧客又は顧客の指定者
に配送中（例えば、空輸、地上輸送など）に写真製品を
含み保護する、輸送コンテナ（例えば、パッキング物質
を含有するカードボードボックス）に付される。

【００２８】ユーザによって写真製品が購入される時は
常に定期的（例えば、月ごと）に又は代替として、電子
データベース４４は、顧客が認定されることによって提
供される、支払い識別子（例えば、クレジットカード又
はデビットカード番号）を確定するために、なされた任
意の購入における勘定、又は、ユーザの画像及び関連す
る個人の情緒的な情報の記憶におけるようなユーザにサ
ービスを提供する任意の毎月のサービス料金における勘
定の借り方に記入するために請求システム４６と通信す
る。ブロック４８に示されるように、請求書が発行され
る。借り方に記入される顧客取引口座は、当然のことと
して、遠隔の金融機関であり得る。

【００２９】サービスプロバイダー４０は、ユーザのコ
ンピューター１０から遠隔である、典型的には別の都市
である、第二位置に位置する。サービスプロバイダー４
０の様々な位置は、単一の建物に位置できるか、若しく
は隣接する複合した建物に位置できるか、又は異なる都
市若しくはさらに異なる国の数多の場所上に地理的に分
散できる。例えば、電子データベース４４とアルバム生
産コントローラー５２は、異なる都市に位置するコンピ
ューターによって提供でき、及びインターネットなどの
適切なデジタル通信ネットワークを介して相互に接続で
きる。さらに、電子データベース４４はそれ自体が数多
の異なる位置で数多のコンピューターに分配できる。

【００３０】電子データベース４４はまた、アップロー
ドされた画像と関連する個人の情緒的な情報の長期記憶
を提供する。この実施態様において、記憶された画像
は、参照としてここに組み入れられた開示である、例え
ば、本件出願人と同一出願人所有の発明者シェリダン
（Ｓｈｅｒｉｄａｎ）による米国特許第５，７６０，９
１７号明細書に記載のように、認可されたユーザによっ
てインターネットを介してアクセス可能（例えば、見る
ことができる）である。

【００３１】電子データベース４４は、顧客のコンピュ
ーター１０を用いて遠隔位置で顧客によって選択でき、
カスタマイズできる、アルバム及び他の写真製品の異な
る特質を記載する情報を含む。電子データベース４４は
また、例えば、様々な背景色を提供するようなアルバム
の特徴、又は構造、ページ数、ページキャプション、画
像キャプションなどの写真製品のオプションを描写する
情報を含む。アルバムページはカバーにおいて製本する
ことができるか、又は三つのリングバインダーのような
標準のバインダーにページが挿入されることを可能にす
るために穴を含むことができる。それらのアルバムの特
徴のオプションは、例えば、ＪＡＶＡ（登録商標） ａ
ｐｐｌｅｔｓ、ＭＰＥＧ又はＱｕｉｃｋＴｉｍｅ ｍｏ
ｖｉｅｓ、或いは顧客が選択できる機能的な特徴を描写
する、Ｓｈｏｃｋｗａｖｅファイルなどのソフトウェア
プログラムを介して実証することができる。

【００３２】ホームコンピューター１０Ａ乃至１０Ｄに
加えて、他のタイプの装置はチャンネル３６を介して画
像を提供するか又はアクセスするために使用できる。そ
れらの装置は、無線ＰＤＡ装置３７、キオスク端末３
８、及び電子画フレーム装置３９を含み、それらのすべ
てはＩＳＰｓ３０Ａ乃至Ｃの一つを介して通路３６によ
りデータベース４４から画像と関連する情緒的な情報を
検索できる。

【００３３】図２を参照するに、図１と図８に関連して
記載されたシステムで実行される、本発明の実施態様を
例示する流れ図を示している。この実施態様は情緒的な
情報の自動及び手動決定の両者を含む。

【００３４】ブロック１１０において、ユーザはＣＤ−
ＲＯＭをホームコンピューター１０のＣＤリーダー２６
に挿入することによって画像の新規のセットを開く。好
ましい実施態様において、ＣＤ−ＲＯＭはまた、図２の
方法を実行する、ソフトウェアのアプリケーションを含
む。この場合、ソフトウェアはブロック１１２の部分と
して自動的にインストールされ、必要であれば、ＣＰＵ
マザーボード１２によって使用できる。

【００３５】ブロック１１２において、ユーザによって
初回に画像が見られる場合、本発明の方法を実行するア
プリケーションは自動的に始められる。代替として、ユ
ーザはアプリケーションを手動で開始でき、デジタルカ
メラ２４、スキャナー２８から又はインターネットを含
有する他の画像の供給源から新規のセットをロードでき
る。

【００３６】ブロック１１４において、ユーザは彼等の
個人的なＩＤとパスワードに入る。代替として、この段
階は、ユーザがコンピュータに“ログオン”する場合、
ホームコンピューター１０のシステムを操作することに
よって自動的に提供できる。代替となる実施態様におい
て、ビデオカメラ４は、ユーザを自動的に決定するため
に顔を認識するソフトウェアとの関連して使用でき、ユ
ーザの氏名又は個人の識別コードなどの適切なユーザ識
別子を提供する。

【００３７】ブロック１１８において、ホームコンピュ
ーター１０は、ユーザが手動で情緒的な情報を提供した
いか、又は代わりにユーザが画像を見ている間に自動的
に情緒的な札つけを提供するシステムを有するかをユー
ザに問い合わせる。

【００３８】ブロック１２０において、ユーザが自動の
情緒的な札付けを選択する場合、ホームコンピューター
１０は、ユーザが画像を見る場合のユーザの感情の反応
を決定するために記憶できる、信号の選択を提供する。
このユーザの選択を可能にするためにモニター１４に表
示されるスクリーンの実施例は図３Ａに示される。３つ
の信号がデフォルトとしてマークされ、それらは、画像
に対して見ている時間、ビデオカメラ４によって記憶さ
れる顔の表情、及びポインティング装置１８のセンサー
により検出される生理的な信号である。ハードウェアの
形態に依存して、他の信号は選択に列記されるかもしれ
ない。

【００３９】ブロック１２２において、ユーザは情緒的
な情報を決定するためにどの信号が記憶されるかを選択
する。図３Ｂにおいて、見ている時間、顔の表情、及び
生理的なものを含有するユーザによって選択された信号
の実施例が示される。ユーザによって選択される生理的
な信号は、心拍率、手の温度、及び電気皮膚反応（ＧＳ
Ｒ）を含む。

【００４０】ブロック１２４において、ホームコンピュ
ーター１０はＣＤ−ＲＯＭ（又は他の画像供給源）から
第一画像を検索し、ブロック１２６ではホームコンピュ
ーター１０はモニター１４に画像を表示する。

【００４１】ブロック１２８において、ホームコンピュ
ーター１０は、ユーザがブロック１２２で選択した信号
（例えば、見ている時間、ユーザの顔のビデオ、及び生
理的な信号）を自動的に記憶する。

【００４２】ブロック１３０において、ユーザは、彼等
が次ぎの画像に移動したいことを示すためにポインティ
ング装置１８をクリックする。代替として、ユーザは、
キーボード１６のキーを打つこと、マイクロホン（示さ
れていない）によって入力される音の指令を提供するこ
と、ビデオカメラ４によって撮像されたジェスチャーを
提供すること、又は他の入力装置を用いることなどの数
多の他の形態の入力を提供することができる。

【００４３】ブロック１３２において、ホームコンピュ
ーター１０は、これが画像セットの最終画像であるか決
定する。

【００４４】ブロック１３４において、これが最終画像
ではない場合、ホームコンピューター１０は画像セット
の次ぎの画像を検索し、ブロック１２６から１３２を繰
り返す。

【００４５】ブロック１３６において、これが最終画像
である場合、ホームコンピューター１０は、情緒的な情
報を合成し、情緒的なタグを合成するために、情緒的な
信号を分析する。この段階は、ユーザ２においてセット
の各画像の感情的な重要度を決定することを含む。好ま
しい実施態様において、ホームコンピューター１０は、
ユーザの顔の表情（例えば、微笑み）、見ている時間及
び皮膚コンダクタンスに基づきセットの各画像に対する
肯定的な感情の重要性を評価する。

【００４６】ホームコンピューター１０は、周知の顔の
表情を検出するアルゴリズムを用いてビデオカメラ４に
よって記憶された顔の表情を検出できる。かかるアルゴ
リズムの一例は、イルファンＡ．エサとアレックス ペ
ントランド著の「ダイナミックモデルと移動エネルギー
を用いる顔の表情の認識」（“Ｆａｃｉａｌ Ｅｘｐｒ
ｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ
ａ ＤｙｎａｍｉｃＭｏｄｅｌ ａｎｄ Ｍｏｔｉｏｎ
Ｅｎｅｒｇｙ”）、１９９５年６月、ｔｈｅ Ｐｒｏ
ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＣＣＶ ９５出
版、米国マサチューセッツ州、ケンブリッジである。検
出された微笑みは、肯定的な顔の表情である。

【００４７】ブロック１２８において、ユーザ２の顔の
表情は、ユーザが画像セットを見て記憶される。次い
で、ビデオカメラ４からのビデオ信号のフレームは、顔
の表情を認識するソフトウェアを用いて処理され、少な
くとも二つの分野：肯定的及び非肯定的に分類される。
微笑がユーザの顔で検出される場合、肯定的な分野は選
定される。微笑がユーザの顔で検出されないのであれ
ば、非肯定的な分野が選定される。代替として、顔の表
情は、幸福、悲観、絶望、嫌悪、愛、等の幅広い範囲の
分野にさらに分類されて、例えば、特に肯定的、いくら
か肯定的、どちらでもない、わずかに否定的、及び非常
に否定的などにかかる分野における値の範囲を用いてさ
らに分類される。顔の認識の結果として、肯定的な分野
の画像はユーザのお気に入りの画像であると考慮され、
一方で非肯定的な分野の画像はユーザのお気に入りの画
像ではないと考慮される。

【００４８】画像を見ている時間が長くなるにつれて、
その特定の画像に対する肯定的な画像の重要度の可能性
が高まる。ブロック１２６乃至１３４において、ユーザ
はモニター１４で一度画像を見て、マウスをクリックす
ることで次ぎの画像に進む。２つの連続する画像間の時
間の間隔は、ホームコンピューター１０によって決定さ
れ、情緒的な信号として記憶される。Ｐ．Ｊ．ラング、
Ｍ．Ｋ．グリーンワルド、Ｍ．Ｍ．ブラッドレイ、及び
Ａ．Ｏ．ハム著の「絵を見ること：情緒的行動、表情、
直感的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ ａｔ
Ｐｉｃｔｕｒｅｓ： Ａｆｆｅｃｔｉｖｅ， ｆａｃ
ｉａｌ， ｖｉｓｃｅｒａｌ， ａｎｄｂｅｈａｖｉｏ
ｒａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、精神生
理学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）， ３０，
ｐ．２６１−２７３の論文は、平均して見ている時間
は、画像が観察者において誘い出す関心又は注意の程度
と直線的に関連することを報告している。この論文は、
第三者的な絵における関心の度合いに対して見ている時
間を比較する。本発明では、見ている時間の情報は、第
三者的な画像で一人以上のユーザにおいて選定される。

【００４９】見ている時間とユーザの関心との関係は、
画像に対するユーザの関心の示唆として又は画像の重要
度として見ている時間を解釈するホームコンピューター
１０によって使用される。特定の画像に関心のある相対
的な度合いは、セットのすべての画像での最大の見てい
る時間によって分割される（又は標準化される）この特
定の画像での見ている時間として決定される。関心の相
対的な度合いは、“重要”又は“お気に入り”画像とし
て系統的で連続的な手法でセットの画像をランク付けす
るためにホームコンピューター１０によって使用され
る。最もお気に入りの画像は、特定のユーザにおいて高
い関心の相対的な度合いを有する画像である。

【００５０】ユーザの困惑の結果、見ている時間が不適
切に判断されないことを保証するために、ビデオカメラ
４は、ユーザ２がモニター１４に彼等の真っ直ぐな凝視
を向けること、ユーザ２が他のタスクで当惑していない
こと、又は部屋に残っていることを補償するために使用
できる。

【００５１】皮膚コンダクタンスは、画像を見ることに
対する反応として測定される皮膚の電気コンダクタンス
の大きさである。この信号は生物測定センサーを使用し
て記憶される。皮膚コンダクタンスを検出し記憶できる
コンピューターマウスはＩＢＭ社によって開発された。
皮膚コンダクタンス又は電気皮膚反応が画像に対する関
心の度合いを反映することは、Ｐ．Ｊ．ラング、Ｍ．
Ｋ．グリーンワルド、Ｍ．Ｍ．ブラッドレイ、及びＡ．
Ｏ．ハム著の「絵を見ること：情緒的行動、表情、直感
的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ ａｔ Ｐ
ｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ， ｆａｃｉａ
ｌ， ｖｉｓｃｅｒａｌ， ａｎｄ ｂｅｈａｖｉｏｒ
ａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、精神生理
学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）， ３０，
ｐ．２６１−２７３の論文に記載されている。皮膚コン
ダクタンスは画像が視聴者において誘い出す覚醒に依存
して変わり、皮膚コンダクタンスが高ければ覚醒又は興
奮が高く、またその逆も正しく、皮膚コンダクタンスが
低ければ、覚醒も低い。したがって、画像開始前の皮膚
コンダクタンスと画像開始数秒以内に上昇した皮膚コン
ダクタンスの極値との差異である、皮膚コンダクタンス
反応の大きさの測定は、ある画像に対するユーザの関心
又は注意を決定するために使用できる。

【００５２】ポインティング装置１８を用いて記憶され
た皮膚コンダクタンスに基づいて、セットの各画像は関
心の度合いを選定される。値は、画像セットにおいて記
憶された最大の皮膚コンダクタンス反応によって分割さ
れた、特定の画像における皮膚コンダクタンスの大きさ
の関数である。セットの画像は、かかる値を用いること
によってお気に入りの画像としてランク付けできる。相
対的な皮膚コンダクタンスが低ければ、画像はより“お
気に入り”である。

【００５３】さらに３つの情緒的な信号は、肯定的な関
心の不可欠な測定を獲得するために組み合わされる。セ
ットの各画像において、関心の相対的な度合いは、前述
に記載のように見ている時間（関心の度合い対見ている
時間、ＤＩｔｉｍｅ）と皮膚コンダクタンス（関心の度
合い対皮膚コンダクタンス反応、ＤＩｓｋｉｎ＿反応）
に基づいて獲得される。画像が顔の表情のアセスメント
に基づいて肯定的として分類されるならば、画像は肯定
的な反応（ＰＲ）における値１を選定する。画像が非肯
定的として分類されるならば、肯定的な反応における値
０を選定する。次いで、肯定的な関心（例えば、重要又
は“お気に入りの性質”）の測定は適切な関数を用いて
各画像で計算できる。かかる関数は３つすべての合計を
測定する： 肯定的な関心＝ＤＩｔｉｍｅ＋ＤＩｓｋｉｎ＿反応＋Ｐ
Ｒ 他の適切な関数はかかる３つの測定を加重した合計を含
み、ここでその加重は画像セット全体にわたって各々の
標準化された（最大値によって分割された）信号内の標
準偏差に基づいて決定される。この場合、信号内の標準
偏差が高くなると、肯定的な関心の測定に対する信号の
寄与の重要性は高くなる。結果的に、与えられた信号の
標準偏差が低くなると、肯定的な関心の測定に対する対
応する信号の寄与の重要性は低くなる。この依存性の理
由は、特別の測定の標準偏差が与えられた測定に沿った
画像間の識別の度合いを反映するという推定から生じ
る。これは、最も高い標準偏差を備える信号がさらなる
識別力を有し、したがって肯定的な関心の不可欠な測定
を決定する際に考慮することはより重要であることを意
味する。

【００５４】ブロック１４０において、ユーザがブロッ
ク１１８で手動の情緒的な札付けを選択すれば、画像セ
ットの画像は小さいサムネール画像としてモニター１４
に表示される。ブロック１４２において、ユーザは手動
でお気に入りの画像を選択し、選択された画像において
情緒的な情報（例えば、肯定的な重要度の度合い／お気
に入り）に手動で入る。これは、ここに参照として組み
入れられた、本件出願人と同一出願人所有の発明者パル
スキ（Ｐａｒｕｌｓｋｉ）による発明の名称が「デジタ
ル画像のコレクションの個人的なメタデータを追加する
方法」（“Ｍｅｔｈｏｄ ｆｏｒ Ａｄｄｉｎｇ Ｐｅ
ｒｓｏｎａｌｉｚｅｄ Ｍｅｔａｄａｔａ ｔｏ ａ
Ｃｏｌｌｅｃｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａ
ｇｅｓ”）で２０００年１１月２２日出願の米国特許出
願公開第０９／７２１，２２２号明細書に記載された方
法を用いてなされるかもしれない。

【００５５】ブロック１４６において、ブロック１３６
又は１４２からの情緒的な情報は、画像セットの対応す
る画像に関係する、個人の情緒的なタグを提供するため
に使用される。この関係は、セットの各画像ファイル内
の個人の情緒的なタグを含有することによって、又は各
タグに関連する対応する画像に対する名前又はポインタ
ーに沿った個別のデータベースで個人の情緒的なタグを
提供することによって達成できる。データベースはハー
ドドライブ２０に記憶できる。個人の情緒的なタグは、
ブロック１１４に関連して既に記載のようなユーザ識別
子を含む。

【００５６】個人の情緒的なタグの実例となる実施例
は、図４Ａに示されている。図４Ａは単一ユーザにおけ
る個人の情緒的なタグのファイルデータの構造を描写
し、個人の識別分野、２つの異なる時間で獲得した２つ
の情緒的な記憶、及び一つの行動記憶を含む。

【００５７】個人の情緒的なタグ分野は、個人の情緒的
なタグデータを含有するようなファイルでデータ構造を
識別する。個人の識別コードは個人の識別分野に記憶さ
れる。この分野は、ユーザの情緒的な情報がこの個人の
情緒的なタグに記憶されるユーザを識別する。

【００５８】情緒的な記憶は情緒的な情報を画像に対す
るユーザの反応の関して直接記憶する。これは、情緒的
な情報が集められたデータと位置を含む。第一の情緒的
な記憶は第一の位置分野と時間分野で特定された第一の
時間と位置で獲得された情緒的な情報を記憶し、第二の
情緒的な記憶は第二の位置分野と時間分野で特定された
第二の時間と位置で獲得された情緒的な情報を記憶す
る。情緒的な記憶の情緒分野は、画像が個人の識別分野
で記憶された個人の識別コードによって識別されるユー
ザによって見られた場合に決定される主観的な反応を記
憶する。簡素な実施態様において、浄書分野は−１０乃
至１０の範囲の“重要”又は“お気に入り”のランキン
グを記憶でき、ここで１０は最もお気に入りであり、−
１０は最もお気に入りでないことを意味する。代替とし
て、情緒分野は、検出された感情の強度を数量化する、
対応するランキングを備える基本的な感情（例えば、幸
福）を含むことができる。図２で既に記載のように、情
緒決定は自動検出又はユーザによる手動のエントリーの
結果となり得る。

【００５９】個人の情緒的なタグに含まれる最低限必要
な情報は、対応する分野に記憶された個人の識別コード
と、情緒分野に記憶された少なくとも一つの主観的な反
応（情緒）から構成される。図４Ａに示される他の任意
の分野は、情緒的な情報が集められ、時間分野に記憶さ
れた時間を含む。個人の情緒的なタグはまた、段階１２
２においてユーザによって選択された情緒的な信号に関
する他の情緒的なデータを含むことができる。それらの
分野は、見ている時間の分野、生理的な温度分野、生理
的な心拍率分野、生理的なＥＦＧ分野、顔の表情の分
野、視線をトラッキングする分野、及び触覚圧力分野を
含む。

【００６０】行動記憶は、画像がユーザによって見られ
る回数、画像がユーザによって印刷される回数、及び画
像がユーザによって電子メールで送られる回数を含有す
る、画像の使用法に関する情報を記憶する。

【００６１】図４Ｂを参照するに、複数のユーザにおい
て個人の情緒的な情報を提供する、単一画像における情
緒的なメタデータのデータ構造の実施例を示す。個人の
情緒的なタグ１は、２０００年８月１日に重要度が８
（−１０乃至１０までの範囲）の関連する画像を与え
る、情緒的な情報（手動又は自動のいずれか）が提供さ
れた第一のユーザ（ユーザ１）を示唆する。個人の情緒
的なタグ２は、２０００年７月４日に重要度が４の関連
する同一画像を与える、情緒的な情報が提供された異な
るユーザ（ユーザ２）を示唆する。個人の情緒的なタグ
３は、２０００年１０月８日に重要度が−５の同一の関
連する画像を与える、情緒的な情報が提供された第一の
ユーザ（ユーザ１）を示唆する。

【００６２】図４Ｃを参照するに、画像メタデータと画
像データを含む画像ファイルの実施例を示す。画像ファ
イルは、Ｅｘｉｆ／ＪＰＥＧファイル、ＴＩＥＦファイ
ル、ＪＰＥＧ２０００画像ファイルなどのＪＰＥＧ画像
ファイルであり得るか、又は多くの他の画像ファイルフ
ォーマットを利用する。画像メタデータは周知の撮像デ
バイスメタデータを含む。撮像装置メタデータは、例え
ばデジタルカメラのなどの画像が提供されるデジタル撮
像装置を含むことができ、さらに画像の撮影日とカメラ
レンズの焦点の長さ、ｆ−ナンバー等の撮像装置のセッ
ティングを含むことができる。本発明の好ましい実施態
様と一致して、画像メタデータは一つ以上の個人の情緒
的なタグを含む。各個人の情緒的なタグは、個人の識別
分野に記憶されたユーザ識別子と重要な格付けなどの少
なくとも一つの情緒的な記憶を含む。単一の画像ファイ
ルは、複数の異なるユーザにおける複数の情緒的なタグ
を含むことができる。

【００６３】図２のブロック１４８において、個人の情
緒的なタグは画像を検索又は印刷するために使用され
る。図５を参照するに、ホームコンピューター１０での
検索システムの本発明の典型的の実施態様の流れ図を示
す。この実施態様において、個人の情緒的な情報は画像
検索工程を補助するために使用され、ブロック１１０に
関して既に記載された画像セットを利用する、アルバム
ページなどの写真製品を提供する工程を改良するために
使用される。画像の検索は、個人の情緒的な情報が生成
された直後になされるか、又は後になされることが理解
されるだろう。画像の検索に先だって、他のユーザが画
像の同一のセットにおいて情緒的な情報を提供し、その
結果、各画像は複数のユーザにおいて情緒的な情報と関
連することがさらに理解されるだろう。画像検索が後に
行なわれる場合、ブロック１１２に関して既に記載のよ
うに、ユーザは彼等の個人のＩＤとパスワードをエンタ
ーするために問い合わせされる。これは、適切なユーザ
の識別子がユーザにおいて適切な個人の情緒的な情報を
検索するために使用できるようになされる。

【００６４】図５のブロック１４９において、検索ユー
ザは、ポインティング装置１８を使用してモニター１４
に表示された適切なメニュー項目（“画像検索”などの
メニュー項目）を選択することによって画像検索と利用
工程を開始する。

【００６５】ブロック１５０において、ホームコンピュ
ーター１０はモニター１４に画像セットのサムネイル表
示を提供する。サムネイルは、特定ユーザにおける画像
の“重要度”の格付けにしたがって処理される。最も格
付けが高い画像は一番に表示され、最も格付けの低い画
像は最後に表示される。さらに格付けは、各関連した画
像と並んで表示できる。結果として、ユーザの個人の情
緒的な情報は、検索された画像の表示の順番を決定する
ために使用される。

【００６６】ブロック１５２において、ユーザは格付け
の変更の希望があるか問い合わせされる。ユーザが肯定
的な反応を示せば、ブロック１５４においてユーザは格
付けを手動で調整する。ホームコンピューター１０は、
格付けが手動で調整された各画像においてユーザの新規
の個人の情緒的な情報を保存する。

【００６７】ブロック１５６において、ユーザは一つ以
上のサービスと関心の適用を選択する。それらは、カス
タマイズされたアルバムページを生成すること（ブロッ
ク１５８）、印刷においてサービスプロバイダー４０に
画像若しくはアルバムページをアップロードすること
（ブロック１６０）、電子メールによってお気に入り画
像を送ること（ブロック１６２）、ピクチャーマップを
生成すること（ブロック１６４）、及びインターネット
を介して家族や友人と共有するためにローカルハードデ
ィスク２０、又は遠隔サーバー（段階１６６）のユーザ
の収集に画像セット（関連する個人の情緒的なタグ）を
加えることを含む。

【００６８】ブロック１７０において、ユーザは終了し
たか又は追加的なサービス若しくは製品を選択したいか
を問い合わせされる。ブロック１７２において、工程は
終了する。

【００６９】図６は情緒的な情報を使用するアルバムペ
ージを生成するためのシステムの本発明の典型的な実施
態様の流れ図である。情緒的な情報は下記の手法でアル
バムページを生成するためにシステムによって使用で
き、それらはアルバムページに含まれるお気に入り画像
を検索すること、ページの中心に最もお気に入りの画像
を位置すること、ページにおいて他の画像よりも大き
い、最もお気に入りの画像をリサイズすること、及び重
要性を強調する（例えば、ボールドのフレーム化構造）
ために最もお気に入りの画像を取り囲む背景を変化する
こと、である。

【００７０】図６の流れ図は、図５のブロック１５８で
ある、アルバムページを生成する工程をより詳細に記載
する。図６のブロック３０５において、ユーザはアルバ
ムページの数を特定し、各アルバムページにおける画像
を選択する。代替となる実施態様において、システム
は、メタデータに記憶された撮影日情報と日付にしたが
ってページに画像をグループ化するためにユーザによっ
て特定されたページ数を用い各ページにおいて画像を自
動的に選択できる。

【００７１】ブロック３１０において、システムは選択
された画像からアルバムページの特定した数を自動的に
合成する。本発明の好ましい実施態様において、画像
は、ここで参照として組み入れられた開示である、本件
出願人と同一出願人所有の発明者サイモンによる２００
０年４月２７日出願の米国特許出願公開第０９／５５
９，４７８号明細書に記載のように強調された画像を用
いてアルバムページに自動的に組織化される。本発明に
おいて、最もお気に入りの画像は画像を強調するように
自動的に識別される。サイモン等の特許明細書に記載の
ように、強調画像はページの中心に位置し、ページにお
いて他の画像よりも大きい。最も重要な画像を強調する
この方法は、アルバムページの特定した数を生成するた
めに各アルバムページにおいて繰り返しできる。

【００７２】ブロック３１０でアルバムページが自動的
に配置された後、ブロック３１２でユーザは配置を修正
したいかどうか問い合わせされる。次いで、ユーザはペ
ージ数を変更でき（ブロック３１４）、選択されたペー
ジで画像の数を変更でき（ブロック３１６）、選択され
たページでレイアウトを変更でき（ブロック３１８）、
及びページで画像サイズを変更（ブロック３２０）でき
る。ユーザはまた、ページに含むための異なる画像を選
択できる（ブロック３２２）。ユーザがアルバムページ
の外観に満足すると（ブロック３２４）、次いでユーザ
はアルバムページを局所的に印刷（ブロック３３０）す
るか、又は代わりにサービスプロバイダー４０からイン
サルされたアルバムページを注文（ブロック３２８）す
るかどうかを決定（ブロック３２６）する。アルバムペ
ージは、ここに参照として組み入れられた開示である、
本件出願人と同一出願人所有の発明者マニコ（Ｍａｎｉ
ｃｏ）等による米国特許第６，００４，０６１号明細書
に記載の方法を用いて合成できる。工程はブロック３３
２で終了する。

【００７３】図７Ａを参照するに、合成されたアルバム
ページの実施例が示されている。５つの画像（Ｐ１乃至
Ｐ５）はフォーマット化され、ホームコンピューター１
０又はサービスプロバイダー４０によってアルバムペー
ジに添付される。システムがアルバムページを自動的に
合成する場合、最もお気に入りの画像が特色とされる。
これは、ページの中心にこの最もお気に入りの画像（画
像Ｐ１）を位置付けすることによってなされる。これは
また、ページで他の画像よりもこの画像のサイズが大き
くなるように最もお気に入りの画像（Ｐ１）をフォーマ
ット化することによってなされる。さらにこれは、背景
フレームを提供することによって、又はこの特定の画像
に注意を注ぐ、別のタイプの背景の取り囲みを提供する
ことによってなされる。加えて、最もお気に入りの画像
の画像の寄与は、その重要性を強調するために修正でき
る。例えば、この画像は、画像の鮮明度、色の飽和等を
増大するために処理できる。

【００７４】最もお気に入りの画像は、特定のユーザに
おける画像と関連する個人の情緒的な情報に基づいてア
ルバムページで選定された画像セットから自動的に選択
される。異なる個人の情緒的な情報を有する第二のユー
ザが同一のアルバムセットを含有するアルバムページを
要求する場合、異なる画像が第二のユーザにとって最も
お気に入りの画像であるために、異なる画像が特色とさ
れるだろう。このようにして、アルバムページのレイア
ウトは、特定のユーザの個人の情緒的な情報に基づき、
特定のユーザにおいて自動的にカスタマイズされる。

【００７５】図７Ｂを参照するに、図５のブロック１６
６で生成されたピクチャーマップの実施例が示される。
この実施例において、７つの画像（Ｐ１乃至Ｐ７）がフ
ォーマット化され、ピクチャーマップに配置される。一
つの典型的な実施態様において、システムは、画像と関
連したメタデータとして記憶された地理的な位置情報に
基づき適切なマップを自動的に選択する。かかるメタデ
ータは撮像時に自動的に生成（例えば、ＧＰＳ−汎世界
測位システムを備えるデジタルカメラによって）できる
か、又はユーザによって手動で生成できる。メタデータ
によって特定された各々の異なる位置において、システ
ムはその位置において撮像された最もお気に入りの画像
を選択し、マップ上の適切な位置に位置付けする。最も
お気に入りの画像は、画像と関連する個人の情緒的な情
報に基づきシステムによって自動的に選択される。図７
Ｂにおいて、７つの位置は識別され、それらの位置に対
応する７つの最もお気に入りの画像（Ｐ１乃至Ｐ７）は
選択され、マップ上に位置付けされる。

【００７６】図９を参照するに、インターネットなどの
通信ネットワークによりカスタマイズされた写真製品を
生成するために情緒的な情報を使用する本発明の典型的
な実施態様の流れ図を示している。本発明において、ア
ルバムページなどのカスタマイズされた写真製品は、画
像に関する個人の情緒的な情報に基づいて生成される。

【００７７】ブロック５１０において、顧客はフォトサ
ービスプロバイダー４０によって供給されたウェブサイ
トにログオンする（図８）。一般的に、顧客は図２で情
緒的な情報を生成したユーザとは同一人物でないかもし
れない。例えば、これは、家族の一人が、家族の他の者
又は友人のお気に入りの画像を用いて家族の他の者又は
友人に個人的な写真製品を生成する場合である。

【００７８】ブロック５１２において、図２のブロック
１１４に関して既に記載のように、顧客は彼等の個人の
ＩＤとパスワードにエンターする。

【００７９】ブロック５１４において、顧客は拾い読み
したいお気に入りの画像を選択する。顧客は彼等のお気
に入りにより、及び／又は彼等の家族や友人によってお
気に入り画像の提供により拾い読みするために選択でき
る。他の人のお気に入り画像により拾い読みするため
に、顧客は、既に参照とした、本件出願人と同一出願人
所有の発明者シェリダンによる米国特許第５，７６０，
９１７号明細書に記載のように、アクセス許可を有する
べきである。それらのアクセス許可は、画像がアップロ
ードされデータベース４４でユーザによって記憶される
場合に生成される。

【００８０】ブロック５１６において、顧客は、日付及
び／又はイベント並びに関心ある画像を選択する（例え
ば、選択された画像をクリックすることによって）こと
によってお気に入りにより拾い読みする。ブロック５１
８において、すべての選択された画像のサムネイルが表
示される。ブロック５２０と５２２において、顧客は画
像のそれらの選択を修正できる。

【００８１】ブロック５２４において、顧客は一つ以上
の所望の製品を選択し、製品を受け取る予定である指名
人を選択する。ユーザが指名人のアクセス許可を有する
場合、サービスプロバイダーは指名人におけるユーザ識
別子を自動的に決定でき、その結果、指名人の個人の情
緒的な情報は、注文される写真製品をカスタマイズする
ために使用でき、例えば、贈り物としてその指名人に送
ることができる。

【００８２】顧客が選択した画像を用いて、異なりカス
タマイズされた写真製品は生成できる。ブロック５２６
において、アルバムページが選択できる。ブロック５２
８において、顧客が選択した画像を含有するカスタマイ
ズされたカレンダーは選択できる。ブロック５３０にお
いて、モンタージュ写真が選択できる。これは、創造的
な背景と多くの異なる画像を含有する大きなポスターで
ある。ブロック５３２において、顧客はピクチャーマッ
プを生成するために選択できる。ブロック５４０におい
て、写真製品の選択がなされるか又は追加的な写真製品
の選択を望むか、顧客はそのいずれかを決定する。

【００８３】ブロック５４２において、指名人における
個人の情緒的な情報は、写真製品が組織化されるよう
に、最もお気に入りの画像を特徴付けるために使用され
る。図５の参照において既に記載のように、アルバムペ
ージ、カレンダー、又はモンタージュ写真が生成される
場合、個人の情緒的な情報は特色とされる一つ以上の特
にお気に入りの画像を選択するために使用される。それ
らの特色とされる画像は他の画像よりも大きく印刷さ
れ、写真製品においてより目立つ位置である。

【００８４】ブロック５４６において、写真製品は生成
され顧客の指名人に送付されて、顧客はサービスプロバ
イダーによって請求される。

【００８５】コンピュータープログラム製品は、例え
ば、磁気ディスク（フレキシブルディスクなどの）若し
くは磁気テープなどの磁気記憶媒体；光ディスク、光テ
ープ、若しくは機械が読取り可能なバーコードなどの光
記憶媒体；ランダムアクセスメモリ（ＲＡＭ）若しくは
読取り専用メモリ（ＲＯＭ）などの固体状電子記憶デバ
イス；又は任意の他の物理的デバイス若しくは本発明と
一致する方法を実行するためのインストラクションを有
するコンピュータープログラムを記憶するために採用さ
れる媒体である、一つ以上の記憶媒体を含むことができ
る。

【００８６】

【発明の効果】デジタル画像に対するユーザの反応を分
類するために情緒的な情報を活用することが本発明の利
点である。

【００８７】ユーザの反応が、マウス、キーパッド若し
くは音声認識を使用してユーザによって手動で入力でき
るか、又は与えられた画像がどのくらい長く見られてい
たかをユーザによって、ユーザの表情若しくは注視によ
って、或いはユーザの生理的な測定によって一つ以上決
定することによって自動的に決定できることは本発明の
追加的な利点である。

【００８８】情緒的な情報が、ユーザの反応が情緒的な
情報によって提供されることを定義するユーザの識別子
と関係することが本発明のさらなる利点である。

【００８９】同一のデジタル画像に多数のユーザの情緒
的な情報を関連させることが本発明のさらなる利点であ
る。

【図面の簡単な説明】

【図１】情緒的な情報をつくるためのホームコンピュー
ターシステムのブロック図の描写である。

【図２】情緒的な情報をつくるためのシステムの実施態
様を示す流れ図である。

【図３Ａ】情緒的な情報をつくるための信号記憶を選択
するためのユーザインターフェイスの描写である。

【図３Ｂ】情緒的な情報をつくるための信号記憶を選択
するためのユーザインターフェイスの描写である。

【図４Ａ】単一ユーザの個人的な情緒的なタグの実施例
である。

【図４Ｂ】複数の個人の情緒的なタグを備える複数のユ
ーザにおける情緒的なメタデータの実施例である。

【図４Ｃ】情緒的なメタデータを含有するイメージファ
イルの描写である。

【図５】デジタル画像化システムでの情緒的な情報を使
用するための典型的な方法の流れ図である。

【図６】アルバムページをつくるための流れ図である。

【図７Ａ】情緒的な情報を用いて生成した、カスタマイ
ズ化されたアルバムページの描写である。

【図７Ｂ】情緒的な情報を用いて生成したピクチャーマ
ップの描写である。

【図８】情緒的な情報を使用するネットワーク化された
デジタルシステムのブロック図の描写である。

【図９】指名者においてサービスプロバイダーを用いて
カスタマイズ化された写真製品をつくるための流れ図の
描写である。

【符号の説明】

２ ユーザ ４ ビデオカメラ １０ ホームコンピューター １２ マザーボード １８ ポインティング装置 ２０ ハードドライブ記憶装置 ２４ デジタルカメラ

フロントページの続き (72)発明者 エレナ エイ フェドロフスカヤ アメリカ合衆国 ニューヨーク 14534 ピッツフォード イースト・ストリート 311 (72)発明者 セルジェイ エンドリコフスキ アメリカ合衆国 ニューヨーク 14620 ロチェスター サバーバン・コート 504 (72)発明者 ケネス アラン パルルスキ アメリカ合衆国 ニューヨーク 14617 ロチェスター インペリアル・サークル 225 Ｆターム(参考） 5B050 AA09 BA10 BA15 CA08 FA19 GA07 GA08 5B075 ND06 NK02 NK24 PP03 PP13

Claims (3)

【特許請求の範囲】
1. 【請求項１】 記憶されたデジタル画像において検索ス
   キームを提供するための方法であって、該方法は ａ）複数の前記記憶されたデジタル画像から少なくとも
   一つのデジタル画像を分類するために情緒的な情報を提
   供することと； ｂ）ユーザ識別子を提供することと； ｃ）少なくとも一つのデジタル画像に前記情緒的な情報
   及び前記ユーザ識別子を関連させること、並びに ｄ）前記少なくとも一つのデジタル画像の検索を容易に
   するために前記情緒的な情報及び前記ユーザ識別子を使
   用することを含有することを特徴とする方法。
2. 【請求項２】 前記情緒的な情報は、分類が実行された
   時間の範囲内の時間又は期間をさらに特定することを特
   徴とする請求項１に記載の方法。
3. 【請求項３】 デジタル画像及び該デジタル画像に関す
   る情報を記憶するための画像ファイルであって、該画像
   ファイルは、 ａ）デジタル画像データと； ｂ）ユーザ識別子と； ｃ）前記デジタル画像に対する前記ユーザの感覚又は感
   情に関する情緒的な情報 を含有することを特徴とする画像ファイル。