JP2009500982A - 特別事象を用いた集合体画像の識別 - Google Patents

Abstract

デジタル画像が重要であるかどうかを決定するために、事象時間又は期間を、集合体内のデジタル画像と関連付ける方法であって、関連付けられた捕捉時間をそれぞれが有している各デジタル画像の集合体を記憶し；該集合体内のデジタル画像が重要であるかどうかを決定するために、該集合体内の該関連付けられた捕捉時間を特別事象時間と比較し、該比較ステップは、特別事象と関連付けられた特別事象時間を、該特別事象と関連付けられたカレンダー時間に基づいて計算し、そして該比較ステップを実施するためにこのような情報を使用することを含み；そして重要なデジタル画像を該特別事象と関連付けることを含む方法。

Description

本発明は、特別事象を利用して、集合体からデジタル画像を識別するための改善された方法に関する。

デジタル写真技術の到来に伴って、消費者は、デジタル画像及びビデオの大量の媒体コレクションを蓄えつつある。この説明の目的上、「画像」という用語は、静止画像、及びしばしば、関連付けられた音声ストリームを有する画像フレーム集合体である「ビデオ」の両方を含むものとする。従って、画像集合体は、画像又はビデオ又はその両方を含むことができる。1撮影者当たりのデジタルカメラによる画像捕捉平均数は、年々さらに増えつつある。結果として、画像及びビデオの編成及び検索は、典型的な消費者にとって既に問題である。目下のところ、典型的な消費者のデジタル画像収集歴は数年に過ぎない。平均的なデジタル画像及びビデオの収集歴が長くなるのに伴って、編成及び検索の問題は増大し続けることになる。

それ自体を目的としての、又は他の用途における使用のための、媒体コレクションの編成は、最近の研究の主題である。画像インデキシング及び編成のために、比較的高度化された画像内容分析技術が用いられている。画像インデキシング及び検索用途のためには、個々の画像又はビデオと関連付けられた、テキスト又は音声による注釈付けにおいて、シンプルなテキスト分析技術も用いられている。最近の研究は、画像及びビデオの自動アルバム作成のための数多くの技術及びツールに関与している。

例えばLoui及びPavieによる米国特許第6,606,411号明細書に記載されているように、事象セグメンテーションを実施するために、カメラからの日付及び時刻情報が使用されている。事象は、共通の事象、例えば「海辺への旅行」に関するビデオ画像集合から成っている。

Loui及びStentによる米国特許第6,810,146号明細書には、写真と関連付けられた音声注釈付け又は音声注釈付けの転写から、或る特定のタイプの情報を抽出し、次いでこれらの結果を、事象のセグメンテーション、識別、及び要約を実施するために使用することが記載されている。

或る特定のアプリケーションは、時系列上で画像を見ることを可能にする。本質的には、これらの画像は、画像捕捉時間に基づいた連続的な順序で見るか又はこのような順序にソートすることができる。例えば、Google（商標）によって配布されたアプリケーションPicasa 2は、画像及びビデオから成る群又は集合がユーザーに示され、そして各画像集合が、関連付けられた時間(例えば「2005年4月」)を有している時系列ビューを有する。加えて、Adobe（商標）アプリケーションAlbum 2.0は、カレンダーのページが示され、そして特定のカレンダー日付で捕捉された小さな画像バージョンがその日付で示される、カレンダー・ビューを有する。それぞれの事例において、ソフトウェアは、捕捉時間によって関連する画像を集合にグループ分けする。しかし、画像集合は、捕捉日付又は日付範囲以外の有意な名称ではラベル付けされない。このように、これらのアプリケーションによって使用されるカレンダー情報は、日、月、及び年に過ぎない。これらは、有意な名称で画像をラベル付けするために、いかなる行事(例えば感謝祭)、又は予約(フロリダへの休暇旅行)の情報をも用いることはない。

さらに、米国特許第6,108,640号明細書には、休日のような定期的な行事を決定する方法が記載されている。しかし、画像又は画像集合に有意なラベルを割り当てるという記載はない。

英国特許出願GB2403304A号明細書において、Roweは、テキスト・ベースの探索及び画像の検索において後で使用するために、国のイベントに対応する画像捕捉日付に基づいたラベルを画像に付ける方法を記載している。この方法は、多くの人々にとって多くの国定休日が祝われるわけではないという事実に対処することができない。例えばグラウンドホッグ・デイ(Groundhog Day)を実際に祝う人は少ない。「ウッドチャック(groundhogs)」の画像をユーザーが後で探索すると、2月2日に捕捉した画像が戻されることになる。さらに、多くの消費者の画像は、国定休日と関連付けられない行事の際に撮影される(例えば家族の誕生日、又は休暇旅行)ので、この方法は、ほとんどの消費者の写真に有用なラベルを提供することはできない。

米国特許出願公開第20040201740号明細書において、Nakamura及びGibsonは、カレンダー情報に基づいて、画像を記憶場所に入れる方法を記載している。彼らの方法は、画像の自動注釈付けを可能にしない。

米国特許出願公開第20050044066号明細書において、Hooper及びMaoは、カレンダーに基づいた画像資産編成方法を記載している。彼らの方法は、重要な日付範囲を、グラフィカル・ユーザー・インターフェイスを介して人が示すのを可能にする。その日付範囲の間に捕捉された画像は、次いでユーザーのために検索される。この方法は、画像の自動注釈付けを可能にしない。

本発明の目的は、デジタル画像集合体から重要なデジタル画像を識別する改善された方法を提供することである。

この目的は、関連付けられた捕捉時間をそれぞれが有しているデジタル画像又はビデオ又はその両方の集合体を記憶し；該集合体内のデジタル画像又はビデオが重要であるかどうかを決定するために、該集合体内の該関連付けられた捕捉時間を特別事象時間と比較し、該比較ステップは、特別事象と関連付けられた特別事象時間を、該特別事象と関連付けられたカレンダー時間に基づいて計算し、そして該比較ステップを実施するためにこのような情報を使用することを含み；そして重要なデジタル画像及びビデオを該特別事象と関連付けることによって達成される。

本発明の別の目的は、デジタル捕捉デバイスによって捕捉されたデジタル画像をラベル付けするための改善された方法を提供することである。

この目的は、行事又は予約情報を含むカレンダー情報を、デジタルカメラ・デバイス内に転送して記憶し、該デジタル捕捉デバイス内でデジタル画像を捕捉して記憶し；捕捉されたデジタル画像の捕捉時間を決定し、特別事象ラベルを決定するために、該捕捉時間を該パーソナル・カレンダー情報と自動的に比較し、そして該特別事象ラベルを、該捕捉されたデジタル画像と関連付けて記憶することによって達成される。

関連付けられた事象時間又は事象期間情報を有する特別事象情報を用いて、デジタル画像集合体内で、重要なデジタル画像を効果的に探索できることが判った。

添付の図面との関連において本発明の態様の下記説明を参照することによって、本発明の上記及び他の特徴及び目的、並びにこれらを達成する様式は、より明らかになり、また本発明自体もより良く理解されることになる。

下記説明において、本発明のいくつかの態様をソフトウェア・プログラムとして説明する。当業者には容易に明らかであるように、このようなソフトウェアの等価物をハードウェアにおいて構成することもできる。画像操作アルゴリズム及びシステムが良く知られているので、本説明は、本発明に基づく方法の一部を形成するか、又はこの方法とより直接的に協働するアルゴリズム及びシステムに特にむけられている。このようなアルゴリズム及びシステムの他の形態、並びにここで具体的には図示又は記載されていない、これらと関与して画像信号を生成し、その他の形式で処理するためのハードウェア又はソフトウェアを、当業者に知られているこのようなシステム、アルゴリズム、成分、及び要素から選択することができる。以下の明細書に述べる記載内容があれば、その全てのソフトウェアの実行はコンベンショナルであり、当業者の通常の技術範囲内にある。

本発明は、コンピュータ・ハードウェア及びコンピュータ化設備内で実施することができる。例えばこの方法は、デジタルカメラ(後で図10を参照しながら説明する)、デジタルプリンタ、インターネット・サーバー、キオスク、及びパーソナル・コンピュータにおいて実施することができる。図1を参照すると、本発明の実施のためのコンピュータ・システムが示されている。コンピュータ・システムは、好ましい態様を示す目的で示されてはいるが、本発明は、図示のコンピュータ・システムに限定されるものではなく、デジタルカメラ、家庭用コンピュータ、キオスク、小売り業用又は卸売り業用写真仕上げシステム、又はデジタル画像を処理するための任意のその他のシステムのような任意の電子処理システム上で使用することができる。コンピュータ・システムは、ソフトウェア・プログラムを受け取って処理するための、そして他の処理機能を発揮するための、マイクロプロセッサに基づくユニット20(以後、本明細書中ではデジタル画像プロセッサと呼ぶ)を含む。デジタル画像プロセッサ20は、画像捕捉デバイス10、例えばカメラ、スキャナ、又はコンピュータ画像生成ソフトウェアからの画像を処理する。デジタル画像プロセッサ20は、画像出力デバイスによって感じの良い外観がもたらされるように、デジタル画像の全体的な明るさ、トーンスケール、画像構造などのための調節を行うためにデジタル画像を処理するのに使用することができる。デジタル画像プロセッサ20は、データ及び指令の交換のために、汎用制御コンピュータ40(さらにマイクロプロセッサに基づくユニット)とインターフェイス接続されている。汎用制御コンピュータ40及びデジタル画像プロセッサ20は、2つの異なるマイクロプロセッサであることが可能であり、或いは、それぞれの機能を、単一の物理的マイクロプロセッサによって発揮することもできる。デジタル画像プロセッサ20はしばしば、画像を表示するために、画像出力デバイス30、例えばプリンタに画像を出力する。ソフトウェアと関連付けられたユーザー関連情報を表示するために、デジタル画像プロセッサ20には、ディスプレイ・デバイス50が例えばグラフィカル・ユーザー・インターフェイスによって電気的に接続されている。ユーザーがソフトウェアに情報を入力するのを可能にするように、マイクロプロセッサに基づくユニット20には、汎用制御コンピュータ40を介してキーボード60も接続されている。入力のためにキーボード60を使用する代わりに、当業者にはよく知られているように、ディスプレイ・デバイス50上でセレクタを動かすために、そしてセレクタが被さった項目を選択するために、マウスを使用することができる。デジタル画像及びその他のデータは、オフライン・メモリー・デバイス70、例えば外部ハードドライブ、フラッシュ媒体、又はCD-ROM又はDVDに書き込むドライブなどに記憶することもできる。

汎用制御コンピュータ40及びデジタル画像プロセッサ20にソフトウェア・プログラム及びその他の情報を入力する手段を提供するために、典型的にはソフトウェア・プログラムを含むコンパクトディスク-読み出し専用メモリー(CD-ROM)が、汎用制御コンピュータ40内に挿入される。加えて、フロッピー（登録商標）ディスクがソフトウェア・プログラムを含むこともでき、そしてこれは、ソフトウェア・プログラムを入力するために汎用制御コンピュータ40内に挿入される。さらに、汎用制御コンピュータ40は、ソフトウェア・プログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。汎用制御コンピュータ40は、外部ネットワーク、例えばローカルエリア・ネットワーク又はインターネット(図10の370)とのネットワーク接続、例えば電話線又は無線接続を有することができる。

ディスプレイ・デバイス50上には、フラッシュEPROMメモリーカード、例えばよく知られているPCカード、コンパクト・フラッシュ、SD、メモリースティック・カードを介して、画像を表示することもできる。

画像出力デバイス30は最終画像を提供する。画像出力デバイス30は、プリンタ、又は紙又はその他のハードコピー最終画像を提供するその他の出力デバイスであってよい。画像出力デバイス30は、最終画像をデジタル・ファイルとして提供する出力デバイスであってもよい。画像出力デバイス30は、出力、例えば印刷された画像と、メモリーユニット、例えばCD又はDVD上のデジタル・ファイルとの組合せを含むこともできる。

デジタル画像は、1つ又は2つ以上のデジタル画像チャネル又は色成分を含む。各デジタル画像チャネルは二次元画素アレイである。各画素値は、物理的な画素領域に対応する画像形成捕捉デバイスによって受容された光の量に関係する。カラー画像形成用途の場合、デジタル画像はしばしば、赤、緑、及び青のデジタル画像チャネルから成る。動画像形成用途は、一連のデジタル画像として考えることができる。当業者には明らかなように、本発明は、一例としては、本明細書中に述べた用途のいずれかのためのデジタル画像チャネルに適用することができる。デジタル画像チャネルは、行と列とによって配列された二次元画素値アレイとして記載されるが、当業者には明らかなように、本発明は等しい効果を伴って、非直線状アレイに適用することもできる。当業者にはやはり明らかであるが、元の画素値の代わりに処理済画素値を使用するものとして明細書中で下述されるデジタル画像処理ステップは、元の画素値を維持しながら処理済画素値で新しいデジタル画像を生成するのと同じ処理ステップを表すのと機能的に等価である。

なおまた、本発明は、ソフトウェア又はハードウェアの組合せで実施することができ、また、物理的に接続されたデバイス、又は同じ物理的場所内部に配置されたデバイスに限定されない。図1に示されたデバイスのうちの1つ又は2つ以上は互いに隔たるように配置することができ、また、ネットワークを介して接続することができる。デバイスのうちの1つ又は2つ以上は、無線によって、例えばラジオ周波数リンクによって、直接的に又はネットワークを介して接続することができる。

本発明は種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ(例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する)、小売業用デジタル写真仕上げ(例えば、フィルムの受け入れ、デジタル処理、プリントアウト)、家庭内印刷(家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト)、デスクトップ・ソフトウェア(デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア)、デジタル・フルフィルメント(媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う)、キオスク(デジタル又は走査入力、デジタル処理、デジタル又はハードコピー出力)、携帯デバイス(例えばPDA、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機)、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。

それぞれの事例において、本発明は独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、ヒューマン・インターフェイス、例えば走査又は入力、デジタル処理、(必要な場合には)ユーザーに対する表示、(必要な場合には)ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、本発明の方法は、完全自動であってよく、ユーザー入力を有することができ(完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ(ユーザーによって供給するか、(例えばカメラ内の)測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ)によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。

本発明は、本明細書中に記載された態様の組合せを含む。「具体的な態様」などに言及する場合、これは、本発明の少なくとも1つの態様に存在する特徴を意味する。「態様」又は「具体的な態様」などに別個に言及する場合、このことは、同じ態様を必ずしも意味するものではない。しかしながら、このような態様は、そのように示されない限り、又は当業者には容易に明らかなように、互いに排他的ではない。

本発明の態様が図2に示されている。デジタル画像及びビデオ104が、カレンダー・ラベル注釈子114に入力される。なお、デジタル画像に言及するときには、デジタル画像の集合体であるデジタルビデオも含まれる。集合体104内のデジタル画像及びビデオに注釈付けするために、カレンダー・ラベル注釈子114によって、パーソナル・カレンダー146からの特別事象が使用される。集合体104は、専ら画像、又は専らビデオ、又はそれぞれのうちのいくつかを含有することができる。結果として生じる注釈118(同等にラベルと呼ばれる)は、データベース120内に記憶される。各注釈118は、画像と一緒に(例えばファイルヘッダ内)、又はデジタル画像又はビデオと一緒に配置された、又は隔たって配置されたデータベース120内に(例えばコンピュータ・サーバー上)記憶することができる。データベース120はいかなる形態を成していてもよい。加えて、データベース120は、多くのファイル又はいくつかのファイルにわたって分配することができる。その結果として、データベース120は、問い合わせ特別事象を含有する画像及びビデオ104を見いだすために問い合わせる(122)ことができる。例えば「デイトナ・ビーチ」の画像に関する問い合わせ122は、「デイトナ・ビーチへの休暇」の関連注釈を有するデジタル画像又はビデオ104の集合を含有する問い合わせ結果124を戻す。次いで問い合わせ結果124を戻すことができる。問い合わせ結果124は、問い合わせ特別事象と関連付けられたデジタル画像及びビデオ104の集合である。

集合体104からのデジタル画像及びビデオは、捕捉時間抽出子108に渡される。捕捉時間抽出子108は、それぞれのデジタル画像又はビデオ104が捕捉された時間を決定し、そして画像捕捉時間112を出力する。デジタル画像又はビデオ104の画像捕捉時間112は、捕捉時間抽出子108によって、いくつかの方法のうちの1つによって決定される。典型的には捕捉時間は、デジタル画像又はビデオ104のファイルヘッダ内に埋め込まれる。例えばEXIF画像フォーマット(www.exif.orgに記載)は、画像捕捉デバイス10が、デジタル画像又はビデオ104と関連付けられる情報をファイルヘッダ内に記憶するのを可能にする。「日付/時刻」エントリーは、画像が捕捉された日付及び時刻と関連付けられる。いくつかの事例の場合、デジタル画像又はビデオ104は、フィルム又はプリントの走査から生じ、そして画像捕捉時間112は、(しばしば捕捉時に行われるように)通常は画像の右下コーナーの画像領域内に晒された日付を検出することによって決定される。写真がプリントされた日付はしばしば、プリントの裏側に印刷される。或いは、いくつかのフィルム・システム(例えばAPS)は、捕捉日付のような情報を記憶するために、フィルム内に磁気層を含有する。捕捉時間抽出子108は、画像の画像捕捉時間112を抽出するための最も適切な方法を用いる。好ましくは、デジタル画像及びビデオ104の源はデジタルカメラであり、そして捕捉時間抽出子108は、ファイル情報から捕捉時間を抽出する。

なお、画像捕捉時間112は、時刻において正確な分、例えば2000年12月9日午前10:00であることが可能である。或いは、画像捕捉時間112はさほど正確でなくても、例えば2000年又は2000年12月であることも可能である。画像捕捉時間112は、確率分布関数の形態、例えば95%の信頼度で2000年12月9日+/-2日の形態であることが可能である。画像捕捉時間112は、カレンダー・ラベル注釈子114に入力される。

パーソナル・カレンダー146は好ましくは、特別事象を記録するのに有用な、コンピュータ上で走行するソフトウェア・アプリケーションである。例えば、特別事象は、ユーザーによって、又は他人、又は他のアプリケーションによって、パーソナル・カレンダー146に入力することができる。パーソナル・カレンダー146に記録された特別事象は3つのタイプ、すなわち行事、予約、及びジャーナル・エントリーを有する。本質的には、特別事象は、カレンダーのユーザー(又はユーザーたち)に対してパーソナル化された時間ブロックのためのラベルである。例えばMicrosoftによるOutlook、及びLotusによるNotesは両方とも、カレンダー・アプリケーションの例である。パーソナル・カレンダー146は、携帯デバイス、例えばパーソナル・デジタル・アシスタント(PDA)、又は図11を参照しながら後で説明するように、携帯電話機付きカメラ上で動作するアプリケーションであってもよい。パーソナル・カレンダー146は、サーバー上で走行し、そしてインターネットを介してユーザーによってアクセスされるアプリケーションであってもよい。

パーソナル・カレンダー146に記録される3つの特別事象の第1のタイプは、行事142である。行事142は、定期的に発生する特別事象、お祝い、宗教上の休日(固定又は移動可能)、国定休日、又は祭りなどである。一般に、米国特許第6,108,640号明細書に記載されているように、それぞれの次の年の行事142の日付を決定するために数式が使用されるので、任意の期間にわたって行事142を予め計算することができる。一般に、行事142は、一日全体に設けられた名称である。例えば毎年クリスマスは、12月25日である。特定の個人によって祝われる又は守られる、又は特定の個人に関連する行事142は、地理的、宗教的、及び政治的ファクターを含む数多くのファクターに依存する。ユーザーは、ユーザー入力150を介して彼又は彼女にとってどの行事142が関連するかを、パーソナル・カレンダー146に示すことができる。ユーザーは、リストから関連休日を選択するか、又は休日集合間(すなわちカナダ国の休日対米国の休日)で選択するか、又は、地理的、宗教的、及び政治的ファクターを示し、そして関連行事集合をコンピュータに推測させ、次いでこの集合を更なるユーザー入力150を通して精緻化することができる。イースター、クリスマス、及びハヌカーなどのような休日は幅広く祝われるが、ほとんどの人々は、個人的な行事、例えば誕生日、結婚記念日などをも祝う。これらの誕生日及び結婚記念日は、ユーザーの家族及び親しい友人のためにあり得る。ユーザーは、ユーザー入力150を介してパーソナル・カレンダー146に、これらの個人的な行事142を示す。ユーザーは、ユーザーの検査(すなわち、図1に示すように、ディスプレイ・デバイス50を介してユーザーに提示される行事リストから選択する)によって、又は自動的に、又はその両方によって、特別事象を示すことができる。

特別事象の第2のタイプは予約140である。予約140は、パーソナル・カレンダー146のユーザー又はユーザー達に関連する、未来において行われるように計画された何かを表す特別事象である。一般に、予約140は、(行事の場合にように)一日全体に設けられた名称ではない。例えば予約140は、「2時に医者予約」又は午後6時にマシューのカブスカウト・ミーティング」又は「午後4時に動物園でサラに会う」であってよい。予約140は、「2004年8月9-14日、キャンプ休暇」のように、数日間又は数週間に及ぶことができる。

特別事象の第3のタイプは、ジャーナル・エントリー144である。ジャーナル・エントリー144は、(ジャーナル・エントリー144のエントリー時を基点として) 過去に生じた事象を表すパーソナル・カレンダー146へのエントリーである。例えば、2004年11月24日の特別事象「ジョーナが今日初めてハイハイした」は、ジャーナル・エントリーである。なぜならば、これはエントリー時点において既に行われた事象を表すからである。いくつかのジャーナル・エントリー144は極めて長く、例えばユーザーがその日の事象及び回想を表すいくつかのパラグラフを入力する日記である。これらの日記エントリーは、特定のカレンダー時間と関連付けられるので、ジャーナル・エントリー144であり、そして、そのカレンダー時間と関連付けられた事象に関連する。日記の現代の形態は、ユーザーがインターネット上でオンライン・ダイアリーを保持するのを可能にするブログ(又はウェブログ)である(例えばwww.blogger.com)。

各特別事象は、関連付けられたカレンダー時間を有する。前述のように、行事142と関連付けられたカレンダー時間は単一の日である。予約140と関連付けられたカレンダー時間は、時間における正確な瞬間又は時間範囲であってよい。時間範囲は任意の長さ、例えば所定の長さの秒、分、日、又は週であってよい。実際には、予約140と関連付けられたカレンダー時間は、示された開始時刻(例えば「2時に医者予約」)だけを有することができる。この場合、予約140の終了時刻は推定される(例えば2時間の長さと推定)。ジャーナル・エントリーと関連付けられたカレンダー時間は、時間における正確な瞬間又は時間範囲であってよい。特別事象と関連付けられたカレンダー時間は、確率分布関数、例えば標準偏差が2日間の、2000年12月9日午前10:00を中心とする正規分布の形態を成すことができる。

カレンダー・ラベル注釈子114は、画像捕捉時間118を、パーソナル・カレンダー146からの特別事象時間と比較する。特別事象時間については本明細書中で下にさらに詳しく説明する。カレンダー・ラベル注釈子114は、カメラ、パーソナル・コンピュータ、サーバー、携帯電話機、又はPDAなどに存在することができる。カレンダー・ラベル注釈子114は、関連付けられた画像捕捉時間112を、特別事象と関連付けられた特別事象時間と比較することにより、集合体104から重要なデジタル画像及びビデオを決定する。各重要なデジタル画像又はビデオは次いで、好ましくはデジタル画像又はビデオ104が特別事象と関連付けられることを示す、データベース120内に記憶された注釈118を生成することによって、その対応する特別事象と関連付けられる。

図3は、カレンダー・ラベル注釈子114をより詳細に示す図である。事象プロセッサ152は、パーソナル・カレンダー146からの特別事象を処理する。パーソナル・カレンダー146からの特別事象はそれぞれ、前述のように、関連付けられたカレンダー時間を有している。加えて、特別事象は、ユーザー入力150からの他の情報を有することができる。例えば、各特別事象は、これが「画像形成事象」であるか否かをユーザーによってラベル付けすることができる。画像形成事象は、ユーザーのデジタル画像及びビデオの集合体104内のデジタル画像又はビデオ104に対応するかもしれない特別事象である。例えば、2005年8月12〜19日の予約「海辺への休暇」はおそらく画像形成事象であるのに対して、2005年8月2日4:00の予約「歯医者」はおそらく画像形成事象ではない。

事象プロセッサ152は、特別事象毎に特別事象時間を決定する。特別事象時間は、特別事象と関連付けられたカレンダー時間に関連するが、しかし一般には、特別事象に関連する画像が、特別事象と関連付けられたカレンダー時間中に発生する必要はないという事実を説明するために、より広い時間スパンを有している。この特別事象時間は、特別事象に関連する画像及びビデオが、特別事象と関連付けられたカレンダー時間の少し前又は少し後に発生することは一般的であるため、必要である。例えば子供の誕生日が6月26日であり得るが、しかし誕生日パーティは、6月23日に催すことができる。別の例として、多くの画像はたとえ12月25日よりも前に捕捉されたとしても、クリスマスに関連することは一般的である。クリスマスツリーを組み立てる画像、クリスマスキャロルを歌う画像、又はショッピングモールにサンタクロースを見に行く画像は、クリスマスの特別事象行事と関連付けられたカレンダー時間(12月25日)よりも数日前又は数週間前に発生することが可能である。事象プロセッサ152は、ユーザー入力150又はルールに基づいたシステムを用いて、特別事象毎に特別事象時間を設定する。画像捕捉時間112及び特別事象と関連付けられたカレンダー時間と共に、特別事象時間は、所定の期間であってよく、或いは確率分布関数として表すことができる。例えば、ユーザーは、クリスマスと関連付けられた特別事象時間が、12月13日に始まり、12月26日に終わる期間であることを示すことができる。ユーザーはまた、全ての誕生日の特別事象時間が、誕生日のカレンダー時間の3日前から3日後までの期間であることを示すこともできる。例えば、図4はカレンダー時間と、2004年のクリスマスと関連付けられた特別事象時間とのプロットを示している。カレンダー時間は、ハッチ領域として示され、そして特別事象時間は、線で示されている。ユーザーが特別事象時間を示さない場合には、特別事象のカレンダー時間から特別事象時間を決定するために、下記デフォルト・ルールが使用される：

予約： a＝b＝0.1 (q−w)
ジャーナル・エントリー： a＝b＝0
行事：
誕生日／記念日 a＝b＝3日
クリスマス a＝20日、b＝1日
他の行事 a＝b＝1日

特別事象時間は、時点w−aで始まり、そして時点q＋bで終わる期間として計算され、wは、特別事象と関連付けられたカレンダー時間の開始時点であり(又はカレンダー時間が確率分布関数ｐ(x)であるときにはカレンダー時間の5%)、そしてqは、特別事象と関連付けられたカレンダー時間の終了時点である(又はカレンダー時間が確率分布関数ｐ(x)であるときにはカレンダー時間の95%)。

等式を検査することにより、特別事象と関連付けられた特別事象時間が、特別事象と関連付けられたカレンダー時間から計算されることが明らかである。

特別事象時間の集合体は、これが自動生成されたものであれ、マニュアルで入力されたものであれ、特別事象時間のリストになる。

再び図3を参照すると、事象プロセッサ152はまた、パーソナル・カレンダー146からの特別事象が、前述のように画像形成事象である尤度(likelihood)を決定する。この決定は、事象が画像形成事象であるか否かをユーザーが示すユーザー入力150に基づいて行うことができる。さらに、ユーザー入力150が存在しない場合には、事象プロセッサ152は、事象が画像形成事象である尤度を自動的に決定することができる。このことは、画像集合体と、多数の人々からのパーソナル・カレンダーとを収集し、そして、集合体104内の画像及びビデオと、カレンダー内の特別事象との関連性をマニュアルで決定することにより達成される。従って、事象が画像形成事象である尤度は、よく知られた機械学習技術を用いてこのような様式で学習することができる。例えば、集合体104内の画像が、医学的な治療、例えば医者や歯医者にかかるための予約に対応することは極めてまれである。従って、事象プロセッサ152は、その特別事象が画像形成事象である尤度を示すそれぞれの特別事象に、所定の尤度を割り当てる。この誘導は確率であってよく、或いはバイナリ・フラグであってよい。このフラグは、本発明により提供された注釈の精度を改善するために使用される。例えば、偶然に特別事象時間にも対応する画像捕捉時間112を有する画像は、通常の場合には、特別事象名称によって誤って注釈付けされてしまうことになる。例えば、医者の予約が予想よりも早く終わり、その後その人は公園まで歩いて、アヒルの写真を撮影した。事象プロセッサ152が医者の予約が画像形成事象でないことを決定しなければ、アヒルの画像は、誤って「医者の予約」という注釈と関連付けられてしまう。

事象プロセッサ152は、特別事象リスト154を出力する。特別事象リスト154は、特別事象の名称、関連付けられたカレンダー時間、及び関連付けられた特別事象時間を含む特別事象リストである。特別事象リスト154はまた、前述のように各特別事象が画像形成事象である尤度を示す。特別事象に存在する人々、特別事象の場所(例えば自宅、公園、エリー、PAなど)のような追加の情報を、リスト内の特別事象のために含むこともできる。

時間比較子156は、重要なデジタル画像及びビデオ158を決定するために、集合体104内のデジタル画像及びビデオの関連付けられた捕捉時間を、特別事象時間又は期間と比較する。重要なデジタル画像及びビデオ158は、特別事象と関連付けられた特別事象時間と同時の画像捕捉時間112を有するデジタル画像及びビデオの集合体からの画像及びビデオである。例えば、2004年12月24日に捕捉された画像は、行事クリスマスと関連付けられた特別事象時間が図4に示されている通りである場合には、特別事象行事クリスマスと関連付けられた重要な画像158である。画像はこの場合、データベース120内に画像と関連付けられた状態で記憶される注釈118「クリスマス」を受け取ることになる。次いで、ユーザーは「クリスマス」の画像に関して問い合わせ122を行うと、データベース120は、よく知られた技術によって探索され、問い合わせ結果124の中に、2004年12月24日の画像捕捉時間112を有する前述の画像が得られる。問い合わせ結果はこの場合、図1に示したようなディスプレイ・デバイス50上に示すことができる。

重要なデジタル画像及びビデオ158と関連付けられた注釈118は、特別事象識別子情報であり、複数のフィールド、例えば：特別事象の名称、関連付けられたカレンダー時間、及び関連付けられた事象時間、特別事象に存在する人々の数及び身元(例えば誕生日パーティの客リスト)、特別事象の場所(例えば自宅、公園、エリー、PAなど)を含有することができる。注釈118は、特別事象に関連する情報である。なお、画像捕捉時間を特別事象時間と比較することによって自動的に形成された注釈118は、自動生成されたものとして、データベース120内でマーキングすることができる。このことは、ユーザーが、ユーザーの所望通りに、マニュアルでだけ入力された注釈118、自動的にのみ生成された注釈118、又はこれらの組合せを考慮したマッチングに関して、問い合わせ122を提供し、そしてデータベース120を探索するのを可能にする。

集合体104内の画像及びビデオの全てが、特別事象リスト154内の事象と関連付けられた特別事象時間に対応する捕捉時間112を有するようになるわけではない。換言すれば、集合体104からのデジタル画像及びビデオの全てが、重要な画像及びビデオ158になるわけではない。これらの画像は、マニュアルによるラベル付けのために、図1に示されているようなディスプレイ・デバイス50上でユーザーに示すことができる。

時間比較子156は、重要な画像の画像捕捉時間112と、特別事象の特別事象時間との両方に依存する各重要な画像158と関連付けられた信頼スコアを出力することができる。好ましくは、信頼スコアは、xが画像捕捉時間112(又は画像捕捉時間が確率分布関数であるときには平均画像捕捉時間)である場合に評価されたp(x)の値である。

別の態様が図5に示されている。この態様の場合、デジタル画像及びビデオの集合体104をクラスタリングして事象クラスター164を形成するための事象クラスタリング子162に入力される。事象クラスター164は、画像内容及び画像捕捉時間112に基づく、デジタル画像及びビデオ104の互いに排他的なより小さな集合である。デジタル画像及びビデオ104の各集合は、デジタル画像及びビデオの集合体104の年代順に関連するセグメンテーションに対応する。換言すれば、各事象クラスター164は、事象クラスター内の最古の画像又はビデオの後に、そして事象クラスター164内の最新の画像の前に捕捉されたデジタル画像及びビデオの集合体104からの全ての画像を含有する。同一譲受人による米国特許第6,606,411号明細書(Loui及びPavie)(参考のため本明細書中に引用する)には、デジタル画像及びビデオ104の集合から事象クラスター164を生成することが詳細に記載されている。

捕捉時間抽出子108は次いで、各事象クラスター164を入力し、そして各事象クラスター164と関連付けられた画像捕捉時間112を決定した。好ましくは、特定の事象クラスター164に対応する画像捕捉時間112は、事象クラスター164内の最新画像と最古画像との間の時間にわたる期間又は時間範囲である。画像捕捉時間112、並びに、画像及びビデオの予め決められた群と呼ばれる事象クラスター164は、データベース120内の事象クラスター164と関連付けられた注釈118を生成するために、パーソナル・カレンダー146と一緒にカレンダー・ラベル注釈子114に入力される。この別の態様は、デジタル画像及びビデオの集合体104から単一の画像及びビデオを注釈付けするという上記有用性に加えて、画像及びビデオの群を注釈付けするための本発明の有用性を示す。この態様の場合、図3の時間比較子156によって実施される比較ステップは、画像群と関連付けられた画像捕捉時間112を、特別事象時間と比較することにより、予め決められた画像群を特別事象と関連付けることを含む。

さらに別の態様が図6に示されている。この態様の場合、カレンダー・ラベル注釈子114からの注釈118を含有するデータベース120は、重要な画像を見いだすために、ユーザーによって問い合わされる(122)。例えば、ユーザーは、「ママ」という問い合わせ122を入力することにより、重要な画像を探索することができる。問い合わせ122は、追加の関連語を増強することにより問い合わせ122における用語を拡張するキーワード拡張子170に入力される。キーワード拡張は、自然言語拡張分野の技術を用いて実施することができる。例えば、語の意味、品詞、同義語、下位語、上位語などを決定するために、Princeton Universityによって管理され、そしてhttp://wordnet.princeton.edu/においてオンラインで入手可能なデータベースWordNetを使用することができる。キーワード拡張子170は次いで、拡張された問い合わせ172を出力する。例えば、問い合わせ122が「ママ」であるときには、拡張された問い合わせ172は「ママ」、「母」、及び「親」である。キーワード拡張子170によって追加された追加の問い合わせ語のそれぞれは、追加の問い合わせ語と元の問い合わせ122との関係の強さに応じた、関連付けられたキーワード・スコアを有している。例えば「母」は「ママ」の同義語であるので、そのキーワード・スコアは1.0であり、そして、「親」は、関連はするが等価ではない定義を有するので、そのキーワード・スコアは0.4である。拡張された問い合わせ172は、拡張された問い合わせ172の用語と関連する注釈を有する画像及びビデオに関してデータベース120を探索するために使用される。この例を続けると、関連付けられた注釈「母の日」を有する画像及びビデオが検出され、そして図1に示されたようなディスプレイ・デバイス50上でユーザーに表示するために、問い合わせ結果124として戻されることになる。関与スコア、キーワード・スコア、画像又はビデオの捕捉時間に従って、画像又はビデオの名称などに従ってアルファベット順に、問い合わせ結果124をソートすることができる。ユーザーは結果を検査し、そして、画像及びビデオの自動検索による間違いを取り除くために、マニュアル・ツールを使用することができる。

別の例の場合、「動物」に関する問い合わせ122は、拡張された問い合わせ「生き物」、「動物園」、及び「農場」をもたらすために、キーワード拡張子170によって処理される。データベース120が、関連する画像及びビデオに関して探索されると、「2005年4月6日、動物園への旅行」というラベルを付けられた画像が見いだされ、そして問い合わせ結果124として戻される。

データベース120内に記憶された注釈118は、パーソナル・カレンダー146からの特別事象名称に基づく。特別事象名称からデータベースに記憶するために、追加の注釈を生成することができる。好ましくは、追加の注釈は、特別事象名称の上位語である。例えば特別事象名称が「ドッグ・ショー」である場合、追加の注釈は、「動物」、「生き物」、及び「生物」であることが可能である。

さらに別の態様が図7によって示されている。デジタル画像及びビデオの集合体104は、画像及びビデオ内の人々の自動検出のために、人物ファインダー106に入力される。カレンダー・ラベル注釈子114は、人物の特徴110を、人物ファインダー106によって検出された人物一人当たり1セットずつ入力し、そしてさらに、N人の異なる重要人物の外観モデル116_1-Nを入力する。カレンダー・ラベル注釈子114はまた、画像捕捉時間112、及びパーソナル・カレンダー146からの特別事象を入力する。上記のように、特別事象は、特別事象に存在する人々の名前(身元)を含有することができる。カレンダー・ラベル注釈子114は次いで、外観モデル116、画像捕捉時間112、及びパーソナル・カレンダー146からの特別事象を使用して、人物ファインダー106によって見いだされた人物達から重要人物を認識する。

特別事象が、特別事象に存在する人々の名前のリストを含有する場合、これらの人々がこの事象で捕捉された画像又はビデオ(すなわち、その特定の事象に関して重要な画像及びビデオ158)に現れる可能性は極めて高い。このように、特定の事象に関して重要な画像及びビデオ内の人々を認識する際に、外観モデル116を有し、且つ重要な特別事象に存在する人々の上に、より大きい重み(可能性)を置く。この態様は、デジタル画像及びビデオの集合体104内の人々のより正確な認識をもたらす。

別の態様が図8に示されている。この態様の場合、特別事象154のリストが、ディスプレイ・デバイス50を介してユーザーに提示される。ユーザーは次いで、表示された特別事象の部分集合を選択し、これにより、重要な特別事象180のリストを定義する。特別事象154のリストは、特別事象のタイトル、及び関連付けられたカレンダー時間のテキスト・リストとして表示することができる。或いは、特別事象のリストは、特別事象と関連付けられたカレンダー時間を示す特別事象のタイトルの位置を有するカレンダーとして表示することができる。このタイプのカレンダー表示は一般に知られており、またカレンダー・アプリケーションのために実施される。特定の特別事象のタイトルは、その特定の特別事象と関連付けられた重要な画像又はビデオ158によって置き換えるか、又は増強することができる。重要な特別事象180のリストは、次いで、重要な特別事象180と関連付けられた重要な画像又はビデオ158を見いだすために、時間比較子156に渡される。このインターフェイスは、ユーザーが特別事象154の全てではなく、重要な特別事象180だけから、注釈付けのために重要な画像を検出するのを可能にする。

さらに別の態様が図9に示されている。パーソナル・カレンダー146は、カレンダー・セレクタ244によってパーソナル・カレンダー集合242の中から選択される。カレンダー・セレクタ244は、カレンダー・ラベル注釈子114に渡すために、撮影者232の身元に対応するパーソナル・カレンダー146を選択する。

集合体104の画像及びビデオはまた、各画像及びビデオの特定の撮影者の身元を決定するために、撮影者決定子238によって分析される。EXIFファイル・フォーマットが使用されると、撮影者232の身元は、例えば「カメラ所有者」、「画像作成者」、「撮影者」、又は「著作権」タグに記憶することができる。画像の撮影者の身元は、ビデオ捕捉前、捕捉中、捕捉後に、マニュアル入力することができる。さらに、撮影者232からバイオメトリック情報を抽出し、撮影者232を識別し、次いで、画像に撮影者232の身元を注釈付けするための手段を含有するいくつかのカメラ(例えば米国特許出願公開第20020080256号明細書)が記載されている。いずれの場合にも、撮影者決定子238は、撮影者232の身元を発見し、そしてその情報をカレンダー・セレクタ244に渡す。いくつかの事例においては、撮影者232は、撮影者決定子238によって識別することができない。この場合には、撮影者232は「不明」である。例えば、この状況は、カメラの所有者が休暇中であり、歴史的建物の前で彼女の(休暇中のカメラ所有者)カメラを使って彼女の画像を捕捉するように、見知らぬ人に頼むときに発生し得る。米国特許出願公開第20020080256号明細書に記載されているようなカメラは、そのプロフィールがカメラによって知られている潜在的なカメラ・ユーザーの小さな集合(例えば一次ユーザーがおそらくカメラ所有者であり、二次ユーザーがカメラ所有者の友人及び家族である)から撮影者232を好都合に識別できるにすぎない。この場合、そのカメラを使用して見知らぬ人によって捕捉された画像は単に、「不明の」撮影者232を有するとして、撮影者決定子238によって識別されることになる。

例えば家族の各構成員がパーソナル・カレンダー146を有することができる。パーソナル・カレンダー集合からのパーソナル・カレンダー146の選択は、各画像又はビデオの撮影者232の身元に基づくことができる。例えばジムによって捕捉された画像は、画像捕捉時間を、ジムのカレンダーと関連付けられた特別事象時間と比較するために、カレンダー・ラベル注釈子114に入力される。

図10は、本発明を実施することができる、デジタルカメラ付き電話機300に基づく画像形成システムのブロックダイヤグラムである。デジタルカメラ付き電話機300は、画像捕捉デバイス10の1つのタイプである。好ましくは、デジタルカメラ付き電話機300は、画像を捕捉して見直すときにユーザーが容易に手で持つのに十分に小さな、携帯可能な電池動作型デバイスである。デジタルカメラ付き電話機300は、例えば内部フラッシュEPROMメモリー、又は取り外し可能なメモリーカードであることが可能な画像データ/メモリー330を使用して記憶されるデジタル画像を生成する。画像データ/メモリー330を提供するために、代わりに他のタイプのデジタル画像記憶媒体、例えば磁気ハードドライブ、磁気テープ、又は光ディスクを使用することもできる。

デジタルカメラ付き電話機300は、シーン(図示せず)からCMOS画像センサー310の画像センサーアレイ314上に光を集束するレンズ304を含む。画像センサーアレイ314は、よく知られたBayerカラーフィルター・パターンを使用してカラー画像情報を提供することができる。画像センサーアレイ314は、タイミング発生器312によって制御され、タイミング発生器312はまた、周囲の照明が暗いときにシーンを照らすために、フラッシュ302を制御する。画像センサーアレイ314は、例えば1280列 x 960行の画素を有することができる。

いくつかの態様の場合、デジタルカメラ付き電話機300は、低解像度ビデオ画像フレームを形成するために、画像センサーアレイ314の複数の画素を合計する(例えば画像センサーアレイ314の各4列 x 4行領域内部に同じ色の画素を合計する)ことによって、ビデオクリップを記憶することもできる。ビデオ画像フレームは、例えば1秒当たり15フレームの読み出し速度を用いて、規則的なインターバルで、画像センサーアレイ314から読み取られる。

画像センサーアレイ314からのアナログ出力信号は増幅され、そしてCMOS画像センサー310上のアナログ-デジタル(A/D)変換器回路316によって、デジタルデータに変換される。デジタルデータは、DRAMバッファメモリー318内に記憶され、そして続いて、フラッシュEPROMメモリーであってよいファームウェア・メモリー328内に記憶されたファームウェアによって制御されるデジタルプロセッサ320によって処理される。デジタルプロセッサ320は、デジタルカメラ付き電話機300及びデジタルプロセッサ320が低電力状態にある時にもデータ及び時間を保持するリアルタイム・クロック324を含む。

処理されたデジタル画像ファイルは、画像/データメモリー330内に記憶される。画像/データメモリー330は、図11を参照して後で説明するように、ユーザーのパーソナル・カレンダー情報を記憶するために使用することもできる。画像/データメモリーは、他のタイプのデータ、例えば電話番号、しなければならないことのリストなどを記憶することもできる。

静止画像モードの場合、デジタルプロセッサ320は、レンダリングされたsRGB画像データを生成するために、カラー補間、及びこれに続いてカラー及びトーンの補正を行う。デジタルプロセッサ320は、ユーザーによって選択された種々様々な画像サイズを提供することもできる。レンダリングされたsRGB画像データは次いでJPEG圧縮され、そして画像/データメモリー330内にJPEG画像ファイルとして記憶される。JPEGファイルは、前述のいわゆる「Exif」画像フォーマットを使用する。このフォーマットは、種々のTIFFタグを使用して特定の画像メタデータを記憶するExifアプリケーション・セグメントを含む。例えば、ピクチャが捕捉された日付及び時刻、レンズのf/ナンバー及びその他のカメラ設定値を記憶し、そして画像キャプションを記憶するために、別個のTIFFを使用することができる。具体的には、図11を参照して後で説明するように、ラベルを記憶するためにImageDescriptionタグを使用することができる。リアルタイム・クロック324は、日付/時刻値を提供し、この値は、各Exif画像ファイル内に日付/時刻メタデータとして記憶される。

デジタルプロセッサ320はまた、低解像度「サムネイル」サイズ画像を形成する。この画像は、「最大解像度及び低減された解像度の画像のマルチフォーマット記憶装置を提供する電子静止画像カメラ(Electronic Still Camera Providing Multi-Format Storage of Full And Reduced Resolution Images)」(Kuchta他)と題される同一譲受人による米国特許第5,164,831号明細書に記載されているように形成することができる。この開示内容を参考のため本明細書中に引用する。サムネイル画像は、RAMメモリー322内に記憶し、カラーディスプレイ332に供給することができる。カラーディスプレイは例えば、アクティブ・マトリックスLCD又は有機発光ダイオード(OLED)であってよい。画像が捕捉された後、これらは、サムネイル画像データを使用することにより、カラーLCD画像ディスプレイ332上で素早く見直すことができる。

カラーディスプレイ332上に表示されたグラフィカル・ユーザー・インターフェイスは、ユーザー制御装置334によって制御される。ユーザー制御装置334は、電話番号をダイアルするための専用のプッシュボタン(例えば電話機キーパッド)、モード(例えば「電話」モード、「カレンダー」モード、「カメラ」モード)を設定するための制御装置、4方向制御手段(上、下、左、右)、及びプッシュボタン・センター「OK」スイッチを含むジョイスティック・コントローラ、などを含むことができる。

デジタルプロセッサ320に接続された音声コーデック340は、マイクロフォン342から音声信号を受け取り、そしてスピーカー344に音声信号を提供する。これらの成分は、電話会話のためと、ビデオシーケンス又は静止画像と一緒に音声トラックを記録して再生するためとの両方の目的で使用することができる。スピーカー344は、電話着呼(incoming phone call)をユーザーに知らせるために使用することもできる。このことは、ファームウェア・メモリー328内に記憶された標準着信音を使用して、又は携帯電話ネットワーク358からダウンロードされ、そして画像/データメモリー330内に記憶されたカスタム着信音を使用することにより行うことができる。加えて、電話着呼のサイレント(例えば非可聴)通知を提供するために、振動デバイス(図示せず)を使用することができる。

汎用制御コンピュータ40に接続されたドック/充電器364にデジタルカメラ付き電話機300を接続するために、ドック・インターフェイス362を使用することができる。ドック・インターフェイス362は例えば、周知のUSBインターフェイス仕様に適合してよい。或いは、デジタルカメラ300と画像捕捉デバイス10との間のインターフェイスは、無線インターフェイス、例えば周知のBluetooth（登録商標）無線インターフェイス又は周知の802.11b無線インターフェイスであることが可能である。ドック・インターフェイス362は、画像/データメモリー330から汎用制御コンピュータ40へ画像をダウンロードするために使用することができる。ドック・インターフェイス362は、汎用制御コンピュータ40からデジタルカメラ付き電話機300内の画像/データメモリーへ、カレンダー情報を転送するために使用することもできる。ドック/充電器364は、デジタルカメラ付き電話機300内の電池(図示せず)を再充電するために使用することもできる。

デジタルプロセッサ320は、無線モデム350にカップリングされており、無線モデム350は、デジタルカメラ付き電話機300がRFチャネル352を介して情報を送信し受信するのを可能にする。無線モデム350は、ラジオ周波数(例えば無線)リンクを介して、携帯電話ネットワーク358、例えば3GSMネットワークと交信する。携帯電話ネットワーク358は、写真サービス・プロバイダー372と交信する。写真サービス・プロバイダー372は、デジタルカメラ付き電話機300からアップロードされたデジタル画像を記憶することができる。これらの画像は、汎用制御コンピュータ40を含む他のデバイスによって、インターネット370を介してアクセスすることができる。携帯電話ネットワーク358はまた、通常の電話サービスを提供するために、標準的な電話ネットワーク(図示せず)に接続する。

図11は、本発明のさらに別の態様を示すフローチャートである。この態様は、図10を参照して前述した、デジタルカメラ付き電話機300に基づく画像形成システムを使用することができる。この態様の場合、カレンダー情報がデジタルカメラ付き電話機300内に記憶され、そしてデジタル画像が捕捉されるのに伴って、これらのデジタル画像に適切なラベルを提供するためにアクセスされる。

ブロック400において、パーソナル・カレンダー146内に特別事象が記録されている。このことは、汎用制御コンピュータ40を使用して行うことができる。図2を参照して前述したように、パーソナル・カレンダー146内に記録された特別事象は、予約140及び行事142を含むことができる。これらの特別事象は、デジタルカメラ付き電話機300のユーザーに対してパーソナル化された時間ブロックのためのラベルである。

ブロック402において、パーソナル・カレンダー146はデジタルカメラ付き電話機300に転送される。転送は、汎用制御コンピュータ40のハードドライブ(図示せず)からデジタルカメラ300内のデジタルプロセッサ320へカレンダー・データを転送するために、ドック/充電器364及びドック・インターフェイス362を使用することにより達成することができる。デジタルプロセッサ320は次いで、画像/データメモリー330内のパーソナル・カレンダー140を記憶する。

デジタルカメラ付き電話機300は、ユーザーが種々の動作モードを選択するのを可能にするユーザー制御装置334を含む。「電話」モードにおいて、デジタルカメラ付き電話機300は、標準的な携帯電話機として動作する。「カレンダー」モードにおいて、デジタルカメラ付き電話機300は、カラーディスプレイ332上にカレンダー情報を表示する。このことは、ユーザーが、画像/データメモリー330内のパーソナル・カレンダー140の一部として記憶された予約140又は行事142を見直し修正するのを可能にする。「カメラ」モードにおいて、デジタルカメラ付き電話機300は、画像を捕捉し、表示し、そして転送するために、静止画像カメラ又はビデオカメラとして動作する。

ブロック404において、ユーザーはカメラモードを選択する。ブロック406において、ユーザーは、カラーディスプレイ332をファインダーとして使用して、捕捉されるべき画像を構成し、そして、画像を捕捉するために、ユーザー制御装置334の1つ(例えばシャッターボタン、図示せず)を押す。画像センサーアレイ314によって提供された画像信号は、A/D変換器回路316によってデジタル信号に変換され、そしてDRAMバッファメモリー318内に記憶される。

ブロック408において、デジタルプロセッサ320は、ピクチャが撮影された日付及び時刻を決定するために、各画像を捕捉した後にリアルタイム・クロック324の値を読み取る。ブロック412において、デジタルプロセッサ320は、リアルタイム・クロック324によって提供されたデータ/時間に関するカレンダー・エントリーを検索する。

ブロック414において、デジタルプロセッサ320は、図3を参照して前述したように、現在のデータ/時間に関するカレンダー・エントリーが、特別事象時間に対応するかどうかを決定する。

ブロック416において、デジタルプロセッサ320は、画像メタデータ案を作成するためにカレンダー・エントリーを使用する。例えば、カレンダー・エントリーが「マシューのサッカーの試合」である場合、画像メタデータ案は「事象：サッカーの試合、主題：マシュー」であることも可能である。

ブロック418において、画像メタデータ案は、ブロック406において捕捉された画像と一緒に、カラーディスプレイ332上に表示される。このことは、ユーザーが、画像メタデータ案を見、そしてこれが捕捉された画像に対して適切なラベルかどうかをチェックするのを可能にする。画像メタデータ案を表示するのに加えて、プロセッサ320は、ユーザーがメタデータ案を承認することの要求を表示する。このことは例えば、カラーディスプレイ332上に、「イエス」及び「ノー」の選択可能な応答と共に、テキスト「OK?」を表示することにより行うことができる。

ブロック420において、ユーザーは、ユーザー制御装置334を使用して、「イエス」又は「ノー」応答を選択する。メタデータが適切でない場合には、ユーザーは「ノー」応答を選択する。このことは、特別事象が行われなかった場合、例えばサッカーの試合が中止され、これにより画像が、異なるタイプの事象に対応する場合に発生し得る。

ブロック422において、ユーザーがメタデータに「OK」しない場合(ブロック420に対してノー)、デジタルプロセッサ320は、ユーザーがメタデータを修正するのを可能にするユーザー・インターフェイス・スクリーンをカラーディスプレイ332上に表示する。このことは、メタデータを単に削除することにより、又は代わりのメタデータを選択することにより行うことができる。この代わりのメタデータは、頻繁に使用されるラベル(例えば科学博物館、運動場)のリストから選択することができ、或いは、マニュアル入力されたテキスト文字列であってもよい。

なお、一旦ユーザーが、画像のための許容可能なラベルを作成するために(ブロック412〜422を用いて)1つの画像に関するメタデータを承認又は修正したら、同じ写真事象中にこれらのステップを繰り返す必要は通常ない。こうして、承認(又は修正)されたメタデータは、ブロック416〜422を繰り返すことなしに、同じ写真事象の、撮影された全ての後続の画像(例えば、カメラがターンオフされるまで撮影された全ての画像)の画像ファイル内に自動的に記憶することができる。

ブロック424において、ユーザーがメタデータに「OK」した場合(ブロック420に対して「イエス」)、又はユーザーがブロック422において、修正されたメタデータを提供する場合、デジタルプロセッサ320は、捕捉された画像の画像ファイル内にメタデータを記憶する。例えば、メタデータは、捕捉された静止画像を含有するExifファイルのImageDescriptionタグ内に記憶することができる。

ブロック426において、画像ファイルは、データベース120に転送される。このことは、例えば、画像ファイルを携帯電話ネットワーク358を介して写真サービス・プロバイダー372に送信するために無線モデム350を使用することにより行うことができる。写真サービス・プロバイダー372は次いで、画像ファイルを記憶することができ、そして画像ファイルが、汎用制御コンピュータ40を含む種々のコンピュータによって、インターネット370を介してアクセスされるのを可能にする。画像ファイルは、携帯電話ネットワーク358を用いて、デジタルカメラ付き電話機300によってアクセスすることもできる。或いは、画像ファイルは、ドック・インターフェイス362及びドック/充電器364を使用して、汎用制御コンピュータ40に転送することができる。画像ファイル内のメタデータ、例えば日付/時刻メタデータ、及びImageDescriptionタグを使用して記憶された特別事象ラベルは、より迅速な探索を可能にするために、各画像ファイルから読み取り、そして画像名称と一緒に別個のメタデータ・データベース内に記憶することもできる。

ブロック430において、データベース120のメタデータは、重要な画像の位置を見つけるために探索される。このことは、図6を参照して前述したように、問い合わせ122を入力することにより達成することができる。

ブロック432において、問い合わせ122と最良にマッチングするメタデータを有する画像が表示される。画像が汎用制御コンピュータ40内に記憶される場合、これらの画像は、ディスプレイ・デバイス50上に表示することができる。或いは、画像が、写真サービス・プロバイダー372によって記憶される場合には、これらの画像は、携帯電話ネットワーク358を用いてデジタルカメラ付き電話機300に転送し、そしてカラーディスプレイ332上に表示することができる。

ブロック434において、ユーザーは、メタデータ・ラベルを補正又は増大するために、特定の写真事象と関連付けられたメタデータを修正することができる。修正されたメタデータ・ラベルは、次いでデータベース120内に記憶される。

図12は、本発明のさらに別の態様を示すフローチャートである。この態様の場合、種々異なる特別事象が、ユーザーによって撮影されたそのタイプの特別事象の画像にアクセスできることをユーザーが望む人物(例えば家族、友人、チームメイト、職場の同僚など)の種々異なるリストと関連付けられる。例えば、ユーザーは、サラの親類全員がサラの誕生日の画像を見ることができるようにしたいと思うことがあり、また、マシューのチームメイト全員がマシューのサッカーの試合の画像を見ることができるようにしたいと思うことがある。

ブロック401において、図11のブロック400を参照して前述したように、特別事象がパーソナル・カレンダー146内に記録される。加えて、パーソナル・カレンダー146は、ネットワークを介してアクセス可能にさせられる。このことは、写真サービス・プロバイダー372がインターネット370を介してパーソナル・カレンダー146にアクセスするのを可能にすることによって行うことができる。

ブロック403において、パーソナル・カレンダー146内に記録された特別事象のうちの少なくともいくつかのための共有リストが記憶される。このことは例えば、種々異なるタイプの特別事象と関連付けられた画像にアクセスするのを許されることになるユーザーの、写真サービス・プロバイダー372によってすでに提供された共有リストから選択するのを可能にすることによって行うことができる。例えば、休日及び誕生日の画像にアクセスするのを許される家族及び友人から成る第1のリスト、チームの事象の画像にアクセスするのを許されるチームメイトから成る第2のリスト、及び仕事上の事象の画像にアクセスするのを許される職場の同僚から成る第3のリストがあってもよい。加えて、特定の特別事象のための共有リストに、パーソナル・カレンダー内に記録されたその特定の特別事象の参加者全員(例えばパーティ又は会議に招かれた人々全員)を加えることにより、事象に対して特異的な共有リストを自動的に作成することができる。

図11のブロック400を参照して前述したように、ブロック404においてユーザーはカメラモードを選択し、そしてブロック406においてユーザーは、捕捉されるべき画像を構成する。

ブロック408において、デジタルプロセッサ320は、ピクチャが撮影された日付及び時刻を決定するために、各画像が捕捉された後、リアルタイム・クロック324の値を読み取る。ブロック409において、日付/時刻は、捕捉された画像と関連付けられたメタデータとして、例えばExif画像ファイルの日付/時刻TiFFタグ内に記憶される。

ブロック411において、デジタルカメラ付き電話機300内のデジタルプロセッサ320は、データベースへの、捕捉された画像の転送を開始する。このことは、各画像が捕捉された後、又は所定数の画像が捕捉された後に自動的に行うことができ、或いは、ユーザーによってマニュアルで開始することもできる。開始されると、無線モデム354は、携帯電話ネットワーク358を介して写真サービス・プロバイダー372に画像ファイルを送信し始める。

ブロック412において、写真サービス・プロバイダーは、転送された画像ファイル内に記憶された日付/時刻に関するカレンダー・エントリーを検索する。

ブロック414において、図11を参照して前述したように、サービス・プロバイダー372は、現在のデータ/時間に関するカレンダー・エントリーが、特別事象時間に対応するかどうかを決定する。

ブロック417において、サービス・プロバイダー372は、画像メタデータ、及びブロック403内に記憶された共有リストのうちの1つである「共有リスト」案を作成するために写真事象を使用する。例えば、カレンダー・エントリーが「マシューのサッカーの試合」である場合、画像メタデータは「事象：サッカーの試合、主題：マシュー」であることが可能であり、また共有リスト案は、マシューのチームメイト全員のリストであることも可能である。

ブロック419において、共有リストは、無線モデム350を介してデジタルカメラ付き電話機300に通信され、そしてブロック406において捕捉された画像と一緒に、カラーディスプレイ332上に表示される。このことは、ユーザーが、識別された特別事象と関連付けられた共有リストを有する、捕捉された画像を共有するべきか否かを決めるのを可能にする。共有リスト(個人又はグループ名のリストであってよい)を表示するのに加えて、プロセッサ320は、ユーザーが共有リスト案を承認することの要求を表示する。このことは例えば、カラーディスプレイ332上に、「イエス」及び「ノー」の選択可能な応答と共に、テキスト「OK?」を表示することにより行うことができる。

ブロック421において、ユーザーは、ユーザー制御装置334を使用して、「イエス」又は「ノー」応答を選択する。共有リストが適切でない場合には、ユーザーは「ノー」応答を選択する。このことは、特別事象が行われなかった場合、例えばサッカーの試合が中止され、これにより画像が、異なるタイプの事象に対応する場合に発生し得る。

ブロック423において、ユーザーが共有リストに「OK」しない場合(ブロック421に対してノー)、デジタルプロセッサ320は、ユーザーが共有リストを修正するのを可能にするユーザー・インターフェイス・スクリーンをカラーディスプレイ332上に表示する。このことは、単に画像が他の誰かと共有されるのを許さないことにより、又は代わりの共有リストを選択することにより行うことができる。

なお、一旦ユーザーが、(ブロック412〜423を用いて)1つの画像に関する共有リストを承認又は修正したら、同じ写真事象中にこれらのステップを繰り返す必要は通常ない。こうして、承認(又は修正)された共有リストは、ブロック414〜423を繰り返すことなしに、同じ写真事象の、撮影された全ての後続の画像(例えば、カメラがターンオフされるまで撮影された全ての画像)のために自動的に使用することができる。

ブロック425において、ユーザーが共有リストに「OK」した場合(ブロック421に対して「イエス」)、又はユーザーがブロック423において、修正された共有リストを提供する場合、サービス・プロバイダー372は、特別事象と関連付けられたアップロードされた画像が、共有リスト上の人物と共有されるのを可能にする。画像は、従来技術においてよく知られた方法を用いて、例えば、画像がウェブブラウザを用いて見られるのを可能にするリンクを含有する共有リスト上の各人物にeメールを送信することにより共有することができる。例えば、同一譲受人による米国特許第5,760,917号明細書(Sheridan)に記載されているように、転送された画像のプリントを注文するために、任意の共有リスト上の人物には、他のタイプの認証を与えることもできる。

ブロック430において、データベース120のメタデータは、重要な画像の位置を見つけるために探索される。探索は、画像の全てにアクセスできるデジタルカメラ300のユーザーによって、又は特定の特別事象と関連付けられた画像だけにアクセスできる、ユーザーの共有リストの1つに存在する人物によって実施することができる。このような探索が、図6を参照して前述したように、問い合わせ122を入力することにより達成することができる。

ブロック432において、問い合わせ122と最良にマッチングするメタデータを有する画像が表示される。画像は、汎用制御コンピュータ40のディスプレイ・デバイス50上に表示することができ、或いは、画像は、携帯電話ネットワーク358を用いてデジタルカメラ付き電話機300に転送し、そしてカラーディスプレイ332上に表示することができる。

図13は、本発明の追加の態様を示すフローチャートである。この態様の場合、特定の特別事象(例えば重要な会議、コンサート、結婚式など)が、パーソナル・カレンダーにおけるサイレント事象として記録される。加えて、着信音を他の特別事象と関連付けることができ、例えば、7月4日の休日に「星条旗よ永遠なれ」の短い抜粋を、又は誕生日に「ハッピーバースデイ」を関連付けることができる。電話着呼がユーザーの電話付きカメラによって受信されると、パーソナル・カレンダーは、現在の日付/時刻がサイレント事象に対応するかどうかを決定するためにチェックされる。もし対応するならば、着呼があることをユーザーに示すために振動デバイスが使用される。もし対応しないならば、パーソナル・カレンダーは、着呼を示すために、デフォルト着信音の代わりに特別着信音が使用されるべきかどうかを決定するためにチェックされる。

ブロック400において、パーソナル・カレンダー146内に特別事象が記録されている。このことは、汎用制御コンピュータ40を使用して行うことができる。図2を参照して前述したように、パーソナル・カレンダー146内に記録された特別事象は、予約140及び行事142を含むことができる。これらの特別事象は、デジタルカメラ付き電話機300のユーザーに対してパーソナル化された時間ブロックのためのラベルである。

ブロック436において、ユーザーは、或る特別事象が、彼らがその間、電話機が鳴るのを望まないサイレント事象であるかどうかを記録することができる。これらのサイレント事象は、特定の仕事関連の会議、又は電話機が鳴るのが他人の気に障り、またユーザーを狼狽させる社会的イベント、例えば結婚式、コンサートなどを含むことができる。ユーザーは、いくつかの反復事象(例えばスタッフ会議又はコンサート)が常にサイレント事象であるべきであることを指定することもできるので、これらの反復事象は、ブロック400においてこのタイプの新しい事象がカレンダーに加えられると、サイレント事象として自動的に記録される。

ブロック438において、ユーザーは、特定の着信音を特定の特別事象に割り当てることができる。例えば、ユーザーは休日着信音(例えばクリスマスのテーマ、感謝祭のテーマ、ハロウィーンのテーマ)を、これらの休日特別事象に割り当て、「ハッピーバースデイ」の歌の着信音を誕生日特別事象に割り当てることなどができる。

ブロック440において、パーソナル・カレンダー146、及び関連付けられた着信音は、汎用制御コンピュータ40からデジタルカメラ付き電話機300へ転送され、そして画像/データメモリー330内に記憶される。

ブロック442において、デジタルプロセッサ320は、無線モデム350を介した携帯電話ネットワーク358からの電話着呼を検出する。

ブロック408において、デジタルプロセッサ320は、現在の日付及び時刻を決定するために、リアルタイム・クロック324の値を読み取る。ブロック412において、デジタルプロセッサ320は、リアルタイム・クロック324によって提供されたデータ/時間に関するパーソナル・カレンダー・エントリーを検索する。

ブロック444において、デジタルプロセッサ320は、現在のデータ/時間に関するカレンダー・エントリーが、ブロック436において記録されたサイレント事象に対応するかどうかを決定する。

ブロック446において、現在のデータ/時間がサイレント事象に対応する場合(ブロック444に対してイエス)、図10を参照して前述した振動デバイスは、着呼があることを示すために使用される。

ブロック448において、現在のデータ/時間がサイレント事象に対応しない場合(ブロック444に対してノー)、デジタルプロセッサ320は、現在のデータ/時間が特殊着信音を割り当てられている特別事象に対応するかどうかを決定する。

ブロック450において、デジタルカメラ付き電話機300内のデジタルプロセッサ320は、電話着呼があることをユーザーに示すために、ブロック448において決定された特別着信音、又はデフォルト着信音を使用する。

なお、いくつかの態様において、異なる着信音を異なる発信者に割り当てることができる。この場合、特定の特殊着信音を或る特定の発信者に対してのみ使用することができる。例えば、「ハッピーバースデイ」着信音は、その誕生日がユーザーのパーソナル・カレンダーにおける特別事象であるような人物と関連付けられた電話番号からの呼び出しに対してのみ使用することができる。このことは、ユーザーが「ハッピーバースデイ」のメッセージを発信者に伝えることをユーザーに思い出させることができる。

図1は、本発明を実施することができるコンピュータ・システムを示す概略図である。 図2は、本発明の態様を示すフローチャートである。 図3は、本発明の態様を示すより詳細なフローチャートである。 図4は、カレンダー時間(クロスハッチ領域)、及び特別事象クリスマスと関連付けられた特別事象時間(線)を示すグラフである。 図5は、本発明の態様を示すフローチャートである。 図6は、本発明の別の態様を示すフローチャートである。 図7は、本発明のさらに別の態様を示すフローチャートである。 図8は、本発明の別の態様を示すフローチャートである。 図9は、本発明のさらに別の態様を示すフローチャートである。 図10は、本発明を実施することができる、カメラ付き電話機に基づく画像形成システムを示すブロックダイヤグラムである。 図11は、本発明のさらに別の態様を示すフローチャートである。 図12は、本発明のさらに別の態様を示すフローチャートである。 図13は、本発明の更なる態様を示すフローチャートである。

符号の説明

10 画像捕捉デバイス
20 マイクロプロセッサ・ユニット(別称デジタル画像プロセッサ)
30 画像出力デバイス
40 汎用制御コンピュータ
50 ディスプレイ・デバイス
60 キーボード
104 デジタル画像及びビデオ(「集合体」とも呼ばれる)
106 人物ファインダー
108 捕捉時間抽出子
110 人物の特徴
112 画像捕捉時間
114 カレンダー・ラベル注釈子
116 外観モデル
118 注釈
120 データベース
122 問い合わせ
124 問い合わせ結果
140 予約
142 行事
144 ジャーナル・エントリー
146 パーソナル・カレンダー
150 ユーザー入力
152 事象プロセッサ
154 特別事象リスト
156 時間比較子
158 重要なデジタル画像及びビデオ
162 事象クラスタリング子
164 事象クラスター
170 キーワード拡張子
172 拡張された問い合わせ
180 重要な事象
232 撮影者
238 撮影者決定子
242 パーソナル・カレンダー
244 カレンダー・セレクタ
300 デジタルカメラ付き電話機
302 フラッシュ
304 レンズ
310 CMOS画像センサー
312 タイミング発生器
314 画像センサーアレイ
316 A/D変換器回路
318 DRAMバッファメモリー
320 デジタルプロセッサ
322 RAMメモリー
324 リアルタイム・クロック
328 ファームウェア・メモリー
330 画像/データメモリー
332 カラーディスプレイ
334 ユーザー制御装置
340 音声コーデック
342 マイクロフォン
344 スピーカー
350 無線モデム
352 RFチャネル
358 電話ネットワーク
362 ドック・インターフェイス
364 ドック/充電器
370 インターネット
372 サービス・プロバイダー
400 ブロック
401 ブロック
402 ブロック
403 ブロック
404 ブロック
404 ブロック
406 ブロック
406 ブロック
408 ブロック
408 ブロック
409 ブロック
411 ブロック
412 ブロック
414 ブロック
414 ブロック
416 ブロック
417 ブロック
418 ブロック
419 ブロック
420 ブロック
421 ブロック
422 ブロック
423 ブロック
424 ブロック
425 ブロック
426 ブロック
430 ブロック
432 ブロック
434 ブロック
436 ブロック
438 ブロック
440 ブロック
442 ブロック
444 ブロック
446 ブロック
448 ブロック
450 ブロック

Claims (28)

1. デジタル画像が重要であるかどうかを決定するために、事象時間又は期間を、集合体内のデジタル画像と関連付ける方法であって、
   (a) 関連付けられた捕捉時間をそれぞれが有している各デジタル画像の集合体を記憶し；
   (b) 該集合体内のデジタル画像が重要であるかどうかを決定するために、該集合体内の該関連付けられた捕捉時間を特別事象時間と比較し、該比較ステップは、特別事象と関連付けられた特別事象時間を、該特別事象と関連付けられたカレンダー時間に基づいて計算し、そして該比較ステップを実施するためにこのような情報を使用することを含み；そして
   (c) 重要なデジタル画像を該特別事象と関連付ける
   ことを含む方法。
2. (d) 捕捉されたデジタル画像を、特別事象識別子情報でラベル付けすることをさらに含む請求項1に記載の方法。
3. 該比較ステップが、特別事象のリストと、収集された各特別事象の関連する特別事象時間とを、それぞれに収集することをさらに含む請求項1に記載の方法。
4. 該関連付けステップが、重要なデジタル画像を特別事象と一緒にデータベース内に記憶することを含む請求項1に記載の方法。
5. 該比較ステップが、特別事象と関連付けられた特別事象時間のユーザー・エントリーと、該比較ステップを実施するためにこのような情報を使用することとを含む請求項1に記載の方法。
6. 該比較ステップが、予め決められた画像群を特別事象と関連付けることを含む請求項1に記載の方法。
7. 特別事象が、ジャーナル・エントリー、予約、もしくは行事又はこれらの組合せから識別される請求項1に記載の方法。
8. 特別事象が、ユーザー検査によって、もしくは自動的に、又は両方によって識別される請求項1に記載の方法。
9. d) 問い合わせを供給し；
   e) 該特別事象及び該問い合わせを用いて、画像及びビデオを検索し；そして
   f) 検索された画像及びビデオをディスプレイ上に表示する
   ことをさらに含む、
   請求項1に記載の方法。
10. デジタル画像が重要であるかどうかを決定するために、事象時間又は期間を、集合体内のデジタル画像と関連付ける方法であって、
    (a) 関連付けられた捕捉時間をそれぞれが有している各デジタル画像の集合体を記憶し；
    (b) 年代順に関連するデジタル画像をクラスタリングして1つ又は2つ以上の事象クラスターを形成し；
    (c) 事象クラスターが重要であるかどうかを決定するために、該事象クラスター内の画像の該関連付けられた捕捉時間を特別事象時間と比較し；そして
    (d) 重要な事象クラスターを該特別事象と関連付ける
    ことを含む方法。
11. デジタル画像が重要であるかどうかを決定するために、事象時間又は期間を、集合体内のデジタル画像と関連付ける方法であって、
    (a) 関連付けられた捕捉時間をそれぞれが有している各デジタル画像の集合体を記憶し；
    (b) パーソナル・カレンダーから、事象時間と関連付けられている事象のリストを提供し；
    (c) 事象を特別事象として分類し；
    (d) 該集合体内のデジタル画像が重要であるかどうかを決定するために、該集合体内の該関連付けられた捕捉時間を、該特別事象と関連付けられた事象時間と比較し；そして
    (e) 重要なデジタル画像及びビデオを該特別事象と関連付ける
    ことを含む方法。
12. 事象を特別事象として分類することが、画像が該事象で捕捉されるであろう尤度を決定することを含む請求項11に記載の方法。
13. 事象を特別事象として分類することが、画像が該事象の際に捕捉されることになるかどうかを示すユーザー入力を含む請求項11に記載の方法。
14. デジタル画像が重要であるかどうかを決定するために、事象時間又は期間を、集合体内のデジタル画像と関連付ける方法であって、
    (a) 関連付けられた捕捉時間と関連付けられた撮影者とをそれぞれが有しているデジタル画像の集合体を記憶し；
    (b) 該関連付けられた撮影者と共に特別事象のパーソナル・カレンダーを提供し；
    (c) 該集合体内のデジタル画像が重要であるかどうかを決定するために、該集合体内の該関連付けられた捕捉時間を、特別事象時間と比較し；そして
    (d) 重要なデジタル画像を該特別事象と関連付ける
    ことを含む方法。
15. (d) 重要なデジタル画像を、該特別事象と関連付けられた特別事象識別子情報でラベル付けする
    ことをさらに含む請求項14に記載の方法。
16. 該比較ステップが、特別事象のリストと、それぞれの収集された特別事象の関連する特別事象時間とをそれぞれ収集することをさらに含む請求項14に記載の方法。
17. 該関連付けステップが、重要なデジタル画像を特別事象と共にデータベース内に記憶することを含む請求項14に記載の方法。
18. 該比較ステップが、特別事象と関連付けられた特別事象時間のユーザー・エントリーと、該比較ステップを実施するためにこのような情報を使用することとを含む請求項14に記載の方法。
19. 該比較ステップが、特別事象と関連付けられた特別事象時間を、該特別事象と関連付けられたカレンダー時間に基づいて計算し、そして、該比較ステップを実施するためにこのような情報を使用することを含む請求項14に記載の方法。
20. デジタル捕捉デバイスを使用して捕捉されたデジタル画像をラベル付けする方法であって：
    a) 行事又は予約情報を含むパーソナル・カレンダー情報を、デジタル捕捉デバイス内で受け取って記憶し；
    b) 該デジタル捕捉デバイス内でデジタル画像を捕捉して記憶し；
    c) 該捕捉されたデジタル画像の捕捉時間を決定し；
    d) 特別事象ラベルを決定するために、該捕捉時間を該パーソナル・カレンダー情報と自動的に比較し；そして
    e) 該特別事象ラベルを、該捕捉されたデジタル画像と関連付けて記憶する、
    ことを含む方法。
21. 該デジタル捕捉デバイスのディスプレイ上に該特別事象ラベルを表示することをさらに含む請求項20に記載の方法。
22. ユーザーが該特別事象ラベルを承認するのを可能にするために、該ディスプレイ上にユーザー・インターフェイス・スクリーンを提供することをさらに含む請求項21に記載の方法。
23. 該捕捉されたデジタル画像及び該特別事象ラベルを無線ネットワークを介して転送することをさらに含む請求項21に記載の方法。
24. 複数の異なるユーザーがデジタル画像の集合体内の特定のデジタル画像にアクセスするのを可能にする方法であって：
    a) 複数の特別事象と、該特別事象のそれぞれと関連付けられた複数の異なるユーザーの部分集合とをリストするデータを記憶し；
    b) 関連付けられた捕捉時間をそれぞれが有している各デジタル画像の集合体を記憶し；
    c) 少なくとも1つの関連付けられた捕捉時間に対応する特定の特別事象を決定し；そして
    d) 該特定の特別事象と関連付けられたユーザーが、該関連付けられた捕捉時間を有する該デジタル画像にアクセスするのを可能にする
    ことを含む方法。
25. 該特定の特別事象と関連付けられたユーザーのリストをディスプレイ上に表示することをさらに含む請求項24に記載の方法。
26. 該ユーザーリストが承認されるのを可能にするために、該ディスプレイ上にユーザー・インターフェイス・スクリーンを提供することをさらに含む請求項25に記載の方法。
27. 携帯電話機における電話着呼を示す方法であって：
    a) 行事又は予約情報、及び少なくとも1つの行事又は予約情報がサイレント事象であることを示す情報を含むパーソナル・カレンダー情報を、該携帯電話機内に記憶し；
    b) 電話着呼を携帯電話ネットワークから検出し；
    c) 現在の日付及び時刻を決定し；
    d) 該現在の日付及び時刻が該サイレント事象に対応するかどうかを決定するために、該現在の日付及び時刻を該パーソナル・カレンダー情報と比較し、
    e) 該現在の日付及び時刻が該サイレント事象に対応する場合には、該着呼を非可聴指示し；そして
    f) 該現在の日付及び時刻が該サイレント事象に対応しない場合には、該着呼を可聴指示する
    ことを含む方法。
28. g) カスタム着信音を該行事又は予約のうちの1つと関連付ける情報を該パーソナル・カレンダー内に記憶し；h) 該現在の日付及び時刻が、該カスタム着信音と関連付けられた該行事又は予約に対応するかどうかを決定するために、該現在の日付及び時刻を該パーソナル・カレンダー情報と比較し；そして
    h) 該現在の日付及び時刻が、該カスタム着信音と関連付けられた該行事又は予約に対応する場合には、該着呼を可聴指示するために、該カスタム着信音を使用する
    ことをさらに含む請求項27に記載の方法。

Images