JP2011516966A - デジタル画像集合内に自動顔認識を組み込む方法および装置 - Google Patents

Abstract

デジタル画像の集合から顔画像データベースを作成および更新するための方法および装置を開示する。デジタル画像の集合からの１組の検出された顔は、それらに関連するデータとともに顔画像データベースに記憶される。第１組における各顔に対する少なくとも１つの顔認識テンプレートが計算され、その組における画像が顔認識テンプレートに従い類似グループにグループ分けされる。別の実施形態は、デジタル画像の集合において検出された複数の顔に名前を割り当てるための名前付けツールである。顔画像データベースは、デジタル画像の集合の画像において検出された顔画像に関連するデータを記憶する。

Description

（技術分野）
本発明は、概して、デジタル画像の集合に関し、より具体的には、デジタル画像の集合内での自動顔認識の使用に関する。

（背景）
デジタルカメラ、安価なデジタル記憶装置、およびインターネットを介した広範なネットワーク接続性は、分散した写真の集合の数、サイズおよびアクセスの大規模な成長をもたらした。しかしながら、デジタル写真およびデジタル写真の集合が成長するに従い、特定の特徴を含む特定の写真（複数可）の検索は、ますます煩雑となる。

個人がそのデジタル写真の集合をアルバム名または日付ごとにフォルダに整理することができる。しかしながら、これらのフォルダにまたがって写真にアクセスしたい場合が数多くあり得る。例えば、集合のうち特定の個人の写真を見付けたい場合があり得る。写真の内容に基づくそのような検索活動を促進するために、多くの技術を使用することができる。１つ以上のキーワードによる各写真のタグ付けは、そのような技術の一つである。

一般に、各写真のタグ付けはユーザにより行われ、ユーザは手作業でタグまたはタグワードを提供する。さらに、そのようなタグは、日付、アルバムまたはフォルダ情報等、各写真に関連した情報から派生し得る。しかしながら、これらの手法は、著しいユーザ入力を必要とし、一般に大量のデジタル写真の集合には良好に適合しない。自動顔認識技術を使用する写真の自動タグ付けは、大量の写真の集合の総合的なタグ付けを達成するための有望な手法である。

自動顔認識は、一般に、顔検出段階および顔認識段階の２段階で機能する。前者は、全体的な顔の特徴に基づき写真内の顔を自動的に選び出すことにより達成することができる。後者は、以前に認識された顔画像のうちの１つ以上に対する検出された顔の比較を含み得る。新たに検出された顔を比較することができる特定の顔の複数の識別および確認された画像が存在すれば、第２段階の正確性は増加する。

大量のデジタル画像の集合における自動顔認識の有効性は、ユーザにより識別および確認されるそれぞれの人物の十分な数および種類の顔画像がないために、また誤った識別のために制限され得る。デジタル写真の集合においてユーザが顔を識別および確認できるようにする現在利用可能なインタフェースは、ユーザが１度に多くの顔画像を識別することをより容易にすることを試みている。例えば、あるインタフェースは、特定の識別された人物に属する可能性のある顔画像を１つ以上の行に配設してユーザに提示し、システムが生成した分類をユーザが認めるかまたは拒否するかを聞くことができる。別のインタフェースは、写真において新たに検出された特定の顔に対する１つ以上の名前付けオプションをユーザに提示することができる。例えば、第１の場合において、ユーザは、リストされた集合に属さないそれぞれの個々の顔を削除する作業を課される。第２の場合において、ユーザは、それぞれの個々の画像を名前でタグ付けする作業を課される。上記の両方の場合において、画像を取り除き個々の画像に名前を付けるのがまだ煩雑である。１度に複数の画像を識別するタスクを便利および効率的とするには、自動顔認識をデジタル写真の集合全体にわたり実行することができるような、よりユーザに優しく効率的な方法が必要である。

ユーザは、プロセスのほとんどを自動化する柔軟な能力を必要とする。特定の人物のより多様な画像を利用した自動顔認識は、確認プロセスがユーザにとってより容易となり、それによってより多数の画像のタグ付けを促進するように、検出された顔画像をユーザ確認のために類別および配設することがより可能となる。

（概要）
本発明の実施形態は、デジタル画像の集合の整理に対する自動顔認識の統合に関する。一実施形態において、デジタル画像の集合から顔画像データベースを作成および更新するための方法が実施される。デジタル画像の集合からの画像において顔画像が検出される。検出された顔画像は、検出された顔画像のそれぞれに対して計算された顔認識テンプレートに基づき類似グループにグループ分けされる。検出された顔画像は、類似グループとしてユーザに表示され、表示された類似グループのそれぞれにおける個々の顔画像を認めるかまたは拒否するユーザ入力が受容される。類似グループのそれぞれは、受容されたユーザ入力に基づき更新され、更新された類似グループは、顔画像データベースに記憶される。

別の実施形態において、対象名、例えば人物の名前等がユーザから受容される。顔画像データベースに記憶された顔画像の少なくとも１つの名前を付けられた類似グループから第１組の顔画像が取得され、取得された類似グループと関連付けられた名前は、ユーザにより提供された対象名と実質的に一致する。第２組の顔画像が、関連した名前を有さず、第１組の顔画像の顔認識テンプレートと実質的に一致する顔認識テンプレートを有する顔画像データベースにおける類似グループから取得される。第１組および第２組は、クラスタとしてグラフィカルユーザインタフェースに表示される。第２組の表示された類似グループにおける個々の顔画像のメンバーシップを認めるかまたは拒絶するユーザ入力が受容され、第２組はユーザ入力に応じて更新される。一実施形態において、第１組はクラスタとして表示され、第２組はクラスタとして各類似グループとともに表示される。別の実施形態において、第１組は、グラフィカルユーザインタフェースの第１の領域に表示され、第２組は、第１組との類似性の順で配設された画像とともに第２の領域に表示される。

別の実施形態は、デジタル画像の集合において検出された複数の顔に名前を割り当てるための名前付けツールを含む。顔画像データベースは、デジタル画像の集合の画像において検出された顔画像に関連するデータを記憶する。さらに、名前付けツールは、グラフィカルユーザインタフェースと、デジタル画像の集合において顔を検出し、検出された顔に関連するデータを顔画像データベースに記憶する、顔検出モジュールと、顔画像データベース内の各顔画像に対する少なくとも１つの顔認識テンプレートを計算する、顔認識モジュールと、類似した顔画像が１つの類似グループに属するように、それぞれのテンプレートに従い顔画像データベース内の顔画像をグルー分けする、類似グループ分けモジュールとを含み得る。

さらに別の実施形態は、デジタル画像の集合にアクセスする方法を含む。システムは、対象名を得、対象名が割り当てられた顔画像データベース内の１組の顔画像を選択し、選択された顔画像と関連付けられたデジタル画像の集合からのデジタル画像を見付ける。一実施形態において、見付かったデジタル画像は、パーソナライズされたスライドショーとして表示され得る。

さらに別の実施形態は、複数のソース顔画像を使用して人物の画像を検索する方法を含む。システムは、対象名を受容し、対象名が割り当てられた顔画像データベースから一組の顔画像を選択し、選択されたソース画像の組を使用して顔認識により１つ以上のデジタル画像の集合を検索する。

別の実施形態は、デジタル画像の集合内の１組の画像への制限されたアクセスを提供する方法を含む。ユーザは、対象名を割り当てられた顔画像へのアクセスを認証される。対象名を割り当てられた１組の顔画像が選択され、ユーザは、画像の集合内のそれらの画像へのアクセスを許可される。

本発明のさらなる実施形態、特徴、および利点、ならびに本発明の様々な実施形態の構造および作用を、付随の図面を参照して以下で詳細に説明する。

図１は、本発明の実施形態のシステム図である。 図２は、本発明の一実施形態における、新たに検出された顔で顔画像データベースを更新する方法である。 図３は、本発明の一実施形態における、アルバムベースのルックアップを使用して顔に名前を付ける方法である。 図４は、一実施形態における、アルバムベースのルックアップに基き顔に名前を付けるグラフィカルユーザインタフェース（ＧＵＩ）インスタンス図である。 図５は、本発明の一実施形態における、類似グループに名前を付ける最も近い名前の選択肢をユーザに提示する方法である。 図６は、本発明の一実施形態に従い類似グループ内の顔画像に名前を付けるために使用することができるフィルムストリップＧＵＩベース名前付けツールのインスタンス図である。 図７は、一実施形態における、ユーザにより指定された対象のまだ名前を付けていない顔画像に名前を付ける方法である。 図８は、一実施形態における、ユーザにより指定された対象名のまだ名前を付けていない顔画像のすべてに名前を付けるＧＵＩインスタンス図である。 図９は、一実施形態における、１つの領域おいて対象に割り当てられた画像を、別の領域においてまだ名前を付けていない類似の画像を閲覧および選択する方法である。 図１０は、一実施形態における、ユーザにより指定された対象名のまだ名前を付けていない顔画像に名前を付ける別のＧＵＩインスタンス図である。 図１１は、本発明の一実施形態に従う、手動補助顔検出を実行するＧＵＩインスタンス図である。 図１２本発明の一実施形態に従う、手動補助顔検出を実行する方法である。 図１３は、本発明の一実施形態による、パーソナライズされたスライドショーを表示する方法である。 図１４は、本発明の一実施形態による、画像の集合内で対象を検索する方法である。 図１５は、本発明の一実施形態による、ユーザの顔を含む可能性のある画像が画像の集合に追加される場合にユーザが通知される方法である。 図１６は、本発明の一実施形態による、画像の集合の一部に対するユーザアクセスを制限する方法である。

本発明の特徴および利点は、図面と併せて考慮すると以下に記載の詳細な説明からより明らかとなる。図面において、類似の参照番号は、全般的に、同一、機能的に同様、および／または実質的に同様の要素を示す。一般に、要素が最初に現れる図面は、対応する参照番号の最も左側の桁（複数を含む）により示される。

（実施形態の詳細な説明）
本明細書において、特定の用途の例示的な実施形態を参照しながら本発明を説明するが、本発明はそれに限定されないことを理解されたい。当業者は、本明細書における教示を利用して、本発明の範囲内、および本発明が有意に実用的となる追加の分野の範囲内で、追加の修正、用途、および実施形態を認識する。

図１は、本発明の一実施形態による、自動顔認識をデジタル画像の集合に組み込むためのシステム１００の図である。サーバ１０１は、ネットワーク１３０を介してクライアント１２０に接続される。サーバ１０１は、ソフトウェアモジュール１０２を備えてもよい。これらは、顔検出１０６、顔認識１０５、類似グループ１０４の作成および維持、ならびにサーバ側の画像レイアウト生成１０３のためのモジュールと、顔画像のデータベース１０８と、デジタル画像の集合１０７とを含み得る。一実施形態において、サーバ１０１は、１つの計算プラットフォームであってもよく、ソフトウェアモジュール１０２およびデータベース１０７〜１０８は、その同じプラットフォーム上に実装されていてもよい。

別の実施形態において、サーバ１０１は、１つ以上のネットワークにより相互接続された複数の計算プラットフォームを備えてもよい。ソフトウェアモジュール１０２およびデータベース１０７〜１０８は、サーバ１０１が備える計算プラットフォーム上に分散されてもよく、モジュール１０２およびデータベース１０７〜１０８の間の通信は、同じメッセージング機構、例えばＨＴＴＰ、ＵＤＰ、ＴＣＰ、ＩＰ、またはこれらの任意の組合せを使用して行われてもよい。例えば、サーバ１０１は、ウェブクライアントまたはブラウザからの要求を受信およびそれに応答するウェブサーバと、ユーザに対し画像管理および自動顔認識機能を有効化し、ウェブサーバからのコマンドを受信する別個のアプリケーションサーバと、アプリケーションサーバと通信してデジタル画像１０７の集合および顔画像１０８のデータベースを有効化する１つ以上のデータベースサーバとを備えてもよい。ウェブサーバ、アプリケーションサーバ、およびデータベースサーバの使用を組み合わせたシステムは、当技術分野において周知である。

モジュール１０３〜１０６は、本発明の実施形態の実装における機能性を表す。１０２に示されるものより多い、または少ないモジュールをソフトウェアに実装して本発明の機能性を達成し得ることが、当業者には理解される。モジュール１０３〜１０６のそれぞれは、例えば、これに限定されないが、Ｊａｖａ（登録商標）、Ｃ＋＋、およびＣ等のコンピュータプログラミング言語の１つまたは組合せを使用して実装することができる。

いくつかの実施形態において、各データベース１０７および１０８は、１つ以上の相互接続されたデータベースを備えてもよい。例えば、デジタル画像の集合１０７は、デジタル画像の複数の分散した集合の集約を備えてもよく、分散した集合は、同じまたは異なるユーザにより所有され得る。例えば、集合は、１人以上のユーザのデジタル写真アルバムを備えてもよい。現在利用可能な例は、ＧｏｏｇｌｅのＰＩＣＡＳＡウェブベースデジタル写真サービスにおける１組のユーザアルバムであってもよい。本明細書においてはデータベースと呼ばれるが、デジタル画像の集合１０７は、所望の画像を検索および取得する能力を伴った、デジタル画像を記憶する任意の機構として実装され得ることが、当業者には理解される。

顔画像１０８のデータベースは、１組のエントリを含んでもよく、各エントリは、集合１０７において検出される、本明細書において顔画像と呼ばれる顔に対応する。

データベース１０８内のエントリは、顔画像と、顔画像が検出された集合１０７における対応する画像へのポインタと、割り当てられた名前に対するタグ値を含む１つ以上のタグ値と、１つ以上の顔認識値と、類似グループの識別とを含み得る。タグおよび類似グループについて、以下でより詳細に説明する。

本明細書において使用される場合、「タグ」は、顔画像を識別または説明するために使用される単語または語句またはその他のデータを指す。「顔認識値」は、顔画像の中の単一の顔の指標に割り当てられる数値、または個々の顔の指標を含む因子に基づき計算された総合値のいずれかである。したがって、データベース１０８のエントリにおける１つ以上の顔認識値は、所定の組の顔の指標に対する個々の数値および総合値を含み得る。文献に記載されているいくつかの顔認識指標評価機構のいずれかを、データベース１０８内の顔画像に顔認識値を割り当てる上で使用することができる。これらの顔画像エントリのそれぞれにおけるこれらの顔認識値、例えば個々の指標の顔認識値の総合値の１つ以上は、類似グループを形成するための各画像の代表とみなすことができる。この代表値は、以降、「顔認識テンプレート」と呼ばれる。別の実施形態において、各エントリにおけるいくつかの顔認識値は、値のベクトルとみなすことができ、ベクトルに対して計算された対応する値は、対応する顔画像の代表的顔認識テンプレートとして使用することができる。さらに別の実施形態において、顔認識テンプレート自体が、顔の指標に対する個々の顔認識値を含むベクトルであってもよい。

いくつかの実施形態において、顔画像１０８のデータベース内のエントリは、顔画像を含有しなくてもよく、その代わりにエントリは、集合１０７内のそれぞれの画像内の顔画像の場所パラメータを含むことができる。例えば、場所パラメータは、所望の顔画像を包含する四角形の左下角部および右上角部に対する画素数を使用して、二次元で指定することができる。データベース１０８の各エントリに含まれる集合１０７内の対応する画像へのポインタは、様々な形態で実装され得る。例えば、これに限定されないが、ポインタは、集合１０７へのインデックス、対応する画像へのメモリ参照、または、集合１０７内の画像への参照をハッシュ化するテーブルに対するインデックス等の間接的参照であってもよい。

「類似グループ」は、本明細書において使用される場合、所定範囲内の顔認識テンプレート値を有する１組の画像である。例えば、２つの顔画像間の類似性は、２つの対応する顔認識テンプレート間のユークリッド距離により測定することができる。対応する顔認識テンプレートを使用する顔画像の類似グループの形成は、クラスタ化プロセスにより達成され得る。例えば、ｋ平均クラスタ化またはｃ平均クラスタ化等の周知のクラスタ化技術を類似グループの形成おいて使用することができる。類似グループは、単一の人物の顔画像をグループ分けすることを意図している。

顔検出モジュール１０６は、多くのプログラミング言語のうちの１つ、例えばＣ言語を使用してソフトウェアに実装することができる。モジュール１０６は、画像を、またはユーザにより指定された画像を精査し、それらの画像内の顔を検出する。例えば、一実施形態において、ユーザがデジタル写真のアルバムを集合１０７に追加した場合、顔検出モジュール１０６は、そのアルバム内の各デジタル写真を精査し、顔を検出することができる。顔が検出されると、モジュール１０６は、検出された顔を包含する領域、例えば検出された顔画像を包含する四角形領域のデジタルコピーを作成し、顔画像のデータベース１０８内の対応するエントリに記憶することができる。集合１０７内で検出されたそれぞれの新たな顔に対し、顔検出モジュール１０６は、顔画像データベース１０８内に新たなエントリを形成するか、形成させることができる。いくつかの場合において、自動顔検出は、画像内のすべての顔を検出しない可能性がある。したがって、いくつかの実施形態において、ユーザは、特定の画像を処理するために特定的に顔検出モジュール１０６を起動することができる。これについては、手動補助顔検出に関して後述する。

当技術分野において、多くの顔検出技術が説明されている。例えば、米国特許第６，２２２，９３９号に記載のような、弾性バンチグラフマッチング、米国特許第６，９１７，７０３号に記載のようなゲーバージェット（ｇａｂｏｒ ｊｅｔｓ）に対するニューラルネットワークの使用、および米国特許第７，０９９，５１０号に記載のような増大されたプリミティブ機能を使用する顔検出等は、本明細書に記載の目的において使用することができる周知の顔検出技術のいくつかである。これらの技術のいくつかのうちのいずれかをモジュール１０６において使用して、本発明に従いながら集合１０７の画像内の顔を検出することができることが、当業者には理解される。

顔認識モジュール１０５は、データベース１０８内の顔画像を精査し、所定の組の顔の指標に顔認識値を割り当てる。モジュール１０５はまた、データベース１０８内の各顔画像に対する代表的顔認識テンプレートを計算する。上述したように、顔認識テンプレートは、単一の値または値のベクトルであってもよい。本発明の実施形態において使用可能な、顔認識のためのいくつかのアルゴリズムが、当技術分野において説明されている。例えば、Ｍ． Ｔｕｒｋ ａｎｄ Ａ． Ｐｅｎｔｌａｎｄ， ’’Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ’’， Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ， Ｖｏｌ． ３， Ｎｏ． １， １９９１， ｐｐ． ７１−８６に記載のように、テンプレート値は、主成分分析により得られた固有顔により画定されたサブスペースへの顔画像の投影により生成することができる。別の例示的技術は、米国特許第６，３０１，３７０号に記載のように、顔画像の局所的特徴から得られたゲーバージェットで構成されるテンプレートの作成であってもよい。

類似グループモジュール１０４は、顔検出モジュール１０５により顔識別テンプレートを割り当てられた顔画像のデータベース１０８内の顔画像の処理を含む。モジュール１０４は、所定の顔認識テンプレート値または値の範囲に基き、顔認識テンプレートを割り当てられた顔画像を類似グループにグループ分けすることができる。類似グループは、理想的には単一の人物の画像を共にグループ分けするように設計される。実際には、類似グループの効力は、ほとんどが顔認識テンプレートおよび類似グループを定義する値の境界等のいくつかの因子の正確性に依存する。

サーバ側画像レイアウト生成モジュール１０３は、顔画像のデータベース１０８とグラフィカルユーザインタフェース（ＧＵＩ）１２１との間のインタフェースのサーバ側コンポーネントを含む。組み合わされたクライアント側画像レイアウト生成モジュール１２３およびサーバ側画像レイアウト生成モジュール１０３は、クライアント１２０とサーバ１０１との間でデータベース１０８からの顔画像および集合１０７からの画像を交換するためのユーザ入力を促進する機能性を含み得る。さらに、サーバ側モジュール１０３は、データベース１０８から顔画像を選択および取得する機能性、データベース１０８内のエントリで参照される集合１０７からの画像を取得する機能性、ならびに、クライアント１２０における所望のユーザの活動を可能にするために類似グループモジュール１０４、顔認識モジュール１０５、および顔検出モジュール１０６と相互作用する機能を含み得る。

クライアント１２０は、ＧＵＩ１２１、１つ以上の入力デバイス１２２、およびクライアント側画像レイアウト生成モジュール１２３を備えることができる。クライアント１２０は、同じ計算プラットフォームにサーバ１０１として存在してもよく、または異なる計算プラットフォーム上に存在してもよい。本発明の機能性の達成において、１００に示されていない他のソフトウェアおよびハードウェアモジュールを使用することができることも、当業者には認識される。ＧＵＩ１２１は、コンピュータモニタならびに関連した表示ソフトウェアおよびハードウェアを含み得る。入力デバイス１２２は、キーボード、マウスまたは他の入力機構を含み得る。クライアント側画像レイアウト生成モジュール１２３は、上述の機能性に加えて、データベース１０８からの顔画像および集合１０７からの画像を、ＧＵＩ１２１での表示のために処理する機能性、ならびに、ＧＵＩ１２１の性能およびＧＵＩ１２１とのユーザインタラクションの最適化に必要な任意の機能性を含み得る。

クライアント側画像レイアウト生成モジュール１２３は、いくつかのプログラミング言語のうちの１つ、例えば、クライアント１２０がＪａｖａ（登録商標）機能に対応している場合はＪａｖａ（登録商標）により実装することができることが、当業者には認識される。サーバ側画像レイアウト生成モジュールはまた、サーバソフトウェアモジュール１０２に関して前述したように、多くの言語のうちの１つを使用して実装することができるが、実装言語およびソフトウェアプラットフォームは、クライアント側およびサーバ側画像レイアウトモジュール、それぞれ１２３および１０３のインタラクションを促進することを考慮して選択することができる。例えば、本発明がインタラクティブウェブアプリケーションを含み得る一実施形態において、モジュール１２３および１０３は、そのようなアプリケーション用に特別設計された言語、例えばＡｓｙｎｃｈｒｏｎｏｕｓ Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ ａｎｄ ＸＭＬ（ＡＪＡＸ）で実装され得る。

図２は、いくつかの実施形態における、顔画像のデータベース１０８を新たに検出された顔で更新するフローチャート２００である。フローチャート２００により定義されたプロセスは、一般に、サーバ１０１において実行される。段階２０１において、顔検出モジュール１０６は、デジタル画像の集合１０７に新たに追加された画像を処理する。顔検出モジュール１０６は、新たな画像を処理するために、多くの機構により、例えば、デジタル写真の新たなアルバムが集合１０７に追加されるたびに顔検出モジュール１０８を起動するソフトウェアトリガを実装することにより起動され得る。顔検出モジュール１０６は、顔検出モジュール１０６を含むサーバソフトウェアモジュール１０２の機能に関して上でさらに説明されている。

段階２０２において、集合１０７の新たな画像において検出された各顔に対し、顔画像のデータベース１０８内に対応するエントリが形成される。これらのエントリの形成は、顔検出モジュール１０６ソフトウェアにより行われてもよい。顔検出モジュール１０６に関して上で説明したように、データベース１０８内のエントリは、検出された顔画像のデジタルコピーを含んでも含まなくてもよい。

顔認識モジュール１０５は、段階２０３において、顔画像のデータベース１０８に新たに追加された顔画像を処理することができる。モジュール１０５による処理は、顔認識モジュール１０５を含むサーバ側ソフトウェアモジュール１０２に関して上で詳細に説明されている。段階２０３において、顔認識モジュール１０５の機能は、１組の所定の顔の指標の割り当て、および顔画像のそれぞれに対する顔認識テンプレートの形成を含み得る。

段階２０４において、類似グループモジュール１０４は、顔画像のデータベース１０８内の顔画像を処理する。モジュール１０４による処理は、類似グループモジュール１０４を含むサーバ側ソフトウェアモジュール１０２に関して上で詳細に説明されている。類似グループは、単一の人物に属する顔画像をグループ分けすることを意図している。この目的のため、類似グループモジュール１０４は、顔認識テンプレートにおける所定の範囲、および顔認識テンプレートの生成の正確性に依存し得る。類似グループモジュール１０４により処理が完了すると、データベース１０８内の顔画像は、顔認識値、顔認識テンプレートを割り当てられ、さらに類似グループへの一時的グループ分けが割り当てられている。

いくつかの実施形態において、ユーザが顔画像に名前を付けることを可能にすることは、概して２つの方向で進めることができ、すなわちユーザはアルバムに基づいて顔に名前を付けることができ、あるいはユーザは人物の名前を指定することにより顔に名前を付けることができる。図３は、一実施形態における、アルバムに基き顔画像に名前を付ける段階を示すフローチャート３００である。例えば、この実施形態において、ユーザは、そのアルバム内のあらゆる画像におけるあらゆる顔に対し、顔画像に名前を付けることを選択している。段階３０１によって、ユーザは、それらの画像にある顔に名前を付けるための処理を望む１つ以上のアルバムを指定することができる。段階３０１の前に、ユーザがアルバムに基き顔に名前を付けることを選択し、集合１０７からの利用可能なアルバムのリストがまずユーザに提示される、１つ以上の他の段階（図示せず）が存在してもよい。段階３０１において受容された入力に基き、段階３０２において、処理されるアルバムが選択される。例えば、アルバムは、ユーザにより指定された順番で処理され得る。アルバムが選択されたら、例えば、モジュール１０３は、集合１０７内の選択されたアルバムにアクセスし、選択されたアルバム内の各画像に対し、その画像に対応するデータベース１０８内の顔画像を特定することができる。このようにして特定された顔画像は、選択されたアルバム内の画像に対する第１組にグループ分けされる。段階３０３〜３０５は、第１組の形成に関連した活動を表す。段階３０２〜３０７は、ユーザにより指定されたアルバム内の画像の処理において繰り返され、第１組の顔画像が形成される。段階３０７での処理ループの完了後に得られる第１組の顔画像は、ユーザにより指定されたアルバム内の検出された顔を含む。

段階３０８において、第１組の顔画像は、類似グループに従いソートされる。
このソーティングは、理想的には、段階３０１においてユーザにより指定されたアルバム内の任意の画像に存在する単一の人物の顔画像を共にグループ分けする。しかしながら、前述したように、類似グループの自動生成は、１人の人物のみの画像を類似グループにグループ分けする上で、また人物の顔画像を単一の類似グループ内にグループ分けする上で完全に正確ではない可能性がある。

段階３０９〜３１１において、類似グループごとに第１組の顔画像がＧＵＩ１２１上に表示される。例えば、類似グループは、行または図４に示されるような枠 ４０１に表示されてもよく、ユーザ入力４０４が可能となる。ユーザ入力は、例えば、図４に示されるようなチェックボックス４０３により、示された類似グループに属するものとして表示された各顔画像を選択または選択解除するように可能とすることができる。また、各類似グループに名前を付けるためのユーザ入力は、これも図４に示されるような最も近い名前の最初のいくつかのプルダウンリスト４０２により容易化されてもよい。例えば、表示された類似グループを識別する名前を選択するための最も近い名前のリストは、顔認識テンプレート値を比較して、表示された類似グループから近い範囲内の類似グループのすでに名前が付けられた顔画像から派生してもよい。図５は、一実施形態における、最も近い名前の選択肢のリストを生成するための上述のような方法のフローチャートである。図５に示されるプロセスは、以下でより詳細に説明する。多くの他の技術を使用して最も近い名前のそのようなプルダウンリストを生成することができることが、当業者には理解される。

段階３１２〜３１３において、対応する類似グループ内の表示された顔画像のそれぞれの包含に関する、およびそれぞれの表示された類似グループに対する名前に関するユーザ入力が収集される。段階３１４において、顔画像のデータベースは、段階３１２〜３１３において収集されたユーザ入力に基き更新される。データベース１０８内のエントリの更新は、いくつかの実施形態において、顔認識テンプレートの更新を含み得る。更新はまた、いくつかの顔画像に対し割り当てられたタグの変更、および／または割り当てられた類似グループの変更を含み得る。図６は、グラフィカルユーザインタフェース６００の別の例を示し、１組の顔画像（またはそれらの顔画像のサムネイル抽出）がフィルムストリップ形式６０１で表示される。フィルムストリップ形式で表示された顔画像は、顔画像のそれぞれのグループの代表画像を含み得る。フィルムストリップは、選択されたグループ分けレベル内の利用可能な代表顔画像のすべてを閲覧するために、いずれの方向にもスクロール可能である。例えば、図６に示されるように、フィルムストリップ６０１は、すべての利用可能なアルバム内の各類似グループの代表画像を表示してもよい。フィルムストリップ６０１内のサムネイル画像は、意味のある順番で配設され得る。例えば、サムネイルは、確認されるべきほとんどの顔画像とともにクラスタのサムネイル画像を表示し、次いでフィルムストリップ内の他のサムネイルは最初に表示されたクラスタとの類似性の順で配設することにより、顔画像クラスタの名前を付け確認する上でユーザの補助となるように配設され得る。次いでユーザは、フィルムストリップ６０１内のサムネイル画像の１つを選択して、対応する類似グループ６０２内の顔画像を表示することができる。次いでユーザは、例えば、図６における類似グループ６０２顔画像のそれぞれの真下のチェックボックス等の対応するチェックボックスを選択することにより、現在割り当てられている類似グループ内のそれらの画像のそれぞれの場所を確認することができる。また、図６に示されるように、ユーザは、類似グループに対し名前を割り当てるか、または現在割り当てられている名前を確認することができる。さらに、図６に示されているように、名前付けの選択肢の提案が表示されてもよい。提案６０３は、顔画像のデータベース１０８内の利用可能なすでに名前を付けられた顔画像に基くものであってもよい。

段階３１４の最後に、集合１０７内のユーザが指定したアルバム内の対応する画像を有したデータベース１０８内の顔画像は、特定の類似グループへの包含およびタグ名に関して更新されている。ユーザにより確認された対象名タグを有する顔画像は、本明細書において、「すでに名前を付けられた」顔画像と呼ばれる。

図５は、選択された類似グループに対する可能な名前のリストを生成するプロセス５００を示す。段階５０１において、選択された類似グループに対する顔認識テンプレートが決定される。上述したように、各類似グループは、対応する顔認識テンプレートを有し得る。段階５０２において、顔画像のデータベース１０８内の利用可能なすでに名前を付けられた顔画像を含む類似グループが検索される。所定の範囲内の顔認識テンプレートを有する類似グループを使用して、それらの類似グループ内のすでに名前を付けられた画像から名前を得ることができる。段階５０３において、段階５０２で得られた所定の数までの名前を、選択された類似グループに対する可能な選択肢としてリストすることができる。リストは、複数の基準に従い、例えば選択された類似グループの顔認識テンプレートと、すでに名前を付けられた顔画像を有するそれぞれの類似グループとの間の差異に従い、順序付けることができる。

ユーザが顔画像に名前を付けるために選択することができる別の手法は、ユーザ名を指定し、指定された集合（例えば、システムにより最初に選択された集合１０７のサブセット）内の画像が指定されたユーザに属することを確認するように試みることである。図７におけるフローチャート７００は、一実施形態における一連の段階であり、これを通してユーザは単一の人物に属する顔画像に名前を付けることができる。

段階７０１において、対象名は、ユーザからの入力としてシステムにより受容される。例えば、ユーザは、ＧＵＩ１２１を使用して、顔画像に名前を付けたい対象の名前を、システムが生成したリストに入力するか、またはそこから選択することができる。次いで、例えば、クライアント側画像レイアウトモジュール１２３は、ユーザが指定した対象名をサーバ側画像レイアウト生成モジュール１０３に受け渡すことができる。対象名を受容した後、例えば、段階７０２のように、サーバ側モジュール１０３は、ユーザにより指定された対象名と一致する、データベース１０８内のすでに名前を付けた顔画像の、本明細書において第２組と呼ばれる組を生成することができる。その後、段階７０３において、モジュール１０３は、第２組における顔画像に対応する１つ以上の顔認識テンプレート値を決定することができる。例えば、現在データベース１０８内に分類されているため、第２組における顔画像は複数の類似グループに属するが、これらの画像は単一の対象名を割り当てられていてもよい。類似グループのそれぞれは、グループを定義する顔認識テンプレート値の固有の範囲を有し得る。段階７０３において、顔認識テンプレートに対する１組の値が決定される。段階７０４において、段階７０３で決定された顔認識テンプレートの範囲を使用して、顔認識テンプレート値が段階７０３で選択されたそれらの値に最も近い、まだ名前を付けられていない第３組の顔画像と呼ばれる組が選択される。その後、段階７０５において、第２組における顔画像（すでに名前を付けられた顔画像）および第３組における顔画像（名前を付けられていない顔画像）がＧＵＩ上に配設される。例えば、いくつかの実施形態において、第２組は画像の単一のクラスタとしてレイアウトされてもよく、第３組は、それぞれのクラスタが類似グループに対応した複数のクラスタとしてレイアウトされてもよい。第３組のクラスタは、いくつかの実施形態において、第２組の顔画像のクラスタへの近接性がそれぞれの顔認識テンプレートの近似を示すように、ＧＵＩ上に整理されてもよい。図８は、一実施形態における、フローチャート７００に従い生成されたＧＵＩ８００である。例えば、第２組における画像を有するクラスタ８０１および第３組のクラスタ８０２〜８０８が、図８に示されるようにレイアウトされ得る。段階７０７において、示された類似グループへのそれぞれの表示された顔画像の包含に関するユーザ入力が受容され、指定された対象名で更新される画像の組へのそれぞれの表示された顔画像の包含に関するユーザ入力もまた受容される。段階７０８において、データベース１０８は、ユーザ入力に従い更新される。例えば、データベース１０８内の対応するエントリは、指定された対象名を割り当てるかまたはエントリから削除することにより更新することができ、エントリの類似グループ情報もまた更新することができる。

別の実施形態において、図９のフローチャート９００のプロセスを使用して、ユーザが対象名に基き顔画像に名前を付けることができるようにしてもよい。段階９０１〜９０３は、フローチャート７００の段階７０１〜７０４に対応し、同様の説明が適用される。段階９０１において、すでに名前を付けられた顔画像の、以降第４組と呼ばれる組が生成される。段階９０３において、まだ名前を付けられていない顔画像の、以降第５組と呼ばれる別の組が生成される。段階９０４において、第４組がＧＵＩの領域に表示される。段階９０５において、第５組がＧＵＩの別個の領域に表示され、第４組との類似性が低くなる順で個々の顔画像が配設され得る。図１０は、一実施形態における、フローチャート９００に従うＧＵＩの例である。この実施形態において、第４組および第５組の顔画像は、異なるタブシートに表示され、図１０に見られるように、１度に１つだけが見えるようにしてもよい（１００１）。段階９０６において、指定された対象名を割り当てるべき個々の顔画像に関するユーザ入力が受容される。段階９０７において、データベース１０８は、ユーザ入力に従い更新される。例えば、ユーザにより選択されたまだ名前を付けられていない顔画像のそれぞれが、ここで対象名により更新されてもよい。同様に、すでに名前を付けられた顔画像のタブシート内の各顔画像に対し、対応するエントリを更新して、ユーザがそのように示した場合には対象名を削除することができる。図６は、ユーザにより指定された１つ以上の名前に基き類似クラスタを表示およびそれに名前を付けるために使用することができるユーザインタフェースを示す。

いくつかの状況において、顔検出プロセス自体は、いくつかの顔に対して失敗する可能性がある。例えば、顔検出モジュール１０６は、集合１０７内の画像において１つ以上の顔を検出しない可能性がある。この場合、一実施形態またはその実施形態において、本発明は、顔検出プロセスを手動で補助する機能を提供する。図１１は、一実施形態における手動補助顔検出のＧＵＩコンポーネントを示す。例えば、ユーザは、境界領域、この場合ではバウンディングボックス１１０１を、ユーザがシステムに検出および認識させたいそれぞれの顔の周りに描くことが可能となる。さらに、１１０２に示されるように、ユーザは、そのような画像に対し、追加の説明データ、例えば対象名を表示または入力することができる。図１２は、そのプロセスを示したフローチャート１２００を示す。

段階１２０１および１２０２において、集合１０７からの画像がＧＵＩに示され、ユーザは１つ以上の顔の周りに境界領域を画定することができる。段階１２０３において、境界を付けられた領域は、例えば、顔検出モジュール１０６により処理される。自動顔検出および手動補助顔検出において、同じ顔検出技術に若干の修正を加えて使用することができることが、当業者には理解される。例えば、手動補助される場合、顔検出ソフトウェアは、単に、画定された領域内で識別された、顔の指標となる特徴により大きな重みを付けることができる。段階１２０４において顔が検出されると、段階１２０５は、ユーザが追加情報を、例えばデータベース１０８内の顔画像にタグを付けるための対象名を提供することができるようにする。段階１２０６において、顔データベース１０８は、検出された顔情報、およびおそらくは対象名を含むユーザが提供した情報で更新される。

別の実施形態において、顔認識および名前付けプロセスを補助するために性別検出が使用される。画像における性別検出の方法は、当技術分野において周知である。性別検出を使用して、すでにクラスタに割り当てられた顔画像の性別を決定することができる。クラスタ内の顔画像の性別を決定したら、システムはその情報を使用して、新たに追加された画像に対する顔検出結果にバイアスをかけることができる。例えば、システムは、新たな顔画像がクラスタに追加され、新たな画像の性別とすでにクラスタ内にある画像の性別が一致しない場合、ユーザを留まらせるかまたはユーザに通告することができる。クラスタ内の画像がすでにタグを付けられている別の実施形態において、辞書ルックアップを使用してクラスタ内の顔画像の性別を決定することができる。

別の実施形態において、本発明は、異なるエンティティにより維持される顔画像の集合を統合するシステムを提供する。顔画像の集合が異なるエンティティにより別個に維持される場合、特定の人物の顔画像は、別個の集合間で異なるタグ付けがなされ得る。例えば、第１の集合を有するユーザは、Ｊｏｈｎ Ｓｍｉｔｈの顔画像を「Ｊｏｈｎ Ｓｍｉｔｈ」とタグ付けする可能性があり、一方、第２の集合を有する別のユーザは、Ｊｏｈｎ Ｓｍｉｔｈの画像を「Ｊ． Ｓｍｉｔｈ」とタグ付けする可能性がある。すると、２つの集合の単純な集約により、集約された集合において異なるタグの下に同じ人物が現れる結果となる。本発明は、画像テンプレートの比較において追加の情報要素を比較することにより、別個の集合の顔画像を統合する方法を提供する。例えば、これに限定されないが、２つの集合がマージされる際、顔の特徴、画像から検出された性別、辞書検索から検出された性別、割り当てられた名前／タグ、年齢、人種、ポーズ、アクセサリー、地理上の座標および時間（使用可能な場合）、他の既知の顔画像との共起といった情報要素のいくつかまたはすべてが画像テンプレートに組み込まれ得る。統合された集合における顔画像に割り当てられるタグは、情報要素の組を比較する様々な方法により決定され得る。例えば、数値を各情報要素に割り当てることができ、一致する情報要素が所定の数値閾値を超える場合にはタグが自動的に消去され得、また一致する情報要素がそのような閾値を超えない場合は手動での介入により半自動的に消去され得る。
例示的用途
その実施形態のひとつにおいて、本発明は、顔画像データベース１０８および関連情報を利用して、パーソナライズされたサービスをユーザに提供する。例えば、図１３は、パーソナライズされたスライドショーを実行するフローチャート１３００を示す。段階１３０１において、ユーザは対象名を指定し、その後段階１３０２において、システムは対応する顔画像を特定する。次いで、段階１３０３〜１３０５において、それぞれの特定された顔画像に対し、システムは集合１０７内の対応する画像を特定し、ＧＵＩ１２１においてそれをユーザに表示する。フローチャート１３００を使用して、ユーザは、指定された対象に対応する顔画像を有する集合１０７内のすべてまたはいくつかの画像を表示させることができる。いくつかの実施形態において、集合１０７内の各画像における顔画像に関する情報を使用して、対応する画像を表示する際にそれらの顔画像に対して特殊効果を実行することができる。例えば、集合１０７内の対応する画像を表示させる時に顔画像に対するデータベース１０８に記憶された場所パラメータを使用して、表示の時点で顔の境界を特定するために追加の計算を行うことなく、画像のその領域をズームインまたは拡大することができる。

別の実施形態において、データベース１０８は、指定された人物の似顔絵（複数可）を含み得る画像を、外部画像集合に対し検索するために使用することができる。図１４は、段階１４０１においてユーザから対象名を受容し、段階１４０２において一致する名前が割り当てられたデータベース１０８内の顔画像の組を特定するプロセスのフローチャート１４００である。また、段階１４０２において、システムは、選択された顔画像に対応する１つ以上の顔認識テンプレートを決定することができ、これは段階１４０３における検索に使用することができる。段階１４０３において、外部画像集合が検索され、顔認識テンプレートの点で段階１４０２において選択された顔画像の１つに十分近い顔画像を含む任意の画像が識別され得る。例えば、検索は、各画像上での顔検出、続いて一組の所定の顔の指標に対する値を決定するための顔認識、次いで段階１４０２において選択された顔画像の１つ以上に対する整合プロセスを含み得る。一実施形態において、一致する顔画像が見付かったら、ユーザは、自動生成されたメッセージ、例えばユーザの登録された連絡先への自動生成された電子メールまたはテキストメッセージを含むいくつかの手段を介して警告され得る。別の実施形態において、一致する顔画像を有する画像を、集合１０７内に含めることができる。

別の実施形態において、対象は、自分の画像が表示される、および／または自分の画像が名前等の識別情報とともに表示されるのを拒否することが可能である。図１５は、一実施形態における、ユーザ拒否システムにおける操作の例示的フローチャート１５００を示す。段階１５０１において、１人のユーザ、例えば対象Ｘに関する表示イベントが生じる。表示イベントは、対象Ｘの顔画像を有する画像、および／または対象Ｘの情報を有する画像のタグの、画像の集合１０７への追加を含み得る。対象Ｘは、所定の特徴を有する表示イベントが生じた場合通知を受けるように予め登録されていてもよい。段階１５０２において、対象Ｘの優先傾向を含む構成情報に基き、対象Ｘが表示イベントを通知されるべきかが決定され得る。段階１５０３において、対象Ｘに通知が送信される。通知は、対象Ｘが使用可能なアドレスへの電子メールメッセージ、または対象Ｘが使用可能な１つ以上のアドレスへのインスタントメッセージを含む任意の形態で伝達され得る。メッセージは、リンク、例えば対象Ｘがさらなる情報を得る、および／またはその拒否を登録することになっているウェブページへのユニフォームリソースロケータ（ＵＲＬ）を含んでもよい。
通知を伝送したら、段階１５０４において、対象Ｘからの応答が受容され得る。応答は、通知メッセージ内で送られたＵＲＬに対象Ｘが訪問したことを含み得る。段階１５０５において、対象Ｘが拒否する上で依拠するのに十分な情報を得るように、通知を送信させる元となった画像および／またはタグが対象Ｘに表示される。例えば、いくつかの実施形態において、対象Ｘのタグと一致するタグを有する集合１０７内の画像のすべてが表示されてもよく、一方いくつかの他の実施形態は、Ｘへの通知を誘引した表示イベントの直接の原因であった画像およびタグのみを表示してもよい。段階１５０６において、Ｘの入力が受容される。対象Ｘは、一連のチェックボックスを使用して、または他の入力手段を使用して、自分の入力を登録することができる。受容された入力は、画像が削除されるべきか否か、指定されたタグが表示されるか否か、任意のタグの修正、Ｘが問題の画像のソースが通知されるのを望むか否か、およびＸが問題の画像のソースを知らされたいか否かに関するＸの選択を含み得る。段階１５０７において、Ｘの入力した選択は、Ｘに権限があるか、またはその他要求されたサービスを受けることができるかを決定するために検証され得る。例えば、１組の所定の基準を満たすユーザのみが画像の削除を要求することができてもよい。Ｘが画像（複数可）の削除、またはタグ情報の削除もしくは修正の要求を検証される場合、段階１５０８においてそのような変更が集合１０７および顔画像データベース１０８において達成される。例えば、Ｘとしてタグ付けされた画像の自動除去を要求する権限がＸにある場合、画像および関連タグは集合１０７および／またはデータベース１０８から除去され得る。Ｘの権限のレベルに依存して、画像を削除させるＸの要求により、集合１０７の所有者により画像を手動で除去するためにログ入力が行われることになってもよい。また、Ｘの権限に依存して、要求された任意のタグの変更は、自動的になされてもよく、または後に検討するために記録されてもよい。段階１５０９において、Ｘが適切な権限を有する場合、Ｘに問題の画像（複数可）を得た場所が知らされてもよい。最後に、段階１５１０において、問題の画像（複数可）のソースにＸの拒否が通知されてもよい。例えば、Ｘの拒否および問題の画像（複数可）を含む電子メールが自動的にソースに生成されてもよい。さらに別の実施形態は、画像の集合に対する制限されたアクセスをユーザに提供するために、データベース１０８内の情報を使用することができる。例えば、ユーザは、自分の顔画像を有する集合１０７内の画像のみにアクセスすることができる。あるいは、ユーザは、自分の顔画像、または１つ以上の他の所定の組の人物の顔画像を含む１組のアルバムへのアクセスが与えられてもよい。例えば、一実施形態において、アルバムは、共有鍵に基いて制御することができ、鍵は所定の組の基準を満たすユーザにのみ配布される。図１６のフローチャート１６００は、一実施形態におけるそのような制限されたアクセスを実装するための段階を示す。段階１６０１において、ユーザは、自分の顔画像を有する画像へのアクセスが認証され得る。同様に、いくつかの実施形態において、ユーザは、１人以上の他の人物の画像へのアクセスが認証され得る。１人以上の他の人物の画像へアクセスするユーザの特権は、例えば、ユーザ識別子、予め定義されたユーザグループ、および／またはアルバム、画像もしくは対象名ごとに設定されたアクセス特権等に基き、システムにアクセス可能な構成ファイル内で定義することができる。段階１６０２において、一致する対象名を有するデータベース１０８内のすでに名前が付けられた顔画像が取得され得る。段階１６０３において、集合１０７は、段階１６０２において取得された顔画像のみに基いてアクセスされ得る。例えば、ユーザが集合１０７内の画像にアクセスしようとするたびに、そのアクセスは、段階１６０２において取得された顔画像が集合１０７内の選択された画像を参照していることを確かめることにより検証される。

別の実施形態において、本発明は、ユーザが顔画像にタグを割り当てる際に、ユーザが、タグ付けされている人物の顔画像を含む任意の画像に望ましい公開レベル（すなわちアクセスレベル）、および／またはその人物に指定された１つ以上のタグを表示するかどうかを指定することを可能にする。いくつかの実施形態において、１組の画像が公衆、ユーザの所定のグループ、または画像の所有者のみに表示され得るように、様々な許可レベルをアクセスレベルとして設定することができる。アクセスレベルに基き、選択されたタグとともに、またはタグなしで、同じ画像が表示され得る。また、画像がタグ付けされる際、タグ付けアプリケーションは、他のアプリケーションと相互作用して情報を交換することができる。例えば、１つ以上の顔画像のタグ付けの間、タグ付けアプリケーションは、連絡先リストアプリケーションまたは電子メールシステムと相互作用して、一方または両方のアプリケーションに有用となり得る情報を交換することができる。

概要および要約の項ではなく、発明を実施するための形態の項は、特許請求の範囲を解釈するために使用されることを目的とすることを理解されたい。概要および要約の項は、本発明者らにより企図されるように、本発明の例示的実施形態のすべてではないが１つ以上を説明し得るが、本発明および添付の特許請求の範囲を制限することを全く意図しない。

特定の機能の実装およびその関係を例示した機能的な基礎的要素の助けにより本発明を上で説明した。これらの機能的な基礎的要素の境界は、説明に便利なように本明細書において適宜画定されている。特定の機能およびその関係が適切に実行される限り、代替の境界を画定することができる。

特定の実施形態の上記説明は、当技術の範囲内の知識を適用することにより、必要以上の実験を行わずに、また本発明の一般的概念から逸脱せずに、他の者がそのような特定の実施形態を様々な用途に合わせ容易に修正および／または適合させることができるように、本発明の一般的性質を十分明らかとしている。したがって、そのような適合および修正は、本明細書に示された教示および指針に基き、開示された実施形態の同等物の意味および範囲内であることが意図される。本明細書における語法または用語は説明を目的としており、限定を目的とせず、本明細書の用語または語法は教示および指針に照らして当業者により解釈されるべきであることを理解されたい。

本発明の外延および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではなく、以下の請求項およびその同等物によってのみ定義されるべきである。

Claims (24)

1. デジタル画像の集合から顔画像データベースを作成および更新するための方法であって、
   （ａ）該デジタル画像の集合からの画像において、第１組の顔画像を検出することと、
   （ｂ）該第１組の顔画像を類似グループにグループ分けすることであって、該類似グループのそれぞれにおいて、顔画像の顔認識テンプレートが、所定の範囲内にある、ことと、
   （ｃ）該類似グループの１つ以上をグラフィカルユーザインタフェースに表示することであって、該類似グループのそれぞれは、実質的に別個に表示される、ことと、
   （ｄ）該表示された類似グループの１つ以上における個々の顔画像を確認または拒否するためのユーザ入力を受容することと、
   （ｅ）該ユーザ入力により該表示された類似グループの１つ以上を更新することと
   を含む、方法。
2. （ｆ）前記更新された類似グループを前記顔画像データベースに記憶することをさらに含む、請求項１に記載の方法。
3. （ｇ）前記表示された類似グループの１つ以上に対する対象名を受容することと、
   （ｈ）該対象名により該表示された類似グループの１つ以上を更新することと
   をさらに含む、請求項２に記載の方法。
4. 前記段階（ｇ）は、
   ユーザが、前記表示された類似グループのうちの少なくとも１つに対する名前をエントリのリストから選択することを可能にすることであって、該エントリのリストの各エントリは、名前および顔画像のうちの少なくとも１つを有し、該各エントリは、名前と関連した１つ以上の顔画像に対応し、該エントリのリストは、該表示された類似グループのうちの少なくとも１つへの類似性に従い順序付けられる、ことを含む、請求項３に記載の方法。
5. 前記段階（ｃ）は、
   （ｉ）前記１つ以上の類似グループのそれぞれからの代表的な顔画像を、選択可能なフィルムストリップレイアウトで表示するステップと、
   （ｉｉ）ユーザ入力に基づいて、代表的顔画像を選択することと、
   （ｉｉｉ）該選択された代表的顔画像に対応する少なくとも１つの類似グループのうちの顔画像を表示することと
   を含む、請求項２に記載の方法。
6. デジタル画像の集合から顔画像データベースを更新する方法であって、
   （ａ）ユーザから対象名を受容することと、
   （ｂ）該顔画像データベースに記憶された顔画像の少なくとも１つの名前を付けられた類似グループから第１組の顔画像を取得することであって、該少なくとも１つの類似グループと関連付けられた名前は、対象名と実質的に一致する、ことと、
   （ｃ）該第１組に対する第１の顔認識テンプレートを決定することと、
   （ｄ）該顔画像データベースにおける１つ以上の名前を付けられていない類似グループから第２組の顔画像を取得することであって、該名前を付けられていない類似グループは関連した名前を有さず、該名前を付けられていない類似グループの顔認識テンプレートは該第１の顔認識テンプレートと実質的に一致する、ことと、
   （ｅ）該第１組をグラフィカルユーザインタフェースに表示することと、
   （ｆ）該第２組を該グラフィカルユーザインタフェースに表示することと、
   （ｇ）該第２組に関連付けられたユーザ入力を受容することと、
   （ｈ）該ユーザ入力に従い該第２組を更新することと
   を含む、方法。
7. ステップ（ｅ）は、
   （ｉ）クラスタに配設された前記第１組をグラフィカルユーザインタフェースに表示することを含む、請求項６に記載の方法。
8. ステップ（ｆ）は、
   （ｉ）前記第２組の各類似グループが別個のクラスタに配設された状態で、該第２組を前記グラフィカルユーザインタフェースに表示することを含む、請求項７に記載の方法。
9. ユーザ入力を受容することは、
   （ｉ）前記ユーザ入力に基づき１つ以上の顔画像を拒否することであって、該拒否された１つ以上の顔画像は、前記対象名を割り当てられない、ことと、
   （ｉｉ）該ユーザ入力に基づき前記第２組の１つ以上の類似グループを拒否することであって、該拒否された１つ以上の類似グループは、該対象名を割り当てられない、ことと、
   （ｉｉｉ）該ユーザ入力に基づき該第２組の１つ以上の類似グループを確認することと
   のうちの１つ以上をさらに含む、請求項６に記載の方法。
10. 前記段階（ｈ）は、
    （ｉ）前記ユーザ入力に基づき前記第２組の類似グループの顔画像に前記対象名を割り当てることをさらに含む、請求項６に記載の方法。
11. ステップ（ｅ）は、
    （ｉ）前記第１組を前記グラフィカルユーザインタフェースの第１の領域内に表示することを含む、請求項６に記載の方法。
12. ステップ（ｆ）は、
    （ｉ）前記第２組を前記グラフィカルユーザインタフェースの第２の領域に表示することであって、該第２の組は、前記第１組との類似性に従い順序付けられる、ことを含む、請求項１１に記載の方法。
13. デジタル画像の集合において検出された複数の顔に名前を割り当てるための名前付けツールであって、
    （ａ）該デジタル画像の集合からの画像において検出された顔画像に関連するデータを記憶するように構成される、顔画像データベースと、
    （ｂ）少なくとも１つのグラフィカルユーザインタフェースと、
    （ｃ）該少なくとも１つのグラフィカルユーザインタフェースを通して、該データおよび該画像の一方または両方の操作を可能にする少なくとも１つのユーザ入力デバイスと、
    （ｄ）該デジタル画像の集合の画像において顔を検出することと、該検出された顔に関連するデータを該顔画像データベースに記憶することとを行うように構成される、顔検出モジュールと、
    （ｅ）該顔画像データベース内の各顔画像に対する少なくとも１つの顔認識テンプレートを計算するように構成される、顔認識モジュールと、
    （ｆ）実質的に類似した顔画像が１つの類似グループに属するように、それぞれの顔認識テンプレートに従い該顔画像データベース内の顔画像をグループ分けするように構成される、類似性順位付けモジュールと、
    （ｇ）類似グループに従い該顔画像をレイアウトするように構成される、表示レイアウト生成モジュールと
    を備え、該少なくとも１つのユーザ入力デバイス、該少なくとも１つのグラフィカルユーザインタフェース、該デジタル画像の集合、および該顔画像データベースは、該顔検出モジュール、該顔認識モジュール、該類似性順位付けモジュール、および該表示レイアウト生成モジュールに通信可能に結合される、名前付けツール。
14. デジタル画像の集合からデジタル画像にアクセスする方法であって、
    （ａ）対象名を受容することと、
    （ｂ）顔画像データベース内の第１組の顔画像を選択することであって、該第１組の中の顔画像は、該対象名を割り当てられる、ことと、
    （ｃ）該デジタル画像の集合からデジタル画像を見付けることであって、該デジタル画像は、以前に該第１組の顔画像に関連付けられた、ことと
    を含む、方法。
15. （ｄ）前記デジタル画像を表示することと、
    （ｅ）前記顔画像データベースに記憶されたデータを使用して、１つ以上の表示されたデジタル画像における少なくとも１つの顔に特殊効果を表示することと
    をさらに含む、請求項１４に記載の方法。
16. （ｄ）前記対象名を割り当てられた顔画像にユーザがアクセスするのを認証することと、
    （ｅ）前記第１組に以前に関連付けられた前記デジタル画像の集合の中の画像に該ユーザがアクセスするのを許可することと
    をさらに含む、請求項１４に記載の方法。
17. 複数のソース画像を使用して人物の画像を検索する方法であって、
    （ａ）対象名を受容することと、
    （ｂ）該対象名を割り当てられる顔画像データベース内の第１組の顔画像を選択することと、
    （ｃ）１つ以上のデジタル画像の集合を検索することであって、検索は、該第１組の顔画像を使用する自動顔認識を含む、ことと、
    を含む、方法。
18. （ｄ）一致画像が見付かった時に警告を生成することであって、該一致画像は、前記第１組の顔画像の中の少なくとも１つの顔画像に実質的に一致する顔画像を含む、ことをさらに含む、請求項１７に記載の方法。
19. （ｅ）ユーザを前記対象名に関連付けることをさらに含む、請求項１８に記載の方法。
20. 前記警告を生成することは、
    （ｉ）一致画像を見付けることであって、該一致画像は、前記第１の組の顔画像の中の少なくとも１つの顔画像に実質的に一致する顔画像を含む、ことと、
    （ｉｉ）掲載された画像において所定の種類の表示イベントのうちの少なくとも１つを検出することであって、該掲載された画像は、該少なくとも１つの顔画像に実質的に一致する一致顔画像を含む、ことと、
    （ｉｉｉ）該所定の種類の表示イベントのうちの前記少なくとも１つに関して前記ユーザに通知することと、
    （ｉｖ）該ユーザから入力選択を受容することと
    を含む、請求項１９に記載の方法。
21. （ｆ）前記入力選択に基づき、１つ以上の場所から前記掲載された画像を自動的に削除することをさらに含む、請求項２０に記載の方法。
22. （ｆ）前記入力選択に基づき、前記掲載された画像に割り当てられた１つ以上のタグを修正することをさらに含む、請求項２０に記載の方法。
23. （ｆ）前記入力選択に基づき、前記少なくとも１つの画像を有する１つ以上のソースに通知することをさらに含む、請求項２０に記載の方法。
24. 一致画像を見付けることは、
    （ｉ）前記少なくとも１つの画像において顔画像を検出することと、
    （ｉｉ）前記対象名を表す該顔画像を決定することと、
    （ｉｉｉ）該対象名および前記ユーザのうちの１つ以上を関連付けるタグを、該少なくとも１つの画像に割り当てることと
    を含む、請求項２０に記載の方法。

Images