JP2008538998A - 画像に含まれる人物を認識する際の時刻の利用 - Google Patents

Abstract

長期間にわたって取得したディジタル画像コレクションの中から興味の対象となる特定の少なくとも一人の人物を同定する方法は、それぞれのディジタル画像に一人以上の人物が含まれているディジタル画像コレクションを用意するステップと；付随するある時刻における興味の対象である特定の人物の顔の特徴に関する距離測定値である1セットの特徴を持つ外見モデルをディジタル・データベースに記憶させるステップと；個人認識分類装置を設け、その個人認識分類装置において、外見モデルと付随する時刻とを利用して、ディジタル画像コレクションの画像の中で興味の対象である特定の人物を同定するステップを含んでいる。

Description

本発明は画像処理に関するものであり、より詳細には、たまったディジタル画像またはビデオに含まれる興味の対象となる人物の同定または認識に関する。

ディジタル写真の出現に伴い、消費者はディジタル画像とビデオを大量に抱えるようになっている。1人の人がディジタル・カメラで撮影する画像の平均数は、年々増加している。その結果、その典型的な消費者にとって、画像とビデオの整理と検索がすでに問題となっている。現在のところ、典型的な消費者が撮影したディジタル画像の撮影期間はほんの数年である。整理と検索の問題は、ディジタル画像とビデオがたまる期間が長くなるほど重大になるであろう。

消費者の写真における最も基本的な問題の1つは人物である。さらに、たまっているディジタル画像とビデオには、特定の人物がしばしば現われる。例えば新しく親になった人が撮影するほとんどの画像には彼らの赤ん坊が含まれていることが一般的である。消費者は、自分が撮影してたまった画像の中から特定の人物を含むすべての画像を見いだす能力を望んでいる。しかしこれは技術的に非常に難しい問題である。例えば赤ん坊が成長してよちよち歩きをするようになり、さらに子ども時代を経て大人になるとき、外見が劇的に変化する。

セキュリティその他の目的で人物を認識しようと試みる画像処理パッケージが多く存在している。いくつか例示すると、コグニテック・システムズ社の顔認識ソフトウエアFaceVACSと、イマジス・テクノロジーズ社とアイデンティックス社の顔認識SDKがある。これらのパッケージは主としてセキュリティ・タイプの用途が想定されており、人物が、一様な照明のもと、ニュートラルな表情で正面を向いてカメラに対する。こうした方法は、個人的な消費者の画像での利用には適していない。なぜならこの分野では、ポーズも、照明も、表情も、画像に含まれる顔のサイズも、さまざまだからである。さらに、このようなシステムは大人の顔で使用することを目的としているため、興味の対象となるあらゆる年齢の特定の人物の画像をうまく認識することはできない。

ディジタル画像から人物の年齢を検出するための画像処理技術がいくつか報告されている。例えばLoboとKwonは、アメリカ合衆国特許第5,481,650号において、ディジタル画像に含まれる人物の年齢を分類する方法を記載している。彼らは顔を計測し、スネークを利用して皺分析を行ない、人物の年齢を次のカテゴリーに分類している。すなわち赤ん坊（約3歳まで）、若者（3〜40歳）、中老年（40歳超）である。この方法では、画像に含まれる人物が誰であるかを認識する問題は議論されていない。顔を認識する他のいろいろな画像処理法が知られている。例えばアメリカ合衆国特許出願公開2004/0247177 A1では、いろいろな固有顔を利用し、対象となる1つの顔の画素密度パターンの特徴を明らかにしている。上記のどの方法にもいろいろな問題があり、興味の対象となる人物を間違える可能性がある。

本発明の1つの目的は、たまった画像に含まれる一人の人物を同定するための改良された方法を提供することである。未知の人物を分類するのに、興味の対象となる既知の人物の顔の特徴間の距離の測定値に基づいた特徴を有する外見モデルを利用すると特に効果的であることがわかった。大人では、顔の特徴間の距離の測定値は一般に時間とともに変化することはないため、興味の対象となる人物の検索精度が向上する。成長とともに顔の特徴が急速に変化する子どもでは、距離の測定値を利用した外見モデルを有効に用いることができる。

この目的は、長期間にわたって取得したディジタル画像コレクションの中から興味の対象となる特定の少なくとも一人の人物を同定する方法であって、
それぞれのディジタル画像に一人以上の人物が含まれているディジタル画像コレクションを用意するステップと；
付随するある時刻における興味の対象である特定の人物の顔の特徴に関する距離測定値である1セットの特徴を持つ外見モデルをディジタル・データベースに記憶させるステップと；
個人認識分類装置を設け、その個人認識分類装置において、外見モデルと付随する時刻とを利用して、ディジタル画像コレクションの画像の中で興味の対象である特定の人物を同定するステップを含む方法によって達成される。

本発明の1つの有利な効果は、ディジタル画像またはビデオに含まれる興味の対象となる人物を同定するのに1つの画像とそれに付随する時刻を利用できることである。言い換えるならば、本発明では、ある赤ん坊の画像を利用すると、それよりも後に子どもまたは大人になった同じ人物の写真として表現することができる。

本発明の上記の特徴と目的ならびに他の特徴と目的、それを実現する方法は、添付の図面を参照した本発明の一実施態様に関する以下の説明からより明らかになろう。さらに、本発明そのものも、この説明からよりよく理解されよう。

以下の説明では、本発明のいくつかの実施態様をソフトウエア・プログラムとして説明する。当業者であれば、そのようなソフトウエアと同等なハードウエアも構成できることが理解できよう。画像処理アルゴリズムと画像処理システムはよく知られているため、ここでの説明は、特に、本発明による方法の一部を形成するアルゴリズムとシステム、または本発明による方法とより直接に組み合わせて利用されるアルゴリズムとシステムに向けることにする。このようなアルゴリズムおよびシステムの他の側面と、そこに関与する画像信号を生成させたり処理したりするためのハードウエアまたはソフトウエアは、ここに特に示しもしないし説明もしないが、従来技術で知られているシステム、アルゴリズム、部品、素子の中から選択することができる。この明細書の以下の部分に示した説明からわかるように、説明内容をすべてソフトウエアで実現することは一般的であり、当業者であれば可能である。

本発明は、コンピュータのハードウエアとコンピュータ化された装置として実現できる。例えば本発明の方法は、ディジタル・カメラ、ディジタル・プリンタ、インターネット・サーバ、キオスク、パーソナル・コンピュータで実施することができる。図1を参照すると、本発明を実現するコンピュータ・システムが示してある。このコンピュータ・システムは好ましい一実施態様を説明する目的で示してあるが、本発明が図示したコンピュータ・システムに限定されることはなく、任意の電子処理システム（例えばディジタル・カメラ、家庭のコンピュータ、キオスク、小型または大型の写真仕上げ店）や、ディジタル画像を処理するための他の任意のシステムで本発明を利用することができる。このコンピュータ・システムは、ソフトウエア・プログラムのインストールと処理、ならびに他の処理機能を実施するため、マイクロプロセッサをベースとしたユニット20（この明細書ではディジタル画像プロセッサとも呼ぶ）を備えている。ディジタル画像プロセッサ20は、画像取得装置10（例えばカメラ、スキャナ、コンピュータ画像生成ソフトウエア）からの画像を処理する。ディジタル画像プロセッサ20を利用してディジタル画像を処理することで、そのディジタル画像の全体の明るさ、色調のスケール、画像の構造などを調節し、見て満足できる画像が画像出力装置30から生成されるようにできる。ディジタル画像プロセッサ20は、全体制御用コンピュータ40（マイクロプロセッサをベースとしたユニットでもよい）とのインターフェイスとしてデータと命令を交換する。全体制御用コンピュータ40とディジタル画像プロセッサ20を異なる2つのマイクロプロセッサにすること、またはそれぞれの機能を単一のマイクロプロセッサで実施させることができる。ディジタル画像プロセッサ20は画像出力装置30（例えば画像を印刷するプリンタ）に画像をしばしば出力する。ディスプレイ装置50がディジタル画像プロセッサ20に電気的に接続されていて、ソフトウエアに付随するユーザー関連情報を例えばグラフィカル・ユーザー・インターフェイスによって表示する。全体制御用コンピュータ40を通じてキーボード60もマイクロプロセッサをベースとしたユニット20に接続されているため、ユーザーはソフトウエアに情報を入力することができる。従来技術でよく知られているように、入力するのにキーボード60の代わりにマウスを利用してディスプレイ装置50上のセレクタを移動させ、そのセレクタが重なったアイテムを選択することができる。

ソフトウエア・プログラムとそれ以外の情報を全体制御用コンピュータ40とディジタル画像プロセッサ20に入力する手段として、一般にソフトウエアが収容されているコンパクト・ディスク-読み出し専用メモリ（CD-ROM）を全体制御用コンピュータ40に挿入する。それに加え、フロッピー（登録商標）・ディスクもソフトウエア・プログラムを収容することができるため、そのソフトウエア・プログラムを入力するのにそのフロッピー（登録商標）・ディスクを全体制御用コンピュータ40に挿入する。さらに、従来技術でよく知られているように、全体制御用コンピュータ40をプログラムしてソフトウエア・プログラムを内部に記憶させることができる。全体制御用コンピュータ40は、外部ネットワーク（例えばローカル・エリア・ネットワークやインターネット）に接続することができる（例えば電話線や無線接続）。

画像は、パーソナル・コンピュータ・カード（PCカード）を通じてディスプレイ装置50にも表示することができる。PCカードは例えば以前知られていた（パーソナル・コンピュータ・メモリ・カード国際協会の仕様に基づく）PCMCIAカードであり、ディジタル化された画像が電子的な形態でそのカードの中に含まれている。

画像出力装置30は最終画像を提供する。画像出力装置30は、プリンタにすること、または紙や他のハード・コピー最終画像を提供する他の出力手段にすることができる。画像出力装置30は、ディジタル・ファイルとして最終画像を提供する出力装置にすることもできる。画像出力装置30は、出力を組み合わせること（CDやDVDといったメモリ・ユニット上のプリントされた画像と、ディジタル・ファイル）もできる。

ディジタル画像は、1つ以上のディジタル画像チャネルまたはカラー成分を含んでいる。各ディジタル画像チャネルは、画素の2次元アレイである。各画素値は、画像取得装置が画素の物理的領域に対応して受け取る光の量と関係している。カラー画像の用途では、ディジタル画像は、赤、緑、青のディジタル画像チャネルからなることがしばしばある。一連のディジタル画像として動画の用途を考えることができる。当業者であれば、この明細書で言及した任意の用途のために本発明をディジタル画像チャネルに適用できることが理解できよう。ディジタル画像チャネルを行と列に配置した画素値の2次元アレイとして説明しているが、当業者であれば、本発明を、同じ効果を持つ直線で囲まれていないアレイに適用できることが理解できよう。当業者であれば、元の画素値を以下に説明するディジタル画像処理ステップにおいて処理した画素値で置き換えることは、同じ処理ステップを、元の画素値を保持しながら処理した画素値を有する新しいディジタル画像を生成させると記述することと機能的に同等であることも理解できよう。

本発明をソフトウエアとハードウエアの組み合わせで実現できることと、本発明が、互いに物理的に接続された複数の装置や、同じ物理的位置に存在している複数の装置に限定されないことにも注意されたい。図1に示した装置のうちの1つ以上を離して配置し、ネットワークを通じて接続することができる。その装置のうちの1つ以上を、直接に、またはネットワークを通じ、例えばラジオ周波数のリンクによって無線接続することができる。

本発明は、ユーザーのさまざまな文脈と環境で利用することができる。文脈と環境の例として、大型のディジタル写真仕上げ店（例えばフィルムを受け取り、ディジタル処理し、プリント・アウトするといった処理ステップまたは処理段階が含まれる）、小型のディジタル写真仕上げ店（フィルムを受け取り、ディジタル処理し、プリント・アウトする）、家庭でのプリント（家庭でフィルムまたはディジタル画像を走査し、ディジタル処理し、プリント・アウトする）、デスクトップ・ソフトウエア（アルゴリズムをディジタル印刷に適用して品質を向上させる、または単にディジタル印刷を変化させるソフトウエア）、ディジタル処理の実行（媒体から、またはウェブを通じてディジタル画像を受け取り、ディジタル処理し、画像をディジタル形態で媒体に出力するか、画像をディジタル形態でウェブに出力するか、ハード-コピー・プリントにする）、キオスク（ディジタル入力または走査された入力を受け取り、ディジタル処理し、ディジタル形態またはハード・コピーで出力する）、携帯装置（例えば、処理ユニット、表示ユニット、処理の指示を与えるためのユニットのいずれかとして使用できるPDAまたは携帯電話）、ワールド・ワイド・ウェブを通じて提供されるサービスなどがある。

本発明は、それぞれの場合に、独立型のものにすること、またはより大きなシステム・ソリューションの1つの要素にすることができる。さらに、人とのインターフェイス（例えば走査や入力、ディジタル処理、ユーザーに対する表示（必要な場合）、ユーザーの要求または処理命令の入力（必要な場合）、出力）は、それぞれ、同じ装置上と同じ物理的位置にあってもよいし、異なる装置上と異なる物理的位置にあってもよく、装置間と場所間の通信は、公的なネットワーク接続、私的なネットワーク接続、媒体に基づいたやり取りのいずれかを通じて実現できる。本発明の上記の説明に合致している場合には、本発明の方法を完全に自動化すること、ユーザー入力にすること（完全な手入力または一部を手入力にすること）、結果をユーザーまたは操作者が許諾／拒絶すること、メタデータ（ユーザーが供給できるメタデータ、測定装置（例えばカメラ）によって供給されるメタデータ、アルゴリズムによって決定されるメタデータ）による支援が受けられるようにすることができる。さらに、作業の流れに関するさまざまなユーザー・インターフェイス・スキームとのインターフェイスにアルゴリズムを用いることができる。

本発明には、この明細書に記載した実施態様の組み合わせが含まれる。“特別な1つの実施態様”などへの言及は、本発明の少なくとも1つの実施態様に存在する特徴への言及を意味する。“一実施態様”または“特別な実施態様”などに別々に言及している場合、必ずしも同じ実施態様に言及しているわけではない。しかしそのような実施態様は、特に断わっている場合や当業者にとって明らかである場合を除き、互いに両立しないわけではない。

本発明の一実施態様を図2に示してある。ディジタル画像またはビデオ104が分析され、その中に含まれている人物が誰であるかが認識される。たまったディジタル画像またはビデオ104に含まれる人物を認識することで、ディジタル画像またはビデオ104に関するデータベース120を作ることと、ディジタル画像またはビデオ104に含まれる人物が誰であるかを明らかにすることができる。その結果、データベース120に質問122を投げかけることにより、探している人物を含む画像とビデオを見いだすことができる。データベース120は任意の形態にできる。さらに、例えばディジタル画像またはビデオ104のファイルのヘッダに人物分類118を挿入することにより、データベース120を多くの記憶位置に分散させることができる。例えば“ジム”という画像を探す質問122により、興味の対象である人物“ジム”を含む一群のディジタル画像またはビデオ104を含む質問回答124が返ってくる。その質問回答124は戻すことができる。質問回答124は、求める人物を含む一群のディジタル画像またはビデオ104である。

ディジタル画像またはビデオ104は取得時刻取出装置108に移される。取得時刻取出装置108は、ディジタル画像またはビデオ104が取得された時刻を明らかにし、画像取得時刻112を出力する。ディジタル画像またはビデオ104の画像取得時刻112は、取得時刻取出装置108によっていくつかある方法のうちの1つを利用して明らかにされる。取得時刻はディジタル画像またはビデオ104のファイルのヘッダに埋め込まれていることがしばしばある。画像またはビデオの取得装置は、その画像またはビデオに付随する情報を例えば（www.exif.orgに記載されている）EXIF画像形式でファイルのヘッダに記憶させることができる。“日付／時刻”入力は、画像が取得された日付と時刻に関する。ディジタル画像またはビデオが走査フィルムから得られ、その画像の通常は左下隈に印刷されている日付（取得時刻になされることがしばしばある）を検出することによって画像取得時刻112が明らかになる場合がある。写真が印刷される日付は、そのプリントの背面に印刷されることがしばしばある。あるいはフィルムが取得の日付などの情報を記憶するための磁気層を備えているようなフィルム・システムもある。取得時刻取出装置108は、画像の画像取得時刻112を取り出すための最適な方法を利用する。ディジタル画像104の供給源はディジタル・カメラであることが好ましく、取得時刻取出装置108は画像ファイル情報から取得時刻を取り出すことが好ましい。

画像取得時刻112は、2004年3月27日午前10時17分のように時刻を分まで正確に示すことができる。あるいは画像取得時刻112は、2004年や2004年3月などのように、そこまでは細かくしないこともできる。画像取得時刻112は、95％の信頼度で2004年3月27日±2日のように確率分布関数の形態にすることができる。画像取得時刻112は、個人認識分類装置114に入力される。

ディジタル画像またはビデオ104は、入力として人物発見装置106にも入力され、そのディジタル画像またはビデオに含まれる人物が自動的に検出される。人物発見装置106は、そのディジタル画像またはビデオに含まれる1人以上の人物に関して人物の特徴110を同定する。人物は顔の検出によって見いだされることが好ましい。人の顔を検出する方法はディジタル画像処理の分野でよく知られている。例えば画像に含まれる人の顔を見いだす1つの顔検出法が以下の論文に記載されている：Jones, M.J.、Viola, P.、「迅速なマルチ-ビュー顔検出」、コンピュータ・ビジョンとパターン認識に関するIEEE会議（CVPR）、2003年6月。さらに、顔が検出されると、よく知られた方法（例えばYuille他、「変形可能なテンプレートを用いた顔からの特徴取り出し」、Int. Journal of Comp. Vis.、第8巻、第2号、1992年、99〜111ページ）を利用して顔の特徴（例えば目、鼻、口など）がある位置を特定することもできる。著者は、口、目、虹彩／強膜の境界を特定するためにテンプレートの一致によるエネルギー最少化を利用した方法を記載している。顔の特徴は、T.F. CootesとC.J. Taylorが「制約のあるアクティブな外見モデル」（第8回コンピュータ・ビジョンに関する国際会議、第1巻、748〜754ページ、IEEEコンピュータ学会出版、2001年7月）に記載しているアクティブな外見モデルを利用して見いだすこともできる。この好ましい実施態様では、BolinとChenが「ポートレート画像のための顔の特徴発見自動化システム」（IS&T PICS会議のプロシーディング、2002年）に記載している人の顔のアクティブな形状モデルに基づいて顔の特徴点を特定する方法が利用されている。

人物発見装置106は、この人物発見装置106によって検出された人物の定量的な記述である人物の特徴110を出力する。人物発見装置106は、検出されたそれぞれの人について1セットの人物の特徴110を出力することが好ましい。人物の特徴は、特定の顔の特徴に関する82個の特徴点の位置であることが好ましい。その特徴点は、Cootesらの上記のアクティブな外見モデルと同様の方法を用いて見いだされる。ある1つの顔の画像に関する顔の特徴点をイラストとして図3Aと図3Bに示してある。あるいは人物の特徴110はさらに、目の色、皮膚の色、顔の形などの定量化可能な記述子を用いて表現することができる。人物の特徴は、特定の特徴点の間の距離、または特定の特徴点を接続した線同士がなす角度にすることもできる。色の情報は、人物発見装置106によって人物と顔の特徴が特定されると、ディジタル画像またはビデオ104から容易に取り出すことができる。人物の特徴110は、個人認識分類装置114に入力される。

あるいはいろいろな顔の特徴を利用することもできる。例えばM. TurkとA. Pentlandが「認識のための固有顔」（Journal of Cognitive Neuroscience、第3巻、第1号、71〜86ページ、1991年）に記載している顔の類似性計量に基づいた一実施態様が可能である。顔記述子は、1つの顔の画像を、顔の外見の変動を記述する一群の主要成分関数に射影することによって得られる。任意の2つの顔の類似性は、それぞれの顔を同じ関数群に射影することによって得られた特徴についてユークリッド距離を計算することによって測定される。この場合、外見モデルは、同じ顔に関する複数の画像をこれら主要成分関数に射影したものの平均値と共分散を記述することができる。（例えば図5の人物分類装置132によって計算される）類似性計量は、新しい顔のマハラノビス距離をモデルの平均値に対して計算することができる。

外見モデルと類似性測定は、互いに共通性のないいくつかのタイプの特徴（例えば固有顔、顔の測定値、色／肌理の情報、ウエーブレットの特徴など）の組み合わせを含むことができよう。ディジタル・データベースに記憶されている1セットの外見モデル116₁〜116_Nが個人認識分類装置114に入力されると、人物発見装置106によって検出されて人物の特徴110によって表わされた人物が誰であるかが特定される。外見モデル116₁〜116_Nは、興味の対象である特定の人物に関する1セットの特徴を含んでいる。さらに、それぞれの外見モデルには時刻が付随している。外見モデル116₁〜116_Nは、興味の対象である人物の特定の時刻または年齢における外見（顔であることが好ましい）を表わしている。外見モデルについて以下に詳細に説明する。興味の対象である人物は、たまったディジタル画像とビデオ104の中で同定することが重要な人物である。例えば小さな子どもたちのいる家庭では、それぞれの子どもが興味の対象である人物になろう。なぜなら、ディジタル媒体コレクションのそれぞれの写真とビデオ104に現われるそれぞれの子どもを同定することが、一家の主にとって有用かつ価値のあることだろうからである。個人認識分類装置114の目的は、外見モデル116₁〜116_N、画像取得時刻112、人物の特徴110のうちの1つ以上を利用して、人物発見装置106によって検出された人物が興味の対象である人物であるかどうかを明らかにすることである。これは、検出された人物に関する人物の特徴110を興味の対象である人物の外見モデル116の特徴と比較することによって実現される。個人認識分類装置114は、人物分類118を出力する。人物分類118は、人物発見装置106によって検出された人物が興味の対象である人物であることの確からしさ（確率）であることが好ましい。人物分類118は、人物の特徴110に関係する人物が興味の対象である人物であるかどうかに関する個人認識分類装置114の決定を示す2値インディケータ（例えば真または偽）にすることができる。

たまったそれぞれの写真とビデオ104で検出された各人物に個人認識分類装置114を繰り返して適用することにより、人物発見装置106によって検出されたすべての人物が、興味の対象である特定の人物である確からしさとして分類される。

さらに、興味の対象である別の人物の外見モデル117₁〜117_Mも個人認識分類装置114に入力される。人物発見装置106によって見いだされたそれぞれの人物は人物の特徴110を1セット生成させると、個人認識分類装置114が、1セットの人物の特徴110に対応する検出された各人物が興味の対象である人物のうちの誰かであることの確からしさを示す人物分類118を出力する。人物分類は、人物発見装置106によって見いだされた人物に対応する人物の特徴110が興味の対象である特定の人物である確率の集合（興味の対象である人物一人につき1つの確率）であることが好ましい。

簡単にまとめると、個人認識分類装置114は、画像取得時刻112と、興味の対象である人物に関する時刻付き外見モデル116の特徴とを利用し、検出された人物が興味の対象であることの確からしさを記述する人物分類118を生成させる。

次に、人物分類118に関する情報は、人物の特徴110とともに、またはディジタル画像またはビデオとともに、データベース120に記憶させることができる。興味の対象である特定の人物が含まれた画像またはビデオに対して質問122がなされると、データベース120は検索を行ない、質問に対する適切な回答124が、ユーザー・インターフェイス（例えば図1のディスプレイ装置50）を通じてユーザーに返される。

N個の外見モデル116₁〜116_Nは、興味の対象である一人の人物の外見を表わす。それぞれの外見モデルには時刻が付随している。例えば外見モデル116₁は、興味の対象である人物が1歳のときの外見を表わすことができ、外見モデル116₂は、興味の対象である人物が2歳のときの外見を表わすことができる。この例では、付随する時刻は1歳と2歳である。外見モデルに付随する時刻は、興味の対象である人物の年齢にすること、または日付などの絶対時刻にすることができる。画像取得時刻112と同様、外見モデルに付随する時刻は、確率分布関数にすること、または正確（例えば興味の対象である人物の日単位で測定した年齢）または不正確（例えば興味の対象である人物の10年単位で測定した年齢）にすることができる。興味の対象である人物の外見モデルは、その人物の誕生日を含むこともできる。画像取得時刻112および外見モデルに付随する時刻と同様、誕生日は、正確（例えば誕生日が2002年6月26日）または不正確（例えば誕生日が1960年代）にすること、または確率分布関数で表わすことができる。

例えば図3Aと図3Bに、興味の対象である特定の人物の2つの異なる外見モデルを示してある。図3Aは、興味の対象である特定の人物が1歳のときの外見モデルのグラフィック表示であり、図3Bは、興味の対象である特定の人物が2歳のときの外見モデルのグラフィック表示である。それぞれの外見モデルのイラストは、顔の輪郭、目と眉の輪郭、鼻の底部の位置を示している。表示は、左目が（0, 0）にあり、右目が（1, 0）にあるように規格化されている。外見モデルでは、目は、成長に伴って顔が変化するため1歳におけるよりも2歳におけるほうが小さく見えることに注意されたい。

興味の対象である人物の外見モデルを生成させるための好ましい方法を図4Aと図4Bに示してある。たまったディジタル画像またはビデオ104は、興味の対象である人物が含まれた一群の画像から人物の特徴110を計算することによって処理される。人物発見装置106が画像に含まれる人物を見いだすと、人物の特徴110が計算される。見いだされた人の顔は、似た顔のクラスターに分類される。それぞれのクラスターは、個人を表わすか、個人の特定の1つの外見を表わしていなければならない。これについては、譲受人に譲渡された2003年11月13日に公開のアメリカ合衆国特許出願公開2003/0210808 A1に記載されている。ユーザーは、クラスター化が正確であることと、単一のクラスターに含まれるすべての人物が興味の対象である同一の人物であることを確認する。また、取得時刻取出装置108が、それぞれの画像またはビデオ104に付随する画像取得時刻112を取り出す。画像取得時刻112と人物の特徴110は外見モデル生成装置102に入力される。外見モデル生成装置は、興味の対象である人物に関する1セットの外見モデル116₁〜116_Nを出力する。興味の対象である人物の誕生日を示すユーザー入力103も外見モデル生成装置102に入力される。外見モデル生成装置は、興味の対象である人物に関する特徴を利用し、1セットの外見モデル116₁〜116_Nを生成させる。外見モデル生成装置102は、例えば興味の対象である人物が1歳のときのその人物に関して人物発見装置によって検出されたあらゆる事項に付随する特徴を利用し、外見モデル116₁を生成させる。外見モデル生成装置102は、次に、興味の対象である人物が2歳のときのその人物に関して人物発見装置によって検出されたあらゆる事項に付随する特徴を利用し、外見モデル116₂を生成させる。

人の顔は成長期（0歳〜16歳）の間に最も急速に変化するため、子どもに関する外見モデルは、非成長期に関する外見モデルよりも（外見モデルに付随する時刻に関して）時間間隔を短くする必要がある。性能をよくするには、成長期の子どもでは非成長期の大人よりも多数の外見モデルが必要とされる。例えば0歳〜6歳の間は付随する時刻の間隔を1年にして外見モデルを生成させ、16歳〜22歳では間隔を3年ごとにし、それ以降は5年ごとにすることが好ましい。外見モデル116は、興味の対象である人物に関し、その人物の年齢（興味の対象である人物の誕生日がわかっている場合。それ以外は画像取得時刻を用いる）が所定の間隔内にあるあらゆる場面での特徴の平均値と共分散を計算することによって生成させることができる。まとめると、外見モデル116は、顔の定量的な属性を表わす特徴を含んでいる。この好ましい実施態様では、顔のこれらの属性は、顔の特徴（目、鼻、口、額など）に関する測定値である。利用する特徴を表1にリストにしてある。特徴を計算するときには、図4Bに数字で示した顔面上の点を参照する。Arc (Pn, Pm)は、

として定義される。ただし||Pn-P(n+1)||は、顔の特徴点nとmの間のユークリッド距離を意味する。特徴に関するこれらArc長を両目の間の距離で割って顔のサイズの違いを規格化する。点PCは、点0と点1の重心に位置する点である（この点は正確に両目の間にある）。ここで利用する顔の測定値は、人の顔において性別、年齢、魅力、民族を判断するのに関係することがわかっている人体測定値に由来するものである（参考：Farkas（編）による『頭と顔の人体測定』、第2版、レイヴン出版、ニューヨーク、1994年）。

外見モデルは、付随するある時刻における興味の対象である人物の外見を記述する。ある1つの外見モデルは、特定のケースの複数のサブモデルを含むことができる。例えば1つの外見モデルの中に、興味の対象である人物がメガネをかけている1つのサブモデルと、興味の対象である人物がメガネをかけていない第2の外見モデルが存在できる。

図5に、外見モデル116₁〜116_Nに付随する時刻が興味の対象である人物の年齢であって、その人物の誕生日がわかっている場合の個人認識分類装置114をより詳しく示してある。年齢計算器126が興味の対象である人物に関して画像取得時の年齢を計算する。例えば画像取得時刻が1999年11月2日であり、興味の対象である人物の誕生日が1977年である場合には、年齢計算器126は、興味の対象である人物の年齢が7976〜8340日（21歳10ヶ月と2日〜22歳10ヶ月と1日）であると決定する。年齢モデラー128は、興味の対象である人物の外見モデル116₁〜116_Nと、年齢計算器によって計算された興味の対象である人物の年齢とを利用し、年齢指定モデル130を生成させる。年齢モデラー128は、興味の対象である人物に関するN個の外見モデル116₁〜116_Nの中から時刻（年齢）が付随した外見モデルを選択するにあたって、興味の対象である人物に関して画像取得時の年齢に最もよく一致する外見モデルを選択することが好ましい。例えば興味の対象である人物の年齢が7976〜8340日である場合には、22歳における興味の対象である人物に対応する外見モデルが選択される。

年齢計算器126が負の時刻を返してくる場合には、これは画像取得時刻が興味の対象である人物の誕生日よりも前であることを意味する。典型的な消費者の画像とビデオでは、個人の誕生前の画像またはビデオがあることは極めて異常である（超音波などの医用イメージング技術は除く）。したがって画像取得時刻112が（外見モデル116に含まれる）興味の対象である人物の誕生日よりも前である場合には、個人認識分類装置114は、人物発見装置106によって検出された人物が興味の対象である人物ではないこと（または興味の対象である人物である確率が非常に小さいかゼロであること）を示す人物分類118を生成させる。同様に、年齢計算器126が、画像取得時に興味の対象である人物の年齢がヒトの予想寿命を超えている（例えば116歳）と判断した場合には、人物分類装置132は、人物発見装置106によって検出された人物が興味の対象である人物ではないこと（または興味の対象である人物である確率が非常に小さいかゼロであること）を示す人物分類118を生成させる。

あるいは興味の対象である人物に関して時刻が付随した外見モデル116が画像取得時刻112の近くには存在していないこともありうる。例えば興味の対象である特定の人物が、2歳時の興味の対象であるその人物に対応する1つの外見モデル116しか持っていない可能性がある。この外見モデル116は、興味の対象である人物が、22歳のときに取得した画像の中にいる人物であるかどうかを明らかにするのに適切ではなかろう。外見モデル116は、付随する時刻が、興味の対象である人物が0歳〜6歳であるときにはその人物の年齢から1年以内、興味の対象である人物が6歳〜16歳であるときにはその人物の年齢から2年以内、興味の対象である人物が16歳〜22歳であるときにはその人物の年齢から3年以内、興味の対象である人物が22歳を超えているときにはその人物の年齢から5年以内であれば適切である可能性がある。モデルが適切でない場合には、年齢モデラー128が、画像取得時刻112の時点で興味の対象である人物の年齢に最も近い付随する時刻を有する1つ以上の外見モデル116₁〜116_Nを選択する。年齢モデラー128は、次に、選択した外見モデルを修正し、その外見モデルに付随する時刻と、画像取得時刻112の時点で決定した興味の対象である人物の年齢の差を埋め合わせる。これは、人物の特徴が加齢とともにどのように変化するかに関する生成モデルを用いて実現される。生成モデルは、人が年を取るときの顔の特徴（例えば目、口、鼻など）の平均的な動きの数学的記述である。興味の対象である人物の性別や民族的背景などがわかっているときには、特別なモデルを用いて顔の特徴の動きを記述することができる。この考え方を説明するため、図6に、付随する時刻が3ヶ月の赤ん坊の外見モデルを示してある。赤ん坊から大人になるときの顔の特徴点の動きを備えた生成モデルによってこの外見モデルを修正し、その赤ん坊が図7に示した30歳の大人になったときの年齢指定外見モデル130を形成する。この例では、生成モデルは、赤ん坊から大人になるときの顔の特徴点の変化を示す。しかし加齢に関する似たモデルを用いて任意の2つの年齢（例えば3歳と5歳、または5歳と10歳）の間の顔構造の変化のモデルを作ることができる。さらに、この加齢モデルを用いると、外見モデルに付随する年齢よりも若い年齢指定修正外見モデルを作り出すことができる。例えば30歳という年齢が付随している外見モデルを修正し、興味の対象である人物が5歳のときの年齢指定モデルを作り出すことができる。

あるいは年齢指定モデル130は、興味の対象である人物に関する2つ以上の外見モデル116₁〜116_Nの間を内挿して作ることもできる。例えば興味の対象である人物が4歳のときと8歳のときの外見モデルが存在している。年齢計算器126は、画像が取得されたときに興味の対象である人物が6歳であったと決定する。4歳と8歳のときの外見モデルを（例えば重み付き平均として）組み合わせ、興味の対象である人物が6歳のときの推定年齢指定モデルを作り出すことができる。

図5に戻ると、上記のいずれかの方法によって生成された年齢指定モデル130は、人物発見装置106によって見いだされた人物の特徴110とともに人物分類装置132に入力されて人物分類118を生成させる。

質問122は、人物が誰であるかと時刻（絶対時刻または年齢）を含むことができる。質問は、例えば1999年の“ピート”の画像、または34歳のときの“ピート”の画像を探すというものが可能である。人物分類装置132は、ユーザーの画像コレクションから得た顔の画像から計算した顔の測定値と、質問122において特定された年齢のその人物に関して記憶されている外見モデルの間の類似性スコアを計算する。回収された画像のリストが、類似性が低くなる順番でユーザーに提示される。類似性スコアは、所定の顔の測定値とモデルの間の重み付きの差であり、重みは、個人を区別する特定の顔の測定値の重要度に比例する。重みが測定値の分散に基づいている場合には、例えばマハラノビス距離を用いることができる。好ましい一実施態様では、顔の各測定値の間の差の分布が、例えば同じ個人についてと、誰であるかがわかっている顔の画像の大きな集合からの異なる個人について計算される。ゼロ平均ガウス分布を仮定し、顔の各測定値に関して（差が、同一の人物での変動による場合と、異なる人物からの2つの測定値による場合が同じくらいの確率である）等確率点が計算される。未知の差に関して用いられる重みはこの点の逆数であるため、あらゆる差は、等確率の差の分数として表現される。

図8は、外見モデル116に付随する時刻がカレンダーの日付（すなわち絶対時刻）であり、興味の対象である人物の誕生日がわかっていない場合の別の一実施態様を示している。この場合には、時刻モデラー134は、画像取得時刻112に最も近い絶対時刻が付随した外見モデルを選択することにより、時刻指定外見モデル136を生成させる。この時刻指定外見モデル136は次に人物分類装置132に移され、すでに説明したように人物分類118を生成させる。ここでは、興味の対象である人物の誕生日がわかっていないため、興味の対象である人物に関して外見モデル116₁〜116_Nに付随する時刻以外の時刻における興味の対象である人物の外見モデルを一般的な年齢モデルを用いて作ることはできない。興味の対象である人物の誕生日を年齢推定装置142によって推定できる場合がある。興味の対象である人物の誕生日を年齢推定装置142によってうまく決定できる場合には、その情報を外見モデル116に付加する。すると図5を参照して説明した方法を利用することができる。

年齢推定装置142は、外見モデルに付随する年齢（したがって興味の対象である人物の誕生日）、または外見モデルを導出するもとになるディジタル画像に付随する年齢を決定する。年齢推定装置142は、例えばLoboによってアメリカ合衆国特許第5,781,650号に記載されている方法にすることができる。興味の対象である人物の誕生日の推定の確かさは、年齢推定装置142が多数の画像または多数の外見モデルの年齢を推定し、あらゆる推定の結果を混合することによって改善される。画像間の時間差と外見モデル間の時間差がわかっているため、確かさがさらに改善される。したがって年齢を間違って推定することは、多数の推定値を混合することで排除できる。

図9は、本発明のさらに別の一実施態様を示している。この実施態様では、年齢推定装置142を、検出された人物に関する人物の特徴110や、元のディジタル画像またはビデオ104に適用する。誕生日推定装置144は、年齢推定装置142からの推定年齢と、ディジタル画像またはビデオ104に付随する画像取得時刻112とを利用し、検出された人物の誕生日を推定することができる。すでに説明したように、検出されたこの誕生日は確率分布関数である。検出されたこの誕生日は、人物分類装置146によって興味の対象である人物の外見モデルに付随する誕生日と比較され、人物分類118が生成される。例えば図10は、推定された誕生日と、外見モデルに付随する誕生日を示している。年齢推定装置142は、人物発見装置106によって検出された人物の誕生日が点線で示した分布であることを推定する。外見モデルに付随する誕生日の分布は実線で示してある。人物分類装置146は、誕生日推定装置144からの推定誕生日分布と、外見モデル116に付随する誕生日と（おそらく他の因子も考慮される）に基づいて人物分類（例えば上記の2つの分布の積の平方根の和）を決定する。人物分類装置146は例えば分布の積を計算し、それを、検出された人物が興味の対象である人物である確率または確からしさを示す人物分類118にすることができる。

図9には、興味の対象である人物が、その人物の誕生日よりも前の画像取得日時を有する画像では検出されないことが保証されるという利点がある。説明のため、年齢推定装置142は、画像104の中で人物発見装置106によって発見される可能性のあるどの人物も少なくとも0歳であると単純に推定すると仮定する。次に、誕生日推定装置144が、見いだされた人物の誕生日は画像取得時刻112よりも前でなければならないことを確認する。したがって図9の実施態様では、興味の対象である人物に付随する誕生日よりも前に取得されたどの画像にもその人物が見いだされることはない。個人認識分類装置114は、誕生日が付随している興味の対象である人物を、取得時刻が誕生日よりも後の画像104の中から探し、取得時刻が誕生日よりも前の画像104の中からは探さない。

この明細書に記載した方法にはいくつかの失敗モードがあることがわかっている。例えばジョージ・ワシントンが21歳のときの銅像の画像を2005年3月14日に取得した場合、図5の年齢計算器126は、興味の対象である人物（ジョージ・ワシントン）が273歳であると計算するため、人物分類装置132は、検出された人物がおそらくジョージ・ワシントンではありえないという人物分類を出力する。なぜなら273歳というのは人の予想寿命をはるかに超えているからである。言い換えるならば、この方法は、ディジタル画像が、実際の人物とは異なる人物の画像である比較的稀なケースではうまくいかない可能性がある。

本発明を実現できるコンピュータ・システムの概略図である。 本発明の一実施態様のフロー・チャートである。 付随する時刻が異なる興味の対象となる一人の人物の外見モデルである。 付随する時刻が異なる興味の対象となる一人の人物の外見モデルである。 時刻が付随した外見モデルを作るための本発明の一実施態様のフロー・チャートである。 特徴点が標識された対象となる人物の外見モデルである。 本発明の一実施態様のより詳細なフロー・チャートである。 子どもに関する外見モデルである。 修正した外見モデルであり、図6の子どもが大人になったときに可能な外見を示している。 本発明の別の一実施態様のフロー・チャートである。 本発明の別の一実施態様のフロー・チャートである。 推定された誕生日と外見モデルに付随する誕生日に関する確率分布のグラフである。

符号の説明

10 画像取得装置
20 ディジタル画像プロセッサ
30 画像出力装置
40 全体制御用コンピュータ
50 ディスプレイ装置
60 キーボード
82 特徴点
102 外見モデル生成装置
103 ユーザー入力
104 ディジタル画像またはビデオ
106 人物発見装置
108 取得時刻取出装置
110 人物の特徴
112 画像取得時刻
114 個人認識分類装置
116 外見モデル
118 人物分類
120 データベース
122 質問
124 質問回答
126 年齢計算器
128 年齢モデラー
130 年齢指定外見モデル
132 人物分類装置
134 時刻モデラー
136 時刻指定外見モデル
142 年齢推定装置
144 誕生日推定装置
146 人物分類装置

Claims (24)

1. 長期間にわたって取得したディジタル画像コレクションの中から興味の対象となる特定の少なくとも一人の人物を同定する方法であって、
   それぞれのディジタル画像に一人以上の人物が含まれているディジタル画像コレクションを用意するステップと；
   付随するある時刻における興味の対象である特定の人物の顔の特徴に関する距離測定値である1セットの特徴を持つ外見モデルをディジタル・データベースに記憶させるステップと；
   個人認識分類装置を設け、その個人認識分類装置において、上記外見モデルと上記付随する時刻とを利用して、上記ディジタル画像コレクションの画像の中で興味の対象である上記特定の人物を同定するステップを含む方法。
2. 上記ディジタル画像コレクションに含まれる各画像の画像取得時刻がわかっていて、上記個人認識分類装置がその画像取得時刻を利用して興味の対象である上記特定の人物を同定する、請求項1に記載の方法。
3. 上記距離測定値が、顔の特徴相互間の距離に関する比または角度である、請求項1に記載の方法。
4. 上記顔の特徴に目、鼻、眉、口が含まれる、請求項3に記載の方法。
5. 子どもに関しては、成長期間を通じてより多数の外見モデルを利用する、請求項1に記載の方法。
6. 画像取得時刻における興味の対象である上記人物の年齢がわかっていて、上記外見モデルを修正することで、その外見モデルに付随する時刻と興味の対象であるその人物の年齢の間の時間差を埋め合わせる、請求項2に記載の方法。
7. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含む、請求項1に記載の方法。
8. 上記特徴に興味の対象である上記特定の人物の誕生日が含まれる、請求項1に記載の方法。
9. 付随する上記時刻が、カレンダーの日付、または興味の対象である上記特定の人物の年齢である、請求項1に記載の方法。
10. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含んでいて、上記個人認識分類装置が、付随する時刻が画像取得時刻に最も近い外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項2に記載の方法。
11. 上記外見モデルを修正して年齢指定外見モデルを生成させ、上記個人認識分類装置がその年齢指定外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項2に記載の方法。
12. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含んでいて、上記少なくとも2つの外見モデルから年齢指定外見モデルを生成させ、上記個人認識分類装置がその年齢指定外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項2に記載の方法。
13. 長期間にわたって取得したディジタル画像コレクションの中から興味の対象となる特定の少なくとも一人の人物を同定する方法であって、
    それぞれのディジタル画像に一人以上の人物が含まれているディジタル画像コレクションを用意するステップと；
    付随するある時刻における興味の対象である特定の人物に関して以前に撮影されたディジタル画像に由来する、その人物の顔の特徴に関する距離測定値である1セットの特徴を持つ外見モデルをディジタル・データベースに記憶させるステップと；
    個人認識分類装置を設け、その個人認識分類装置において、上記外見モデルと上記付随する時刻とを利用して、上記ディジタル画像コレクションの画像の中で興味の対象である上記特定の人物を同定するステップを含む方法。
14. 上記ディジタル画像コレクションに、上記記憶ステップで用いた以前に撮影された上記ディジタル画像が含まれる、請求項13に記載の方法。
15. 上記ディジタル画像コレクションに含まれる各画像の画像取得時刻がわかっていて、上記個人認識分類装置がその画像取得時刻を利用して興味の対象である上記特定の人物を同定する、請求項13に記載の方法。
16. 上記外見モデルを修正して年齢指定外見モデルを生成させ、上記個人認識分類装置がその年齢指定外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項15に記載の方法。
17. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含んでいて、上記少なくとも2つの外見モデルから年齢指定外見モデルを生成させ、上記個人認識分類装置がその年齢指定外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項15に記載の方法。
18. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含んでいて、上記個人認識分類装置が、付随する時刻が画像取得時刻に最も近い外見モデルを用いて興味の対象である上記特定の人物を同定する、請求項15に記載の方法。
19. 記憶されている上記特徴が、興味の対象である上記特定の人物の顔の特徴に関する測定値であり、上記個人認識分類装置がその顔の特徴を利用する、請求項13に記載の方法。
20. 付随する時刻の異なる少なくとも2つの外見モデルをさらに含む、請求項13に記載の方法。
21. 子どもに関しては、成長期間を通じてより多数の外見モデルを利用する、請求項20に記載の方法。
22. 上記特徴に興味の対象である上記特定の人物の誕生日が含まれる、請求項13に記載の方法。
23. 付随する上記時刻が、カレンダーの日付、または興味の対象である上記特定の人物の年齢である、請求項13に記載の方法。
24. 長期間にわたって取得したディジタル画像コレクションの中から興味の対象となる特定の少なくとも一人の人物を同定する方法であって、
    各ディジタル画像の取得時刻がわかっているディジタル画像コレクションを用意するステップと；
    興味の対象となる上記特定の人物の外見モデルと、興味の対象となるその特定の人物の誕生日とをディジタル・データベースに記憶させるステップと；
    取得時刻が興味の対象となるその特定の人物の誕生日よりも後のディジタル画像群の中でだけ興味の対象となるその特定の人物を探すステップを含む方法。

Images