JP2011510420A - 画像内個人の永続的認識可能化 - Google Patents

Abstract

個人の画像および関連付けられた画像から導出されたデータを蓄積して使用し、画像または写真コレクション内の個人の継続した認識を容易にする認識モデルを連続して作製する方法およびシステム。

Description

本発明は、個人の画像および関連する画像から導出されたデータを蓄積して使用し、画像または写真コレクション内の個人の認識を容易にする認識モデルを継続して作製する方法およびシステムに関する。

現在、写真、特にデジタル画像は、デジタルカメラ、ビデオカメラ、携帯電話（携帯電話カメラ）、ウェブカメラ、およびテレビ電話を含む多数のソースによって取得することができる。個人消費者の画像は、消費者自身のものであるか、家族のものであるか、それとも友人のものであるかにかかわらず、上記その他のデバイスを使用して生成される。したがって、デジタル写真の出現とともに、消費者は、デジタル画像および映像の大量のコレクションを蓄積している。現在、典型的な消費者のデジタル画像コレクションが及ぶ時間の長さは、ほんの数年である。しかし、１人当たりのデジタルカメラで取り込む画像の平均数は、やはり毎年増大している。しかし残念ながら、画像および映像を整理し、電子データファイルのコレクションから取り出すことはすでに、典型的な消費者にとって問題である。整理および取出し上の問題は、平均的なデジタル画像および映像のコレクションが及ぶ時間の長さが増大するにつれて、大きくなり続けるであろう。

ユーザは、当該の特定の人物を含む画像および映像を見つけたいと望むことが多い。ユーザは、手作業で探索を行って当該の人物を含む画像および映像を見つけることができる。しかしこれは遅く、骨の折れる処理である。市販のソフトウェア（たとえば、Ａｄｏｂｅ Ａｌｂｕｍ）の中には、ユーザが後に検索できるように画像内の人物を示すラベル（メタデータ）で画像にタグ付けできるものもあるが、最初のラベル付け処理はやはり非常に退屈で、かつ時間がかかる。

また、様々な検索およびソート方策を標的にするアルゴリズム方法を使用して、デジタル画像にタグ付けすることもできる。たとえば、イベント分類または人物認識および識別に基づいて、デジタル写真を検索およびソートすることができる。日時、位置（ＧＰＳ対応を含む）、物体またはペット認識、および取込み条件データなどの他の参照データを使用して、検索、ソート、およびタグ付け処理を支持することもできる。もちろん、多くの場合、人物認識および識別が特に重要である。

顔認識ソフトウェアでは、画像のグランドトゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）のラベル付きのセット（すなわち、対応する人物識別情報を有する画像のセット）が存在するものとする。大部分の消費者の画像コレクションには、グランドトゥルース画像の類似したセットはない。画像のグランドトゥルースのラベル付きのセットは、参照画像に基づくものとすることができ、参照画像から導出された、主要な顔の属性または特徴を表す定量的なデータを、識別情報マーカとして使用することができる。さらに、多くの消費者の画像の中には複数の人物が存在するので、画像内の顔のラベル付けは複雑である。したがって、画像内の人物の識別情報で画像に簡単にラベル付けしても、画像内のどの人物がどの識別情報に関連付けられているのかを示さない。また、目、皮膚、または髪の色、アイウェアの有無および幾何形状、衣服（衣類）の色およびパターン、身体的な運動の特徴、ならびに声の特性（韻律）を含む他のキューを使用して、画像（静止画または映像）内の人物の認識を容易にすることもできる。

写真コレクションからの画像を含む消費者の静止画、ならびに典型的な消費者の映像画像における個人の自動認識は、これらの画像の性質が制約されないことによって複雑になる。消費者の画像は、プロの写真家の感覚を使用して取り込まれるわけではないので、フレーミング、ポーズ、および照明があまり最適でないことがあり、後の識別の手間を複雑にする可能性がある。さらに、消費者は、写真撮影のイベントにおいて制約されないので、ポーズをとったスタジオ写真と比較すると、設定、外観、背景、および前景、ならびにユーザの活動は非常に多様である。同じフレーム内に複数の人物が見られることが多く、個人（特に顔）を遮ったり部分的に不明瞭にしたりすることがよくある。

予め取り込んだ静止画を使用して人物の識別を可能にする１つの手法は、ローサーらによる同一出願人による米国特許出願第１１／７５５，３４３号に記載されている。ローサー‘３４３は、複数のイベントまたはサブイベントに及ぶ写真コレクションとともに機能する人物認識方法を予期する。画像のセットを分析し、人物および顔の位置を突き止めて数え、次いで関連する特徴（顔、ポーズ、髪、など）に関して特徴付ける。画像内の独自の顔を識別するには、相互に作用する人物識別器アルゴリズムが使用される。データベースに記録のない人物が画像に含まれる場合、相互に作用する人物識別器は、画像内で識別した顔の周囲を円で囲んで表示する。したがって、ユーザは、名前および任意の他の適切なタイプのデータで顔にラベル付けすることができる。しかし、その人物が前の画像に現れている場合、人物分類器アルゴリズムおよび個人のプロファイルデータを使用して、その人物に関連付けられたデータを取出して整合させることができる。そのような記録された特徴には、人物識別情報、イベント番号、画像番号、顔の形状、顔の点、顔／髪の色／質感、頭部画像セグメント、ポーズ角度、３次元モデル、および関連する特徴が含まれる。ローサー‘３４３出願の方法では、イベントまたは複数の時間的に近似した画像取込みイベント中に撮影された複数の画像から収集された顔データを使用して、特定の人物の頭部（顔）の少なくとも一部分の複合モデルの構築を試みる。画像取込みイベントは、空間および時間における個々の発生、またはより大きなスーパーイベント内に入る一連のリンクされたイベントもしくはサブイベントとすることができる。次いでローサー‘３４３は、個人の複合モデルを使用して、後の時間的に近似した取込みイベント中に取り込んだ写真内でその個人の画像を識別できることを予期している。ローサー‘３４３はさらに、複合モデルの使用と後の画像取込みイベントとの間にかなりの時間間隙が生じる場合、顔の特性の変化を補償するように複合モデルを変形できることを予期する。

どちらもＡ．ルイらによる同一出願人による米国特許第６，６０６，４１１号および同第６，３５１，５５６号は、時間的イベントおよびサブイベントによって画像コンテンツをクラスタ化するアルゴリズムを開示している。米国特許第６，６０６，４１１号は、イベントが一貫した色分布を有し、したがってこれらの写真が同じ後景で撮影された可能性が高いことを教示する。各サブイベントでは、一緒に撮影されたすべての背景領域に対して単一の色および質感の表現が算出される。上記の特許は、デジタル画像コレクション内の画像および映像をどのようにして時間的イベントおよびサブイベントにクラスタ化するのかを教示する。上記の特許の開示全体を、本願に引用して援用する。「イベント」および「サブイベント」という用語は、特有の発生（イベントに対応する）およびこれらの発生の部分（サブイベントに対応する）に関するユーザの主観的な知覚の整合を試みるコンピュータ仲介手順を製品に対して示すために、客観的な意味で使用される。画像の日時のクラスタ化および質感比較のマッピングに基づいて、画像のコレクションを１つ以上のイベントに分類することができる。これらの複数の画像は、イベント間に１つ以上の識別された境界を有することに基づいてイベントに分別される。これらの境界は、１つ以上の最大の時間差に対応する。各イベントでは、米国特許第６，３５１，５５６号に記載のように、連続する画像の色ヒストグラム情報を比較することによって、サブイベント（もしあれば）を決定することができる。これは、画像を複数のブロックに分割し、次いでそれぞれのブロックに対する色ヒストグラムを算出することで実現される。サブイベント境界を検出するには、米国特許第６，３５１，５５６号に記載のように、ブロックに基づくヒストグラム相関関係の手順が使用される。

総合すると、ルイ‘４１１およびルイ‘５５６の特許に記載の手法を使用して、デジタル画像を関連する写真コレクションにクラスタ化することができ、またローサー‘３４３出願の複合顔モデル方法を、写真コレクションのデジタル画像内の個人を認識する助けとして使用することができる。しかし、顔の特性は、複合モデル（または他の顔のモデル）の変形によって正しく補償されることなく変化するので、ローサー‘３４３の顔認識方法は、個人の誤認に対して時間とともに脆弱になる。

比較すると、ギャラガーらによる「Ｕｓｉｎｇ Ｔｉｍｅ ｉｎ Ｒｅｃｏｇｎｉｚｉｎｇ Ｐｅｒｓｏｎｓ ｉｎ Ｉｍａｇｅｓ」という名称の同一出願人による米国特許出願公開第２００６／０２４５６２４号（米国特許出願第１１／１１６，７２９号）は、個人の年齢に基づいて、個人の異なる顔のモデルを利用して認識する写真認識の処理を予期する。具体的には、ギャラガー‘６２４は、外観モデルのセットが個人の一生の期間に及ぶように、外観モデルジェネレータが個人に対する一連の外観モデルを時間の経過とともに生成することを予期する。たとえば、人物の年齢に応じて、毎年または５年ごとに定期的に追加の外観モデルを生成することができる。その後、一生の期間に及ぶ個人に対する外観モデルのセットを使用して、その時間範囲からの写真内で個人を認識することができる。具体的には、個人認識分類器は、画像のセットに関連付けられた画像取込み時間と、当該の特定の人物に関連付けられた関連時間を有する外観モデルの特徴とを使用して、検出した人物が当該の人物である可能性または確率について示す人物分類を行う。より一般的には、次いでこれらの外観モデルを使用して、その人物を含む先にまたは後に取り込んだ消費者の静止画内でこの個人を識別することができる。

とりわけ、ギャラガー‘６２４は、ローサー‘３４３と同様に、その人物を含む時間でクラスタ化されたラベル付き（ユーザに検証された）画像のコレクションを使用して、人物の外観モデルが組み立てられることを予期する。したがって、ローサー‘３４３は、顔の（複合）モデルを変形させることによって個人の外観の経時的な変化に適合することを予期し、一方ギャラガー‘６２４は、ユーザ年齢に基づく予定に従って定期的に、新しい顔のモデルを事前に生成することを予期する。しかし、ローサー‘３４３とギャラガー‘６２４はどちらも、これらの画像が利用可能になったときに、写真コレクションからの画像を使用して顔または複合モデルを構築する。これらの手法はどちらも、外観の変化に応じて個人に対する新しい認識モデルを生成する必要性を事前に評価すること、または認識した必要性に応じてモデルを事前に生成することを予期しない。

近年、様々な相補的なまたは競合する顔認識モデルが開発されてきたことに留意されたい。認識モデルのかなり完全な調査が、ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ、Ｖｏｌ．３５、３９９〜４５８頁、２００３年に発表されたＷ．チャオ、Ｒ．チェラッパ、Ｐ．Ｊ．フィリプス、およびＡ．ローゼンフェルトによる論文「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ：Ａ Ｌｉｔｅｒａｔｕｒｅ Ｓｕｒｖｅｙ」によって提供されている。

最初に提案された顔認識モデルは、Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ、Ｖｏｌ．３、Ｎｏ．１、７１〜８６頁、１９９１年内のＭ．タークおよびＡ．ペントランドによる「Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ」に記載の「ペントランド（Ｐｅｎｔｌａｎｄ）」モデルである。ペントランドモデルは、真正面の顔の画像を評価するための２次元モデルである。対象は四方八方に向いていることがあるので、このモデルの有用性は消費者の写真では制限されることがある。このモデルは、大部分の顔データを捨てて、目、口、およびいくつかの他の特徴がどこに存在するかを示すデータを維持する。これらの特徴の位置は、質感分析によって突き止められる。このデータから、顔をモデリングする定義された顔の点（目、口、および鼻など）のセットに関係する固有ベクトル（方向および程度）が抽出される。ペントランドモデルは、正規化のために正確な目の位置を必要とするので、ポーズおよび照明の変動の影響を受けやすい。ペントランドモデルは機能するが、その制限に対処するより新しいモデルによってはるかに改良されている。

アクティブ形状モデル（ＡＳＭ）は、画像内の人物を認識するのに有用な別の顔モデルである。ＡＳＭは、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、Ｎｏ．６１、３８〜５９頁、１９９５年１月に発表されたＴ．Ｆ．クーツ、Ｃ．Ｊ．テイラー、Ｄ．クーパー、およびＪ．グラハムによる論文「Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｔｈｅｉｒ Ｔｒａｉｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ」に記載された。ＡＳＭは、一連の顔の特徴点で顔を描写する２次元顔モデルである。当初クーツらによって論じられたように、ＡＳＭ手法は、顔ならびに他の形状または物体に適用することができる。顔の場合、クーツらは、目、鼻、および口に関係する顔の点を使用することを予期しただけである。しかし、ボリンおよびチェンによる前述の２００２年の論文では、顔認識へのＡＳＭの適用は、拡張された顔の特徴点のコレクション、特に図５ａに示す８２個の顔の特徴点モデルで強化された。局部化された顔の特徴は、特有の特徴点のセットを接続する線によって形成される特有の特徴点もしくは角度間の距離によって、または顔の外観の変動性を示す主要な構成要素上にこれらの特徴点を投影する係数によって示すことができる。これらの弧の長さの特徴を眼間距離で分割して、異なる顔の寸法にわたって正規化する。ここで使用される顔の測定は、性別、年齢、魅力、および民族性という判断にとって重要と示された人間の顔の人体測定から導出される。点ＰＣは、点０および１の中心に位置決めした点である（すなわち、ちょうど目と目の間の点）。添付の表１および表２は、図５ａに示す８２個の顔の特徴点のモデルを使用して定量化できる一連の直線および弧の長さの顔の特徴を示す。導出可能な顔の特徴のより完全な一覧は、同一出願人によるダース‘３０８出願（米国特許出願公開第２００５／０１１１７３７号に相当）に与えられている。

この拡張されたアクティブ形状モデルは、照明の変動、および垂直から１５度のポーズ傾斜に及ぶポーズの変動に対処できるので、ペントランドモデルより強固である。とりわけ、ＡＳＭは、髪および皮膚に関係するものなどの質感に基づくデータを使用またはモデリングしない。

認識モデルのさらなる進歩として、アクティブ外観モデル（ＡＡＭ）は、幾何形状データおよび分析を質感データで補完することによって、ＡＳＭ手法を発展させている。しわ、髪、および影に関係する高周波データである質感データを、それぞれの顔の位置に適用することができる。ＡＳＭ手法は、８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．１、７４８〜７５４頁、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ、２００１年７月に発表されたＴ．Ｆ．クーツおよびＣ．Ｊ．テイラーによる「Ｃｏｎｓｔｒａｉｎｅｄ Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ」に記載されている。ＡＡＭ手法はより多くの情報を利用しており、したがって識別および認識に対してＡＳＭ手法より強固である。ＡＡＭ手法は、前に論じた同一出願人によるギャラガー‘６２４特許出願で使用されている。しかし、ＡＡＭは２次元モデルにすぎず、ＡＳＭ手法より照明およびポーズの変動の影響を受けやすく、その使用は正面の写真だけに制限される。

比較すると、「複合」モデル３６０は、顔と頭部の両方をマッピングする３次元幾何形状への顔認識モデルの進歩である。複合モデル手法は、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．２５、１０６３〜１０７４頁、２００３年に発表されたＶ．ブランツおよびＴ．フェッターによる「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ Ｏｎ Ｆｉｔｔｉｎｇ Ａ ３−Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ」で導入された。一般にこの概念は、ＡＳＭの顔の特徴点手法を複数のポーズに拡大する。ブランツおよびフェッターによって記載のように、人間の顔の参照３次元顔モデルおよび顔特性は、レーザスキャナからの光ビームで複数の顔を走査することによって作製された。その後、新しい対象に対して、その人物の写真のコレクションが、照明条件の範囲下の異なるポーズで取得される。次いで、顔の形状および質感データを参照３次元顔モデルに適合させることによって、その人物の３次元モデルを生成することができる。後に、人物特有の３次元顔モデルを使用して、新しい写真内でその個人を認識することができる。この手法は、約１°の分解能で正確なポーズ推定を提供する。しかし、この認識処理は、誰かを整合させるのに数分かかるので、現在のソフトウェアでは遅い。

前述の同一出願人によるローサー‘３４３出願は、写真分析のための３次元顔モデル（複合モデル）を作製するためのブランツおよびフェッターに対する代替手法を提供する。具体的には、ローサー‘３４３では、対象は、一続きの複数のポーズおよび照明条件を必要とする画像取得処理によって制約されない。逆に、ローサー‘３４３の処理は、既存の写真のコレクションから個人に対する３次元複合モデル３６０の生成を試みる。ボリンおよびチェンの拡張ＡＳＭ手法に従って、ポーズまたは照明によって変動しうるこれらの写真を分析して、利用可能な顔の特徴点（図５ａ参照）を取り出す。次いで、複数の写真からの顔の特徴点を「マスタ」複合モデル３６０にマッピングすることによって、個人の複合モデル３６０が生成される。もちろん、この手法は、利用可能な写真のコレクションにおける潜在的なデータ損失の影響を受けやすい。すなわち、個人の写真のコレクションが特定のポーズを欠いている場合、この手法は補償することができず、最善でも低減された精度でしか補間できない。その結果、正面および右側の画像だけで組み立てられた例示的な部分的に完全な複合モデルは、左側の顔のポーズをもつ画像に対してその個人の認識を支持する鍵となるデータを欠いている。

もちろん、実際の顔データをほとんどもたない後頭部の画像に画像評価が適用されるとき、画像認識タスクにおける顔認識モデルの成功率は低下する。そのような場合、髪の質感および形状に対処する外観モデルが有用となることがある。１つのそのような手法は、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＰＡＭＩ、Ｖｏｌ．２８、１１６４〜１１６９頁、２００６年に発表されたＹ．ヤコブおよびＬ．デービッドによる論文「Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｈａｉｒ」に記載されている。

例示的なポーズ推定モデリング手法は、Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ、１９９８年に発表されたシミズらによる「Ｈｅａｄ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｆｒｏｍ Ｏｎｅ Ｉｍａｇｅ Ｕｓｉｎｇ ａ Ｇｅｎｅｒｉｃ Ｍｏｄｅｌ」に記載されている。この手法では、まず３次元モデルに対して、縁部曲線（たとえば、目、唇、および眉の輪郭）が定義される。次に、モデル内で定義された曲線に対応する曲線を求めて入力画像が検索される。モデル内の縁部曲線と入力画像の対応関係を確立させた後、様々なポーズ角度で３次元モデルを繰り返し調整すること、そして曲線と入力画像の最も密接した適合を示す調整を決定することによって、頭部ポーズが推定される。最も密接した曲線の適合を示すポーズ角度が、入力画像のポーズ角度であると決定される。

米国特許第６，６０６，４１１号 米国特許第６，３５１，５５６号 米国特許出願公開第２００６／０２４５６２４号 米国特許出願公開第２００５／０１１１７３７号

「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ：Ａ Ｌｉｔｅｒａｔｕｒｅ Ｓｕｒｖｅｙ」，Ｗ．チャオ、Ｒ．チェラッパ、Ｐ．Ｊ．フィリプス、Ａ．ローゼンフェルト，ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ、Ｖｏｌ．３５、３９９〜４５８頁、２００３年 「Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ」，Ｍ．ターク、Ａ．ペントランド，Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ、Ｖｏｌ．３、Ｎｏ．１、７１〜８６頁、１９９１年 「Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｔｈｅｉｒ Ｔｒａｉｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ」，Ｔ．Ｆ．クーツ、Ｃ．Ｊ．テイラー、Ｄ．クーパー、Ｊ．グラハム，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、Ｎｏ．６１、３８〜５９頁、１９９５年１月 「Ｃｏｎｓｔｒａｉｎｅｄ Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ」，Ｔ．Ｆ．クーツ、Ｃ．Ｊ．テイラー，８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．１、７４８〜７５４頁、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ、２００１年７月 「Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｈａｉｒ」，Ｙ．ヤコブ、Ｌ．デービッド，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＰＡＭＩ、Ｖｏｌ．２８、１１６４〜１１６９頁、２００６年 「Ｈｅａｄ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｆｒｏｍ Ｏｎｅ Ｉｍａｇｅ Ｕｓｉｎｇ ａ Ｇｅｎｅｒｉｃ Ｍｏｄｅｌ」，シミズ，Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ、１９９８年

前の議論で示唆したように、人物の外観は、加齢、挙動上の要因（化粧品の使用、日焼け、髪型の変化）、運動、健康上の要因、または他の理由のために時間とともに変化する傾向がある。その結果、既存の顔または複合モデルが不正確になるので、写真またはデジタル画像内の個人の認識は妨げられる。現在、識別情報と画像データ、特に顔画像データのグランドトゥルース結合は、ユーザからの断続的な入力を継続することを必要とする。ギャラガー‘６２４のような手法は、妥当な予定に従って顔モデルを更新することによって人物認識を改善できるが、モデルに対する予定された更新間の劇的な顔の変化は、成功率を低減させることがある。したがって、既知の識別情報の個人の継続した画像、または画像から導出したデータを取得し、この画像データを顔または頭部の認識モデルに適用する方法は、継続した画像または後の画像内の個人のより強固なまたは永続的な識別を可能にすることができる。そのような方法は、複合モデル３６０を含む１つ以上の顔認識モデルを利用、更新、および支持することが好ましいであろう。

本発明の好ましい実施形態は、画像内の特定の人物を時間とともに永続的に電子認識することを可能にする、コンピュータで実施される方法を含む。本発明では、機械認識およびコンピュータ認識および電子認識とは、デジタル画像データを処理および分析できるプログラムされた実行ユニットまたはデバイスを指す。好ましい実施形態の方法は、人物の顔認識モデルを使用して人物の複数の顔画像を分析し、人物の顔の外観の変化を識別するステップをさらに含む。好ましい実施形態の次のステップは、顔画像に対する対象認識の信頼値を計算するステップと、顔画像に対する対象認識の信頼値と顔認識モデルの対象認識の信頼値を比較して信頼値の変化を識別するステップとを含む。これらのステップを使用して、連続した精度のためには人物に対してより新しい顔認識モデルが必要とされるかどうかを決定する。より新しい顔認識モデルが必要とされる場合、人物の現在または後の画像から新しい顔認識モデルが生成され、その後、後の人物認識タスクに対して使用される。この方法の好ましい実施形態は、対象認識の信頼値を時間とともに追跡して、新しい顔認識モデルを生成する必要性を示すことができる人物の顔の外観の変化を識別するステップを含む。これには任意選択で、既知の顔と認識されない顔の整合を示す確率分布である類似性スコア分布から計算される正規化した確率の比を含む。任意選択のステップは、特定の人物の複数の個人ポーズに及ぶ画像の完全なセットを取り込んでその人物の認識モデルを生成するステップを含むことができる。この方法は、世帯を構成する１人以上の人物に適用して、その世帯に関連付けられた画像内のこれらの人物の認識を可能にすることができる。関連する画像は、デジタル写真フレーム、携帯電話、テレビ電話、カメラ、写真コレクションからの走査、ウェブカメラなどの電子撮像デバイスを使用して取得することができる。声特性の取込みを可能にして人物を認識するためのさらなるキューを提供するために、マイクロフォンを提供することができる。顔認識モデルは、３次元複合モデル、アクティブ形状モデル、またはアクティブ外観モデルから得ることができる。モデルを生成するステップは、取得した顔画像を色、グレイスケール、および寸法に対して正規化する任意選択のステップを含むことができる。画像の変化量は、変化率、全体的な変化、閾値、変化の急峻さまたは速度、および変化の持続時間などの様々な測定基準に基づいて測定することができる。これらはそれぞれ、望みに応じて、特定の事前に選択した顔の特徴に別個に適用することができ、また顔の測定基準の使用を含む。

本発明の別の好ましい実施形態は、人物の複数の顔画像を取り込む画像取込みデバイスを備えるシステムを含む。取り込んだ画像は、人物の予め生成した顔認識モデルとともに記憶される。この顔認識モデルは、モデル信頼値を含む。システムは、顔画像と顔認識モデルの差を識別する手段と、顔画像に対する対象認識の信頼値を計算する手段とをさらに含む。対象認識の信頼値とモデル信頼値を比較する手段と、顔画像に対する対象認識の信頼値とモデル信頼値の差が大きい場合に新しい顔認識モデルを生成する手段とがさらに含まれる。差の大きさは、所定の閾値、変化率、全体的な変化量、変化の急峻さまたは速度、および変化の持続時間の使用など、様々な方法で決定することができる。

本発明によって企図される他の実施形態は、機械またはコンピュータ処理装置にそこに記憶された命令またはデータ構造を実行させるために、機械または処理装置によって読取り可能な命令またはアルゴリズムのプログラムを有形に実施または保持するコンピュータ可読媒体およびプログラム記憶デバイスを含む。そのようなコンピュータ可読媒体は、汎用または特殊目的コンピュータによってアクセスできる任意の利用可能な媒体とすることができる。そのようなコンピュータ可読媒体は、たとえばＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、または他の光ディスク記憶、磁気ディスク記憶、もしくは他の磁気記憶デバイスなどの物理的なコンピュータ可読媒体を含むことができる。汎用または特殊目的コンピュータによってアクセスできるソフトウェアプログラムを保持または記憶するのに使用できる任意の他の媒体も、本発明の範囲内であると見なされる。

本発明の上記その他の態様および目的は、以下の説明および添付の図面と一緒に考慮するとよりよく認識および理解されるであろう。しかし、以下の説明は、本発明の好ましい実施形態およびその多数の特有の詳細を示すが、限定するものではなく例として与えられることが理解されるべきである。本発明の精神から逸脱することなく、本発明の範囲内で多くの変更および変形を加えることができ、また本発明は、すべてのそのような変形を含む。以下の図は、寸法、角度関係、または相対位置に関して正確な縮尺で描写したものではない。

意味論的な顔のキューに基づいて画像または画像のセットが分析されるデジタル画像分析処理を実行するシステム図である。 ローカルユーザとカメラを含む電子デバイスとの相互作用の図である。 ローカルユーザとカメラを含む電子デバイスとの相互作用の図である。 本発明の一実施形態に有用なハードウェアおよびソフトウェア構成を示す図である。 事前の画像取込みを必要とする認識モデルの更新処理を示す流れ図である。 ８２個の顔の特徴点を有する顔特徴モデリング構造を示す図である。 顔の参照画像の一般的な概念を示す図である。 顔の参照画像の一般的な概念を示す図である。 様々な顔または頭部のポーズを示す図である。 顔認識タスクに対する顔を比較する類似性スコア分布の訓練またはグランドトゥルースのセットの概念を示すグラフである。 複数の人物の世帯に対する類似性スコア分布を示すグラフである。 顔の測定基準および対象認識の信頼値の経時的な変化の長期的なグラフである。 画像分析写真認識システムの実施形態と本発明の認識モデル更新処理の流れの実施形態との相互作用を示す図である。

デジタル写真は、画像の取込み、使用、および共有に対する消費者の挙動に大きな変革をもたらしたが、意味情報と画像の関連付けは、匿名のデジタルファイル構造によって妨げられる。画像データファイルが電子記憶デバイス内に集まるにつれて、画像は、典型的な靴箱の４”×６”の写真より扱いにくくなることがある。様々なタイプの消費者入力またはソフトウェア自動化（取込み条件、写真分析などに対して）によって、ファイル名を変化させることができ、またメタデータを画像に関連付けることができるが、これらの関連付けを強固にするのは困難である。

一態様では、顔認識および識別アルゴリズムを進化させることは、人間の干渉の必要性を低減させながら、人物および人物の識別情報を電子画像と関連付ける写真ソフトウェアの能力を改善することである。具体的には、これらの方法は、個人の１つ以上の参照または基線画像を個人の識別情報に関連付けるグランドトゥルース開始ステップに依拠する。個人ユーザは、その個人または他の個人の画像、ならびに付随する識別情報、および他の関連する意味情報（年齢、血縁、性別、民族など）を提供することができる。次いで、写真ソフトウェアは、これらの基線画像、およびそこから導出されるデータ（顔モデル、外観モデル、および複合モデルを含む）、ならびに意味データを使用して、後に写真コレクションの画像内で個人を認識し、これらの画像にタグ付けまたはリンクを行うことが予期される。

この点を説明するために、図１は、意味に基づくデジタル画像分析処理のためのシステム３００の一般的な動作を示す。システム３００では、イベントマネージャ３２０、人物ファインダ３３０、および個人認識分類器３４０を含む様々なアルゴリズムによってデジタル画像コレクション３１５が分析される。この目的は、ユーザ１００（図２ａおよび２ｂ）が、ユーザインターフェース２６５を介して、デジタル画像コレクション３１５を含むデータベース３１０にうまく問い合わせて、１人以上の当該の人物を含む画像および映像を発見できるようにすることである。代わりに、ユーザ１００は、画像分析システム３００を使用して、新しく利用可能な画像または画像コレクション内で当該の人物を、後に使用するために自動的に識別することができる。

これを可能にするためには、新しい画像もしくは画像コレクション、または映像を分析して、その中の人物を識別しなければならない。人物ファインダ３３０は、人物検出器３３２を使用して、たとえば身体のような形状の位置を突き止めることによって、写真または画像内で人物を発見することができる。人物はまた、顔検出器３３４を使用して発見することができる。顔検出器３３４は、局部特徴検出器３３６を使用して、顔または顔の一部を発見する。顔検出器３３４はまた、顔のポーズを推定するために、ポーズ推定器を含むことができる。既知の人物に関連する特徴は、関連する特徴検出器を使用して識別することができる。人物ファインダ３３０は、画像内で検出された人物それぞれに対して個人の特徴３３８を出力することが好ましい。図５ａに示し以下に説明するように、個人の特徴は、特有の顔の特徴に関連付けられた８２個の特徴点の位置を含むことが好ましい。目の色、皮膚の色、髪の色、顔の形状、性別、身体の形状、身体の寸法、または衣服（色、質感、模様）などの他の個人の特徴３３８は、潜在的に、適切な定量化可能な記述子を使用する出力として提供することができる。人物認識タスクは、最大数の顔の点（１〜８２）にアクセス可能であるため、正面のポーズで最も容易であることが明らかである。

個人の特徴３３８は、個人認識分類器３４０への入力として提供され、個人認識分類器３４０は、個人の識別情報（人物の名前）を画像または画像コレクション内に描写された人物の特定の画像にリンクさせようとする。これには、識別情報、家族関係、年齢、性別、および顔モデルデータを含めて、個人に関する意味情報を含むことができる人物プロファイル３４５が鍵となる。人物プロファイル３４５は、好みの活動、家の住所、およびＧＰＳ座標、ならびに家の画像のコレクション（イベントのクラスタ化を助けることができる）を含めて、人物の特徴的な特性を含む関係データベースを含むことができる。本発明の一実施形態は、所定の住宅に居住する人物に対する認識モデルを維持することに重点を置くが、認識モデルを含めて、非居住者に対する個人のプロファイルも同様に使用することができる。

別の態様として、人物プロファイル３４５はまた、プロファイルされた個人それぞれに対して、関連する認識モデル３５０を含み、またはこれらの認識モデル３５０にリンクされる。これらの認識モデル３５０は主に、顔認識モデル３５２［固有の顔モデル、外観モデル（どちらも２次元）、髪モデル３５４、または声もしくは歩容モデル（映像の場合）など］を含む「グランドトゥルース」生体測定データを含む。これらはすべて、個人認識分類器３４０によって使用することができる。認識モデル３５０は、関連する期間にわたってタグ付けされ、したがって時間的に関連する認識モデルを使用する認識タスクを通じて、以前、現在、および後の画像を処理することができる。具体的には、個人の頭部および顔のポーズに基づく３次元モデルである複合モデル３６０を使用することもできる。識別を容易にするために、複合モデル３６０は、当該の画像に対する推定されるポーズ角度まで回転され、次いで特徴の整合が試みられる。好みの活動または衣服データ３５６を含む生体測定によらない個人の挙動情報を使用することもできる。個人認識分類器３４０は、利用可能なデータの一部分を使用して人物の画像と個人の識別情報（人物の名前）をうまく整合させ、次いで人物分類３７０を出力すると理想的である。人物分類は、非対象（未知または追跡していない人物）、対象［またはエドワード、アシュレー（いとこ）、祖母エミリー、もしくはマイケル＝バーンズ（友人）などのユーザ］、あるいは不確実な識別を含むことができる。特に本発明の一実施形態に対する追加の出力として、対象認識の信頼値４７０、顔の測定基準４７５（図７）、および他の状態尺度を決定することができる（測定基準計算ステップ３７５を使用）。対象認識の信頼値４７０は、人物ファインダ３３０によって検出された人物が当該の人物であるとシステムで推定される可能性（確率）を示す。

平行して、イベントマネージャ３２０は、取込み時間分析器３２２およびイベント特徴分類器３２６を使用する評価に基づいて、デジタル画像サブセットを関連する期間にクラスタ化することによって、画像管理および整理に寄与することができる。取込み時間分析器３２２は、デジタル画像または映像が取り込まれた時間を決定し、その画像取込み時間を出力する。たとえば、ＥＸＩＦ画像形式では、画像または映像取込みデバイスは、画像または映像に関連付けられた情報をファイルヘッダ内に記憶することができる。「日付＼時間」エントリは、画像が取り込まれた日付および時間に関連付けられる。ＧＰＳ位置を含む他の取込み条件メタデータも使用することができる。イベント特徴検出器３２４は、画像データを検査して、１つ以上の画像内に存在する画像属性（形状、色、パターン、文字、人物クラスタ化などを含む）を識別および分類する。人物ファインダ３３０からのデータを使用して、複数の画像にわたって共通の人物をリンクさせることができる。次いで、イベント特徴分類器３２６は、これらの識別された属性と、食事、パーティ、スポーツ、または結婚式などの認識可能な人間の活動とを関連付けようとする。イベント分類は、同一出願人によるルイ‘４１１およびルイ‘５５６特許に記載の方法を使用して完成させることができる。利用可能な場合、個人のカレンダ情報などの他の意味データを使用することができる。それによってイベントマネージャ３２０は、イベント属性と所定の画像をリンクさせて、所定のイベントに関連付けられたデジタル画像コレクションサブセットを識別する。この出力は、イベント特徴３２８として提供される。

イベント特徴データ３２８および人物分類データ３７０を合わせて、画像分類３８０を完成させる。画像分類３８０は、出力データをデータベース３１０に戻す。人物分類データ３７０を使用して、１人以上の既知の人物と所定の画像および画像のセットをリンクさせることができる。個人の関係によりイベントで人物が繰り返しクラスタ化されるので、グループのクラスタ化は、識別情報の判断とイベント認識の両方に役立つことができる。その結果得られる画像分類データをデータベース３１０に追加することができ、またユーザ１００に問い合わせて識別結果を認証することができる。

しかし、前述のように、画像内の個人の自動化されたソフトウェア識別の成功は、個人の身体的な外観の変化によって悪影響を受けることがある。人物の外観は、加齢、挙動上の要因（化粧品の使用、日焼け、もしくは髪型の変化）、運動、健康上の要因、美容整形、または他の理由のために時間とともに変化する傾向がある。その結果、グランドトゥルースデータの確立後の個人の外観の関連する変化に関する知識を欠いているので、グランドトゥルース画像データおよび意味データの確立されたセットを使用する自動写真認識は失敗することがある（永続性の減少）。失敗の別の要因は、グランドトゥルース画像データ内に変動するポーズおよび照明下の画像例が存在しないことである可能性がある。たとえば、グランドトゥルースライブラリは、屋外照明下のプロファイル図または画像を欠いていることがあり、新しい画像内でこれらの条件に遭遇すると認識に失敗する可能性がある。デジタル画像内の個人の認識の成功率が低下するにつれて（図７の対象認識の信頼値４７０の低減によって測定できる）、ユーザのフラストレーションは増大する可能性が高い。ユーザに問い合わせて意味情報を更新できるが、識別情報にリンクされた顔認識モデルが更新されない場合、認識に失敗し続ける可能性がある。１つの手法として、同一出願人によるローサー‘３４３出願は、そのような身体的な変化を補償するために、画像変形によって個人の複合モデルを変えることを示唆している。別の手法として、同一出願人によるギャラガー‘６２４出願は、年齢に基づく予定に従って、データベース３１０に入ってくる新しい画像を使用して個人の新しい外観モデルを生成する方法を予期する。しかし、個人の外観に対する身体的な変化がかなり劇的である場合、利用可能な画像を使用する画像モデルの変形と予定された認識モデルの更新のいずれも、後の認識中の成功率を改善するには十分でない可能性がある。

概念的には、本発明の好ましい実施形態の意図は、既存のグランドトゥルース画像データに対して既知の個人の画像を評価して、人物識別を強化するために新しい画像が必要かどうかを決定できるということである。具体的には、本発明の好ましい実施形態は、既知の個人の外観変化を事前に評価し、次いで画像データを事前に取得または使用し、この画像データから、顔および認識モデルデータを適宜導出できるシステムまたはデバイスを予期する。たとえば、住宅内に位置する画像取込みデバイス（カメラ）は、時間の経過とともに、継続的であるが恐らく断続的に、１人以上の個人の画像を取得することができる。もちろん、人物は、識別情報に関する視覚的な知識を主に顔の特徴から導出するので、顔画像の取込みが強調される。さらに、画像の長期的な記録、または画像から導出された識別情報属性に関するデータは、日付にリンクさせたグランドトゥルース画像（モデル）データセットとして蓄積することができる。写真分析ソフトウェアによる写真認識中に、画像から導出されたデータのこの長期的な記録（顔および頭部モデルを含む）を使用して、画像内の個人をアルゴリズムで識別する上での不確実さまたは誤りを低減させることができる。以下により詳細に論じるように、本発明の好ましい実施形態は、１つ以上の住宅内カメラを使用して必要に応じて適切な画像を取得し、次いで図１に示すような写真認識システム３００内で使用される顔モデル３５２または複合モデル３６０に必要な画像から導出されたデータを提供することである。

カメラは、家または住宅内で見ることができる様々な一般的なまたは潜在的に一般的な電子デバイスのいずれかに付随させることができると考えられる。たとえば、図２ａに示すように、ローカルユーザ１００は、潜在的な画像取込みイベント４００中に、机で作業し、コンピュータ２２０を使用している。コンピュータ２２０は、画像取込みデバイス（カメラ）２３０を有する。画像取込みデバイス２３０は、ウェブカメラとすることができる。この例では、コンピュータ２２０の電子表示装置２４０のスクリーン２４５が、別の人物の画像を描写している。この画像は、写真の静止画であっても、生の映像画像であってもよい。ローカルユーザ１００が机での活動に携わっている間、恐らくコンピュータを使用しているか否かにかかわらず、カメラ２３０は、本発明の好ましい実施形態の目的を含む様々な理由のために、ユーザ１００の画像を取得することができる。カメラ２３０は、角度θ内からの光を取り込んで撮像する。カメラ２３０は、デジタルカメラ、ビデオカメラ、携帯電話カメラ、ウェブカメラ、テレビ電話、ビデオゲームシステムカメラ、または健康監視カメラを含む様々な潜在的な電子デバイスによって提供することができる。

カメラ２３０は、ローカルユーザに意識してカメラ２３０に対してポーズを取らせる必要なく、存在を感じさせずに必要な画像を取得できることが好ましい。ウェブカメラがコンピュータ２２０に取り付けられた図２ａの例では、本発明の好ましい実施形態の目的のためにローカルユーザ１００の画像取込みを可能にでき、一方図２ｂは、本発明の好ましい実施形態における代替の例示的な画像取込みイベント４００を示す。図２ｂに示すように、ローカルユーザ１００は、壁掛け式電子画像デバイス２１０のスクリーン２４５上に描写された画像を見ている。電子画像デバイス２１０は、フレーム２５０の上部部分に沿って配置されたカメラ２３０をさらに備える。電子画像デバイス２１０は、テレビジョンまたは映像通信デバイスとすることができるが、デジタル画像を表示する電子写真フレームであることが好ましい。したがって、デバイス２１０はカメラ２３０を、顔認識ソフトウェアおよび意味論的関連付けソフトウェアと組み合わせて利用して、個人ユーザ１００を識別し、次いでその個人に関連付けられた画像にアクセスして表示することができる。この文脈では、カメラ２３０は、画像を見た経験を個人化することによって、デバイス２１０がユーザ１００に直接的な利益を提供することを可能にする。さらに、本発明の好ましい実施形態の目的のため、次いでこの同じデバイス２１０は、カメラ２３０、前述の顔認識ソフトウェア、および本発明の好ましい実施形態の他の寄与する構成要素を使用して、静止画または映像画像内の人物の認識の上で永続性を可能にする画像を取得することができる。この場合、デバイス２１０を電子写真フレームとして用いることで、能力（人物の認識の改善）が潜在的な利益（意味論的にリンクされた画像を見ること）に直接結合される。そのような結合は、ウェブカメラ、テレビ電話、または他のデバイスを介して能力を可能にすることと比較すると、美的に望ましく、また侵入性をあまり知覚することなくこの能力が消費者にますます受け入れられるようにすることができる。また、人は写真を見るとき立ち止まる傾向があるので、本発明の好ましい実施形態に必要な品質画像を取得する機会が長くなる。

図２ｂに示すように、電子画像デバイス２１０は、電子（またはデジタル）写真（フォト）フレームとすることができ、コンピュータ２２０は、ローカルで配置され、または無線リンクによって遠隔で接続される。電子写真フレームの基本的な要素は、Ｗ．エドワーズによる米国特許第４，７５４，２７１号に記載されており、これには電子表示装置（ＬＣＤ）、メモリ、支持回路、およびユーザインターフェースが含まれる。現在になってようやく一般的になってきたデジタル写真フレームは、エドワーズ‘２７１によって予期されるより多くの能力を備えることが多い。たとえば、アガワルらによる同一出願人による米国特許第６，５０９，９１０号は、ＰＣまたはサーバと接続しなくてもデジタル画像およびオブジェクトを共有できるメディアフレームを予期する。したがって、Ｋｏｄａｋ ＥａｓｙＳｈａｒｅ ＥＸ１０１１ Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｆｒａｍｅなどの電子フレームにより、無線コンテンツ転送、音声再生、コンテンツ視聴制御、および他の特徴が可能になる。

特許技術および技術文献では、他の特徴および能力をデジタルフォトフレームに適合させることが引き続き考察されている。一例として、ＣＨＩ（Ｃｏｍｐｕｔｅｒ Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎ）、２００６年の議事録に発表されたＪ．キムらによる論文「Ｃｈｅｒｉｓｈ：Ｓｍａｒｔ Ｄｉｇｉｔａｌ Ｐｈｏｔｏ Ｆｒａｍｅｓ ｆｏｒ Ｓｈａｒｉｎｇ Ｓｏｃｉａｌ Ｎａｒｒａｔｉｖｅｓ ａｔ Ｈｏｍｅ」では、無線対応デジタル写真フレームは、分散型のスマートホームセンサと接続して家の中の個人を検出し、適切な画像にアクセスすることが予期される。別の例として、ＣＨＩ２００１年議事録に発表されたエリザベスＤ．マイナットらによる「Ｄｉｇｉｔａｌ Ｆａｍｉｌｙ Ｐｏｒｔｒａｉｔｓ：Ｓｕｐｐｏｒｔｉｎｇ Ｐｅａｃｅ ｏｆ Ｍｉｎｄ ｆｏｒ Ｅｘｔｅｎｄｅｄ Ｆａｍｉｌｙ Ｍｅｍｂｅｒｓ」に記載のデジタル写真フレームは、画像が標準的な静止写真（電子的に表示される画像ではない）であるデジタル写真フレームを予期しており、境界フレームが毎日デジタルで変化して、写真の中に描写される人物についての関連する情報（健康など）を伝達する。カメラ２３０を電子写真フレーム（図２ｂに示すデバイス２１０）に追加すると、見る人の顔認識を使用してコンテンツ描写をその人に調整することを含めて、能力を強化することもできる。

本発明の好ましい実施形態の場合、好ましい実施形態では、デジタル写真フレームである電子画像デバイス２１０にカメラ２３０を付随させる。カメラ２３０は通常、撮像レンズと撮像センサ（どちらも図示せず）の両方を有する電子画像取込みデバイスであり、静止画像または映像画像を取得することができる。撮像センサは、当技術分野では周知のＣＣＤまたはＣＭＯＳタイプの撮像器とすることができる。カメラ２３０はまた、画像取込み処理がユーザの位置を突き止めもしくはユーザを追従し、または接写画像を取得できるように、パン、傾斜、またはズーミング機能を備えることができる。図２ａおよび２ｂに示すように、カメラ２３０は、電子表示装置２４０の上で、フレーム２５０の上縁部に取り付けられる。しかし、カメラ２３０は、表示装置２４０の側面もしくは下縁部に沿って取り付けることもでき、または代わりに、電子画像デバイス２１０（もしくはコンピュータ２２０）から取り外して無線リンクを介して通信することもできる。カメラ２３０はまた、表示装置２４０の後ろに位置決めすることができ、したがって表示装置自体を通ってユーザ１００を撮像する。そのような「見る表示装置」デバイスの概念は、先行技術では知られている。１つの例示的なデバイスは、マニコらによる「Ｉｍａｇｅ Ｃａｐｔｕｒｅ ａｎｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ」という名称の同一出願人による米国特許第７，０４２，４８６号に記載されている。このタイプの他の例示的なデバイスは、マックネリーらによる「Ｐａｓｓ−Ｔｈｒｏｕｇｈ Ｒｅｆｌｅｃｔｉｖｅ Ｐｒｏｊｅｃｔｉｏｎ Ｄｉｓｐｌａｙ」という名称の米国特許第５，６３９，１５１号、およびタニカギによる「Ｐｉｃｔｕｒｅ ｄｉｓｐｌａｙ−Ｉｍａｇｅ Ｐｉｃｋｕｐ Ａｐｐａｒａｔｕｓ」という名称の米国特許第４，４００，７２５号に記載されている。

本発明の目的のため、好ましい実施形態は、住宅内の個人の現在の画像を継続的であるが断続的に、恐らく毎日、毎週、毎月、毎年、またはより長い周期で取得することである。本発明の好ましい実施形態の目的を、侵入性を感じることなく人が容易に受け入れるような存在を感じさせない方法で実現することも好ましい。確かに、画像取込みが行われていることを個人に警報することができ、またさらには、処理を助けるために様々なポーズで頭部を回転させるように求めることもできる。しかし、ユーザの不快感およびぎこちないまたは誇張された挙動の発生を低減させることも望ましい。したがって通常、人が自然の条件下から追加または代替の価値を導出する電子デバイス２１０を介して、本発明の好ましい実施形態の能力を提供することが好ましい。したがって、図２ａおよび２ｂに示すように、本発明の好ましい実施形態は、人が頻繁に使用するコンピュータ、デジタル写真フレーム、ウェブカメラ、またはテレビ電話などの電子画像デバイス２１０内で、好ましい実施形態を使用して実現することができる。例示的なテレビ電話は、Ａ．カーツらによる「Ａ Ｒｅｓｉｄｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ」という名称の同一出願人による米国特許出願第１１／７５６，５３２号に記載されている。

身体（頭部）のポーズおよび照明などの画像取込み条件は、むしろ変わりやすいことが予期される。たとえば、住宅内の室内照明は、写真スタジオの場合よりはるかに変わりやすいが、また通常、消費者の写真で通常見られる写真の範囲（屋内、屋外、昼間、夜間など）ほど変わらない。頭部のポーズは任意の所定の瞬間で変わりやすいが、個人（ユーザ１００）はデバイス２１０を使用するので、本発明の好ましい実施形態の写真認識の目的のために画像を取得できる頭部位置の真正面、側面、および背後の範囲にわたって自然に位置決めされることが予期される。しかし、取込み条件がより変わりやすいので、画像取込み、画像処理、およびデータ抽出は、スタジオ条件で取り込んだ写真より困難になる可能性が高い。

本発明の好ましい実施形態では、画像内の個人の永続的な認識を可能にする方法は、図３により詳細に示す認識モデル更新システム２００の好ましい実施形態を含むハードウェアとソフトウェアの組合せによって支持される。システム２００は、電子画像デバイス２１０を特徴とする。電子画像デバイス２１０は、電子写真フレーム、テレビ電話、またはウェブカメラを有するＴＶもしくはコンピュータとすることができ、この場合も、カメラ２３０および電子表示装置２４０（ＬＣＤ、ＯＬＥＤ、または他のタイプ）を含み、筐体２５５のフレーム２５０内にスクリーン２４５が配置される。デバイス２１０はまた、ユーザインターフェース制御部２６０と、マイクロフォン２７０と、音声を放出するスピーカ２７２と、運動検出センサ２７４と、周囲光検出器２７６とを有することができる。デバイス２１０はコンピュータ２２０にリンクされる。コンピュータ２２０は、内部に、またはネットワークリンクを介して提供することができる。コンピュータはシステム制御装置２８０にリンクされ、システム制御装置２８０は、カメラ２３０、表示装置２４０、ユーザインターフェース制御部２６０、運動検出センサ２７４、および他のハードウェア構成要素の動作を制御する。コンピュータ２２０はまた、メモリ（またはデータ記憶域）２２２、通信制御装置２２４、画像処理装置２３５、ユーザインターフェース２６５、ユーザ追跡（またはアルゴリズム）２９０、およびユーザ識別ソフトウェア／処理２８５にリンクされる。本発明に特有のまたは密接な関係があるアルゴリズム、プログラム命令、またはソフトウェアは、ＤＶＤまたはフラッシュドライブなどのプログラム記憶媒体を介してメモリ２２２内にロードすることができる。通信制御装置２２４は、ネットワーク（図示せず）にリンクされる。破線は、デバイス２１０内の可能なデータ通信経路のサブセットを表す。

ユーザ追跡処理２９０は、運動検出２９１、声検出２９２、顔検出２９３、ポーズ検出２９４、または照明検出２９５を含む環境感知処理またはソフトウェアアルゴリズムによって可能になる。ユーザ追跡処理２９０は、画像取込み中、顔追跡に簡略化することができる。マイクロフォン２７０、運動検出センサ２７４、周囲光検出器２７６、およびカメラ２３０から導出される信号は、これらのアルゴリズムによって行われる計算のための入力データを提供する。図３の対象（ユーザまたは人物）検出および追跡処理２９０は、実際のイベントにリアルタイムで対処することを除いて、図１の人物ファインダ３３０に類似している。音声処理装置（図示せず）を含むこともできる。ユーザインターフェース２６５は声認識技術を含むことができ、ならびにユーザインターフェース制御部２６０の一部としてタッチスクリーンを含むことができる。

図３に示す認識モデル更新システム２００の大部分は独自のものではない。たとえば、表示装置２４０、カメラ２３０、および画像処理装置２３５は、標準的なコンピュータまたはテレビ電話システムの一部として提供することができる。同様に、ユーザ追跡処理２９０およびユーザ識別処理２８５は、自動化を備えたテレビ電話または健康監視システムを含む様々なインテリジェントデバイスによって使用できる構成要素である。図３に示す認識モデルのインテリジェントエージェント４２０は、本発明の好ましい実施形態に関係する独自の態様であり、画像内の人物を認識する上で永続性を可能にするのに有用な画像および画像から導出されたモデルの必要性を予期して実現する特殊ソフトウェアアルゴリズムを含む。認識モデルのインテリジェントエージェント（ＡＩ）４２０は、一連の相互に作用するアルゴリズムおよびデータベース、命令のプログラム、人工知能、学習システム、またはニューラルネットワークを含むことができる。

図４は、認識モデルのインテリジェントエージェント４２０が、画像内の個人の認識の上で永続性を継続して可能にするためにそのアルゴリズムまたは同等の論理を実行するとき、画像取込みイベント４００中に行うことができる認識モデル更新処理４１０を示す。第１のステップ（４３０）では、電子デバイス２１０およびカメラ２３０の前で、運動検出２９１、声検出２９２、または他の技法を使用して人物（ユーザ１００）が検出される。第２のステップでは、顔認識に対して良好な画像を取得するためにユーザ追跡処理２９０およびポーズ推定の支持を得て、カメラ２３０によって潜在的な対象の初期画像取込み４３１が得られる。その後、ユーザ追跡処理２９０は潜在的な対象を引き続き監視することができ、その対象は、住宅の既知のユーザ１００として認証される。このユーザ識別ステップ４３２中、対象の最善の（または十分な）新しく取り込んだ画像が、認識モデルデータベース４５０または人物プロファイル３４５からの既知のユーザ１００に対して利用可能な事前に確立された認識モデル３５０（顔モデル３５２、複合モデル３６０、または参照画像３５８）と比較される。対象がＡＩ４２０にとって当該の既知のユーザではないと決定された場合、それに応じて決定ノード４４５に信号で伝え、カメラ２３０による対象追跡２９０および画像取込みは、（決定ノード４４５を通って）取込み停止ステップ４３４を介して停止される。対象識別情報が不確かである場合、ユーザに問い合わせることができる（ステップ４４３）。

しかし、ユーザ識別ステップ４３２で、（対象認識の信頼値４７０を介して測定すると高い確率で）対象が当該の既知のユーザ１００であると決定された場合、それに続いて状態試験４３３が、新しい画像が必要かどうかを決定する。返答が肯定的である場合、決定ノード４４５に信号で伝えられ、決定ノード４４５は、認識モデル更新処理４１０に、写真収集状態を継続させる（画像取込み４３５の継続）。肯定は、年齢試験を含む様々な理由に基づいて行うことができる。年齢試験では、ユーザ年齢および最近の認識モデルの開始日を考慮する。１つ以上の処理中認識モデルを完成させるのに必要な標的画像のセットがまだ完全でない場合にも、肯定的な返答を行うことができる。状態試験返答はまた、対象認識の信頼値４７０によって測定される（測定基準計算ステップ３７５）ユーザ外観の変化の検出に基づいて、または他の顔特徴測定基準（４７５）によって測定される独自のもしくは著しい顔の特徴のはっきりとわかる変化によって行うことができる。ユーザ年齢データ、認識モデル年齢、または完全性データ、およびユーザ外観データの長期的な変化は、メモリ２２２内に記憶される認識モデルデータベース４５０によって供給することができる。これらの基準のいずれかにより状態試験４３３が肯定的な返答をもたらす場合、認識モデル更新処理４１０は、認識モデル画像取込み４３５のステップに続く。しかし、これらの様々な基準すべてが否定的な返答をもたらす場合、決定ノード４４５を介して画像取込みが停止される（ステップ４３４）。

したがって、返答が肯定的である場合、認識モデル画像取込み４３５は、状態試験４３３の経過中に認識モデルデータベース４５０から識別される何らかの標的画像を探求して、カメラ２３０を介して、識別したユーザ１００のグランドトゥルース標的画像の新しいセットの取得を試みる。後に論じるように、対象（ユーザ１００）の探求される標的画像は、様々な異なる顔のポーズおよび照明条件に及ぶことがある。画像取得（ステップ４３５）は、対象（および顔）追跡によって助けられて進む。新しい対象画像が取り込まれると、画像品質（画像寸法、コントラスト、照明、および分解能など）ならびに対象ポーズ（良好なポーズか、所望の標的ポーズか）に基づいて、それらの画像の妥当性を試験することができる（ステップ４３６）。画像が十分である場合、後の使用のためにタグ付けされて保存され（ステップ４３７）、また対象が離れるまで、またはすべての所望のグランドトゥルース標的画像が得られて取込み停止４３４がトリガされるまで、画像取込み（ステップ４３５）および画像取込み試験（ステップ４３６）は画像取込みループ４２５内で継続する。画像取込み（ステップ４３５）が終わると、利用可能な対象画像のコレクションを検討して（ステップ４３８）、認識モデル（複数可）を生成できるかどうかを決定することができる。次いで検討の結果が、モデル生成に対して個人のグランドトゥルースセットを完成させるのにより多くの標的画像が必要か（否か）を示す状態試験（ステップ４３３）に供給される。

対象画像の必要なコレクションが利用可能であるとき、１つ以上の認識モデル３５０を生成することができ、画像正規化（ステップ４３９）から始まり、その後に画像分析（ステップ４４０）およびモデル生成（ステップ４４１）が続く。これらのタスクは、オフライン（非リアルタイム）で完成させることができる。完成した認識モデル３５０は、認識モデルデータベース４５０および人物プロファイル３４５に供給することができる。画像分析ステップ（４４０）は、画像データと認識モデルの両方で動作することができる。その機能には、画像を分析して、顔質感モデル（色を含む）および顔幾何形状モデル（顔の点、頭部形状）に対するデータを導出すること、ならびに画像内の人物認識に有用となりうる対象認識の信頼値４７０を計算することが含まれる。このステップはまた、顔の特徴を長期的に追跡する尺度（顔の測定基準４７５）を導出するため、または新しく生成された認識モデルと対象に対する以前のモデルもしくは画像とを比較するための分析を含むことができる。新しい認識モデル、顔の測定基準４７５、および対象認識の信頼値（４７０）の計算が完了すると、認識モデル更新処理４１０に対して取得した標的画像を任意選択で削除することができる（ステップ４４２）。ＡＩ４２０は、様々なこれらの機能を支持するが、特に画像正規化４３９、画像分析４４０、認識モデル生成（ステップ４４１）、ユーザ識別４３２、状態試験４３３および状態監視（ステップ４３８）、ならびに画像試験４３６を支持する。

前の議論では、参照画像３５８を含む様々な顔画像およびモデルについて述べた。図５ａは詳細な８２点の顔モデル（９０）の概念を示し、一方図５ｂおよび５ｃは顔の参照画像３５８の概念を示す。８２個の顔の特徴点は、ＩＳ＆Ｔ ＰＩＣＳ Ｃｏｎｆｅｒｅｎｃｅの議事録、２２６〜２３１頁、２００２年内のボリンおよびチェンによる「Ａｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｆｉｎｄｉｎｇ Ｓｙｓｔｅｍ Ｆｏｒ Ｐｏｒｔｒａｉｔ Ｉｍａｇｅｓ」に記載のアクティブ形状モデルに基づく方法に従って定義される。ボリンおよびチェンの方法は、局部的な質感の整合を使用して特徴点を局部化し、続いて訓練例から学習した全体の形状制約を適用する。図５ａは、顔上の特徴点の位置を示す。図５ａの顔の点モデル９０は顔検出および認識に有用であり、後により詳細に論じるが、あまり詳細でない画像、図５ｂおよび５ｃの参照画像３５８も有用なことがある。参照画像３５８は、明るく照らした条件下で取り込んだ、あまり詳細でない正面に基づく画像モデルである。参照画像３５８は、実際の画像（図５ｂ）として、または簡略化した顔モデル（図５ｃ）として記憶することができる。顔の点（約８〜２０個）の低減させたセットを使用していくつかの目立った参照特徴９２を表すことに基づいて細部を低減させることで、取り込んだ画像による対象識別を促進することができる。そのような参照特徴９２は、目１３０間の眼間距離を含むことができる。他の例示的な選択された顔の参照特徴は、口１３５、顔１２５を横切る頬と頬の距離、目の中心線と鼻１４０の距離に関係するものとすることができる。さらに、側面の参照画像３５８を生成して使用することもできる。初期画像取込み４３１および画像取込みループ４２５活動中、参照画像３５８は、画像取込みおよび対象追跡、ならびにポーズ追跡およびポーズ推定に特に有用となりうる。

画像から個々の人物を認識するタスクは、様々な顔モデル３５２、複合モデル３６０、および髪モデル３５４を含めて、様々な顔の属性を定量化またはモデリングする様々な認識モデルによって支持することができる。明るく照らした正面（真正面）の画像は、多くの認識モデルにとって有用な入力であるが、それらの中には追加の入力画像を必要とするものがある。具体的には、前に論じたように、ペントランドの固有顔モデル、アクティブ外観モデル（ＡＡＭ）、およびアクティブ形状モデル（ＡＳＭ）はすべて、真正面または正面の画像を利用する２次元モデルである。一方、ＡＳＭの顔特徴点の手法を複数のポーズに拡大する複合モデル手法（３６０）は、標準的な正面画像に加えて複数のポーズの画像を必要とする。同様に、ヤコブの髪モデルは、典型的な正面画像に加えて様々な非正面ポーズからの画像の取得を必要とする。

したがって、本発明の好ましい実施形態は、対象（ユーザ１００）の適切な画像を事前に取得することによって１つ以上の有用な認識モデル３５０を支持できる認識モデル更新処理４１０を予期し、認識モデル更新処理４１０から、モデル（複数可）を事前に導出することができる。具体的には、本発明の好ましい実施形態は、異なるポーズおよび照明条件に及ぶ対象に対する標的画像の十分なセットを得て、その個人に対する完全な３次元複合モデルを組み立てることを予期する。処理（画像分析ステップ４４０）の一部として、取込みループ４２５を介して取得した標的画像のコレクションから、顔の点モデル９０を支持するデータが導出される。顔の点モデル９０は、公称では図５ａに示す８２個の特徴点を使用する。そのデータを使用して、複合モデル３６０が、モデル生成ステップ４４１を介して生成される。本発明の好ましい実施形態は、標的画像を体系的に探求してより完全な複合モデル３６０を組み立てる事前手法を予期する。さらに、論じるように、本発明の好ましい実施形態はまた、画像を用いる人物認識タスクの成功の減少を示しうる複合モデル３６０の品質ならびに他の測定基準を事前に長期的に追跡することを予期する。次いで、既存の認識モデルが対象の外観を減少した精度で表すとき、新しいモデルを生成して、認識の永続性を拡大させることができる。本発明の好ましい実施形態は、様々な対象ポーズに対処できる能力のため、複合モデル３６０を生成することを優先的に予期するが、ＡＡＭまたはＡＳＭ手法を使用して、簡略化された２次元正面モデルを支持することもできる。たとえば、ＡＡＭ手法に必要な高周波の質感に関連するデータは、画像分析ステップ４４１中に画像から導出することができる。同様に、髪質感および形状モデルに必要なデータも導出することができる。人物の３次元ポーズデータを取り込みまたはモデリングする他の手法も有用なことがある。

上記の議論では、顔認識モデルの展望、および顔認識モデルと本発明の好ましい実施形態の関係について説明してきた。しかし、これらのモデルを画像分析システム（図１参照）における顔認識に使用することについて、明らかにすることができる。具体的には、認識されない顔と既知の顔のセットとの整合を試みるとき、認識ソフトウェアは、整合が存在するか否かを決定するのに拡大縮小または測定基準を必要とする。一態様として、顔認識システム（ソフトウェア）は、整合または不整合を表す特徴整合の統計の「訓練」を受ける必要がある。この訓練は、多くのラベル付き（既知）の顔に対する画像セットを含むグランドトゥルース画像ライブラリによって容易になる。これらの画像を分析して、一般的な（すなわち、少数の個人を標的としない）顔認識モデルを作製し、そこから類似性データおよび類似性統計を導出することができる。撮像された人物のサンプルグループは多様であるべきであり、また方法が使用されるときに予期される人口統計および条件を表すべきである。

導出した一般的なモデルデータを代わりに提供できるので、グランドトゥルース画像ライブラリを有するすべての認識ソフトウェアパッケージまたはシステムをロードする必要はない。顔画像および関連する顔認識モデルを統計的に分析して、類似性スコアを生成することができる。たとえば、図６ａに示すように、たとえば対応する特徴点（１〜８２）間のユークリッド距離またはシティブロック距離の加算を計算できるアクティブ形状の顔特徴点モデル（図５ａ）を使用することによって、認識モデルから類似性スコア４６０を算出することができる。類似性スコア分布４６０は、既知の顔と認識されない顔の整合を示す確率分布である。類似性スコア４６０の分布は、図６ａに示すように、標的の顔が参照の顔に整合する場合（分布１）、および標的の顔が参照の顔に整合しない場合（分布２）に生成される。これらの分布は、システムの訓練段階中に取得した大量の（数千）または多数のラベル付きの例示的な顔画像からのデータに基づく。たとえば、データ例は、「Ｎ」人の個人を含むことができ、各個人の「Ｍ」個の例示的な画像が、様々なポーズおよび照明条件下で異なる時間に取り込まれる。次いで、各個人の参照認識モデルとこの個人の「Ｍ」個の例との間の類似性スコア４６０を算出することによって分布１が生成され、また各個人の参照認識モデルとすべての他の個人からの顔画像との間の類似性スコア４６０を算出することによって分布２が生成される。分布の垂直軸は、分布１の場合、両方の顔が同じ個人のものである確率を示し、分布２の場合、両方の顔が異なる個人のものである確率を示す。これらの分布から、所定の類似性スコアが本当の整合に対応する確率を決定することができる。分布１および２が交差する類似性スコアは同程度の蓋然性のある点であり、２つの顔が同じ個人からのものである、または異なる個人からのものである確率が等しい。この点より高い類似性スコアでは、同じ個人である可能性がより高く、より低い類似性スコアでは、異なる個人である可能性がより高い。

家族写真の分野では、顔認識上の問題には、少数（通常、十数人）の選択肢の中から所定の顔に対する正しいクラス（人物）を発見することが伴う。システムは、訓練段階で作製される世帯（または家族単位）に関連する通常少数の人物に対する類似性スコア分布のグランドトゥルースセット（図６ａ）および認識モデル（公称では複合モデル３６０）から始まる。世帯内の多数の個人に対して１つ以上の認識モデル（好ましくは複合モデル３６０）が収集された後、図６ｂに示すように、世帯の類似性スコア分布（分布３および４）を生成することができる。通常、血縁の個人（たとえば、兄弟）は類似しているため、世帯分布は、世帯内のグランドトゥルース分布（図６ａ）より多くの重複を示すことが予期される（すなわち、人物を見分けるのが困難なはずある）。世帯の構成員が著しく異なって見えるとき、世帯の類似性のスコアは、訓練セットの類似性スコア分布を使用するときより信頼度が大きくまた算出時間が低減された認識結果をもたらすことがある。他方では、配偶者など世帯内の個人は全く異なって見えることがある一方、その逆も起こる可能性がある。たとえば、兄弟または姉妹は、特に二卵生または一卵生双生児である場合、他の家族構成員にさえわかりにくいほどに、非常に似通って見えることがある。たとえば、スーザンとアシュレーが姉妹である場合、彼女らの顔の類似性は、人物識別のために追加の分析を必要とすることがある。このマルチクラスの顔認識上の問題は、ペアワイズ分類パラダイムを使用することによって解決することができる。このパラダイムでは、クラスの各対に対して２つのクラス分類子が設計される。ペアワイズ手法を使用する利点は、２人の人物間の実際の差が、データセット内の他の人物とは無関係に考察されることであり、これにより、特有の一対の個人にとって最も際立った特徴および特徴の重みを発見することが可能になる。ペアワイズ手法は、一部には同等の性能に必要な顔の特徴の数がはるかに少ないことから、すべての顔に対して同じ全体の特徴セットを使用する標準的な手法よりも顔認識性能を改善することができる。１つの特徴だけを使用して、いくつかの顔の対を完全に区別することができ、大部分は、特徴セット全体の１０％未満しか必要としない。これは、使用される特徴が特有の個人間の主要な差を標的にするので予期される。複合モデル３６０の利益は、分析のために多種多様な顔の特徴を提供することである。さらに、傾向が現れると、独自の特徴に対する適応システムによって突き止めることができる。このペアワイズ手法は、データベースが少数の主な個人を含み、その中には家族の類似が存在することが多い家族写真の分野に適している。もちろん、たとえば一卵性双生児が成人であり、元の家族（または世帯）単位から独立して生活しているときなど、複数の血縁の世帯（関係のある世帯）にわたって共通または類似のペアワイズ顔測定基準を使用する必要があることがある。また、ペアワイズ測定基準の使用は、２人の個人に事実上限定されるものではなく、より大勢（一卵性または二卵生の三つ子など）に適宜拡大することもできる。

「Ｎ」人の主要な個人がデータベース内に存在する場合、Ｎ（Ｎ−１）／２個の２クラス分類子が必要とされる。これらの分類子は、顔の特徴点データ（図５ａ）、固有顔データ、質感データ、または他の顔データタイプに基づくものとすることができる。各対に対して、分類子は、その特定の対に対して最大の区別を提供する特徴セット全体からの特徴の重み付きセットを使用する。これにより、異なる人物の対に対して異なる特徴のセットを使用することができる。この方策は、顔の比較すべてに単一の特徴空間を使用する従来の手法とは異なる。人物区別実験で報告されるように、人間の視覚システムもまた、異なる対を区別するのに異なる特徴を使用する可能性が高い。これは、外見が非常に類似している人物、たとえば双生児を区別しようとしているときにより明らかになる。特有の特徴を使用して双生児を区別することができ、これは、異なる対を区別するのに使用される特徴（複数可）とは異なる。問合せ顔画像が到達すると、Ｎ（Ｎ−１）／２個の分類子それぞれに対してこの画像を評価して、肯定（分類子が存在）または否定の結果を決定する。分類子評価はまた、「ブースティング（ｂｏｏｓｔｉｎｇ）」などによって、組み合わせて行うこともできる。ブースティングは、弱い分類子のコレクションを組み合わせてより強い分類子を形成する方法である。

類似性スコア分布４６０は、識別情報の整合または不整合を決定するのに有用な道具であるが、整合に成功した確率を監視または報告するにはそれほど有用ではない。この必要性は、対象認識の信頼値４７０を用いて実現することができる。対象認識の信頼値４７０（または信頼度レベル）は、属性（この場合、対象認識）の値に割り当てられる信頼度の尺度であり、百分率（０〜１００％）または確率（０〜１）として表現されることが多い。所定の識別されていない顔の顔認識タスクの一部として、参照顔を使用して、またシステムに提供される分布（分布１および２）を使用して、その顔が参照顔（またはモデル）を有する既知の人物である確率を、類似性スコアから決定することができる。対象認識の信頼値４７０を定量化する１つの方法は、正規化された比Ｐ（同じ）／（Ｐ（同じ）＋Ｐ（異なる））を算出することである。上式で、Ｐ（同じ）は、水平軸上の所定の類似性スコアに対する分布１からの確率であり、Ｐ（異なる）は分布２からの確率である。これは、高い類似性スコアの１００％または１００％付近の同程度の蓋然性のある点で５０％の信頼度レベルをもたらし、類似性スコアが低減する（顔間の距離が増大する）につれてより小さくなる。

しかし、既知の対象（またはユーザ１００）の外観が時間とともに変化するにつれて、複合モデル３６０を含むあらゆる現在の認識モデルの精度は、認識タスクでの使用に関して低減されることがある。外観の変化は、大小にかかわらず、一時的かそれとも長く続くかにかかわらず、発生することがある。たとえば、ユーザ１００は、口髭または顎髭を伸ばし、次いでその後、数カ月後に剃り落とすことがある。参照または標準として口髭のない認識モデルを使用する認識タスク内で口髭を生やしたユーザ１００を正しく識別する信頼度は、低減される可能性が高い。そのような外観の変化には新しい認識モデルを必要としないことがあるが、変化の中には、１つ以上の新しいモデルの作製を必要とするものもある。劇的であるが一時的な外観変化に適応できるように（たとえば、女性が髪を下ろしているか、それとも編んでいるかに対処するように）、複合モデルを含む複数の認識モデルを同時に維持して、並行する期間に及ぶようにすることができる。

図７に示すように、対象認識の信頼値４７０を用いて、認識精度の変化を時間とともに監視することができる。対象認識の信頼値４７０は、新しい認識モデルが作製されたとき（ステップ４４１）に最初に決定またはリセットされる（標的約１．０）。次いで図７が示すように、後の対象認識の信頼値４７０は、認識モデル生成後、個人の顔の特性が変化するにつれて減衰することができる。減衰または劣化は、徐々に（傾向線）または突然発生することがあり、現在の認識モデルの信頼性が減少している可能性の指標として、定義された変化検出基準に対して、パーセント変化、全体的な変化、閾値変化、または変化率（および持続時間）などの測定基準を使用して、減衰または劣化を追跡し、著しい変化を識別して測定することができる。認識タスク実行の成功の知覚における減衰または変化は、測定基準計算ステップ３７５中に写真認識タスク（図１）または認識モデル更新処理４１０（図４）の一部として計算できる変化測定基準（上記に示唆）を使用して測定することができる。このようにして、対象認識の信頼値４７０の突然のまたは長期の傾向線変化を測定するこのステップを用いて、インテリジェントエージェント４２０は、新しい認識モデルの必要性を識別できるほど十分な大きさを有する外観の変化を調べることができる。

別の態様として、個別の顔の特徴の計算および追跡も有用である可能性がある。たとえば、体重の増減とともに顔の幅がはっきりわかるほどに変化することがあり、脱毛がもとで髪の生え際が変化することがあり、また加齢または日光暴露とともにしわが発生することがある。関連する顔の特徴は、表１および２で示唆したように、顔の特徴点モデル（図５ａ）の顔の点からの計算を使用して定義することができる。たとえば、特有の顔の測定基準４７５は、インテリジェントエージェント４２０（図７参照）によって、容易に計算し（ステップ３７５）、次いで長期的に追跡することができる。これらの顔の測定基準４７５を使用して、顔の幅、髪の生え際、または特殊なペアワイズ属性を含む様々な特徴を追跡することができる。対象認識の信頼値４７０の場合と同様に、インテリジェントエージェント４２０は、現在の認識モデルの信頼性が減少している可能性の基準または指標として、パーセント変化、全体的な変化、閾値変化、または変化率（および持続時間）を使用して、著しい顔の測定基準４７５の変化を監視することができる。これは、顔全体を表すための単一の対象認識の信頼値４７０の演算で示唆される平均化処理では、微妙な顔の特徴の変化は強調されない可能性があるため、有用である。代わりに、感度を強化するために、重み付き平均化技法を使用して一般に変化しやすい顔の特徴を強調することによって、類似性スコア４６０または対象認識の信頼値４７０を計算することができる。

本発明の好ましい実施形態の様々な動作上および概念上の態様について、次に明らかにすることができる。たとえば、消費者が、認識モデルＡＩ４２０を含む認識モデル更新ソフトウェアを、恐らく電子画像デバイス２１０の一部として住宅内に最初に持ち込んだとき、認識モデル更新システム２００をその世帯に対して初期化する必要がある。新しいグループのユーザ１００がまず認識モデル更新ソフトウェア（システム）の使用を開始するとき、ユーザ識別情報および意味データを含む様々なデータを入力するはずであることを予期することができる。具体的には、ユーザ１００は、識別情報および年齢情報、血縁情報、ならびに少なくとも明るく概ね均一の照明条件下で取り込んだ正面の顔画像（パスポート写真画像または顔写真など）を供給するはずである。これらの画像は、図５ｂの参照画像３５８に概ね類似していることがある。入力は、キーボード、デジタルカメラ、写真スキャナ、または他の適切な方法を介して提供することができる。非居住者（祖父母または友人など）の走査した、デジタルの、または電子メールで送られた画像を含むこともできる。

通常、インテリジェントエージェント（４２０）のソフトウェアは、図５ａの８２個の特徴（アクティブ形状）顔点モデル９０など、画像からの顔認識データを分析的に導出する。次いで、予備の認識モデルおよび参照画像３５８が生成されるはずである。その後、認識モデル更新システム２００を使用して、認識モデル更新処理４１０を行うことができ、これらの予備のモデルは、初期画像取込み４３１を支持する。好ましい実施形態では、処理４１０は、各世帯居住者、ならびに各個人ユーザ１００に適した顔の測定基準４７５および対象認識の信頼値４７０に対して、標的画像の完全なセット、次いで３次元複合モデル３６０を含む認識モデルを生成するはずである。

運動検出器２９１によってユーザ１００が検出されると（ステップ４３０）、認識モデル更新システム２００とともに電子画像デバイス２１０を使用して、画像取込みイベント４００が開始する。運動検出器２９１は、音センサ（マイクロフォン２７０）、光強度センサ（周囲光検出器２７６）、もしくは運動を検出する光センサ、またはこれらの組合せを含むことができる。カメラ２３０はまた、たとえば画像領域ヒストグラムを使用して存在および位置を検出することによって、運動検出を支持することができる。次いで、運動検出器２９１およびカメラ２３０を使用できるユーザ追跡処理２９０で、電子撮像デバイス２１０に対する潜在的な対象の位置を追跡する。潜在的な対象がカメラ２３０の視野θに入ったと決定されると、初期画像取込み４３１を行って、１つ以上の初期画像を取得する。次いで、ユーザ識別処理４３２で意味識別情報データにアクセスし、顔認識ソフトウェア、音声認識ソフトウェア、または他の技法を使用して、既知のユーザ１００の識別を試みる。この場合も、分析時間を低減させるために、識別（ステップ４３２）は、８２個の顔の点構造に基づくＡＳＭまたは複合モデルなどのより詳細な認識モデルの代わりに、参照画像３５８を使用することができる。

高速識別のための他の選択肢として、デバイス２１０は、顔検出アルゴリズムを使用することができる。顔検出アルゴリズムは顔検出および顔認識に最適化されており、必ずしも顔のモデリングも支持するわけではない。例には、ＯＫＡＯ Ｖｉｓｉｏｎなどの市販のソフトウェア、またはＯｐｅｎＣＶソースコードを利用するＳｏｕｒｃｅＦｏｒｇｅ．ｎｅｔからのＭＰＴなどのフリーウェアが含まれる。これらのパッケージはまた、正面のポーズを有することを前提としている。

初期画像取込み４３１中に得た画像を使用して既知のユーザ１００を識別した後、状態試験４３３で、認識タスクにおける永続性を可能にするには認識モデリングに対して新しい画像が必要か否かを決定することができる。返答が否定的である場合、画像取込みを停止させ（ステップ４３４）、一方返答が肯定的である場合、画像取込みループ４２５を開始する。画像取込みループ４２５は、画像取込み（４３５）、画像試験（４３６）、および対象追跡（２９０）からなる相互に作用する処理である。ギャラガー‘６２４に示唆されているような年齢に基づく予定に対して、最近の認識モデル（特に複合モデル３６０）が古くなった場合、肯定的な返答を行うことができると最も簡単である。対象認識の信頼値４７０または顔の測定基準４７５（ステップ３７５）の変化によって測定すると、現在取得した画像（ステップ４３１および２９０）の分析に基づいて、最近の認識モデルが十分ではなくなったとインテリジェントエージェント４２０が決定した場合も、肯定的な返答を行うことができる。さらに、認識モデル更新処理４１０が１つ以上の認識モデルの完成を試みているが、標的画像の不完全なセットを有する場合、肯定的な返答を提供することができる。返答は、肯定的であるかそれとも否定的であるかにかかわらず、決定ノード４４５を通って送られて、取込みの停止（ステップ４３４）または画像取込みループ４２５をもたらす。別の選択肢として、ユーザ１００は、新しい認識モデルの作製を要求することもできる。

同一出願人によるギャラガー‘６２４出願によって示唆されている年齢に基づく予定の手法について、より詳細に考慮することができる。例示的な年齢の進行として、０〜１歳の子供には４カ月ごと、１〜３歳の子供には６カ月ごと、また４〜１６歳の子供または若年層には１年ごとに、新しい認識モデルを探求することができる。それ以降、年齢１７〜２３歳の間は２年ごと、その後５年に１回のタイミングを予定することができる。状態試験ステップ４３３中、ユーザの現在の年齢を年齢進行予定と比較して、新しい認識モデルが必要か否かを決定することができる。

しかし、前述のように、年齢に基づく予定の手法は、その個人に対する写真認識の成功率を減少させるユーザの外観の著しい変化を事前に識別して反応しない。一例として、ユーザ１００には、ほくろ、傷跡（複数可）、および母斑の除去、脱毛、または眼鏡の使用など、独自の顔の特徴に関係する比較的突然の顔の特徴変化が生じる可能性がある。ユーザ識別または画像試験ステップ（それぞれ４３２および４３６）中に特徴の区分化および抽出アルゴリズムを行って、取り込んだ画像内でこれらの特徴の位置を突き止めることができる。インテリジェントエージェント４２０は、対象認識の信頼値４７０または顔の測定基準４７５を使用する有意性試験を適用し、独自の顔の特徴の変化が、更新された認識モデル（複数可）の作製に値するかどうかを決定することができる。返答は、肯定的であるかそれとも否定的であるかにかかわらず、状態試験ステップ４３３に対する入力として供給することができる。代わりに、あまり劇的でない変化（ユーザの口髭の成長など）の場合、インテリジェントエージェント４２０がメタデータで既存の認識モデルを増大させて顔の外観および日付の変化を表すだけで十分なことがある。別の選択肢として、個人が劇的な美容の変化（視覚的に顕著であるが一時的な髪型など）に対処するために、複数の認識モデル（複数の複合モデル３６０を含む）を並行して維持および使用することができる。顎髭の成長および後の除去など、劇的であるが一時的な外観変化に対する別の手法として、ＡＩ４２０は、新しい認識モデルを生成するのではなく、顎髭前の認識モデルを依然として確実に使用できることを決定することもある。

変化しうるが母斑または傷ほど独自または明白ではない他の顔の特徴も、画像内人物認識タスクに影響を及ぼすことがある。例として、体重の増減とともに顔の幅がはっきりわかるほどに変化することがあり、脱毛がもとで髪の生え際が変化することがあり、また加齢または日光暴露とともにしわが発生することがある。長期的な正規化グラフと年齢の関係である図７は、髪の生え際および顔の幅の経時的な変化を顔の測定基準４７５で示す。髪の生え際は、顔の特徴点５８−６６（図５ａ参照）から導出されるデータを使用して追跡することができ、一方顔の幅は、顔の特徴点７９−８１および６８−７０間の距離を使用して追跡することができる。別の例として、顔のしわは、表面粗度およびパターン分析のためのＡＳＭ質感尺度を使用して追跡することができる。２人の外見の類似した人物を区別するペアワイズ顔分類子を、このようにして追跡することもできる。図７はまた、眼間距離（顔の特徴点０−１間の距離）に対する顔の測定基準４７５をグラフで示す。青年期を過ぎると、公称では、眼間距離は一生を通じて一定であるため、関連する顔の測定基準４７５を、他の顔の距離または面積に基づく顔の測定基準に対する参照または正規化値として使用することができる。

図７はまた、対象認識の信頼値４７０が時間とともに変化する概念を直接的に示す。インテリジェントエージェント４２０は、認識モデル更新処理４１０を介して個人ユーザ１００に対する新しい認識モデルを完成した後、新しい基本値（１．０に非常に近接していることが望ましい）を計算する。次いで、画像分析システム３００を介して（ステップ３４０および３７５を介して）、または認識モデル更新処理４１０に関連する画像取込みイベント４００中に［状態試験、ステップ４３３および３７５を介して（図４および８参照）］そのユーザの後の画像が分析されるとき、新しい対象認識の信頼値４７０を計算することができる。インテリジェントエージェント４２０は、対象認識の信頼値４７０の段階的な変化を時間とともに追跡することができる（図７に示唆）。次いで、加齢の影響、食事、健康状態、または他の理由のためかどうかにかかわらず、ユーザの外観が時間とともに変化するにつれて、追跡される対象認識の信頼値４７０を低減させることができる。たとえば対象認識の信頼値４７０が（たとえば約８０％に）低減され、認識の永続性が減少している時点で、インテリジェントエージェント４２０は、新しい顔認識モデルの生成には新しい画像が必要であると決定することができる。次いで、状態試験ステップ４３３への状態入力を「ｙｅｓ」に変化させて、認識モデルの生成には新しい画像が必要であることを示すことができる。図７は、前の認識モデルが古くなり、新しいものが生成されるので、幼児期および若年期中は対象認識の信頼値４７０が比較的迅速に変化しうることを概念的に示す。図７には示さないが、複数の認識モデルが並行して維持および追跡されている場合、複数の対象認識の信頼値４７０を同時に追跡することができる。各認識モデル（それぞれの並行した複合モデル３６０など）は、関連する対象認識の信頼値４７０を有することができる。

図７が示すように、対象認識の信頼値４７０および顔の測定基準４７５の長期的な追跡により、写真内人物認識タスクに影響を与え、したがってタスクの成功および確実性、ならびに支持している認識モデルの使用可能な寿命を低減させうるユーザの顔の外観の著しい変化の記録をとることができる。新しい認識モデルの必要性を事前に識別し、次いでそれらを生成するのは有用であるが、演算上の必要性を低減させ、また混乱を低減させるために、不必要な認識モデルの生成または大量生産は避けるべきである。ユーザ１００による衣装の着用など、一時的な繰り返さないイベントのため、新しい認識モデルの生成を低減させることが望ましい。状態試験ステップ４３３は、変化量、変化の時間的な急峻さ、および変化の持続時間（たとえば、数週間の画像に及ぶ変化の持続）に基づいて、対象認識の信頼値４７０または顔の測定基準４７５内で観察された変化に論理試験を適用して、新しい認識モデルを生成する必要があるかどうかを決定することができる。これらの雑音低減技法に加えて、メタデータタグで、または新しい特徴を補償する補助顔モデルファイル（補助認識モデル３６５）で既存の認識モデル３５０を修正することによって、長期の性質のものである場合でも、いくつかの変化（口髭の成長または眼鏡の着用など）に適応することができる。特に髪型または顎髭に対する、より劇的であるが潜在的に一時的または繰り返す顔の外観の変化の場合、複数の認識モデルが並行して必要とされることがある。認識モデル更新処理４１０はまた、補助的な並行するモデルを必要に応じて生成し、類似性のスコアを使用してこれらを互いに試験して、それぞれのそのようなモデルによって十分な付加価値が提供されるかどうかを決定することができる。

状態試験が肯定的である場合、画像取込みループ４２５につながり、画像取込みループ４２５では、画像試験（４３６）で、ユーザ１００の取り込んだ画像が必要なポーズに対応し、必要な照明および画像品質を有するかどうかを基本的に決定する。映画撮影者には定義および理解されるように、様々な水平を向いた一般的なポーズ（正面、正面の４分の３、および側面を含む）で、対象ポーズの変動の思想を図５ｄに示す。しかし、自動化された対象認識の場合、顔のポーズの著しい変動は、映画撮影より正確に定義される。ポーズ推定のためのモデルに基づく技法は通常、画像から個人の３次元の頭部形状を再現し、次いで３次元モデルを使用して頭部の向きを推定する。たとえば、シミズらによる前に論じた論文に記載の手法を使用して、ポーズ推定を完成させることができる。頭部のポーズには、偏揺れ、縦揺れ、および横揺れという３つの角度成分がある。偏揺れは、垂直軸の周りで頭部を右または左に回す角度を指す。縦揺れは、横軸の周りで頭部を上または下に向ける角度を指す。横揺れは、前頭面に垂直な軸の周りで頭部を右または左に傾斜させる角度を指す。

そのような方法を使用して、画像試験（ステップ４３６）中に（ステップ４３５から）取り込んだ画像それぞれに対して、ポーズ角度を推定することができる。対象の強固な３次元認識モデル（複合モデル３６０）を生成するために、画像取込みループ４２５中に取得した画像のコレクションは、広い範囲の角度に及ぶ必要がある。対象の頭部の周り（偏揺れ）で３６０度に及ぶすべての画像が究極であるが、実際には、正面から左および右側面の向きに及ぶ様々な画像で、大部分の認識タスクに有用な３次元複合モデルが可能になる。チャオおよびチェラッパによって示唆されるように、画像ポーズ間の角度の刻みは約５度であることが好ましいはずである。もちろん、顔認識タスクに対して消費者によって提供される顔画像は、様々な量および方向の頭部傾斜を有する。一般に、認識モデルおよび画像内顔認識ソフトウェアは、何らかの頭部傾斜に対処することができる。また、人物の頭部は、自然にとにかく垂直に整合する傾向がある。傾斜は、無作為の静止画ではやはりますます問題であるが、画像コレクションで時間とともに顔のモデリングおよび認識タスクを行うことによって、この影響は低減されるはずである。潜在的には、標的画像取得を助けるために、故意に頭部を回転させるようにユーザ１００に求めることができる。同様に、強固な顔モデルを作製するには、異なる照明条件下で収集された顔画像が必要とされる。ブランツおよびフェッターは、２２個の異なる照明条件を使用した。しかし、所定のユーザに対する取込み状況で、これらの条件すべてが発生するとは限らない。画像は、発生する可能性が高い照明条件（たとえば、窓からの光、頭上からの光など）のサブセット下で収集される。

画像試験（ステップ４３６）はまた、新しく取り込んだ画像の品質を評価することができる。画像品質に対する一般的な指針は、寸法、照明、および画像コントラストなどの事柄に対処する。たとえば、正面画像の場合、最小画像寸法は、眼間距離に及ぶ少なくとも１００画素を提供するべきであり、３００画素を超えることが好ましい。画像の明るさの要件は、信号レベルを飽和させたりまたは低くしすぎたりするべきではないので少なめであるが（雑音を最小限にするため）、画像に知覚上の影響があるとは判断されていない。たとえば、画素電子ウェル容量の約２０％という平均画素信号レベルを使用することができる。暗い領域からハイライトまでの信号範囲を比較する画像コントラストは、髪を含む顔の特徴を発見するのに十分である必要がある。約１００〜２００：１の画像コントラスト比が十分なはずである。別の画像品質の測定基準は、顔の光の陰影または非均一性の量を定量化して、モデリング特性を超えるかどうかを決定することができる。インテリジェントエージェント４２０は、これらの測定基準を組み合わせて、認識モデルの生成に使用するのに十分なほど良好かどうかを示す全体的な取込み品質の測定基準にすることができる。

画像品質の測定基準は、対象信頼値４７０の演算で使用することもできる。１つの手法として、取込み品質のいくつかの個別のレベルに対して類似性スコア分布４６０（図６）の別個のセットが提供される。定量化された画像品質の測定基準を有する新しい顔画像の場合、十分に同等の取込み条件に対応する類似性スコア分布４６０が認識処理で使用されるはずである。別の代替手段は、前述のように対象認識の信頼値４７０を算出し、取込み品質の測定基準を使用して信頼値を修正する（たとえば、乏しい取込み条件下で取り込んだ顔に対して信頼値を下げる）ことである。

類似性スコア（４６０）分布を組み立てるのに使用される大きなラベル付きグランドトゥルースライブラリは、異なる照明条件下で撮影した人物の画像を含むはずである。ブランツおよびフェッターは、異なる光と陰影の組合せを包含する１人当たり２２個の異なる照明条件を使用する。チャオおよびチェラッパによれば、グランドトゥルースライブラリ内の画像から、３次元頭部モデルの固有頭部の近似を得ることができる。新しい顔画像の場合、その３次元頭部モデルを固有頭部の線形結合として近似させ、次いでこれを使用して光源を決定することができる。通常、消費者のシステムは、可能な照明条件のサブセットを認識し、ライブラリ内で取り込んだ２２個の変動は、より大きな範囲の可能性に及ぶ。たとえば、頭部の上からフラッシュを発光させる照明はめったにない。したがって、ＡＩ４２０に関連付けられたデータベースは、窓からの日光、様々な種類の室内照明（蛍光、白熱など）、拡散周囲照明など、そのシステムの場合に遭遇する異なる光源／状況で取り込んだ画像を含むことができる。これらの様々な光は、対象の陰影および顔の色に違いをもたらすことがある。陰影の影響は、グランドトゥルースライブラリおよび関連する類似性スコアを介して処理に加味される。認識モデルでは色は通常使用されず、またカラー画像はグレイスケールに変換されるので、色の違いは最小限になる。カメラ２３０を単色カメラとすることができると最も簡単である。代わりに、カメラ２３０を、色を感知する画像取込みデバイスとすることができ、カラーからグレイスケールへの変換は、画像取込み直後にカメラ内で行うことができる。最後に、カラーからグレイスケールへの変換は、グレイスケール正規化に先行するステップとして、画像正規化（ステップ４３９）中に行うことができる。

写真認識タスクの大部分は、はっきりとわかる陰影をもたない顔画像を評価することに留意されたい。したがって、画像取込みループ４２５は、照明の不均一性を明白に検出できない様々なポーズの向きにわたって、ユーザ１００の標的画像を取得するべきである。状況によって、正面ポーズの対象画像データを十分な均一性で収集できるとき、インテリジェントエージェント４２０は、公称の標的複合モデル３６０を補完するものとして、ＡＡＭ質感データを生成することができる。

画像品質の測定基準および対象ポーズの標的を満たす画像取込みループ４２５内で取得した標的画像は、後に使用するために保存され、タグ付けされる（ステップ４３７）。それに続く対象画像の検討処理（ステップ４３８）は、認識モデルを作製するのに十分な標的画像が利用可能であることを検証することによって画像取得および認識モデル生成を支持するＡＩ４２０の機能である。標的画像の取得状態は、再び状態試験ステップ４３３に入力（ｙｅｓ／ｎｏ、必要なポーズ、日付）として提供される。ポーズの十分なコレクションは、正面図、左および右を向いた図、上および下を向いた図、ならびに２つの側面図を含むはずである。追加のポーズは、後頭部などのより極端な位置を含むことができる。返答が肯定的である場合、画像正規化４３９につながる。画像正規化４３９は、画像内人物認識タスクに適切な参照特徴データ（対象またはユーザ１００に対するグランドトゥルース顔点データ）の導出に先行するステップである。

画像正規化４３９は基本的に、存在を感じさせないシステムが遭遇しうる複数の問題（室内光、取込みデバイスからのユーザの距離および方向の変化）を克服するタスクを負う。第１の例として、寸法正規化は、画像を拡大縮小して認識モデルを生成するのに重要である。具体的には、正面図には、眼間距離（参照特徴９２として図５ｂに示す）が有用であり、いくつかの表２の計算では分母として使用される。新しく取り込んだ画像に対して目１３０間の導出した距離と、最初のシステムセットアップ中に生成された参照画像３５８から得られる予期される寸法設定情報とを比較することができる。次いで、ポーズ推定を使用して補正係数を導出して適用し、画像取込み中の対象ポーズに関係する視誤差を補償することができる。側面図に対する対象ポーズの変化として、目が著しく遠い、または完全に隠れている場合、代替の顔特徴の参照距離が寸法正規化のために必要とされることがある。たとえば、目から耳道までの距離を使用することができる。

画像正規化ステップ４３９はまた、グレイスケール正規化を含むことができる。前述のように、顔および頭部画像データに基づく認識タスクの場合、色データは通常重要ではなく、グレイスケールデータで十分である。さらに、色に関連する変動は、様々な照明条件下の画像のグランドトゥルースライブラリおよび導出される類似性スコア分布を組み立てることによって保障される。したがって、入力画像を単にグレイスケールに変換して、色に基づく認識モデルに必要な色空間較正および補正を回避することができる。取得した標的画像が標的公称照明条件内に入る場合、グレイスケール変換で十分であり、グレイスケール正規化を回避することができる。しかし、画像取込み条件がより変わりやすいとき、グレイスケール画像を一般的なトーンスケール分布に正規化する必要があることがある。しかし、図５ａの８２個の顔の点の位置を突き止めることを含めて、認識モデリングでは質感特徴が使用されるので、画像正規化が画像特徴の頻度、方向、およびパターン形成などの他の画像の質感属性を不明瞭にしたり低減させたりしないことが重要である。

画像正規化（ステップ４３９）は、リンクされた画像分析および認識モデル生成ステップ（それぞれ４４０および４４１）につながる。一例として、ＡＳＭ手法に続いて、画像を分析して、図５ａの一般的な顔モデルを所定のユーザの顔の上にマッピングする。適切な距離は、表１および２に従って、関連する顔の特徴点間の距離を画素単位で測定することによって決定することができる。正規化は、画素単位で与えられる眼間距離で分割することによって行われる。標的距離はまた、ミリメートル単位の既知の距離を使用して実際に拡大縮小することができる。たとえば、大人の人間に対する典型的な眼間距離は約６０ｍｍである。

認識モデルの生成（ステップ４４１）が３次元複合モデル３６０を生成する場合、入力画像分析は、図５ａの特徴顔点モデルを使用して３次元モデルに対して定義された縁部曲線（たとえば、目、唇、眉、および耳の輪郭）、ならびに表１および２で定義された顔の特徴を識別することから開始する。モデルおよび入力画像内の縁部曲線間の対応関係を確立した後、様々なポーズ角度で３次元モデルを繰り返し調整すること、そして入力画像に最も近い曲線適合を示す調整を決定することによって、頭部ポーズが推定される。最も近い曲線適合を示すポーズ角度は、入力画像のポーズ角度であると決定される。利用可能なモデル生成画像のそれぞれに対してポーズ角度推定を完成させることができる。１つまたはいくつかの画像から３次元モデルを生成することができ、十分な分解能を提供するのに十分な大きさの頭部寸法と組み合わせた画像の数で、精度が増大される。

前述のように、本発明の好ましい実施形態は、複合モデル３６０とは別に、ペントランド固有モデル、アクティブ形状（ＡＳＭ）モデル、およびアクティブ外観モデル（ＡＡＭ）を含む他の認識モデル３５０の生成を支持することができる。これらのモデルは２次元モデルであるため、各ポーズに対して別個のモデルを作製することができ、すべてのポーズにわたる２次元モデルの集合が、個人に対する全体的なモデルになる。所定の顔を整合させるのに使用されるこの集合からのモデルは、顔のポーズ推定に基づく。ヤコブの場合、髪モデルまたは眼鏡の特徴付け、縁部および顔の毛などの質感属性は、既知の特性および位置を有する特徴から識別され、所定のユーザ上で効率的に位置を突き止めることができる。前述の幾何学的モデルに加えてこれらの追加の属性を使用して、認識モデルを強化することができる。

さらに、リンクされた画像分析および認識モデル生成ステップ（それぞれ４４０および４４１）は、新しく生成した認識モデルの品質に関連付けられた、更新された対象認識の信頼値４７０を表にするタスクを負う。公称では、個人に対して１つ以上の認識モデルの生成後、関連付けられた対象認識の信頼値は、図７に示すように、１に戻り、または１に近づくはずである。潜在的には、１つ以上の複合モデル３６０、アクティブ外観モデル（ＡＡＭ）、またはペントランド固有モデルなどのそれぞれの維持される認識モデルは、別個に追跡される関連付けられた対象認識の信頼値４７０を有することができる。他の追跡される顔の測定基準４７５に対する計算もまた、更新して前の値と比較することができる。

前述のように、本発明の好ましい実施形態は、画像内の個人の認識の上で永続性を可能にする方法を予期する。この方法では、対象認識の信頼値４７０、顔の測定基準４７５、または他の顔の分類子を蓄積、長期的に追跡、および分析して、対象認識の成功が悪化している、または悪化する可能性が高いかどうかを決定する。これらの要因に関する新しい指示状態データは、画像分析システム３００または認識モデル更新処理４１０から取得することができる（測定基準計算ステップ３７５）。前の説明では、新しい認識モデルの必要性を識別すると、カメラ２３０を有する電子画像デバイス２１０を促して、ユーザ１００の必要な画像を取得させる。しかし、代替の手法として、必要性の識別は、写真コレクションに入る新しい画像を使用して画像分析システム３００中に決定することができ、次いで上記その他の画像を使用して、事前にカメラで取り込んだ画像を用いることなく認識モデルを生成することができる。

具体的には、図８は、画像分析システム３００と認識モデル更新処理４１０の相互作用を示す。この場合、画像分析システム３００によって新しい画像を分析して、写真内人物認識タスクを実行する。図１の場合と同様に、システム３００は、人物ファインダ３３０、イベントマネージャ３２０、および個人認識分類器３４０を利用する。たとえば、ユーザ１００は、対象（世帯居住者または非居住者など）および非対象を含む新しい画像を既存の写真コレクションに加えている可能性がある。前述のように、個人認識分類器３４０は、対象［もしくはアーロン（息子）などのユーザ］、非対象、または不確実な人物分類３７０を提供することができる。個人またはユーザ１００が、人物プロファイル３４５を使用する個人認識分類器３４０によってうまく識別されたとき、突然のまたは傾向線の長期的な変化に対する対象認識の信頼値４７０および他の顔の測定基準４７５を計算し、次いで分析することができる（ステップ３７５および４３３）。次いで、これらの測定基準が、複合モデル３６０などの認識モデル３５０が劣化し、または著しく変化していることを示すと、認識モデル更新処理４１０を開始することができる。しかし、カメラ２３０を有する電子画像デバイス２１０を使用して新しい画像を取得するのではなく、画像分析システム３００によって後に提供された画像から新しい画像を得ることができる。個人の画像が利用可能になると、これらの画像の必要性および妥当性を試験し（ステップ４３６）、次いで適宜記憶する（ステップ４３７）ことができる。画像検討（ステップ４３８）は、有用な認識モデルを作製するのに十分な画像が利用可能であるかどうかを決定し、状態通知を渡す（ステップ４３３）ことができる。十分な画像が利用可能であるとき、画像正規化（ステップ４３９）、画像分析（ステップ４４０）、および認識モデル生成（ステップ４４１）に従って、ＡＩ４２０によって認識モデルが生成される。複合モデル３６０などの新しい認識モデルを人物プロファイル３４５に供給することができ、一方新しい対象認識の信頼値４７０および顔の測定基準４７５を供給することができる（ステップ３７５）。

図８に概要を示す全体的な処理は、ユーザ１００によって供給される画像コレクションを使用して人物の認識モデル３５０を導出する方法を提供する。たとえば、図８の処理は、同一出願人によるローサー‘３４３の方法を使用して複合モデル３６０を導出することができ、または同一出願人によるギャラガー‘６２４の方法を使用してＡＡＭモデルを生成することができる。しかし、これらの出願、特にギャラガー‘６２４とは異なり、図８の処理は、新しい認識モデルをいつ生成するかを決定するのに時間および年齢に基づく予定に依拠するだけでなく、代わりに対象認識の信頼値４７０または顔の測定基準４７５に基づいて事前追跡および分析手法を使用して、新しい認識モデル３５０を生成する必要性を決定する。次いで、図８の処理は、定義された必要性に応じて新しい認識モデルを事前に生成する手段を提供する。この手法は、カメラ２３０を有する電子画像デバイス２１０を使用してユーザ１００の画像を事前に取得しないので、プライバシー上の問題に関してそれほど侵入性がないことを見出すことができる。しかし、図８の処理によって生成される認識モデル３５０は不完全なことがあり、画像品質の低減されたソースデータを利用して全体的な有効性を低減させることがある。画像の利用可能性の遅延はまた、モデル品質および確実性を低減させることもある。これらの問題は、より低い対象認識の信頼値４７０が新しい認識モデルに関連付けられる（たとえば、約１．０ではなくわずか約０．９２）ことで反映されることがある。事前の画像取込み（図４の処理）とユーザによって供給される画像からのモデル導出（図８の処理）との組合せによって新しい認識モデル３５０が生成されるハイブリッド手法を使用できることも予期される。ハイブリッド手法（または図８の処理）は、ユーザ１００が、当該の個人の（走査された、単に取り込んだ、電子メールで送られた）ソース画像を提供することによって認識モデル３５０を直接支持できるので有用である。これは、図４に示す認識モデル更新処理４１０を支持するカメラ２３０によって撮像される可能性が低い非居住者およびたまの訪問者（遠い親類または友人など）である個人に対して特に有用なものとなりうる。

前に示唆したように、ユーザ１００には、本発明の方法および装置の好ましい実施形態に関してプライバシー上の問題がありうることが予期される。たとえば、人物は、図２ｂに示すデジタル写真フレームなど、カメラ２３０を有する電子画像デバイス２１０が自身の写真を取り込んでいることを懸念する可能性がある。これに対処するために、視覚または音声のキューを提供して、画像取込みが行われていることを示すことができる。目に見える確かな物理的な止め具を、カメラ２３０を覆うように配置することによって、画像取込みを防止することもできる。プライバシー制御はまた、どの個人を認識モデルが作製されている対象と見なすかを決定することができ、ならびに認識モデルおよび長期的に追跡されるデータへのアクセスを制御することができる。

ユーザ１００は、本発明のいくつかの好ましい実施形態の方法（図４または８に表す）またはシステム（図１、３、または８に表す）を使用して、インターネットで使用するための画像を作製または更新するためのソースデータとして使用できる画像または顔モデルを取得できることも予期される。たとえば、ユーザ１００は、この出力を使用して、Ｆａｃｅｂｏｏｋまたは同等物に示すための自身の３次元画像を作製することができる。同様に、ユーザ１００は、この出力を使用して、Ｓｅｃｏｎｄ Ｌｉｆｅなどのメタバース内で使用するためのフォトリアリスティックなアバターを作製することができる。

別の態様として、本発明の好ましい実施形態のデバイス（図３に示すものなど）と画像に基づく監視およびセキュリティシステムを比較することができる。セキュリティおよび監視システムは先行技術で知られており、代表例には、エイティックらによる米国特許第６，１１１，５１７号およびクックらによる米国特許第７，１１４，０７９号が含まれる。通常、自動化または人間の観察を伴う監視システムは、当該の領域の画像データを能動的に警戒、表示、および記録する。多くの監視システムでは、個人または個人の活動は自動的に分類されることがあるが、領域内の個人を認識することなく、領域を公然とまたは内密に観察することができる。多くのそのようなシステムは、領域内の人間の活動を示す顔、声、または他のキューを識別するように調整される。セキュリティ検査システムの場合、顔検出ソフトウェアを使用して、通行人（または、たとえば飛行機の乗客）の顔画像と事前定義された警戒リストからの人物の顔画像とを比較する。多くのセキュリティおよび監視システムは、顔検出および認識アルゴリズムならびにデータベースを使用してタスクを実行しながら、既存の顔画像または顔画像データを使用する。すなわち、本発明の好ましい実施形態とは異なり、セキュリティおよび監視システムは、住宅内の個人など、個人の小さな選択グループの正確な顔モデルを維持する必要性を予期しない。したがって、これらのシステムは、対象認識の信頼値４７０および顔の測定基準４７５を決定し、次いで長期的に追跡して顔の外観の変化を評価するために、新しい顔画像を分析しない。同様に、セキュリティおよび監視システムは、個人の新しい完全な顔認識モデルを作製するために個人（ユーザ）の複数のポーズの画像の取得を開始する必要性を決定するために、そのような長期的に追跡されたデータを分析しない。最後に、これらのセキュリティおよび監視システムは、新しい認識モデル３５０の必要性の識別に応じず、したがって次いで蓄積された画像を使用して新しい顔認識モデルを生成する処理を管理しない。

本発明の好ましい実施形態について、顔および頭部の画像データを使用して画像内の人物の認識の上で永続性を可能にすることに関して主に説明してきた。前述のように、映像画像を分析する際に特に有用となりうる声および歩容データを含めて、他のデータを使用することもできる。たとえば、ユーザ１００に対する声データは、マイクロフォン２７０を使用して、または映像入力の音声追跡から収集することができる。この音声を分析して、周波数、ピッチ、有声率、およびセグメント持続時間などの属性に対する統計的に有効な声認識の測定基準を導出することができる。さらに、聞き手を誘導しまた意図を信号で送るためにスピーカが使用する非言語的キューである韻律を分析することもできる。韻律は、声のピッチ、ペーシング、および音量などの要因を含み、意識的にまたは無意識に生じることがある。強い高調波スペクトル構造（基本的に母音）を有する有声の音声を標的にする音声分析は、高速かつ効率的な手法となりうることに留意されたい。これを可能にするために、音声処理では、雑音抑圧およびエコー消去などの様々な支持技術が必要とされることがある。

θ 全角度、 λ 光、 １〜８２ 顔の特徴点、 ９０ 顔の点モデル、 ９２ 参照特徴、 １００ ユーザ（または個人もしくは人物）、 １２５ 顔、 １３０ 目、 １３５ 口、 １４０ 鼻、 ２００ 認識モデル更新システム、 ２１０ 電子画像デバイス、 ２２０ コンピュータ、 ２２２ メモリ、 ２２４ 通信制御装置、 ２３０ 画像取込みデバイス（またはカメラ）、 ２３５ 画像処理装置、 ２４０ 表示装置、 ２４５ スクリーン、 ２５０ フレーム、 ２５５ 筐体、 ２６０ ユーザインターフェース制御部、 ２６５ ユーザインターフェース、 ２７０ マイクロフォン、 ２７２ スピーカ、 ２７４ 運動検出センサ、 ２７６ 周囲光検出器、 ２８０ システム制御装置、 ２８５ ユーザ識別処理、 ２９０ ユーザ追跡、 ２９１ 運動検出、 ２９２ 声検出、 ２９３ 顔検出、 ２９４ ポーズ検出、 ２９５ 照明検出、 ３００ 画像分析システム、 ３１０ データベース、 ３１５ デジタル画像コレクション、 ３２０ イベントマネージャ、 ３２２ 取込み時間分析器、 ３２４ イベント特徴検出器、 ３２６ イベント特徴分類器、 ３２８ イベント、 ３３０ 人物ファインダ、 ３３２ 人物検出器、 ３３４ 顔検出器、 ３３６ 特徴検出器、 ３３８ 個人の特徴、 ３４０ 個人認識分類器、 ３４５ 人物プロファイル、 ３５０ 認識モデル、 ３５２ 顔モデル、 ３５４ 髪モデル、 ３５６ 衣服データ、 ３５８ 参照画像、 ３６０ 複合モデル、 ３６５ 補助認識モデル、 ３７０ 人物分類、 ３７５ 測定基準計算ステップ、 ３８０ 画像分類、 ４００ 画像取込みイベント、 ４１０ 認識モデル更新処理、 ４２０ 認識モデルのインテリジェントエージェント（ＡＩ）、 ４２５ 取込みループ、 ４３０ 人物の検出、 ４３１ 初期画像取込み、 ４３２ ユーザの識別、 ４３３ 状態試験、 ４３４ 取込みの停止、 ４３５ 認識モデル画像取込み、 ４３６ 画像取込み試験、 ４３７ タグ付けおよび保存、 ４３８ 対象画像の検討、 ４３９ 画像正規化、 ４４０ 画像分析、 ４４１ モデル生成、 ４４２ 画像ファイルの削除、 ４４３ ユーザへの問合せ、 ４４５ 決定ノード、 ４５０ 認識モデルデータベース、 ４６０ 類似性スコア（または類似性スコア分布）、 ４７０ 対象認識の信頼値、 ４７５ 顔の測定基準、 ４８０ 信頼度計算。

Claims (28)

1. 画像内の特定の人物のコンピュータ認識を可能にするコンピュータで実行される方法であって、
   前記人物の顔認識モデルを使用して人物の複数の顔画像を分析して、前記顔画像と前記認識モデルを比較することによって顔の外観の変化を識別するステップと、
   前記顔画像に対する対象認識の信頼値を計算するステップと、
   前記顔画像に対する前記対象認識の信頼値と前記顔認識モデルに関連付けられた前の対象認識の信頼値を比較して、前記信頼値の変化を識別するステップと、
   前記対象認識の信頼値の前記識別した変化を分析して、前記人物に対して新しい顔認識モデルが必要かどうかを決定するステップと、
   前記識別した変化を分析する前記ステップによって、前記新しい顔認識モデルが必要であると決定された場合、前記人物の現在または後の画像から前記新しい顔認識モデルを生成するステップと、
   後の人物認識タスクに対して前記新しい顔認識モデルを使用するステップとを含むことを特徴とする方法。
2. 請求項１に記載の方法であって、前記識別した変化を分析する前記ステップが、前記対象認識の信頼値の変化を時間とともに追跡して、前記信頼値の著しい変化を識別するステップを含むことを特徴とする方法。
3. 請求項２に記載の方法であって、全体的な変化、パーセント変化、閾値変化、変化率、または変化持続時間を含む変化検出基準に対して、前記対象認識の信頼値の著しい変化を測定するステップをさらに含むことを特徴とする方法。
4. 請求項１に記載の方法であって、類似性スコア分布から計算される確率の正規化した比の使用を含む前記対象認識の信頼値を計算するステップをさらに含み、前記類似性スコア分布が、既知の顔と認識されない顔の整合を示す確率分布であることを特徴とする方法。
5. 請求項４に記載の方法であって、世帯の構成員だけを含む住民に対して類似性スコア分布を計算するステップをさらに含むことを特徴とする方法。
6. 請求項５に記載の方法であって、スコア分布の類似性を計算する前記ステップが、ペアワイズ測定基準を使用するステップを含むことを特徴とする方法。
7. 請求項１に記載の方法であって、１つ以上の定義された顔の測定基準に対して前記顔画像を分析するステップをさらに含み、前記顔の測定基準が、顔認識モデルを使用して追跡される所定の顔の特徴に関連付けられることを特徴とする方法。
8. 請求項１に記載の方法であって、画像取込みデバイス、画像コレクション、またはこれらの組合せから前記人物の前記複数の顔画像を取得するステップをさらに含むことを特徴とする方法。
9. 請求項１に記載の方法であって、前記顔認識モデルが、３次元複合モデル、アクティブ形状モデル、またはアクティブ外観モデルから選択されることを特徴とする方法。
10. 請求項１に記載の方法であって、前記人物が、顔認識モデルが存在する対象であるか、それとも顔認識モデルが存在しない非対象であるかを識別するステップをさらに含むことを特徴とする方法。
11. 請求項１に記載の方法であって、世帯を構成する１人以上の人物に対して前記方法を使用して、前記世帯に関連付けられた画像内で前記人物の認識を可能にするステップをさらに含むことを特徴とする方法。
12. デジタル画像内の特定の人物のコンピュータ認識を可能にするコンピュータで実行される方法であって、
    画像取込みデバイスを使用して前記人物の少なくとも１つのデジタル顔画像を取得するステップと、
    前記人物の所定の顔認識モデルに対して、前記人物の前記少なくとも１つのデジタル顔画像を分析して、前記少なくとも１つの画像と前記モデルの間の顔の外観の変化を識別するステップと、
    前記少なくとも１つの顔画像のそれぞれに対する対象認識の信頼値を計算するステップと、
    前記少なくとも１つの画像のそれぞれに対する前記対象認識の信頼値と前記所定の顔認識モデルに関連付けられた対象認識の信頼値を比較して、前記値の変化を識別するステップと、
    前記対象認識の信頼値の前記識別した変化を分析して、前記人物に対して新しい顔認識モデルが必要かどうかを決定するステップと、
    前記画像取込みデバイスを使用して前記人物の少なくとも１つのさらなる顔画像を取得し、前記新しい顔認識モデルを生成するのに必要な画像の完全なセットを編集するステップと、
    前記画像の完全なセットから前記新しい顔認識モデルを生成するステップと、
    写真内人物認識タスクに対して前記新しい顔認識モデルを使用するステップとを含むことを特徴とする方法。
13. 請求項１２に記載の方法であって、前記識別した変化を分析する前記ステップが、前記対象認識の信頼値の変化を時間とともに追跡して、前記信頼値の著しい変化を識別するステップを含むことを特徴とする方法。
14. 請求項１２に記載の方法であって、類似性スコア分布から計算される確率の正規化した比を使用して前記対象認識の信頼値を計算するステップをさらに含み、前記類似性スコア分布が、既知の顔と認識されない顔の整合を示す確率分布であることを特徴とする方法。
15. 請求項１２に記載の方法であって、１つ以上の定義された顔の測定基準に対して前記顔画像を分析するステップをさらに含み、前記顔の測定基準が、顔認識モデルを使用して追跡される所定の顔の特徴に関連付けられることを特徴とする方法。
16. 請求項１２に記載の方法であって、前記画像取込みデバイスが、電子写真フレーム、テレビ電話、ウェブカメラ、またはデジタルカメラから選択されるデバイスであることを特徴とする方法。
17. 請求項１２に記載の方法であって、前記新しい顔認識モデルを生成する前記ステップが、前記画像取込みデバイスによって取得した前記顔画像を、グレイスケールおよび寸法に対して正規化するステップを含むことを特徴とする方法。
18. 請求項１２に記載の方法であって、前記人物の前記画像の完全なセットが、異なる顔のポーズに及ぶ一連の顔画像を含むことを特徴とする方法。
19. 請求項１２に記載の方法であって、前記顔認識モデルが、３次元複合モデル、アクティブ形状モデル、またはアクティブ外観モデルから選択されることを特徴とする方法。
20. 請求項１２に記載の方法であって、前記人物が、顔認識モデルが存在する対象であるか、それとも顔認識モデルが存在しない非対象であるかを識別するステップをさらに含むことを特徴とする方法。
21. 請求項２０に記載の方法であって、前記人物が対象であるかそれとも非対象であるかを識別する前記ステップが、選択された顔の特徴を含む参照画像を利用して前記顔の外観を表すステップを含むことを特徴とする方法。
22. 請求項２０に記載の方法であって、前記人物の声の特性の取込みを可能にするマイクロフォンを有する前記画像取込みデバイスを提供するステップと、前記声の特性を分析して、前記人物に対する認識キューを提供するステップとをさらに含むことを特徴とする方法。
23. 画像内の特定の個人のコンピュータ認識を可能にするコンピュータで実行される方法であって、
    前記個人の１つ以上の顔画像から導出された、画像内人物認識タスクで使用できる前記個人の顔認識モデルを提供するステップと、
    前記顔認識モデルにリンクされた対象認識の信頼値を提供するステップと、
    前記対象認識の信頼値を時間とともに追跡するステップと、
    前記時間とともに追跡した信頼値を分析して、前記個人の顔の外観の著しい変化を示す信頼値の変化を識別するステップと、
    前記個人の前記顔の外観の前記著しい変化に基づいて、前記個人に対する少なくとも１つの新しい顔認識モデルの必要性を決定するステップと、
    前記決定した必要性に応じて、前記個人の現在または後に取得した顔画像を使用して、前記個人に対する前記少なくとも１つの新しい顔認識モデルを生成するステップとを含むことを特徴とする方法。
24. 請求項２３に記載の方法であって、類似性スコア分布から計算される確率の正規化した比の使用を含む前記対象認識の信頼値を計算するステップをさらに含み、前記類似性スコア分布が、既知の顔と認識されない顔の整合を示す確率分布であることを特徴とする方法。
25. 請求項２３に記載の方法であって、前記顔認識モデルが、３次元複合モデル、アクティブ形状モデル、またはアクティブ外観モデルから選択されることを特徴とする方法。
26. 請求項２３に記載の方法であって、前記個人に対する少なくとも１つの新しい顔認識モデルの前記必要性が、年齢に基づく予定に従って決定されることを特徴とする方法。
27. 画像内の特定の人物の機械認識を可能にする方法ステップを実行するために機械によって実行可能な命令のプログラムを有形に記憶する機械可読なプログラム記憶デバイスであって、前記方法ステップが、
    前記人物の顔認識モデルを使用して前記人物の複数の顔画像を分析し、前記認識モデルと前記顔画像の間の前記人物の顔の外観の変化を識別するステップと、
    前記顔画像に対する対象認識の信頼値を計算するステップと、
    前記顔画像に対する前記対象認識の信頼値と前記顔認識モデルに関連付けられた対象認識の信頼値を比較して、前記信頼値の変化を識別するステップと、
    前記対象認識の信頼値の前記識別した変化を分析して、前記人物に対して新しい顔認識モデルが必要かどうかを決定するステップと、
    前記識別した変化を分析する前記ステップによって、前記新しい顔認識モデルが必要であると決定された場合、前記人物の現在または後の画像から前記新しい顔認識モデルを生成するステップと、
    後の人物認識タスクに対して前記新しい顔認識モデルを使用するステップとを含むことを特徴とするプログラム記憶デバイス。
28. 人物の複数の顔画像を取り込む画像取込みデバイスと、
    前記人物の前記複数の顔画像および前記人物の予め生成した顔認識モデルを記憶する、前記画像取込みデバイスに結合された記憶域であって、前記顔認識モデルがモデル信頼値を含む、記憶域と、
    前記顔画像に対する対象認識モデル信頼値を計算する手段を含む、前記顔画像と前記顔認識モデルの差を識別する手段と、
    前記顔画像に対する前記対象認識の信頼値と前記モデル信頼値を比較する手段と、
    前記顔画像に対する前記対象認識の信頼値と前記モデル信頼値の差が大きい場合に新しい顔認識モデルを生成する手段と
    を含むことを特徴とするシステム。

Images