JP2006510985A - 照明不変条件での顔認識 - Google Patents

Abstract

無作為のサンプルサブセットが画像から選択される。ＲＡＮＳＡＣアルゴリズムが、捕捉された画像サンプルと保存されていた同様のサンプルとの堅牢な整合を実行するために使用される。十分なサンプルを選択することで、すべてのサンプルが照明条件の変化の影響を受ける可能性をより低くし、それゆえに、捕捉された画像での照明条件が保存されていた画像のものと異なる場合であっても、より高い確率で整合を見つけ得る。さらに、照明条件の変動に影響される可能性に基づいてサンプルを選択する加重サンプリング技術が使用される。

Description

本発明は、一般に顔認識に関し、特に照明不変条件での顔認識に関する。

顔認識システムは、施設へ入る際の識別、ホームネットワーク環境のようなところでサービスを個別化するための人々の認識、及び公共施設において探索中の個人の所在を確認するといったような多くの異なる用途で、個人の識別及び確認に使用される。如何なる顔認識システムの設計においても、究極の目的は、最良の分類（予測）能力を実現することである。顔認識システムの用途にもよるが、比較が高精度であることを確認することは、多かれ少なかれ重要である。指名手配中の人物を識別するというような高いセキュリティが求められる用途では、捕捉した画像と保存されていた画像とのわずかな違いを無視する識別を実現することが非常に重要である。

顔認識の処理は典型的には、人間の１又は複数の画像の捕捉を要し、画像の処理及びその後の保存されていた画像との比較を要する。保存されていた画像と捕捉された画像との間に肯定的な整合がある場合に、個人の識別が見つけ出され、或いは確認され得る。米国特許第６２９２５７５号明細書は係るシステムを説明し、該明細書は参照することにより本明細書に含まれるものとする。
米国特許第６２９２５７５号明細書

画像処理は標準化を含む。標準化は、捕捉された画像にある顔のサイズが保存されていた画像にあるものと比較的同一のサイズになることを保証する。この標準化は、捕捉された画像では現れるが保存されていた画像には見つからない（又はその逆の場合もある。）差異を制御する試みである。これらの差異は、２つの顔が比較されるが実際には同一人物が両画像に現れている場合に、誤った否定的な識別の結果を生じさせる。

多くのシステムもまた、捕捉された画像の照明を制御し、保存されていた画像の照明と類似するようになることを保証するようにする。個人が適切に位置付けられるとすぐ、カメラは単一の又は複数の個人写真を撮影し、保存されていた写真との比較が行われる。これらのシステムの問題は、セキュリティ適用のような多くの適用において、捕捉された画像の照明が保存されていた画像に使用されていた照明と時々異なることにある。捕捉された画像の照明と保存されていた画像の照明とが異なる場合には、誤った否定的な識別結果が生じる機会がある。同一の照明を得ることが必ずしも可能とは限らないので、システムは異なる照明を考慮に入れる必要がある。

結果として、本発明の目的は、照明の変化で生じる誤差に左右されない顔識別／確認を実行するシステムを提供することである。

この目的は、顔の中にあるピクセルの無作為のサンプルを採取し、保存されていた画像の同じ無作為のサンプルと比較を行うことで実現される。比較は、ほとんどすべての顔認識方法を使用して実行される。ＲＡＮＳＡＣアルゴリズムは堅牢な整合を行うために使用される。ＲＡＮＳＡＣアルゴリズムは、誤った否定的な結果を生じさせる顔の影領域の存在可能性の除去に役立つ。

本発明の１実施例では、単に無作為のサンプルを採取する代わりに、加重サンプリングが使用される。加重サンプリングでは、照明の影響をあまり受けない顔の領域が加重される。判断は、顔のどの領域が照明の影響をより受け易いかによりなされる。その後サンプリングは、照明の変化の可能性がより低い領域において加重される。これら加重サンプルはその後、類似点を判断する顔認識を使用して保存されていた画像の類似のピクセルと比較される。

他の目的および利点は明細書および特許請求の範囲に照らして明らかとなる。

本発明のより良い理解のために添付図面が参照される。

典型的な顔認識プログラムでは、捕捉された画像のピクセルが顔認識方法を使用して、保存されていた画像のピクセルと比較される。特定比率のピクセルが保存されていた画像の同じピクセルと整合する場合には、当該画像は整合し、確認又は識別が生じたものとみなされる。画像間の類似点を判断する周知の顔認識方法が多く存在する。本出願において使用する用語“整合”は、見込みのある整合、正確な整合、所定の閾値以上の十分なピクセルが整合し識別があり得るとされる整合を意味し、さらに、これらサンプルで顔認識実行後に見られる類似指標が所定の閾値以上の可能性があるような整合をも意味する。問題は、捕捉された画像の顔の部分が照明源による影を有し、かつ、データベースに保存されていたこの人物の画像が影を有さず、２つの画像のピクセルが比較される場合には、影の中にあるそれらのピクセルが保存されていた画像の対応するピクセルに整合しないことが起こり得るという点にある。これは、異なる人物の画像による顔であるためよりもむしろ、同条件でない照明により非整合ピクセルの占める割合が大きいことによる。適切な識別とみなされるために所定比率のピクセルが整合しなければならない場合に、非整合ピクセルの比率が大きいと誤った否定的な整合を生じさせる。

顔認識は、顔全体よりもむしろ顔の部分で実行され得るということが見出されている。本発明は、顔の中の無作為のピクセルサンプルを選択するが、これら無作為のサンプルは、“外れ値”すなわち大多数のデータ点の外にあるデータ点を無視するアルゴリズムの一部として選択される。ＲＡＮＳＡＣアルゴリズムは、選択されたサンプルからの“外れ値”が不正確な整合を生じさせることを回避する堅牢な評価アルゴリズムであり、本発明の好適な実施例において使用される。最小メジアン平方法（ＬｍｅｄＳ）のような他のこのようなアルゴリズムもまた使用され得る。ＲＡＮＳＡＣアルゴリズムは、より詳細が以下に説明されるが、無作為にピクセルを選択し、かつ、本発明では影領域にあたる“外れ値”を検出する。

本発明の好適な実施例では、捕捉された画像が、顔認識アルゴリズムを使用して保存されていた画像と比較され、整合が見つからなければ、捕捉された画像は無作為にサンプルされ、ピクセルＴ_ｊの無作為のサンプルが顔認識アルゴリズムを使用して、保存されていた画像の同じ無作為のサンプルと比較される。選択された無作為のサンプルの数は、演算能力及び特定用途で必要とされる精度により決定される。好適な実施例では、１００から１０００又はそれ以上の間のサンプルセットが選択される。顔認識はすべてのサンプルで実行される。最適な結果を提供するサンプル（すなわち保存されていた画像の同じサンプルに最も近く整合するサンプル）が選択され、サンプル比較の結果が閾値と比較される。捕捉された画像のサンプルが保存されていた画像の同じサンプルと整合する場合には、当該保存されていた画像が、捕捉された画像と同一人物を示しているとみなされる。この整合を与える当該保存されていた画像は、捕捉された画像と同じ顔である可能性が高い。サンプルの１つは比較的外れ値がないものであると思われるからである。これは誤った否定的な結果になることがほとんどない。無作為のサンプルが、照明の影響を受けた顔の部分をあまり含んでいないと思われるからである。

図２は、本発明の好適な方法のフローチャートを示す。（１０）において、画像が取得される。（１２）において、Ｉ＝１がＩ＝Ｘとなるまで、無作為のサンプルサブセットが創出される（２０）。Ｉはインクリメントであり、Ｘは演算能力及び必要とされる精度により決定される。ＲＡＮＳＡＣアルゴリズムが当該サブセット及びサブセット数の選択に使用される。ＲＡＮＳＡＣはＲａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ランダムサンプルコンセンサス）の略語であり、ここでは線評価の観点で説明される。画像のような他のケースにおいても同様に有効である。点の無作為のサンプルが図１ａで示すように存在し、線Ａはこれらの点を通り抜けるようにしなければならない場合を仮定する。外れ値が存在する場合には（図１ａには、２つの外れ値Ｏ_１、Ｏ_２が北西象限に存在する。）、線Ａは本来の位置から有意にシフトされる。図１ｂはこの点の同じ無作為サンプルを示すが、線ＡはＲＡＮＳＡＣアルゴリズムを使用して適合されている。Ｏ_１及びＯ_２を誤りのあるデータ点であると仮定するならば、図１ｂにおいて線Ａは図１ａより良い線評価となる。ＲＡＮＳＡＣは、以下の方法によりもたらされる。
１．線を評価するために必要な最小数の点（２つ）を無作為に採取する。
２．これらの点を通るように線を適合させる。
３．線に近い集合の点の数をカウントする（所定の基準、すなわち3ピクセルより近いすべての点が該当し、モデルをサポートするとの基準に従うものとする。）。Ｎ_ｊで表される数は、線近くの点の集中を量的に表す。
４．選択された少なくとも２つの点が点集合の有効な表現であることを所定の確率（一般的には９５乃至９９％）で保証するまで、ステップ１乃至３を十分な回数繰り返す。
５．すべてのＮ_ｊで最も有効なもの、及び、このＮ_ｊを生成する線を見つけ出す。この線をサポートするすべてのＮ_ｊの点を使用し、普通の最小二乗法を用いた最適な線を評価する。
画像中のピクセルの一般的な無作為サンプリングを実行するために、画像をベクトルとして表示する。すなわち各ピクセルは表１に示されるように固有の数字が割り当てられる。

表１で与えられる例では、サンプル数１００の無作為のピクセルを創出するために、１から４６１６の間の乱数のサンプルを創出し、その後単に、１００の乱数に対応するピクセルを選択する。図３ａは、画像のサイズが６４×７２で、サンプルサイズが１０００である無作為のサンプルの画像を示す。図３ｂは、現実の画像のサイズが１３３×１００で、画像の４０％を無作為にサンプルした、無作為のピクセルサンプルを示す。大多数のアルゴリズムは、如何なるプログラム言語（Ｃ／Ｃ＋＋、Ｆｏｒｔｒａｎ）又は如何なるプログラムパッケージ（ＭＡＴＬＡＢ、Ｍａｔｈｅｍａｔｉｃａなど）でも利用可能な乱数表を創出する。

本発明の好適な実施例では、後述のような顔認識を実行すべく適用されるＲＡＮＳＡＣ方法の無作為サンプリングが使用される。
１．所定数のピクセルを顔のテスト画像（Ｔ_ｊ）から無作為に採取する。
２．Ｔ_ｊとデータベースにある顔の対応するピクセルとを（位置関係において）比較し、類似度ｓ_ｊを計算する（ｓ_ｊは元のＲＡＮＳＡＣアルゴリズムのＮ_ｊに対応することに留意する。）。
３．サンプル点のすべてが照明条件の変動による有意な影響を受けていないことを所定の確率（一般的には９５乃至９９％）で保証するまで、ステップ１乃至２を十分な回数繰り返す。Ｘは実験的に、或いは後述のように計算され得る。

問題になっている顔の画像が１０００ピクセルから生成され、そのうちの５０が照明条件の変動の影響を受けていると仮定する。さらに、顔の１００ピクセルだけが顔認識を実行するために選択され得ると仮定する。１００ピクセルのすべてが照明条件の変動の影響を受けていない９５０ピクセルからのものである場合には、有効な認識結果となるであろう。選択された１００ピクセルのすべてが照明条件の変動の影響を受けている場合の確率は次式により与えられる。

少なくとも１つのサンプルが９９％の確率で外れ値のないことを保証する必要がある場合には、選択される必要のあるサンプル数Ｘは次式により取得できる。

４．類似度はこれよりｓ＝ｍａｘ（ｓ_ｊ）として取得される。
５．ｓがある所定の閾値より高い場合には整合が存在するとし、そうでなければ整合が存在しないものとする。

上記で説明したように、領域セットが無作為に選択される。十分に大きなＸならば、少なくとも１つの領域は、データベースにある領域の対応するセットに良く整合する一貫した照明条件を有する可能性がある。高い類似性がある場合には、捕捉された画像と保存されていた画像との間に高い類似性のある整合が存在する。

図２に戻って参照すると、（１０）で画像が取得された後、Ｘ＝１がＸ＝１０００になるまで無作為のサンプルのサブセットが選択される（２０）。それぞれのサンプルに対し、ＲＡＮＳＡＣ又は他の外れ値検出アルゴリズムを使用して、保存されていた画像の同じ無作為サンプルと捕捉された画像のサンプルとを（３０）において比較することにより当該サンプル上で顔認識が実行される。２つのサンプルの間に高い類似性が存在する場合には（３２）、顔の間に整合が存在するものとみなされる（３３）。最も高い整合の数を有するサブセットを記憶し、当該数が画像間に整合が存在すると宣言するに足りるほど十分高いものであるか否かを判断する。そうでなければ整合は存在しないものとされる（３４）。第１の実施例では、顔認識は整合が見つかるまで、或いは、Ｘに到達するまで実行される。第２の実施例では、すべてのサンプルが比較され、整合が存在するか否かを判断すべく、最も高い類似度を有するサンプルが閾値と比較される。
（照明不変条件での認識のための加重サンプリング）
均一のサンプリングではすべてのピクセルが同一の確率で選択されるが、加重サンプリングでは、いくつかのピクセルは他のピクセルよりも選択される可能性が高い。加重サンプリングはまた文字通り広範囲にわたって研究されており、加重サンプリングと均一サンプリングとの間の違いを後述の例を通して説明する。

１乃至５のうち１つの数字が選択される必要があり（配列Ｘ）、サンプリングは均一ではなく表２に示すように加重されるものと仮定する。

表２で説明される加重を使用した加重サンプリングを実行する方法の１つは、補助配列Ｙ＝｛１、２、２、３、３、３、４、４、５、５｝を形成することである。

この配列は１０個の要素を有し、均一サンプリングが配列Ｙに対し実行される場合には、それはＸの加重サンプリングと同等である。この例では、２が１の２倍の確率で発生し、３が３０％の確率で最も発生しやすい。

照明不変条件での顔認識のための加重サンプリングは単に、顔認識におけるＲＡＮＳＡＣアルゴリズムの使用を拡張したものである。前述のケースでは、サンプリングは均一に実行され、すなわちセットＴ_ｊのそれぞれのピクセルは、１／（顔のピクセルの数）の同じ確率で選択される。加重サンプリングでは、以下の基準に基づいていくつかのピクセルは他のピクセルよりもより多く選択される可能性がある。

１００の異なる照度で撮影された顔写真があると仮定する。元の顔画像（すなわち均一の照度を有するもの。）のそれぞれのピクセルＰ_ｊと、異なる照度の下で取得された画像の同じピクセルとを比較し、それらの間の差が何回所定の閾値を下回ったかをカウントする。その数をｎ_ｊで示し、以下に合計を示す。

より高いｎ_ｊのピクセル群は、それらが照明変動の影響をあまり受けないのでより有用であり、そのためこれらのピクセルは、それらが比較対象の一部である場合には、より高い精度に帰着する。言い換えると、これらのピクセルを使用することで、照明条件不変での対照をより見つけ易くなる。従って、本発明の加重サンプリングの実施例では、これらの“照明条件不変ピクセル”がより頻繁にＴ_ｊの一部として選択される。加重サンプルで選択されるピクセルの確率は均一でなく、以下の公式で与えられる。

当該アルゴリズムはこれより、前述のＲＡＮＳＡＣによる照明条件不変での認識と同じ方法で進行する。

もう１つの方法として、サンプリングのための加重を計算するためにコンピュータグラフィックが使用されてもよい。頭の３次元モデルが異なる方向に置かれる光源と共に創出される。多くのコンピュータグラフィックパッケージソフトウェアはその後、３次元画像を２次元に戻すことが可能であり、当該２次元画像は該２次元画像上に異なる効果を創出する異なる光源を伴う。その後、顔のどの領域が異なる光源で変化する可能性がより高いかを判断することができる。顔の部分で変化の可能性の低い部分はその後、より高い加重を受けることができ、或いは、変化の可能性が高いピクセルよりも選択される可能性がより高くなり得る。このタイプの光線追跡を実行するプログラムの例には、ＰＯＶ−Ｒａｙ又はＯｐｅｎＧＬがある。

図４は、加重サンプリングが使用されるこの発明に係る方法のフローチャートを示す。このケースでは、画像が（１０）で取得される。光の影響を最も受ける画像部分が（１５）で判断される。その後ピクセルは、照明条件不変ピクセルを支持して（３５）で加重される。（１２）において、Ｉ＝１がＩ＝Ｘになるまでの間、加重サンプルのサブセットが（４５）で選択される。（５５）において、加重サブセットが、顔認識と同じ方法を使用して、保存されていた画像の同じ加重サンプルと比較される。その後、最良の結果を有するサブセットに基づいて整合の可能性が判断される。

図５は、本発明に従ったセキュリティアプリケーションを示す。部屋に歩きながら入ってくる人物７２の画像が頭上の光源７１を伴い画像化デバイス７０により捕捉される。本発明に従って、当該画像はコンピュータ７３に保存されていた画像と比較される。

本発明の好適な実施例とされるものが示され、或いは説明されたが、当然のことながら形式上の或いは細部にわたった様々な改良及び変更が、本発明の精神から逸脱することなく容易になされ得る。それゆえ本発明は、説明又は図解のされた形態そのものに限定されることはなく、添付の特許請求の範囲内に属するすべての改良に及ぶべく構成されることを目的とする。

外れ値の存在する点集合を経た線の選択を示す図である。 ＲＡＮＳＡＣアルゴリズムを使用して外れ値の存在する点集合を経た線の選択を示す図である。 ＲＡＮＳＡＣアルゴリズムを使用して堅牢な顔認識を実行する好適な実施例のフローチャートを示す図である。 画像サイズが６４×７２で、無作為ピクセルのサンプルサイズが１０００である画像を示す図である。 実際の画像サイズが１３３×１００で、無作為サンプルが画像の４０％である無作為ピクセルのサンプルを示す図である。 本発明の典型的な実施例で加重サンプリングがどのように使用されるかを表すフローチャートを示す図である。 本発明の好適な実施例に従ったセキュリティシステムを示す図である。

Claims (20)

1. 整合性を検出すべく捕捉された画像と保存されていた画像との比較を行う比較方法であって：
   捕捉された画像を取り出す取り出しステップ；
   初期の類似指標を設定する設定ステップ；
   Ｉ＝１からＩ＝Ｘの間、前記捕捉された画像のピクセルの無作為のサンプルを採取する採取ステップ；
   前記捕捉された画像のピクセルの無作為のサンプルと前記保存されていた画像のピクセルの対応する無作為のサンプルとの間で顔認識を実行する実行ステップ；
   前記捕捉された画像の前記無作為のサンプルのための新しい類似指標を計算し、新しい類似指標がより高い場合に、前記類似指標を置き換える計算置換ステップ；
   Ｉをインクリメントするインクリメントステップ；及び、
   前記類似指標が所定の閾値より高いか否かを整合性のために判断する判断ステップ；
   を有することを特徴とする比較方法。
2. 前記画像をサンプリングし、前記比較の結果に影響を与えないよう外れ値を実質的に取り除くことで顔認識を実行する堅牢なアルゴリズムが使用されることを特徴とする請求項１に記載の比較方法。
3. 前記アルゴリズムがＲＡＮＳＡＣアルゴリズムであることを特徴とする請求項２に記載の比較方法。
4. 前記アルゴリズムが最小メジアン平方アルゴリズムであることを特徴とする請求項２に記載の比較方法。
5. 照明に影響される可能性の低いピクセルが加重される加重サンプルが使用されることを特徴とする請求項１に記載の比較方法。
6. 前記インクリメントステップの前に前記判断ステップが発生し、整合性がある場合には追加的に無作為のサンプルが採取される必要がなく、かつ、比較される必要もないことを特徴とする請求項１に記載の比較方法。
7. Ｘの値が好適な精度に基づくことを特徴とする請求項１に記載の比較方法。
8. Ｘの値がコンピュータ要件に基づくことを特徴とする請求項１に記載の比較方法。
9. 整合性を検出すべく捕捉された画像と保存されていた画像との比較を行う比較デバイスであって：
   捕捉された画像を受けるデバイス；を有し、
   プロセッサであって、
   初期の類似指標を創出し；
   Ｉ＝１からＩ＝Ｘの間、前記捕捉された画像のピクセルを無作為にサンプルし；
   前記捕捉された画像のピクセルの無作為のサンプルと前記保存されていた画像のピクセルの対応する無作為のサンプルとの間で顔認識を実行し；
   新しい類似指標を計算し、新しい類似指標がより高い場合に、前記類似指標を前記新しい類似指標で置き換えし；
   Ｉをインクリメントし；かつ、
   前記類似指標が閾値より高いか否かを整合性のために判断する；
   機能を果たすプロセッサ：
   を有することを特徴とする比較デバイス。
10. 前記プロセッサが、実質的に外れ値が不正確な結果を生じさせる可能性を低下させるアルゴリズムを使用して画像比較を実行することを特徴とする請求項９に記載の比較デバイス。
11. 前記アルゴリズムがＲＡＮＳＡＣアルゴリズムであることを特徴とする請求項１０に記載の比較デバイス。
12. 前記アルゴリズムが最小メジアン平方アルゴリズムであることを特徴とする請求項１０に記載の比較デバイス。
13. 照明に影響される可能性の低いピクセルが加重される加重無作為サンプルが使用されることを特徴とする請求項９に記載の比較デバイス。
14. 前記インクリメントステップの前に前記判断ステップが発生し、整合性がある場合には追加的に無作為のサンプルが採取される必要がないことを特徴とする請求項９に記載の比較デバイス。
15. Ｘの値が演算能力に基づくことを特徴とする請求項９に記載の比較デバイス。
16. Ｘの値が好適な精度に基づくことを特徴とする請求項９に記載の比較デバイス。
17. 画像比較デバイスであって、
    捕捉された画像からのピクセルの複数の無作為サンプルを選択する無作為サンプル器；
    前記無作為サンプルと保存されていた画像にある対応する無作為サンプルとの顔認識で、前記無作為サンプルの影領域が外れ値として扱われ、かつ、実質的に前記顔認識の結果に影響しないように前記顔認識を実行する比較器；
    類似指標を計算し、かつ、前記捕捉された画像と前記保存されていた画像との間に整合性が存在するか否かを判断するプロセッサ；
    を有することを特徴とする画像比較デバイス。
18. 複数の無作為サンプルが選択され、かつ、比較され、
    最も高い類似指標を有する無作為サンプルが前記捕捉された画像と前記保存されていた画像との間に整合性が存在するか否かを判断すべく使用される
    ことを特徴とする請求項１７に記載の画像比較デバイス。
19. 画像比較方法であって、
    堅牢なサンプリングアルゴリズムを使用して、捕捉された画像から無作為サンプルのピクセルを選択する選択ステップ；
    実質的に画像の影領域を無視するこのアルゴリズムを使用して、前記無作為サンプルと、保存されていた画像の同じ無作為サンプルとで顔認識を実行する顔認識実行ステップ；
    このアルゴリズムを使用して類似指標を計算し、前記捕捉された画像と前記保存されていた画像との間に整合性が存在するか否かを判断する計算判断ステップ；
    を有することを特徴とする画像比較方法。
20. 前記選択ステップが複数の無作為サンプルを選択し、
    前記顔認識実行ステップが、前記複数の無作為サンプルと前記保存されていた画像の同じ無作為サンプルとを比較し、かつ、類似指標を計算し、
    最も高い類似指標が前記捕捉された画像と前記保存されていた画像との間に整合性が存在するか否かを判断すべく使用される
    ことを特徴とする請求項１９に記載の画像比較方法。

Images