JP2005528704A - 半顔画像を用いた顔認識 - Google Patents

Abstract

顔認識アルゴリズムにおいて、左及び右の半顔画像は独立の成分として処理される。全顔画像認識システムとの互換性を与えるため、半顔画像の鏡像は、左及び右の半顔画像の夫々に対応する全顔画像を作成するのに用いられる。作成された各全顔画像は、従来の顔認識アルゴリズムを用いて参照全顔画像と比較される。左に基づく画像及び右に基づく画像の夫々を比較することにより、システムは方向性又は非均一な照明によって生ずる認識問題を克服する。或いは、合成全顔画像は、左及び右の半顔画像の夫々の特性を混ぜ、それにより照明の変化をフィルタリングすることによって作成されうる。

Description

本発明は、コンピュータビジョンの分野に関連し、特に顔特徴に基づく認識システムに関連する。

顔認識は、セキュリティ目的でよく利用されている。手動セキュリティシステムでは、保護された領域又は保護された素材へのアクセスを制御するために顔写真を含むセキュリティバッジが用いられる。自動化されたシステム及び半自動化されたシステムでは、例えばビデオカメラから得られた人物の現在の画像を記憶された画像とマッチングするために、顔認識ソフトウエアが使用される。従来のシステムでは、ユーザが自分の身元を特定し、顔認識ソフトウエアは、身元が特定されている人物の１つ又はそれ以上の記憶された画像とビデオ画像を比較する。

顔認識はまた、様々な他の用途にも使用される。ここに参照として組み込まれる特許文献１（発明の名称”DEVICE CONTROL VIA IMAGE-BASED RECOGNITION”、２０００年１０月１０日出願、発明者ミロスラフ・トライコヴィッチ（Miroslav Trajkovic）、ヨン・ヤン（Yong Yan）、アントニオ・コルメナレス（Antonio Colmenarez）、スリニヴァス・ギュッタ（Srinivas Gutta））は、ユーザの顔認識、及び認識されたユーザに関連する嗜好に基づく消費者機器の自動化された制御について開示する。

ここに参照として組み入れられる特許文献２（発明の名称"MULTIMEDIA INFORMATION SERVICE ACCESS"、１９９９年９月２１日発行、発明者アグラハラム（Agraharam）外）は、ユーザが情報サービスへのアクセスを要求し、システムがユーザのビデオスナップショットを撮影し、スナップショットが認可されたユーザに対応する場合にのみ情報サービスへのアクセス権を付与するセキュリティ技術を表わす。ここに参照として組み入れられる特許文献３（発明の名称"FACE DETECTION USING TEMPLATES"、１９９８年１１月１０日発行、発明者ロボ（Lobo）外）は、ディジタル画像中で人間の顔を自動的に見つけ、顔特徴を調べることにより顔の存在を確認する２ステップ処理を示している。特許文献３のシステムは、カメラの視野内の１つ又はそれ以上の顔を見つけるのに非常によく適しているが、視野は典型的な顔のスナップショットに対応しないことがある。
米国特許出願第０９／６５８，６８３号明細書 米国特許第５，９５６，４８２号明細書 米国特許第５，８３５，６１６号明細書

顔認識アルゴリズムの共通の問題点は、変化する照明レベルである。人が１つの領域から他の領域へ動くにつれ、人の顔は一般的には異なる方向から照明される。現在の顔画像の照明レベル及び方向が人を識別するのに用いられる参照顔画像の照明レベル及び方向とは異なるため、システムが人を認識する能力は低くなる。暗い画像中で色を区別する能力はかなり減少するため、例えば、影のある頬は、誤って髭として解釈されうる。このように、強い照明は、陰影により、通常ははっきり見える特徴及び細部を減らしうる。

本発明は、顔認識アルゴリズムの有効性を改善させることを目的とする。本発明は、照明レベル及び方向の変化によって生ずる画像中の変化を減少させることを更なる目的とする。

これらの及び他の目的は、顔認識アルゴリズムにおいて左顔画像及び右顔画像を独立の成分として処理することによって達成される。全顔画像認識システムとの互換性を与えるよう、全顔画像を作成するために、左半顔画像及び右半顔画像の夫々に対応する半顔画像の鏡像が用いられる。作成された各全顔画像は、従来の顔認識アルゴリズムを用いて参照全顔画像と比較される。左に基づく画像と右に基づく画像を夫々比較することにより、システムは、方向性又は不均一な照明によって生ずる認識問題を克服する。或いは、左半顔画像及び右半顔画像の夫々の特徴を混ぜ、照明の変化をフィルタリングすることに基づいて、合成全顔画像が作成されうる。

本発明について、例として添付の図面を参照して、詳述する。全ての図面を通じて、同じ参照番号は、同様の又は対応する特徴又は機能を示す。

本発明は、人の顔は、異常な状態以外は、左右対称であるという観察を仮定する。従って、全顔画像は冗長な情報を含む。言い替えれば、全顔画像を作成するために半顔画像が使用されえ、又は、対称的な冗長な情報を混ぜることに基づいて合成全顔画像を作成するために全顔画像の２つの半分が使用されうる。同時継続中の米国特許出願第０９／９６６４３６号明細書（発明の名称"System and Method of Face Recognition through 1/2 Faces"、２００１年９月２８日出願、発明者スリニヴァス・ギュッタ（Srinivas Gutta）、ミロスラフ・トライコヴィッチ（Miroslav Trajkovic）、ヴァサンス・フィロミン（Vasanth Philomin））は、半顔画像又は全顔画像について学習するよう訓練されうる画像分類器を開示し、ここに参照として組み入れられる。

図１は、本発明による顔認識システム１００の例としてのブロック図を示す。顔検出器１１０は、従来技術で周知の方法を用いて、画像内の顔を認識する。一般的には、例えば、目に対応するより暗い領域を伴う肌の色の局所的な領域を見つけることによって顔が認識される。ステップ１２０において、各位置が見つけられた顔は、２つの半顔を与えるよう処理される。

望ましい実施例では、画像中の顔は、実質的に「全顔」である顔画像を形成するよう「歪まされ（warped）」（平行移動され、回転され、投影され）、この全顔画像は、左半顔画像及び右半顔画像を形成するよう半分に分割される。画像中に両目が見えていると想定すると、全顔画像は、画像の目頭の間に線を描き、この線が水平であり、且つ、画像平面に平行な平面上にあるよう画像を平行移動及び回転させることにより、生成される。その後、この平面を目頭の間の線の中点で二分することにより左半顔画像及び右半顔画像が生成される。顔画像を２つの半顔画像へ分ける他の技術は、当業者によって明らかとなろう。同様に、例えば顔画像が横顔であるときに、単一の半顔画像を抽出する技術もまた当業者によって明らかとなろう。

顔構成器１３０は、顔分割器１２０によって与えられる半顔画像に基づき１つ又はそれ以上の全顔画像を作成する。望ましい実施例では、以下更に説明するように、各半顔画像は、半顔画像をその鏡像と組み合わせることにより全顔画像を作成するのに用いられる。異常な状態を除き、２つの対向する半顔画像の間の差は、一般的には顔画像の各側への異なる照明を示す。照明は殆どの環境において方向性があるため、半顔画像が相違する場合、これは通常は、顔の片側が正しく照明され、他方の半分は正しく照明されていないためである。従って、２つの作成された全顔画像は、従来の顔比較器１４０を介して参照画像と比較されうる１つの正しく照明された全顔画像を含む可能性が高い。いずれの半顔画像も正しく照明されていない場合であっても、作成された全顔画像は、作成により対称的に照明されるため、対称的に照明された参照画像と一致する可能性が高い。

２つの作成された全顔画像のうちのどちらが正しく照明されているかを選択し、より正しく照明された画像を参照画像と比較するために技術が使用されうる。しかしながら、２つの作成された画像を互いに比較するのに必要な処理時間は作成された画像を参照画像と夫々比較するのに必要な処理時間と匹敵するため、望ましい実施例では、作成された両方の全顔画像を参照画像と比較するよりはむしろ選択過程がなくされる。

抽出された半顔画像から全顔画像を作成するのに他の技術が使用されうる。例えば、他の望ましい実施例では、上述の２つの作成された全顔画像は、他の全顔画像を形成するようマージされる。マージ処理は、各画像中の画素値の単純な平均に基づくものであってもよく、又は従来の画像処理システムにおける「モーフィング」画像に用いられるようなより洗練された技術に基づくものであってもよい。

顔比較器１４０は、本発明の背景技術の欄で参照した特許文献に示されるような従来の顔比較技術を使用する。本発明は、従来の顔比較システムに対する独立の「アド・オン（add-on）」処理に非常によく適している。ブロック１１０乃至１３０は、単に顔比較器１４０への元の画像及び作成された画像を、参照顔画像との比較のための別個の画像として表わす。

図２は、本発明による顔認識システムの例示的なフローチャートを示す図である。ステップ２１０において、シーン画像が受信され、ステップ２２０においてそこから１つ又はそれ以上の顔が抽出される。図示しないが、抽出された顔画像は、特徴をハイライトするために、ノイズを低減するために等により、従来技術で一般的に用いられる技術を用いて、複数画像シーンに基づいて処理又は構成されうる。顔画像は、ループ２３０乃至２８０において他の顔を与えるよう処理され、ステップ２７０において、これらの他の顔は１つ又はそれ以上の参照顔と夫々比較される。

ステップ２４０において、各全顔画像は、左顔画像及び右顔画像を抽出するよう処理される。ステップ２２０の顔抽出処理が全顔画像を与えない場合、処理２４０は、上述のように全顔画像を与えるために必要な直線移動及び回転処理を行う。左顔及び右顔の両方が実質的に等しい場合、これらの等しい半分に基づいて作成された新しい顔は、一般的には元の全顔画像に等しい。等しい新しい顔の不必要な作成を回避するため、ステップ２５０において２つの半顔画像が実質的に等しいと判定されたときは、顔構成ブロック２６０は迂回される。様々な技術のうちのいかなるものも、半顔画像間の等しさを判定するのに使用されうる。望ましい実施例では、各１／２画像間の差の大きさを決定するために、自乗和の差の尺度が用いられる。

図３中、例としての顔構成処理２６０を詳細に示す。各半顔画像は、ループ３１０乃至３４０を介して処理される。ステップ３２０において、半顔画像の鏡像が作成され、ステップ３３０において、全顔画像を生成するよう、この鏡像は半顔画像と組み合わされる。図２の抽出処理２４０が、顔画像が横顔である場合のように、１つの半顔画像を生じさせるだけである場合、処理２６０は、この鏡像・組合せ処理３２０乃至３３０を介して、参照画像との比較のために少なくとも１つの全顔画像を与える。図２の抽出処理２４０が、両方の半顔画像を与えるとき、２つの全顔画像が生成される。任意に、上述したように、ステップ３５０において、各半顔画像の選択特徴をマージさせることに基づいて他の全顔画像が生成されうる。

図２に戻ると、各作成された画像、及び、任意に元の画像は、ステップ２７０において、潜在的な一致を確認するために１つ又はそれ以上の参照画像と比較される。各作成された画像は、事実上、異なる照明での同じ顔を表わすため、本発明の処理は、照明レベル及び／又は方向が均一でなく又は一貫していない場合でも、正しく顔を認識する可能性を高める。

上述のことは、単に本発明の原理を示す。当業者は、様々な配置を考案することが可能であり、本願に明示的に説明又は図示していないが、本発明の原理を具現化するものであり、従って本発明の趣旨及び範囲内である。例えば、本発明は、参照全顔画像との比較のために様々な全顔を形成するよう半顔を処理する前後関係で与えられる。或いは、参照顔画像は半顔画像として記憶されえ、上述の処理及び比較は、上述の同時継続中の米国特許出願第０９／９６６４３６号明細書に開示される技術と一貫する半顔参照画像に関連するものでありうる。即ち、この他の実施例では、各半顔画像又はその鏡像は、半顔参照画像と直接比較される。更に、両方の半顔画像の特徴に基づく合成半顔は、半顔参照画像と比較されうる。上述の及び他のシステム構成及び最適化特徴については、当業者によれば本願の開示を読むことにより明らかとなり、添付の特許請求の範囲に含まれる。

本発明による顔認識システムの例としてのブロック図を示す図である。 本発明による顔認識システムの例としてのフローチャートを示す図である。 本発明による顔認識システムにおいて顔を構成するための例としてのフローチャートを示す図である。

Claims (19)

1. 顔画像から１つ又は２つの半顔画像を抽出する顔分割器と、
   前記顔分割器に動作上結合され、前記１つ又は２つの半顔画像のうちの少なくとも１つに基づいて、１つ又はそれ以上の比較画像を顔比較器へ与える顔構成器とを有する、
   顔認識システム。
2. 前記顔分割器に動作上結合され、シーン画像から前記顔画像を抽出する、請求項１記載の顔認識システム。
3. 前記１つ又はそれ以上の比較画像を１つ又はそれ以上の参照画像と比較する前記顔比較器を更に含む、請求項１記載の顔認識システム。
4. 前記１つ又はそれ以上の参照画像は半顔参照画像に対応し、
   前記顔比較器は、比較を行うために、前記１つ又はそれ以上の参照画像及び前記１つ又はそれ以上の比較画像のうちの少なくとも１つの鏡像を生成する、請求項３記載の顔認識システム。
5. 前記顔分割器は更に、前記顔画像を、前記顔分割器によって前記１つ又は２つの半顔画像を抽出するのに用いられる像平面に平行な全顔画像として与えるよう、入力顔画像を歪ませる、請求項１記載の顔認識システム。
6. 前記顔分割器は、前記入力顔画像中の目頭の間に描かれる線に基づいて前記入力された顔を歪ませる、請求項４記載の顔認識システム。
7. 前記顔構成器は、前記１つ又は２つの半画像の夫々の鏡像を前記１つ又はそれ以上の各半画像と組み合わせることにより前記１つ又はそれ以上の比較画像を作成する、請求項１記載の顔認識システム。
8. 前記顔構成器は、前記１つ又はそれ以上の半画像の夫々の特徴を組み合わせることにより前記１つ又はそれ以上の比較画像を作成する、請求項１記載の顔認識システム。
9. 顔認識システムにおいて使用される顔画像を前処理する方法であって、
   前記顔画像から少なくとも１つの半顔画像を抽出する段階と、
   前記少なくとも１つの半顔画像に基づいて、１つ又はそれ以上の比較画像を前記顔認識システムに与える段階とを有する方法。
10. 前記顔認識システムは全顔画像を比較し、
    前記１つ又はそれ以上の比較画像を与える段階は、
    前記少なくとも１つの半顔画像の鏡像を前記少なくとも１つの半顔画像と組み合わせることを含む、請求項９記載の方法。
11. 前記少なくとも１つの半顔画像は、左顔画像と右顔画像を含み、
    前記１つ又それ以上の比較画像を与える段階は、
    前記左顔画像と前記右顔画像の夫々の特徴をマージすることを含む、請求項９記載の方法。
12. 前記顔認識システムは半顔画像を比較する、請求項１１記載の方法。
13. 前記顔画像を与えるよう入力画像を平行移動させ回転させる段階を更に含む、請求項９記載の方法。
14. 前記入力画像を平行移動させ回転させる段階は、前記入力画像中の目頭の間に描かれる線に基づいて行われる、請求項１３記載の方法。
15. コンピュータ上で実行されたときに、前記コンピュータシステムに、
    顔画像から少なくとも１つの半顔画像を抽出させ、
    １つ又はそれ以上の参照画像との比較のために前記少なくとも１つの半顔画像に基づいて少なくとも１つの比較画像を与えさせる、コンピュータプログラム。
16. 前記コンピュータシステムに、更に、
    前記少なくとも１つの比較画像を前記１つ又はそれ以上の参照画像と比較させる、請求項１５記載のコンピュータプログラム。
17. 前記コンピュータシステムに、更に、
    前記顔画像を与えるよう入力画像を平行移動させ回転させる、請求項１５記載のコンピュータプログラム。
18. 前記コンピュータシステムに、更に、
    前記少なくとも１つの半顔画像の鏡像を作成し、
    前記少なくとも１つの比較画像を形成するよう前記少なくとも１つの半顔画像を前記鏡像と組み合わせることにより、
    少なくとも１つの比較画像を与えさせる、請求項１５記載のコンピュータプログラム。
19. 前記少なくとも１つの半顔画像は左顔画像及び右顔画像を含み、
    前記コンピュータプログラムは、更に、前記コンピュータシステムに、
    前記少なくとも１つの比較画像を形成するよう前記左顔画像及び前記右顔画像の夫々の特徴を組み合わせることにより、
    前記少なくとも１つの比較画像を与えさせる、請求項１５記載のコンピュータプログラム。

Images