JP2010504575A - 顔を認識するための方法と装置及び顔認識モジュール - Google Patents
顔を認識するための方法と装置及び顔認識モジュール Download PDFInfo
- Publication number
- JP2010504575A JP2010504575A JP2009528655A JP2009528655A JP2010504575A JP 2010504575 A JP2010504575 A JP 2010504575A JP 2009528655 A JP2009528655 A JP 2009528655A JP 2009528655 A JP2009528655 A JP 2009528655A JP 2010504575 A JP2010504575 A JP 2010504575A
- Authority
- JP
- Japan
- Prior art keywords
- face
- data set
- evaluation
- training
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000011156 evaluation Methods 0.000 claims abstract description 158
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000010606 normalization Methods 0.000 claims abstract description 44
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 80
- 238000013507 mapping Methods 0.000 claims description 16
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims 1
- 210000000887 face Anatomy 0.000 description 42
- 239000013598 vector Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000001125 extrusion Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本発明は、三次元検出ユニット(182)を用いて、顔(100;181)の三次元顔情報を顔情報データセットの形で検出し、検出した顔情報が位置情報を含む情報であり、検出した顔情報に対して位置の正規化と向きの正規化から成る正規化を実行し、検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔(100;181)を認識する、顔(100;181)を認識するための方法(1)に関する。位置情報が、輪郭座標点(168)を含む情報であり、評価領域(124〜127;170〜175)に関して、如何なる数の輪郭座標点(168)が個々の評価領域(124〜127;170〜175)内に存在するのかを表す出現率分布(176,177)を計算して、その算出した出現率から特徴データセットを導き出す。更に、本発明は、顔認装置(180)と顔認識モジュール(200)に関する。
Description
本発明は、顔を認識するための方法と装置及び顔の認識を可能とする顔認識モジュールに関する。
従来技術では、様々な方法が周知であるが、顔の認識が満足できる程にはできていない。基本的には、二次元データ、例えば、カメラで撮影した画像を用いて処理する方法と、顔の三次元データを評価する方法とに分けられる。二次元データを処理する方法では、これまで基本的な問題が十分に解決されていない。そのような問題には、様々な攪乱要因、例えば、顔の姿勢の変化と表情の変化が有り、顔の認識を困難にしている。姿勢とは、データ検出ユニットに対する相対的な頭部の姿勢の変化であると解釈する。例えば、頭部が垂直軸の周り(即ち、脊椎の軸の周り)に回転すると、そのような場合には、二次元の顔情報の一部が取り返しのきかない程失われてしまう。従って、高い認識の信頼度を達成するためには、三次元データを評価する方法が適している。
所謂三次元検出ユニットによって撮影したローデータが、三次元データを評価する方法に関する出発点となる。三次元検出ユニットは、顔の表面輪郭に関する位置情報を含む顔情報を検出する。今日では、一般的な三次元検出ユニットでは、フリンジ投影法を使用するか、或いは顔の立体撮影を用いている。アクティブな方法とも呼ばれるフリンジ投影法では、顔に縞模様を投影して、縞の歪を解析している。立体撮影を使用する方法と同様に、三角法を用いて、位置情報(即ち、顔の表面輪郭上の点の座標)を求めている。顔情報データセットは、様々な手法で表現することができる。三次元座標としてデータを保存することによって、顔を所謂三次元空間モデルとして表現するか、或いは各輪郭座標点、即ち、三次元検出ユニットを用いて座標を検出した顔の表面上の各点に関して、投影面からの奥行き情報をその面内の投影点と関連させて表現することができる。そのような場合、奥行き情報(投影面からの間隔情報)は、例えば、グレイスケール値として符号化することができる。投影面の方から顔を観察した場合に、検出面から遠く離れた所に有る表面構造を遮る表面輪郭が生じない場合には、両方の表現形式を互いに変換することが可能である。基本的に投影面としての役割を果たす検出面内で検出を行う三次元検出ユニットでは、そのような仮定は通常満たされている。
従来技術では、顔を認識するために用いられる様々な方法が周知である。一つの方法は、所謂固有顔を用いる。そのような固有顔は、例えば、非特許文献1に記載されている。認識対象として規定された顔の全体にもとづき、認識対象の顔の顔全体の特徴を示す固有顔の数を計算している。これらの固有顔は、顔データの下位空間のベースと見做される。個々の顔は、その固有ベクトルに関して分解され、その際算出された分解係数が、特徴データセットとして、例えば、特徴ベクトルの形で保存される。そのため、所謂トレーニングフェーズの間に、固有顔の検出と、それに続く特徴ベクトルの算出のために、認識対象の顔の集合の全ての画像を使用して、次に、それらの全ての画像をデータベースに保存している。認識対象の顔を解析する場合、そのために、先ずは対応する特徴ベクトルを算出して、次に認識対象として規定された既知の顔の集合から成る、データベースに保存されている顔の特徴ベクトルと比較している。顔は、所定の比較基準を満たした場合に、既知の顔の中の一つとして認識される。その場合、様々な比較方法、例えば、最尤法を使用することができる。
従来技術の別の方法は、所謂フィッシャーフェイスを使用している。その場合、認識対象として規定された顔の集合の各々の顔は、複数の顔情報データセットを必要としている。フィッシャーフェイスは、全ての既知の顔データセットにもとづき、異なる顔の係数が互いに大きく相違し、それに対して同じ顔の複数の顔情報データセットの係数が出来る限り最小限の相違しか持たないような形で検出される。
これら二つの既知の方法は、認識対象の顔の集合に更に別の顔を追加する場合、固有顔又はフィッシャーフェイスをそれぞれ新たに決定しなければならないという決定的な欠点を有する。そのために必要な計算負荷は、認識対象と規定された顔の数が増大する程大きく上昇する。更に、その場合、常に顔の完全な顔情報データセットを使用せざる得ず、そのため全ての顔情報データセットを保存して置かなければならない。
K. Chang et al. "Multi-Model 2D and 3D Biometrics for Face Recognition", Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG'03, Nizza, Frankreich, Oktober 2003, Seiten 187 bis 194)
以上のことから、本発明の技術的な課題は、信頼性の高い顔認識を可能とするが、計算負荷、特に、新しい顔を認識対象の顔の集合に追加する場合の計算負荷を周知の方法と比べて大幅に軽減する改善された方法、改善された装置及びコンピュータ上で実行可能な顔認識モジュールを実現することである。
この技術的な課題は、本発明にもとづき、請求項1の特徴を有する方法、請求項11の特徴を有する装置及び請求項21の特徴を有する顔認識モジュールによって解決される。本発明は、顔の輪郭座標点をそれぞれ三次元評価領域に集約することができるという知見をベースとする。個々の評価領域に関して、如何なる数の輪郭座標点が各評価領域内に存在するのかを表す出現率を取得する。そのようにして取得した評価領域に関する出現率分布は、顔に関して特徴的である。
従って、特に、
・三次元検出ユニットを用いて、顔の三次元顔情報を顔情報データセットの形で検出して、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにする工程と、
・顔情報によって表される顔の位置の正規化と向きの正規化を実行することによって、検出した顔情報を正規化する工程と、
・検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識するものとし、本発明では、位置情報が輪郭座標点を含む情報であり、評価領域に関して、個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表す出現率分布を計算して、算出した出現率から特徴データセットを導き出す工程と、
を有する顔認識方法を提案する。
・三次元検出ユニットを用いて、顔の三次元顔情報を顔情報データセットの形で検出して、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにする工程と、
・顔情報によって表される顔の位置の正規化と向きの正規化を実行することによって、検出した顔情報を正規化する工程と、
・検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識するものとし、本発明では、位置情報が輪郭座標点を含む情報であり、評価領域に関して、個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表す出現率分布を計算して、算出した出現率から特徴データセットを導き出す工程と、
を有する顔認識方法を提案する。
検出した顔情報の正規化は、異なる顔を互いに比較可能とするために必要である。その場合、位置の正規化が行われる。それは、全ての顔に有る特徴的な点、例えば、鼻先が、それぞれ所定の位置に有る、例えば、検出面の特異点から垂直に所定の間隔を有することを活用している。向きの正規化は、三次元空間における顔の向きが所定の向きと出来る限り良く一致することを活用している。そのために、顔の更に別の特徴的な点、例えば、鼻の根元又は眼の位置を検出するとともに、検出面上に垂直に投影した場合の鼻先と鼻の根元の接続線が三次元座標系の一つの座標軸と一致し、その座標軸が検出面内に有るような形で顔情報の補正を行うことができる。第三の特徴的な点は、正規化した顔情報によって表される顔の向きを所定の向きに統一するために用いられる。そのような正規化方法は、姿勢の影響を軽減するものであり、当業者に周知であるため、ここでは詳しく説明しない。ここで示した方法は、単に例として述べた。所定の位置において所定の向きと一致する顔、特に、検出面上の特異点から垂直に所定の間隔に有り、検出面に対して正面を向いた顔を表す顔情報が得られる限り、任意の正規化方法を使用することができる。
本発明による人間の顔を認識するための装置は、顔の三次元顔情報を顔情報データセットの形で検出して、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにする検出ユニットと、検出した顔情報を正規化し、その正規化が位置の正規化と向きの正規化を含むようにする正規化ユニットと、検出して正規化した顔情報から導き出された特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較して、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識する比較ユニットとを備えており、位置情報が輪郭座標点を含む情報であり、出現率分布が個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表すものとして、評価領域に関する出現率分布を計算し、算出した出現率から特徴データセットを導き出す評価ユニットが配備されている。今日、三次元検出ユニットでは、既に頻繁に正規化が行われている。従って、本発明によるコンピュータで実行可能な顔を認識するための顔認識モジュールは、検出した顔情報が顔の表面輪郭に関する位置情報を含むものとして、検出した顔の三次元顔情報を顔情報データセットの形で受信するためのインタフェースと、位置情報が輪郭座標点を含む情報であり、検出した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識する比較ユニットと、出現率分布が、個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表すものとして、評価領域に関する出現率分布を計算し、算出した出現率から特徴データセットを導き出す評価ユニットとを備えている。特徴データセットを既知の特徴データセットと比較するために、従来技術で周知の特徴データセットの類似度を計算するための任意の方法を使用することができる。特徴データセットは、有利には、特徴ベクトルとして表される。幾つかの方法だけを例示すると、類似度を求めるためには、例えば、所謂シティブロック法を使用するか、或いはユークリッド距離を求めることができる。
本発明の大きな利点は、認識対象の顔の集合に顔を追加するためには、一つの特徴データセットだけを計算すれば良いことである。データベースに保存されている全ての特徴データセット、ましてや顔情報データセット全体を引き合いに出す必要はない。それによって、どの顔に関しても、完全な顔情報を長期間保存する必要がないので、保存すべきデータ量が全体として明らかに低減されることとなる。更に、本方法は、所謂アウトライアーと呼ばれる測定エラーに対して非常に強い。二つの異なる座標値に関して隣接する輪郭座標点として見做される輪郭座標点を有する座標値から座標値が非常に大きくずれている検出した輪郭座標点が、そのような測定エラーと見做される。それは、輪郭座標点をグレイスケールで表した場合に、グレイスケール値が周囲の点のグレイスケール値から大きくずれている輪郭座標点がアウトライアーであることを意味する。
評価領域の特に有利な実施形態は、評価領域が、少なくとも一つの下位領域グループを有するものと規定し、一つのグループ内の下位領域は、下位領域の奥行きの範囲だけが互いに異なっている。この場合、下位領域は、評価領域と同じものとすることができる。奥行き情報は、それぞれ基準面としての役割を果たす検出面に対する情報である。同様に、検出面と平行な別の任意の基準面を使用することもできる。輪郭座標点を奥行きクラスで分類することは、各顔にとって特徴的であることが分かっている。例えば、グレイスケール表現で顔を表すと、グレイスケールの範囲が決定される。個々のグレイスケール値の範囲に関して、その範囲が顔の画像内に存在する数が計数される。個々のグレイスケールの範囲が現れる出現率は、各顔にとって特徴的である。従って、そのような顔を既知の顔と比較するためには、基本的に、その出現率だけを互いに比較すれば良いこととなる。
顔を認識するために互いに比較しなければならない個々の顔は、全て同じ空間的な広がりを持っていないので、本発明の有利な実施構成では、評価領域は、検出した輪郭座標点が存在する可能性の有る写像空間の一つの部分領域だけを含む評価空間内に有るものと規定する。そのような実施構成では、全体として、評価領域は、それらの全てが写像空間の一つの部分空間である評価空間内に有り、その部分空間が、顔の輪郭座標点を検出することが可能な全ての座標点の集合を包含するように決定される。
個々の評価領域に関して計算された出現率は、個々の評価領域が互いに素である場合に最も大きな差を持つこととなる。
それに対して、別の実施構成は、評価領域が互いに素でないものと規定することができる。それは、評価領域の奥行き情報の違いだけを表すグレイスケール表現に関して、個々のグレイスケール値が複数のグレイスケール範囲に割り当てることが可能であることを意味する。そのように規定することによって、一定の奥行き範囲内の全ての数の輪郭座標点をそこに含まれる奥行き範囲に対する比率に変換することが可能となる。そのため、一定の奥行き範囲内に有る顔の個々の特徴を特に明確に際立たせることができる。
本発明の有利な実施構成では、評価空間を最適に求めることができるように、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを検出し、その中に含まれる顔情報を正規化して、そのようなトレーニング用顔情報データセットにもとづき、各トレーニング用顔情報データセットのための評価空間内において、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点が存在するように評価空間を決定するものと規定する。それは、全てのトレーニング用顔情報データセットに関して、トレーニング用顔の輪郭を表す少なくとも所定の百分率の輪郭座標点が三次元評価空間内に存在するように評価空間を決定することを意味し、そのため残る割合(その百分率を上回る所定)の輪郭座標点は、「擾乱」として検出される別の物体を表す輪郭座標点として存在する。この場合、一方では、検出面に対して平行な面的な広がりを観察するとともに、他方では、検出面に対して相対的な顔情報の奥行きの広がりを観察している。そのような情報にもとづき、評価空間を決定する。そうすることによって、この実施構成では、少ないグループのトレーニング用顔にもとづき、評価空間を最適に決定することが可能となる。
本発明の有利な改善構成では、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域を求めるものと規定する。この実施構成は、個々の顔の最大限異なる特徴データセットを得るために、新たに少ない数のトレーニング用顔にもとづき、評価領域を最適に決定することができるという利点を有する。この場合、評価領域が評価空間全体を完全に満たす必要はない。むしろ、重要であると見做されない個々の空間範囲を評価の際に考慮しないようにすることができる。更に、評価領域は、一つのグループ内において、それぞれ奥行き範囲だけが互いに異なる下位領域の二つ以上のグループから構成することができる。
本発明の有利な実施構成では、前述した通りの方法にもとづき、少なくとも一つの既知の特徴データセットを計算して、データメモリに保存しておき、そうすることによって、比較工程を省略することができる、即ち、通常実行しないものと規定する。新たな顔を検出する一方で、比較を実行した場合、それによって、その顔が既に検出した顔と高い類似度を有するのか、或いはそれどころか顔の二重検出であるのか否かを決定しなければならなくなる。
有利な実施構成では、人間の顔の識別を可能とするために、少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータメモリのデータベースに保存するものと規定する。
この方法の非常に大きな利点は、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、それどころか認識対象の顔の集合と互いに素となるように選定することに有る。そうすることによって、既に前述した通り、計算負荷が、従来技術で周知の方法と比べて劇的に低減されることとなる。
本発明による装置及び本発明による顔認識モジュールの相応の特徴は、本発明による方法の相応の特徴と同じ利点を有する。
以下において、図面と関連した有利な実施例にもとづき本発明を詳しく説明する。
図1にもとづき、顔認識方法1の模式的なフローを説明する。本方法は、相異なる三つのモードで動作することができる。これらの三つのモードには、トレーニングモード、認識モード及び追加モードが含まれる。先ずは、ステップ2で、本方法をトレーニングモードで実行するか否かが問われる。実行する場合、三次元検出ユニットを用いて、トレーニング用顔の顔情報を検出する。これらの顔情報は、顔の輪郭に関する位置情報を含む情報である。顔情報は、トレーニング用顔情報データセットの形で検出される。場合によっては、別のステップ4で、トレーニング用顔に対する識別情報が登録される。次のステップ5で、検出した顔情報を正規化する。トレーニング用顔情報データセットは、空間座標の形で、即ち、三次元顔モデルを表す形で表現されるか、或いはグレイスケールが第三の座標軸に関する係数を表す、平面上に広がるグレイスケール表現の形で表すことができる。正規化は、三次元顔モデルでもグレイスケール表現でも行うことができる。
図2aでは、検出した顔101が模式的に図示されている。検出面は、図面の平面に対して平行な方向を向いている。検出した顔101の下には、右手座標系102が図示されている。x軸103とy軸104は、図面の平面内に有る。z軸は、図面の平面に対して垂直に延びており、×印5で表示されている。顔は、検出面に関してy軸の周りに回転するとともに、y軸に関して傾いている。
従来技術で周知の方法を用いて、顔の特異点を検出する。それは、例えば、鼻先106と鼻の根元107である。更に、そのようにして、眼108と口109を認識することができる。向きの正規化の第一ステップでは、検出した特異点を用いて、首の周りの回転を計算で補正する。図2bには、その結果が模式的に図示されている。首の周りの回転に関して正規化された形の検出した顔101’が、y軸に関して依然として適しているかを調べる。向きの正規化の第二ステップでは、鼻先106’と鼻の根元107’の接続線がy軸104に対して平行な方向を向くように、顔情報を変換する。その変換の結果は、図2cに図示されている。更に別の正規化ステップでは、顔の特徴的な点が所定の点と一致するように座標を適合させる。そのようにして、鼻先106が検出面上の特徴的な点に対して垂直に所定の間隔を持つようにすることができる。検出面は、基本的に、任意の基準面であるが、通常三次元検出ユニット内の面と一致する。
図2a〜2cにもとづき説明した通り、向きの正規化6と位置の正規化7による正規化5を実行した後、ステップ8において、更に別のトレーニング用顔を読み込むか否かを調べる。読み込む場合、その更に別のトレーニング用顔に対して、新たにステップ2〜7を実行する。それが、更に別のトレーニング用顔を読み込まないとなるまで実行される。それに続いて、ステップ9において、トレーニング用顔にもとづき、所謂評価空間を決定する。
図3aには、写像空間120が模式的に図示されている。この写像空間は、顔の輪郭座標点を検出することが可能な各空間点の全てを包含する空間である。それは、言わば三次元検出ユニットの検出範囲である。トレーニング用顔の検出した顔情報、即ち、トレーニング用顔情報データセットにもとづき、破線により図示した所謂評価空間121を計算する。評価空間は、その中に三次元検出ユニットを用いて検出した顔情報の顔領域がそれぞれ存在するように選定される。評価空間内には、例えば、顔に属さない別の身体部分又は物体を表す輪郭座標点は存在すべきでない。個々の顔をそれぞれ検出面に投影した場合、評価空間121の前方の面122は、顔の表面に含まれる画像点の積集合によって与えられる。矢印123で表された評価空間121の奥行きは、トレーニング用顔の中の一つの顔の輪郭上の空間点を表す輪郭座標点を発見するための全てのz座標値、即ち、検出面から見た奥行きの値の全てが出来る限り含まれるように選定される。
図3aに図示されている例では、評価空間は、立方体で選定されている。しかし、前方の面は、任意の形状とすることができる。全体として、評価空間は、前方の面を膨らませた立体とはならず、むしろ評価空間内において、トレーニング用顔情報データセットに関して、輪郭座標点を表さないか、或いはトレーニング用顔の中の一つの顔の輪郭上の点を表さない座標点が限定された一部しか生じない限り、任意の形状とすることができる。幾つかの実施構成では、このような評価空間を決定する方法を簡単化するとともに、非常に様々な平面的な広がりを有するトレーニング用顔において、実際に決定的な顔情報を包含する十分な大きさの評価空間を取得するために、評価空間内においては、トレーニング用顔の中の一つの顔の輪郭上の点を表さないようなトレーニング用顔情報データセットの輪郭座標点が存在してはならないという厳格な要件を課すものと規定する。そのような場合に、高い確率で顔情報を含むとともに、別の物体の情報を含まない評価空間が決定される。有利には、各トレーニング用顔情報データセットに関して、少なくとも所定の百分率の輪郭座標点が、評価空間内に含まれるとともに、各トレーニング用顔の輪郭に割り当てることが可能であることが必要である。
評価空間が決定されたら、更なるステップ10において、評価空間内の評価領域を求める。有利には、評価領域は、検出面に対する奥行きの広がりだけが互いに異なる下位領域の一つのグループを含むか、それどころか一つの下位領域グループと完全に等しい。
図3aに模式的に図示されている例では、評価空間121は、四つの評価領域124〜127に分割されており、それらの各々は、同じ大きさであるが、奥行きの範囲が異なっている。これらの評価領域は、例えば、写像空間120の境界面128と一致する検出面(さもなければ基準面)に対する、それらの奥行きの範囲だけが異なる下位領域のグループとして構成される。図2cに図示されている顔は、それぞれx軸103、y軸104及びz軸129を有する座標系102に関して方向付けられている。
図3bと3cには、それぞれ別の構成の評価領域が図示されている。図3bでは、評価領域は、同様に、写像空間120の境界面128と一致する検出面に対する下位領域の奥行き範囲だけが異なる下位領域131〜136のグループに属する下位領域131〜136として構成されている。その場合、評価領域又は下位領域131〜136は、同じく、互いに素であるが、奥行き範囲の大きさが異なっている。
図3cによる実施構成では、評価領域は、下位領域141〜144と145〜148の二つのグループで構成されている。この実施構成では、評価領域は、評価空間121全体を構成していない。その他の実施構成は、複数のグループの下位領域、例えば、互いに隣接し、それぞれz軸129に沿って境界を接するように構成されるとともに、それぞれ奥行きの範囲の大きさが同じである六つの下位領域を有する五つのグループの下位領域を持つことができる。個々の下位領域グループの下位領域は、x軸に沿った広がりがy軸に沿った広がりよりも大きい。この場合、座標系102に関する顔の向きは、図2cに図示されている向きと一致する。そのような実施構成では、30個の値を有する出現率分布が得られる。
それぞれ別の構成で写像空間の領域を包含する評価領域から成る別の実施構成も考えられる。
評価空間の決定は、基本的に実行せずに済ますことができる。しかし、そのようなステップは、有利には、基準面又は検出面に対する下位領域の奥行きの範囲だけが異なる下位領域として評価領域を構成することによって、簡単な手法で評価空間を決定する手段を提供する。従って、全ての下位領域は、広がりに関するサイズ及び/又は空間内の位置だけが異なる同じ幾何学的な形状を有する。そのような下位領域は、「前後に並べた形」(例えば、互いに接する直方体)又は「互いの中に入り組んだ形」(前方の面が共通で奥行きが異なる直方体)とすることができる。有利には、評価領域の決定は、評価空間を評価領域で「満たす」か、或いは評価空間全体を評価領域に分割する形で行われる。それは、評価空間を、押出し面を真っ直ぐな区間に沿って押し出すことによって広げた押出し空間とする場合、特に簡単に実行可能である。そのような押出し面として、例えば、既に前に説明した通り、検出面上に投影させた顔の表面の積集合を表す如何なる面も使用することができる。同様に、同じく既に前に説明した通り、検出面上に投影された個々のトレーニング用顔の顔面がそれぞれ所定の表面の高さを上回る如何なる面をも使用することができる。
個々の顔の輪郭座標点を一致させるために、評価領域を使用する。それは、個々の評価領域に関して、顔の如何なる数の輪郭座標点が各評価領域内に存在するのかを計算することを意味する。それによって、評価領域に関する輪郭座標点の出現率分布が得られる。そのような出現率分布は、個々の顔に関して特徴的である。
従って、有利には、評価領域の決定は、例えば、それぞれ検出面に対する下位領域の奥行きの範囲だけが異なる下位領域グループに属する評価領域に評価空間全体を分割するという要件にもとづき行われる。次に、その決定は、個々のトレーニング用顔の出現率分布が最大限互いに異なるという要件にもとづき実行される。この場合、反復手法を用いることができる。
図4aと4bには、異なる模式的な顔の二つの断面線161,162が図示されている。二つの図には、それぞれ図面の平面に対して垂直に延びる検出面163が表示されている。断面線161,162は、二つの異なる顔の顔輪郭を表している。これらの顔輪郭は、鼻先164,165に関して、それぞれ検出面163に対する位置の正規化が行われており、それは、線分の矢印166で表されている。水平に描かれている線167は、三次元スキャナーとして構成された三次元検出ユニットが位置情報を検出するための線を交線161,162で示した顔に投影した面を表している。水平な線167と顔の輪郭の交線161,162との交点は、それぞれ図示されている断面内の輪郭座標点168である。垂直に延びる線169は、断面に対して垂直に広がる評価領域170〜175の境界を表している。評価領域170〜175に関する輪郭座標点168の出現率分布を計算するためには、対応する評価領域内に有る輪郭座標点168だけを計数しなければならない。この場合、図示されている実施例では、それぞれ評価領域170〜175の境界を表す垂直な線169が、それぞれ評価領域170〜175の中の検出面163からの間隔が大きい方の隣接する評価領域に属するものと看做している。計算した出現率分布176,177は、それぞれ図4aと4bの下の領域に棒グラフとして図示されている。図4aと4bの両方において、それぞれ同じ数の輪郭座標点が出現しているので、これらの出現率分布は、特徴データセットとして直ぐに使用することができる。これらの出現率分布を特徴ベクトルとして表すと、図4aに図示されている顔に関しては、特徴ベクトル(2,1,10,4,4,3)が得られ、図4bに図示されている顔に関しては、特徴ベクトル(0,4,4,8,5,3)が得られる。
例えば、個々のトレーニング用顔情報において、評価領域が包含する空間内の輪郭座標点の数が異なるので、通常出現率分布を互いに直接比較することはできない。従って、出現率分布から特徴データセットを導き出す。それは、例えば、評価領域内に存在する顔の輪郭座標点の全数に関して、算出した出現率を正規化することによって行われる。
出現率分布を計算して、有利には、特徴ベクトル11の形の特徴データセットを導き出した後、ステップ12において、評価領域の最適化が完了したか否かの問いについて調べる。未だ完了していない場合、ステップ13において、評価領域を変更し、ステップ11において、改めてトレーニング用顔に関して、出現率分布を計算して、特徴データセットを導き出すことを実行する。評価領域の最適化が完了した場合、ステップ17において、評価領域を表す情報を保存し、次に、ステップ14において、トレーニング用顔を後で再度認識するか否かを問う。通常は後で再度認識するため、次のステップ15において、特徴データセットと、場合によっては、登録した識別情報とをデータベースの形でデータメモリに保存する。このようにして、ステップ16において、本方法のトレーニングモード1が終了する。
ステップ2における問いが、本方法をトレーニングモードで動作しないとなった場合、ステップ3’において、三次元検出ユニットを用いて、一つの顔の顔情報を検出する。次のステップ5’では、検出した顔情報を正規化し、その正規化には、向きの正規化6’と位置の正規化7’が含まれる。これらの正規化ステップ5’〜7’は、前に説明した正規化ステップ5〜7と同じである。次のステップ11’では、トレーニングモードで決定した評価領域に関して、輪郭座標点の出現率分布の計算を行い、それから特徴データセットを導き出す。この場合、保存されている評価領域に関する情報を取り出して使用することができる。
ステップ19において、本方法が顔を認識するのか、或いは認識対象の顔の集合に顔を追加するのかの問いに答える。顔を追加する場合、即ち、本方法を追加モードで動作させる場合、次のステップ4’において、有利には、顔に対して識別情報を登録する。次のステップ15’では、場合によっては、登録した識別情報と共に特徴データセットをデータベースの保存領域に保存する。このようにして、ステップ20において、追加モードでの本方法が終了することとなる。
ここで、認識対象の顔の集合に更に別の顔を追加するために、トレーニング用顔のデータを取り出して使用する必要が無いことを改めて指摘しておきたい。更に別の顔の追加又は一つ以上の顔の削除は、そのために計算負荷を増大させること無く実施することができる。更に、認識対象の顔から検出した全ての輪郭座標点、即ち、全ての顔情報データセットを保存する必要はなく、明らかに少ない特徴データセットだけを保存すれば良い。そのことは、保存に必要なメモリ領域を大幅に低減させることとなる。特に、顔を認識する対象の人間のグループが大きい場合に、それは非常に大きな利点となる。
本方法を追加モードではなく、認識モードで動作させる場合、特徴データセット11’の計算とステップ19における相応の問いの後、ステップ21において、データベースから既知の特徴データセットを読み出す。次のステップ22において、特徴データセットを既知の特徴データセットと比較する。その場合、特徴データセットと既知の特徴データセットとの類似度を計算する。特徴データセットと既知の特徴データセットは、通常特徴ベクトルとして構成される。当業者には、特徴データセット又は特徴ベクトルの類似度を計算する手法は周知である。その場合、特徴ベクトルと既知の特徴ベクトルとの類似度を求めるために、一つ以上の問いによる判断基準を考慮することができる。類似度を求めるための幾つかの手法だけを例示すると、例えば、所謂シティブロック法を使用するか、或いはユークリッド距離又は相関を求めることができる。ステップ23の問いにおいて、特徴データセット(特徴ベクトル)が既知の特徴データセット(既知の特徴ベクトル)と類似しているか否かを調べる。類似していない場合、次のステップ24において、未だ特徴データセットと比較していない別の既知の特徴データセット(既知の特徴ベクトル)がデータベースに保存されているか否かを調べる。そのような既知の特徴データセットが存在した場合、ステップ21において、それを読み出して、ステップ22において、特徴データセットと比較する。
ステップ23の問いにおいて、特徴データセットが既知の特徴データセットと一致すると決定された場合、その特徴データセットの算出元の顔情報データセットに対応する顔は、一致すると決定された既知の特徴データセットの当初の算出元の顔情報データセットに対応する既知の顔として認識されることとなる。その結果は、場合によっては、ステップ25において、既知の特徴データセットの識別情報と共に出力される。ステップ23において、一致すると決定されず、更に、ステップ24において、特徴データセットと比較されていない既知の特徴データセットが未だデータベースに保存されているか否かの問いに関して、否定された場合、その顔は、既知の顔の中の一つとしては認識されず、そのことは、同様に、ステップ26において出力される。ステップ27において、認識モードでの本方法が終了する。
図5には、顔181を認識するための装置180が模式的に図示されている。顔181は、三次元検出ユニット182の前に置かれる。三次元検出ユニット182は、顔181の顔情報を顔情報データセットの形で検出する。その顔情報データセットは、正規化ユニット183に送られる。幾つかの実施構成において、正規化ユニット183は、三次元検出ユニット182の構成要素とすることができる。ここで図示している別の実施構成では、正規化ユニット183は、認識ユニット184の構成要素である。顔情報は、正規化ユニット183を用いて正規化された後、評価ユニット185で評価される。そこでは、評価領域に関して、検出した顔の輪郭座標点の出現率分布を計算する。出現率分布から、特徴データセットを導き出して、比較ユニット186で既知の特徴データセットと比較する。そのために必要な既知の特徴データセットは、データベース188が既知の特徴データセットを管理しているデータメモリ187から読み出すことができる。検出した顔181の特徴データセットが既知の特徴データセットと一致すると決定された場合、その顔181は、当該の既知の特徴データセットを以前導き出した元の顔情報データセットに対応する顔として認識される。それに関する情報と、場合によっては、その既知の特徴データセットに関してデータベース188に保存されている識別情報とが、出力ユニット189を介して出力される。
本装置180は、本装置を用いて新たな既知の特徴データセットを計算することができるように構成されている。そのために、本装置180は、本装置180を追加モードに設定することが可能な入力ユニット190を備えている。更に、その入力ユニットを介して、人間に関する識別情報、或いは新たな既知の特徴データセットを導き出して、それに続いて、その情報と一緒にデータベース188に保存するための元の顔情報に対応する顔に関する識別情報を入力することができる。更に、評価ユニット185は、トレーニングモードにおける評価範囲と評価領域を決定することが可能なように構成することができる。そのために、本装置180は、複数のトレーニング用顔に関するトレーニング用顔情報データセットを取得して、そのデータセットから、前述した通り、評価空間と評価領域を計算して、場合によっては、トレーニング用顔に関して、算出した特徴データセットをデータメモリ187のデータベース188に保存することが可能である。破線191で表した通り、認識ユニット184は、データメモリ187及びデータベース188の無い形で構成することもできる。その場合、外部データメモリ187への保存が行われ、その外部データメモリは、必ずしもデータベース188を備える必要はない。外部データメモリ187は、既知の特徴データセットだけを保存するスマートカード又は同様の持ち運び可能なデータメモリとすることができる。そうすることによって、特徴データを導き出した顔に対応する個人のデータメモリだけに、その個人に関する特徴データを保存することが可能となる。
更に別の実施構成では、認識ユニット184は、比較ユニット186も備えていない。点線192で表した通り、比較ユニット186は、データメモリ187と共に持ち運び可能なユニットとして構成され、その場合、データメモリ187は、同様にデータベース188を備える必要はない。即ち、比較ステップも、点線192で囲んだ持ち運び可能なユニットで実行することもできる。そのような実施構成では、特徴データは、持ち運び可能なユニットから読み出す必要も、認識ユニット184からアクセス可能とする必要もない。そのような持ち運び可能なユニットは、「オンカードマッチャー」とも呼ばれる。
図6には、顔認識モジュールが模式的に図示されている。顔認識モジュールは、有利には、コンピュータで実行可能なコードの形で実現され、そのコードは、コンピュータ上に実行することが可能である。顔認識モジュール200は、顔情報データセットを受信するか、読み込むか、或いは登録することができるインタフェース201を有する。顔情報データセットは、事前に正規化しておくことができる。同様に、顔認識モジュール200は、正規化ユニット202を含むことが可能である。正規化された顔情報データセットは、評価ユニット203において再処理される。その場合、評価領域に関して、輪郭座標点の出現率分布が計算される。出現率分布から、特徴データセットが導き出される。顔認識モジュールを追加モードで動作させた場合、特徴データセットは、別のインタフェース204を介して出力され、データベース205に保存することができる。追加のインタフェース207を介して、データベース205から既知の特徴データセットを読み出して、顔認識モジュール200を認識モードで動作させた場合、比較ユニット208で、その既知の特徴データセットを特徴データセットと比較することができる。特徴データセットが既知の特徴データセットの中の一つとの類似性を有する場合、その顔は、認識されたと見做される。それに関する情報は、別のインタフェース204を介して出力することができる。インタフェース201、別のインタフェース204及び追加のインタフェース207は、対にして、或いは一緒にして単一のインタフェースとして実現することができる。顔認識モジュール200の評価ユニット203は、有利には、前に説明した通り、トレーニングモードにおいて、インタフェース201を介して受信した複数のトレーニング用顔情報データセットにもとづき、評価空間と評価領域を計算することが可能なように構成されている。
ここで述べた有利な方法及びそれに対応する装置又はそれに対応する顔認識モジュールでは、それぞれ評価領域を求めるために、トレーニングモードを利用することができるものと規定する。別の実施構成では、評価領域を予め求めておいて、トレーニングモードで新たに計算しないと規定することができる。
1 顔認識方法
2 トレーニングモードを問うステップ
3 三次元顔情報を検出するステップ
4 識別情報を登録するステップ
5,5’ 顔情報の正規化ステップ
6,6’ 位置の正規化ステップ
7,7’ 向きの正規化ステップ
8 別のトレーニング用顔を読み出すかを問うステップ
9 評価空間を求めるステップ
10 評価領域を求めるステップ
11,11’ 出現率分布を計算して、特徴データセットを導き出すステップ
12 評価領域の最適化が完了したかを問うステップ
13 評価領域を変更するステップ
14 トレーニング用顔を後で再認識するかを問うステップ
15,15’ データベースの形で所定のメモリに保存するステップ
16 トレーニングモードの終了ステップ
17 評価領域に関する情報を保存するステップ
19 追加モードか認識モードかを問うステップ
20 追加モードの終了ステップ
21 既知の特徴データセットを読み出すステップ
22 特徴データセットを既知の特徴データセットと比較するステップ
23 類似性が有る(認識された)かを問うステップ
24 更なる既知の特徴データセットが有るかを問うステップ
25 顔が認識されたことを出力するステップ
26 顔が認識されなかったことを出力するステップ
27 認識モードの終了ステップ
101,101’,101'' 検出した顔
102 座標系
103 x軸
104 y軸
105 z軸を表す×印
106,106’,106'' 鼻先
107,107’,107'' 鼻の根元
108,108’,108'' 眼
109,109’,109'' 口
120 写像空間
121 評価空間
122 評価空間の基準面
123 矢印
124〜127 評価領域
128 写像空間の基準面
129 z軸
131〜136 下位領域
141〜144 下位領域
145〜148 下位領域
161,162 顔の輪郭の交線
163 検出面
164,165 鼻先
166 線分の矢印
167 水平な線
168 輪郭座標点
169 垂直な線
170〜175 評価領域
176,177 棒グラフの形の出現率分布
180 顔認識装置
181 顔
182 三次元検出ユニット
183 正規化ユニット
184 認識ユニット
185 評価ユニット
186 比較ユニット
187 データメモリ
188 データベース
189 出力ユニット
190 入力ユニット
191 破線
192 点線
200 顔認識モジュール
201 インタフェース
202 正規化ユニット
203 評価ユニット
204 別のインタフェース
205 データベース
207 追加のインタフェース
208 比較ユニット
2 トレーニングモードを問うステップ
3 三次元顔情報を検出するステップ
4 識別情報を登録するステップ
5,5’ 顔情報の正規化ステップ
6,6’ 位置の正規化ステップ
7,7’ 向きの正規化ステップ
8 別のトレーニング用顔を読み出すかを問うステップ
9 評価空間を求めるステップ
10 評価領域を求めるステップ
11,11’ 出現率分布を計算して、特徴データセットを導き出すステップ
12 評価領域の最適化が完了したかを問うステップ
13 評価領域を変更するステップ
14 トレーニング用顔を後で再認識するかを問うステップ
15,15’ データベースの形で所定のメモリに保存するステップ
16 トレーニングモードの終了ステップ
17 評価領域に関する情報を保存するステップ
19 追加モードか認識モードかを問うステップ
20 追加モードの終了ステップ
21 既知の特徴データセットを読み出すステップ
22 特徴データセットを既知の特徴データセットと比較するステップ
23 類似性が有る(認識された)かを問うステップ
24 更なる既知の特徴データセットが有るかを問うステップ
25 顔が認識されたことを出力するステップ
26 顔が認識されなかったことを出力するステップ
27 認識モードの終了ステップ
101,101’,101'' 検出した顔
102 座標系
103 x軸
104 y軸
105 z軸を表す×印
106,106’,106'' 鼻先
107,107’,107'' 鼻の根元
108,108’,108'' 眼
109,109’,109'' 口
120 写像空間
121 評価空間
122 評価空間の基準面
123 矢印
124〜127 評価領域
128 写像空間の基準面
129 z軸
131〜136 下位領域
141〜144 下位領域
145〜148 下位領域
161,162 顔の輪郭の交線
163 検出面
164,165 鼻先
166 線分の矢印
167 水平な線
168 輪郭座標点
169 垂直な線
170〜175 評価領域
176,177 棒グラフの形の出現率分布
180 顔認識装置
181 顔
182 三次元検出ユニット
183 正規化ユニット
184 認識ユニット
185 評価ユニット
186 比較ユニット
187 データメモリ
188 データベース
189 出力ユニット
190 入力ユニット
191 破線
192 点線
200 顔認識モジュール
201 インタフェース
202 正規化ユニット
203 評価ユニット
204 別のインタフェース
205 データベース
207 追加のインタフェース
208 比較ユニット
Claims (30)
- 顔(100;181)を認識するための方法(1)であって、
三次元検出ユニット(182)を用いて、顔(100;181)の三次元顔情報を顔情報データセットの形で検出し、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにするステップと、
検出した顔情報を正規化し、位置の正規化と向きの正規化を行うステップと、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識するステップと、
を有する方法において、
前記の位置情報が、輪郭座標点(168)を含む情報であり、評価領域(124〜127;170〜175)に関して、如何なる数の輪郭座標点(168)が個々の評価領域(124〜127;170〜175)内に存在するのかを表す出現率分布(176,177)を計算して、その算出した出現率から特徴データセットを導き出すことを特徴とする方法。 - 請求項1に記載の方法(1)において、評価領域(124〜127;170〜175)は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループを有することを特徴とする方法。
- 請求項1又は2に記載の方法(1)において、評価領域(124〜127;170〜175)は、検出した輪郭座標点(168)が存在する可能の有る、写像空間(120)の一部の領域だけを包含する評価空間(121)内に有ることを特徴とする方法。
- 請求項2又は3に記載の方法(1)において、当該の下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループの下位領域(131〜136;141〜144,145〜148)が互いに素であることを特徴とする方法。
- 請求項1から4までのいずれか一つに記載の方法(1)において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得して、そこに含まれる顔情報を正規化し、そのトレーニング用顔情報データセットにもとづき、評価空間(121)内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点(168)が存在するように、当該の評価空間を求めることを特徴とする方法。
- 請求項1から5までのいずれか一つに記載の方法(1)において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域(124〜127;170〜175)を求めることを特徴とする方法。
- 請求項1から6までのいずれか一つに記載の方法(1)において、当該の少なくとも一つの既知の特徴データセットを請求項1から6までのいずれか一つに記載の方法にもとづき算出して、データメモリ(187)に保存しておき、それによって、比較ステップ(22)を省略することができることを特徴とする方法。
- 請求項1から7までのいずれか一つに記載の方法(1)において、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース(188,205)に保存することを特徴とする方法。
- 請求項1から8までのいずれか一つに記載の方法(1)において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする方法。
- 請求項1から9までのいずれか一つに記載の方法(1)において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする方法。
- 顔を認識するための装置(180)であって、
検出した顔情報が顔の表面輪郭に関する位置情報を有するように、顔(181)の三次元顔情報を顔情報データセットの形で検出する検出ユニット(182)と、
正規化が位置の正規化と向きの正規化から成り、検出した顔情報の正規化を行う正規化ユニット(183)と、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識する比較ユニット(186)と、
を有する装置において、
前記の位置情報が、輪郭座標点(168)を含む情報であり、出現率分布(176,177)は、如何なる数の輪郭座標点(168)が個々の評価領域(124〜127;170〜175)内に存在するのかを表すものとして、評価領域(124〜127;170〜175)に関する出現率分布(176,177)を計算して、その算出した出現率から特徴データセットを導き出す評価ユニットが配備されていることを特徴とする装置。 - 請求項11に記載の装置(180)において、当該の評価領域は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループを有することを特徴とする装置。
- 請求項11又は12に記載の装置(180)において、当該の評価領域は、検出した輪郭座標点(168)が存在する可能の有る、写像空間の一部の領域だけを包含する評価空間(121)内に有ることを特徴とする方法。
- 請求項12又は13に記載の装置(180)において、当該の下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループの下位領域(131〜136;141〜144,145〜148)が互いに素であることを特徴とする装置。
- 請求項11から14までのいずれか一つに記載の装置(180)において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得することが可能であり、そこに含まれる顔情報を正規化することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間(121)内に、それぞれトレーニング用顔の輪郭に割り当てることが可能な輪郭座標点(168)だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点(168)が存在するように、当該の評価空間を求める形で評価ユニット(185)が構成されていることを特徴とする装置。
- 請求項11から15までのいずれか一つに記載の装置(180)において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域(124〜127;170〜175)を求める形で評価ユニット(185)が構成されていることを特徴とする装置。
- 請求項11から16までのいずれか一つに記載の装置(180)において、当該の少なくとも一つの既知の特徴データセットを請求項11から16までのいずれか一つに記載の装置(180)を用いて算出することが可能であり、既知の特徴データセットを保存するためのデータメモリ(187)が配備されており、そのため、本装置が、比較ユニット(186)を用いた特徴データセットの比較機能を省略したモードで動作することが可能であることを特徴とする装置。
- 請求項11から17までのいずれか一つに記載の装置(180)において、当該のデータメモリがデータベースを有し、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース(188)に保存することが可能であることを特徴とする装置。
- 請求項11から18までのいずれか一つに記載の装置(180)において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする装置。
- 請求項11から19までのいずれか一つに記載の装置(180)において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする装置。
- 顔(100;181)を認識するための顔認識モジュール(200)であって、
検出した顔情報が顔(100;181)の表面輪郭に関する位置情報を含む形で検出された顔(100;181)の三次元顔情報を顔情報データセットの形で受信するためのインタフェース(201)と、
検出した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔(100;181)を認識する比較ユニット(208)と、
を有する顔認識モジュールにおいて、
前記の位置情報が、輪郭座標点(168)を含む情報であり、出現率分布(176,177)は、如何なる数の輪郭座標点(168)が個々の評価領域(124〜127;170〜175)内に存在するのかを表すものとして、写像空間の評価領域(124〜127;170〜175)に関する出現率分布(176,177)を計算して、算出した出現率から特徴データセットを導き出す評価ユニット(203)が配備されていることを特徴とする顔認識モジュール。 - 請求項21に記載の顔認識モジュール(200)において、当該の顔情報を正規化することを特徴とする顔認識モジュール。
- 請求項21に記載の顔認識モジュール(200)において、顔情報を正規化するための正規化ユニット(202)が配備されており、その正規化が位置の正規化と向きの正規化から成ることを特徴とする顔認識モジュール。
- 請求項21から23までのいずれか一つに記載の顔認識モジュール(200)において、当該の評価領域(124〜127;170〜175)は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループを有することを特徴とする顔認識モジュール。
- 請求項21から24までのいずれか一つに記載の顔認識モジュール(200)において、当該の評価領域(124〜127;170〜175)は、検出した輪郭座標点(168)が存在する可能の有る、写像空間(120)の一部の領域だけを包含する評価空間(121)内に有ることを特徴とする顔認識モジュール。
- 請求項21から25までのいずれか一つに記載の顔認識モジュール(200)において、当該の下位領域(131〜136;141〜144,145〜148)の少なくとも一つのグループの下位領域(131〜136;141〜144,145〜148)が互いに素であることを特徴とする顔認識モジュール。
- 請求項21から26までのいずれか一つに記載の顔認識モジュール(200)において、トレーニング用顔の集合に関するインタフェース(201)を介して、トレーニング用顔情報データセットを受信することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間(121)内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点(168)だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点(168)が存在するように、当該の評価空間(121)を求る形で評価ユニット(203)が構成されていることを特徴とする顔認識モジュール。
- 請求項27に記載の顔認識モジュール(200)において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域(124〜127;170〜175)を求める形で評価ユニット(185)が構成されていることを特徴とする顔認識モジュール。
- 請求項21から28までのいずれか一つに記載の顔認識モジュール(200)において、インタフェース(201)又は別のインタフェース(204)を介して、当該の導き出された顔の特徴データセット及び/又は当該の導き出されたトレーニング用顔情報データセットの特徴データセットを出力することが可能であることを特徴とする顔認識モジュール。
- 請求項21から29までのいずれか一つに記載の顔認識モジュール(200)において、インタフェース(201)、別のインタフェース(204)或いは追加のインタフェース(207)を介して、当該の少なくとも一つの特徴データセットと、場合によっては、識別情報とをデータベース(205)から読み出すことが可能であることを特徴とする顔認識モジュール。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006045828A DE102006045828B4 (de) | 2006-09-22 | 2006-09-22 | Verfahren und Vorrichtung zum Erkennen eines Gesichts sowie ein Gesichtserkennungsmodul |
PCT/EP2007/008507 WO2008034646A1 (de) | 2006-09-22 | 2007-09-21 | Verfahren und vorrichtung zum erkennen eines gesichts sowie ein gesichtserkennungsmodul |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010504575A true JP2010504575A (ja) | 2010-02-12 |
Family
ID=38831427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009528655A Withdrawn JP2010504575A (ja) | 2006-09-22 | 2007-09-21 | 顔を認識するための方法と装置及び顔認識モジュール |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100098301A1 (ja) |
EP (1) | EP2070010A1 (ja) |
JP (1) | JP2010504575A (ja) |
DE (1) | DE102006045828B4 (ja) |
WO (1) | WO2008034646A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8476369B2 (en) | 2007-05-02 | 2013-07-02 | Bayer Innovation Gmbh | Metal salt nanogel-containing polymers |
KR101789071B1 (ko) * | 2011-01-13 | 2017-10-24 | 삼성전자주식회사 | 깊이 영상의 특징 추출 방법 및 장치 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8125526B2 (en) * | 2006-02-03 | 2012-02-28 | Olympus Imaging Corp. | Camera for selecting an image from a plurality of images based on a face portion and contour of a subject in the image |
CN105844202A (zh) * | 2015-01-12 | 2016-08-10 | 芋头科技(杭州)有限公司 | 一种影像识别系统及方法 |
US11176597B2 (en) * | 2018-10-30 | 2021-11-16 | Ncr Corporation | Associating shoppers together |
CN112580541B (zh) * | 2020-12-24 | 2021-10-08 | 中标慧安信息技术股份有限公司 | 聚类化人脸识别方法和系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2973676B2 (ja) * | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
DE19712844A1 (de) * | 1997-03-26 | 1998-10-08 | Siemens Ag | Verfahren zur dreidimensionalen Identifizierung von Objekten |
JP3077745B2 (ja) * | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
US7203346B2 (en) * | 2002-04-27 | 2007-04-10 | Samsung Electronics Co., Ltd. | Face recognition method and apparatus using component-based face descriptor |
US7242807B2 (en) * | 2003-05-05 | 2007-07-10 | Fish & Richardson P.C. | Imaging of biometric information based on three-dimensional shapes |
US7831087B2 (en) * | 2003-10-31 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Method for visual-based recognition of an object |
US7436988B2 (en) * | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
-
2006
- 2006-09-22 DE DE102006045828A patent/DE102006045828B4/de not_active Expired - Fee Related
-
2007
- 2007-09-21 JP JP2009528655A patent/JP2010504575A/ja not_active Withdrawn
- 2007-09-21 US US12/442,444 patent/US20100098301A1/en not_active Abandoned
- 2007-09-21 WO PCT/EP2007/008507 patent/WO2008034646A1/de active Application Filing
- 2007-09-21 EP EP07818587A patent/EP2070010A1/de not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8476369B2 (en) | 2007-05-02 | 2013-07-02 | Bayer Innovation Gmbh | Metal salt nanogel-containing polymers |
KR101789071B1 (ko) * | 2011-01-13 | 2017-10-24 | 삼성전자주식회사 | 깊이 영상의 특징 추출 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
DE102006045828A1 (de) | 2008-04-03 |
DE102006045828B4 (de) | 2010-06-24 |
WO2008034646A1 (de) | 2008-03-27 |
US20100098301A1 (en) | 2010-04-22 |
EP2070010A1 (de) | 2009-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al-Osaimi et al. | An expression deformation approach to non-rigid 3D face recognition | |
Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
Dai et al. | A 3d morphable model of craniofacial shape and texture variation | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
Alyuz et al. | Regional registration for expression resistant 3-D face recognition | |
Bustard et al. | Toward unconstrained ear recognition from two-dimensional images | |
KR102290392B1 (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
Russ et al. | 3D face recognition using 3D alignment for PCA | |
JP5406705B2 (ja) | データ補正装置及び方法 | |
Reale et al. | Nebula feature: A space-time feature for posed and spontaneous 4D facial behavior analysis | |
Li et al. | Efficient 3D face recognition handling facial expression and hair occlusion | |
JP5777380B2 (ja) | 画像認識装置、画像認識方法、及びプログラム | |
JP2010504575A (ja) | 顔を認識するための方法と装置及び顔認識モジュール | |
JP3914864B2 (ja) | パターン認識装置及びその方法 | |
CN110069989A (zh) | 人脸图像处理方法及装置、计算机可读存储介质 | |
Vieriu et al. | Facial expression recognition under a wide range of head poses | |
WO2011086803A1 (ja) | 画像照合システム、画像照合方法、コンピュータプログラム | |
JP2013003706A (ja) | 表情認識装置、方法、及びプログラム | |
Perakis et al. | Partial matching of interpose 3D facial data for face recognition | |
KR101521136B1 (ko) | 얼굴 인식 방법 및 얼굴 인식 장치 | |
JP6003367B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
Boukamcha et al. | 3D face landmark auto detection | |
JP2012221053A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
JP2015162012A (ja) | 顔照合装置及び顔照合方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100604 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |