DE19610066C1

DE19610066C1 - Verfahren zur Erfassung gesichtsbezogener Personendaten und deren Verwendung zur Identifizierung oder Verifikation von Personen

Info

Publication number: DE19610066C1
Application number: DE19610066A
Authority: DE
Inventors: Mathias Grimmberger; Alexander N Dr Jourjine; Niels Dr Rer Nat Kunstmann; Michael Mueller; Frank Weber
Original assignee: Siemens Nixdorf Advanced Technologies GmbH
Current assignee: Cognitec Systems GmbH
Priority date: 1996-03-14
Filing date: 1996-03-14
Publication date: 1997-09-18
Anticipated expiration: 2016-03-15
Also published as: DE59700974D1; WO1997034251A1; EP0886833A1; EP0886833B1

Description

Auf dem Gebiet der Sicherheitstechnik ist es üblich, Personen an Hand von persönlichen Merkmalen zu identifizieren oder zu verifizieren, um ihnen Zugang zu sicherheitsrelevanten Ein richtungen zu gewähren.

Zu diesen persönlichen Merkmalen gehört auch das Gesicht, das zur Erfassung von gesichtsbezogenen Daten von einer Kamera aufgenommen wird. Die digitalen Bilddaten werden dann auf be sondere Merkmale hin untersucht und ein entsprechender Graph gebildet, der in einer Datenbank abgespeichert wird und damit zum Vergleich mit einem jeweils neugebildeten Graphen zur Verfügung steht. Stimmt ein von einer Person neu abgeleiteter Graph mit einem abgespeicherten überein, erhält die Person den gewünschten Zugang.

Es ist bereit s eine Reihe von Gesichtserkennungssystemen be kannt, wobei die nachfolgende Numerierung sich auf das Lite raturverzeichnis am Ende der Beschreibung bezieht.

Zu 1:
Der hierin dargestellte Ansatz verwendet zur Erkennung von Gesichtern deren Darstellung in einem Raum von Eigenfaces. Diese Darstellung ist die sogenannte Karhunen-Lo´ve- Transformation (KLT). Sie erfordert eine große Menge von Trainingsmustern. Es seien diese für Bilder der Größe N×N als N²-dimensionale Vektoren - gegeben. Die Basisfunktionen der KLT erhält man dann durch Lösen des Eigenwertproblems

Λ = Φ^TΣΦ

wobei Σ die Kovarianzmatrix der Datenvektoren, Φ die Eigen vektor-Matrix von Σ und Λ die Diagonalmatrix der Eigenwerte ist. Man erhält die neue Darstellung von als

wobei den Mittelwert aller bezeichnet. Φ_M ist eine Sub matrix von Φ, die die führenden M Eigenvektoren, d. h. die Eigenvektoren zu den M größten Eigenwerten, enthält. In einer derartigen teilweisen KLT beträgt der Rekonstruktionsfehler für ein bestimmtes Muster gerade

Diese Größe wird als "distance from feature space" bezeichnet und zur Lokalisierung des Gesichts innerhalb eines Bildes verwendet.

Solch ein Eigenface-basiertes System kann durch lokale Varia tion getäuscht werden. Weiterhin erfordert das System eine Normalisierungsstufe, die das Gesicht auf eine Standardgröße bringt. Da das Verfahren auch zur effizienten Kodierung von Gesichtern für die Videoübertragung verwendet wird, ist eine Erfassung mehrerer Bilder eines Gesichts mit nur einem Merk malssatz prinzipiell nicht möglich.

Es werden daher zwei Erweiterungen vorgeschlagen, die diese Defizite teilweise beheben:
Einerseits wird das Schema der Eigenfaces auf beliebige ande re Merkmale, wie z. B. Augen, Nase, Mund etc., des Gesichts ausgedehnt. Werden diese modularen Eigenvektor-Darstellungen mit den Eigenfaces kombiniert, ergibt sich zwar eine bessere Erkennungsleistung, jedoch wird der bei jeder abbrechenden Eigenvektorentwicklung sich ergebende Nachteil, nämlich daß die erneute Berechnung der Eigenvektoren erforderlich wird, sobald neue Gesichter hinzukommen, nicht aufgehoben.

Andererseits wird versucht, mit Hilfe multipler Beobachter eine Erkennung zu realisieren, die von der Kopfrotation der Person unabhängig ist. In dem verwendeten formalen Rahmen be deutet dies, daß für jeden dieser Beobachter die Koeffizien ten der Entwicklung in dem zugehörigen Vektorraum bekannt sein müssen. Multiple Beobachter erfordern also multiple KLT und multiple Kodierungen. Für eine zu erfassende Person sind daher mehrere Datensätze zu speichern, was einen entsprechen den Aufwand an Speicherkapazität und Verarbeitungszeit erfor dert.

Zu 2:
Das hierin beschriebene Verfahren zur Gesichtserkennung ba siert im wesentlichen auf der Verwendung eines 2-Kamera- Systems zur Segmentierung. Als Merkmalsdetektoren werden Richtungsableitungen der zweidimensionalen Gaußfunktion ver wendet. Der Startpunkt für die Definition und Konstruktion der Merkmalsdetektoren ist die bekannte Gaußfunktion

Sie ist um x=0 mit einer Varianz σ² lokalisiert. Die ein zelnen Detektoren sind Richtungsableitungen von G(x)G(y), dem 2-dimensionalen Analogon von G(x). Man bezeichnet sie übli cherweise mit wobei n die Ordnung der Ableitung und θ_k=kπ/(n+1) mit k=0, . . ., n ihre Richtung bezeichnet. Es werden Ableitungen der Ordnung 1 bis 3 verwendet.

Das System arbeitet als Identifikationssystem und die Asso ziationsleistung wird von einem spärlich besetzten verteilten topographischen Speicher (SDM) erbracht. Zwar werden zum Training des SDM mehrere Bilder für jede Person verwendet, jedoch ist die erfaßte Information nicht nach Personen sepa rierbar. Daher gibt es keine kompakte Darstellung des Ausse hens einer einzelnen Person, wie es in einem Verifikationssy stem erforderlich wäre.

Zu 3:
Das dargestellte System kann nur Folgen von Videobildern bei der Erkennung verarbeiten. Weiterhin werden als die Gesichter unterscheidende Merkmale die Koeffizienten einer Entwicklung der Oberfläche der Gesichter in 3-dimensionale Eigenköpfe verwendet. Somit zeigt das Verfahren die von den Eigenfaces bekannten Vor- und Nachteile.

Zu 4:
Bei diesem System wird der Vergleich zwischen dem zu erken nenden Bild und dem gespeicherten Bild durch einen flexiblen Abbildungsmechanismus realisiert. Zum Vergleich werden durch unspezifische Merkmalsdetektoren extrahierte lokale Merkmale des Gesichts verwendet. Die Gitterpositionen, an denen die Merkmale extrahiert werden, sind nicht explizit festgelegt, sondern variabel, wobei die Gitterverzerrung in der Ver gleichsfunktion enthalten ist.

Die Positionierung der Gitterpunkte ergibt sich als Resultat eines globalen Optimierungsprozesses mit der Kostenfunktion

E = E_sim + λE_top,

wobei der erste Term E_sim die Ähnlichkeit extrahierter Merk malsvektoren (Jets) an jeweils korrespondierenden Gitterposi tionen und der zweite Term E_top die Gitterverzerrungskosten quantifiziert. Hier wird also ein bewegliches Gitter verwen det.

Dieses Verfahren hat daher folgende Nachteile:
Es funktioniert nicht bei komplexen Hintergründen, da das Gitter mit den Merkmalsdetektoren nicht ausschließlich das Gesicht überdeckt. Auch besteht innerhalb des formalen Rah mens keine Möglichkeit, mehrere Bilder mit nur einem Merk malssatz zu erfassen. Weiterhin kann wegen der Vernach lässigung von Phaseninformation in der Konstruktion der Jets der Referenzdatensatz nicht zur Rekonstruktion des Gesichts verwendet werden.

Zu 5:
Das in der Patentschrift erwähnte Verfahren zur Erfassung und Wiedererkennung von Gesichtern basiert ebenso wie (1) auf dem Eigenface-Ansatz und ist somit ebenso nicht zur Erfassung mehrerer Bilder einer Person in einem kompakten Code geeig net. Als "Merkmale" gelten hier wie auch im modularen Ansatz von (1) tatsächliche, für den Menschen sichtbare und klar de finierte Teile des Gesichts, wie z. B. Augen oder Augenbrauen. Außerdem wird ein dualer Code verwendet, der einerseits die absolute Position eines Merkmals ("off set") andererseits de ren spezifisches Aussehen ("reference vertex") beschreibt. Um diese Merkmale zu finden, werden "intelligente" Mustererken nungstechniken (Stichwort "snake") angewandt.

Zu 6:
Das hier beschriebene Verfahren erweitert den in (4) be schriebenen Ansatz um eine Gewichtung der Gitterpositionen. Diese Gewichtung ist eindeutig für eine bestimmte Aufgabe und modifiziert die bisherige Ähnlichkeitsfunktion. Die Gewichte sind daher nicht Bestandteil des Referenzdatensatzes für eine erfaßte Person. Weiterhin erfolgt keine Spezifikation der Qualitätsfunktion Q zur Optimierung der Gewichte. Es ist le diglich angegeben, daß die Datenmenge T, die der Optimierung zugrunde liegt, nur jeweils Paare von Bildern verschiedener Personen enthält. Damit kann allenfalls ein konventionelles Erkennungsexperiment durchgeführt werden, und die Berücksich tigung mehrerer Bilder bei der Erfassung ist ausgeschlossen.

Die Gitterpositionen selbst ergeben sich vergleichbar dem Verfahren nach (4) als Resultat eines globalen Optimierungs prozesses, der das gesamte Gitter umfaßt. Die Lage eines ein zelnen Gitterpunktes ist also nicht Resultat eines expliziten Detektionsprozesses und somit an die Existenz eines lokalen Merkmals gebunden, sondern ergibt sich aus dem kooperativen Verhalten des beweglichen Gitters.

Die Erfindung hat ein Verfahren zur Erfassung von gesichtsbezogenen Personendaten und deren Verwendung zur Identifizierung oder Verifikation in Zugangskontrollsystemen zum Gegenstand, das Merkmale der vorangehend genannten Syste me aufgreift und wesentlich erweitert, sowie eine schnelle und robuste Erkennung von menschlichen Gesichtern aus Stand bildern unter natürlicher Beleuchtung ermöglicht.

Ein entsprechendes Verfahren ergibt sich aus den Merkmalen des Anspruches 1.

Danach werden die gesichtsbezogenen Daten nicht von einem einzigen Bild, sondern von einer Reihe von Bildern der zu er fassenden Person abgeleitet, und das zu überlagernde Gitter orientiert sich mit seinen Gitterpunkten an der Lage der Au gen, die am einfachsten von den Gesichtsmerkmalen zu lokali sieren sind.

Anhand der extrahierten Merkmale je Gitterpunkt werden dann ein repräsentativer Merkmalssatz für alle Bilder sowie opti mierte Gewichte für jeden Gitterpunkt berechnet, um die Gleichfehlerrate möglichst klein zu halten. Das bedeutet im Einzelnen:
Für jedes aufgenommene Bild i werden dabei d bestimmte Merk malsdetektoren, z. B. solche wie in (2), an jedem Gitterpunkt g und für jede Auflösungsstufe k einer festen Menge von Auflö sungsstufen des Bildes angewandt, so daß sich d-dimensionale Vektoren _i ^{(g, k)} ergeben. Ein Merkmal ist hier eine Komponente eines solchen Vektors und daher im Gegensatz zu (5) die Ant wort eines unspezifischen Merkmalsdetektors. Damit sind die Merkmale im Gesicht nicht klar lokalisiert, sondern man könnte sie statt dessen als delokalisiert bezeichnen.

Im nächsten Schritt werden jeweils mehrere Vektoren _i ^{(g, k}) zu neuen Vektoren zusammengefaßt, die im folgenden als Merk malsvektoren bezeichnet werden. Hierbei gibt es verschiedene Möglichkeiten: Beispielsweise kann die Zusammenfassung für jeden Gitterpunkt über mehrere Auflösungsstufen oder für je de Auflösungsstufe über mehrere Gitterpunkte erfolgen; denk bar ist auch eine Kombination dieser beiden Techniken. Die einfachste Möglichkeit ist, als Merkmalsvektoren die Vekto ren _i ^{(g, k}) selbst zu verwenden.

In jedem Falle existieren nach der Zusammenfassung Merkmals vektoren _i ^q, q=1,. . .,N_q wobei N_q die Zahl der Merkmalsvektoren bezeichnet. Vor der weiteren Verarbeitung sind die Merk malsvektoren auf Länge 1 zu normieren; im folgenden wird da her angenommen, daß _i ^-q)² = 1 gilt.

In einem Mittelungsprozeß werden diese Sätze von Merkmalen aller aufgenommenen Bilder zu einem repräsentativen Referenz merkmalssatz zusammengefaßt. Dieser repräsentative Referenz merkmalssatz kann durch unterschiedliche Mittelungsschemata er zeugt werden. Betrachtet man nämlich _i ^q als Satz normierter Merkmalsvektoren einer festen Person für die unterschiedli chen Trainingsbilder i=1, . . ., N und für ein festes q, so erhält man (im Folgenden ist zur Vereinfachung der Notation der In dex q weggelassen) einen repräsentativen Datensatz = Σ_iλ_i _i durch die Minimierung einer Funktion V, die die Breite der Selbstähnlichkeit p_ÿ = -_i · _j aller Merkmalsvektoren quantifi ziert, wobei die Normalisierungsnebenbedingung ² = 1 eingehal ten werden muß. Im Fall V=Σ_i · _i ergibt sich ∝ Σ_i _i, während sich für V=Σ_i · _i)² die Koeffizienten als Eigenvektor der Matrix P=(p_ÿ) ergeben, der zum größten Eigenwert gehört. Diese Art Eigenvektor hat aber nichts mit einer KLT zu tun.

Alternativ kann derjenige Merkmalssatz unter den Merkmalssät zen der aufgenommenen Bilder als neuer repräsentativer Refe renzmerkmalssatz bestimmt und verwendet werden, der den kleinsten Abstand, z. B. den kleinsten euklidischen Abstand, zu dem nach einer der vorhergehend beschriebenen Methoden er mittelt wurde.

Die Gesamtähnlichkeit eines Referenzmerkmalssatzes zu dem Merkmalssatz aus Bild i ergibt sich als gewichtete Summe der einzelnen Ähnlichkeiten

p_i ^q = _i ^q · ^q

zum jeweiligen Referenzmerkmalsvektor ^q) in der Form

Die einzelnen Gewichte sind nicht negativ und ihre Summe be trägt 1.

Zusätzlich können auch die einzelnen Merkmale gewichtet wer den. Dazu wird jedem Referenzmerkmalsvektor ^q eine Diago nalmatrix C^q zugeordnet, deren Diagonalelemente die Gewichte für jede Komponente von ^q und damit für jedes einzelne Merkmal darstellen. Die Gewichtung erfolgt dann durch Multi plikation der Matrix mit dem Referenzmerkmalsvektor. Auch der gewichtete Referenzmerkmalsvektor muß auf Länge 1 normiert sein, d. h. es muß (C_q ^q)²=1 gelten. Die einzelnen Ähnlichkeiten p_i ^q ergeben sich dann nach folgender Gleichung:

p_i ^q = _i ^q · C_q ^q.

Die Berechnung von personenabhängigen Gewichten, die eben falls Teil der später abgespeicherten gesichtsbezogenen Daten sind, ist auf die spezielle Aufgabe zugeschnitten und berück sichtigt Informationen aus den aufgenommenen Bildern und ei ner Hintergrunddatenbank von Merkmalssätzen, was im Folgenden beschrieben wird.

Das Ziel jeden Verifikations- oder Identifikationssystems ist, gleichzeitig die Rate der falschen Zurückweisungen (false rejection rate, FRR, χ⁽¹⁾) und die Rate der falschen Akzeptierungen (false acceptance rate, FAR, χ⁽²⁾) möglichst gering zu halten. In unserem System sind beides Funktionen der Akzeptanzschwelle λ und definiert als

mit θ(x) als Heavisidesche Stufenfunktion. Hier ist N_A die Anzahl der unterschiedlichen Bilder von Person A, die bei der Erfassung aufgenommen werden, während N_B die Anzahl der Merkmalssätze von Bildern anderer Personen in der Hinter grunddatenbank ist. p_i ^q bezeichnet die Ähnlichkeit des Merk malsvektors _i ^q des Bildes i von Person A zum Referenzmerk malsvektor ^q und r_j ^q den entsprechenden Wert für eine Person B≠A.

Das oben genannte Ziel kann durch Bestimmung solcher perso nenabhängigen Gewichte erreicht werden, die eine geeignete Zielfunktion optimieren. Sinnvolle Zielfunktionen sind bei spielsweise die Summe der beiden Fehlerraten (FAR und FRR) oder die Gleichfehlerrate (equal error rate, EER), der Funk tionswert also, für dessen Argument FAR und FRR gleich sind. Eine andere Zielfunktion geht direkt aus von der Menge der Gesamtähnlichkeiten zwischen dem Referenzmerkmalssatz von Person A und den Bildern von A (p_i=Σ_qw_qp_i ^q) sowie von der Menge der Gesamtähnlichkeiten zwischen diesem Referenzmerk malssatz und den Merkmalssätzen aus der Hintergrunddatenbank (r_j=Σ_qw_qr_j ^q) und quantifiziert das Ausmaß der Trennung dieser Mengen:

Hierbei bezeichnen _i und _j die jeweiligen Mittelwerte der Gesamtähnlichkeiten über alle i bzw. j sowie Var(p_i) und Var(r_j) die jeweiligen Varianzen. Alle drei genannten Zielfunktionen ergeben sich bei gegebenen p und r als Funktionen der Gewichte. Zusätzlich zu den Ge wichten muß noch der optimale Schwellwert bestimmt werden:
Bei den beiden erstgenannten Zielfunktionen ergibt er sich bei der Optimierung der Gewichte, bei der dritten Zielfunkti on kann er nach der Gewichtsoptimierung z. B. als Ort der Gleichfehlerrate gewählt werden.

Optimierungsverfahren mit Bestimmung von Gewichten sind be kannt, z. B. als stochastische Suche im Raum der möglichen Ge wichte, siehe z. B. "Numerical Recepis in C" von Press et al, Cambridge University Press, 2. Auflage 1993.

Weiterbildungen der Erfindung ergeben sich aus den Unteran sprüchen, die sich u. a. auf die unterschiedlichen Möglichkei ten für die Berechnung repräsentativer Referenzmerkmalssätze und auf die zusätzliche Verwendung der Nasenlage für die Be stimmung der Gitterpunktpositionen beziehen.

Einzelheiten der Erfindung seien nachfolgend an Hand von in der Zeichnung dargestellten Verfahrensabläufen näher erläu tert. Im einzelnen zeigen

Fig. 1A das Flußdiagramm eines Bilderfassungsprozesses,

Fig. 1B das Flußdiagramm eines anschließenden Optimierungs prozesses und

Fig. 2 das Flußdiagramm für eine Verifikation.

In diesen Flußdiagrammen sind die einzelnen Verfahrensschrit te fortlaufend numeriert und die nachfolgende Erläuterung ist entsprechend dieser Numerierung gegliedert.

Mit Bezug auf Fig. 1A sind das folgende Verfahrensschritte:

1. Innerhalb der durch das System vorgegebenen Zeit von 10 Sekunden werden 8 Bilder aufgenommen. Für jedes zweite Bild werden dabei sofort die Augen lokalisiert. Bei den übrigen Bildern wird nur das Gesicht lokalisiert.
2. Die extrahierten Augenpositionen dienen dann zur Beurtei lung, ob der Erfassungsprozeß erfolgreich war. Ein Erfas sungsprozeß ist erfolgreich, falls die Augen in mindestens 3 der 4 Bilder gefunden wurden und gleichzeitig die Varianz der extrahierten Augenpositionen eine Schwelle überschreitet.
3. Sollte dies der Fall sein, ist die Erfassung beendet.
4. Im anderen Fall werden alle Bilder gespeichert, außer den jenigen, bei denen keine Augen lokalisiert werden konnten.
5. Wiederum werden 8 Bilder aufgenommen, von denen 4 der Au genfindung unterworfen werden. Wie bei der ersten Gruppe von 8 Bildern wird die Varianz der Augenpositionen berechnet.
6. Diese gilt zusammen mit der Anzahl der Bilder, bei denen der Augenfinder erfolgreich war, als Kriterium, ob die Erfas sung erfolgreich war.
7. Im positiven Fall ist die Erfassung beendet.
8. Sollte dies nicht der Fall sein, so werden die Bilder mit lokalisierten Augen gespeichert.
9. siehe 5.
10. siehe 6.
11. siehe 7.
12. Falls die in 2. erwähnten Bedingungen nach keinem der drei Erfassungsschritte erfüllt wurde, gilt die Erfassung als nicht erfolgreich, und der Benutzer wird entsprechend infor miert.

Bei erfolgreich abgeschlossener Erfassung der vorgegebenen Anzahl von Bildern wird auf den Optimierungsprozeß von Fig. 1B übergeleitet:

13. Bei den abgespeicherten Bildern, bei denen bisher keiner lei Verarbeitung durchgeführt wurde, wird nun versucht, das Gesicht und dann die Augen zu lokalisieren. Bilder, bei denen dieses nicht möglich ist, werden verworfen, und es werden die Augenpositionen zu den übrigen Bildern abgespeichert.
Bei allen danach gültigen Bildern werden die Position und die Skalierung des Gesichts bezüglich der Augenpositionen norma lisiert, indem das jeweilige Bild rotiert und skaliert wird, bis die Augen innerhalb des Bildes auf einer horizontalen Li nie liegen und einen vorgegebenen Abstand aufweisen. Für Bilder, bei denen die Augen gefunden wurden, werden auf verschiedenen Auflösungsstufen die Merkmalssätze bestimmt.
14. Auf jeder Auflösungsstufe werden an jedem Gitterpunkt die Referenzmerkmale durch Mittelung über die Merkmale der ein zelnen Bilder bestimmt.
15. Zu Beginn des Optimierungsprozesses werden die relativen Gewichte der Gitterpunkte mit dem Kehrwert der Anzahl der Gitterpunkte initialisiert. Der Zähler i für die Optimie rungsschritte wird auf 0 gesetzt.
16. Für alle Auflösungsstufen wird die EER (equal error rate, Kreuzungspunkt der Kurven für falsche Akzeptanz und falsche Zurückweisung) des Referenzmerkmalssatzes berechnet und unter EER(i) abgespeichert. Die Datenbank für diese Berechnung be steht aus den Merkmalssätzen aller bei der Erfassung akzep tierten Bilder und einer Datenbank von Merkmalen für andere Personen.
17. Wahl einer zufälligen Kombinationen von Gewichten für die Gitterpunkte. Der Schleifenzähler i wird um 1 erhöht.
18. Sollte die maximale Anzahl von Schleifendurchläufen über schritten sein, ist die Optimierung beendet und es wird mit Schritt 22 fortgesetzt.
19. Die neuen Merkmale mit geringster EER, sowie die Schwel len für jede Auflösungsstufe werden gespeichert.
20. Für die zufällige Wahl der Gewichte werden die EERs und die Schwellwerte auf allen Auflösungsstufen berechnet. Die jeweiligen Resultate werden als EER(i) abgespeichert.
21. Falls die neuen Fehlerraten geringer sind als die alten als beste gespeicherten, so wird mit Schritt 19 fortgesetzt. Im anderen Falle folgt Schritt 17.
22. Nach Beendigung der Optimierung werden die Gewichte der Gitterpunkte für die niedrigste EER gespeichert. Ebenfalls gespeichert wird die Auflösungsstufe, auf der diese niedrig ste Rate auftrat, sowie der zugehörige personenabhängige Schwellwert.

Das Verfahren für die Verifikation einer Person umfaßt gemäß dem Flußdiagramm von Fig. 2 folgende Schritte:

31. Die PIN (personal identification number, persönliche Identifikationsnummer) der Person wird eingelesen.
32. Es wird kontrolliert, ob es sich um eine gültige Benut zernummer handelt.
33. Falls die Nummer dem System nicht bekannt ist, wird die Person zurückgewiesen.
34. Es wird kontrolliert, ob die eingegebenen Nummer zu einer autorisierten Person gehört.
35. Sollte das nicht der Fall sein, wird die Person abgewie sen.
36. Die Kamera nimmt ein Bild der Person auf, das über einen Framegrabber an den Computer weitergegeben wird.
37. Im aufgenommenen Bild wird versucht, ein Gesicht zu loka lisieren.
38. Die Ausgabe der Gesichtslokalisierung wird bewertet.
39. Wenn kein Gesicht gefunden wurde, wird die Person abge wiesen.
40. Der Augenfinder versucht, innerhalb des Bildes Augen zu finden.
41. Die Ausgabe der Augenfindung wird bewertet.
42. Falls keine Augen gefunden wurden, wird die Person abge wiesen.
43. Die Position und die Skalierung des Gesichts werden be züglich der Augenpositionen normalisiert. Nach der Normali sierung liegen die Augen innerhalb des Bildes auf einer hori zontalen Linie und haben einen festen, vorgegebenen Abstand. Dazu wird das Bild rotiert und skaliert.
44. Die Merkmale werden auf der Auflösungsstufe extrahiert, die für die entsprechende Person während der Erfassung als optimal ermittelt wurde.
45. Zwischen dem Satz der Referenzmerkmale und den aus dem aktuellen Bild extrahierten Merkmalen wird die Ähnlichkeit berechnet. Dabei werden die als optimal bestimmten Gewichte der Gitterpunkte berücksichtigt.
46. Die ermittelte Ähnlichkeit wird mit der personenspezifi schen Schwelle verglichen.
47. Falls die Ähnlichkeit unterhalb der erforderlichen Schwelle liegt, wird die Person zurückgewiesen.
48. Falls die Ähnlichkeit über der Schwelle liegt, wird die Person akzeptiert.

Analoges gilt für die Identifizierung des Gesichts einer un bekannten Person mit Bezug darauf, ob die Person in der Da tenbank für erfaßte Personen enthalten ist oder nicht.
Literaturverzeichnis:

1. B. Moghaddam und A. Pentland, Face Recognition using View- Based and Modular Eigenspaces, Automatic Systems for the Identification and Inspection of Humans, SPIE Vol. 2277, Juli 1994;
2. R. P. N. Rao und D. H. Ballard: "Natural Basis Functions and Topographic Memory for Face Recognition", Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 1995, pp. 10-17;
3. J. J. Atick, P. A. Griffin, A. N. Redlich: "Statistical Ap proach to Shape from Shading: Reconstruction of 3D Face Sur faces from Single 2D Images", Neural Computation 8, pp. 1321-1340, 1996;
4. W. Konen, E. Schulze Krüger: "ZN-Face: A system for access control using automated face recognition", International Workshop on automatic Face- and Gesture-Recognition, Zürich, June 26.-28., 1995, pp. 18-23. Dazu auch DE 44 06 020 C1;
5. PCT-Anmeldung Wo 92/02000 A1;
6. Mustererkennung 1995, Informatik aktuell, Springer Verlag, S. 110-117.

Claims

1. Verfahren zur Erfassung gesichtsbezogener Personendaten, gekennzeichnet durch folgende Verfah rensschritte:

- Aufnahme mehrerer Bilder von der zu erfassenden Person,
- Lokalisieren des Gesichtes in den aufgenommenen Bildern,
- Lokalisieren der Augen im lokalisierten Gesicht,
- Normalisieren des Gesichts durch Rotieren und Skalieren des jeweiligen Bildes, bis die Augen innerhalb des Bildes auf einer horizontalen Linie mit vorgegebenem Abstand liegen,
- Extraktion von Merkmalen durch Merkmalsdetektoren mit Bezug auf Gitterpunkte eines Gitters, wobei die Positionen der Gitterpunkte durch die Lage der Augen bestimmt sind, mit Zusammenfassung der Merkmale zu einem Merkmalssatz für das jeweilige Bild,
- Berechnung eines repräsentativen Referenzmerkmalssatzes, der die Merkmalssätze aller aufgenommenen Bilder auf kom pakte Weise zusammenfaßt,
- Optimierung von personenabhängigen Gewichten für jeden Re ferenzmerkmalssatz zwecks Optimierung einer Zielfunktion, die eine Funktion dieser Gewichte sowie der Ähnlichkeits werte zwischen dem Referenzmerkmalssatz und denjenigen Merkmalssätzen darstellt, die aus den aufgenommenen Bildern derselben Person und den Bildern anderer Personen aus einer Hintergrunddatenbank gewonnen wurden, mit Bestimmung einer optimalen Akzeptanzschwelle,
- Abspeicherung der so ermittelten gesichtsbezogenen Daten der erfaßten Person.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Be rechnung eines repräsentativen Referenzmerkmalssatzes mittels Durchschnittsbildung und Normalisierung mit Bezug auf alle Bilder der zu erfassenden Person erfolgt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Be rechnung eines repräsentativen Referenzmerkmalssatzes mittels Ableitung des Eigenvektors zum größten Eigenwert der Ähnlich keitsmatrix erfolgt.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Posi tionen der Gitterpunkte zusätzlich durch die Lage der Nase bestimmt werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch die Verwendung der erfaßten und abgespeicherten gesichtsbezogenen Personendaten zur Personenidentifizierung, indem jeweils neu erfaßte Merk malsdaten mit den gespeicherten Referenzdaten verglichen wer den.

6. Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch die Verwendung der erfaßten und abgespeicherten gesichtsbezogenen Personendaten zur Personenverifizierung, indem jeweils neu erfaßte Merk malsdaten mit den durch eine zusätzliche persönliche Kennung ausgezeichneten gespeicherten Referenzdaten verglichen wer den.