DE19847261A1

DE19847261A1 - Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung

Info

Publication number: DE19847261A1
Application number: DE19847261A
Authority: DE
Inventors: Robert Frischholz
Original assignee: DCS DIALOG COMMUNICATION SYSTE
Current assignee: Humanscan GmbH
Priority date: 1998-10-05
Filing date: 1998-10-05
Publication date: 2000-04-06
Also published as: WO2000021021A1; EP1119822A1; US6999606B1; ATE232321T1; DE59904236D1; EP1119822B1

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Gesichtsfindung in einem binarisierten Bild durch Vergleichen der Punktegruppe des binarisierten Bildes mit der Punktegruppe eines Gesichtsmodells, bei dem die Punktegruppen des binarisierten Bildes und des Gesichtsmodells anhand des Hausdorff-Abstandes zwischen den Punkten der Punktegruppen verglichen werden und ein Gesicht in dem binarisierten Bild erkannt wird, wenn ein aus dem Hausdorff-Abstand abgeleitetes Maß einen Grenzwert unterschreitet.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Personen erkennung mit modellbasierter Gesichtsfindung.

Es gibt Verfahren und Systeme zur biometrischen Personenerkennung, die sich auf eine Kombination aus Gesichtserkennung, Spracherken nung und Lippenbewegungserkennung stützen. Der kritische Teil da bei ist die Gesichtsfindung. Die Erfindung betrifft ein Verfahren und ein System zur Lokalisierung des Gesichts einer Person in be liebigen Kamerabildern innerhalb eines solchen Systems zur biome trischen Personenerkennung.

Das grundlegende Element bei der Gesichtserkennung ist die Ge sichtsfindung, d. h. die exakte Lokalisierung des Bildausschnittes, der dem menschlichen Gesicht entspricht. Im Stand der Technik ver einfachen einige Lösungsvorschläge diese Problematik, indem sie einen einheitlichen Hintergrund fordern, vor dem dann das Gesicht gefunden werden kann. Auch durch Hinzunahme der Bewegtbildinfor mationen kann ein Gesicht erkannt werden, wobei hier unterstellt wird, daß nur der Bereich des Bildes, der sich im Laufe einer Bildfolge ändert, das Gesicht enthält.

Solche einfachen Ansätze genügen den heutigen Anforderungen an die Gesichtsfindung und -erkennung nicht mehr. Die Personenerkennung wird heute beispielsweise durch PC-Desktopkameras und andere mo bile Kameras unterstützt, so daß die Gesichtsfindung auch dann robust funktionieren muß, wenn ein beliebiger Hintergrund oder sogar ein bewegtes Hintergrundbild vorliegt.

Die erfolgreichsten der heute bekannten Ansätze auf diesem Gebiet benutzen neuronale Netze. Diese Netze werden mit einer großen An zahl von Gesichtsbeispielen trainiert, wobei bei dem Training als Gegenklasse eine noch größere Anzahl von "Nicht-Gesichtsbildern" verwendet wird, damit das neuronale Netz schließlich zwischen Ge sicht und Hintergrund unterscheiden kann. Ein Nachteil dieser Me thode ist neben der langen Rechenzeit die starke Abhängigkeit von Varianzen, wie Skalierung, Rotation und Verzerrung.

Die Erfindung hat daher zur Aufgabe, ein neues System und Verfah ren zur Gesichtsfindung anzugeben, das robust ist und eine Ge sichtsfindung in Echtzeit zu leisten vermag.

Zur Lösung dieser Aufgabe schlägt die Erfindung ein Verfahren mit den Merkmalen von Anspruch rund ein System mit den Merkmalen von Anspruch 8 vor.

Das erfindungsgemäße Verfahren und System sind modellbasiert. Das heißt, es wird ein binäres Bild eines menschliches Gesichtes, oder eine sogenannte "Strichzeichnung" in einem entsprechenden Gesamt bild gesucht. Aus einem Originalbild wird also zunächst ein bina risiertes Bild, z. B. mittels Kantenextraktion, erzeugt, und dieses binarisierte Bild wird mit einem binären Gesichtsmodell vergli chen, um das Bild des menschlichen Gesichtes in dem entsprechend binarisierten Gesamtbild zu suchen und zu finden. Es wird also nicht, wie bei den bisherigen Ansätzen des Standes der Technik, der Intensitätswert der einzelnen Kamerapixel verglichen oder nach Pixelveränderungen gesucht, sondern die Erfindung stützt sich auf eine Modellstruktur nach Art einer Strichzeitung, die z. B. in Form einer Bitabbildung vorliegen kann.

Das Modell des Gesichtes oder die "Strichzeichnung", wird mit dem binarisierten Bild mit Hilfe einer modifizierten Version des sog. Hausdorff-Abstandes in zahlreichen Skalierungs-, Rotations- und Verzerrungsvarianten des Bildes verglichen. Die Anwendung des Hausdorff-Abstandes auf die Gesichtserkennung wurde z. B. von B. Takacs und H. Wechsler in "Face Recognition Using Binary Image Metrics", 2nd International Conference on Automatic Face and Ge sture Recognition, IEFF Proceedings, April 1998, beschrieben. Auf diese Veröffentlichung und die dortige Erläuterung des Hausdorff- Abstandes wird ausdrücklich Bezug genommen.

Die genannte Veröffentlichung beschreibt die Anwendung des Haus dorff-Abstandes zum Zwecke der Gesichtserkennung. Ausdrücklich wird darauf hingewiesen, daß die Gesichtsfindung mit einem gänz lich anderen Verfahren erreicht wird. Die Verwendung des Haus dorff-Abstandes zur Gesichtsfindung wurde im Stand der Technik nicht in Erwägung gezogen, u. a. weil dieser Algorithmus sehr viel Rechenzeit in Anspruch nimmt.

Dabei sollte man sich die grundsätzlichen Unterschiede in der Pro blematik der Gesichtsfindung und der Gesichtserkennung ins Ge dächtnis rufen: Wenn das Gesicht in einem, insbesondere bewegten Bild einmal gefunden ist, kann dieses Gesichtsbild zur Erkennung bzw. Identifikation mit nahezu beliebigen Methoden mit einer Samm lung von Gesichtern aus einer Datenbank verglichen werden. Ist das fragliche Gesicht in der Datenbank enthalten, sind die Trefferra ten im allgemeinen üblicherweise sehr hoch, bei etwa 99%. Das Schwierige bei der Personenerkennung ist jedoch der vorausgeschal tete Schritt, in einem beliebigen Bild zunächst das Gesicht zu finden und perfekt "auszuschneiden". Was bei der wortsinngemäßen Gegenüberstellung Gesichtserkennung/Gesichtsfindung also als ge ringfügiger Unterschied erscheinen mag, ist im Ergebnis für die Gesichts- und somit Personenerkennung entscheidend für die Güte des Ergebnisses.

Der Bildvergleich mithilfe des Hausdorff-Abstandes basiert auf folgenden Grundlagen:

Aus dem binarisierten Bild und dem Gesichtsmodell werden zwei Punktegruppen gebildet,

A = {a₁, . . ., a_m}

und

B = {b₁, . . ., b_n}

der Hausdorff-Abstand ist dann definiert durch H (A, B) = max (h (A, B), h (B, A)), wobei

h(A, B) = max|a∈A min|b∈B ∥a-b∥.

Das erfindungsgemäße System und Verfahren sind unempfindlich ge genüber den häufigsten Störeinwirkungen, wie eine Drehung, unter schiedliche Skalierung oder Verzerrung des Bildes, weil diese bei dem Vergleich der Punktegruppen leicht berücksichtigt werden kön nen. Auch ist für den Einsatz des erfindungsgemäßen Verfahrens kein langer Einlernvorgang nötig, anders als bei den neuronalen Netzen. Im Gegensatz zu den Ansätzen mit neuronalen Netzen müssen auch keine "Nicht-Gesichtsbilder" vorgegeben, gelernt oder auf andere Weise berücksichtigt werden. Das System erkennt ein Ge sicht, wie der Mensch, aufgrund der Eigenschaften des Gesichtes selbst, nicht aufgrund der Eigenschaften des Hintergrundes, die somit nicht berücksichtigt werden müssen. Durch eine geeignete Ausbildung des Modells, der "Strichzeichnung", können gesuchte Besonderheiten (z. B. Brillenträger) schnell in dem Modell berück sichtigt werden.

Das erfindungsgemäße System und Verfahren können in der Zukunft in biometrischen Identifikationssystemen zur automatischen biometri schen Zugangskontrolle verwendet werden, bei denen häufig die Ge sichtserkennung, Spracherkennung, Lippenbewegungserkennung, Reti naabtastung, etc. kombiniert werden. Mit Hilfe der Erfindung ist es möglich, für die Gesichtserkennung den exakten Gesichtsaus schnitt zu finden, die exakte Augenposition für eine Retinaabta stung zu lokalisieren, die exakte Mundposition zur Berechnung der Lippenbewegungen zu lokalisieren und dergleichen.

Das erfindungsgemäße System und Verfahren können jedoch noch sehr viel universeller eingesetzt werden, indem z. B. durch Vorgabe entsprechender binärer Modelle nur Menschen mit bestimmten Ge sichtszügen erkannt werden, um nach solchen Merkmalen wie Mimik, Rasse oder Geschlecht zu unterscheiden. Das erfindungsgemäße Ver fahren und System sind nicht einmal auf die Gesichtsfindung be schränkt, weil das Modell, nach dem gesucht wird, auch eine Hand oder einen anderen oder mehrere Teile des menschlichen Körpers oder einer Sache umfassen könnte.

In ihren bevorzugten Ausführungsformen sieht die Erfindung für die Gesichtsfindung die Anwendung eines modifizierten Hausdorff-Ab standes vor, um den Rechenaufwand zu minimieren und so ein Ergeb nis innerhalb einer vertretbaren Rechenzeit zu erhalten. Mit der derzeitigen Ausführungsform des modifizierten Hausdorff-Abstandes zur Gesichtsfindung kann etwa ein Gesichtsbild pro Sekunde detek tiert werden.

Zusätzlich sieht die Erfindung eine neuartige Vorauswahl des Bil des durch eine spezielle Ausnutzung der Voronoioberfläche vor, die auch zur Beschleunigung des Verfahrens beiträgt.

Das erfindungsgemäße System und Verfahren können sowohl als Soft ware als auch als Hardwaremodule realisiert werden, wobei die mo difizierten Algorithmen entweder programmiert oder in einer eige nen Hardware realisiert und somit wenigstens in der Hardwarelösung echtzeitfähig sind.

Die Erfindung ist im folgenden mit weiteren Einzelheiten in bezug auf die Zeichnungen näher erläutert. In den Figuren zeigen:

Fig. 1 ein Originalbild, das mit einer digitalen Kamera aufgenommen wurde;

Fig. 2 eine binarisierte Version des Originalbildes der Fig. 1;

Fig. 3 ein binäres Gesichtsmodell in Form einer Strich zeichnung; und

Fig. 4 die mit Hilfe des Gesichtsmodelles der Fig. 3 in dem binarisierten Bild der Fig. 2 gefundene Position des Gesichtsmodells.

Fig. 1 zeigt das Originalbild einer Person mit Gesicht, Schulter partie und Hintergrund, das mittels Kantenextraktion in das in Fig. 2 dargestellte binarisierte Bild umgewandelt wird. Hierzu werden die Kanten am Hell-Dunkel-Übergang in dem Originalbild dazu verwendet, eine Art Strichzeichnung des binarisierten Bildes gemäß Fig. 2 herzustellen. Gesucht wird nach dem zweidimensionalen Ge sichtsmodell der Fig. 3 mit Hilfe des Hausdorff-Abstandes unter den unten näher erörterten Bedingungen.

Der allgemeine Hausdorff-Abstand bietet ein Mittel zur Bestimmung der Ähnlichkeit einer Punktgruppe zu einer anderen durch Untersu chung des Anteils der Punkte in der einen Gruppe, die in der Nähe von Punkten in der anderen Gruppe, oder umgekehrt, liegen. Es gibt zwei Parameter, um zu entscheiden, ob die zwei Punktegruppen ein ander ähneln oder nicht: (i) der maximale Abstand, den die Punkte voneinander entfernt sein können und bei dem sie gleichwohl noch als nah beieinander liegend betrachtet werden, und (ii) welcher Anteil der Punkte in einer Gruppe maximal diesen Abstand von den Punkten in der anderen Gruppe entfernt ist.

Die Gesichtsfindung mit Hilfe des Hausdorff-Abstandsmaßes unter scheidet sich von anderen Techniken, wie der binären Korrelation, weil es keine Paarung der Punkte in den beiden Gruppen gibt, die verglichen werden. Eine Erläuterung der mathematischen Grundlagen des Hausdorff-Abstandes findet man im Internet unter der Adresse http://www.cs.cornell.edu/ Vision/hausdorff/hausmatch.html. In diesem Dokument sind die Grundlagen des Hausdorff-Abstandes erläu tert, auf die Bezug genommen wird.

Die zweidimensionale Bildabbildung der Fig. 3 dient also als ein Gesichtsmodell, das in dem binarisierten Bild der Fig. 2 lokali siert werden soll, wobei geeignete zweidimensionale Transformatio nen und Skalierungen vorgenommen werden können.

Fig. 4 zeigt die beste Übereinstimmung des Modells der Fig. 3 mit dem binarisierten Bild der Fig. 2 und somit die gefundene Position des Modells in dem binären Bild in dem Sinne, daß in Fig. 4 der größte Anteil der binarisierten Kantenpunkte der Fig. 2 in der Nähe der Bildpunkte der Fig. 3 liegen. Bei Verwendung des Hausdorff-Abstandes findet man auch dann eine Übereinstimmung zwi schen dem Gesichtsmodell und dem binarisiertem Bild, wenn die ent sprechenden binären Punkte nicht exakt übereinanderliegen.

Zur Realisierung dieses modellbasierten Gesichtsfindungsverfahrens werden bei einer bevorzugten Ausführungsform der Erfindung folgen de Modifikationen des Hausdorff-Abstandes vorgenommen, um eine Gesichtsfindung in Echtzeit zu erreichen:

Die Erfindung verwendet einen hierarchischen Ansatz, bei dem zu nächst das binarisierte Bild stark verkleinert wird, in dem ver kleinerten binarisierten Bild nach einem entsprechend kleinen Ge sichtsmodell gesucht wird; und wenn eine bestimmte Region als wahrscheinlicher Ort des gesuchten Gesichtes erkannt wird, wird diese Region und ihre Umgebung vergrößert, um den Suchvorgang mit einem entsprechend größeren Modellgesicht fortzusetzen, usw.

Bei dieser hierarchischen Suchweise werden unterschiedliche Model le verwendet; d. h. bei dem stark verkleinerten binarisierten Bild wird z. B. ein Modell (Fig. 3) mit Schultern verwendet, um die Person zuverlässig zu erkennen. Je größer der Maßstab des binari sierten Bildes wird, desto feiner wird auch die Auflösung, und desto detaillierter wird das Modell für die Gesichtsfindung, so daß schließlich ein Modell verwendet werden kann, das z. B. nur noch Augen, Nase und/oder Mund enthält.

Auch die Kantenextraktion zur Herstellung des binarisierten Bildes der Fig. 2 kann an die jeweiligen Hierarchiestufen, in denen un terschiedlich feine Auflösungen benötigt werden, angepaßt werden. Hierzu sieht die Erfindung die Verwendung eines adaptiven Sobel- Filters vor.

Innerhalb der verschiedenen Hierarchiestufen können jeweils geeig nete Rotationen des Bildes und/oder des Modells vorgenommen wer den.

Zusätzlich sieht die Erfindung vorzugsweise eine Vorfilterung des binarisierten Bildes (Erosion, Dilatation, etc.) vor.

Ein weiteres wichtiges Merkmal der Erfindung ist die Modifikation des Hausdorff-Abstandes. Bei einer besonders bevorzugten Ausfüh rungsform der Erfindung ist vorgesehen, mit einem modifizierten Hausdorff-Abstand zu arbeiten, bei dem nicht nur der mittlere Ab stand aller minimalen Abstände zwischen Modell und Bild als Ab standsmaß verwendet wird, sondern bei dem der Mittelwert der er sten x% (0<x<100) aller minimalen Abstände als Grundlage der Be rechnung des Hausdorff-Maßes dient, damit größere Abweichungen ("Ausreißer") nicht berücksichtigt werden und das Ergebnis verfäl schen.

Claims

1. Verfahren zur Gesichtsfindung in einem binarisierten Bild durch Vergleichen der Punktegruppe des binari sierten Bildes mit der Punktegruppe eines Gesichts modells, bei dem die Punktegruppen des binarisierten Bildes und des Gesichtsmodells anhand des Hausdorff- Abstandes zwischen den Punkten der Punktegruppen ver glichen werden und ein Gesicht in dem binarisierten Bild erkannt wird, wenn ein aus dem Hausdorff-Abstand abgeleitetes Maß einen Grenzwert unterschreitet.

2. Verfahren nach Anspruch 1, bei dem das binarisierte Bild aus dem Originalbild mittels Kantenextraktion abgeleitet wird.

3. Verfahren nach Anspruch 1 oder 2, bei dem das binari sierte Bild zunächst in einem kleinen Maßstab mit einem entsprechend kleinen Gesichtsmodell verglichen wird, der Bereich des binarisierten Bildes, in dem ein Gesicht gefunden wurde, vergrößert und mit einem entsprechenden größeren Gesichtsmodell erneut vergli chen wird und das Vergrößern und Vergleichen von bi narisiertem Bildbereich und Gesichtsmodell ggf. wie derholt wird, bis das Gesicht in dem binarisierten Bild mit ausreichender Genauigkeit lokalisiert wurde.

4. Verfahren nach Anspruch 3, bei dem je nach Größe des binarisierten Bildes unterschiedliche Gesichtsmodelle mit unterschiedlicher Auflösung verwendet werden.

5. Verfahren nach Anspruch 3 oder 4, bei dem je nach Größe des binarisierten Bildes die Kantenextraktion für die Ableitung des binarisierten Bildes aus dem Originalbild mit unterschiedlicher Auflösung erfolgt.

6. Verfahren nach einem der Ansprüche 3 bis 5, bei dem je nach Größe des binarisierten Bildes unterschiedli che Rotationsstufen verwendet werden.

7. Verfahren nach einem der vorangehenden Ansprüche, bei dem das Hausdorff-Maß auf der Grundlage des Mittel wertes der kleinsten x% aller minimalen Hausdorff- Abstände ermittelt wird, wobei 0<x<100.

8. System zur Realisierung des Verfahrens nach einem der vorangehenden Ansprüche mit einer Rechenvorrichtung zur Berechnung des Hausdorff-Abstandes und des Haus dorff-Maßes auf der Grundlage der Punkte des binari sierten Bildes und des Gesichtsmodells.