DE69328982T2

DE69328982T2 - Gesichtsklassifizierung

Info

Publication number: DE69328982T2
Application number: DE69328982T
Authority: DE
Inventors: Richard David Gallery; Timothy Ian Paterson Trew
Original assignee: Philips Electronics UK Ltd; Koninklijke Philips Electronics NV
Current assignee: Philips Electronics UK Ltd; Koninklijke Philips NV
Priority date: 1992-01-17
Filing date: 1993-01-11
Publication date: 2001-02-15
Anticipated expiration: 2013-01-12
Also published as: DE69328982D1; EP0551941B1; US5561718A; EP0551941A2; GB9201006D0; EP0551941A3; JPH05266173A

Description

Die Erfindung bezieht sich auf ein Gesichtsklassifizierungssystem. Die Erfindung bezieht sich weiterhin auf ein Sicherheitssystem, das imstande ist, unter Anwendung von Gesichtsklassifizierung Personen zu identifizieren.
Jedes Verfahren zur Gesichtsklassifizierung wird im Grunde in zwei Stufen aufgeteilt: a) Gesichtsortung und b) Klassifizierung.
Eine Übersicht der Anwendung von Gesichtserkennung für Sicherheitszwecke von M. Nixon, "Automated Facial Recognition and its Potential for Security", Iee Coloquium on "MMI in Computer Security", (Gigest Nr. 80) (1986), klassifiziert Gesichtserkennungstechniken statistisch oder strukturell in Seitenansicht oder Vorderansicht. Für Vorderansicht werden die strukturellen Techniken weiter in Termen von Eigenschaftsmessungen und Winkelmessungen klassifiziert.
Jedes System, das in einer natürlichen Umgebung arbeiten soll muss eine strukturelle Annäherung benutzen, die gewisse Kenntnisse über die Struktur eines Gesichtes umfasst, so dass Eigenschaften bei variierenden Lichtverhältnissen, Hintergründen und Posen dennoch geortet werden können. Es werden Matrizen konstruiert auf Basis der Verhältnisse zwischen örtlichen Gesichtseigenschaften, und werden danach benutzt zum Klassifizieren des Gesichtes. Ein Problem bei dieser Annäherung ist das Wählen geeigneter Matrizen. So hat beispielsweise R. Burr: "Front Face Analysis and Classification (Analyse und Klassifikation von Gesichtsbildern), NTZ Archiv 8, Nr. 10, Seiten 245-256 (1986) vorgeschlagen, 45 Messungen zu benutzen. Außerdem ist es für eine solche Annäherung notwendig, die Gesichtseigenschaften mit großer Genauigkeit zu orten. Andere Beispiele dieser Annäherung sind beschrieben von R. J. Baron "Mechanism of Human Facial Recognition", "Int. J. Man-Machine Studies", 15, Seiten 137-178 (1981) und von T. Sakai, M. Nagao & M. Kanade, "Computer Analysis and Classification of Photographs of Human Faces", "Proc. ist USA-Japan Computer Conf." AFIPS Press, New Jersy, Seiten 55-62 (1972).
Der Reiz der statistischen Annäherung ist die Möglichkeit, dass einfache Verfahren angewandt werden können zum Extrahieren von Eigenschaftenvektoren. I. Aleksander, W. V. Thomas & P. A. Bowden haben in "A Step Forward in Image Recognition" "Sensor Review", Juli, Seiten 129-124 (1984) ein statistisches Gesichtserkennungssystem beschrieben unter Anwendung von WISARD, das imstande ist, ein Muster innerhalb einer Bildperiode zu erkennen. Die größte Schwäche dieses Systems ist, dass es typisch ist für eine bestimmte Position und Orientierung, so das die einzelnen Kennzeichen aus einer Reihe räumlicher Verlagerungen gelernt sein müssen, wodurch die Zuverlässigkeit der Identifikation und die Speicherkapazität des Systems reduziert werden.
Ein transformationsinvariantes Verfahren der rekursiven Unterteilung für Formanalyse ist bekannt aus: "IEEE Proceedings of the 9. International conference on Pattern recognition", "IEEE CAT, Nr. 88CH2614-6", Heft 2, 17 November 1988, Rom, Italien Seiten 833 bis 835 Zhu Q und Pol L. "A transformation-invariant Recursive Subdivision Method for Shape Analysis".
Fourier-Mellin-Transformationen sind bekannt aus "Journal of the Optical Society of America (Optics and image science) Heft 3, Nr. 6 Juni 1986, New York US, Seiten 771-776, Sheng Y und Arsenault H "Experiments on pattern recognition using invariant Fourier-Mellin descriptors".
Eine Ausgangslage von der ganzen statistischen oder ganzen strukturellen Annäherung ist beschrieben von I. Craw & P. Cameron "Parameterising Images for Recognition and Reconstruction" BMVC 91, Seiten 367-370, Springer-Verlag (1991), wobei eine hybride strukturell/statistische Annäherung angewandt wird, wobei eine Vielzahl von Eigenschaftspunkten benutzt werden zum Normieren der Form des Gesichtes, und wobei danach eine prinzipielle Komponentenanalyse durchgeführt wird zum Erhalten einer kleiner bemessenen Darstellung des Gesichtes. Dies wird verglichen mit einer Datei ähnlich codierter Gesichter für Erkennungszwecke. Eine solche hybride Annäherung geht auf Kosten des Vorteils, dass das Gesicht nicht allzusehr (strukturell) beschränkt zu werden braucht und dass ebenfalls die wesentlichen Vorteile der statistischen Methoden beibehalten werden.
In US 4975969 werden Methoden, Einrichtungen und Sicherheitssysteme zur einzigartigen Identifikation von Personen durch ihre Spezifischen physikalischen Charakteristiken und insbesondere Abstände und/oder Verhältnisse von Abständen zwischen identifizierbaren Punkten im menschlichen Gesicht beschrieben. Es wird ebenfalls ein Sicherheitssystem beschrieben, das eine Videokamera aufweist, sowie ein Sicherheitssystem für ein Computerterminal.
Die Erfindung schafft ein Gesichtsklassifikationssystem mit ersten Mitteln zum abmessungsmäßigen Orten der Szene, zweiten Mitteln zum Orten des Gesichtes in der Szene, dritten Mitteln zum Bilden einer drehungs-, skalierungs-, translations- und graupegelintensitätsinvarianten Darstellung des Gesichtes und zum Erzeugen eines Kennzeichenvektors daraus, und vierten Mitteln zum Vergleichen des Kennzeichenvektors des soeben georteten Gesichtes mit dem Kennzeichenvektor eines vorher georteten Gesichtes, dadurch gekennzeichnet, dass die dritten Mittel Mittel aufweisen zum Passen einer Kontur auf das Gesicht, und Mittel zum Durchführen einer Fourier-Mellin-Transformation an dem Gesicht, bezogen auf den Mittelpunkt zwischen den Augen zum Erzeugen eines Kennzeichenvektors des Gesichtes.
Durch Anwendung einer drehungs-, skalierungs-, translations- und graupegelintensitätsinvarianten Darstellung auf das Gesicht können Beschränkungen in Bezug auf die Position und die Orientation des Gesichtes und auf die Beleuchtung der Szene verringert werden, wodurch es möglich ist, die Gesichtsklassifizierung in Bezug auf die betreffende Person diskret durchzuführen. Da aber die Fourier-Mellin- Transformation relativ störungsunempfindlich ist, ist ein homogenes Bild nicht translationsinvariant. Durch Ortung des Mittelpunktes zwischen den Augen und durch Beziehung der Transformation auf diesen Punkt kann eine effektiv translationsinvariante Transformation erhalten werden.
Die Erfindung schafft weiterhin ein Gesichtsklassifizierungssystem mit ersten Mitteln zum Orten eines Gesichtes in einer zweidimensionalen Darstellung einer dreidimensionalen Szene, mit zweiten Mitteln zum Orten des Gesichtes in der Darstellung der Szene, mit dritten Mitteln zum Bilden einer drehungs-, skalierungs-, translations- und graupegelintensitätsinvarianten Darstellung des Gesichtes und zum Erzeugen eines Kennzeichenvektors daraus, und mit vierten Mitteln zum Vergleichen des Kennzeichenvektors des soeben georteten Gesichtes mit dem Kennzeichenvektor eines vorher georteten Gesichtes zum Bestimmen, ob das soeben geortete Gesicht mit dem vorher georteten Gesicht übereinstimmt, mit dem Kennzeichen, dass die dritten Mittel Mittel aufweisen zum Ergänzen des Gesichtes mit einer Kontur, Mittel zum Orten der Augen und der Nase in dem Gesicht, Mittel zum Aufteilen des Gesichtes durch zwei Linien, und zwar eine, welche die Augen verbindet, und die andere senkrecht dazu und durch die Nase, und Mittel zum Durchführen der rekursiven Unterteilung zweiter Ordnung von Momenten in den unterteilten Gebieten des Gesichtes. Dies schafft einen kurzen Kennzeichenvektor, der eine Minimierung der Speicherung ermöglicht, erforderlich für die Darstellung eines Gesichtes und dies bietet ebenfalls den Vorteil der Verwendung von Information von dem ganzen Gesicht und nicht nur von der Begrenzung oder von anderen Rändern.
Vorzugsweise findet die erste Unterteilung auf der die Augen verbindenden Linie statt und die zweite Unterteilung findet an der senkrecht darauf stehenden Linie statt.
Die rekursive Unterteilung zweiter Ordnung von Momenten ist eine rein statistische Operation und ist in soweit störungsempfindlich, dass eine geringe Störung in der Ortung des Schwerpunktes die nachfolgenden Unterteilungen wesentlich ändern wird. Dadurch, dass strukturelle Information eingeschlossen wird, d. h. dadurch, dass die Ausgangsunterteilung begrenzt wird und durch die Augen stattfindet, so dass zwei Gebiete gebildet werden und danach senkrecht zu der vorhergehenden Unterteilung durch die Nase, so dass jedes Gebiet weiter halbiert wird, wird die Transformation robuster und weniger störungsempfindlich gemacht.
Es kann ein bekanntes homomorphes Filter vorgesehen werden zum Erzeugen einer graupegelintensitätsinvarianten Darstellung.
Dies ist eine bequeme Art und Weise, die Effekte von Beleuchtungsänderungen in der Szene zu minimieren.
Die Erfindung schafft weiterhin noch ein Sicherheitssystem, das eine Videokamera aufweist zum Erzeugen eines Bildrahmens mit darin einem Gesicht, wobei das System weiterhin noch Mittel aufweist zum Bestimmen, ob das betreffende Gesicht Gesichtsübereinstimmungen mit wenigstens einem vorher mit Hilfe eines Gesichtsklassifizierungssystem georteten Gesicht aufweist, und Mittel zum Auslösen einer Sicherheitsmaßnahme, wenn die beiden Gesichter nicht miteinander übereinstimmen.
Es gibt viele potentielle Bereiche zum Anwenden von Sicherheitssystemen mit einem automatischen Gesichtsklassifizierungssystem. Automatischer Zutritt zu gesicherten Gebieten ist ein Beispiel, wobei das Gesicht einer Person, die in das Gebiet eintreten möchte, mit einer Datei von Gesichtern von Personen verglichen werden könnte, denen Zutritt gestattet ist, ggf. mit zusätzlicher Überprüfung einer persönlichen Identifikationsnummer. Eine anderer Anwendungsbereich ist die Vermeidung von unberechtigter Gebrauch von Kreditkarten. Dies könnte die Codierung eines Kennzeichenvektors in dem Speicher der Karte beinhalten, wobei dieser Vektor das Gesicht der Person darstellt, die berechtigt ist, die Karte zu benutzen, wobei dieses Gesicht mit dem Gesicht derjenigen Person verglichen werden könnte, welche die betreffende Karte bei Transaktionen benutzen möchte. Von kritischer Bedeutung bei dieser Anwendung ist die Länge des Kennzeichenvektors, die in den von der Karte getragenen Speicher passen soll. Auf diese Weise muss bei in diesem Anwendungsbereich das Verfahren der Gesichtskennzeichenextraktion ebenfalls die zugeführten Gesichtsdaten komprimieren. Die Benutzung der rekursiven Unterteilung zweiter Ordnung von Momenten ist eine Art und Weise, diese Anforderung zu erfüllen.
Es ist ebenfalls von Bedeutung, den Raum, den die gespeicherten Kennzeichenvektoren in dem zentralen Speicher für den automatischen Zutritt zu gesicherten Gebieten beanspruchen, zu minimieren, wenn die Datei der zugelassenen Personen beträchtlich ist. Während es möglich wäre, wenn es sich um Zutritt zu einem gesicherten Gebiet handelt, das am Eingang angebotene Gesicht mit allen in der Datei gespeicherten Gesichtern von zugelassenen Personen, zu vergleichen, kann es bevorzugt werden, eine persönliche Identifikationsnummer zu haben, die jeder berechtigten Person zugeordnet ist, und diese Nummer zum Identifizieren des gespeicherten Kenn zeichenvektors des Gesichtes derjenigen Person zu benutzen, die eintreten möchte, um diesen Vektor mit dem von einer Eingangskamera erzeugten Vektor zu vergleichen.
Eine alternative Prozedur mit Kreditkarten wäre, wenn man über eine zentrale Datei mit Kennzeichenvektoren aller Kartenhalter verfügen würde, und wenn bei dem Transaktionsterminal ein Kennzeichenvektor des Kartenbenutzers gemacht wird. Der Kennzeichenvektor würde dann der zentralen Datei zugeführt, wo der Vergleich durchgeführt werden würde, wobei eventuell Kreditkartendaten benutzt werden zum Adressieren des geeigneten Kennzeichenvektors in dem Transaktionsterminal. Dadurch kann auf die Notwendigkeit verzichtet werden, den Kennzeichenvektor auf der Karte zu speichern und dadurch fällt die durch die Speicherkapazität der Karte verursachte Beschränkung in Bezug auf die Länge des Kennzeichenvektors fort. Es ist dennoch erwünscht, die Länge des Kennzeichenvektors zu minimieren zum Reduzieren der erforderlichen Kapazität der zentralen Datei und ebenfalls zum Reduzieren der Übertragungszeit, erforderlich zur Übertragung des Kennzeichenvektors von dem Transaktionsterminal zu der zentralen Datei.
Durch Übertragung des Kennzeichenvektors zu einer zentralen Datei kann die Komplexität des Transaktionsterminals dadurch minimiert werden, dass die Vergleichsmittel für die Kennzeichenvektoren nicht unbedingt in dem Transaktionsterminal vorgesehen zu sein brauchen. Es werden selbstverständlich viele Transaktionsterminals mit der Kartenprüfdatei verbunden sein und eine Minimierung deren Kosten ist beim Einrichten eines Vergleichssystems wichtig.
Ein derartiges Sicherheitssystem zum Einsatz bei einem Computerterminal kann das Gesicht des Benutzers periodisch überprüfen und bestimmen, ob das aktuelle Gesicht noch mit dem Gesicht beim Einloggen übereinstimmt.
Da der Einsatz von Arbeitsstationen in einer finanziellen oder anderen kommerziellen Umgebung immer mehr verbreitet wird, wird die Arbeitsstationssicherheit von riesiger Bedeutung. Ein ganz großes Problem bei der Behauptung der Integrität der Arbeitsstationssicherheit ist, dass die berechtigten Benutzer einen Terminal unbemannt zurücklassen, ohne dass man sich ausloggt oder ohne dass das System in die Pause-Mode geschaltet wird. Unberechtigte Personen können dann Zugriff auf das System bekommen. Eine bereits existierende Lösung dieses Problems ist eine Passwortüberprüfung, entweder periodisch oder wenn das Tastenfeld einige Zeit unbemannt gelassen wurde, was selbstverständlich eine relativ aufdringliche Methode ist. Eine andere angewandte biometrische Technik basiert auf die Analyse des Berührungsrhythmus des Tastenfeldes des berechtigten Benutzers. Solche Techniken bringen aber Schwierigkeiten mit sich wenn es sich um Personen handelt, deren Schreibstil sich bei der Erledigung verschiedener Aufgaben ändert.
Durch ständiges Überwachen der Gesichtskennzeichen des Benutzers ist es möglich, zu gewährleisten, dass keine andere Person die Benutzung des Terminals seit dem Einloggen übernommen hat.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
Fig. 1 ein Blockschaltbild einer Ausführungsform eines Gesichtsklassifizierungssystem nach der vorliegenden Erfindung,
Fig. 2 ein Blockschaltbild einer Ausführungsform einer Computerarbeitsstation, wobei ein Gesichtsklassifizierungssystem nach der vorliegenden Erfindung einverleibt ist,
Fig. 3 eine Darstellung der Kennzeichenvektoren, erzeugt durch Momentaufteilung zweiter Ordnung von Gesichtern, und
Fig. 4 ein Flussdiagramm zur Erläuterung der Wirkungsweise eines Sicherheitssystems für eine Computerarbeitsstation.
Wie in Fig. 1 dargestellt, werden Bilddaten von einer (nicht dargestellten) Videokamera über einen Eingang 1 einem homomorphen Filter 2 zugeführt zum Entfernen der Effekte von Beleuchtungsänderungen in der Darstellung der Szene. Die Bilddaten werden ebenfalls Gesichtsortungs- und -extraktionsmitteln 3 zugeführt. Bei dieser speziellen Ausführungsform umfassen die Gesichtsortungs- und- extraktionsmittel 3 einen Randdetektor 4 und Hough-Transformationsmittel 5, aber sie kann auch andere Formen haben, beispielsweise wie die, beschrieben von E. Badique in einer Veröffentlichung mit dem Titel: "Knowledge-Based Facial Area Recognition and Improved Coding in a CCITT-Compatible Low-bitrate Video-Codec" dargeboten bei dem "Picture Coding Symposium" in Cambridge, Massachusetts am 26. Bis zum 28. März 1990.
Ein einfaches Modell der Kontur eines Gesichtes ist eine Ellipse und eine Architektur zum Passen von Ellipsen auf Gesichter ist beschrieben von A. A. Rajala und A. M. Alattair in: "A Parallel/Pipeline Structure for the Primitive-Based Image Codec for Coding Head and Shoulders Images" PCS90, Seiten 9.16-9.17 (1990). Eine genauere Modellbildung von Gesichtern, wobei eine simulierte Härtung angewandt wird zum Passen einer Kopfkontur zu einem Gesicht, wurde beschrieben von A. Bennet und I. Craw in: "Finding Image Features Using Deformable Templates and Detailled Prior Statistical Knowledge" BMVC 91, Seiten 233-239, Springer-Verlag (1991).
Die Ortung der Augen und des Mundes innerhalb des Gesichtes wird mit den Mitteln 6 bestimmt. Dies kann aus den Kenntnissen der Geometrie des Gesichtes und aus der Detektion von Gebieten mit der größten Bewegung erzielt werden. Die Augen und der Mund ändern oft ihre Form und befinden sich an den Ecken eines Dreiecks.
Danach wird eine rekursive Unterteilung von Momenten zweiter Ordnung den gefilterten Bilddaten von dem homomorphen Filter 2 zugeführt. Diese Transformation beschränkt sich auf das Gesichtsgebiet, wobei das Modell der Kontur des Gesichtes benutzt wird, das von den Gesichtsextraktions- und -ortungsmitteln 3 erzeugt wird und wird beschränkt durch erstens eine Unterteilung durch eine Linie, welche die beiden Augen verbindet und zweitens eine Unterteilung durch eine Linie senkrecht darauf, die durch die Nase geht. Durch Beschränkung der Unterteilungen können die Effekte von Störungen reduziert werden. Die Mittel 7 zum Durchführen der rekursiven Unterteilung von Momenten zweiter Ordnung liefert einen Kennzeichenvektor, der charakteristisch ist für ein bestimmtes Gesicht. Dieser Vektor wird einer Klassifizierungsstufe 8 zugeführt, die den soeben erhaltenen Kennzeichenvektor mit einem gespeicherten Kennzeichenvektor vergleicht zum Bestimmen, ob es sich um dasselbe Gesicht handelt. Die Klassifizierungsstufe 8 kann eine Mehrschichtempfangsstufe sein, die auf bekannte Art und Weise trainiert werden kann, Gesichter zu klassifizieren. Für geeignete Trainingsmethoden kann verwiesen werden auf das Buch:
"Neural Computing - Theory and Practice" von Philips D. Wasserman, veröffentlicht von Van Nostrand Reinhold, New York.
Fig. 3 zeigt Beispiele von Kennzeichenvektoren, erzeugt von der Unterteilung von Momenten zweiter Ordnung, beschränkt durch eine erste Unterteilung durch eine Linie, welche die Augen miteinander verbindet und durch eine zweite Unterteilung durch eine Linie. Senkrecht darauf, durch die Nase für zwei Zeitpunkte der Gesichter zweier Personen.
Fig. 2 zeigt ein Blockschaltbild einer Computerarbeitsstation, die eine zentrale Verarbeitungseinheit 10 hat, mit der ein Tastenfeld 11, eine Video-Wiedergabeeinheit 12 und ein Speicher 13 verbunden ist. Eine Videokamera 14 ist derart vorgesehen, dass diese einen Benutzer der Computerarbeitstation beobachten kann und schafft ein Ausgangssignal, das einem Bildgreifer 16 und Codec 16 zugeführt wird. Das Ausgangssignal des Bildgreifers 15 wird der zentralen Verarbeitungseinheit 10 zugeführt.
Das Flussdiagramm aus Fig. 4 zeigt die Wirkungsweise des Sicherheitssystems in der in Fig. 3 dargestellten Arbeitsstation. Beim Start ST, d. h. das Einloggen des Benutzers, werden die Videobilder von dem Bildgreifer 15 gegriffen und die zentrale Verarbeitungseinheit 10 führt die homomorphe Filterung der Bilddaten sowie die Gesichtsortung durch, wie durch den Kasten LF dargestellt ist. Es wird danach eine Entscheidung getroffen, und zwar IFAC?, d. h. die Frage, ob das Gesicht einwandfrei ausgerichtet ist, beispielsweise ob die beiden Augen von der Kamera sichtbar sind. Wenn die Kamera neben der VDU vorgesehen ist, wird dies meistens der Fall sein, aber wenn die Entscheidung ist, Nein, dann folgt die Schleife 100 und es werden weitere Bilder gegriffen, bis das Gesicht einwandfrei ausgerichtet ist. Wenn einmal ein einwandfrei ausgerichtetes Gesicht detektiert worden ist, wird es aus dem Bild EFFI ("extract face from image") extrahiert und danach wird ein Modell, beispielsweise eine Ellipse, auf die Umrandung gepasst FMFB ("fit model to facial boundary"). Die Berechnung der rekursiven beschränkten Unterteilung von Momenten zweiter Ordnung wird danach gestartet durch die Ausgangsunterteilung durch die Augen CIS ("constrain initial sub-division") und die berechneten Kennzeichenvektoren CFV ("calculate feature vector"). Danach wird eine Entscheidung gemacht, ob dies der Initialisierungslauf SIN des Systems ist ("system initialisation run") und wenn Y (ja), wird der Kennzeichenvektor gespeichert SFV ("store feature vector") zum Vergleichen mit berechneten Kennzeichenvektoren von späteren Bildern. Es gibt danach während einer vorbestimmten Zeit eine Pause WFNC ("wait for next check") bis die nächste Überprüfung durchgeführt ist, wenn die Überprüfung der Lage des Gesichtes LF durchgeführt wird.
Wenn es nicht der Systeminitialisierungslauf ist, dann wird der erhaltene Kennzeichenvektor mit dem gespeicherten Kennzeichenvektor verglichen und es wird ein Differenzvektor erzeugt GDV ("generate difference vector". Es wird eine Entscheidung getroffen ob dasselbe Gesicht geortet worden ist, und zwar durch Schwellensetzung der Differenzvektoren SF? ("same face?"). Da einige Anteile der Vektoren empfindlicher sind als andere, sollten die Anteile einzeln gewichtet werden. Dies wird dadurch implementiert, dass Gesichtpaare genommen werden, die von derselben oder von einer anderen Person sein können und dass eine Mehrschichtperzeption trainiert wird, was den Klassifizierer bildet, in Bezug auf die Differenz zwischen den Vektoren zum Wiedererkennen dieser zwei Klassen, wodurch es möglich ist für den Klassifizierer zu entscheiden, ob die Vektoren einander in ausreichendem Maße entsprechen um dasselbe Gesicht zu bilden. Wenn die Antwort Ja "Y" ist, bedeutet dies, dass der Klassifizierer glaubt, es sei dasselbe Gesicht, wonach gewartet wird, bis die nächste Überprüfungsschleife TFNC durchgeführt wird und inzwischen wird das Gesicht des Benutzers wieder geprüft um zu sehen, ob es sich um dieselbe Person an der Arbeitsstation handelt. In dem Fall, wo eine andere Person an der Arbeitsstation detektiert wird, ist die Antwort auf "SF?" Nein N und es werden weitere Sicherheitsmaßnahmen ausgelöst IFSM ("initiate further security measures"). Diese können verschiedenartig sein, beispielsweise ein hörbares oder sichtbares Alarm, Sperrung der Arbeitsstation, Aufforderung der Eingabe eines Passwortes, usw.
Die Arbeitsfolge des Sicherheitssystems für eine Computer-Arbeitsstation kann wie folgt zusammengefasst werden (dabei nicht achtend auf die Ausgangslage, in der das System das Bild des Gesichtes des Benutzers beim Einloggen greift).
1) Ortung des Benutzergesichtes in dem Bild,
2) Greifen des Gesichtsbildes,
3) Extrahieren des Gesichtes aus dem Hintergrund,
4) Extrahieren der Kennzeichen aus dem Gesicht,
5) Vergleichen des Gesichtes des aktuellen Benutzers mit dem Gesicht des eingeloggten Benutzers,
6) Falls derselbe Benutzer bei 5), dann nach einem bestimmten Zeitintervall 1) bis 5) wiederholen,
Falls ein anderer Benutzer bei 5), dann weitere Sicherheitsmaßnahmen auslösen.
Der Ausgangs-Kennzeichenvektor beim Einloggen ist erforderlich zum Durchführen der obenstehenden Schritte 1) bis 4) und der auf diese Weise erhaltene Kennzeichenvektor wird gespeichert um zu ermöglichen, dass der Vergleichsschritt 5) durchgeführt wird.
Für Anwendung bei anderen Sicherheitsbereichen können in dieser Prozedur Änderungen erforderlich sein und es können entsprechende Systemänderungen auftreten. So soll beispielsweise zum Eintreten in ein gesichertes Gebiet eine Person sich in einer bestimmten Pose vor eine Kamera stellen. Danach wird entweder eine Suche durch eine Datei von Gesichtern zutrittsberechtigter Personen durchgeführt oder Zutritt wird gewährt durch Eingabe eines Codes, entweder mittels einer Karte oder durch Betätigung eines Tastenfeldes, wobei ein Vergleich mit dem einzelnen gespeicherten, mit diesem Code identifizierten Gesicht durchgeführt wird.
Für ein System zur Überprüfung einer Kreditkarte kann eine ähnliche Anordnung benutzt werden, indem eine zentrale Datei von Kennzeichenvektoren aller berechtigten Kartenhalter mittels einer Übertragungsverbindung von einem Transaktionsterminal erreicht werden kann. Der Terminal wird eine Videokamera und Mittel enthalten zum Extrahieren des Gesichtes aus dem von der Kamera erzeugten Bild und zum Erzeugen des Kennzeichenvektors. Dieser Kennzeichenvektor wird danach zu der zentralen Datenverarbeitungsstelle übertragen, wo die Kennzeichenvektoren aller Kartenhalter gespeichert sind. Die Kartennummer kann benutzt werden zum Selektieren des Kennzeichenvektors des berechtigten Benutzers für die Karte aus dem Speicher und dem benutzten Klassifizierer um zu bestimmen, ob das von dem Transaktionsterminal gegriffene Gesicht das Gesicht des berechtigten Benutzers ist. Danach kann ein Berichtigungs- oder ein Alarmsignal, je nachdem, zu dem Transaktionsterminal übertragen werden um eine Berechtigung zu erteilen, bzw. eine solche zu verweigern, um die betreffende Karte zu benutzen.
Eine alternative Einrichtung ist, dass der Kennzeichenvektor der berechtigten Person auf der Karte gespeichert ist. In dem Fall ist es entweder notwendig, dass der Klassifizierer in dem Transaktionsterminal vorgesehen ist, oder dass der gespeicherte Kennzeichenvektor von der Karte und der von dem Transaktionsterminal erzeugte Kennzeichenvektor zu dem Klassifizierer in der zentralen Datenverarbeitungseinrichtung übertragen werden um zu entscheiden, ob die Person, welche die Karte anbietet, die berechtigte Person sei.
Aus der Lektüre der vorliegenden Beschreibung dürften dem Fachmann andere Abwandlungen klar werden. Solche Abwandlungen können andere Merkmale aufweisen, die bereits im Entwurf, bei der Herstellung und im Gebrauch von Gesichtsklassifikations- und -sicherheitssystemen und von Teilen derselben bekannt sind und die statt der bereits hier beschriebenen Merkmale oder zusätzliche zu denselben benutzt werden. Obschon Patentansprüche in dieser Patentanmeldung für spezielle Kombinationen von Kennzeichen formuliert worden sind, sollte es einleuchten, dass der Bereich der Beschreibung der vorliegenden Anmeldung ebenfalls beliebige neue Kennzeichen oder beliebige neue Kombinationen von hier beschriebenen Kennzeichen explizit oder implizit oder jede Verallgemeinerung davon, ob dies zu derselben Erfindung, wie oben in jedem Anspruch beansprucht, gehört oder nicht, oder ob dies ein oder all dieselben technischen Probleme löst, wie bei der vorliegenden Erfindung. Die Anmelderin möchte bemerken, dass neue Ansprüche zu solchen Kennzeichen und/oder Kombinationen solcher Kennzeichen während der Behandlung der vorliegenden Patentanmeldung oder von weiteren hiervon abgeleiteten Patentanmeldungen formuliert werden können.

Claims

1. Gesichtsklassifikationssystem mit ersten Mitteln zum Orten eines Gesichtes in einer zweidimensionalen Darstellung einer dreidimensionalen Szene, mit zweiten Mitteln zum Orten des Gesichtes in der Szene, mit dritten Mitteln zum Bilden einer drehungs-, skalierungs-, translations- und graupegelintensitätsinvarianten Darstellung des Gesichtes und zum Erzeugen eines Kennzeichenvektors daraus, und mit vierten Mitteln zum Vergleichen des Kennzeichenvektors des soeben georteten Gesichtes mit dem Kennzeichenvektor eines vorher georteten Gesichtes um zu bestimmen, ob das soeben geortete Gesicht mit dem vorher georteten Gesicht übereinstimmt, dadurch gekennzeichnet, dass die dritten Mittel Mittel aufweisen zum Passen einer Kontur auf das Gesicht, und Mittel zum Durchführen einer Fourier-Mellin-Transformation an dem Gesicht, bezogen auf den Mittelpunkt zwischen den Augen zum Erzeugen eines Kennzeichenvektors des Gesichtes.

2. Gesichtsklassifizierungssystem mit ersten Mitteln zum Orten eines Gesichtes in einer zweidimensionalen Darstellung einer dreidimensionalen Szene, mit zweiten Mitteln zum Orten des Gesichtes in der Darstellung der Szene, mit dritten Mitteln zum Bilden einer drehungs-, skalierungs-, translations- und graupegelintensitätsinvarianten Darstellung des Gesichtes und zum Erzeugen eines Kennzeichenvektors daraus, und mit vierten Mitteln zum Vergleichen des Kennzeichenvektors des soeben georteten Gesichtes mit dem Kennzeichenvektor eines vorher georteten Gesichtes um zu bestimmen, ob das soeben geortete Gesicht mit dem vorher georteten Gesicht übereinstimmt, dadurch gekennzeichnet, dass die dritten Mittel Mittel aufweisen zum Passen einer Kontur auf das Gesicht, Mittel zum Orten der Augen und der Nase in dem Gesicht, Mittel zum Unterteilen des Gesichtes durch zwei Linien, wobei die eine Linie die Augen miteinander verbinden und die andere Linie senkrecht darauf steht und durch die Nase geht, und Mittel zum Durchführen der rekursiven Unterteilung von Momenten zweiter Ordnung an den unterteilten Gebieten des Gesichtes.

3. Gesichtsklassifikationssystem nach Anspruch 2, wobei die erste Unterteilung durch die Linie stattfindet, welche die Augen miteinander verbindet und die zweite Unterteilung stattfindet durch die senkrecht darauf stehende Linie.

4. Gesichtsklassifizierungssystem nach einem der vorstehenden Ansprüche, wobei ein homomorphes Filter (2) vorgesehen ist zum Erzeugen einer graupegelintensitätsinvarianten Darstellung.

5. Sicherheitssystem (14, 15, 16) mit einer Videokamera (14) zum Erzeugen eines Bildes mit einem Gesicht, mit Mitteln um zu bestimmen, ob das aktuelle Gesicht mit wenigstens einem vorher von einem Gesichtsklassifizierungssystem nach einem der vorstehenden Ansprüche georteten Gesicht übereinstimmt, und mit Mitteln zum Auslösen einer Sicherheitsmaßnahme, falls die zwei Gesichter nicht miteinander übereinstimmen.

6. Sicherheitssystem (14, 15, 16) nach Anspruch 5 für einen Computerterminal (10, 11, 12, 13), wobei das Gesicht des Benutzers periodisch überwacht wird und das wenigstens eine vorher geortete Gesicht das Gesicht des eingeloggten Benutzers umfasst.