DE60317025T2

DE60317025T2 - Vorrichtung und Verfahren zur Gesichtserkennung

Info

Publication number: DE60317025T2
Application number: DE60317025T
Authority: DE
Inventors: Sang-min c/o Dormitor Yoon; Seok-Cheol Kee
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-11-04
Filing date: 2003-11-04
Publication date: 2008-07-31
Anticipated expiration: 2023-11-05
Also published as: KR100473598B1; EP1416425B1; US20040091137A1; JP2004158013A; KR20040039788A; EP1416425A1; DE60317025D1; US7321670B2

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Detektieren eines Gesichtes und insbesondere ein System und ein Verfahren zum Detektieren eines Gesichtes, die in der Lage sind, unter Verwendung eines Algorithmus zum Bestimmen, ob ein Gesicht verdeckt ist, rasch und richtig zu entscheiden, ob ein eingegebenes Gesichtsbild verdeckt ist.
Mit dem Voranschreiten der Informationsgesellschaft sind Geldautomaten rasch weit verbreitet in Gebrauch genommen worden. Das organisierte Verbrechen, bei dem Geld unter Verwendung von Kreditkarten oder Passwörtern anderer Personen unrechtmäßig abgehoben wird, hat sich ebenfalls erhöht. Um dieses organisierte Verbrechen abzuschrecken, wird Kabelfernsehen zu Überwachungszwecken in die Geldautomaten eingebaut, um Gesetzesbrecher zu identifizieren. Gesetzesbrecher begehen jedoch Straftaten häufig, während sie Sonnenbrillen oder Mützen tragen, um von dem Überwachungsfernsehen nicht aufgenommen zu werden, und somit ist es schwierig, die Gesichter der Gesetzesbrecher zu identifizieren.
Das Koreanische Patent Nr. 0306355 (unter dem Titel „User identification system and automatic teller machine using the same" (Benutzer-Identifizierungssystem und Geldautomat, der selbiges nutzt – nicht autorisierte Übersetzung – d. Übers.)) beschreibt ein Benutzer-Identifizierungssystem zum Identifizieren des Gesichtes eines Benutzers durch Erfassen eines Gesichtsbildes, Erfassen eines Gesichtsbereiches durch Filtern eines Hautfarbenbereiches, Extrahieren einer Augenposition aus dem erfassten Bereich, Einstellen eines Bereiches eines Mundes und einer Nase auf Basis der Augenposition und Prüfen, ob bestätigbare charakteristische Merkmale vorhanden sind. Jedoch wird die Augenposition extrahiert und die Mund- und Nasenpositionen werden danach auf Basis der extrahierten Augenpositionen extrahiert. Wenn somit die Augenpositionen nicht extrahiert werden, ist es schwierig, die Mund- und Nasenpositionen zu extrahieren. Weiterhin werden Bilddaten des Benutzers nicht gesucht, sondern es wird lediglich das Vorliegen von Gesichtskomponenten (wie zum Beispiel Augen, Nase, Mund und ähnli ches) zur Identifizierung des Benutzers überprüft. Somit kann die Gesichtsdetektierung eines Benutzers nicht korrekt durchgeführt werden.
Zusätzlich beschreibt das Koreanische Patent Nr. 0293897 (unter dem Titel „Method for recognizing face of use of bank transaction system" (Verfahren zum Erkennen des Gesichtes eines Benutzers eines Banktransaktionssystems – nicht autorisierte Übersetzung – d. Übers.)) ein Verfahren zum Erkennen des Gesichtes eines Benutzers, das die Schritte des Bestimmens von Gesichts-Kandidateneinheiten-Übereinstimmung mit einem eingegebenen Benutzerbild unter Verwendung von Kettenverfolgung, Extrahieren von Konturpunkten und Vergleichen von Helligkeitswerten der Konturpunkte zum Suchen von Grafiken, die den Augen und dem Mund des Benutzers entsprechen, Berechnen eines Erkennungsindex für das Gesicht, Extrahieren von lediglich einer einzelnen Gesichtskandidateneinheit und Vergleichen des Erkennungsindex für das Gesicht der extrahierten Gesichtskandidateneinheit mit einem Bezugs-Erkennungsindex für das Gesicht umfasst. Das Vorliegen der Augen und des Mundes wird jedoch danach bestimmt, ob die Konturpunkte der Augen oder des Mundes extrahiert worden sind. Somit besteht die Möglichkeit der Fehlerkennung von Sonnenbrillen als Augen in einem Fall, in dem die Sonnenbrille, die ein Benutzer trägt, den Augen des Benutzers in ihrer Form und Größe ähnlich sind.
Da weiterhin die herkömmliche Gesichtserkennungstechnologie Farbbilder verwendet, ist es schwierig, Merkmalspunkte für die Nase und den Mund des Benutzers aufgrund von Beleuchtung zu detektieren. Demzufolge werden die Merkmalspunkte der Nase und des Mundes des Benutzers gegebenenfalls nicht detektiert. Daher besteht weiterhin ein Problem dahingehend, dass der rechtmäßige Benutzer gegebenenfalls als unrechtmäßiger Benutzer erkannt wird.
Kim, Tae-Kyun et al.: „Component-based IDA Face Descriptor for Image Retrieval", Tagungsband der Konferenz 13^th British Machine Vision Conference, 2. bis 5. September 2002, Cardiff University, S. 507–516, beschreibt einen komponentenbasierten Gesichtsdeskriptor. In dieser Literaturstelle wird ausgesagt, dass Sonnenbrillen- oder Maskenmuster gelernt und mit Gesichtskomponenten verglichen werden können, die Augen oder Mund zur Unterscheidung entsprechen.
Oziem, David J.: „Face Recognition Techniques and the Implications of Facial Transformations", Bachelor Thesis (Bachelor-Abschlussarbeit), 2000, S. 17–34, beschreibt Grundkomponentenanalyse (PCA-Analyse). Darin wird ausgeführt, dass die Möglichkeit, in der Lage zu sein, zu detektieren, ob eine Person eine Sonnenbrille oder einen Schal oder ein Tuch trägt, in einem Gesichtserkennungssystem hilfreich sein kann.
Mota, G. A. et al.: "Face Detector Combining Eigenfaces, Neural Network and Bootstrap", Tagungsband des Symposiums Brazilian Symposium an Neural Networks, 22. November 2000, S.290, beschreibt zusammenfassend ein Verfahren zum Detektieren eines Gesichtes.
Die vorliegende Erfindung wird in den unabhängigen Patentansprüchen 1 und 7 definiert und stellt ein System und ein Verfahren zum Detektieren eines Gesichtes eines Benutzers bereit, wobei bestimmt werden kann, ob ein Gesichtsbild verdeckt ist, indem Eigenvektoren und Gewichte aus einem eingegebenen Gesichtsbild eines Benutzers, der PCA-Analyse (Principal Component Analysis) verwendet, extrahiert werden und indem die SVM (Support Vector Machines) einem Algorithmus zum Bestimmen, ob das Bild verdeckt wird, zugeordnet werden.
Die Erfindung stellt ein Verfahren zum Authentifizieren eines Gesichtsbildes bereit, das das oben genannte Verfahren umfasst.
Die vorliegende Erfindung stellt somit ein System und ein Verfahren zum Detektieren eines Gesichtes eines Benutzers bereit, das in der Lage ist, rasch und richtig zu entscheiden, ob ein eingegebenes Gesichtsbild verdeckt ist, obwohl eine Vielzahl von Gesichtsbildern unter unterschiedlichen Bedingungen eingegeben werden.
Die oben genannten und weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung eines Ausführungsbeispieles in Verbindung mit den anhängenden Zeichnungen ersichtlich werden.
Kurze Beschreibung der Zeichnungen.
1 ist ein Blockschema eines Systems zum Detektieren des Gesichtes eines Benutzers gemäß der vorliegenden Erfindung.
2 ist ein Fließbild und veranschaulicht ein Verfahren zum Detektieren des Gesichtes eines Benutzers gemäß der vorliegenden Erfindung.
3 ist ein Fließbild und veranschaulicht ein Verfahren zum Authentifizieren eines Gesichtsbildes, auf das das Verfahren zum Detektieren des Gesichtes gemäß der vorliegenden Erfindung angewendet wird.
4 ist ein Schema und veranschaulicht ein Ausführungsbeispiel der vorliegenden Erfindung, bei dem die Größe des Gesichtsbildes normalisiert wird; und
Die 5a und 5b sind Bilder und veranschaulichen Beispiele einer Vielzahl von Trainingsbildern.
Ein Ausführungsbeispiel der vorliegenden Erfindung wird nunmehr unter Bezugnahme auf die anhängenden Zeichnungen beschrieben werden.
1 ist ein Blockschema eines Systems zum Detektieren des Gesichtes eines Benutzers gemäß der vorliegenden Erfindung. Das System zum Detektieren des Gesichtes eines Benutzers umfasst eine Speichereinheit 100, eine Gesichtsbild-Erkennungseinheit 200 und eine Gesichtsbild-Bestimmungseinheit 300.
Die Speichereinheit 100 speichert Eigenvektoren und Gewichte, die aus einer Vielzahl von Trainingsbildern extrahiert worden sind, die in eine normale Gesichtsbildklasse und eine verdeckte Gesichtsbildklasse eingeteilt werden. Die normale Gesichtsbildklasse wird gewonnen, indem Eigenvektoren und Gewichte aus normalen Gesichtsbildern extrahiert werden, auf die Beleuchtungsänderungen, Änderungen des Gesichtsausdruckes, Größenverschiebungen und Drehänderungen angewendet werden, und durch Speichern der extrahierten Eigenvektoren und Gewichte, und die verdeckte Gesichtsbildklasse wird gewonnen, indem Eigenvektoren und Gewichte aus den teilweise verdeckten Gesichtsbildern extrahiert werden, auf die Beleuchtungsänderungen, Änderungen des Gesichtsausdruckes, Größenverschiebungen und Drehänderungen angewendet werden, und durch Speichern der extrahierten Eigenvektoren und Gewichte. Das heißt, die normalen Gesichtsbilder sind identifizierbare Gesichtsbilder, und die verdeckten Gesichtsbilder sind nicht identifizierbare Gesichtsbilder, da die Gesichter teilweise durch Sonnenbrillen, Masken, dicke Schals oder Tücher oder ähnliches verdeckt sind. Hierbei werden die normale und die verdeckte Gesichtsbildklasse verwendet, um einen Verdeckungs-Bestimmungsalgorithmus abzuleiten, um zu entscheiden, ob die Benutzer-Gesichtsbilder verdeckt worden sind. Die normale Gesichtsbildklasse hat einen Wert von 1, wohingegen die verdeckte Gesichtsbildklasse einen Wert von –1 hat. Ein Verfahren des Ableitens eines Algorithmus zum Entscheiden, ob Gesichtsbilder verdeckt sind, wird ausführlich unter Bezugnahme auf die folgenden mathematischen Ausdrücke erläutert werden.
Die Gesichtsbild-Erkennungseinheit 200 extrahiert Eigenvektoren und Gewichte aus dem eingegebenen Gesichtsbild unter Verwendung von PCA-Analyse (Hauptkomponenten-Analyse), um das normale und das verdeckte Gesicht unter Verwendung von Support Vector Machines zu unterteilen, und umfasst einen monochromen Teil 210, einen Gesichtsbild-Detektionsteil 220, einen Gesichtsbild-Normalisierungsteil 230, einen Gesichtsbild-Aufteilungsteil 240 und einen Eigenvektor-/Gewichts-Extraktionsteil 250, der SVM verwendet.
Der monochrome Teil 210 wandelt ein eingegebenes Farbbild in ein monochromes Bild um. Der Grund dafür liegt darin, dass da die Farb- und Helligkeitskomponenten in dem in einem RGB-Modus (Rot/Grün/Blau-Modus) konfigurierten Farbbild gemischt werden, Fehler aufgrund von Helligkeitsänderungen bei dem Extrahieren der Eigenvektoren erzeugt werden können.
Der Gesichtsbilddetektor 220 verwendet ein Verfahren zum Aufteilen des eingegebenen Bildes in Hintergrund- und Gesichtsbereiche und detektiert den Gesichtsbereich anhand des eingegebenen Bildes unter Verwendung von Gabor-Filtern (lineares, komplexes Bandpassfilter, das auf die lokale Phase von Bildpunkten besser reagiert). Hierbei wird ein Verfahren des Detektierens eines Gesichtsbereiches unter Verwendung der Gabor-Filter durchgeführt, indem Gruppen von Gabor-Filtern, die unterschiedliche Richtwirkungen und Frequenzen aufweisen, in das eingegebene Bild eingebracht werden und danach der Gesichtsbereich entsprechend den Antwortwerten derselben detektiert wird.
Der Gesichtsbild-Normalisierungsteil 230 führt Korrekturen an der Bildhelligkeit aufgrund von Beleuchtung, an der Gesichtsbildgröße aufgrund des Abstandes zu der Kamera, an der Neigung des Gesichtsbildes und ähnlichem durch, um den Gesichtsbereich zu normalisieren.
Der Gesichtsbild-Aufteilungsteil 240 unterteilt den normalisierten Gesichtsbereich in einen oberen Bereich, der auf die Augen zentriert ist, und in einen unteren Bereich, der auf die Nase und den Mund zentriert ist. Hierbei besteht der Grund dafür, dass der Gesichtsbereich in den oberen Bereich und den unteren Bereich aufgeteilt wird, die Eigenvektoren der jeweiligen Gesichtskomponenten rasch und genau zu extrahieren, indem die Größe des Suchbereiches für eine jede Gesichtskomponente eingeschränkt wird, da Eigenvektoren aus dem falschen Bereich extrahiert werden können, wenn der Suchbereich zu breit oder groß ist, um die jeweiligen Gesichtskomponenten zu extrahieren. Da weiterhin periphere Bereiche eliminiert werden, können Rauschkomponenten reduziert werden.
Der Eigenvektor-/Gewichtsextraktionsteil 250 extrahiert Eigenvektoren und Gewichte der Augen, der Nase und des Mundes, welches wichtige Komponenten des Gesichtes sind, unter Verwendung der PCA-Analyse entsprechend den aufgeteilten Gesichtsbereichen. Hierbei können die Eigenvektoren der Augen, der Nase und des Mundes gleichzeitig extrahiert werden, da der Gesichtsbereich, in dem sich die Augen, die Nase und der Mund befinden, bei der Extrahierung der Eigenvektoren beschränkt ist.
Nachfolgend werden die mathematischen Ausdrücke, die verwendet werden, um die Eigenvektoren und Gewichte unter Verwendung der PCA-Analyse zu extrahieren, beschrieben werden. Γ = [r1, r2, r3, ..., r1J-1, r1J] (1) Γ' = [r'1, r'2, r'3, ..., r'1J-1, r'1J] (2) [Formel 1]

wobei Γ in Gleichung (1) Gesichtsbilder darstellt, die eine Größe von 1 × J aufweisen, die in der normalen Gesichtsbildklasse der Speichereinheit 100 gespeichert sind, und wobei Γ' in Gleichung (2) Gesichtsbilder darstellt, die eine Größe von 1 × J aufweisen, die in der verdeckten Gesichtsbildklasse der Speichereinheit 100 gespeichert sind.
Die Formel 1 wird verwendet, um ein Durchschnitts-Gesichtsbild der normalen Gesichtsbilder beziehungsweise ein Durchschnitts-Gesichtsbild der verdeckten Gesichtsbilder zu erhalten. Hierbei ist N die Gesamtzahl von normalen Gesichtsbildern, und M ist die Gesamtzahl von verdeckten Gesichtsbildern.
Zuerst wird ein Verfahren des Extrahierens von Eigenvektoren und Gewichten auf Basis der normalen Gesichtsbilder erläutert werden.
Γ wird in der Formel 1 auf ψ angesetzt, um das Durchschnitts-Gesichtsbild zu erhalten, und danach wird ein Vektor Φ₁ berechnet, indem das Durchschnitts-Gesichtsbild (ψ) von den Gesichtsbildern (Γ) subtrahiert wird.
Das bedeutet, es gilt Φ_i = Γ – Ψ.
Unter Verwendung des Vektors Φ_i, der als solches berechnet wird, wird eine Kovarianzmatrix entsprechend der Formel 2 unten erzeugt. [Formel 2]
Eigenwerte (λ_i) und Eigenvektoren (u_i) können unter Verwendung der Formel 2 berechnet werden. In einem solchen Fall werden zuerst die Eigenwerte unter Verwendung der Gleichung Cx = λx berechnet, und danach werden die Eigenvektoren berechnet.
Danach können Gewichte unter Verwendung der Eigenvektoren, die als solches entsprechend der folgenden Formel 3 berechnet werden, berechnet werden.
[Formel 3]

wf = (Γ – Ψ)xui

Unter Verwendung der Formel 3 werden die Gewichte (w_f) berechnet.
Wenngleich nur ein Verfahren des Extrahierens von Eigenvektoren und Gewichten aus den normalen Gesichtsbildern oben beschrieben worden ist, wird ein Verfahren des Extrahierens von Eigenvektoren und Gewichten aus den teilweise verdeckten Gesichtsbildern auf die gleiche Art und Weise wie das Verfahren des Extrahierens von Eigenvektoren und Gewichten aus den normalen Gesichtsbildern durchgeführt. Weiterhin werden Eigenvektoren und Gewichte aus dem oberen Bereich beziehungsweise dem unteren Bereich in dem Gesichtsbereich extrahiert.
Die Gesichtsbild-Bestimmungseinheit 300 entscheidet durch den Verdeckungs-Bestimmungsalgorithmus, der aus den in der Speichereinheit 100 gespeicherten Trainingsbildern gewonnen worden ist, ob das eingegebene Gesichtsbild verdeckt ist. Der Verdeckungs-Bestimmungsalgorithmus, Support Vector Machines, wird als die folgende Formel 4 ausgedrückt. [Formel 4]
Wenn ein Wert, der aus dem Verdeckungs-Bestimmungsalgorithmus in Formel 4 ermittelt wird, 1 ist, ist das zu bestimmende Gesichtsbild ein normales. Wenn andererseits der Wert aus dem Algorithmus –1 ist, ist das zu bestimmende Gesichtsbild ein teilweise verdecktes. Dies ist darauf zurückzuführen, dass der Algorithmus zum Bestimmen, ob das Gesichtsbild verdeckt ist, konfiguriert worden ist, nachdem das normale und das teilweise verdeckte Gesichtsbild, die in der Speichereinheit 100 gespeichert sind, auf die Klassenwerte 1 und –1 eingestellt worden sind, und danach gelernt worden sind.
In der Formel 4 oben werden y_i, α_i und b eingestellt, indem eine Menge der Klassenwerte (in der vorliegenden Erfindung 1) des normalen Trainingsbildes, der Eigenvektoren und der Gewichte, die in der Speichereinheit 100 gespeichert werden, beziehungsweise eine andere Menge der Klassenwerte (in der vorliegenden Erfindung –1) der teilweise verdeckten Gesichtsbilder, Eigenvektoren und Gewichte in die Formel 4 eingesetzt werden. Diese Werte können sich verändern, wenn die in der Speichereinheit 100 gespeicherten Trainingsbilder aktualisiert werden.
Die Formel zum Berechnen des Polynomkerns K wird wie folgt ausgedrückt: K(x, xi) = (<x·xi>)d wobei K durch ein Innenprodukt aus x und x_i berechnet werden kann (d. h. x·x_i = |x||x_i|cos(θ), x die Gewichte ist, x_i die Eigenvektoren ist und d eine Konstante ist.
Somit kann der Klassenwert f(x) der Gesichtsbilder, der bestimmen wird, ob die Gesichtsbilder verdeckt sind, ermittelt werden, indem y_l, α_l und b auf den Polynomkern K(x, xi) angesetzt werden, wobei die Eigenvektoren und Gewichte der Trainingsbilder verwendet werden, und danach die Eigenvektoren und Gewichte auf den Polynomkern K(x, xi) angesetzt werden.
Nachfolgend wird ein Verfahren der Berechnung von y_l, α_l und b des Verdeckungs-Bestimmungsalgorithmus beispielhaft beschrieben werden.
In einem Fall, in dem fünf Einzelbilder normaler Gesichtsbilder und acht Einzelbilder teilweise verdeckter Gesichtsbilder in der Speichereinheit 100 gespeichert wer den, wird ein Verfahren der Ableitung der Faktoren (y_l, α_l und b) des Algorithmus in der Formel 4 wie folgt ausgedrückt:
erstes Bild des normalen Gesichtsbildes
zweites Bild des normalen Gesichtsbildes
fünftes Bild des normalen Gesichtsbildes
erstes Bild des teilweise verdeckten Gesichtsbildes
zweites Bild des teilweise verdeckten Gesichtsbildes
achtes Bild des teilweise verdeckten Gesichtsbildes
Wie weiter oben beschrieben worden ist, wird der Klassenwert f(x) auf 1 und –1 für die normalen Gesichtsbilder beziehungsweise die teilweise verdeckten Gesichtsbilder eingestellt, und danach werden Eigenvektoren und Gewichte auf K(x, x_i) angesetzt, um y_i, λ_i und b zu berechnen, die die Formeln erfüllen.
Daher kann richtig bestimmt werden, ob die Gesichtsbilder verdeckt sind, indem Eigenvektoren und Gewichte aus den eingegebenen Gesichtsbildern extrahiert werden und die extrahierten Eigenvektoren und Gewichte dem Verdeckungs-Bestimmungsalgorithmus zugeordnet werden.
2 ist ein Fließbild und veranschaulicht ein Verfahren zum Detektieren eines Gesichtes gemäß der vorliegenden Erfindung. Unter Bezugnahme auf die Figur werden unten zunächst die Schritte S150 bis S158 des Herleitens eines Algorithmus zum Bestimmen, ob ein Gesicht verdeckt ist, beschrieben werden.
Ein Gesichtsbereich wird anhand eines eingegebenen Trainingsbildes detektiert (S150). Hierbei umfasst das eingegebene Trainingsbild normale Gesichtsbilder, auf die Beleuchtungsänderungen, Änderungen des Gesichtsausdruckes, Größenverschiebungen und Drehänderungen angewendet werden, sowie teilweise verdeckte Gesichtsbilder, auf die Beleuchtungsänderungen, Änderungen des Gesichtsausdruckes, Größenverschiebungen und Drehänderungen angewendet werden.
Der detektierte Gesichtsbereich wird normalisiert (S152), und das normalisierte Gesichtsbereich wird danach in einen oberen Bereich, der auf die Augen zentriert ist, und in einen unteren Bereich, der auf die Nase und den Mund zentriert ist, aufgeteilt (S154). Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten werden unter Verwendung der PCA-Analyse gemäß den aufgeteilten Gesichtsbereichen extrahiert und in der Speichereinheit 100 gespeichert (S156). Da die Detektion der Eigenvektoren und der Gewichte in dem Gesichtsbereich unter Bezugnahme auf die Formeln 1 bis 3 ausführlich erläutert worden ist, wird eine ausführliche Erläuterung an dieser Stelle ausgelassen.
Als Nächstes werden die Faktoren des Algorithmus zum Bestimmen, ob das Gesicht verdeckt ist, auf Basis der gespeicherten Eigenvektoren und der Gewichte bestimmt (S158).
Die Schritte S150 bis S158 dienen der Ableitung des Algorithmus zum Bestimmen, ob das Gesicht verdeckt ist. Nachdem der Verdeckungs-Bestimmungsalgorithmus hergeleitet worden ist, werden die Schritte S100 bis S120 des Herleitens des Verdeckungs-Bestimmungsalgorithmus nicht mehr durchgeführt.
Nachfolgend wird das Verfahren des Bestimmens, ob ein eingegebenes Benutzerbild verdeckt ist, wie folgt diskutiert werden.
Wenn ein Benutzerbild eingegeben wird (S100), wird das eingegebene Farbbild in ein monochromes Bild umgewandelt (S102) und danach wird ein Gesichtsbereich anhand des monochromen Bildes unter Verwendung der Gabor-Filterantwort detektiert (S104). Somit kann die Verwendung des monochromen Gesichtsbildes Probleme von Fehlerkennung in Verbindung mit der Gesichtsfarbe aufgrund von Gesichtsschminke oder Makeup, Hautfarbe u. s. w. reduzieren.
Danach werden die Größe, die Helligkeit, die Neigung und ähnliches des Gesichtsbildes korrigiert und danach wird der Gesichtsbereich normalisiert (S106). Der normalisierte Gesichtsbereich wird in einen oberen Bereich, der auf die Augen zentriert ist, und in einen unteren Bereich, der auf die Nase und den Mund zentriert ist, normalisiert (S108). Demzufolge werden die Größen der Suchbereiche in den jeweiligen Gesichtskomponenten (die Augen, die Nase und der Mund) eingeschränkt (4).
Vorzugsweise wird der gesamte Gesichtsbereich (320·240) in 60·60 normalisiert, und ein Augenbereich wird in dem normalisierten Gesichtsbild auf (0,5) bis (60,30) eingestellt, d. h. auf 60·25, und ein Nasenbereich und ein Mundbereich werden auf (0,25) bis (60,60) eingestellt, d. h. auf 60·35, wie in 4 gezeigt wird. Wenn der Augenbereich sowie der Nasen- und Mundbereich entsprechend der oben genannten Größe eingestellt werden, überlappt ein Bereich, der (0,25) bis (60,30) entspricht, um etwa zehn Prozent. Dies ist darauf zurückzuführen, dass die Größe und die Position der Augen, der Nase und des Mundes entsprechend dem eingegebenen Gesichtsbild unterschiedlich sein können, und die Bilder der Augen, der Nase und des Mundes, die in den entsprechenden Bereichen detektiert werden, können unterbrochen werden, wenn der Augenbereich und der Nasen- und Mundbereich zu klein sind.
Da weiterhin die jeweiligen Gesichtskomponenten aus dem eingeschränkten Bereich extrahiert werden, ist die Größe des Suchbereiches eingeschränkt. Somit kann die Zeit, die zum Extrahieren der Eigenvektoren der Gesichtskomponenten benötigt wird, reduziert werden, und Rauschkomponenten, wie zum Beispiel die Haare und der Hintergrund, können ebenfalls reduziert werden.
Unter Verwendung der PCA-Analyse auf Basis der aufgeteilten Gesichtsbereiche werden die Eigenvektoren und Gewichte der Augen in dem oberen Bereich extrahiert, und die Eigenvektoren und Gewichte der Nase und des Mundes in dem unteren Bereich werden analog dazu extrahiert (S110).
Als Nächstes werden die extrahierten Eigenvektoren und Gewichte des Benutzerbildes auf den Verdeckungs-Bestimmungsalgorithmus, der aus den Schritten S150 bis S158 (S112) hergeleitet worden ist, angewendet. Das heißt, die detektierten Eigenvektoren und Gewichte des Benutzerbildes werden auf K(x, x_i) angesetzt, und die Klassenwerte f(x) werden danach unter Verwendung der Werte von y_i, α_l und b, die durch die Eigenvektoren und Gewichte des Trainingsbildes ermittelt wurden, berechnet. Hierbei kann der Klassenwert f(x) jeweils entsprechend dem oberen Bereich und dem unteren Bereich ermittelt werden.
Danach wird bestimmt, ob die Klassenwerte f(x) des oberen Bereiches und des unteren Bereiches 1 oder –1 sind, um zu entscheiden, ob das Gesichtsbild verdeckt ist (S114 und S118). Wenn somit der durch den Verdeckungs-Bestimmungsalgorithmus ermittelte Wert 1 ist, wird entschieden, dass das Gesichtsbild normal ist (S116). Wenn andererseits der durch den Algorithmus ermittelte Wert –1 ist, wird entschieden, dass das Gesichtsbild teilweise verdeckt ist (S120).
Zwischenzeitlich wird die Bestimmung, ob der Gesichtsbereich verdeckt ist, gleichzeitig in dem oberen Bereich und in dem unteren Bereich des Benutzerbildes durchgeführt. Wenn in einem solchen Fall bestimmt wird, dass entweder der obere Bereich oder der untere Bereich ein verdecktes Gesichtsbild ist, muss entschieden werden, dass das Gesichtsbild des Benutzers verdeckt ist. Da hierbei gleichzeitig bestimmt wird, ob die Gesichtsbilder in dem oberen Bereich und in dem unteren Bereich verdeckt sind, kann schneller entschieden werden, dass das Gesichtsbild verdeckt ist.
3 ist ein Fließbild und veranschaulicht ein Verfahren der Authentifizierung eines Gesichtsbildes, auf das das Verfahren zum Detektieren eines Gesichtes gemäß der vorliegenden Erfindung angewendet wird. Zuerst wird bestimmt, ob ein eingegebenes Gesichtsbild des Benutzers verdeckt ist (S200). Hierbei kann die Bestimmung, ob das eingegebene Gesichtsbild des Benutzers verdeckt ist, auf die gleiche Art und Weise durchgeführt werden wie in den in 2 gezeigten Schritten S100 bis S120.
Wenn dementsprechend das Gesichtsbild des Benutzers als normal bestimmt wird, wird Benutzerauthentifizierung durchgeführt (S202). Wenn entschieden wird, dass das Gesichtsbild des Benutzers verdeckt ist, wird eine Warnnachricht an den Benutzer gesendet (S206). Danach werden Operationen des Detektierens des Gesichtsbildes und des Entscheidens, ob das Gesichtsbild verdeckt ist, erneut durchgeführt (S200). Wenn an dieser Stelle drei oder mehr Mal bestimmt wird, dass das Gesichtsbild des Benutzers verdeckt gewesen ist (S208), wird die Benutzerauthentifizierung abgelehnt (S210).
Die 5a und 5b sind Bilder und veranschaulichen Beispiele einer Vielzahl von Trainingsbildern. Insbesondere zeigt die 5a eine normale Gesichtsbildklasse mit Bildern unter unterschiedlichen Beleuchtungsbedingungen, Bildern mit voneinander unterschiedlichen Gesichtsausdrücken, Bildern mit Bärten sowie Bildern mit Größenverschiebung oder Drehänderung. Hierbei werden die Eigenvektoren und Gewichte der Gesichtsbilder, bei denen Merkmale der Gesichtskomponenten (die Augen, die Nase, der Mund u. s. w.), die gemäß Änderungen der Beleuchtungsbedingungen, Änderungen des Gesichtsausdruckes, von Bärten und Gesichtsneigungen veränderlich sind, umfassend berücksichtigt werden, in der normalen Gesichtsbildklasse gespeichert. Andererseits zeigt die 5b eine verdeckte Gesichtsbildklasse, die Bilder von Benutzern beinhaltet, die Sonnebrillen, dicke Schals oder Tücher u. s. w. tragen. Die Eigenvektoren und die Gewichte der Gesichtsbilder, bei denen Merkmale der Gesichtskomponenten, die gemäß Sonnenbrillen, dicken Schals oder Tüchern, Masken, Beleuchtungsänderungen, Änderungen des Gesichtsausdruckes, Größenverschiebung, Drehänderung u. s. w. veränderlich sind, umfassend berücksichtigt werden, werden in der verdeckten Gesichtsbildklasse gespeichert. Daher und da die Gesichtsbilder unter allen Bedingungen in Form der Trainingsbilder in der Klasse beinhaltet sind, kann richtig entschieden werden, ob die eingegebenen Gesichtsbilder verdeckt sind.
Die Tabellen 1 und 2 unten zeigen Beispiele, bei denen die Durchführung des erfindungsgemäßen Algorithmus zum Bestimmen, ob ein Gesichtsbild verdeckt ist, unter Verwendung der Speichereinheit 100, in der 3200 normale Gesichtsbilder, 2900 Gesichtsbilder von Benutzern, die Sonnenbrillen tragen, 4500 Gesichtsbilder von Benut zern, die Masken und dicke Schals oder Tücher tragen, und zusätzliche Bilder ohne Gesichtsbilder etc. gespeichert sind, erprobt wird.
Tabelle 1 zeigt die Versuchsergebnisse der Versuche, die durchgeführt wurden, indem 100 Eigenvektoren jeweils von der normalen Gesichtsbildklasse und der verdeckten Gesichtsbildklasse extrahiert wurden. Tabelle 1

Anzahl der Support-Vektoren Anzahl der aufgetretenen Fehler

Oberer Bereich 250 0

Unterer Bereich 266 1
Das heißt, die Bestimmung, ob ein Gesichtsbild verdeckt ist, ist auf Basis der extrahierten Eigenvektoren wenigstens 200 Mal durchgeführt worden. Demzufolge ist ersichtlich, dass eine geringe Fehlerrate auftritt.
Die Tabelle 2 unten zeigt die Ergebnisse des gleichen Versuches für verdeckte Gesichtsbilder wie desselben für normale Gesichtsbilder, wobei die erhaltenen Ergebnisse bei der Bestimmung für den normalen Gesichtsbereich, ob das Bild verdeckt ist, eine Suchrate von 98% zeigen. Tabelle 2 zeigt die Versuchsergebnisse für 370 Gesichtsbilder von Benutzern, die Sonnenbrillen tragen (das heißt, in dem oberen Bereich), und für 390 Gesichtsbilder von Benutzern, die dicke Schals oder Tücher tragen (das heißt, in dem unteren Bereich). Tabelle 2

Suchrate Fehlerkennungsrate

Oberer Bereich 95,2% 2,4%

Unterer Bereich 98,8% 0%
Als Ergebnis des Versuches ist ersichtlich, dass die Bestimmung, ob der Gesichtsbereich des Benutzers verdeckt ist, mit einer Suchrate von 95% oder mehr durch geführt wird und dass Fehlerkennung aufgrund des Versteckens der Gesichtsmerkmale des Benutzers äußerst gering ist.
Da Gesichtsbilder, die unter allen Bedingungen oder Umständen mit den Trainingsbildern hergestellt werden können, beinhaltet sind, kann der Verdeckungs-Bestimmungsalgorithmus, der für alle Gesichtsbilder unter unterschiedlichen Bedingungen und Umständen verwendet werden kann, hergeleitet werden. Somit kann eine sehr erfolgreiche Suchrate erzielt werden, wenn bestimmt wird, ob das Gesichtsbild des Benutzers verdeckt ist.
Gemäß der vorliegenden Erfindung als solche besteht ein Vorteil dahingehend, dass durch den Verdeckungs-Bestimmungsalgorithmus richtig und rasch bestimmt werden kann, ob eingegebene Gesichtsbilder des Benutzers verdeckt sind, selbst wenn eine Vielzahl unterschiedlicher Gesichtsbilder eingegeben wird.
Weiterhin bestehen Vorteile dahingehend, dass da das eingegebene Gesichtsbild in einen oberen Bereich und in einen unteren Bereich aufgeteilt wird, um die Suchbereiche der jeweiligen Gesichtskomponenten einzuschränken, die Verarbeitungszeit, die benötigt wird, um Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten zu extrahieren, reduziert werden kann, dass Rauschkomponenten, wie zum Beispiel die Haare und der Hintergrund in den Bildern, ebenfalls reduziert werden können und dass die Eigenvektoren und Gewichte der Augen, der Nase und des Mundes in den jeweiligen relevanten Bereichen gleichzeitig extrahiert werden können.
Darüber hinaus besteht ein weiterer Vorteil darin, dass jeglicher Einfluss des Hintergrundes oder der Beleuchtung aufgrund der Verwendung monochromer Bilder reduziert werden kann und dass somit Fehlerkennungsprobleme, die bei der Extrahierung der Eigenvektoren auftreten können, ebenfalls reduziert werden können.
Wenngleich die vorliegende Erfindung in Verbindung mit dem bevorzugten Ausführungsbeispiel, das in den anhängenden Zeichnungen gezeigt wird, beschrieben worden ist, handelt es sich hierbei lediglich um Beispiele der vorliegenden Erfindung. Der Durchschnittsfachmann wird erkennen, dass verschiedene Änderungen und Modifizierungen daran vorgenommen werden können, ohne von dem durch die Patentansprüche definierten Erfindungsbereich abzuweichen. Daher soll der wahre Erfindungsbereich der vorliegenden Erfindung durch die anhängenden Patentansprüche definiert werden.

Claims

System zum Detektieren eines Gesichts, umfassend: eine Speichereinheit (100) zum Speichern von Eigenvektoren und Gewichten, die aus einer Vielzahl von Trainingsbildern extrahiert sind und in einem Zustand gespeichert sind, in dem sie in eine verdeckte Gesichtsbildklasse klassifiziert werden, eine Gesichtsbild-Erkennungseinheit (200) zum Extrahieren von Eigenvektoren und Gewichten von jeweiligen Gesichtskomponenten aus einem eingegebenen Gesichtsbild und eine Gesichtsbild-Bestimmungseinheit (300) zum Ableiten eines Algorithmus zum Bestimmen, ob das Gesichtsbild verdeckt ist, mit Hilfe der Eigenvektoren und Gewichte der in der Speichereinheit (100) gespeicherten Trainingsbilder, und zum Bestimmen, ob das eingegebene Gesichtsbild verdeckt ist, durch Zuordnen der Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten des in die Gesichtsbild-Erkennungseinheit extrahierten eingegebenen Gesichtsbildes (200) in dem abgeleiteten Algorithmus, dadurch gekennzeichnet, dass eine Speichereinheit (100) des Weiteren zum Speichern von Eigenvektoren und Gewichten ist, die aus einer weiteren Vielzahl von Trainingsbildern extrahiert sind und in einem Zustand gespeichert sind, in dem sie in eine normale Gesichtsbildklasse klassifiziert sind, wobei die Gesichtsbild-Bestimmungseinheit (300) konfiguriert ist, um die Werte der normalen und der verdeckten Gesichtsbildklassen so einzurichten, dass sie verschieden voneinander sind, und um den Bestimmungsalgorithmus mit Hilfe der eingerichteten Werte der Klassen und der Eigenvektoren und Gewichte der Trainingsbilder abzuleiten, wobei der abgeleitete Algorithmus durch die folgende Gleichung ausgedrückt wird:
wobei y, α_i und b Faktoren sind, die aus den Trainingsbildern gewonnen wurden, x und x_i Gewichte und Eigenvektoren sind, die aus dem eingegebenen Gesichtsbild extrahiert wurden, und d eine Konstante ist und wobei die Gesichtsbild-Bestimmungseinheit (300) konfiguriert ist, um zu bestimmen, dass das eingegebene Gesichtsbild normal ist, wenn ein durch Ersetzen der Eigenvektoren und Gewichte in dem Bestimmungsalgorithmus erhaltener Ergebniswert gleich dem Wert der normalen Gesichtsbildklasse ist, und um zu bestimmen, dass das eingegebene Gesichtsbild verdeckt ist, wenn der Ergebniswert gleich dem Wert der verdeckten Gesichtsbildklasse ist.
System nach Anspruch 1, wobei die Gesichtsbild-Erkennungseinheit (200) konfiguriert ist, um Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten aus den Trainingsbildern zu extrahieren.
System nach Anspruch 1 oder 2, wobei die Gesichtsbild-Erkennungseinheit (200) umfasst: einen monochromen Teil (210) zum Umwandeln eines eingegebenen Farbbildes in ein monochromes Bild, einen Gesichtsbild-Detektionsteil (220) zum Detektieren eines Gesichtsbereichs aus dem umgewandelten monochromen Bild, einen Gesichtsbild-Normalisierungsteil (230) zum Normalisieren des detektierten Gesichtsbereichs, einen Gesichtsbild Aufteilungsteil (240) zum Aufteilen des normalisierten Gesichtsbereichs in obere und untere Bereiche und einen Eigenvektor-/Gewichtsextraktionsteil (250) zum Extrahieren der Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten mit Hilfe einer Hauptkomponentenanalyse entsprechend den aufgeteilten Gesichtsbereichen.
System nach Anspruch 3, wobei der Gesichtsbild Aufteilungsteil (240) so konfiguriert ist, um einen ganzen Gesichtsbereich in den oberen Bereich, zentriert auf die Augen, und einen unteren Bereich, zentriert auf Nase und Mund, zu unterteilen.
System nach Anspruch 4, wobei der Eigenvektor-/Gewichtsextraktionsteil (250) konfiguriert ist, um die Eigenvektoren und Gewichte aus den auf die Augen und auf die Nase und den Mund zentrierten aufgeteilten Bereichen, die in dem Gesichtsbild-Aufteilungsteil (240) vorab eingerichtet werden, zu extrahieren.
System nach Anspruch 4, wobei die Gesichtsbild-Bestimmungseinheit konfiguriert ist, um einen Prozess des gleichzeitigen Bestimmens durchzuführen, ob das Gesichtsbild in den oberen und unteren Bereichen verdeckt ist.
Verfahren zum Detektieren eines Gesichts, die folgenden Schritte umfassend: a. Extrahieren von Eigenvektoren und Gewichten aus einer Vielzahl von Trainingsbildern, wobei die Eigenvektoren und Gewichte in eine normale Gesichtsbildklasse und in eine verdeckte Gesichtsbildklasse klassifiziert werden (S156), b. Ableiten eines Verdeckungs-Bestimmungsalgorithmus mit Hilfe der aus den Trainingsbildern extrahierten Eigenvektoren und Gewichte (S158), c. Extrahieren von Eigenvektoren und Gewichten von jeweiligen Gesichtskomponenten aus einem eingegebenen Gesichtsbild (S110) und d. Bestimmen, ob das Gesichtsbild verdeckt ist, durch Ersetzen der extrahierten Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten des eingegebenen Gesichtsbildes in dem Verdeckungs-Bestimmungsalgorithmus (S112), wobei Werte der normalen und der verdeckten Gesichtsbildklasse eingerichtet werden, um verschieden voneinander zu sein, und der Bestimmungsalgorithmus mit Hilfe der eingerichteten Werte der Klassen und der Eigenvektoren und Gewichte der Trainingsbilder abgeleitet wird, wobei der Verdeckungs-Bestimmungsalgorithmus durch die folgende Gleichung ausgedrückt wird:
wobei y, α_i und b Faktoren sind, die aus den Trainingsbildern gewonnen wurden, x und x_i Gewichte und Eigenvektoren sind, die aus dem eingegebenen Gesichtsbild extrahiert wurden, und d eine Konstante ist und wobei das eingegebene Gesichtsbild als normal bestimmt wird, wenn ein durch Ersetzen der Eigenvektoren und Gewichte in dem Bestimmungsalgorithmus erhaltener Ergebniswert gleich dem Wert der normalen Gesichtsbildklasse ist, und als verdeckt bestimmt wird, wenn der Ergebniswert gleich dem Wert der verdeckten Gesichtsbildklasse ist.
Verfahren nach Anspruch 7, wobei Schritt c die folgenden Schritte umfasst: c1. Umwandeln eines eingegebenen Gesichtsbildes in ein monochromes Bild (S102), c2. Detektieren eines Gesichtsbereichs aus dem umgewandelten monochromen Bild (S104), c3. Normalisieren des detektierten Gesichtsbereichs (S106), c4. Aufteilen des normalisieren Gesichtsbereichs in obere und untere Bereiche (S108) und c5. Extrahieren der Eigenvektoren und Gewichte der jeweiligen Gesichtskomponenten mit Hilfe von Hauptkomponentenanalyse entsprechend den aufgeteilten Gesichtsbereichen (S110).
Verfahren nach einem der Ansprüche 7 oder 8, wobei die Trainingsbilder Gesichtsbilder sind, auf die Größenverschiebung oder Drehänderung angewendet wird.
Verfahren nach Anspruch 8, wobei in Schritt c4 ein ganzer Gesichtsbereich in den oberen Bereich, zentriert auf die Augen, und den unteren Bereich, zentriert auf Nase und Mund, aufgeteilt wird.
Verfahren nach Anspruch 8, wobei in Schritt c5 jeweils die Eigenvektoren und Gewichte aus den auf die Augen und auf die Nase und den Mund zentrierten aufgeteilten Bereichen, die den Gesichtsbereichen entsprechend vorab eingerichtet werden, extrahiert werden.
Verfahren nach Anspruch 10, wobei in Schritt d gleichzeitig bestimmt wird, ob das Gesichtsbild in den oberen und in den unteren Bereichen verdeckt ist.
Verfahren zum Authentifizieren eines Gesichtsbildes, das die Schritte des Verfahrens nach Anspruch 7, gefolgt von den folgenden Schritten umfasst: Übertragen einer Warnmeldung, wenn festgestellt ist, dass das eingegebene Gesichtsbild verdeckt ist (S206), und Neubestimmen, ob das Gesichtsbild verdeckt ist (S202), Zurückweisen von Authentifizierung, wenn festgestellt ist, dass das eingegebene Gesichtsbild drei Mal oder öfter verdeckt ist (S210).