-
Die vorliegende Erfindung betrifft ein mobiles elektronisches Gerät mit einer Kamera, einer Dateneingabeeinrichtung, einer Datenausgabeeinrichtung und einer mit diesen verbundenen Datenverarbeitungseinheit, die dazu eingerichtet ist, eine biometrische Gesichtserkennung für ein mit der Kamera aufgenommenes Gesicht durchzuführen.
-
Bei derartigen mobilen elektronischen Geräten kann es sich zum Beispiel um ein Mobiltelefon (Smartphone) oder einen Tablet-Computer handelnd. Mobiltelefone sind heute standardmäßig mit einer Kamera und einer Datenausgabeeinrichtung (Display) versehen. Ferner verfügen solche Mobiltelefone über Datenverarbeitungseinrichtungen, mit denen das Gerät gesteuert wird, Ausgaben auf der Datenausgabeeinrichtung erzeugt, Dateneingaben verarbeitet und mit der Kamera aufgenommene Bilder oder Bildsequenzen ausgewertet werden können.
-
Nach dem Einschalten eines derartigen elektronischen Gerätes ist es regelmäßig notwendig, dass der befugte Benutzer das Gerät zum Betrieb freischaltet (Login). Diese Freischaltung kann z. B. durch Eingabe einer PIN-Nummer erfolgen. Größere Sicherheit versprechen jedoch biometrische Authentifizierungsverfahren, bei denen ein biometrisches Merkmal des befugten Benutzers aufgenommen und mit den gespeicherten Merkmalsdaten für den befugten Benutzer verglichen wird. In diesem Zusammenhang ist zum Beispiel die Aufnahme eines Fingerabdrucks und dessen Auswertung zum Vergleich mit gespeicherten Fingerabdruckdaten des befugten Benutzers bekannt. Ferner ist grundsätzlich die biometrische Gesichtserkennung bekannt, bei der charakteristische Gesichtsmerkmale aus einem aufgenommenen Gesicht bestimmt und mit gespeicherten Gesichtsmerkmalsdaten des befugten Benutzers verglichen werden um das Gerät freizuschalten. Bei der Freischaltung durch Gesichtserkennung besteht jedoch das Problem, dass die Gesichtserkennung des befugten Benutzers durch Täuschung überwunden werden kann, indem ein Foto des befugten Benutzers vor die Kamera gehalten wird.
-
Es ist Aufgabe der vorliegenden Erfindung ein mobiles elektronisches Gerät mit der Fähigkeit der Gesichtserkennung so zu verbessern, dass durch eine Lebenderkennung oder Echtheitserkennung ein echtes Gesicht von einer Abbildung des Gesichts unterschieden werden kann und so Täuschungsversuche abgewiesen werden können. Es ist ferner Aufgabe, ein Verfahren zur Echtheits- oder Lebenderkennung eines Gesichts für ein derartiges mobiles elektronisches Gerät anzugeben.
-
Zur Lösung dieser Aufgabe dienen das mobile elektronische Gerät mit den Merkmalen des Patentanspruchs 1 sowie das Verfahren mit den Merkmalen des Patentanspruchs 8. Vorteilhafte Ausführungsformen sind in den Unteransprüchen angegeben.
-
Erfindungsgemäß ist das mobile elektronische Gerät durch Programmierung seiner Datenverarbeitungseinheit dazu eingerichtet, wenn ein Benutzer durch Eingabe über die Dateneingabeeinrichtung die Freischaltung des Geräts einleitet, zur Freischaltung des Geräts den Benutzer über die Datenausgabeeinrichtung aufzufordern, frontal in die Kamera zu blicken und dann den Kopf zu drehen. Unter Drehen des Kopfes wird hier sowohl das zur Seite Drehen des Kopfes als auch ein Nicken verstanden. Die Datenverarbeitungseinheit ist weiter dazu eingerichtet, in wenigstens zwei aufeinanderfolgenden Bildern mit unterschiedlichen Drehstellungen des Kopfes jeweils wenigstens drei charakteristische Punkte des Gesicht in dem Bild, wenigstens zwei Abstände zwischen den drei charakteristischen Punkten und das Verhältnis der Abstände zu bestimmen. Die Lebend- oder Echtheitserkennung (diese beiden Begriffe werden in der vorliegenden Anmeldung synonym verwendet) wird als Täuschungsversuch oder als nicht verifizierbar verworfen, wenn ein Maß für die Variabilität des Verhältnisses der Abstände aus Bildern mit unterschiedlichen Drehstellungen ein vorgegebenes Schwellenwertkriterium unterschreitet. Die Differenzen der Verhältnisse der Abstände von charakteristischen Punkten im Gesicht sind in Fotos, auch wenn ein solches Foto vor der Kamera gedreht wird, klein, während im Fall eines echten Gesichts aufgrund von dessen dreidimensionaler Gestalt höhere Abweichungen in den Verhältnissen der Abstände der charakteristischen Punkte während der Drehung des Gesichts auftreten. Eine Maß für die Variabilität des Verhältnisses während der Drehung wird ist eine Größe die mit zunehmender Varianz der Verteilung des Verhältnisses zunimmt. Im einfachsten Fall von nur zwei Bildern wäre die Differenz der Werte des Verhältnisses ein Maß für Variabilität. Im bevorzugten Fall von wenigstens 20 Bildern kann z. B. die Standardabweichung der Verteilung der Werte des Verhältnisses ein Maß für die Variabilität sein und die Prüfung auf Unterschreitung des Schwellenwertkriteriums die Prüfung sein, ob die Standardabweichung kleiner als ein Schwellenwert ist.
-
In einer vorteilhaften Ausführungsform ist die Datenverarbeitungseinheit dazu eingerichtet, das mit der Kamera aufgenommene Gesicht als echtes Gesicht zu verifizieren, wenn das Verhältnis der Abstände der charakteristischen Punkte in aufeinanderfolgenden Bildern nach der Aufforderung an den Benutzer, den Kopf zu drehen, innerhalb einer vorgegebenen Zeitspanne das vorgegebene Schwellenkriterium überschreitet. Durch das Festlegen einer vorgegebenen Zeitspanne zur Verifizierung sollen länger andauernde Täuschungsversuch verworfen werden.
-
In einer voreilhaften Ausführungsform ist die Datenverarbeitungseinheit dazu eingerichtet, die Gesichtserkennung als nicht verifizierbar zu verwerfen, wenn nach der Aufforderung an den Benutzer über die Datenausgabeeinrichtung, den Kopf zu drehen, in aufeinanderfolgenden Bildern der Kamera keine Drehung des Kopfes des Benutzers feststellbar ist.
-
In einer vorteilhaften Ausführungsform ist die Datenverarbeitungseinheit dazu eingerichtet, das mobile elektronische Gerät zur Benutzung freizuschalten, wenn nach der Aufforderung an den Benutzer, den Kopf zu drehen, die Gesichtserkennung nicht als Täuschungsversuch oder als nicht verifizierbar verworfen wird und die Gesichtserkennung Übereinstimmung mit gespeicherten Gesichtsmerkmalen eines autorisierten Benutzers ergibt.
-
In einer vorteilhaften Ausführungsform weist das elektronische Gerät Lage- und/oder Beschleunigungssensoren auf und ist die Datenverarbeitungseinheit dazu eingerichtet, durch Analyse von Daten der Lage- und/oder Beschleunigungssensoren eine Gesichtserkennung als nicht verifizierbar oder Täuschungsversuch zu verwerfen, wenn nach der Aufforderung an den Benutzer den Kopf zu drehen, die Daten der Lage- und/oder Beschleunigungssensoren ein Bewegungsschwellenwertkriterium überschreitende Bewegungen des mobilen elektronischen Geräts anzeigen. Dadurch sollen Täuschungsversuche verworfen werden, bei denen die Kamera relativ zu dem aufzunehmenden Objekt gedreht wird.
-
In einer vorteilhaften Ausführungsform ist die Datenverarbeitungseinheit dazu eingerichtet, nach Aufforderung an den Benutzer den Kopf zu drehen, eine Vielzahl von Bildern in der Bewegungsfolge aufzunehmen und jeweils das Verhältnis der Abstände von charakteristischen Punkten in jedem Bild zu bestimmen. Das Gesicht wird dann als echt verifiziert, wenn die Standardabweichung der Verteilung der Verhältnisse der Abstände der charakteristischen Punkte aus der Vielzahl von aufgenommenen Bildern eine vorgegebene Schwelle überschreitet.
-
Vorzugsweise werden während der Drehung des Kopfes des Benutzers wenigstens 20 Bilder analysiert und jeweils das Verhältnis der Abstände der charakteristischen Punkte bestimmt und als Maß für die Variabilität die Standardabweichung der Verteilung der Werte des Verhältnisses bestimmt, die, wenn sie als Schwellenwertkriterium einen vorgegebenen Schwellenwert unterschreitet, als Kriterium für eine fehlgeschlagene Lebend- oder Echtheitserkennung des Gesichts oder für einen Täuschungsversuch herangezogen wird.
-
Vorzugsweise ist die Datenverarbeitungseinheit weiter dazu eingerichtet, bei der erstmaligen Registrierung eines neuen Benutzers diesen über die Datenausgabeeinrichtung aufzufordern, frontal in die Kamera zu blicken und den Kopf zu drehen, und in wenigstens zwei aufeinanderfolgenden Bildern mit unterschiedlichen Drehstellungen des Kopfes jeweils wenigstens drei charakteristische Punkte des Gesichts zu bestimmen, wenigstens zwei Abstände zwischen den drei charakteristischen Punkten und das Verhältnis der Abstände zu bestimmen und die Registrierung als Täuschungsversuch oder als nicht verifizierbar zu verwerfen, wenn ein Maß für die Variabilität des Verhältnisses der Abstände aus Bildern mit unterschiedlichen Drehstellungen ein vorgegebenes Schwellenwertkriterium unterschreitet.
-
Die Erfindung schafft ferner ein Verfahren zum Authentifizieren eines autorisierten Benutzers durch ein mobiles elektronisches Gerät, das eine Kamera, eine Datenausgabeeinrichtung und eine Datenverarbeitungseinheit aufweist, wobei bei dem Verfahren das Gesicht des Benutzers mit der Kamera des mobilen elektronischen Geräts aufgenommen und in der Datenverarbeitungseinheit eine Gesichtserkennung durch Vergleich mit gespeicherten charakteristischen Merkmalen des Gesichts des autorisierten Benutzers erfolgt. Erfindungsgemäß ist vorgesehen, dass zur Prüfung der Echtheit des Gesichts vor der Kamera des mobilen elektronischen Geräts der Benutzer über die Datenausgabeeinrichtung aufgefordert wird, frontal in die Kamera zu blicken und den Kopf zu drehen, und dass die Datenverarbeitungseinheit in wenigstens zwei aufeinanderfolgenden Bilder mit unterschiedlichen Drehstellungen des Kopfes jeweils wenigstens dieselben drei charakteristische Punkte des Gesichts in dem Bild bestimmt, jeweils wenigstens zwei Abstände zwischen den charakteristischen Punkten und das Verhältnis der Abstände bestimmt und das Gesicht als unecht oder als nicht verifizierbar verwirft, wenn ein Maß für die Variabilität des Verhältnisses aus Bildern mit unterschiedlichen Drehstellungen ein vorgegebenes Schwellenwertkriterium unterschreitet.
-
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen im Zusammenhang mit den Zeichnungen beschrieben, in denen:
-
1 ein Flussdiagramm zeigt, das einen Überblick über die Betriebsweise eines mobilen elektronischen Gerätes gibt,
-
2 ein Flussdiagramm ist, das die Betriebsweise des Geräts beim Versuch der Freischaltung (Login) durch einen autorisierten Benutzer illustriert,
-
3 ein Flussdiagramm zeigt, das die Betriebsweise des Geräts bei der erstmaligen Registrierung des autorisierten Benutzers an dem Gerät illustriert,
-
4 ein Flussdiagramm zeigt, das die Betriebsweise des Geräts bei der Echtheits- oder Lebenderkennung des Gesichts illustriert,
-
5 schematisch eine Kamera des elektronischen Geräts mit einem davor befindlichen Foto mit einem Gesicht darstellt,
-
6 eine schematische Ansicht wie in 5 mit gedrehtem Foto zeigt,
-
7 eine schematische Ansicht einer Kamera mit einem davor befindlichen dreidimensionalen Gesicht zeigt,
-
8 eine Ansicht wie 7 mit gedrehtem Gesicht zeigt, und
-
9 und 10 Beispiele für charakteristische Punkte im Gesicht und deren Abstände zeigen.
-
Mit Bezug auf 1 wird zunächst ein allgemeiner Überblick über die Betriebsweise des mobilen elektronischen Geräts gegeben. Das Verfahren wird durch den einer Datenverarbeitungseinheit des elektronischen Geräts ablaufendes Programm gesteuert und von einer übergeordneten Instanz, wie z. B. dem Betriebssystem, bei Bedarf gestartet. Nach dem Start wartet das Programm auf eine Benutzereingabe. Diese kann darin bestehen, einen Benutzer zu registrieren (der das Gerät erstmals benutzen will) oder einen bereits registrierten Benutzer anzumelden, um das Gerät freizuschalten (Login). Soll ein bereits registrierter Benutzer angemeldet werden (Login), so wird das Anmeldeverfahren gestartet. Bei erfolgreicher Anmeldung wird der Benutzer angemeldet und das elektronische Gerät zur Benutzung freigeschaltet. Ist die Anmeldung nicht erfolgreich, wartet das Betriebssystem erneut auf eine Benutzereingabe.
-
Soll ein Benutzer erstmals registriert werden, so wird das Registrierungsverfahren gestartet. Ist das Registrierungsverfahren erfolgreich, wird der neuer Benutzer zu den existierenden Benutzern hinzugefügt und charakteristische Daten des Gesichts des Benutzers aus einem mit der Kamera des elektronischen Geräts aufgenommenen Bild des Gesichts extrahiert und in dem elektronischen Gerät selbst gespeichert oder zu einer externen Datenbank übertragen, von der die zur Gesichtserkennung benötigten charakteristischen Daten des Benutzers dann später im Fall der Wiederanmeldung des Benutzers abgerufen werden können.
-
Wird das Gerät während des Anmeldeverfahrens (Login) oder während des Registrierungsverfahrens übermäßig bewegt, was durch Auswertung von Daten von Beschleunigungs- und/oder Lagesensoren erfasst wird, wird das laufende Anmeldeverfahren oder Registrierungsverfahren abgebrochen, da dann aufgrund der Bewegung auf einen Täuschungsversuch geschlossen wird, bei dem das Gerät während der Aufnahme bewegt wird.
-
Die Betriebsweise des elektronischen Geräts bei der Anmeldung eines bereits registrierten Benutzers zur Freischaltung des Geräts ist detaillierter in dem Flussdiagramm in 2 dargestellt. Zunächst versucht der in der Datenverarbeitungseinheit ablaufende Algorithmus in dem Kamerabild ein Gesicht aufzufinden. Wenn dieses gefunden ist, wird geprüft, ob die Bildqualität ausreichend ist, um die biometrische Gesichtserkennung mit Vergleich mit dem bei der Registrierung des Benutzers gespeicherten charakteristischen Gesichtsmerkmalen durchzuführen. Wenn die Bildqualität ausreichend ist, wird daraufhin die Gesichtserkennung und der Abgleich mit den für den Benutzer gespeicherten oder abgerufenen charakteristischen Gesichtsmerkmalen durchgeführt. Wird das Gesicht des Benutzers positiv als übereinstimmend mit dem registrierten Gesicht erkannt, erfolgt daraufhin die Lebend- oder Echtheitserkennung, bei der geprüft wird, ob es sich um ein dreidimensionales Gesicht eines echten Benutzers handelt oder um einen Täuschungsversuch durch eine Fotografie. Wenn die Lebend- oder Echtheitserkennung positiv ist, erfolgt die Freischaltung des elektronischen Geräts (Login).
-
In 3 ist die Betriebsweise des elektronischen Gerätes bei der Registrierung eines Benutzers detaillierter dargestellt. Es erfolgt zunächst wie bei der Verfahrensweise in 2 die Suche nach einem Gesicht in dem Kamerabild, und bei Erkennen eines Gesichts eine Qualitätsprüfung des Bildes. Wenn die Qualität des Bildes nicht ausreichend ist, muss der Prozess solange wiederholt werden, bis ein Bild mit ausreichender Qualität vorliegt. Daraufhin wird die Lebend- oder Echtheitserkennung durchgeführt, wie weiter unten genauer beschrieben wird und die die charakteristische Merkmale eines dreidimensionalen Gesichts auffinden soll, um Täuschungsversuche durch Fotografien auszuschließen. Bei positiver Prüfung auf ein echtes oder lebendiges Gesicht, werden aus dem Kamerabild charakteristische Gesichtsmerkmalsdaten abgeleitet. Diese können in dem Gerät selbst oder in einer davon separaten Benutzer-Datenbank gespeichert werden.
-
Die Lebend- oder Echtheitserkennung des Gesichts wird nun mit Bezug auf das Flussdiagramm in 4 sowie die Gegenüberstellungen der Verhältnisse bei Drehung eines Fotos vor der Kamera in 5 und 6 einerseits und bei der Drehung eines echten Gesichts vor der Kamera in 7 und 8 andererseits erläutert.
-
Zu Beginn der Lebenderkennung wird der Benutzer aufgefordert, frontal in die Kamera zu blicken und dann den Kopf zu drehen. Während der Lebenderkennung werden aufeinanderfolgende Bilder der Kamera während der Drehung des Kopfes ausgewertet und das zu Beginn der Lebenderkennung selektierte Gesicht auf den Bildern verfolgt. Dabei werden auf jedem Bild ausgewählte charakteristische Punkte des Gesichts gefunden und ausgewählte Abstände zwischen den charakteristischen Punkten über ein Intervall von beispielsweise mindestens 20 aufeinanderfolgenden Bildern ausgewertet. Anhand der relativen Abstände der charakteristischen Punkte (d. h. Verhältnis von zwei Abständen pro Bild) und deren Veränderung bei der Drehung des Gesichts wird festgestellt, ob sich ein echtes, dreidimensionales Gesicht relativ zur Kamera dreht.
-
In 9 und 10 sind Beispiele für charakteristische Punkte eines Gesichts und deren Abstände dargestellt. In 9 sind beispielhaft charakteristische Punkte dargestellt, die geeignet sind, um zwischen Fotos und echten Gesichtern zu unterscheiden, wenn das Foto bzw. das Gesicht um die Nickachse gedreht wird (Nicken des Kopfes). 10 zeigt eine beispielhafte Auswahl von Punkten, die geeignet sind, um zwischen Foto bzw. echtem Gesicht zu unterscheiden, wenn das Foto bzw. das Gesicht zur Seite gedreht wird.
-
Im Folgenden sollen zunächst die Verhältnisse bei Drehung eines Fotos eines Gesichts relativ zur Kamera anhand der 5 und 6 erläutert werden. Die in 5 durchgezogene horizontale Linie stellt das senkrecht zur Figurenebene stehende Foto mit einem frontal aufgenommenen Gesicht dar. Die Punkte A, B und C bezeichnen die Positionen des rechten Auges, des linken Auges und der Nase. Die gestrichelten Linien mit Pfeil am Ende stellen die Vektoren von der Kamera zu den genannten charakteristischen Punkten A, B und C dar. Ferner sind die durch Doppelpfeile dargestellten Abstände AB und BC zwischen den Punkten A und B bzw. B und C dargestellt.
-
In 6 ist das Foto relativ zur Kamera gedreht. Wie durch Vergleich von 5 und 6 ersichtlich ist, bleibt das Verhältnis der Abstände AB/BC gleich, da sich die Abstände bei einer Drehung des Fotos in gleichem Maße ändern.
-
Demgegenüber sind in 7 und 8 die Verhältnisse bei einem dreidimensionalen Gesicht dargestellt, das von der Kamera gedreht wird. Die Punkte A, B und C bezeichnen wieder die Position des rechten Auges, des linken Auges und der Nase des Gesichts. Die gestrichelten Linien mit Pfeil am Ende stellen wieder die Vektoren von der Kamera zu den Punkten A, B und C dar. Die waagerechten Doppelpfeile zeigen wieder die Abstände AB und BC. In der in 7 dargestellten Situation mit frontal auf die Kamera gerichteten Gesicht die Abstände AB und BC gleich groß. Hat sich das Gesicht jedoch in eine schräge Stellung wie in 8 gezeigt gedreht, hat sich das Verhältnis AB/BC deutlich verändert, da sich die Abstände AB und BC bei einer Drehung eines dreidimensionalen Gesichtes in unterschiedlichem Maße ändern. Mit anderen Worten hat die Differenz des Verhältnisses (als Beispiel für eine Maß für die Variabilität) aus Bildern mit verschiedenen Drehstellungen des Gesichts einen signifikanten von Null verschiedenen Wert. Prüft man daher die Differenz des Verhältnisses aus wenigstens zwei Bildern mit verschiedenen Drehstellungen kann dadurch bereits eine Prüfung zur Lebend- oder Echtheitserkennung durchgeführt werden. Es ist jedoch bevorzugt, eine größere Anzahl von Bildern über den Verlauf der Drehung des Kopfes aufzunehmen und in jedem Bild das Verhältnis zu bestimmen. Die Verteilung der Verhältnisse gibt dann ebenfalls Aufschluss, ob und wie sich der Wert des Verhältnisses während der Drehung verschoben hat. Eine breite Verteilung von Werten des Verhältnisses ist konsistent mit der Annahme, dass ein dreidimensionales Gesicht aufgenommen und gedreht wurde. Es können zum Beispiel 20 Bilder, die im Verlauf der Drehung des Kopfes aufgenommen worden sind, ausgewertet werden und jeweils das Verhältnis von denselben zwei Abständen von denselben charakteristischen Punkten berechnet und deren Verteilung analysiert werden. Überschreitet beispielsweise die Standardabweichung der Verteilung einen minimal vorgegebenen Wert, kann dies als Schwellenwertkriterium zur Verifizierung des aufgenommen Gesichts als echt oder lebend verwertet werden.
-
Während der Lebenderkennung wird eine Vielzahl von Bildern aufgenommen und ausgewertet. Das zu Beginn der Lebenderkennung identifizierte Gesicht wird in den Bildern verfolgt. Dabei werden in jedem Bild ausgewählte charakteristische Punkte des Gesichtes gefunden und ausgewählte Abstände zwischen den charakteristischen Punkten zum Beispiel bei einem Intervall von mindestens 20 aufeinanderfolgenden Bildern gespeichert. Anhand der relativen Abstände der Augen im Vergleich zur Länge der Nase auf den Bildern wird zum Beispiel festgestellt, ob sich das Gesicht relativ zur Kamera dreht.
-
Wie in den 5 bis 8 zu sehen, ändern sich die Abstände zwischen den charakteristischen Punkten auf einem Gesicht in sehr unterschiedlicher Weise abhängig davon, ob es sich um ein echtes Gesicht oder ein Foto handelt, das gedreht wird. Insbesondere bleibt das Verhältnis der Abstände charakteristischer Punkte auf dem Foto nahezu gleich, wenn diese bezüglich der Drehachse auf einer Linie liegen (siehe 5 und 6). Auf dem Profil eines echten Gesichts liegen diese charakteristischen Punkte aber nicht auf einer Linie zur Drehachse, und das Verhältnis der Abstände entwickelt sich während der Drehung sehr unterschiedlich (siehe 7 und 8).
-
Aufgrund dieser Gegebenheiten kann mit dem mobilen elektronischen Gerät und dem Verfahren der vorliegenden Erfindung auf Basis der bestimmten Abstände und von deren Verhältnissen im Verlaufe der Drehung des Kopfes folgende Schlussfolgerung gezogen werden.
-
Wenn sich das Gesicht/Foto sich nicht signifikant relativ zur Kamera dreht, so kann keine Lebend- oder Echtheitserkennung durchgeführt werden.
-
Wenn das Gesicht/Foto auf mindestens N-Bildern unterschiedlich weit gedreht ist lassen sich folgende Fälle unterscheiden:
- i. Die Varianz der Verhältnisse der Abstände der ausgewählten charakteristischen Punkte auf dem Gesicht ist größer als ein Schwellenwert SL; dann wird das Gesicht als echt oder lebend erkannt.
- ii. Die Varianz der Verhältnisse der Abstände der charakteristischen Punkte auf dem Gesicht ist kleiner als ein Schwellenwert SNL; dann wird das Gesicht als nicht echt oder nicht lebend verworfen.
- iii. Falls keiner der beiden zuvor genannten Fälle zutrifft, kann keine Aussage bezüglich Echtheit oder Lebendigkeit des Gesichts getroffen werden.
