DE112019007808T5

DE112019007808T5 - Kamera-synchronisation und bild-markieren für eine gesichtsauthentifizierung

Info

Publication number: DE112019007808T5
Application number: DE112019007808.9T
Authority: DE
Inventors: Zhijun He; Wen Yu Chien; Po-Jen Chang; Xu Han; Adarsh Prakash Murthy Kowdle; Jae Min Purvis; Lu Gao; Gopal Parupudi; Clayton Merrill Kimber
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2022-08-04
Also published as: US12046072B2; CN113544692A; US20220172511A1; WO2021071497A1; CN113544692B

Abstract

Diese Offenlegung beschreibt Systeme und Techniken zur Synchronisierung von Kameras und zur Kennzeichnung von Bildern für die Gesichtsauthentifizierung. Ein Benutzergerät (102) leitet eine Gesichtsauthentifizierungssitzung ein, indem es einen Erfassungsbefehl an eine Kontrollschnittstelle (118) eines Mehrfachkamerasystems (104) sendet. Daraufhin gibt eine erste Kamera (106-1) ein Synchronisationssignal an eine zweite Kamera (106-2) aus, das den Beginn eines jeden Einzelbildes anzeigt. Die erste Kamera (106-1) nimmt ein Flutbild für ein Anfangseinzelbild auf, und die zweite Kamera (106-2) nimmt ein Punktbild für ein nachfolgendes Einzelbild auf. Das Flutbild wird mit einem Flutidentifikator versehen, das Punktbild mit einem Punktidentifikator. Das Benutzergerät (102) bestimmt, ob es sich bei dem ersten oder zweiten Einzelbild um ein verworfenes Einzelbild handelt, und als Reaktion auf die Feststellung, dass keines der beiden Einzelbilder ein verworfenes Einzelbild ist, gibt das Gesichtsauthentifizierungssystem (108) einen Bildstrom mit den markierten Flut- und Punktbildern aus. Ein Gesichtserkennungsmodell (112) authentifiziert den Benutzer auf der Grundlage des Bildstroms.

Description

HINTERGRUND
Einige Benutzergeräte (z. B. Mobiltelefone) authentifizieren das Gesicht eines Benutzers mit einem Mehrfachkamerasystem, wie z. B. einer Dual-Infrarotkamera. Eine Dual-Infrarotkamera nimmt abwechselnd ein „Flutbild“ und ein „Punktbild“ für jedes aufeinanderfolgende Paar von Gesichtsauthentifizierungseinzelbildern auf. Ein Flutlichtstrahler beleuchtet das Gesicht des Benutzers, während eine der Infrarotkameras ein Flutbild erfasst. Im nächsten Bild gibt ein Punktprojektor ein Punktlasermuster aus, während die andere Infrarotkamera ein „Punktbild“ des Gesichts des Benutzers erfasst. Die duale Infrarotkamera kennzeichnet jedes Bild mit Metadaten, um anzugeben, ob es sich um ein Flutbild oder ein Punktbild handelt. Die Markierungen werden durchgängig im abwechselnden Rhythmus der Bilderfassung angebracht. Ein Gesichtserkennungsmodell empfängt einen Bildstrom von markierten Flut- und Punktbildern als Eingabe und authentifiziert den Benutzer, z. B. um das Benutzergerät zu entsperren.
Das Modell unterscheidet anhand von Metadaten-Markierungen zwischen Punkt- und Flutbildern. Die genaue Kennzeichnung von Bildern kann aufgrund von „verworfenen Einzelbildern“ besonders schwierig sein. Ein „verworfenes Einzelbild“ tritt auf, wenn mindestens eine Kamera kein Bild für ein Einzelbild erfasst oder das Bild für das Einzelbild zu einem falschen Zeitpunkt erfasst. Ein verworfenes Einzelbild kann den alternierenden Charakter der Bilderfassungsprozesse unterbrechen, was zu einer Unterbrechung der Kennzeichnung und zu einer falschen Kennzeichnung der Bilder führen kann. Fehler oder Unstimmigkeiten in Metadaten-Markierungen können die Reaktionsfähigkeit, Zuverlässigkeit und Genauigkeit eines Gesichtserkennungsmodells beeinträchtigen. Ungenaue Markierungen können sogar dazu führen, dass das Gesichtserkennungsmodell versagt, z. B. durch die Durchführung von Operationen, die für ein Flutbild vorgesehen sind, auf einem falsch identifizierten Punktbild. Ein unvorhersehbares Modell verringert die Zufriedenheit der Benutzer mit der Gesichtsauthentifizierung und schwächt die Sicherheit des Benutzergeräts.
ZUSAMMENFASSUNG
Diese Offenlegung beschreibt Systeme und Techniken zur Synchronisierung von Kameras und zur Kennzeichnung von Bildern für die Gesichtsauthentifizierung. Ein Benutzergerät (z. B. ein Mobiltelefon) leitet eine Gesichtsauthentifizierungssitzung ein, indem es einen Erfassungsbefehl an eine Kontrollschnittstelle eines Mehrfachkamerasystems sendet. Daraufhin gibt eine primäre Kamera ein Synchronisationssignal an eine sekundäre Kamera aus, das den Beginn jedes Einzelbildes der primären Kamera anzeigt. Die primäre Kamera erfasst ein Flutbild für ein Anfangseinzelbild und die sekundäre Kamera ein Punktbild für ein Folgeeinzelbild oder umgekehrt (erst Punkt, dann Flut); die sekundäre Kamera kann auch ein Flutbild für ein Anfangseinzelbild und die primäre Kamera ein Punktbild für das Folgeeinzelbild erfassen. Das Flutbild wird mit einem „Flut-Identifizierer“ und das Punktbild mit einem „Punkt-Identifizierer“ versehen. Das Benutzergerät bestimmt (z. B. anhand der jeweiligen Zeitstempel der Bilder), ob die Flut- und Punktbilder zur richtigen Zeit während des ersten und des nachfolgenden Einzelbildes erfasst wurden. Ist dies nicht der Fall, ordnet das Benutzergerät die Bilder den ausgelassenen Einzelbildern zu. Wenn der Prozessor feststellt, dass weder ein Flut- noch ein Punktbild während eines verworfenen Einzelbildes erfasst wurde, gibt er einen Bildstrom mit den markierten Flut- und Punktbildern aus. Umgekehrt werden Bilder, die während eines „verworfenen Einzelbildes“ erfasst wurden, aus dem Bildstrom verworfen oder auf andere Weise daran gehindert, das Gesichtserkennungsmodell zu erreichen, wenn entweder das erste oder das nachfolgende Einzelbild ein „verworfenes Einzelbild“ war. Das Gesichtserkennungsmodell authentifiziert den Benutzer auf der Grundlage eines Bildstroms, der keine Bilder enthält, die mit verworfenen Einzelbildern in Verbindung stehen. Durch diese Änderung des Bildstroms werden einige nachgelagerte Fehler bei der Authentifizierung durch das Modell vermieden.
Das System und die Techniken ermöglichen daher eine genaue Markierung von Bildern für ein Gesichtserkennungsmodell, das sich auf die Markierungen stützt, um zwischen Flut- und Punktbildern zu unterscheiden. Eine genaue Markierung kann aufgrund von verworfenen Einzelbildern besonders schwierig sein. Die Markierungen werden sequentiell pro Einzelbildzahl angebracht. Wenn ein Einzelbild verworfen wird, können die Bilder, die während des verworfenen Einzelbildes erfasst wurden, ein Punkt- oder Flutmuster aufweisen, das nicht mit dem entsprechenden Markierung übereinstimmt. Ein Gesichtserkennungsmodell verlässt sich auf die Markierungen, um Bilder korrekt zu verarbeiten. Wenn ein Bild als Punkt- oder Flutbild gekennzeichnet ist, aber das gegenteilige Punkt- oder Flutmuster zeigt, funktioniert das Gesichtserkennungsmodell nicht richtig, wenn es Flutoperationen auf ein Bild mit einem Punktmuster oder Punktoperationen auf ein Bild mit einem Flutmuster ausführt. Stattdessen verwerfen das System und die Verfahren die Bilder, die während der verworfenen Einzelbilder erfasst wurden, um den alternierenden Charakter des Bildstroms zu erhalten und seine Genauigkeit zu gewährleisten. Ein präziserer Bildstrom ermöglicht eine effizientere Verarbeitung. Das Gesichtserkennungsmodell vermeidet die Durchführung von Operationen, die für ein Flutbild vorgesehen sind, auf einem falsch markierten Punktbild. Daher vermeidet das Benutzergerät die Verschwendung von Ressourcen und Rechenleistung, die an anderer Stelle des Benutzergeräts eingesetzt werden könnten. Ein genauerer Bildstrom gewährleistet auch, dass das Modell zuverlässig und nicht fehleranfällig ist. Die vom Modell durchgeführten Authentifizierungen sind genau, da das Gesichtserkennungsmodell korrekt gekennzeichnete Bilder erhält. Ein durchgängig funktionierendes Modell erhöht die Zufriedenheit der Benutzer mit der Gesichtsauthentifizierung und stärkt die Sicherheit des Benutzergeräts.
In einigen Aspekten wird ein Verfahren zur Synchronisierung von Kameras und zur Kennzeichnung von Bildern für die Gesichtsauthentifizierung mit einem Gesichtserkennungsmodell beschrieben. Das Verfahren umfasst das Initiieren einer Gesichtsauthentifizierungssitzung durch einen Prozessor eines Benutzergeräts durch Senden eines Erfassungsbefehls an eine Kontrollschnittstelle eines Mehrfachkamerasystems des Benutzergeräts, und als Reaktion auf das Initiieren der Gesichtsauthentifizierungssitzung das Ausgeben eines Synchronisationssignals von einer ersten Kamera des Mehrfachkamerasystems und an eine zweite Kamera des Mehrfachkamerasystems, das jedes Einzelbild der zweiten Kamera mit einem Start jedes Einzelbildes der ersten Kamera initiiert. Das Verfahren umfasst ferner das Ansteuern eines Flutlichtstrahlers des Mehrfachkamerasystems durch die erste Kamera, um ein Flutbild eines Benutzers für ein erstes Einzelbild zu erfassen und Metadaten des Flutbildes für das erste Einzelbild automatisch mit einem Flutidentifikator zu kennzeichnen, und nach dem Erfassen. des Flutbildes für das erste Einzelbild das Ansteuern eines Punktproj ektors durch die zweite Kamera, um ein Punktbild des Benutzers für ein zweites Einzelbild zu erfassen und Metadaten des Punktbildes für das zweite Einzelbild automatisch mit einem Punktidentifikator zu kennzeichnen. Alternativ kann die erste Kamera den Punktprojektor und die zweite Kamera den Flutlichtstrahler ansteuern. Das Verfahren umfasst ferner die Bestimmung, ob das erste Einzelbild oder das zweite Einzelbild ein „verworfenes Einzelbild „ist. Das Verfahren wird fortgesetzt, indem in Reaktion auf die Feststellung, dass weder das erste noch das zweite Einzelbild ein verworfenes Einzelbild ist, an das Gesichtserkennungsmodell der Benutzergerät ein Bildstrom ausgegeben wird, der das markierte Flutbild für das erste Einzelbild und das markierte Punktbild für das zweite Einzelbild umfasst, und der Benutzer durch Eingabe des Bildstroms in das Gesichtserkennungsmodell authentifiziert wird.
In diesem Dokument werden auch computerlesbare Medien beschrieben, die Anweisungen zur Durchführung des oben zusammengefassten Verfahrens und anderer hier dargelegter Verfahren sowie Systeme und Mittel zur Durchführung dieser Verfahren enthalten.
Diese Zusammenfassung dient dazu, vereinfachte Konzepte für die Synchronisierung von Kameras und die Kennzeichnung von Bildern für die Gesichtsauthentifizierung vorzustellen, die weiter unten in der detaillierten Beschreibung und den Zeichnungen beschrieben werden. Diese Zusammenfassung dient nicht dazu, wesentliche Merkmale des beanspruchten Gegenstands zu identifizieren, und ist auch nicht dazu gedacht, den Umfang des beanspruchten Gegenstands zu bestimmen.
Figurenliste
Die Details von einem oder mehreren Aspekten der Kamerasynchronisation und der Bildmarkierung für die Gesichtsauthentifizierung werden in diesem Dokument unter Bezugnahme auf die folgenden Zeichnungen beschrieben. In den Zeichnungen werden dieselben Nummern verwendet, um auf gleiche Merkmale und Komponenten zu verweisen:

1 zeigt eine Beispielumgebung, in der Techniken zur Kamerasynchronisation und Bildmarkierung für die Gesichtsauthentifizierung implementiert werden können.
2 zeigt ein Beispiel des in 1 dargestellten Benutzergeräts.
3 zeigt weitere Details des in 2 dargestellten Authentifizierungssystems und des Kamerasystems.
4 zeigt ein Beispiel für eine Bildsequenz, die von dem in 3 dargestellten Kamerasystem erfasst wurde.
Die 5-1 und 5-2 zeigen beispielhafte Methoden der Kamerasynchronisation und Bildmarkierung für die Gesichtsauthentifizierung.

DETAILLIERTE BESCHREIBUNG
Diese Offenlegung beschreibt Techniken und Systeme zur Synchronisierung von Kameras und zur Kennzeichnung von Bildrahmen für die Gesichtsauthentifizierung. Ein Gesichtsauthentifizierungssystem für ein Benutzergerät (z. B. ein Mobiltelefon) umfasst ein System mit mehreren Kameras. Das Mehrfachkamerasystem wird in erster Linie als ein System mit zwei Infrarotkameras beschrieben, die hier beschriebenen Techniken und Systeme gelten jedoch auch für andere Arten von Mehrfachkamerasystemen, einschließlich Nicht-Infrarotkameras und Mehrfachkamerasystemen mit mehr als zwei Kameras. Während ein abwechselndes Flutpunktmuster auf das Gesicht eines Benutzers projiziert wird, nimmt das duale Infrarotkamerasystem Bildrahmen des Gesichts auf, von denen jeder das durch das abwechselnde Flutpunktmuster beleuchtete Gesicht zeigt.
Das abwechselnde Flut-Punktmuster, das in den erfassten Bildrahmen erscheint, ist eine Referenz für ein Gesichtserkennungsmodell (z. B. ein maschinell erlerntes Modell, das zur Authentifizierung des Gesichts eines Benutzers trainiert wurde). Das Modell authentifiziert das Gesicht eines Benutzers auf der Grundlage eines Bildstroms, der von dem System mit mehreren Kameras ausgegeben wird. Anhand der im Bildstrom auftretenden Variationen kann das Gesichtserkennungsmodell Rückschlüsse ziehen und eine dreidimensionale Karte des Gesichts des Benutzers erstellen. Das Gesichtserkennungsmodell vergleicht die dreidimensionale Karte mit einem Referenzschlüssel (z. B. einer vorbestimmten Gesichtskarte eines autorisierten Benutzers), und das Benutzergerät authentifiziert den Benutzer, wenn das Modell feststellt, dass die Karte des Benutzergesichts ausreichend mit dem Referenzschlüssel übereinstimmt.
Das Modell unterscheidet zwischen den Bildern im Bildstrom anhand von Metadaten-Markierungen, die kurz nach der Erfassung angebracht werden. Ein Flutbild wird mit einer Art von Metadaten-Markierung versehen, ein Punktbild mit einer anderen Art von Metadaten-Markierung. Die Markierungen werden entsprechend dem abwechselnden Rhythmus des Bilderfassungsprozesses angebracht und verlassen sich auf die Parität einer Einzelbildzählung, um zwischen der Verwendung einer Flutbildmarkierung oder einer Punktbildmarkierung beim nächsten Einzelbild zu wechseln, unabhängig davon, wann die Bilder tatsächlich innerhalb oder außerhalb der für dieses Bild vorgesehenen Belichtungszeit erfasst wurden. Die genaue Kennzeichnung von Bildern kann sich als besonders schwierig erweisen, da verworfene Einzelbilder und andere Zeitprobleme zu einer Drift führen, die dazu führt, dass synchronisierte Kameras Bilder außerhalb des Belichtungsfensters eines Einzelbildes erfassen. Wenn die Metadaten der Bilder im Bildstrom falsch gekennzeichnet sind, wird das Gesichtserkennungsmodell das Bildpaar falsch verarbeiten. Ein Flutbild, das fälschlicherweise als Punktbild gekennzeichnet ist, führt zu einer Fehlfunktion des Modells, da das Flutbild nicht das erforderliche Punktmuster enthält, das in anderen Punktbildern sichtbar ist.
Wenn das Benutzergerät überlastet ist, kann das Mehrfachkamerasystem Bilder auslassen. Wenn z. B. eine Verarbeitungseinheit des Benutzergeräts mit der Durchführung anderer Vorgänge belastet ist, die nichts mit der Gesichtsauthentifizierung und der Bildmarkierung zu tun haben, verfügt die Verarbeitungseinheit möglicherweise nicht über die Ressourcen, um die Steuerung eines Bildstroms mit dem System mit mehreren Kameras zu unterstützen, insbesondere bei einer Erfassungsrate, die dem Gesichtserkennungsmodell genügt. Die hier beschriebenen Techniken und Systeme ermöglichen es dem Benutzergerät, Bilder konsistent und genau zu kennzeichnen, um eine genaue Gesichtserkennung zu fördern, trotz des Auftretens von verworfenen Bildern.
In einer Ausführungsform leitet ein Mobiltelefon eine Gesichtsauthentifizierungssitzung ein, indem es einen Erfassungsbefehl an eine Kontrollschnittstelle eines Mehrfachkamerasystems sendet. Bei dem Mehrfachkamerasystem handelt es sich beispielsweise um ein nach vorne gerichtetes Kamerasystem mit einem Sichtfeld, das senkrecht zu einem Berührungsbildschirm und in Richtung eines Benutzers projiziert wird, wenn dieser auf den Berührungsbildschirm blickt. Das Mehrfachkamerasystem umfasst eine Dual-Infrarotkamera und optional optische und andere zusätzliche Kameratypen.
Die Kontrollschnittstelle des Mehrfachkamerasystems synchronisiert die Initialisierung und das Einschalten der verschiedenen Kameras. Anstatt dass eine Verarbeitungseinheit einzelne Initialisierungs- und Einschaltbefehle an jede Kamera im System ausgeben muss, empfängt die Kontrollschnittstelle einen einzigen Initialisierungs- oder Einschaltbefehl und gibt den Befehl automatisch und parallel an jede Kamera des Mehrfachkamerasystems weiter. Die Kontrollschnittstelle ermöglicht die gleichzeitige Initialisierung und Einschaltung der Kameras des Mehrfachkamerasystems, was die Synchronisierung der anschließend vom Mehrfachkamerasystem durchgeführten Erfassung und Markierung unterstützt.
Um das Mehrfachkamerasystem weiter zu synchronisieren, ist das System so aufgebaut, dass es eine Hauptkamera hat, die eine oder mehrere Nebenkameras hardwaremäßig synchronisiert. Beispielsweise ist der primäre vertikale Synchronisationsausgang (VSYNC) fest mit einem VSYNC-Eingang jeder Sekundärkamera verdrahtet. Als Reaktion auf den Empfang eines Befehls an der Kontrollschnittstelle gibt die primäre Kamera ein Synchronisationssignal an den VSYNC-Eingang der sekundären Kamera aus. Das Synchronisationssignal veranlasst jede sekundäre Kamera, den Beginn eines jeden Einzelbildes mit der primären Kamera zu synchronisieren. Das Synchronisationssignal richtet jedes Kamerapaar zu Beginn eines jeden Einzelbildes aus. Es kann mehrere Einzelbilder dauern, bis die Kameras synchronisiert sind. Das erste synchronisierte Einzelbild zwischen den beiden Kameras kann durch den Vergleich der Zeitstempel der primären und sekundären Bilder, die mit den beiden Kameras erfasst wurden, ermittelt werden.
Die primäre Kamera nimmt ein Flutbild für ein erstes Einzelbild auf, und die sekundäre Kamera nimmt ein Punktbild für ein folgendes Einzelbild auf. Das Flutbild wird mit einem „Flutidentifikator“ versehen, das Punktbild mit einem „Punktidentifikator“.
Die Verarbeitungseinheit bestimmt (z. B. auf der Grundlage der jeweiligen Zeitstempel der Bilder), ob die Flut- und Punktbilder zu den jeweils richtigen Zeitpunkten während des ersten und der nachfolgenden Bilder erfasst wurden. Die Verarbeitungseinheit ordnet ein Bild einem verworfenen Einzelbild zu, wenn die Benutzergerät feststellt, dass das Bild nicht während eines bestimmten Zeitfensters eines Einzelbildes erfasst wurde. Als Reaktion auf die Feststellung, dass weder ein Flut- noch ein Punkt-Bild während eines „verworfenen Einzelbildes“ erfasst wurde, gibt die Verarbeitungseinheit einen Bildstrom mit den markierten Flut- und Punkt-Bildern in das Gesichtserkennungsmodell ein. Stellt die Verarbeitungseinheit dagegen fest, dass entweder das erste oder das nachfolgende Einzelbild ein verworfenes Einzelbild war, gibt die Verarbeitungseinheit den Bildstrom in das Gesichtserkennungsmodell ein, wobei jedoch die markierten Flut- und Punktbilder entfernt werden. Bilder, die während eines verworfenen Einzelbildes erfasst wurden, werden aus dem Bildstrom verworfen oder auf andere Weise daran gehindert, das Gesichtserkennungsmodell zu erreichen. In einigen Fällen werden die Flut- oder Punkt-Bilder durch zuvor verwendete Flut- und Punkt-Bilder (z. B. aus den beiden vorangegangenen Einzelbildern) ersetzt. Das Ersetzen von Bildern anstelle des völligen Weglassens von Bildern aus dem Bildstrom trägt dazu bei, die vom Modell erwartete höhere Erfassungsrate aufrechtzuerhalten, indem dem Modell ein gleichmäßiger Bildstrom geliefert wird. Das Gesichtserkennungsmodell authentifiziert den Benutzer auf der Grundlage eines Bildstroms, der keine Bilder enthält, die zu verworfenen Einzelbildern gehören. Durch diese Änderung des Bildstroms werden einige nachgelagerte Fehler bei der Authentifizierung durch das Modell vermieden.
Die Benutzergerät kann Bilder genauer kennzeichnen als ein anderes Benutzergerät, das Bilder für ein Gesichtserkennungsmodell kennzeichnet, das auf den Kennzeichnungen beruht, um zwischen Bildtypen zu unterscheiden. Bilder, die während verworfener Einzelbilder erfasst wurden, werden verworfen, um den alternierenden Charakter des Bildstroms zu erhalten und seine Genauigkeit zu gewährleisten. Das Benutzergerät vermeidet die Verschwendung von Ressourcen und Rechenleistung, die an anderer Stelle eingesetzt werden könnten. Die vom Modell durchgeführten Authentifizierungen sind genau, da das Gesichtserkennungsmodell korrekt gekennzeichnete Bilder erhält. Ein durchgängig funktionierendes Modell erhöht die Zufriedenheit der Benutzer mit der Gesichtsauthentifizierung und stärkt die Sicherheit der Benutzergeräte.
1 zeigt eine Beispielumgebung 100, in der Techniken zur Kamerasynchronisation und Bildmarkierung für die Gesichtsauthentifizierung implementiert werden können. Die Umgebung 100 umfasst einen Benutzer 114, der ein Benutzergerät 102 zur Gesichtsauthentifizierung des Benutzers 114 hält. Beispielsweise wird durch die Gesichtsauthentifizierung des Benutzers 114 das Benutzergerät aus einem Zustand mit eingeschränktem Zugang, in dem die Benutzeroberfläche 116-1 angezeigt wird, herausgenommen und dem Benutzer Zugang zu einem Zustand mit vollem Zugang gewährt. Im Vollzugriffszustand zeigt das Benutzergerät eine Benutzeroberfläche 116-2 anstelle der Benutzeroberfläche 116-1 an. Das Benutzergerät 102 umfasst ein Mehrfachkamerasystem 104 und ein Gesichtsauthentifizierungssystem 108. Das Mehrfachkamerasystem 104 umfasst eine Kamera 106-1 und eine Kamera 106-2, die über eine Hardwareverbindung 110 gekoppelt sind. Das Gesichtsauthentifizierungssystem 108 umfasst ein Gesichtserkennungsmodell 112.
Das Benutzergerät 102 (manchmal auch als Computergerät bezeichnet) kann jede Art von mobilem oder nicht mobilem Computergerät mit einem Mehrfachkamerasystem für die Gesichtsauthentifizierung sein. Als mobiles Computergerät kann das Benutzergerät 102 ein Mobiltelefon, ein Laptop, ein tragbares Gerät (z. B. Uhren, Brillen, Kopfhörer, Kleidung), ein Tablet-Gerät, ein Fahrzeuggerät, ein tragbares Spielgerät, ein elektronisches Lesegerät oder ein Fernsteuerungsgerät oder ein anderes mobiles Computergerät mit einer Kamera sein. Als nicht-mobiles Computergerät kann das Benutzergerät 102 ein Kühlschrank, eine Türklingel, ein Thermostat, ein Sicherheitssystem oder ein Steuerkreuz, ein Desktop-Computer, ein Fernsehgerät, ein Anzeigegerät, ein Unterhaltungs-Set-Top-Gerät, ein Streaming-Media-Gerät, ein Tabletop-Assistenzgerät, ein nicht tragbares Spielgerät, ein Geschäftskonferenzgerät oder ein anderes nicht-mobiles Computergerät mit einem Mehrfachkamerasystem zur Gesichtsauthentifizierung sein.
Das Gesichtsauthentifizierungssystem 108 stellt eine Sammlung von Hardware-, Software- und Firmware-Komponenten des Benutzergeräts dar, die koordiniert werden, um die Gesichtsauthentifizierung unter Verwendung des Mehrfachkamerasystems 104 durchzuführen. Verschiedene Implementierungen des Authentifizierungssystems 108 können ein System-on-Chip (SoC), einen oder mehrere integrierte Schaltkreise (ICs), einen Prozessor mit eingebetteten Prozessoranweisungen oder konfiguriert für den Zugriff auf im Speicher gespeicherte Prozessoranweisungen, Hardware mit eingebetteter Firmware, eine Leiterplatte mit verschiedenen Hardwarekomponenten oder eine beliebige Kombination davon umfassen.
Das Gesichtsauthentifizierungssystem 108 umfasst zum Beispiel das Gesichtserkennungsmodell 112. Ein Beispiel für das Gesichtserkennungsmodell 112 ist ein neuronales Netz oder eine andere Art von maschinell erlerntem Modell. Das Gesichtserkennungsmodell 112 wird unter Verwendung von maschinellem Lernen trainiert, um einen Satz von Einbettungen aus einem Bildstrom (z. B. einem abwechselnden Flut-Punkt-Bilderstrom) abzuleiten, den das Modell 112 von dem Mehrfachkamerasystem 104 empfängt, und als Reaktion darauf eine Anzeige (z. B. eine Wahrscheinlichkeit, eine Punktzahl) auszugeben, die angibt, ob der Satz von Einbettungen einem vorbestimmten Referenzschlüssel ausreichend entspricht. Während des Trainings weist das Gesichtsauthentifizierungssystem beispielsweise das Mehrfachkamerasystem 104 an, eine Vielzahl von Bildern des Benutzers 114 zu erfassen, die aus verschiedenen Winkeln, bei unterschiedlichem Umgebungslicht usw. erfasst wurden, und gibt die Bilder als Trainingsdaten in das Gesichtserkennungsmodell 112 ein. Das Gesichtserkennungsmodell 112 führt eine Inferenz durch, um einen Referenzschlüssel zu generieren, z. B. eine dreidimensionale Darstellung des Gesichts des Benutzers, die das Gesichtserkennungsmodell 112 mit Flut- und Punktbildern vergleicht, die während einer Gesichtsauthentifizierungssitzung erfasst wurden.
Das Mehrfachkamerasystem 104 ist in 1 ein duales Infrarotkamerasystem, d. h. jede der beiden Kameras 106-1 und 106-2 ist eine Infrarotkamera. In anderen Beispielen kann das Mehrfachkamerasystem 104 andere oder zusätzliche Kameratypen enthalten, und die hier beschriebenen Techniken und Systeme zur Synchronisierung und Markierung von Kameras für die Gesichtsauthentifizierung gelten auch für diese anderen Beispiele. Das Mehrfachkamerasystem 104 behandelt die Kamera 106-1 als „Primärkamera“ und die Kamera 106-2 als „Sekundärkamera“. Das Mehrfachkamerasystem 104 gibt einen abwechselnden Strom von Flut- und Punktbildern an das Gesichtsauthentifizierungssystem 108 aus, das den abwechselnden Strom von Bildern in das Gesichtserkennungsmodell 112 eingibt. Das Mehrfachkamerasystem 104 umfasst eine Hardwareverbindung 110, die einen Synchronisationseingang der Sekundärkamera 106-2 mit einem Synchronisationsausgang der Primärkamera 106-1 verbindet. Die Hardware-Verbindung 110 überträgt ein Synchronisationssignal, das von der Primärkamera 106-1 an die Sekundärkamera 106-2 gesendet wird, um die Sekundärkamera 106-2 mit der Primärkamera 106-1 zu Beginn eines jeden Einzelbildes zu synchronisieren. Auf diese Weise trägt die Hardware-Verbindung 110 dazu bei, Drift und verworfene Einzelbilder zu verhindern, indem sie die Kameras 106-1 und 106-2 anleitet, die Synchronisation von einem Einzelbild zum nächsten aufrechtzuerhalten.
Um die Synchronisierung zwischen den Kameras 106-1 und 106-2 zu fördern, richtet das Gesichtsauthentifizierungssystem 108 eine gemeinsame Kontrollschnittstelle 118 für das Mehrfachkamerasystem 104 ein. Die gemeinsame Kontrollschnittstelle 118 leitet Befehle vom Gesichtsauthentifizierungssystem 108 gleichzeitig an die Primärkamera 106-1 und die Sekundärkamera 106-2 weiter. Dadurch kann das Gesichtsauthentifizierungssystem 108 Operationen (z. B. Initialisierung, Stopp, Start, Zurücksetzen, Einschalten) mit den Kameras 106-1 und 106-2 ungefähr zur gleichen Zeit durchführen. Dadurch wird die Verzögerung reduziert, die andernfalls bei der Erfassung von Flut- und Punktbildern auftreten könnte. Jeder Kamera 106-1 und 106-2 wird eine eindeutige Adresse an der Kontrollschnittstelle 118 zugewiesen. Das Gesichtsauthentifizierungssystem 108 kann einen einzigen Erfassungsbefehl senden, der die Adressen der Kameras 106-1 und 106-2 angibt, die das Gesichtsauthentifizierungssystem 108 zu kontrollieren beabsichtigt. Die Kontrollschnittstelle 118 leitet den Erfassungsbefehl automatisch (z. B. parallel) an jede im Befehl angegebene eindeutige Adresse weiter, so dass jede der Kameras 106-1 und 106-2 den Erfassungsbefehl vom Gesichtsauthentifizierungssystem 108 ungefähr zur gleichen Zeit erhält.
Als ein Beispiel für die Einrichtung der Kontrollschnittstelle 118 schaltet das Gesichtsauthentifizierungssystem 108 zunächst die primäre Kamera 106-1 ein und ändert eine interne Adresse so, dass sie eine eindeutige Adresse in der Kontrollschnittstelle 118 ist. Dann schaltet das Gesichtsauthentifizierungssystem 108 die Sekundärkamera 106-2 ein und ändert eine interne Adresse so, dass sie eine andere eindeutige Adresse in der Kontrollschnittstelle 118 ist. Ein gemeinsamer Datenstrom auf der Adresse innerhalb der Kontrollschnittstelle 118 wird verwendet, um beiden Kameras 106-1 und 106-2 den Befehl zu erteilen, mit der Erfassung von Bildern zu beginnen.
Jedes Bild in dem abwechselnden Strom enthält Metadaten, die vom Gesichtsauthentifizierungssystem 108 als Flutbild oder Punktbild gekennzeichnet sind. Die Kennzeichnung der Bilder ermöglicht es dem Gesichtserkennungsmodell 112, zwischen den beiden Arten von Bildern zu unterscheiden. Das Gesichtsauthentifizierungssystem 108 kann eine Bildzählung für eine Gesichtsauthentifizierungssitzung aufrechterhalten. Aufgrund der abwechselnden Natur des Bildstroms zeigt eine mit der Bildzählung verbundene Parität (z. B. ein Bit oder Flag, das anzeigt, ob das Bild eine ungerade oder gerade fortlaufende Nummer hat) an, ob ein Bild als Flutbild oder als Punktbild identifiziert werden sollte.
Für jedes Einzelbildpaar bestimmt das Gesichtsauthentifizierungssystem 108, ob die Flut- und Punktbilder zu den jeweils richtigen Zeitpunkten während ihrer jeweiligen Einzelbilder erfasst wurden. Da zum Beispiel die Kameras 106-1 und 106-2 hardware- und softwareseitig synchronisiert sind, haben die Kameras 106-1 und 106-2 denselben zeitlichen Bezugsrahmen. Daher sind die Zeitstempelinformationen, die während der Erfassung auf die Metadaten der Bilder angewendet werden, zwischen den Kameras 106-1 und 106-2 vergleichbar. Das Gesichtsauthentifizierungssystem 108 ordnet sowohl die Flut- als auch die Punkt-Bilder den verworfenen Einzelbildern zu, wenn das Benutzergerät 102 feststellt, dass eines oder beide Bilder nicht während eines erwarteten Zeitfensters erfasst wurden, das mit dem jeweiligen Einzelbild verbunden ist.
Das Gesichtsauthentifizierungssystem 108 verbessert die Genauigkeit der Kennzeichnung der Bilder im Bildstrom, bevor der Bildstrom das Gesichtserkennungsmodell 112 erreicht. Da eine Quelle für Ungenauigkeiten bei der Kennzeichnung ein ausgelassenes Einzelbild ist, unterbricht ein ausgelassenes Einzelbild die alternierende Natur des Bildstroms, von der andere nachgeschaltete Funktionen (z. B. die Kennzeichnungsfunktion, das Gesichtserkennungsmodell 112) abhängen. Wenn das Benutzergerät 102 überlastet ist, kann das Mehrfachkamerasystem 104 Einzelbilder auslassen. Beispielsweise kann das Mehrfachkamerasystem 104 nicht über ausreichende Ressourcen verfügen, um einen Bildstrom mit einer Erfassungsrate zu steuern, die dem Gesichtserkennungsmodell 112 genügt.
Die Markierungen werden nacheinander pro Einzelbildanzahl angebracht. Wenn ein Einzelbild ausgelassen wird, können die Bilder, die während des ausgelassenen Einzelbildes erfasst wurden, ein Punkt- oder Flutmuster aufweisen, das nicht mit dem zugehörigen Markierung übereinstimmt. Das Gesichtserkennungsmodell 112 verlässt sich auf die Markierungen, um die Bilder korrekt zu verarbeiten. Wenn ein Bild als Punkt- oder Flutbild gekennzeichnet ist, aber das gegenteilige Punkt- oder Flutmuster zeigt, funktioniert das Gesichtserkennungsmodell 112 nicht richtig, wenn es Flutoperationen auf ein Bild mit einem Punktmuster oder Punktoperationen auf ein Bild mit einem Flutmuster ausführt. Stattdessen ermöglichen die hier beschriebenen Techniken und Systeme dem Benutzergerät 102 eine konsistente und genaue Kennzeichnung von Bildern, um eine genaue Gesichtserkennung zu fördern, trotz des Auftretens von ausgelassenen Einzelbildern.
Als Reaktion auf die Feststellung, dass weder ein Flut- noch ein Punkt-Bild während eines „verworfenen Einzelbildes“ erfasst wurde, gibt das Gesichtsauthentifizierungssystem 108 den Bildstrom direkt in das Gesichtserkennungsmodell 112 ein. Umgekehrt ändert das Gesichtsauthentifizierungssystem 108 den Bildstrom 104, um das Bildpaar „Flut“ und „Punkt“ zu entfernen, wenn entweder ein „Flut“- oder ein „Punkt“-Bild während eines „verworfenen Einzelbildes‟ erfasst wurde. Bilder, die während der verworfenen Einzelbilder erfasst wurden, werden verworfen, um die alternierende Natur des Bildstroms zu erhalten und seine Genauigkeit zu gewährleisten. In einigen Fällen ersetzt das Gesichtsauthentifizierungssystem die verworfenen Flut- oder Punkt-Bilder durch zuvor verwendete Flut- und Punkt-Bilder (z. B. im Zusammenhang mit den vorangegangenen zwei aufeinanderfolgenden Einzelbildern). Das Ersetzen von Bildern anstelle des völligen Weglassens von Bildern aus dem Bildstrom trägt dazu bei, die vom Gesichtserkennungsmodell 112 erwartete Erfassungsrate zu erreichen, indem es dem Gesichtserkennungsmodell 112 einen stetigen Bildstrom ohne leere Einzelbilder liefert. Auf diese Weise stellt das Gesichtsauthentifizierungssystem 108 sicher, dass das Gesichtserkennungsmodell 112 den Benutzer 114 auf der Grundlage eines Bildstroms authentifiziert, der keine Bilder enthält, die mit ausgelassenen Einzelbildern verbunden sind. Durch diese Änderung des Bildstroms werden einige nachgelagerte Fehler während der Authentifizierung durch das Gesichtserkennungsmodell 112 vermieden. Das Gesichtserkennungsmodell 112 ist daher zuverlässiger und reaktionsschneller.
Das Benutzergerät 102 kennzeichnet Bilder für ein Gesichtserkennungsmodell genauer als andere Benutzergeräte, die Bilder lediglich sequentiell und ohne Rücksicht auf ausgelassene Einzelbilder kennzeichnen. Das Benutzergerät 102 vermeidet die Verschwendung von Ressourcen und Rechenleistung. Die vom Gesichtserkennungsmodell 112 vorgenommenen Authentifizierungen sind durchweg korrekt, da das Gesichtserkennungsmodell 112 durchweg korrekt markierte Bilder erhält. Ein regelmäßig funktionierendes Modell 112 erhöht die Zufriedenheit der Benutzer mit dem Gesichtsauthentifizierungssystem 108 und stärkt die Sicherheit des Benutzergeräts 102.
2 zeigt ein Beispiel 200 für das in 1 dargestellte Benutzergerät 102. 2 zeigt das Benutzergerät 102 als eine Vielzahl von Beispielgeräten, einschließlich eines Smartphones 102-1, eines Tablets 102-2, eines Laptops 102-3, eines Desktop-Computers 102-4, einer Computeruhr 102-5, einer Computerbrille 102-6, eines Spielsystems oder Controllers 102-7, eines intelligenten Lautsprechersystems 102-8 und eines Geräts 102-9. Zu den Benutzergeräten 102 können auch andere Geräte gehören, z. B. Fernsehgeräte, Unterhaltungssysteme, Audiosysteme, Autos, Drohnen, Trackpads, Zeichenblöcke, Netbooks, E-Reader, Haussicherheitssysteme, Türklingeln, Kühlschränke und andere Geräte mit mehreren Kameras und einem Gesichtsauthentifizierungssystem.
Das Benutzergerät 102 umfasst einen oder mehrere Computerprozessoren 202 und ein oder mehrere computerlesbare Medien 204. Das eine oder die mehreren computerlesbaren Medien 204 umfassen das Gesichtserkennungsmodell 112 und ein Betriebssystem 206. Das Benutzergerät 102 umfasst ferner das Mehrfachkamerasystem 104, einschließlich der Kameras 106-1 und 106-2 sowie einer zusätzlichen Kamera 106-3. Die Benutzergerät 102 umfasst ferner das Gesichtsauthentifizierungssystem 108, einen oder mehrere Sensoren 210, eine oder mehrere Kommunikations- und Eingabe-/Ausgabevorrichtungen (E/A) 212 und eine Benutzerschnittstellenvorrichtung 214, die als Eingabevorrichtung und/oder Ausgabevorrichtung fungieren kann.
Die Prozessoren 202 und die computerlesbaren Medien 204, die Speichermedien und Datenträger umfassen, sind der Hauptverarbeitungskomplex des Benutzergeräts 102. Das Gesichtserkennungsmodell 112, das Betriebssystem 206 und andere Anwendungen (nicht dargestellt) können als computerlesbare Anweisungen auf dem computerlesbaren Medium 204 implementiert werden, die von den Computerprozessoren 202 ausgeführt werden können, um hierin beschriebene Funktionalitäten bereitzustellen, wie z. B. einige oder alle Funktionen des Gesichtserkennungsmodells 112 (dargestellt innerhalb des computerlesbaren Mediums 204, obwohl dies nicht erforderlich ist).
Bei dem einen oder den mehreren Prozessoren 202 kann es sich um eine beliebige Kombination aus einem oder mehreren Controllern, Mikrocontrollern, Prozessoren, Mikroprozessoren, Hardware-Prozessoren, Hardware-Verarbeitungseinheiten, Digitalsignal-Prozessoren, Grafikprozessoren, Grafikverarbeitungseinheiten und dergleichen handeln. Bei den Prozessoren 202 kann es sich um ein integriertes Prozessor- und Speicher-Subsystem (z. B. als „System-on-Chip“ implementiert) handeln, das computerausführbare Befehle zur Steuerung des Betriebs des Benutzergeräts 102 verarbeitet.
Die computerlesbaren Medien 204 sind als dauerhafter und nicht dauerhafter Speicher für ausführbare Anweisungen (z. B. Firmware, Wiederherstellungsfirmware, Software, Anwendungen, Module, Programme, Funktionen und dergleichen) und Daten (z. B. Benutzerdaten, Betriebsdaten) konfiguriert, um die Ausführung der ausführbaren Anweisungen zu unterstützen. Beispiele für computerlesbare Medien 204 sind flüchtige und nichtflüchtige Speicher, Fest- und Wechselmediengeräte sowie irgendein geeignetes Speichergerät oder elektronischer Datenspeicher, auf denen ausführbare Anweisungen und unterstützende Daten gespeichert sind. Die computerlesbaren Medien 204 können verschiedene Implementierungen von Direktzugriffsspeichern (RAM), Festwertspeichern (ROM), Flash-Speichern und anderen Arten von Arbeitsspeichern in verschiedenen Speichergerätekonfigurationen umfassen. Das computerlesbare Medium 204 schließt die sich ausbreitende Signale aus. Das computerlesbare Medium 204 kann ein Solid-State-Laufwerk (SSD) oder ein Festplattenlaufwerk (HDD) sein.
Der eine oder die mehreren Sensoren 210 erhalten im Allgemeinen kontextbezogene Informationen, welche die (virtuellen oder physischen) Betriebsbedingungen des Benutzergeräts 102 oder der Umgebung des Benutzergeräts 102 anzeigen. Das Benutzergerät 102 überwacht die Betriebsbedingungen zum Teil auf der Grundlage von Sensordaten, die von den Sensoren 210 erzeugt werden. Beispiele für die Sensoren 208 sind Bewegungssensoren, Temperatursensoren, Positionssensoren, Näherungssensoren, Lichtsensoren, Infrarotsensoren, Feuchtigkeitssensoren, Drucksensoren und dergleichen.
Die Kommunikations- und E/A-Geräte 212 bieten Anschlussmöglichkeiten an das Benutzergerät 102 und andere Geräte und Peripheriegeräte. Die Kommunikations- und E/A-Geräte 212 umfassen Datennetzwerkschnittstellen, die eine Verbindung und/oder Kommunikationsverbindungen zwischen dem Gerät und anderen Datennetzwerken (z. B. einem Mesh-Netzwerk, externen Netzwerk usw.), Geräten oder entfernten Computersystemen (z. B. Servern) herstellen. Die Kommunikations- und E/A-Geräte 212 koppeln das Benutzergerät 102 mit einer Vielzahl von verschiedenen Arten von Komponenten, Peripheriegeräten oder Zusatzgeräten. Die Dateneingangsanschlüsse der Kommunikations- und E/A-Geräte 212 empfangen Daten, einschließlich Bilddaten, Benutzereingaben, Kommunikationsdaten, Audiodaten, Videodaten und dergleichen. Die Kommunikations- und E/A-Geräte 212 ermöglichen die drahtgebundene oder drahtlose Übermittlung von Gerätedaten zwischen dem Benutzergerät 102 und anderen Geräten, Computersystemen und Netzwerken. Die Transceiver der Kommunikations- und E/A-Geräte 212 ermöglichen die Kommunikation über Mobiltelefone und andere Arten der Netzwerkdatenkommunikation.
In dem in 2 gezeigten Beispiel ist das Betriebssystem 206 von dem Gesichtserkennungsmodell 112 getrennt. In anderen Beispielen beinhaltet das Betriebssystem 206 das Gesichtserkennungsmodell 112. Das Betriebssystem 206 steuert im Allgemeinen die Funktionalität des Benutzergeräts 102, einschließlich der Benutzerschnittstellenvorrichtung 214 und anderer Peripheriegeräte wie der Kommunikations- und E/A-Vorrichtung 212. Anwendungen werden innerhalb einer vom Betriebssystem 206 bereitgestellten Ausführungsumgebung ausgeführt. Das Betriebssystem 206 kann Aufgaben planen und andere allgemeine Funktionen des Benutzergeräts 102 steuern. Die Benutzerschnittstellenvorrichtung 106 verwaltet die Eingabe und Ausgabe an das Betriebssystem 206 und andere Anwendungen und Dienste, die auf dem Benutzergerät 102 ausgeführt werden.
Das Betriebssystem 206 kann das Benutzergerät 102 in und aus verschiedenen Betriebszuständen steuern. In einem zugangsbeschränkten Zustand verhindert das Betriebssystem 206 beispielsweise den Zugriff auf verschiedene Funktionen oder Dienste, die dem Benutzer 114 zur Verfügung stehen. In einem authentifizierten Zustand öffnet das Betriebssystem 206 den Zugriff auf die Funktionen oder Dienste, die dem Benutzer 114 zuvor nicht zur Verfügung standen. Das Betriebssystem 206 wechselt von einem Zustand mit eingeschränktem Zugriff (z. B. einem gesperrten Zustand) in einen authentifizierten Zustand (z. B. einen entsperrten Zustand), wenn das Gesichtsauthentifizierungssystem 108 den Benutzer 114 authentifiziert. Auf andere Weise gewährt das Betriebssystem 206 Zugriff auf das Benutzergerät 102, wenn das Benutzerschnittstellengerät einen Passcode oder ein Passwort, einen Sprachbefehl, einen Fingerabdruck oder eine Geste erkennt.
Die Benutzerschnittstellenvorrichtung 214 fungiert als Ausgabe- und Eingabekomponente, um Benutzereingaben zu erhalten und eine Benutzerschnittstelle bereitzustellen. Als Ausgabekomponente kann die Benutzerschnittstellenvorrichtung 214 eine Anzeige, ein Lautsprecher- oder Audiosystem, ein haptisches Rückmeldesystem oder ein anderes System zur Ausgabe von Informationen an den Benutzer 114 sein. Wenn sie als Eingabekomponente konfiguriert ist, kann die Benutzerschnittstellenvorrichtung 214 einen Berührungsbildschirm, eine Kamera, ein Mikrofon, eine physische Taste oder einen Schalter, ein Radareingabesystem oder ein anderes System zum Empfangen von Eingaben vom Benutzer 114 umfassen. Andere Beispiele für die Benutzerschnittstellenvorrichtung 214 sind eine Maus, eine Tastatur, ein Fingerabdrucksensor, ein optisches, ein Infrarot-, ein druckempfindliches, ein präsenzempfindliches oder ein radarbasiertes Gestenerkennungssystem. Die Benutzerschnittstellenvorrichtung 214 umfasst häufig eine präsenzempfindliche Eingabekomponente, die mit einer Anzeige gekoppelt (oder darin integriert) ist.
Wenn die Benutzerschnittstellenvorrichtung 214 als präsenzsensitiver Bildschirm konfiguriert ist, erkennt sie, wenn der Benutzer 114 zweidimensionale oder dreidimensionale Gesten an oder in der Nähe der Positionen eines präsenzsensitiven Merkmals macht, während die Benutzerschnittstelle 116-1 angezeigt wird. Als Reaktion auf die Gesten kann die Benutzerschnittstellenvorrichtung 214 Informationen an andere Komponenten des Benutzergeräts 102 ausgeben, um die relativen Positionen (z. B. X-, Y-, Z-Koordinaten) der Gesten anzugeben und es den anderen Komponenten zu ermöglichen, die Gesten zu interpretieren. Die Benutzerschnittstellenvorrichtung 214 kann Daten ausgeben, die auf den Informationen basieren, die von einer Ausgabekomponente oder einer Eingabekomponente erzeugt werden, die beispielsweise das Betriebssystem 206 zur Steuerung des Gesichtsauthentifizierungssystems 108 verwenden kann.
Das Mehrfachkamerasystem 104 umfasst zusätzlich zu den Kameras 106-1 und 106-2 die Kamera 106-3. Das Gesichtsauthentifizierungssystem 108 kann mehr als zwei Sekundärkameras mit einer Primärkamera synchronisieren, um andere Arten der kamerabasierten Gesichtserkennung zu ermöglichen. Beispielsweise kann das Gesichtserkennungsmodell 112 eine dritte Art von Bild (z. B. ein optisches Bild) empfangen und einen Bildstrom mit einem abwechselnden Muster aus Flutbild, Punktbild und optischem Bild benötigen. Die Kamera 106-1 kann einen Synchronisationseingang der Kamera 106-3 ansteuern, ähnlich wie die Kamera 106-1 den Synchronisationseingang der Kamera 106-2 ansteuert, um die Belichtungszeiten der drei Kameras zu synchronisieren. Das Gesichtsauthentifizierungssystem 108 kann ausgelassene Einzelbilder identifizieren und ein Bildtripel (z. B. drei aufeinanderfolgende Einzelbilder) aus dem Bildstrom, der an das Gesichtserkennungsmodell 112 ausgegeben wird, auslassen.
3 zeigt weitere Details 300 des in 2 dargestellten Authentifizierungssystems und des Kamerasystems. Zu den in 3 dargestellten weiteren Details 300 gehört eine Explosionsdarstellung der Kontrollschnittstelle 118.
Das Authentifizierungssystem 108 umfasst eine Verarbeitungseinheit 312, ein Authentifizierungsmodul 314 und das Gesichtserkennungsmodell 112. Das Authentifizierungsmodul 314 empfängt Befehle vom Betriebssystem 206, um eine Gesichtsauthentifizierungssitzung einzuleiten, und antwortet auf die Befehle mit einer Angabe, ob das Gesichtsauthentifizierungssystem 108 den Benutzer 114 authentifizieren kann. Die Anzeige, ob der Benutzer 114 authentifiziert ist, kann mit einem Vertrauensgrad oder einer Bewertung versehen werden.
Die Kontrollschnittstelle 118 umfasst eindeutige Adressräume 310-1, 310-2 und 310-3 für jede der Kameras 106-1, 106-2 und 106-3 (sowie für jede andere Kamera des Mehrfachkamerasystems 104, die nicht dargestellt ist). Die Verarbeitungseinheit 312 (z. B. ähnlich wie die Prozessoren 202) verfügt über einen eindeutigen Adressraum 310-0 zum Senden und Empfangen von Befehlen an die Kameras 106-1 bis 106-3 im Auftrag eines Authentifizierungsmoduls 314. Bei der Kontrollschnittstelle 118 kann es sich um eine interintegrierte Schaltung (I2C) oder eine andere ähnliche Schnittstelle handeln, die die gleichzeitige Übertragung eines Befehls von einem gemeinsamen Prozessor, z. B. der Verarbeitungseinheit 312, an mehrere Kameras auf einmal ermöglicht. Ein inter-integrierter Schaltkreis wird verwendet, um Peripheriegeräte mit geringerer Geschwindigkeit (z.B. Infrarotkameras) mit Prozessoren mit höherer Geschwindigkeit über kurze Distanzen zu verbinden. Die Verarbeitungseinheit 312 kann einen Befehl an die Kontrollschnittstelle 118 ausgeben, der etwa zur gleichen Zeit an die Adressen 310-1 und 310-2 weitergegeben wird, so dass die Kameras 106-1 und 106-2 softwaremäßig synchronisiert sind. Die Hardware-Synchronisation der Kameras 106-1 und 106-2 erfolgt über die Verbindung 110, die optional mit einem Synchronisationseingang der Kamera 106-3 verbunden werden kann.
Die Kamera 106-1 steuert einen Flutlichttreiber 302 eines Flutlichtstrahlers an, um während eines Anfangseinzelbildes einer Gesichtsauthentifizierungssitzung ein Flutbild zu erfassen. Ein Punkttreiber 304 eines Punktprojektors gibt während eines nachfolgenden Einzelbildes der Gesichtsauthentifizierungssitzung ein Punktmuster aus, wenn die Kamera 106-2 den Punkttreiber 304 ansteuert, um ein Punktbild zu erfassen. Die Kamera 106-3 steuert einen Blitztreiber 306 an, um einen Blitz anzusteuern und ein optisches Bild zu erfassen.
4 zeigt ein Beispiel für eine Einzelbildsequenz 400, die von dem in 3 dargestellten Mehrfachkamerasystem 104 erfasst wurde. Die Einzelbildsequenz 400 ist in vier gleiche Bilder 402-1 bis 402-4 unterteilt. Die Kameras 106-1 und 106-2 werden durch ein vertikales Synchronisationssignal 110 nach Einzelbildern synchronisiert.
Während des Einzelbildes 402-1 empfängt der Flutlichttreiber 302 die Eingabe 404-1, wodurch ein Flutlichtprojektor aufleuchtet, während die Kameras 106-1 und 106-2 die Bilder 406-1 bzw. 406-2 erfassen. Das Bild 406-1 ist ein primäres Flutbild, und das Bild 406-2 ist ein sekundäres Flutbild. In einigen Beispielen wird das sekundäre Bild verworfen, in anderen Fällen verwendet ein Gesichtserkennungsmodell sowohl das primäre als auch das sekundäre Bild 406-1 und 406-2 für jedes Einzelbild 402-1 bis 402-4, um den Benutzer 114 zu authentifizieren. Während des Einzelbildes 402-2 steuert die Kamera 106-2 den Punkttreiber 304, um ein Laserpunktmuster mit einem Punktprojektor zu projizieren, während die Kameras 106-1 und 106-2 die Bilder 406-3 bzw. 406-4 erfassen. Das Bild 406-3 ist ein primäres Punktbild, und das Bild 406-4 ist ein sekundäres Punktbild.
Der Vorgang wiederholt sich in den Einzelbildern 402-3 und 402-4, wobei das Einzelbild 402-3, wie weiter unten erläutert wird, ein verworfenes Einzelbild enthält. Der Flutlichttreiber 302 befiehlt dem Flutlichtstrahler, sich einzuschalten, während ein primäres Flutbild 406-5 und ein sekundäres Flutbild 406-6 während der Einzelbilder 403-3 und 402-4 erfasst werden. Im Einzelbild 402-4 werden ein primäres Punktbild 406-7 und ein sekundäres Punktbild 406-8 erfasst, wenn der Punkttreiber 304 den Punktprojektor einschaltet.
Das Authentifizierungsmodul 324 versieht die Metadaten der Bilder 406-1 und 406-2 mit Flutkennungen und versieht die Metadaten der Bilder 406-3 und 406-4 mit Punktkennungen, bevor es sie in das Gesichtserkennungsmodell 112 eingibt. Die für jede Bildmarkierung ausgewählte Kennung kann auf der Grundlage einer vom Authentifizierungsmodul 324 verwalteten Einzelbildanzahl abgeleitet werden. Beispielsweise dienen die geraden Einzelbilder zur Erfassung der primären und sekundären Flut-Bilder und die ungeraden Einzelbilder zur Erfassung der primären und sekundären Punktbilder.
Das Authentifizierungsmodul 324 kennzeichnet die Metadaten der Bilder 406-5 und 406-6 mit einer Flutkennung und die Metadaten der Bilder 406-7 und 406-8 mit einer Punktkennung. Bevor jedoch die Bilder 406-5 bis 406-8 in den Bildstrom und in das Gesichtserkennungsmodell 112 eingegeben werden, stellt das Authentifizierungsmodul 314 fest, dass das Einzelbild 402-3 ein verworfenes Einzelbild ist. Beispielsweise können sich die Zeitstempeldaten des Flutbildes 406-5 von den Zeitstempeldaten des Flutbildes 406-6 unterscheiden, was darauf hinweisen kann, dass eines der beiden Bilder 406-5 zu einem falschen Zeitpunkt während des Einzelbildes 402-3 erfasst wurde. Liegt der Zeitstempel z. B. außerhalb eines Zeitfensters für das Einzelbild 402-3, behandelt das Authentifizierungsmodul 314 das Einzelbild 402-3 als verworfenes Bild.
Um den abwechselnden Charakter der Kennzeichnung des Bildstroms, der in das Gesichtserkennungsmodell 112 eingegeben wird, zu erhalten, lässt das Authentifizierungsmodul 314 die Bilder 406-5 und 406-6 sowie die Bilder 406-7 und 406-8 aus, da die Bilder 406-7 und 406-8 aus einem gepaarten nächsten Einzelbild stammen. Jedes ausgelassene Einzelbild wird so erweitert, dass es ein vorheriges oder nachfolgendes Einzelbild enthält. Wenn also während eines verworfenen Einzelbildes‟ ein Flut-Bild erfasst wird, behandelt das Authentifizierungsmodul 314 das Einzelbild, in dem ein entsprechendes Punkt-Bild erfasst wird, ebenfalls als verworfenes Einzelbild.
Die 5-1 und 5-2 zeigen beispielhafte Verfahren zur Kamerasynchronisation und Bildmarkierung für die Gesichtsauthentifizierung. Die Verfahren 500-1 und 500-2 können zusätzliche oder weniger Schritte als die in 5-1 und 5-2 gezeigten umfassen und in einer anderen Reihenfolge durchgeführt werden. Die Verfahren 500-1 und 500-2 werden im Folgenden im Zusammenhang mit dem Benutzergerät 102 beschrieben.
Bei 502 leitet das Benutzergerät 102 eine Gesichtsauthentifizierungssitzung ein. Beispielsweise schaut der Benutzer 114, während er das Benutzergerät 102 in der Hand hält, auf die Benutzeroberfläche 116-1, um das Benutzergerät zu entsperren und Zugang zur Benutzeroberfläche 116-2 zu erhalten. Das Betriebssystem 206 kann das Gesichtsauthentifizierungssystem 108 aufwecken. Bei 504 sendet das Gesichtsauthentifizierungssystem 108 einen Erfassungsbefehl an die Kontrollschnittstelle 118 des Mehrfachkamerasystems 104. Bei 506 leitet die Kontrollschnittstelle 118 den Erfassungsbefehl an eine eindeutige Adresse 310-1 weiter, die mit der Hauptkamera 106-1 verbunden ist. Etwa zur gleichen Zeit wie 506, bei 508, leitet die Kontrollschnittstelle 118 den Erfassungsbefehl an eine eindeutige Adresse 310-2 weiter, die der Sekundärkamera 106-2 zugeordnet ist. Die Primärkamera 106-1 und die Sekundärkamera 106-2 schalten sich ein.
Bei 510 gibt die primäre Kamera 106-1 ein vertikales Synchronisationssignal über die Verbindung 110 aus, um den Beginn eines ersten Bildes anzuzeigen, und bei 512 empfängt die sekundäre Kamera 106-2 das vertikale Synchronisationssignal und synchronisiert sich mit dem Beginn des ersten Bildes, wie von der primären Kamera 106-1 angezeigt. Das vertikale Synchronisationssignal synchronisiert die sekundäre Kamera 106-2 mit dem Beginn eines jeden Bildes der Gesichtsauthentifizierungssitzung. Die Verbindung zwischen der Primärkamera 106-1 und der Sekundärkamera 106-2 koppelt in einigen Beispielen einen Synchronisationseingang der Sekundärkamera 106-2 mit einem Synchronisationsausgang der Primärkamera 106-1.
Bei 514 steuert die Primärkamera 106-1 einen Flutlichtstrahler des Mehrfachkamerasystems 104 an, um ein primäres Flutbild des Benutzers 114 für das erste Einzelbild zu erfassen. Bei 516 nimmt die Sekundärkamera 106-2 ein sekundäres Flutbild für das erste Einzelbild auf, während sie den Flutlichtstrahler ansteuert, um das primäre Flutbild für das erste Einzelbild zu erfassen, und in Reaktion auf den Empfang des Synchronisationssignals.
Bei 518 erhöht das Gesichtsauthentifizierungssystem 108 einen Einzelbildzähler, der für die Gesichtsauthentifizierungssitzung beibehalten wird, und nachdem das erste Einzelbild abgeschlossen wurde. Bei 522 markiert das Gesichtsauthentifizierungssystem 108 automatisch die primären und sekundären Flutbilder. Beispielsweise bestimmt das Gesichtsauthentifizierungssystem 108 einen Paritätswert der Einzelbildzählung, und basierend auf einem Paritätswert von Null, der ein gerades Einzelbild anzeigt, wählt das Gesichtsauthentifizierungssystem 108 einen Flut-Identifikator anstelle eines Punkt-Identifikators, um die Bilder im ersten Einzelbild zu kennzeichnen.
Bei 524 gibt die primäre Kamera 106-1 ein vertikales Synchronisationssignal über die Verbindung 110 aus, um den Beginn eines nachfolgenden Einzelbildes anzuzeigen, und bei 526 empfängt die sekundäre Kamera 106-2 das vertikale Synchronisationssignal und synchronisiert sich mit dem Beginn des von der primären Kamera 106-1 initiierten nachfolgenden Einzelbildes.
Bei 528 treibt die Sekundärkamera 106-2 einen Punktprojektor des Mehrfachkamerasystems 104 an, während sie ein sekundäres Punktbild des Benutzers 114 für das nachfolgende Einzelbild erfasst. Bei 530, während der Punktprojektor angesteuert wird, um das sekundäre Punktbild für das nachfolgende Einzelbild zu erfassen, nimmt die primäre Kamera 106-1 (optional) ein primäres Punktbild für das nachfolgende Einzelbild auf.
Bei 532 erhöht das Gesichtsauthentifizierungssystem 108 die Anzahl der Einzelbilder. Bei 534 markiert das Gesichtsauthentifizierungssystem 108 automatisch die primären und sekundären Punktbilder. Zum Beispiel bestimmt das Gesichtsauthentifizierungssystem 108 den Paritätswert der Einzelbildzählung und basierend auf dem Paritätswert, der eins ist, um ein ungerades Einzelbild anzuzeigen, wählt das Gesichtsauthentifizierungssystem 108 einen Punktidentifikator anstelle eines Flutidentifikators, um die Bilder im zweiten Einzelbild zu kennzeichnen.
Um einen genauen Eingabestrom für das Gesichtserkennungsmodell 112 zu gewährleisten, bestimmt das Gesichtsauthentifizierungssystem 108 bei 536, ob entweder das erste oder das nachfolgende Einzelbild ein verworfenes Einzelbild ist. Beispielsweise bestimmt das Gesichtsauthentifizierungssystem 108 auf der Grundlage von Zeitstempelinformationen, Fehlermeldungen, die von den Kameras 106-1 oder 106-2 zurückgegeben werden, oder anderen Informationen, ob eines der primären oder sekundären Bilder, die in den beiden Einzelbildern erfasst wurden, zu einer falschen Zeit erfasst wurde.
Bei 540 gibt das Gesichtsauthentifizierungssystem 108 als Reaktion auf die Feststellung, dass weder das erste Einzelbild noch das nachfolgende Einzelbild ein fallengelassenes Einzelbild ist, einen Bildstrom an das Gesichtserkennungsmodell 112 aus, der die von den Kameras 106-1 und 106-2 in den ersten und nachfolgenden Einzelbildern erfassten Flut- und Punktbilder enthält, z. B. mindestens das primär markierte Flutbild für das erste Einzelbild und das sekundär markierte Punktbild für das nachfolgende Einzelbild. In einigen Fällen enthält der Bildstrom auch das sekundär markierte Flutbild und das primär markierte Punktbild.
Bei 542 verarbeitet das Bilderkennungsmodell 112 den Bildstrom, indem es die Flut- und Punktbilder auf der Grundlage ihrer jeweiligen Metadaten-Markierungen unterschiedlich behandelt. Bei 544 authentifiziert das Gesichtserkennungsmodell 112 den Benutzer, indem es z. B. angibt, ob der Bildstrom mit einem Referenzschlüssel übereinstimmt. Bei 538, alternativ zu 540, lässt das Gesichtsauthentifizierungssystem 108 als Reaktion auf die Erkennung eines ausgelassenen Einzelbildes während der Gesichtsauthentifizierungssitzung alle in den beiden aufeinanderfolgenden Einzelbildern erfassten Bilder aus dem Bildstrom aus.
Im Folgenden werden weitere Beispiele für die beschriebenen Systeme und Techniken zur Synchronisierung von Kameras und zur Kennzeichnung von Bildern für die Gesichtsauthentifizierung aufgeführt.
Beispiel 1. Verfahren zum Synchronisieren von Kameras und zum Markieren von Bildern für die Gesichtsauthentifizierung mit einem Gesichtserkennungsmodell, wobei das Verfahren aufweist: Initiieren einer Gesichtsauthentifizierungssitzung durch ein Gesichtsauthentifizierungssystem eines Benutzergeräts durch Senden eines Erfassungsbefehls an eine Kontrollschnittstelle eines Mehrfachkamerasystems; als Reaktion auf das Initiieren der Gesichtsauthentifizierungssitzung Ausgeben eines vertikalen Synchronisationssignals von einer ersten Kamera des Mehrfachkamerasystems und an eine zweite Kamera des Mehrfachkamerasystems, das die zweite Kamera mit einem Start jedes Einzelbildes der Gesichtsauthentifizierungssitzung synchronisiert; Ansteuern eines Flutlichtstrahlers des Mehrfachkamerasystems durch die erste Kamera des Mehrfachkamerasystems, um ein Flutbild eines Benutzers für ein erstes Einzelbild zu erfassen, und automatisches Markieren von Metadaten des Flutbildes für das erste Einzelbild mit einem Flutidentifikator; nach dem Erfassen des Flutbildes für das erste Einzelbild, Ansteuern eines Punktprojektors durch die zweite Kamera des Mehrfachkamerasystems, um ein Punktbild des Benutzers für ein zweites Einzelbild zu erfassen, und automatisches Markieren von Metadaten des Punktbildes für das zweite Einzelbild mit einem Punktidentifikator; Bestimmen, ob das erste Einzelbild oder das zweite Einzelbild ein verworfenes Einzelbild ist; als Reaktion auf die Feststellung, dass weder das erste noch das zweite Einzelbild ein fallengelassenes Einzelbild ist, Ausgeben eines Bildstroms, der das markierte Flutbild für das erste Einzelbild und das markierte Punktbild für das zweite Einzelbild umfasst, an das Gesichtserkennungsmodell der Benutzergerät; und Authentifizieren des Benutzers durch das Gesichtserkennungsmodell und auf der Grundlage des Bildstroms.
Beispiel 2. Das Verfahren aus Beispiel 1, das ferner Folgendes aufweist: Ansteuern des Flutlichtstrahlers durch die erste Kamera, um ein Flutbild für ein drittes Einzelbild zu erfassen, wobei das dritte Einzelbild auf das zweite Einzelbild folgt; nach dem Erfassen des Flutbildes für das dritte Einzelbild Ansteuern des Punktprojektors durch die zweite Kamera, um ein Punktbild für ein viertes Einzelbild zu erfassen, Erkennen eines ausgelassenen Einzelbildes während des Erfassens des Flutbildes für das dritte Einzelbild oder eines ausgelassenen Einzelbildes während des Erfassens des Punktbildes für das vierte Einzelbild; und als Reaktion auf das Erkennen des ausgelassenen Bildes während des Erfassens des Flutbildes für das dritte Einzelbild oder des ausgelassenen Einzelbildes während des Erfassens des Punktbildes für das vierte Einzelbild, Auslassen sowohl des Flutbildes für das dritte Einzelbild als auch des Punktbildes für das vierte Einzelbild aus dem Bildstrom.
Beispiel 3: Das Verfahren aus Beispiel 1 oder 2, wobei das Senden des Erfassungsbefehls an die Kontrollschnittstelle Folgendes aufweist: Weiterleiten des Erfassungsbefehls an eine eindeutige Adresse in der Kontrollschnittstelle, die der ersten Kamera zugeordnet ist; und Weiterleiten des Erfassungsbefehls an eine eindeutige Adresse in der Kontrollschnittstelle, die der zweiten Kamera zugeordnet ist.
Beispiel 4: Das Verfahren nach einem der Beispiele 1-3, wobei die Ausgabe des Synchronisationssignals die Ausgabe des Synchronisationssignals von der ersten Kamera an die zweite Kamera über eine Verbindung zwischen der ersten Kamera und der zweiten Kamera umfasst, wobei die Verbindung einen Synchronisationseingang der zweiten Kamera mit einem Synchronisationsausgang der ersten Kamera koppelt.
Beispiel 5: Das Verfahren nach einem der Beispiele 1 bis 4, wobei das Flutbild ein erstes Flutbild für das erste Einzelbild ist, wobei das Verfahren ferner Folgendes aufweist: während des Ansteuerns des Flutlichtstrahlers zum Erfassen des ersten Flutbildes für das erste Einzelbild und in Reaktion auf den Empfang des Synchronisationssignals, Erfassen eines zweiten Flutbildes für das erste Einzelbild mit der zweiten Kamera; automatisches Markieren von Metadaten des zweiten Flutbildes für das erste Einzelbild mit dem Flutidentifikator; und Ausgeben des zweiten Flutbildes für das erste Einzelbild mit dem Bildstrom zur Authentifizierung des Benutzers.
Beispiel 6: Das Verfahren nach einem der Beispiele 1 bis 4, wobei das Punktbild ein zweites Punktbild für das zweite Einzelbild ist, wobei das Verfahren ferner Folgendes aufweist: während des Ansteuerns des Punktprojektors zum Erfassen des zweiten Punktbildes für das zweite Einzelbild und in Reaktion auf den Empfang des Synchronisationssignals, Erfassen eines ersten Punktbildes für das zweite Einzelbild mit der ersten Kamera; automatisches Markieren von Metadaten des ersten Punktbildes für das zweite Einzelbild mit dem Punktidentifikator; und Ausgeben des ersten Punktbildes für das zweite Einzelbild mit dem Bildstrom zur Authentifizierung des Benutzers.
Beispiel 7: Das Verfahren nach einem der Beispiele 1 bis 4, wobei das automatische Markieren der Metadaten des Flutbildes für das erste Einzelbild und das automatische Markieren der Metadaten des Punktbildes für das zweite Einzelbild Folgendes aufweist: Aufrechterhalten einer Einzelbildzählung für die Gesichtsauthentifizierungssitzung; Bestimmen eines ersten Paritätswertes der Einzelbildzählung während des ersten Einzelbildes; Auswählen eines Flutidentifikators anstelle eines Punktkennzeichens auf der Grundlage des ersten Paritätswertes; Bestimmen eines zweiten Paritätswertes der Einzelbildzählung während des zweiten Einzelbildes; und Auswählen eines Punktkennzeichens anstelle eines Flutidentifikators auf der Grundlage des zweiten Paritätswertes;
Beispiel 8: Das Verfahren nach einem der Beispiele 1-4 oder 7, wobei das Gesichtserkennungsmodell ein maschinell erlerntes Modell umfasst, das zur Authentifizierung des Benutzers auf der Grundlage des Bildstroms trainiert wurde.
Beispiel 9: Das Verfahren aus Beispiel 8, wobei die Authentifizierung des Benutzers auf der Grundlage des Bildstroms die Bestimmung durch das maschinell erlernte Modell auf der Grundlage der Metadaten, die mit dem Flutbild für das erste Einzelbild verknüpft sind, umfasst, dass das Flutbild für das erste Einzelbild ein Flutbild und kein Punktbild ist.
Beispiel 10: Das Verfahren nach einem der Beispiele 1 bis 9, wobei die erste Kamera eine Primärkamera und die zweite Kamera eine Sekundärkamera ist.
Beispiel 11. Ein Benutzergerät, aufweisend: ein Gesichtsauthentifizierungssystem, das eine Verarbeitungseinheit und einen Speicher aufweist; ein Mehrfachkamerasystem, das eine erste Kamera und eine zweite Kamera aufweist, wobei das Mehrfachkamerasystem so konfiguriert ist, dass es einen abwechselnden Strom von Flut- und Punktbildern ausgibt, wobei jedes Bild in dem abwechselnden Strom Metadaten enthält, die entweder als Flutbild oder als Punktbild gekennzeichnet sind; eine gemeinsame Kontrollschnittstelle, die gleichzeitig Befehle von der Verarbeitungseinheit an die erste Kamera und die zweite Kamera weiterleitet, wobei sowohl die erste Kamera als auch die zweite Kamera eine eindeutige Adresse in der gemeinsamen Kontrollschnittstelle aufweist; und eine Verbindung, die einen Synchronisationseingang der zweiten Kamera mit einem Synchronisationsausgang der ersten Kamera koppelt, um ein Synchronisationssignal von der ersten Kamera an die zweite Kamera zu senden, um jedes Einzelbild der zweiten Kamera mit einem Start jedes entsprechenden Einzelbildes der ersten Kamera zu initiieren, wobei der Speicher des Gesichtsauthentifizierungssystems Anweisungen aufweist, die, wenn sie von der Verarbeitungseinheit ausgeführt werden, die Verarbeitungseinheit veranlassen zum Ausführen eines Gesichtserkennungsmodells, das den abwechselnden Stromausgang von dem Mehrfachkamerasystem empfängt und bestimmt, ob jedes Bild in dem abwechselnden Strom entweder ein Flutbild oder ein Punktbild ist, basierend auf den Metadaten jedes Bildes in dem abwechselnden Strom; und Verwenden des Gesichtserkennungsmodells zum Authentifizieren des Benutzers basierend auf dem abwechselnden Strom.
Beispiel 12: Das Benutzergerät aus Beispiel 11, wobei die Anweisungen, wenn sie ausgeführt werden, ferner die Verarbeitungseinheit veranlassen, ein ausgelassenes Einzelbild zu erkennen, und wobei das Mehrfachkamerasystem so konfiguriert ist, dass es jedes Bild, das von dem Mehrfachkamerasystem während des ausgelassenen Einzelbildes erfasst wurde, verwirft, indem es jedes Bild, das während des ausgelassenen Einzelbildes erfasst wurde, aus dem abwechselnden Strom auslässt.
Beispiel 13: Das Benutzergerät der Beispiele 11 oder 12, wobei die Anweisungen, wenn sie ausgeführt werden, ferner die Verarbeitungseinheit veranlassen, eine Gesichtsauthentifizierungssitzung mit dem Gesichtserkennungsmodell einzuleiten, indem: eine erste eindeutige Adresse auf der Kontrollschnittstelle der ersten Kamera zugewiesen wird; eine zweite eindeutige Adresse auf der Kontrollschnittstelle der zweiten Kamera zugewiesen wird; und ein einzelner Erfassungsbefehl an die Kontrollschnittstelle gesendet wird, wobei der einzelne Erfassungsbefehl automatisch an jede der ersten eindeutigen Adressen der ersten Kamera und der zweiten eindeutigen Adresse der zweiten Kamera weitergeleitet wird.
Beispiel 14: Das Benutzergerät nach einem der Beispiele 11 bis 13, wobei das Mehrfachkamerasystem ein duales Infrarotkamerasystem ist und die erste Kamera der gleiche Typ von Infrarotkamera ist wie die zweite Kamera.
Beispiel 15: Ein computerlesbares Speichermedium, das Anweisungen enthält, die, wenn sie ausgeführt werden, mindestens einen Prozessor eines Benutzergeräts konfigurieren, um eines der Verfahren der Beispiele 1-10 durchzuführen.
Während verschiedene Ausführungsformen der Offenbarung in der vorstehenden Beschreibung beschrieben und in den Zeichnungen gezeigt werden, ist es deutlich zu verstehen, dass diese Offenbarung nicht darauf beschränkt ist, sondern in der Praxis innerhalb des Geltungsbereichs der folgenden Ansprüche auf verschiedene Weise verkörpert werden kann. Aus der vorstehenden Beschreibung wird ersichtlich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung, wie durch die folgenden Ansprüche definiert, abzuweichen.

Claims

Ein Verfahren zum Synchronisieren von Kameras und zum Markieren von Bildern für eine Gesichtsauthentifizierung mit einem Gesichtserkennungsmodell, wobei das Verfahren aufweist: Initiieren einer Gesichtsauthentifizierungssitzung durch ein Gesichtsauthentifizierungssystem eines Benutzergeräts durch Senden eines Erfassungsbefehls an eine Kontrollschnittstelle eines Mehrfachkamerasystems; als Reaktion auf das Initiieren der Gesichtsauthentifizierungssitzung, Ausgeben eines vertikalen Synchronisationssignals von einer ersten Kamera des Mehrfachkamerasystems und an eine zweite Kamera des Mehrfachkamerasystems, das die sekundäre Kamera mit einem Start jedes Einzelbildes der Gesichtsauthentifizierungssitzung synchronisiert; Ansteuern eines Flutlichtstrahlers des Mehrfachkamerasystems durch die erste Kamera des Mehrfachkamerasystems, um ein Flutbild eines Benutzers für ein erstes Einzelbild zu erfassen, und automatisches Markieren von Metadaten des Flutbildes für das erste Einzelbild mit einem Flutidentifikator; nach dem Erfassen des Flutbildes für das erste Einzelbild, Ansteuern eines Punktprojektors durch die zweite Kamera des Mehrfachkamerasystems, um ein Punktbild des Benutzers für ein zweites Einzelbild zu erfassen, und automatisches Markieren von Metadaten des Punktbildes für das zweite Einzelbild mit einem Punktidentifikator; Feststellen, ob es sich bei dem ersten oder dem zweiten Einzelbild um ein verworfenes Einzelbild handelt; als Reaktion auf das Feststellen, dass weder das erste noch das zweite Einzelbild ein verworfenes Einzelbild ist, Ausgeben eines Bildstroms, der das markierte Flutbild für das erste Einzelbild und das markierte Punktbild für das zweite Einzelbild umfasst, an das Gesichtserkennungsmodell des Benutzergeräts; und Authentifizierung des Benutzers durch das Gesichtserkennungsmodell und auf der Grundlage des Bildstroms.
Verfahren nach Anspruch 1, ferner aufweisend: Ansteuern des Flutlichtstrahlers durch die erste Kamera, um ein Flutbild für ein drittes Einzelbild zu erfassen, wobei das dritte Einzelbild auf das zweite Einzelbild folgt; nach dem Erfassen des Flutbildes für das dritte Einzelbild, Ansteuern des Punktprojektors durch die zweite Kamera, um ein Punktbild für ein viertes Einzelbild zu erfassen, Erkennen eines verworfenen Einzelbildes während der Erfassung des Flutbildes für das dritte Einzelbild oder eines verworfenen Einzelbildes während der Erfassung des Punktbildes für das vierte Einzelbild; und als Reaktion auf das Erkennen des verworfenen Einzelbildes während der Erfassung des Flutbildes für das dritte Einzelbild oder des verworfenen Einzelbildes während der Erfassung des Punktbildes für das vierte Einzelbild, Auslassen sowohl des Flutbildes für das dritte Einzelbild als auch des Punktbildes für das vierte Einzelbild aus dem Bildstrom.
Verfahren nach Anspruch 1 oder 2, wobei das Senden des Erfassungsbefehls an die Kontrollschnittstelle aufweist: Weiterleiten des Erfassungsbefehls an eine eindeutige Adresse in der Kontrollschnittstelle, die mit der ersten Kamera verbunden ist, und Weiterleiten des Erfassungsbefehls an eine eindeutige Adresse in der Kontrollschnittstelle, die mit der zweiten Kamera verbunden ist.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Ausgeben des Synchronisationssignals das Ausgeben des Synchronisationssignals von der ersten Kamera an die zweite Kamera über eine Verbindung zwischen der ersten Kamera und der zweiten Kamera aufweist, wobei die Verbindung einen Synchronisationseingang der zweiten Kamera mit einem Synchronisationsausgang der ersten Kamera koppelt.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Flutbild ein erstes Flutbild für das erste Einzelbild ist, wobei das Verfahren ferner aufweist: während des Ansteuerns des Flutlichtstrahlers zur Erfassung des ersten Flutbildes für das erste Einzelbild und in Reaktion auf den Empfang des Synchronisationssignals, Erfassen eines zweiten Flutbildes für das erste Einzelbild mit der zweiten Kamera; automatisches Markieren von Metadaten des zweiten Flutbildes für das erste Einzelbild mit dem Flutidentifikator; und Ausgeben des zweiten Flutbildes für das erste Einzelbild mit dem Bildstrom zum Authentifizieren des Benutzers.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Punktbild ein zweites Punktbild für das zweite Einzelbild ist, wobei das Verfahren ferner aufweist: während des Ansteuerns des Punktprojektors zum Erfassen des zweiten Punktbildes für das zweite Einzelbild und in Reaktion auf den Empfang des Synchronisationssignals, Erfassen eines ersten Punktbildes für das zweite Einzelbild mit der ersten Kamera; automatisches Markieren von Metadaten des ersten Punktbildes für das zweite Einzelbild mit dem Punktidentifikator; und Ausgeben des ersten Punktbildes für das zweite Einzelbild mit dem Bildstrom zum Authentifizieren des Benutzers.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das automatische Markieren der Metadaten des Flutbildes für das erste Einzelbild und das automatische Markieren der Metadaten des Punktbildes für das zweite Einzelbild aufweist: Aufrechterhalten einer Einzelbildzählung für die Gesichtsauthentifizierungssitzung; Bestimmen eines ersten Paritätswerts der Einzelbildzählung während des ersten Einzelbildes; Auswählen eines Flutidentifikators anstelle eines Punktidentifikators auf der Grundlage des ersten Paritätswertes; Bestimmen eines zweiten Paritätswertes der Einzelbildzählung während des zweiten Einzelbildes; und Auswählen eines Punktidentifikators anstelle eines Flutidentifikators auf der Grundlage des zweiten Paritätswertes.
Verfahren nach einem der Ansprüche 1 bis 4 oder 7, wobei das Gesichtserkennungsmodell ein maschinell erlerntes Modell aufweist, das zur Authentifizierung des Benutzers auf der Grundlage des Bildstroms trainiert wurde.
Verfahren nach Anspruch 8, wobei die Authentifizierung des Benutzers auf der Grundlage des Bildstroms das Bestimmen, dass das Flutbild für das erste Einzelbild ein Flutbild und kein Punktbild ist, durch das maschinell erlernte Modell auf der Grundlage der Metadaten, die mit dem Flutbild für das erste Einzelbild verknüpft sind, aufweist.
Verfahren nach einem der Ansprüche 1 bis 9, wobei die erste Kamera eine Primärkamera und die zweite Kamera eine Sekundärkamera ist.
Ein Benutzergerät, aufweisend: ein Gesichtsauthentifizierungssystem mit einer Verarbeitungseinheit und einem Speicher; ein Mehrfachkamerasystem mit einer ersten Kamera und einer zweiten Kamera, wobei das Mehrfachkamerasystem so konfiguriert ist, dass es einen abwechselnden Strom von Flut- und Punktbildern ausgibt, wobei jedes Bild in dem abwechselnden Strom Metadaten enthält, die entweder als Flutbild oder als Punktbild gekennzeichnet sind; eine gemeinsame Kontrollschnittstelle, die gleichzeitig Befehle von der Verarbeitungseinheit an die erste Kamera und die zweite Kamera weiterleitet, wobei sowohl die erste Kamera als auch die zweite Kamera eine eindeutige Adresse in der gemeinsamen Kontrollschnittstelle aufweisen; und eine Verbindung, die einen Synchronisationseingang der zweiten Kamera mit einem Synchronisationsausgang der ersten Kamera koppelt, um ein Synchronisationssignal von der ersten Kamera an die zweite Kamera zu senden, um jedes Einzelbild der zweiten Kamera mit einem Start jedes entsprechenden Einzelbildes der ersten Kamera zu initiieren, wobei der Speicher des Gesichtsauthentifizierungssystems Anweisungen aufweist, die, wenn sie von der Verarbeitungseinheit ausgeführt werden, die Verarbeitungseinheit veranlassen zum: Ausführen eines Gesichtserkennungsmodells, das den abwechselnden Strom empfängt, der von dem Mehrfachkamerasystem ausgegeben wird, und bestimmt, ob jedes Bild in dem abwechselnden Strom entweder ein Flutbild oder ein Punktbild ist, basierend auf den Metadaten jedes Bildes in dem abwechselnden Strom; und Authentifizieren des Benutzers unter Verwendung des Gesichtserkennungsmodells auf der Grundlage des abwechselnden Stroms.
Benutzergerät nach Anspruch 11, wobei die Anweisungen, wenn sie ausgeführt werden, ferner die Verarbeitungseinheit veranlassen, ein verworfenes Einzelbild zu erkennen, und wobei das Mehrfachkamerasystem so konfiguriert ist, dass es jedes von dem Mehrfachkamerasystem während des verworfenen Einzelbildes erfasste Bild verwirft, indem es jedes während des verworfenen Einzelbildes erfasste Bild aus dem alternierenden Strom auslässt.
Benutzergerät nach Anspruch 11 oder 12, wobei die Anweisungen, wenn sie ausgeführt werden, ferner die Verarbeitungseinheit veranlassen, eine Gesichtsauthentifizierungssitzung mit dem Gesichtserkennungsmodell zu initiieren durch: Zuweisen einer ersten eindeutigen Adresse auf der Kontrollschnittstelle an die erste Kamera; Zuweisen einer zweiten eindeutigen Adresse auf der Kontrollschnittstelle an die zweite Kamera; und Senden eines einzelnen Erfassungsbefehls an die Kontrollschnittstelle, wobei der einzelne Erfassungsbefehl automatisch an jede der ersten eindeutigen Adressen der ersten Kamera und der zweiten eindeutigen Adresse der zweiten Kamera weitergeleitet wird.
Benutzergerät nach einem der Ansprüche 11 bis 13, wobei das Mehrfachkamerasystem ein duales Infrarotkamerasystem ist und die erste Kamera der gleiche Typ von Infrarotkamera ist wie die zweite Kamera.
Computerlesbares Speichermedium, das Anweisungen aufweist, die, wenn sie ausgeführt werden, mindestens einen Prozessor eines Benutzergeräts so konfigurieren, dass eines der Verfahren nach den Ansprüchen 1 bis 10 durchgeführt wird.