DE102022111222A1

DE102022111222A1 - Detektion von gefälschten bildern

Info

Publication number: DE102022111222A1
Application number: DE102022111222.5A
Authority: DE
Inventors: Ali Hassani; Jonathan Diedrich; Hafiz Malik; David Hiskens; Ryan Edwin Hanson
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-05-21
Filing date: 2022-05-05
Publication date: 2022-11-24
Also published as: US11967184B2; CN115376212A; US20220374643A1

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor auszuführen sind, um ein erstes Bild mit einer Kamera für sichtbares Licht und NIR-Licht zu erfassen und ein zweites Bild mit einer Infrarotkamera zu erfassen. Die Anweisungen können weitere Anweisungen zu Folgendem beinhalten: Bestimmen, ob das zweite Bild ein lebendiges menschliches Gesicht beinhaltet, durch Vergleichen eines ersten Infrarotprofils, das in dem zweiten Bild beinhaltet ist, mit einem zweiten Infrarotprofil, das in einem mit der Infrarotkamera erfassten zuvor erfassten dritten Bild beinhaltet ist; und wenn das zweite Bild das lebendige menschliche Gesicht beinhaltet, Ausgeben des ersten Bilds.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft Systeme und Verfahren zum Detektieren von Bildmanipulation.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit Rechenvorrichtungen, Netzen, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erfassen und/oder zu verarbeiten und das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten hinsichtlich zurückzulegender Routen und zu umfahrender Objekte in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann sich auf das Erfassen genauer und rechtzeitiger Daten bezüglich Objekten in der Umgebung eines Fahrzeugs stützen, während das Fahrzeug auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können mit Rechenvorrichtungen, Netzen, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erfassen und/oder zu verarbeiten und das Fahrzeug auf Grundlage der Daten zu betreiben. Rechenvorrichtungen und Sensoren, die beinhaltet sind, können für andere Aufgaben als das Betreiben des Fahrzeugs verwendet werden. Zum Beispiel kann eine Kamera in einem Fahrzeug dazu programmiert sein, ein Bild eines sich dem Fahrzeug nähernden Menschen zu erfassen und nach dem Bestimmen der Identität des Menschen auf Grundlage von Gesichtserkennungssoftware die Türen des Fahrzeugs zu entriegeln, um dem Bediener zu erlauben, in das Fahrzeug einzusteigen. Gleichermaßen können Kameras, die im Innenraum des Fahrzeugs beinhaltet sind, ein oder mehrere Bilder eines Menschen erfassen und nach dem Bestimmen der Identität des Bedieners auf Grundlage von Gesichtserkennungssoftware Befehle von dem Menschen annehmen, um das Fahrzeug zu betreiben.
Gesichtserkennung ist eine Art von biometrischer Authentifizierung, bei der Messungen eines menschlichen Körpers verwendet werden, um eine Identität eines Menschen zu bestimmen, um Zugangssteuerung durchzuführen. Ein Beispiel für biometrische Authentifizierung ist Gesichtserkennung, bei der ein Bild einer Person durch eine Kamera erfasst wird und das Bild verarbeitet wird, um Gesichtsmerkmale zu extrahieren, die dann in einem Computerspeicher als trainiertes Modell gespeichert werden. Zu einem späteren Zeitpunkt kann ein Computer ein zweites Bild einer Person mit einer zweiten Kamera erfassen und das Bild unter Verwendung von Gesichtserkennungssoftware verarbeiten, um einen zweiten Satz von Gesichtsmerkmalen zu extrahieren, der mit dem ersten Satz von Gesichtsmerkmalen aus dem trainierten Modell verglichen werden kann. Falls bestimmt wird, dass die zwei Sätze von Gesichtsmerkmalen übereinstimmen, wird die durch die zweite Kamera abgebildete Person authentifiziert. Biometrische Authentifizierung kann verwendet werden, um den Zugang zu physischen Räumen, die Gebäude, Wohnungen oder Fahrzeuge usw. beinhalten, zu steuern, und kann verwendet werden, um eine Erlaubnis zum Betreiben von Computern, Telefonen oder anderen Vorrichtungen zu gewähren. Software zur biometrischen Authentifizierung kann auf einer Rechenvorrichtung ausgeführt werden, die an dem Ort oder in der Vorrichtung beinhaltet ist, zu dem/der Zugang erlangt wird, oder die Bilddaten können auf einen cloudbasierten Server hochgeladen werden, der eine Datenbank von trainierten Modellen zur Ausführung aufbewahrt. Die Ergebnisse des Durchführens der biometrischen Authentifizierung können auf die Vorrichtung heruntergeladen werden, die sich um Authentifizierung und Erlaubnis zum Betreiben eines Fahrzeugs bemüht. Eine erfolgreiche Authentifizierung kann verwendet werden, um eine Fahrzeugtür zu entriegeln oder Fahrzeugsteuerelemente zu aktivieren. In anderen Beispielen kann eine erfolgreiche Authentifizierung für Sicherheitsanwendungen verwendet werden, wie etwa Zugang zu einem Ort oder Zimmer durch Entriegeln einer Tür oder noch ferner alternativ oder zusätzlich Zugang zu einer Vorrichtung, wie etwa einem Computer oder einem Mobiltelefon, indem Eingabevorrichtungen wie eine Tastatur oder eine Maus aktiviert werden oder Zugang zu Dateien gewährt wird.
Mit der Weiterentwicklung der Technologie zur biometrischen Authentifizierung sind auch Techniken zum Manipulieren von Kameradaten weiterentwickelt worden, um ein System zur biometrischen Authentifizierung so zu täuschen, dass es ein gefälschtes Bild authentifiziert. Das Bewirken, dass ein System zur biometrischen Authentifizierung ein gefälschtes Bild als real akzeptiert, wird in diesem Zusammenhang als „Spoofing“ bezeichnet. Zum Beispiel können gefälschte Bilder unter Verwendung von (einem) neuronalen Netz(en) generiert werden, die dazu programmiert sind, „Deepfake“-Bilder und Videos zu generieren. Ein Deepfake-Bild oder -Video ist ein Bild oder Video, bei dem ein Bild des Abbilds einer Person auf ein Bild des Körpers einer anderen Person editiert werden kann oder das Bild einer Person in eine Szene versetzt werden kann, in der sie sich im realen Leben nie aufgehalten hat. Hochauflösende Bilder des Gesichts von Personen sind zudem verwendet worden, um gefälschte Bilder zu erstellen, die verwendet werden, um Systeme zur biometrischen Authentifizierung zu täuschen. Um dies anzugehen, sind dreidimensionale (3D) Tiefenkartierungssysteme auf Smartphones implementiert worden, um zu verhindern, dass Deepfakes und hochauflösende Bilder verwendet werden, um Gesichtserkennungssysteme zu spoofen. Lebensechte Masken unter Verwendung von hochauflösendem Drucken oder Technologie für geformten Latex sind in letzter Zeit eingesetzt worden, um ein Gesichtserkennungssystem unter Verwendung von 3D-Tiefenkartierung zu täuschen. Ausgefeilte Bildverarbeitungstechniken, die große Mengen an Rechenressourcen erfordern, können erforderlich sein, um den Unterschied zwischen einer Maske und einem lebendigen Menschen zu bestimmen, und in Beispielen, in denen Bühnenmasken von hoher Qualität verwendet werden, kann selbst ausgefeilte Bildverarbeitung beim Bestimmen von gefälschten Bildern nicht erfolgreich sein.
In dieser Schrift erörterte Techniken detektieren Bildmanipulation, z. B. wenn ein gefälschtes Bild verwendet worden ist, indem zuerst ein Infrarotbild der Person, die bei dem System zur biometrischen Authentifizierung angemeldet werden soll, zusätzlich zu einem Graustufen- oder Farbbild erfasst wird, das unter Verwendung von sichtbarem und Nahinfrarot (near infrared - NIR) erfasst worden ist. Das Infrarotbild kann dann zusammen mit den aus dem Graustufen- oder Farbbild extrahierten Gesichtsmerkmalen in dem trainierten Modell gespeichert werden. Zum Abfragezeitpunkt, zu dem ein zweites Graustufen- oder Farblichtbild von der zu authentifizierenden Person erfasst wird, wird ein zweites Infrarotbild erfasst und mit dem ersten Infrarotbild verglichen, das in dem trainierten Modell gespeichert ist. Da Infrarotbilder auf Wärmedaten basieren, die von dem Gesicht einer Person emittiert werden, können gefälschte Bilder, die auf Videos, Fotografien oder Masken basieren, das gespeicherte Infrarotbild nicht nachahmen. In dieser Schrift erörterte Techniken verbessern die biometrische Authentifizierung durch Erfassen und Vergleichen von Infrarotbildern mit gespeicherten Daten, um zu bestätigen, dass ein lebendiger Mensch statt einer Fälschung durch das System abgebildet wird. Das Erfassen und Vergleichen eines Infrarotbilds erfordert keinen 3D-Tiefensensor und verwendet weniger Rechenressourcen als bestehende Techniken, um erfolgreich zu bestimmen, dass ein lebendiges menschliches Subjekt und keine Fälschung abgebildet wird. Im Anschluss an die erfolgreiche Bestimmung, dass ein lebendiger Mensch abgebildet wird, kann das Graustufen- oder Farbbild des menschlichen Gesichts an ein System zur biometrischen Authentifizierung ausgegeben werden, wo das Graustufen- oder Farbbild unter Verwendung von Gesichtserkennungssoftware verarbeitet werden kann, um zu bestimmen, ob das menschliche Gesicht mit einem zuvor gespeicherten menschlichen Gesicht übereinstimmt.
Figurenliste

1 ist eine Darstellung eines beispielhaften Fahrzeugs.
2 ist eine Darstellung eines beispielhaften Bilds.
3 ist eine Darstellung eines beispielhaften Infrarotbilds.
4 ist eine Darstellung eines beispielhaften gefälschten Infrarotbilds.
5 ist eine Darstellung eines beispielhaften Multispektralbilds.
6 ist eine Darstellung eines Ablaufdiagramms eines beispielhaften Prozesses zum Bestimmen von gefälschten Bildern.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Fahrzeugs 110, das eine Rechenvorrichtung 115 und Sensoren 116 beinhaltet. Die Rechenvorrichtung (oder der Computer) 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen von computerlesbaren Medien und er speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, die in dieser Schrift offenbarte beinhalten. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuerung von Beschleunigung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Bediener derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z.B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenkungssteuerung 114 usw., beinhalten oder z. B. über einen Fahrzeugkommunikationsbus, wie weiter unten beschrieben, kommunikativ an diese gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation in einem Fahrzeugkommunikationsnetz eingerichtet, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netz des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetz kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktoren, Sensoren usw., die die Sensoren 116 beinhalten. Alternativ oder zusätzlich kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetz zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Abtastelemente, wie etwa die Sensoren 116, der Rechenvorrichtung 115 Daten über das Fahrzeugkommunikationsnetz bereitstellen.
Zusätzlich kann die Rechenvorrichtung 115 dazu konfiguriert sein, über ein Netz, das, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 erlauben, über ein Netz wie etwa drahtloses Internet (WI-FI®) oder Mobilfunknetze mit einem Remoteservercomputer zu kommunizieren, durch eine Fahrzeug-Infrastruktur-(F-I-)Schnittstelle 111 mit einem Remoteservercomputer, z. B. einem Cloudserver, zu kommunizieren. Die F-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Vernetzungstechnologien zu nutzen, z. B. Mobilfunk, BLUETOOTH®, Ultrabreitband (Ultra-Wide Band - UWB®) und drahtgebundene und/oder drahtlose Paketnetze. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 durch die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-(F-F-)Netzen. z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen, konfiguriert sein, die z. B. auf Ad-hoc-Basis zwischen Fahrzeugen 110 in der Nähe gebildet werden oder durch infrastrukturbasierte Netze gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Daten protokollieren, indem sie die Daten zur späteren Rückgewinnung und Übertragung über das Fahrzeugkommunikationsnetz und eine Fahrzeug-Infrastruktur-(F-I-)Schnittstelle 111 an einen Servercomputer oder eine mobile Vorrichtung eines Benutzers in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist im Allgemeinen in Anweisungen, die in dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 115 ausführbar sind, Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110 beinhaltet, z. B. Bremsung, Lenkung, Antrieb usw. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer usw., kann die Rechenvorrichtung 115 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten des Fahrzeugs 110 steuern, um das Fahrzeug 110 zu betreiben. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Abbremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Art und Weise, die ein sicheres und effizientes Abfahren einer Route erreichen soll), wie etwa eines Abstands zwischen Fahrzeugen und/oder eines Zeitraums zwischen Fahrzeugen, Spurwechseln, eines Mindestabstands zwischen Fahrzeugen, einer Mindestzeit zur Wegquerung bei Linksabbiegung, einer Zeit bis zur Ankunft an einem konkreten Ort und einer Mindestzeit bis zur Ankunft an einer Kreuzung zum Überqueren der Kreuzung (ohne Ampel), beinhalten.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (electronic control units - ECUs) oder dergleichen beinhalten, die als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenkungssteuerungen 114 beinhalten. Jede der Steuerungen 112, 113, 114 kann jeweilige Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network-(CAN-)Bus oder Local-Interconnect-Network-(LIN-)Bus, um Anweisungen von der Rechenvorrichtung 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
Die Sensoren 116 können vielfältige Vorrichtungen beinhalten, von denen bekannt ist, dass sie Daten über den Fahrzeugkommunikationsbus teilen. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, einen Abstand von dem Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor für ein globales Positionsbestimmungssystem (global positioning system - GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das zum Betrieb in der Lage ist und das drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leichtlastkraftwagen usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten sammeln, die sich auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, beziehen. Beispielhaft und nicht einschränkend können die Sensoren 116 z. B. Höhenmesser, Kameras, Lidar, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie etwa Schalter usw. beinhalten. Die Sensoren 116 können verwendet werden, um die Umgebung abzutasten, in der das Fahrzeug 110 betrieben wird, z. B. können die Sensoren 116 Phänomene wie etwa Wetterbedingungen (Niederschlag, Außenumgebungstemperatur usw.), die Neigung einer Straße, den Ort einer Straße (z. B. unter Verwendung von Straßenkanten, Spurmarkierungen usw.) oder Orte von Zielobjekten wie etwa benachbarten Fahrzeugen 110 detektieren. Die Sensoren 116 können ferner verwendet werden, um Daten zu sammeln, die dynamische Daten des Fahrzeugs 110 beinhalten, die sich auf Vorgänge des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewendeten Leistungspegel, Konnektivität zwischen Komponenten und genaue und rechtzeitige Leistungsfähigkeit von Komponenten des Fahrzeugs 110.
2 ist eine Darstellung eines beispielhaften Bilds 200 eines menschlichen Gesichts 202; das Bild 200 könnte ein Graustufen- oder Farbbild sein, doch es ist gemäß Zeichnungsregeln des Patentamts in Schwarzweißwiedergabe gezeigt. Das Bild 200 kann unter Verwendung einer Kamera 204 für sichtbares Licht und NIR-Licht erfasst werden, die ein Sichtfeld 206 aufweist, das ein menschliches Gesicht 202 beinhaltet. Die Kamera 204 für sichtbares Licht und NIR-Licht kann eine Videokamera sein und das Graustufen- oder Farbbild 200 kann zum Beispiel ein Einzelbild aus einer Videosequenz sein. Das Graustufen- oder Farbbild 200 kann ein monochromes Bild sein oder ein Bild, das einen roten, einen grünen und einen blauen Farbkanal (red, green, and blue color channels - RGB-Farbkanäle) beinhaltet. Detektionskameras, die verwendet werden, um Bilder mit sichtbarem Licht und NIR-Licht zu erfassen, arbeiten im Bereich von 400 bis 1000 Nanometern (nm), um sichtbares Licht und Nahinfrarotlicht (NIR-Licht) zu erfassen. Kameras 204 für sichtbares Licht und NIR-Licht erfassen Daten von Beleuchtung, die von Objekten in dem Sichtfeld 206 der Kamera 204 für sichtbares Licht und NIR-Licht reflektiert wird. Bilder mit sichtbarem Licht und NIR-Licht können auf Grundlage davon erfasst werden, dass sichtbares Licht und NIR-Licht aus einer Lichtquelle emittiert wird und reflektiertes Licht erfasst wird. Kameras 204 für sichtbares Licht und NIR-Licht können zudem Daten unter Verwendung von Umgebungslicht erfassen. Kameras, die CMOS-Bildsensoren beinhalten, können dazu konfiguriert sein, sichtbares Licht und NIR-Licht zu erfassen, und können mosaiziert sein, um zu erlauben, dass rotes, grünes, blaues und NIR-Licht die in dem Bildsensor beinhalteten Fotorezeptoren erreichen.
Das Graustufen- oder Farbbild 200 kann unter Verwendung von Gesichtserkennungssoftware verarbeitet werden, die auf einer Rechenvorrichtung 115 ausgeführt wird, um Gesichtsmerkmale aus den Bilddaten zu extrahieren. Beispielhafte Bildverarbeitungssoftware, die zum Extrahieren von Gesichtsmerkmalen verwendet werden kann, ist in Dlib beinhaltet, einem Toolkit, das Algorithmen zum maschinellen Lernen und Werkzeuge zum Erstellen komplexer Software in C++ enthält. Dlib ist unter Github.com erhältlich und unter einer Open-Source-Lizenz erhältlich, die seine kostenlose Verwendung erlaubt. Zum Beispiel können Pixelwerte in einem Bild unter Verwendung einer Dlib-Routine, die als SURF bezeichnet wird, für beschleunigte robuste Merkmale verarbeitet werden, die verwendet werden können, um konkrete Formen von Pixelwerten wie etwa Kanten und Ecken zu detektieren. Detektierte Formen in benachbarten oder sich überlappenden Nachbarschaften können zusammengefügt werden, um Merkmale wie etwa Augenwinkel und Mundwinkel zu bilden. Merkmale können weiter verarbeitet werden, um komplexere Merkmale zu bestimmen. Zum Beispiel können ein rechter Augenwinkel und ein linker Augenwinkel kombiniert werden, um eine Stelle eines Auges zu bestimmen. Gesichtsmerkmale können die inneren und äußeren Winkel beider Augen, die Mundwinkel, die Kanten der Nase usw. beinhalten.
Zum Anmeldungszeitpunkt kann ein Graustufen- oder Farbbild 200, das ein menschliches Gesicht 202 beinhaltet, erfasst werden und können Gesichtsmerkmale aus dem Bild extrahiert werden. Anmeldung bedeutet in diesem Zusammenhang einen Zeitpunkt, zu dem Bilder einer Person erfasst und zum ersten Mal für einen Prozess zur biometrischen Authentifizierung an eine Rechenvorrichtung kommuniziert werden. Die extrahierten Gesichtsmerkmale können in Speicher, der in der Rechenvorrichtung 115 beinhaltet ist, in einem trainierten Modell gespeichert werden, das dem menschlichen Gesicht 202 entspricht. Das trainierte Modell kann zudem in eine Datenbank hochgeladen werden, die in einem cloudbasierten Server beinhaltet ist, wo es an Orte verteilt werden kann, sodass Bilder, die während der Anmeldungsphase erfasst werden, zum Beispiel an mehreren Orten verwendet werden können. Vorteile des Speicherns von Merkmalssätzen anstelle von Bildern beinhalten die viel geringeren Speicheranforderungen von Merkmalen im Gegensatz zu Bildern und eine schnellere Verarbeitung, da die Merkmalsextraktion nur einmal zum Anmeldungszeitpunkt durchgeführt werden muss.
Zum Anmeldungszeitpunkt können in dieser Schrift erörterte Techniken zudem ein Infrarotbild erfassen, das das anzumeldende menschliche Gesicht beinhaltet. Kameras, die zum Erfassen von Infrarotbildern verwendet werden, beinhalten Kameras zur Verifizierung der Lebendigkeit, die kurzwelliges Infrarotlicht (short wave infrared light - SWIR) im Wellenlängenbereich von 1000 bis 2500 nm oder langwelliges Infrarotlicht (long wave infrared light - LWIR) im Bereich von 8000 bis 14000 nm erfassen, wie nachstehend in Bezug auf 3 erörtert. LWIR-Bilder werden auf Grundlage von Wärmephotonen erfasst, die von dem Subjekt, z. B. einem menschlichen Gesicht, emittiert werden. SWIR-Bilder werden auf Grundlage von reflektiertem Licht erfasst, das durch eine SWIR-Beleuchtungseinrichtung emittiert wird. Bilder von den Detektionskameras können verwendet werden, um menschliche Gesichter in dem Sichtfeld zu detektieren und zu identifizieren. Bilder von den Kameras zur Verifizierung der Lebendigkeit können verarbeitet werden, um ein Lebendigkeitsinfrarotprofil zu bestimmen, das dem in dem Infrarotbild beinhalteten menschlichen Gesicht entspricht. Zum Beispiel kann ein Histogramm auf Grundlage der Pixel des Infrarotbilds oder der Pixel, von denen bestimmt worden ist, dass sie dem menschlichen Gesicht in dem Infrarotbild entsprechen, gebildet werden. Das Histogramm kann verarbeitet werden, um statistische Eigenschaften der Pixelwerte in dem Histogramm zu bestimmen. Histogrammbasierte Statistiken gehen davon aus, dass die Pixelwerte Gauß-Verteilungen sind, und bestimmen einen Mittelwert und eine Varianz der Verteilung. Die Histogrammstatistiken können in weniger Speicher gespeichert werden als ein vollständiges Infrarotbild, wodurch Rechenressourcen effizient verwendet werden.
In dieser Schrift beschriebene Techniken können zudem Bilder verarbeiten, die durch SWIR-Detektionskameras erfasst werden, um Gesichtsmerkmale aus den erfassten Infrarotbildern zu extrahieren und zu speichern. Die Merkmale können unter Verwendung von Bildverarbeitungssoftware extrahiert werden, wie vorstehend erörtert. Für Bilder, die durch LWIR-Kameras zur Verifizierung der Lebendigkeit erfasst werden, können die Merkmale Temperaturdifferenzen entsprechen, die durch Blutfluss und Gesichtsmerkmale verursacht werden, die die Haut unterbrechen oder bedecken, z. B. Augen und Haare. Zusätzlich kann der Abschnitt des Infrarotbilds, der dem menschlichen Gesicht entspricht, für einen späteren Vergleich mit einem Abfrageinfrarotbild gespeichert werden. Alle diese Techniken reduzieren Speicheranforderungen gegenüber dem Speichern eines gesamten Infrarotbilds für den Vergleich zu einem späteren Zeitpunkt.
Zu einem Zeitpunkt nach der Anmeldung, der in dieser Schrift als Abfragezeitpunkt bezeichnet wird, kann eine Kamera 204 für sichtbares Licht und NIR-Licht ein zweites Graustufen- oder Farbbild einer Person erfassen, die durch die Rechenvorrichtung 115 authentifiziert werden soll. Software für maschinelles Sehen, wie vorstehend erörtert, kann verwendet werden, um einen zweiten Satz von Gesichtsmerkmalen aus Bildern zu extrahieren, die während der Identifikations- oder Verifizierungsphase erfasst werden. Der zweite Satz von Gesichtsmerkmalen kann mit dem ersten Satz von Gesichtsmerkmalen verglichen werden, der aus dem Satz von Bildern extrahiert worden ist, der während der Anmeldungsphase durch die Rechenvorrichtung 115 unter Verwendung von Gesichtsidentifikationssoftware erfasst worden ist. Ein Beispiel für Gesichtsidentifikationssoftware ist Face Tracker. Face Tracker ist eine in C++ geschriebene Gesichtserkennungssoftwarebibliothek und auf facetracker.net unter der MIT-Softwarelizenz erhältlich. Gesichtsidentifikationssoftware kann Verarbeitung an den zwei Sätzen von Merkmalen durchführen, um Verhältnisse von Abständen zwischen Merkmalen zu extrahieren und die aus den zwei Sätzen von Merkmalen extrahierten Verhältnisse zu vergleichen. Zum Beispiel können, wie vorstehend erörtert, Routinen zur Detektion von Gesichtsmerkmalen wie etwa SURF in Dlib Stellen auf einem Gesicht bestimmen, die dem Mittelpunkt jedes Auges und dem Mittelpunkt eines Munds entsprechen. Es können Verhältnisse des Abstands zwischen den Mittelpunkten der Augen zu Abständen zwischen dem Mittelpunkt jedes Auges und dem Mittelpunkt des Munds gebildet werden. Verhältnisse zwischen Gesichtsabständen sind für das Gesicht einer gegebenen Person unabhängig von der absoluten Größe in Pixeln konstant. Verhältnisse zwischen Merkmalsabständen können bestimmt und in einer Rechenvorrichtung 115 gespeichert werden. Während der Verifizierungs- oder Identifikationsphase kann ein zweites Bild des Gesichts einer Person erfasst und verwendet werden, um die Person durch Vergleichen der bestimmten Verhältnisse zwischen Gesichtsmerkmalen zu identifizieren. Falls die Verhältnisse zwischen Merkmalen übereinstimmen, wird bestimmt, dass es sich bei der Person um die gleiche Person wie in dem zuvor erfassten Bild handelt. Auf diese Weise können Unterschiede bei absoluten Abständen aufgrund von Abständen von der ersten und der zweiten Kamera und Unterschiede bei Posen zwischen den zwei Bildern minimiert werden. Eine erfolgreiche Authentifizierung auf Grundlage des Abgleichens von Gesichtsmerkmalen zwischen dem ersten und dem zweiten Gesichtsmerkmalsatz führt dazu, dass der Person in dem zweiten Bild oder Abfragebild Zugang gewährt wird.
Das zweite Bild zur Verifizierung der Lebendigkeit kann verwendet werden, um die Lebendigkeit des Subjekts zu bestimmen, das zur Gesichtserkennung in dem Graustufen- oder RGB-Farbbild dargestellt ist. Techniken zur Bestimmung der Lebendigkeit werden von den Wellenlängen des Infrarotlichts, das durch die Infrarotkamera erfasst wird, abhängen. Histogrammanalyse kann für SWIR-Bilder verwendet werden, bei denen Histogrammstatistiken, die Mittelwert und Varianz beinhalten, aus dem Anmeldungsbild zur Verifizierung der Lebendigkeit mit Histogrammstatistiken aus dem Abfragebild zur Verifizierung der Lebendigkeit verglichen werden können. LWIR-Kameras können Wärmedaten extrahieren. Ein erfolgreicher Vergleich zwischen einem oder mehreren von histogrammbasierten Pixelwertstatistiken, extrahierten Gesichtsmerkmalen oder Vorlagenabgleich kann die Lebendigkeit des Subjekts bestätigen und erlauben, dass die Gesichtserkennung auf Grundlage von Graustufen- oder RGB-Farbbildern fortgesetzt wird.
3 ist ein Infrarotbild 300 eines menschlichen Gesichts 302, das mit einer SWIR- oder LWIR-Kamera zur Verifizierung der Lebendigkeit erfasst worden ist. In dieser Schrift erörterte Techniken erfassen ein zweites Bild zur Verifizierung der Lebendigkeit mit einer SWIR- oder LWIR-Kamera zur Verifizierung der Lebendigkeit zur gleichen Zeit, zu der das Graustufen- oder RGB-Farbbild zur Abfrage durch eine Detektionskamera erfasst wird. Jede Art von Infrarotkamera zur Verifizierung der Lebendigkeit weist Kompromisse auf, die der Auflösung, der Empfindlichkeit und den Kosten der Kamera entsprechen. SWIR-Kameras können Histogrammstatistiken bestimmen, die menschliche Gesichter mit hoher Präzision von gefälschten Bildern trennen können. Kostspieligere LWIR-Kameras mit einer niedrigeren x-, y-Auflösung können Wärmebilder generieren, die verwendet werden können, um Wärmekarten von menschlichen Gesichtern auf Grundlage von emittierter Infrarotstrahlung zu bestimmen. Die konkrete Infrarottechnologie, die für eine Kamera zur Verifizierung der Lebendigkeit verwendet wird, kann von einer Kosten-Nutzen-Analyse abhängen, die auf Grundlage der Kosten des Infrarotkamerasystems und der Nutzen bestimmt wird, die der Wahrscheinlichkeit entsprechen, auf verschiedene Arten von gefälschten Bildern zu stoßen.
Das Infrarotbild 300 kann durch eine LWIR-Kamera 306 generiert werden, die Photonen von Infrarotlicht erfasst, die Wärme entsprechen, die durch Objekte in dem Sichtfeld 308 der Infrarotkamera 306 emittiert wird. Um zu verhindern, dass ein gefälschtes Bild verwendet wird, um ein System zur biometrischen Authentifizierung auf Grundlage von Gesichtserkennung zu spoofen, kann das Infrarotbild 300 verarbeitet werden, um zu bestimmen, dass ein lebendiges menschliches Gesicht, das Infrarotlicht emittiert, in dem Infrarotbild 300 beinhaltet ist. Gefälschte Bilder emittieren kein Infrarotlicht bei Wellenlängen im LWIR-Bereich, da sie keinen 98,6 Grad warmen Blutfluss unter der Hautoberfläche beinhalten, der Infrarotlicht emittiert, das der Körperwärme entspricht. Fotografien und Latexmasken emittieren keine Infrarotstrahlung, die der Körperwärme entspricht. Selbst wenn eine Fotografie oder eine Latexmaske auf 98,6 Grad erwärmt würde, um Infrarotstrahlung zu emittieren, würde das durch eine Infrarotkamera erfasste Muster der Infrarotemission nicht mit dem Muster von Infrarotlicht übereinstimmen, das durch Blutgefäße unter der Oberfläche der Gesichtshaut emittiert wird. Das Infrarotbild 300 kann unter Verwendung einer handelsüblichen Infrarotkamera 306 erfasst werden. Ein Beispiel für eine handelsübliche Infrarotkamera 306 ist die LWTS, die von L3Harris Technology, Melbourne FL 32919, erhältlich ist. LWIR-Kameras 306 erfassen Wärmephotonen, die von Objekten im Wellenlängenbereich von 2500-14000 nm emittiert werden. Dieser Wellenlängenbereich beinhaltet durch ein menschliches Gesicht emittierte Wärme, die durch Blutfluss unter der Haut generiert wird. Wie in dem Infrarotbild 300 zu sehen ist, emittieren belichtete Hautabschnitte eines menschlichen Gesichts 302 Infrarotstrahlung (helle Pixel), während Abschnitte des Gesichts des menschlichen Gesichts 302, die zum Beispiel durch Gesichtsbehaarung und eine Brille bedeckt sind, keine Infrarotstrahlung emittieren (dunkle Pixel).
Das Infrarotbild 300 kann zudem unter Verwendung einer SWIR-Kamera 306 erfasst werden. SWIR-Kameras können unter Verwendung von Indiumgalliumarsenid konstruiert werden, um Infrarotwellenlängen im Bereich von 1000 bis 2500 nm zu erfassen. Ein entsprechendes Graustufen- oder RGB-Farbbild 200 kann unter Verwendung von Bildverarbeitungssoftware verarbeitet werden, wie vorstehend erörtert, um den Bereich des Infrarotbilds 300 zu bestimmen, der durch das menschliche Gesicht 302 eingenommen ist. Ein Begrenzungsrahmen 304 kann um den Abschnitt des menschlichen Gesichts des Bilds auf Grundlage davon konstruiert werden, dass ein Begrenzungsrahmen 304 unter Verwendung eines Graustufen- oder RGB-Farbbilds bestimmt wird, das durch eine Kamera für sichtbares Licht und NIR-Licht erfasst wird und mit dem Infrarotbild 300 koregistriert wird. Koregistriert bedeutet, dass die Infrarotkamera, die Infrarotbilder 300 erfasst, und die Kamera für sichtbares Licht und NIR-Licht, die ein Bild 200 mit sichtbarem Licht und NIR-Licht erfasst, dazu konfiguriert sind, Bilder aus dem gleichen Sichtfeld zu erfassen. Objekte, wie etwa ein menschliches Gesicht, werden in Bildern, die durch koregistrierte Sensoren erfasst werden, an der gleichen Stelle auftreten. Die Sensoren können aufgrund sich unterscheidender Auflösungen eine unterschiedliche Anzahl von Pixeln aufweisen, doch Objekte werden bei koregistrierten Sensoren in der gleichen Größe und an den gleichen Stellen relativ zu den Mittelpunkten der Bilder auftreten.
Bildverarbeitungssoftware, wie vorstehend erörtert, kann ein Histogramm von Pixelwerten in dem Infrarotbild 300 bestimmen. Abschnitte des Infrarotbilds, die ein lebendiges menschliches Gesicht beinhalten, beinhalten typischerweise Pixel, die Histogrammwerte aufweisen, von denen zuvor auf Grundlage eines Anmeldungsinfrarotbilds 300 bestimmt worden ist, dass sie mit 12 Mikron abgestrahltes Licht beinhalten. Das Verwenden eines Begrenzungsrahmens, der den Abschnitt des menschlichen Gesichts des Bilds auf Grundlage von Pixelwerten umgibt, kann erlauben, dass eine Teilmenge der Bilddaten in Speicher gespeichert wird, wodurch die erforderliche Menge an Speicher reduziert wird. Zum Abfragezeitpunkt wird ein zweites Infrarotbild 300 eines zu authentifizierenden menschlichen Gesichts durch die Rechenvorrichtung 115 erfasst und unter Verwendung eines Begrenzungsrahmens 304 verarbeitet, der auf Grundlage eines sichtbaren und NIR-Bilds 200 bestimmt wird, das das zweite menschliche Gesicht 302 beinhaltet. Das zweite Infrarotbild 300 kann verarbeitet werden, um zu bestimmen, ob ein Begrenzungsrahmen 304 ein lebendiges menschliches Gesicht beinhaltet, indem die Pixelwerte in dem Begrenzungsrahmen 304 mit den Pixelwerten in dem zuvor erfassten Begrenzungsrahmen 304 verglichen werden. Histogrammbasierte Pixelwertstatistiken, die Mittelwert und Varianz beinhalten, können auf Grundlage des Anmeldungsbilds 300 und des Abfragebilds 300 bestimmt und verglichen werden. Der Mittelwert und die Varianz der Pixelwerte in dem Histogramm können verglichen werden, und wenn sie innerhalb einer empirisch bestimmten Toleranz gleich sind, wird bestimmt, dass das Infrarotbild 300 ein lebendiges menschliches Gesicht beinhaltet. Wenn bestimmt wird, dass das Infrarotbild 300 ein lebendiges menschliches Gesicht beinhaltet, kann ein Graustufen- oder Farbbild 200, das dem Infrarotbild 300 entspricht, durch eine Kamera für sichtbares Licht und NIR-Licht erfasst und an einen Gesichtserkennungsprozess ausgegeben werden, der auf der Rechenvorrichtung 115 ausgeführt wird, um die Person in dem Graustufen- oder Farbbild 200 zu identifizieren.
In Beispielen, in denen eine Vielzahl von menschlichen Gesichtern bei einem System zur biometrischen Autorisierung angemeldet worden ist, kann ein sichtbares und NIR-Bild 200 der Person, die sich um Authentifizierung bemüht, erfasst werden. Eine Identität des menschlichen Gesichts in dem sichtbaren und NIR-Bild 200 kann durch Verarbeiten des sichtbaren und NIR-Bilds 200 unter Verwendung von Gesichtserkennungssoftware bestimmt werden, wie vorstehend erörtert. Die Identität der Person kann verwendet werden, um zu bestimmen, welche Daten des Infrarotanmeldungsbilds 300 verwendet werden sollen, um die Lebendigkeit auf Grundlage eines Abfrageinfrarotbilds 300 zu bestimmen. Eine Vielzahl von Sätzen von Anmeldungsdaten, die histogrammbasierte Pixelwertstatistiken, Gesichtsmerkmale oder Vorlagen auf Grundlage von Anmeldungsinfrarotbildern 300 beinhalten, kann in einer Rechenvorrichtung 115 oder einem cloudbasierten Servercomputer in Kommunikation mit der Rechenvorrichtung 115 über die F-I-Schnittstelle 111 gespeichert sein. Eine Identität einer Person, die sich um Autorisierung bemüht, kann verwendet werden, um die Daten des Infrarotbilds 300 auszuwählen, die verwendet werden sollen, um die Lebendigkeit zu bestimmen. In Beispielen, in denen ein SWIR- oder LWIR-Bild 300 verwendet wird, um die Lebendigkeit zu bestimmen, können generische Infrarotdaten auf Grundlage davon verwendet werden, dass eine Vielzahl von realen Infrarotbildern 300 und gespooften Infrarotbildern 400 erfasst wird. Für histogrammbasierte Pixelwertstatistiken sind Unterschiede zwischen Individuen im Vergleich zu Unterschieden zwischen lebendigen Bildern 300 und gespooften Bildern 400 nicht signifikant.
Gesichtserkennung würde verwendet, um zu bestimmen, mit welchem angemeldeten Profil verglichen werden soll. In Beispielen, in denen Wärmeprofile verwendet werden, kann wegen der großen Unterschiede zwischen Bildern von lebendigen menschlichen Gesichtern und gespooften menschlichen Gesichtern ein generischer Satz von Vorlagen verwendet werden. Ein Klassifikator könnte z. B. an allgemeinen lebendigen menschlichen Gesichtern und zugeschnittenen Bildern von gespooften menschlichen Gesichtern trainiert werden, um eine Lebendigkeitsbewertung zu bestimmen. Auf diese Weise kann die Bestimmung der Lebendigkeit erfolgreich von einem Gesichtserkennungsprozess entkoppelt werden. Gesichtserkennung würde verwendet, um zu bestimmen, mit welchem angemeldeten Profil verglichen werden soll. Ein Vorlagenabgleichsprozess könnte entweder für LWIR-Bildgebung oder für SWIR-Bildgebung erfolgen, wobei eine Ähnlichkeitsbewertung aus der Abfrage gegenüber der erwarteten Vorlage generiert wird. Die SWIR-Analyse würde mehr vom Reflexionsvermögen der Haut von Licht mit 1100-1400 nm als Blutfluss abhängen. Eine Bestimmung, welche Infrarotkamera verwendet werden soll, wird von den Kamerakosten und Schwierigkeiten bei der Auflösungsverwaltung und der Koregistrierung von Bildern abhängen.
Zusätzlich zum Bestimmen der Lebendigkeit durch Vergleichen von histogrammbasierten Statistiken kann ein zuvor erfasster Begrenzungsrahmen 304 aus dem ersten Infrarotbild 300 aus dem Speicher abgerufen und mit dem zweiten Begrenzungsrahmen 304 aus dem zweiten Bild oder Abfragebild verglichen werden, um die Ähnlichkeit des Abfragebilds und des angemeldeten Bilds zu bestimmen. Das Vergleichen des Abfrageinfrarotbilds 300 mit einem angemeldeten und gespeicherten Infrarotbild kann Spoofing durch Erwärmen des Objekts, das zum Erstellen des gefälschten Bilds verwendet wird, auf die Körpertemperatur eines Menschen verhindern. Ein gefälschtes Bild, das durch Erfassen eines Infrarotbilds 300 von einem Bild oder einer Maske, die auf 98,6 Grad Fahrenheit erwärmt ist, gebildet wird, kann die gleichen durchschnittlichen Pixelwerte wie ein lebendiges menschliches Gesicht aufweisen, würde aber nicht die gewissen Bilddetails wie ein lebendiges menschliches Gesicht aufweisen, die Blutfluss unter der Oberfläche entsprechen. Pixelwerte in einem Infrarotbild eines lebendigen menschlichen Gesichts beinhalten Bilddetails, die Blutfluss, Diffusion der Wärme aus dem Blutfluss in umgebendes Gewebe und Differentialkühlung aufgrund von Unterschieden bei der Form und Dichte des Gewebes entsprechen. Ein Infrarotbild 300 eines lebendigen menschlichen Gesichts kann Details beinhalten, die Blutfluss, Diffusion und Kühlung entsprechen und Muster verursachen, die für eine gegebene Person bestehen bleiben, und kann verwendet werden, um die Person durch Vergleichen eines ersten Infrarotbilds, d. h. eines Anmeldungsinfrarotbilds, mit einem zweiten Infrarotbild, d. h. einem zu einem späteren Zeitpunkt erfassten Abfrageinfrarotbild, zu identifizieren.
Der Vergleich kann unter Verwendung von Vorlagenabgleich durchgeführt werden, wobei die Größe eines oder mehrerer der Begrenzungsrahmen 304 geändert wird, damit sie eine ähnliche Größe aufweisen und sich in dem Infrarotbild 300 befinden, und sie dann subtrahiert werden. Wie vorstehend erörtert, kann zudem eine generische Vorlage auf Grundlage einer Vielzahl von realen Infrarotbildern 300 bestimmt werden. Falls das Residuum im Anschluss an die Subtraktion unter einem empirisch bestimmten Schwellenwert liegt, wird bestimmt, dass die zwei Bilder übereinstimmen. Ausgefeiltere Techniken, die Bildkorrelation beinhalten, können ebenfalls verwendet werden, um zum Beispiel Unterschiede bei absoluten Pixelwerten zu kompensieren. Wärmebilder können durch Durchführen einer Bild-zu-BildKorrelation mit einem Anmeldungsinfrarotbild 300 abgeglichen werden, um zu bestimmen, ob ein Abfrageinfrarotbild 300 real oder gefälscht ist. Eine „Falschheits“-Bewertung F, wobei eine Bewertung über 0,5 eine Fälschung angeben kann und eine Bewertung unter 0,5 ein reales menschliches Gesicht angeben kann, das dem Anmeldungsbild entspricht, kann gemäß der folgenden Gleichung bestimmt werden: $F = 1 - α \times ρ (P r o f i l, A b f r a g e)$
Wobei α ein frei wählbarer Skalierungsfaktor ist und ρ(Profil,Abfrage) eine Funktion ist, die einen Korrelationskoeffizienten zwischen dem Profil, wobei es sich um die Daten in dem Begrenzungsrahmen 304 aus dem ersten Infrarotbild 300 handelt, das zum Anmeldungszeitpunkt im Speicher gespeichert wird, und Abfrage, wobei es sich um die Daten in dem Begrenzungsrahmen 304 aus dem zweiten Infrarotbild 300 handelt, die zum Authentifizieren der Person erfasst worden sind, bestimmt. Der Skalierungsfaktor a kann auf Grundlage einer Vielzahl von realen und gefälschten Bildern bestimmt werden, um sie optimal zu trennen.
4 ist eine Darstellung eines gefälschten Infrarotbilds 400. Das gefälschte Infrarotbild 400 beinhaltet einen Menschen, der eine Latexmaske 402 trägt, die durch einen Begrenzungsrahmen 404 umgeben ist, der den Gesichtsabschnitt des gefälschten Bilds 400 identifiziert. Das gefälschte Infrarotbild 400 veranschaulicht den Unterschied bei der Infrarotstrahlung, die von einem menschlichen Gesicht 302 in dem Infrarotbild 300 emittiert wird, und dem Gesicht der gleichen Person, das durch eine Latexmaske 402 bedeckt ist. Das Korrelieren der Wärmeprofildaten in dem Begrenzungsrahmen 404 aus dem gefälschten Bild 400 würde einen höheren Unterschied für einen Vorlagenabgleich und einen niedrigeren Korrelationskoeffizienten ergeben, wenn sie mit einem zuvor erfassten Wärmeprofil korreliert würden, das in einem Begrenzungsrahmen 304 beinhaltet ist, der ein lebendiges menschliches Subjekt beinhaltet, als ein Begrenzungsrahmen 304, der das Wärmeprofil aus einem Infrarotbild 300 beinhaltet, das ein lebendiges menschliches Subjekt beinhaltet.
5 ist eine Darstellung eines Multispektralbilds 500. Ein Graustufen- oder Farbbild 200 und ein Infrarotbild 300 können kombiniert werden, um ein Multispektralbild 500 zu bilden. Das Bild 500 kann bestimmt werden, indem ein Graustufen- oder Farbbild 200 mit einer Kamera 204 für sichtbares Licht und NIR-Licht erfasst wird und ein Infrarotbild 300 mit einer Infrarotkamera 306 erfasst wird und die zwei Bilder gemäß der folgenden Gleichung addiert werden: $I_{c} = a_{v} I_{v} + a_{i} I_{i}$
Wobei I_c das Multispektralbild 500 ist, I_v das Graustufen- oder Farbbild 200 ist, I_i das Infrarotbild 300 ist, a_v eine empirisch bestimmte Konstante multipliziert mit den Pixeln des Bilds I_v ist und a_i eine empirisch bestimmte Konstante multipliziert mit den Pixeln des Bild I_i ist. Im Anschluss an die pixelweise erfolgende Multiplikation mit den Konstanten a_v und a_i und vor dem Addieren können die Bilder I_v und I_i koregistriert werden, indem Gesichter in jedem Bild unter Verwendung von Routinen zur Detektion von Gesichtsmerkmalen aus der Dlib-Bildverarbeitungsbibliothek detektiert werden, wie vorstehend in Bezug auf 2 erörtert. Koregistrieren bedeutet, dass die Bilddaten aus einem oder mehreren der Bilder I_v und I_i verschoben und gedreht werden können, um die Gesichtsmerkmale der zwei Bilder in Ausrichtung zu bringen, wodurch das Gesichtsmerkmal in den zwei Bildern vor der pixelweise erfolgenden Addition ausgerichtet ist. Die Konstanten α_v und α_i können ausgewählt werden, um zu erlauben, dass die zwei Bilder kombiniert werden, während Details von beiden bewahrt werden, indem eine Vielzahl von Graustufen- oder Farbbildern 200 und Infrarotbildern 300 erfasst wird und diese unter Verwendung unterschiedlicher Werte von α_v und α_i kombiniert wird. Das Kombinieren von Graustufen- oder Farbbildern 200 und Infrarotbildern 300 unter Verwendung von Gleichung 2 kann das Verarbeiten des einzelnen Multispektralbilds 500 erlauben, um sowohl den Lebendigkeits- als auch den Gesichtsidentifikationsprozess an einem einzelnen Bild durchzuführen, wodurch Speicherplatz in der Rechenvorrichtung 115 eingespart wird.
Die in dieser Schrift erörterten Techniken bezüglich der Detektion von gefälschten Bildern können bestärkendem Lernen unterzogen werden. Bestärkendes Lernen wird durchgeführt, indem Statistiken bezüglich der Anzahl von korrekten und falschen Ergebnissen geführt werden, die durch ein System zur Detektion von gefälschten Bildern in Verwendung erreicht werden, und die statistischen Ergebnisse verwendet werden, um das System zur Detektion von gefälschten Bildern erneut zu trainieren. Zum Beispiel wird angenommen, dass ein System zur Detektion von gefälschten Bildern als Eingabe in ein System zur biometrischen Autorisierung verwendet wird, das verwendet wird, um ein Fahrzeug, ein Gebäude oder eine Vorrichtung zu entriegeln, wenn sich ein gültiger Benutzer nähert. Ein gültiger Benutzer ist ein Benutzer mit einer vorher vereinbarten Erlaubnis, das Fahrzeug, das Gebäude oder die Vorrichtung zu verwenden. In einem Beispiel, in dem das System zur Detektion von gefälschten Bildern eine Kamera nicht korrekt verifiziert und das Fahrzeug nicht entriegelt, kann der Benutzer gezwungen sein, das Fahrzeug manuell mit einem Schlüssel oder Funkschlüssel zu entriegeln oder ein 2-Faktor-Autorisierungssystem zu verwenden, wie etwa das Eingeben eines an eine Mobiltelefonnummer gesendeten Codes. Wenn ein Benutzer gezwungen ist, das Fahrzeug manuell zu entriegeln, kann das System zur Detektion von gefälschten Bildern Daten bezüglich der falschen Kameraquelldaten, die das Bild des Benutzers beinhalten, speichern.
Das Bestimmen, was mit Daten bezüglich der falschen Detektion von gefälschten Bildern zu tun ist, kann auf einem Belohnungssystem basieren. Ein Belohnungssystem trainiert das System zur Detektion von gefälschten Bildern, das den Daten zur Detektion von gefälschten Bildern entspricht, in Abhängigkeit von dem Resultat der fehlgeschlagenen Authentifizierung erneut. Falls dem potentiellen Benutzer kein Zugang zu dem Fahrzeug gewährt wird, wird angenommen, dass der fehlgeschlagene Versuch ein versuchtes Spoofing war, und die Daten werden an einen Trainingsdatensatz von Daten zu wahrscheinlichem Spoofing angehängt. Falls dem potentiellen Benutzer unter Verwendung eines der manuellen Ansätze, zum Beispiel von Schlüsseln, Funkschlüsseln oder 2-Faktor-Autorisierung, Zugang gewährt wird, werden die Daten an einen Trainingsdatensatz von falsch negativen Ergebnissen angehängt, der im Trainingsprozess korrigiert werden soll. Das Authentifizierungssystem kann auf Grundlage des aktualisierten Trainingsdatensatzes periodisch oder dann erneut trainiert werden, wenn die Anzahl der neuen Datensätze zur Detektion von gefälschten Bildern, die zu dem Trainingsdatensatz addiert werden, einen vom Benutzer bestimmten Schwellenwert überschreitet. Das erneute Training kann sowohl auf deterministische Authentifizierungssysteme, die auf Gauß-Parametern basieren, als auch auf Systeme, die auf tiefen neuronalen Netzen basieren, angewendet werden.
Daten bezüglich der fehlgeschlagenen Detektion von gefälschten Bildern können unter einer Vielzahl von Fahrzeugen föderiert oder geteilt werden. Die Daten bezüglich der fehlgeschlagenen Detektion von gefälschten Bildern können auf einen cloudbasierten Server hochgeladen werden, der ein zentrales Repository von Trainingsdatensätzen beinhaltet. Das hochgeladene Bild kann Kameraquelldatensätze und entsprechende Resultate verifizieren, die in aktualisierten Trainingsdatensätzen aggregiert werden können, und Ergebnisse des erneuten Trainings basieren auf den neuen Daten, die mit Ergebnissen für das vorherige Training verglichen werden können. Falls der neue Trainingsdatensatz die Leistungsfähigkeit verbessert, kann das neue trainierte Modell unter Verwendung des Systems zur Detektion von gefälschten Bildern im Push-Modell an Fahrzeuge übertragen oder auf diese heruntergeladen werden. Es ist zu beachten, dass keine personenbezogenen Daten bezüglich der Identitäten der Benutzer auf die cloudbasierten Server hochgeladen werden müssen, sondern nur Datensätze zur Verifizierung von Kameraquellen und Resultate. Durch Föderieren neuer trainierter Modelle auf Grundlage von Trainingsdaten, die von einer Vielzahl von Orten hochgeladen werden, kann die Leistungsfähigkeit eines Systems zur Detektion von gefälschten Bildern über die Lebensdauer des Systems kontinuierlich verbessert werden.
In anderen Beispielen könnten andere Arten von Kameras und Beleuchtung mit in dieser Schrift erörterten Techniken verwendet werden. Zum Beispiel könnten Ultraviolettkameras (ultraviolet cameras - UV-Kameras) für Anti-Spoofing-Anwendungen verwendet werden, wie in dieser Schrift erörtert. Eine UV-Beleuchtungseinrichtung kann einen einzelnen präzisen UV-Lichtblitz erzeugen, der verwendet werden könnte, um ein Spoofing-Abfragebild zu bestimmen, während die Augensicherheit aufrechterhalten wird. Gleichermaßen können Laufzeitkameras und LIDAR verwendet werden, um Anmeldungs- und Abfragebilder zu generieren, um die Lebendigkeit zu bestimmen. UV-Beleuchtungseinrichtungen und -Kameras zusammen mit Laufzeitkameras und LIDAR weisen alle das Problem auf, für eine gegebene Auflösung kostspielig zu sein, könnten aber als Systeme zur Detektion von Fälschungen verwendet werden.
6 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf 1-5 beschrieben ist, eines Prozesses 600 zum Bestimmen der Lebendigkeit eines Subjekts unter Verwendung von Infrarotbildern. Der Prozess 600 kann durch einen Prozessor einer Rechenvorrichtung, wie etwa einer Rechenvorrichtung 115, implementiert werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 600 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 600 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in anderen Reihenfolgen ausgeführt beinhalten.
Der Prozess 600 beginnt bei Block 602, wo eine Rechenvorrichtung 115 ein Graustufen- oder Farbbild 200 unter Verwendung einer Kamera 204 für sichtbares Licht und NIR-Licht erfasst. Die Kamera 204 für sichtbares Licht und NIR-Licht kann zum Beispiel ein Sensor 116 sein, der in einem Fahrzeug beinhaltet ist.
Bei Block 604 erfasst die Rechenvorrichtung 115 ein Infrarotbild 300 unter Verwendung einer Infrarotkamera 306. Die Infrarotkamera 306 kann zum Beispiel ein Sensor 116 sein, der in einem Fahrzeug beinhaltet ist. Das Graustufen- oder Farbbild 200 und das Infrarotbild 300 können durch Kameras erfasst werden, die sich überlappende Sichtfelder aufweisen, und die zwei Bilder können etwa gleichzeitig erfasst werden, zum Beispiel innerhalb von 100 Millisekunden, um zu erlauben, dass ein menschliches Gesicht, das in beiden Bildern erscheint, zum Beispiel ungefähr den gleichen Prozentsatz des Bilds innerhalb von +/- 10 % an etwa der gleichen Position oder +/- 25 Pixel einnimmt. Die Menge an Überlappung und die Toleranz der Fehlausrichtung werden durch die Ausrichtungsgenauigkeit der zwei Bilder bestimmt, die für die Gesichtserkennungssoftware erforderlich ist. In Beispielen, in denen die Genauigkeit der Ausrichtung nicht ausreicht, um eine genaue Gesichtserkennung an den kombinierten Bildern zu unterstützen, kann zusätzliche Verarbeitung durchgeführt werden, um die menschlichen Gesichter in den zwei Bildern zu bestimmen und auszurichten.
Bei Block 606 vergleicht die Rechenvorrichtung 115 die Rechenvorrichtung 115 das in dem erfassten Infrarotbild 300 oder Infrarotabfragebild beinhaltete Wärmeprofil mit einem Wärmeprofil eines menschlichen Gesichts aus dem zuvor erfassten Infrarotbild 300, dem Infrarotanmeldungsbild. Wie vorstehend in Bezug auf 3 erörtert, kann eine Falschheitsbewertung durch Korrelieren des Wärmeprofils aus dem Infrarotabfragebild mit dem Wärmeprofil aus dem Infrarotanmeldungsbild unter Verwendung der vorstehenden Gleichung (1) bestimmt werden.
Bei Block 608 wird die Falschheitsbewertung mit einem empirisch bestimmten Schwellenwert verglichen. Der Schwellenwert kann durch Erfassen einer Vielzahl von Infrarotbildern von realen und gefälschten menschlichen Gesichtern und Bestimmen von Falschheitsbewertungen unter Verwendung von Gleichung (1) bestimmt werden. Ein Schwellenwert kann ausgewählt werden, der zwischen realen und gefälschten menschlichen Gesichtern unterscheidet. Falls die Falschheitsbewertung den Schwellenwert überschreitet, wird bestimmt, dass das Wärmeprofil aus dem Abfragebild ein reales menschliches Gesicht ist, und der Prozess 600 geht zu Block 610 über. Falls die Falschheitsbewertung kleiner als oder gleich dem Schwellenwert ist, wird bestimmt, dass das Wärmeprofil aus dem Abfragebild eine Fälschung ist, und der Prozess 600 geht zu Block 612 über.
Bei Block 610 wird bestimmt, dass das bei Block 602 erfasste Graustufen- oder Farbbild 200 einem lebendigen menschlichen Gesicht entspricht; daher kann das Graustufen- oder Farbbild 200 an einen Prozess ausgegeben werden, der auf einer Rechenvorrichtung 115 ausgeführt wird, die biometrische Authentifizierung unter Verwendung von Gesichtserkennungssoftware durchführt, wie vorstehend erörtert. Im Anschluss an erfolgreiche Gesichtserkennung kann die Rechenvorrichtung 115 bestimmen, dass die Person in dem Graustufen- oder Farbbild authentifiziert worden ist. Auf Grundlage der Authentifizierung kann die Rechenvorrichtung 115 zum Beispiel einem Benutzer Zugang zu einem Fahrzeug gewähren, indem sie eine Tür öffnet, oder eine Erlaubnis zum Betreiben eines Fahrzeugs gewähren, indem sie Steuerelemente aktiviert. In anderen Beispielen kann die Rechenvorrichtung 115 auf Grundlage der Authentifizierung Zugang zu einem Zimmer gewähren, indem sie eine Tür entriegelt, oder Zugang zu einem Computer oder Computerdateien gewähren. Im Anschluss an Block 610 endet der Prozess 500.
Bei Block 612 wird bestimmt, dass das bei Block 602 erfasste Graustufen- oder Farbbild 200 keinem lebendigen menschlichen Gesicht entspricht, und es wird daher nicht an einen Prozess ausgegeben, der auf der Rechenvorrichtung 115 ausgeführt wird, um biometrische Authentifizierung unter Verwendung von Gesichtserkennungssoftware durchzuführen. In diesem Beispiel würde dem Benutzer, der dem Graustufen- oder Farbbild 200 entspricht, der Zugang zu einem Fahrzeug oder Zimmer verweigert und es würde ihm keine Erlaubnis gewährt, auf Computerdateien zuzugreifen oder ein Fahrzeug zu betreiben. Im Anschluss an Block 512 endet der Prozess 500.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend identifizierten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Zum Beispiel können vorstehend erörterte Prozessblöcke als computerausführbare Befehle umgesetzt sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung von vielfältigen Programmiersprachen und/oder - technologien erstellt werden, die ohne Einschränkung und entweder allein oder in Kombination Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. beinhalten. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und er führt diese Befehle aus, wodurch er einen oder mehrere Prozesse durchführt, die einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhalten. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung von vielfältigen computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium gespeichert ist, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die nichtflüchtige Medien, flüchtige Medien usw. beinhalten, aber nicht darauf beschränkt sind. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und andere Dauerspeicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift keine ausdrückliche gegenteilige Angabe erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend zu verstehen, dass eines oder mehrere der angegeben Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel bedeutet, z. B. sollte eine Bezugnahme auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät verstanden werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. als gemäß einer gewissen geordneten Abfolge auftretend beschrieben worden sind, derartige Prozesse so praktisch umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden könnten. Mit anderen Worten werden die Beschreibungen von Prozessen in dieser Schrift zum Zweck des Veranschaulichens gewisser Ausführungsformen bereitgestellt und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung wird ein Computer bereitgestellt, der Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor zu Folgendem ausführbar sind: Erfassen eines ersten Bilds mit einer Kamera für sichtbares Licht und NIR-Licht; Erfassen eines zweiten Bilds mit einer Infrarotkamera; Bestimmen, ob das zweite Bild ein menschliches Gesicht beinhaltet, durch Vergleichen eines ersten Infrarotprofils, das in dem zweiten Bild beinhaltet ist, mit einem zweiten Infrarotprofil, das in einem mit der Infrarotkamera erfassten zuvor erfassten dritten Bild beinhaltet ist; und wenn das zweite Bild das menschliche Gesicht beinhaltet, Ausgeben des ersten Bilds.
Gemäß einer Ausführungsform ist die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert, durch das menschliche Gesicht reflektiertes sichtbares Licht und NIR-Licht zu detektieren.
Gemäß einer Ausführungsform ist die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert, Licht mit einer oder mehreren Wellenlängen in einem Bereich von 400 bis 1000 Nanometern zu detektieren.
Gemäß einer Ausführungsform ist die Infrarotkamera dazu konfiguriert, durch das menschliche Gesicht emittiertes Infrarotlicht zu detektieren.
Gemäß einer Ausführungsform ist die Infrarotkamera dazu konfiguriert, Licht bei einem oder mehr kurzwelligem Infrarotlicht in einem Bereich von 1000 bis 2500 Nanometern zu detektieren.
Gemäß einer Ausführungsform ist die Infrarotkamera dazu konfiguriert, Licht bei einem oder mehr langwelligem Infrarotlicht in einem Bereich von 8000 bis 14000 Nanometern zu detektieren.
Gemäß einer Ausführungsform werden das erste Bild und das zweite Bild koregistriert, wodurch das erste und das zweite Bild kombiniert werden können, um ein Multispektralbild zu bilden.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Korrelieren des ersten Infrarotprofils mit dem zweiten Infrarotprofil, um einen Korrelationskoeffizienten zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen einer Falschheitsbewertung auf Grundlage davon, dass der Korrelationskoeffizient mit einem Skalierungsfaktor multipliziert wird.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen zum Bestimmen einer Identität eines menschlichen Gesichts durch Verarbeiten des ersten Bilds unter Verwendung von Gesichtserkennungssoftware.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betreiben eines Fahrzeugs auf Grundlage der Identität des menschlichen Gesichts.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Gewähren von Zugang zu mindestens einem von einem Computer, einem Mobiltelefon oder einem physischen Raum auf Grundlage der Identität des menschlichen Gesichts.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Erfassen eines ersten Bilds mit einer Kamera für sichtbares Licht und NIR-Licht; Erfassen eines zweiten Bilds mit einer Infrarotkamera; Bestimmen, ob das zweite Bild ein menschliches Gesicht beinhaltet, durch Vergleichen eines ersten Infrarotprofils, das in dem zweiten Bild beinhaltet ist, mit einem zweiten Infrarotprofil, das in einem mit der Infrarotkamera erfassten zuvor erfassten dritten Bild beinhaltet ist; und wenn das zweite Bild das menschliche Gesicht beinhaltet, Ausgeben des ersten Bilds.
In einem Aspekt der Erfindung ist die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert, durch das menschliche Gesicht reflektiertes sichtbares Licht und NIR-Licht zu detektieren.
In einem Aspekt der Erfindung ist die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert, sichtbares Licht und NIR-Licht mit einer oder mehreren Wellenlängen in einem Bereich von 400 bis 700 Nanometern zu detektieren.
In einem Aspekt der Erfindung ist die Infrarotkamera dazu konfiguriert, durch das menschliche Gesicht emittiertes Infrarotlicht zu detektieren.
In einem Aspekt der Erfindung ist die Infrarotkamera dazu konfiguriert, Infrarotlicht bei einem oder mehr kurzwelligem Infrarotlicht in einem Bereich von 1000 bis 2500 Nanometern zu detektieren.
In einem Aspekt der Erfindung ist die Infrarotkamera dazu konfiguriert, Licht bei einem oder mehr langwelligem Infrarotlicht in einem Bereich von 8000 bis 14000 Nanometern zu detektieren.
In einem Aspekt der Erfindung werden das erste Bild und das zweite Bild koregistriert, wodurch das erste und das zweite Bild kombiniert werden können, um ein Multispektralbild zu bilden.
In einem Aspekt der Erfindung beinhaltet das Verfahren Korrelieren des ersten Infrarotprofils mit dem zweiten Infrarotprofil, um einen Korrelationskoeffizienten zu bestimmen.

Claims

Verfahren, umfassend: Erfassen eines ersten Bilds mit einer Kamera für sichtbares Licht und NIR-Licht; Erfassen eines zweiten Bilds mit einer Infrarotkamera; Bestimmen, ob das zweite Bild ein menschliches Gesicht beinhaltet, durch Vergleichen eines ersten Infrarotprofils, das in dem zweiten Bild beinhaltet ist, mit einem zweiten Infrarotprofil, das in einem mit der Infrarotkamera erfassten zuvor erfassten dritten Bild beinhaltet ist; und wenn das zweite Bild das menschliche Gesicht beinhaltet, Ausgeben des ersten Bilds.
Verfahren nach Anspruch 1, wobei die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert ist, durch das menschliche Gesicht reflektiertes sichtbares Licht und NIR-Licht zu detektieren.
Verfahren nach Anspruch 2, wobei die Kamera für sichtbares Licht und NIR-Licht dazu konfiguriert ist, sichtbares Licht und NIR-Licht mit einer oder mehreren Wellenlängen in einem Bereich von 400 bis 700 Nanometern zu detektieren.
Verfahren nach Anspruch 1, wobei die Infrarotkamera dazu konfiguriert ist, durch das menschliche Gesicht emittiertes Infrarotlicht zu detektieren.
Verfahren nach Anspruch 4, wobei die Infrarotkamera dazu konfiguriert ist, Infrarotlicht bei einem oder mehr kurzwelligem Infrarotlicht in einem Bereich von 1000 bis 2500 Nanometern zu detektieren.
Verfahren nach Anspruch 4, wobei die Infrarotkamera dazu konfiguriert ist, Licht bei einem oder mehr langwelligem Infrarotlicht in einem Bereich von 8000 bis 14000 Nanometern zu detektieren.
Verfahren nach Anspruch 1, wobei das erste Bild und das zweite Bild koregistriert werden, wodurch das erste und das zweite Bild kombiniert werden können, um ein Multispektralbild zu bilden.
Verfahren nach Anspruch 1, ferner umfassend Korrelieren des ersten Infrarotprofils mit dem zweiten Infrarotprofil, um einen Korrelationskoeffizienten zu bestimmen.
Verfahren nach Anspruch 8, ferner umfassend Bestimmen einer Falschheitsbewertung auf Grundlage davon, dass der Korrelationskoeffizient mit einem Skalierungsfaktor multipliziert wird.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen einer Identität eines menschlichen Gesichts durch Verarbeiten des ersten Bilds unter Verwendung von Gesichtserkennungssoftware.
Verfahren nach Anspruch 10, ferner umfassend Betreiben eines Fahrzeugs auf Grundlage der Identität des menschlichen Gesichts.
Verfahren nach Anspruch 11, wobei das Betreiben des Fahrzeugs Steuern von Fahrzeugantriebsstrang, Fahrzeugbremsen und Fahrzeuglenkung beinhaltet.
Verfahren nach Anspruch 10, ferner umfassend Gewähren von Zugang zu mindestens einem von einem Computer, einem Mobiltelefon oder einem physischen Raum auf Grundlage der Identität des menschlichen Gesichts.
Verfahren nach Anspruch 1, wobei das erste Infrarotprofil Histogrammstatistiken beinhaltet, die einen Mittelwert und eine Varianz beinhalten.
System, das einen Computer umfasst, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.