EP4740184A1 - Verfahren, vorrichtung und system zum erkennen einer gesichtsmanipulation - Google Patents

Abstract

Verfahren zum Erkennen einer Gesichtsmanipulation, das Verfahren umfassend die folgenden mittels eines Computers (1) durchgeführten Schritte: Empfangen von mindestens einem Bildpaar mit einem Farbbild von einem Gesicht und einem zeitgleich aufgenommenen Wärmebild von dem Gesicht; Anpassen des Farbbilds und des Wärmebilds, sodass das Gesicht in dem Farbbild kongruent mit dem Gesicht in dem Wärmebild ist; Erzeugen eines kombinierten Bilds durch kombinieren des angepassten Farbbilds und des angepassten Wärmebilds; Bestimmen an dem kombinierten Bild für ein oder mehrere eine Art von Manipulation angebende Klassen jeweils eines Wahrscheinlichkeitswerts, der eine Wahrscheinlichkeit angibt, dass für die entsprechende Klasse eine Manipulation vorliegt; und Klassifizieren anhand der Wahrscheinlichkeitswerte, ob eine Gesichtsmanipulation vorliegt.

Description

Verfahren, Vorrichtung und System zum Erkennen einer Gesichtsmanipulation

Die Erfindung betrifft ein Verfahren zum Erkennen einer Gesichtsmanipulation, eine Vorrichtung zu Erkennen einer Gesichtsmanipulation, ein System zum Erkennen einer Gesichtsmanipulation sowie ein Computerprogrammprodukt, welches Befehle umfasst, die eine entsprechend ausgelegte Vorrichtung dazu veranlassen das Verfahren zum Erkennen einer Gesichtsmanipulation durchzuführen.

Das Gesicht einer Person ist maßgeblich für die Identität einer Person. Häufig wird eine bildliche Wiedergabe des Gesichts einer zu identifizierenden Person mittels eines Farbbilds für Passbilder oder Ausweisbilder aufgenommen. Ein Farbbild kann beispielsweise ein Bild im RGB-Farbraum, im CMYK-Farbraum oder ein monochromes Bild sein. Diese Bilder sollen authentisch sein, d.h. das reale Gesicht der Person widerspiegeln, um beispielsweise in personalisierten Ausweisen zuverlässig Rückschlüsse auf die Identität der Person zuzulassen.

Außerdem sind Gesichtserkennungsverfahren bekannt, in denen ein Bild im sichtbaren Wellenlängenbereich mittels einer Kamera von einem Gesicht einer Person aufgenommen wird. Das so aufgenommene Bild liefert eine Darstellung des Gesichts der Person. Anhand einer Analyse einer geometrischen Anordnung von charakteristischen Gesichtsmerkmalen wie beispielsweise der Augen, der Nase oder des Munds und deren Position, relativen Abstand und Lage im Bereich des Gesichts, d.h. einem Bereich am frontalen Kopf der Person, die für jede Person spezifisch ist, kann eine Person eindeutig identifiziert werden.

Ein entsprechendes Bild von dem Gesicht der Person kann beispielsweise vor Ort durch einen Mitarbeiter eines Sicherheitsdienstleisters aufgenommen werden, in dem der Mitarbeiter vor Ort ein Bild des Gesichts der zu identifizierenden Person aufnimmt.

In der letzten Zeit geht die Entwicklung dahin, dass ein Bild des Gesichts einer Person ohne Mitwirkung einer anderen Person, wie eines Mitarbeiters eines Dienstleisters, aufgenommen werden soll. Dazu kann ein sog. Self-Enrollment System vorgesehen werden, in welchem eine zu identifizierende Person eigenständig ohne Anwesenheit einer anderen Person ein Bild von dem Gesicht aufnimmt. Ein möglicher Identifizierungsprozess oder Gesichtserkennungsprozess kann dann automatisiert durch eine Software anhand des so aufgenommenen Bildes mit dem Gesicht der zu identifizierenden Person durchgeführt werden.

Da das Aufnehmen des Bilds von dem Gesicht der zu identifizierenden Person nunmehr ohne Anwesenheit einer autorisierten Person erfolgt, besteht die Möglichkeit, dass die zu identifizierende Person das System manipuliert.

Im schlimmsten Fall versucht die zu identifizierende Person das System dahingehend zu täuschen, dass sie dem System eine andere Identität vorgibt als die eigene Identität indem sie dem System ein anderes oder zumindest teilweise verfälschtes Gesicht präsentiert.

Solche Täuschungsversuche können beispielsweise darin bestehen, dass die zu identifizierende Person ein Bild einer anderen Person zumindest teilweise in das Sichtfeld der Kamera bringt, eine Maske aufsetzt ein bedrucktes oder digitales Bild mit dem Bild einer anderen oder auch nicht realen Person in das Sichtfeld der Kamera hält oder bestimmte Gesichtsmerkmale beispielweise durch eine Sonnenbrille, eine Augenklappe oder ähnliches verdeckt.

Durch solche Täuschungsversuche gibt das durch die Kamera aufgenommene Bild ein anderes oder zumindest teilweise verfälschtes Gesicht der zu identifizierenden Person wieder.

Damit besteht die Gefahr, dass das von dem Gesicht der zu identifizierenden Person aufgenommene Bild ein anderes oder verfälschtes Gesicht der Person wiedergibt und somit eine verfälschte Identität der zu identifizierenden Person vorgetäuscht wird.

Das Dokument US 2021/110018 A1 beschreibt Systeme und Methoden zur Verwendung maschinellen Lernens zur bildbasierten Fälschungserkennung und hierbei ein Verfahren, bei dem ein Eingabedatensatz abgerufen wird, der mehrere Bilder eines biometrisch authentifizierten Subjekts enthält, die von mehreren Kameras eines Kamerasystems aufgenommen wurden. Das Verfahren umfasst außerdem das Eingeben des Eingabedatensatzes in ein trainiertes maschinelles Lernmodul und das Verarbeiten des Eingabedatensatzes mithilfe des maschinellen Lemmoduls, um vom maschinellen Lernmodul ein Ergebnis zur Fälschungserkennung für das Subjekt der biometrischen Authentifizierung zu erhalten. Das Verfahren umfasst auch die Ausgabe des Ergebnisses der Fälschungserkennung für das Subjekt der biometrischen Authentifizierung.

In dem Dokument Chen, X. et al., IR and visible light face recognition, Computer Vision and Image Understanding, 2005, 99. Jg. , Nr. 3, S. 332-358, sind die Ergebnisse mehrerer Studien mit großem Umfang bezüglich der Gesichtserkennung mit Sichtbarem-Licht- und Infrarot-Bildaufnahmen im Zusammenhang mit der Analyse von Hauptkomponenten dargestellt.

Das Dokument DE 10 2019 135 107 A1 betrifft eine Vorrichtung und ein Verfahren zum Bestimmen eines biometrischen Merkmals eines Gesichts einer Person. In dem Dokument US 7,421 ,097 B2 wird eine Gesichtsidentifikation mittel dreidimensionaler Modellierung beschrieben.

Zusammenfassung

Vor diesem Hintergrund ist es eine Aufgabe der Erfindung Gesichtsmanipulationen bei der Aufnahme eines Bildes zu erkennen.

Die Aufgabe wird gelöst durch ein Verfahren zum Erkennen einer Gesichtsmanipulation, welches die folgenden durch einen Computer durchgeführten Schritte umfasst: Empfangen von mindestens einem Bildpaar mit einem Farbbild von einem Gesicht und einem zeitgleich aufgenommenen Wärmebild von dem Gesicht; Anpassen des Farbbilds und des Wärmebilds, sodass das Gesicht in dem Farbbild kongruent mit dem Gesicht in dem Wärmebild ist; Erzeugen eines kombinierten Bilds durch kombinieren des angepassten Farbbilds und des angepassten Wärmebilds; Bestimmen an dem kombinierten Bild für ein oder mehrere eine Art von Manipulation angebende Klassen jeweils eines Wahrscheinlichkeitswerts, der eine Wahrscheinlichkeit angibt, dass für die entsprechende Klasse eine Manipulation vorliegt; und Klassifizieren anhand der Wahrscheinlichkeitswerte, ob eine Gesichtsmanipulation vorliegt. Der Erfindung liegt die Erkenntnis der Erfinder zugrunde, dass durch eine Kombination eines Farbbilds im sichtbaren Wellenlängenbereich und eines Wärmebilds im infraroten Wellenlängenbereich, welches eine Wärmeverteilung angibt, erheblich sicherer gestaltet werden kann. Ein Wärmebild kann beispielsweise ein FLIR-Bild sein.

Sowohl das Farbbild als auch das zeitgleich aufgenommene Wärmebild geben einen ähnlichen Ausschnitt, möglichst denselben Ausschnitt, mit dem Gesicht einer zu Identifizierenden Person wieder.

Das Farbbild und das Wärmebild werden derart angepasst, dass das Gesicht in dem Farbbild and das Gesicht in dem Wärmebild kongruent sind. Kongruent bedeutet, dass zwei Objekte deckungsgleich sind, d.h. dass das Gesicht in beiden Bildern deckungsgleich ist. Anders ausgedrückt stimmen alle Punkte des Gesichts in dem Farbbild mit den Punkten des Gesichts in dem Wärmebild überein. Das Gesicht in dem Farbbild and das Gesicht in dem Wärmebild können etwa kongruent sein. Kongruent umfasst auch kleinere Abweichungen der Gesichter im Bereich von 0,00001 %-10%, beispielsweise 0,01 , 0,1 , 1 , 2, 3, 4, 5, 6, 7, 8, 9, 10 % oder anders ausgedrückt im Bereich von 0,0000001 - 10 mm, beispielsweise 0,01 , 0,1 , 1 , 2, 3, 4, 5, 6, 7, 8, 9, 10 mm.

Das angepasste Wärmebild und das angepasste Farbbild werden kombiniert, beispielsweise gestapelt (engl. stack operation). Das kombinierte Bild enthält das Gesicht, wobei zu jedem verfügbaren Punkt des Gesichts in dem kombinierten Bild die Informationen des Farbbilds mit den Informationen des Wärmebilds verknüpft sind. Somit werden ortsabhängig Informationen im sichtbaren Wellenlängenbereich mit Informationen im infraroten Wellenlängenbereich verknüpft. Das kombinierte Bild kann beispielsweise die Form eines Tensors haben, in welchen die Informationen des Farbbild und des Wärmebilds kombiniert werden. Wenn das Farbbild und das Wärmebild durch Stapeln kombiniert werden, kann das kombinierte Bild auch als gestapeltes Bild bezeichnet werden.

Anhand des kombinierten Bilds kann besser erkannt werden, ob eine Gesichtsmanipulation vorliegt, da ein Gesicht für gewöhnlich eine spezifische Wärmeverteilung aufweist.

Wenn eine Person eine Wiedergabe eines Gesichts einer anderen Person, wie beispielweise einen Druck oder eine digitale Wiedergabe durch einen Bildschirm verwendet oder bestimmte Bereiche des eigenen Gesichts verdeckt, ändert sich die Information des Wärmebilds in dem kombinierten Bild, weil sich die Wärmeverteilung des aufgenommenen Gesichts im Vergleich zu dem unverfälschten Gesicht durch die Gesichtsmanipulation verändert.

Diese verschiedenen Arten von Manipulationen weisen eine spezifische Wärmeverteilung auf. Somit kann einer Art von Manipulation eine Klasse mit einer spezifischen Wärmeverteilung zugeordnet werden. Beispielweise kann eine erste Klasse umfassen, dass ein gedrucktes Bild mit einer Wiedergabe des Gesichts in die Kamera gehalten wird. Das bedruckte Bild weist eine erste ortsabhängige spezifische Wärmeverteilung auf. Eine zweite Klasse kann das Aufsetzen einer Maske umfassen. Die Wiedergabe eines Gesichts mit einer aufgesetzten Maske weist eine zweite ortsabhängige spezifische Wärmeverteilung auf. Eine dritte Klasse kann beispielweise das Aufsetzen einer Brille mit Bildelementen umfassen. Die Wiedergabe eines Kopfes mit einer solchen aufgesetzten Brille weist eine dritte ortsabhängige spezifische Wärmeverteilung auf. Solche ortsabhängigen spezifischen Wärmeverteilungen können für verschiedene Arten von Manipulationen bestimmt werden, wobei die Anzahl der Arten von Manipulationen nicht auf die genannten Beispiele limitiert ist und eine Vielzahl solche Klassen, d.h. Arten von Manipulationen, gebildet werden können.

An dem kombinierten Bild kann somit für jede Art von Manipulation ein Wahrscheinlichkeitswert bestimmt werden, der angibt, mit welcher Wahrscheinlichkeit eine Art von Manipulation vorliegt.

Durch den bestimmten Wahrscheinlichkeitswert für jeweils eine Klasse, d.h. eine Art von Manipulation, kann klassifiziert werden, ob eine Manipulation vorliegt.

Dadurch wird die eingangs genannte Aufgabe gelöst, in dem erkannt bzw. klassifiziert werden kann, ob eine Gesichtsmanipulation vorliegt.

Im Folgenden werden weitere vorteilhafte Aspekte und Ausgestaltungen der Erfindung beschrieben.

Gemäß einem Aspekt umfasst das das Anpassen des Farbbilds und des Wärmebilds die Schritte: Bestimmen von charakteristischen Gesichtsmerkmalen des Gesichts in dem Farbbild; Skalieren von Dimensionen des Farbbilds, sodass ein Abstand zwischen zwei der charakteristischen Gesichtsmerkmale des Gesichts in dem Farbbild einen vorbestimmten Wert aufweist; perspektivisches Transformieren des Wärmebilds mittels einer Koordinatentransformation, sodass eine Perspektive des Wärmebilds und eine Perspektive des Farbbilds übereinstimmen; und Skalieren von Dimensionen des Wärmebilds auf die Dimensionen des skalierten Farbbilds, sodass das Gesicht in dem skalierten Wärmebildkongruent mit dem Gesicht in dem skalierten Farbbild ist.

Eine Koordinatentransformation kann vorzugsweise eine affine Abbildung sein.

Durch diesen Aspekt können das Farbbild und das Wärmebild besonders exakt derart angepasst werden, dass das Gesicht in dem Farbbild kongruent oder im Wesentlichen kongruent mit dem Gesicht in dem Wärmebild ist.

Für gewöhnlich sind charakteristische Merkmale des Gesichts im sichtbaren Bereich besser ausgeprägt und identifizierbar. Darüber hinaus weist ein Farbbild für gewöhnlich eine höhere Auflösung als ein Wärmebild auf. Dadurch können in dem Farbbild die charakteristischen Merkmale des Gesichts genauer identifiziert werden als in dem Wärmebild. Das Wärmebild wird somit auf Basis der Informationen in dem Farbbild an das Farbbild angepasst, damit das Gesicht in dem Wärmebild kongruent mit dem Gesicht in dem Farbbild ist. Der Abstand zwischen zwei der charakteristischen Gesichtsmerkmale des Gesichts kann ein euklidischer Abstand zwischen den zwei Augen des Gesichts sein und beispielsweise eine Größenordnung von 60 oder 100 Pixeln umfassen.

Da das Farbbild für gewöhnlich mittels einer ersten Kamera und das Wärmebild mittels einer zweiten Kamera, welche von der ersten Kamera beabstandet ist und somit eine geringfügig verschiedene Perspektive im Vergleich zu der ersten Kamera aufweist, aufgenommen wird, wird das Wärmebildmittels mit einer perspektivischen Koordinatentransformation, insbesondere einer affinen Abbildung, transformiert, sodass die Perspektive der ersten Kamera, bzw. des Farbbilds, und der zweiten Kamera, bzw. des Wärmebild, übereinstimmen. Somit wird die Genauigkeit des Verfahrens verbessert und mechanische Ungenauigkeiten zwischen Geräten kompensiert.

Auf Basis der Skalierung des Farbbilds kann das Wärmebild auf dieselben Dimensionen wie das skaliere Farbbild skaliert werden. Eine Dimension kann beispielsweise horizontale und vertikale Abmessungen des entsprechenden Bildes, aber auch optional eine Auflösung der Bildpunkte des entsprechenden Bilds umfassen.

Nach dem Anpassen des Farbbilds und des Wärmebilds sind das Gesicht in dem Farbbild und das Gesicht in dem Wärmebild im Wesentlichen kongruent und beide Bilder weisen denselben Ausschnitt auf.

Gemäß einem Aspekt umfasst das Verfahren: Beschneiden des skalierten Farbbilds anhand der charakteristischen Gesichtsmerkmale, sodass das Gesicht an einer vorgegebenen Position und mit einer vorgegebenen Größe in dem Farbbild angeordnet ist; und Beschneiden des skalierten Wärmebilds analog zu dem Beschneiden des Farbbilds, sodass das beschnittene Wärmebild und das beschnittene Farbbild einen gleichen Ausschnitt aufweisen.

Anhand der in dem Farbbild bestimmten charakteristischen Gesichtsmerkmale in dem Farbbild können das skalierte Farbbild und das skalierte Wärmebild beschnitten werden, sodass die Wiedergabe des Gesichts in diesen Bildern an einer vorbestimmten Position innerhalb des entsprechenden Bilds angeordnet ist. Der Beschnitt kann beispielsweise so ausgestaltet sein, dass das Gesicht in dem entsprechenden Farbbild und entsprechenden Wärmebild den ICAO-Regeln entspricht.

Dadurch wird gewährleistet, dass nicht andere Bereiche des Körpers, wie etwa Schulter oder der Torso und des Hintergrundes, zur Erkennung einer Gesichtsmanipulation ausgewertet werden, was die Auswertung verfälschen könnte. Darüber hinaus wird so ein gewisses Maß an Einheitlichkeit gewährleistet was die Auswertung, insbesondere die Bestimmung der Wahrscheinlichkeitswerte erleichtert.

Gemäß einem Aspekt werden die charakteristischen Gesichtsmerkmale in dem Farbbild mittels einer künstlichen Intelligenz bestimmt.

Die Anwendung einer künstlichen Intelligenz hat sich als besonders effektiv zur Erkennung von charakteristischen Gesichtsmerkmalen erwiesen. Insbesondere hat es sich gezeigt, dass eine künstliche Intelligenz besonders effektiv dahingehend trainiert werden kann, dass Differenzen von Bildern ermittelt werden können. Ein Beispiel einer künstlichen Intelligenz mittels der spezifische Gesichtsmerkmale erkannt werden können, ist der BlazeFace Algorithmus.

Gemäß einem Aspekt umfasst das Verfahren ferner: Normalisieren, durch den Computer, des Wahrscheinlichkeitswerts für jede der ein oder mehreren Klassen auf einen normalisierten Wahrscheinlichkeitswert; und wobei das Klassifizieren, ob eine Gesichtsmanipulation vorliegt, umfasst: Summieren der normalisierten Wahrscheinlichkeitswerte für mehrere Klassen, Klassifizieren, dass eine Gesichtsmanipulation vorliegt, wenn die Summe der normalisierten Wahrscheinlichkeitswerte größer als ein erster Grenzwert ist, und Klassifizieren, dass kein Gesichtsmanipulation vorliegt, wenn die Summe der normalisierten Wahrscheinlichkeitswerte geringer als der erste Grenzwert ist oder geringer ist als ein zweiter Grenzwert, der niedriger ist als der erste Grenzwert ist.

Durch Normalisieren des Wahrscheinlichkeitswerts für jede Art von Manipulation bzw. Klasse und Aufsummieren mehrerer Wahrscheinlichkeitswerte für verschiede Arten von Manipulationen kann eine Gesamtwahrscheinlichkeit bestimmt werden, mit der eine Manipulation vorliegt.

Anhand der Gesamtwahrscheinlichkeit kann klassifiziert werden, ob insgesamt eine Gesichtsmanipulation vorliegt.

Die Normierung der Wahrscheinlichkeitswerte auf normiert Wahrscheinlichkeitswerte kann beispielsweise durch eine Softmax- Funktion durchgeführt werden.

Gemäß einem Aspekt wird das Bestimmen jeweils eines Wahrscheinlichkeitswerts für ein oder mehrere eine Art von Manipulation angebende Klassen mittels eines faltenden neuronalen Netzwerks durchgeführt.

Ein solches faltendes neuronales Netzwerk (engl. convolutional neural network, CNN) hat sich als besonders effektiv und zuverlässig erwiesen, um in dem kombinierten Bild insbesondere anhand der thermischen Informationen, welche durch das Wärmebild bereitgestellt werden, einen Wahrscheinlichkeitswert für jede Art von Manipulation zu ermitteln. Beispiele für solche faltenden neuronalen Netzwerke sind das sog. Zalando CNN oder das sog. MNIST CNN.

Das faltende neuronale Netzwerk kann so trainiert werden, dass mittels des Netzwerks ein Wahrscheinlichkeitswert für jeweils eine Art von Manipulation in Form einer Klasse bestimmt wird.

Dazu werden für jede Art von Manipulation eine Vielzahl von Bildern, von denen einige eine Manipulation darstellen und einige keinen Manipulationsversuch darstellen, bereitgestellt. Beispielsweise wird für eine Klasse eines Maskenmanipulationsversuchs, d.h. eine Art von Manipulation, bei der die zu identifizierende Person eine Maske aufsetzt, eine bestimmte Anzahl von Bildern bereitgestellt, in denen die Person keine Maske aufsetzt und es wird eine bestimmte Anzahl von Bildern bereitgestellt, in denen die Person eine Maske aufsetzt. Zu jedem Bild wird angegeben, ob es sich um eine Manipulation handelt oder nicht. Durch die Vielzahl an Eingaben können somit bestimmte Muster gebildet werden, aus denen aus einem kombinierten Bild ein Wahrscheinlichkeitswert abgeleitet werden kann, weicher eine Wahrscheinlichkeit für eine Manipulation angibt. Dieses Vorgehen wird für jede eine Art von Manipulation angebende Klasse wiederholt, wobei die Anzahl an Klassen nicht limitiert ist. Das faltende neuronale Netzwerk wird insofern im Vorfeld für jede Klasse angelernt.

Damit können Wahrscheinlichkeitswerte für die verschiedenen eine Art von Manipulation angebende Klassen aus einem solchen kombinierten Bild ermittelt werden.

Eine Normierung dieser Wahrscheinlichkeitswerte hat sich als besonders zweckmäßig im Zusammengang mit den durch das faltende Neuronale Netzwerk ausgegebenen Wahrscheinlichkeitswerten erwiesen, da dieses in der Regel nicht normierte Wahrscheinlichkeitswerte ausgibt. Dadurch wird eine bessere Vergleichbarkeit und eine bessere Klassifikation erreicht.

Gemäß einem Aspekt umfasst das Verfahren ferner: Bestimmen, an dem kombinierten Bild einer Ausrichtung der Frankfurter Horizontalen eines das Gesicht umfassenden Kopfes relativ zu einer Horizontalen und einer Ausrichtung der Frontalebene des Kopfes relativ zu einer Vertikalen; Verwerfen des kombinierten Bildes, falls ein Wnkel zwischen der Frankfurter Horizontalen des Kopfes und der Horizontalen einen dritten Grenzwert überschreitet und/oder falls ein Winkel zwischen der Frontalebene des Kopfes und der Vertikalen einen vierten Grenzwert überschreitet.

An dem kombinierten Bild kann die Ausrichtung des das Gesicht umfassenden Kopfes bestimmt werden. Dadurch kann eine Auswahl für die weitere Bearbeitung getroffen werden, in dem nur diejenigen Bilder verwendet werden, in denen das Gesicht in einem bestimmten Winkel aufgenommen wird. Dadurch wird die Bestimmung des Wahrscheinlichkeitswerts für jeweils eine Klasse genauer. Die Ausrichtung des Kopfes kann beispielsweise mittels dem unter dem Aktenzeichen 102023 105433.3 beschriebenen Verfahren bestimmt werden.

Gemäß einem Aspekt umfasst das Verfahren: Aufnehmen eines Farbbildes mittels einer ersten Kamera, welche ausgelegt ist Licht mit Wellenlängen im sichtbaren Bereich aufzunehmen; und Aufnehmen eines Wärmebilds zeitgleich zu dem Aufnehmen des Farbbilds mittels einer zweiten Kamera, welche ausgelegt ist, Wellenlängen im Infrarotbereich aufzunehmen; Erzeugen des mindestens einen Bildpaars durch Zuordnen des Farbbilds und des zeitgleich aufgenommenen Wärmebilds.

Durch das Zuordnen des Farbbild und des zeitgleich zu dem Farbbild aufgenommenen Wärmebilds werden das Farbbild und das zeitgleich zu dem Farbbild aufgenommene Wärmebildmiteinander verknüpft und bilden so ein Bildpaar.

Ein Farbbild ist ein Bild im sichtbaren Wellenlängenbereich. Ein Farbbild kann beispielsweise ein RGB-Bild im RGB-Farbraum sein. R steht für einen roten Farbkanal, G für einen grünen Farbkanal und B für einen blauen Farbkanal. In einigen Aspekten kann ein Farbbild ein CMYK-Bild im CMYK Farbraum sein. C steht für einen Cyan Farbkanal, M für einen Magenta Farbkanal, Y steht für einen gelben Farbkanal und K für einen schwarzen Farbkanal. In weiteren Aspekten kann ein Farbbild ein monochromes Bild sein. Ein Farbbild ist ein pixelbasiertes zweidimensionales Bild, wobei die Pixel rasterförmig angeordnet sind. Eine Kamera, die ausgelegt ist, ein Farbbild zu erzeugen nimmt Wellenlängen in sichtbaren Bereich, d.h. in einem Wellenlängenbereich von 400 nm bis 700 nm, mittels eines pixelbasierten Sensors auf. Die erste Kamera kann somit als Farbbildkamera bezeichnet werden. Ein Wärmebild kann beispielsweise ein FLIR-Bild (FLIR=Forward Looking Infrared) sein. Ein FLIR-Bild ist ein pixelbasiertes zweidimensionales Bild für gewöhnlich mit einem Graustufenkanal, wobei die Pixel rasterförmig angeordnet sind. Eine Kamera, die ausgelegt ist, ein Wärmebild aufzunehmen, kann auch als Wärmebildkamera bezeichnet werden. Eine Wärmebildkamera nimmt Wellenlängenbereiche im Bereich von 3,5 pm - 15 pm, vorzugsweise 7 pm - 14 pm mit Hilfe eines pixelbasierten Sensors auf. Die zweite Kamera kann auch als Wärmebildkamera bezeichnet werden. Ein Wärmebild kann ein Bild im infraroten Wellenlängenbereich sein.

Die erste Kamera und die zweite Kamera werden vorzugsweise so angesteuert, dass sie zeitgleich ein Farbbild und entsprechendes Wärmebild von dem Gesicht aufnehmen. Anders ausgedrückt können das Wärmebild und das Farbbild etwa zum selben Zeitpunkt aufgenommen werden. Zeitgleich im Sinne dieser Anmeldung bedeutet mit einer vernachlässigbaren zeitlichen Verzögerung. Beispielsweise können das Wärmebild und das Farbbild mit einer zeitlichen Verzögerung im Bereich von 1 ns - 10 ms aufgenommen werden. In einigen Aspekten können das Wärmebild und das Farbbild mit einer Verzögerung von weniger als 10 ms aufgenommen werden. In anderen Aspekten können das Wärmebildund das Farbbild mit einer Verzögerung von mehr als 1 ns aufgenommen werden.

Ein Bildpaar kann beispielsweise dadurch erzeugt werden, dass das Farbbild einem zeitgleich aufgenommenen Wärmebild zugeordnet wird. Die Zuordnung kann beispielweise durch Zuordnen einer ersten Identifikation zu dem Farbbild und einer zweiten Identifikation zu dem zeitgleich zu dem Farbbild aufgenommenen Wärmebild erfolgen, wobei die erste Identifikation mit der zweiten Identifikation verknüpft wird.

Gemäß einem Aspekt umfasst das Verfahren: Aufnehmen eines Farbbild-Kalibrierungsbildes mit der ersten Kamera von einem Testobjekt mit einer Mehrzahl von Lichtpunkten; Aufnehmen eines Wärmebild- Kalibrierungsbildes mit der zweiten Kamera von dem Testobjekt mit der Mehrzahl von Lichtpunkten; Berechnen, durch den Computer, der Koordinatentransformation zwischen einer Perspektive der ersten Kamera und einer Perspektive der zweiten Kamera durch Vergleichen der Positionen der Mehrzahl von Lichtpunkten in dem Farbbild-Kalibrierungsbild und dem Wärmebild-Kalibrierungsbild. Die erste Kamera und die zweite Kamera können in einem geringen Abstand zueinander versetzt angeordnet sein. Dadurch können sich die Perspektiven der beiden Kameras geringfügig voneinander unterscheiden.

Da die relativen Positionen der ersten Kamera und der zweiten Kamera für gewöhnlich festgestellt sind, können die Perspektiven mittels einer Koordinatentransformation, insbesondere der affinen Abbildung, für jedes Erkennen einer Gesichtsmanipulation ineinander überführt werden. Die Koordinatentransformation, insbesondere die affine Abbildung, kann in einem Kalibrierungsprozess ermittelt werden. Dazu werden jeweils ein Wärmebild-Kalibrierungsbild und ein Farbbild-Kalibrierungsbild von einem Testobjekt mit mehreren voneinander beanstandeten Lichtpunkten aufgenommen, wobei die erste und die zweite Kamera in ihrer zukünftigen Position fest installiert sind. Die Lichtpunkte sind für gewöhnlich in dem Wärmebild-Bild und in dem Farbbild sichtbar. Durch Übereinanderlegen der Lichtpunkte in beiden Bildern kann die Koordinatentransformation, insbesondere die affine Abbildung, zum Angleichen der Perspektiven beider Kameras berechnet werden.

Somit kann durch den Kalibrierungsprozess die Koordinatentransformation, insbesondere die affine Abbildung, bestimmt werden, mit welcher die Perspektiven beider Kameras ineinander überführt werden. Der Kalibrierungsprozess kann für unterschiedliche Abstände zu den Kameras und dem Testobjekt wiederholt werden.

Weiterhin kann das Verfahren in einigen Aspekten die Schritte umfassen: Auswählen des Farbbilds, wenn das Klassifizieren, ob eine Gesichtsmanipulation vorliegt, ergibt, dass keine Gesichtsmanipulation vorliegt; oder Verwerfen des Farbbilds, wenn das Klassifizieren, ob eine Gesichtsmanipulation vorliegt, ergibt, dass eine Gesichtsmanipulation vorliegt; und Erzeugen von Bilddaten unter Verwendung des ausgewählten Farbbilds.

Hiermit kann ein Verfahren zum Bestimmen von Bilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, geschaffen sein.

In einigen Aspekten umfasst das Verfahren ferner: Übertragen der Bilddaten an eine Personalisierungseinrichtung, welche eingerichtet ist, ein Sicherheitsdokument wie beispielsweise einen Ausweis zu personalisieren. Eine solche Personalisierungseinrichtung kann beispielsweise mit einer Druckeinrichtung ausgeführt sein, mittels der das Farbbild auf dem Sicherheitsdokument aufgedruckt wird. Das Verfahren kann demnach ferner umfassen: Drucken durch die Personalisierungseinrichtung des Farbbilds auf ein Sicherheitsdokument anhand der Bilddaten. Alternativ oder ergänzend kann das Verfahren umfassen: Ablegen der Bilddaten durch die Personalisierungseinrichtung in einer Speichereinrichtung des Sicherheitsdokuments. Hierdurch ist das Sicherheitsdokument personalisiert und ermöglicht anhand der Bilddaten bzw. des ausgewählten Farbbilds eine Identifizierung der Person.

Eine solches Verfahren und eine solche Personalisierungseinrichtung ist beispielhaft in der europäischen Anmeldung EP 4 099281 A1 , deren Inhalt bezüglich der Personalisierungseinrichtung und/oder des Verfahrens zum Drucken eines Sicherheitsdokument und/oder das Verfahren zum Bestimmen von Passbilddaten hierin aufgenommen ist.

In anderen Aspekten umfasst das Verfahren ferner Durchführen eines Gesichtserkennungsprozesses anhand der Bilddaten.

Ferner wird die eingangs genannte Aufgabe gelöst durch eine Vorrichtung, insbesondere ein Computer, zum Erkennen einer Gesichtsmanipulation, die dazu eingerichtet und ausgelegt ist, das vorangegangen beschriebene Verfahren durchzuführen sowie ein Computerprogrammprodukt umfassend Befehle, die bei der Ausführung durch eine Datenverarbeitungsvorrichtung, insbesondere die Vorrichtung, diese veranlassen, die Verfahrensschritte des zuvor beschriebenen Verfahrens auszuführen.

Darüber hinaus wird die eingangs genannte Aufgabe gelöst durch ein System zum Erkennen einer Gesichtsmanipulation, wobei das System umfasst: eine Vorrichtung wie zuvor beschrieben; eine erste Kamera in Verbindung mit der Vorrichtung, wobei die erste Kamera ausgelegt ist, Licht mit Wellenlängen im sichtbaren Bereich aufzunehmen und das Farbbild zu erzeugen; eine zweite Kamera in Verbindung mit der Vorrichtung, wobei die zweite Kamera ausgelegt ist, Wellenlängen im Infrarotbereich aufzunehmen und das Wärmebild zu erzeugen; wobei die Vorrichtung ferner dazu eingerichtet und ausgelegt ist, die erste Kamera und die zweite Kamera anzusteuern, dass die erste Kamera das Farbbild von dem Gesicht aufnimmt und die zweite Kamera das Wärmebild von dem Gesicht zeitgleich Farbbild aufnimmt.

Mit einem solchen System können Gesichtsmanipulationen erkannt werden. Die erste Kamera und die zweite Kamera können in dem System so ausgerichtet sein, dass sich deren Sichtfelder im Wesentlichen in einer Ebene in einem vorgegebenen Abstand zu den beiden Kameras überschneiden und in der Ebene einen im Wesentlichen deckungsgleichen Ausschnitt aufweisen.

In einem Aspekt umfasst das System Mittel, die dazu eingerichtet und ausgelegt ist, dass es einer Person ermöglicht wird, das Farbbild und das Wärmebild eigenständig aufzunehmen.

Ein solches Mittel kann beispielsweise ein Auslöser, welcher derart mit der zuvor beschrieben Vorrichtung verbunden ist, dass beim Auslösen des Auslösers ein Signal an die Vorrichtung gesandt wird, welches bewirkt, dass ein Wärmebild und ein Farbbild aufgenommen werden. Der Auslöser kann beispielweise zumindest in einer Richtung der Sichtfelder der ersten und der zweiten Kamera angeordnet sein, sodass eine Person durch Auslösen des Auslösers ein einsprechendes Wärmebild und ein entsprechendes Farbbild eigenständig von ihrem Gesicht aufnehmen kann.

Ein solches System kann auch als Self-Enrollment System bezeichnet werden. Dieses System ist insbesondere dazu ausgelegt, dass eine Person sich eigenständig ohne Beisein einer autorisierten Person identifizieren kann und Manipulationen gegebenenfalls erkannt werden. Ferner kann ein solches System die zuvor genannte Personalisierungseinrichtung sein.

Die erste Kamera und die zweite Kamera sind derart in dem System installiert, dass ein Sichtfeld der ersten Kamera und ein Sichtfeld der zweiten Kamera in einem vorgegebenen Abstand deckungsgleich sind.

Figurenliste

Im Folgenden werden weitere Eigenschaften, Merkmale und Vorteile der Erfindung mittels Beschreibung bevorzugter Ausführungen der Erfindung anhand der beiliegenden beispielhaften Zeichnungen deutlich, in denen: Fig. 1 beispielhaft eine schematische Blockdarstellung für ein Verfahren zum Erkennen einer Gesichtsmanipulation zeigt; und

Fig. 2 beispielhaft eine schematische Darstellung eines Systems zum Erkennen einer Gesichtsmanipulation zeigt.

Die in der vorstehenden Beschreibung, den Figuren und den Ansprüchen offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Realisierung der Erfindung in den verschiedenen Ausgestaltungen von Bedeutung sein.

Bezugszeichen in den Figuren beziehen sich jeweils auf gleiche Elemente.

Figur 1 zeigt beispielhaft eine schematische Blockdarstellung für ein Verfahren zum Erkennen einer Gesichtsmanipulation.

In einem Schritt S1 wird ein Kalibrierungsschritt zur Berechnung einer Koordinatentransformation, insbesondere einer affinen Transformation wie einer affinen Abbildung, zwischen einer Perspektive der ersten Kamera 2, welche ein Farbbild erzeugt, und einer zweiten Kamera 3, welche ein Wärmebild erzeugt, berechnet. Dieser Schritt wird für ein System mit der ersten und der zweiten Kamera 2, 3, welche fest installiert sind, vorab durchgeführt und muss für die Durchführung des Verfahrens nicht vor jedem Erkennen einer Gesichtsmanipulation wiederholt werden. Schritt S1 ist damit optional.

Zur Kalibrierung wird mit der ersten Kamera 2 ein Farbbild-Kalibrierungsbild von einem Testobjekt mit einer Mehrzahl von Lichtpunkten in einem vorbestimmten Abstand zu der ersten Kamera 2 aufgenommen. Weiterhin wird mit der zweiten Kamera 3 ein Wärmebild-Kalibrierungsbild von dem Testobjekt mit der Mehrzahl von Lichtpunkten in dem vorbestimmten Abstand aufgenommen. Die Lichtpunkte in beiden Bildern werden übereinandergelegt und somit eine perspektivische Verschiebung zwischen beiden aufgenommenen Bildern bestimmt. Daraus wird eine affine Abbildung für eine T ransformation zwischen der Perspektive des Wärmebilds und des Farbbilds berechnet.

In einem Schritt S2 wird mit der ersten Kamera 2 ein Farbbild im sichtbaren Wellenlängenbereich von dem Gesicht einer zu identifizierenden Person 4 aufgenommen. Zeitgleich mit dem Aufnehmen des Farbbilds wird mittels der zweiten Kamera 3 ein Wärmebild im infraroten Wellenlängenbereich von dem Gesicht der zu identifizierenden Person 4 aufgenommen. Dabei befindet sich das Gesicht der zu identifizierenden Person 4 in dem vorbestimmten Abstand zu der ersten und der zweiten Kamera 2, 3. Das Farbbild und das zeitgleich aufgenommene Wärmebild werden miteinander verknüpft, sodass beide Bilder ein Bildpaar bilden.

In einem Schritt S3 werden mittels einer künstlichen Intelligenz spezifische Gesichtsmerkmale, wie etwa Augen, Nase oder Mund, in dem Farbbild erkannt.

In einem Schritt S4 wird das Farbbild auf einen vorgegebenen Abstand beispielsweise in einer Größenordnung von 100 Pixel zwischen den Augen des Gesichts in dem Farbbild skaliert.

In einem Schritt S5 wird die Perspektive des Wärmebilds an eine Perspektive des Farbbilds mit Hilfe der Koordinatentransformation, insbesondere der affinen Abbildung, transformiert. Danach wird das Wärmebild auf dieselben Dimensionen, insbesondere dieselben Abmessungen, wie das Farbbild skaliert. Das Wärmebild und das Farbbild sind somit im Wesentlichen kongruent. Insbesondere ist das Gesicht in dem Farbbild im Wesentlichen kongruent zu dem Gesicht in dem Wärmebild.

In einem Schritt S6 werden das skalierte Farbbild und das skalierte Wärmebild so beschnitten, dass das Gesicht in beiden Bildern an einer vorbestimmten Position innerhalb des jeweiligen Bildes angeordnet ist. Das Beschneiden der Bilder kann beispielsweise auf Basis der ICAO-Regeln durchgeführt werden. Durch das Beschneiden des Gesichts wird eine bessere Auswertung erreicht. Die folgende Auswertung kann allerdings auch ohne einen Beschnitt durchgeführt werden. Schritt S6 ist somit optional.

In einem Schritt S7 werden das skalierte Farbbild und das skalierte Wärmebild kombiniert, beispielsweise gestapelt (engl. stack). Das so erzeugte kombinierte Bild entspricht vorzugsweise im Wesentlichen einem Tensor, welcher die Informationen des Farbbilds und des Wärmebild miteinander verknüpft.

In einem weiteren optionalen Schritt kann in dem kombinierten Bild eine Ausrichtung des das Gesicht umfassenden Kopfes bestimmt werden. Falls der Kopf eine Neigung aufweist, welche einen Grenzwert übersteigt, kann das entsprechende Bild aussortiert werden und Vorgang (S2-S7) mit einem anderen Bildpaar wiederholt werden.

In einem Schritt S8 wird mittels eines gefalteten neuronalen Netzwerks für jeweils eine eine Art von Manipulation angebende Klasse ein Wahrscheinlichkeitswert bestimmt, welcher angibt, mit welcher Wahrscheinlichkeit diese Art von Manipulation vorliegt.

In einem Schritt S9 werden die Wahrscheinlichkeitswerte für mehrere eine Art von Manipulation angebende Klassen mittels einer Softmax- Funkti on normiert. Ein normierter Wahrscheinlichkeitswert gibt einen Wert zwischen 0 und 1 an.

In einem Schritt S10 werden die normierten Wahrscheinlichkeitswerte für mehrere eine Art von Manipulation angebende Klassen summiert. Wenn die Summe der normierten Wahrscheinlichkeitswerte einen ersten Grenzwert überschreitet, wird klassifiziert, dass insgesamt eine Gesichtsmanipulation vorliegt. Wenn die Summe der normierten Wahrscheinlichkeitswerte den ersten Grenzwert unterschreitet oder einen zweiten Grenzwert, der niedriger ist als der erste Grenzwert, unterschreitet, wird klassifiziert, dass keine Manipulation vorliegt.

Fig. 2 zeigt beispielhaft eine schematische Darstellung eines Systems zum Erkennen einer Gesichtsmanipulation.

Ein solches System weist einen Computer 1 auf, welcher dazu ausgelegt und eingerichtet ist, das im Zusammenhang mit Fig. 1 beschriebene Verfahren auszuführen.

Vorgesehen ist eine erste Kamera 2 in Verbindung mit den Computer 1. Die erste Kamera 2 ist dazu ausgelegt, ein Farbbild im sichtbaren Wellenlängenbereich aufzunehmen. Ferner ist eine zweite Kamera 3 in Verbindung mit dem Computer 1 vorgesehen. Die zweite Kamera 3 ist eine Wärmebildkamera, die dazu ausgelegt ist, ein Wärmebild im infraroten Wellenlängenbereich aufzunehmen.

Die erste Kamera 1 und die zweite Kamera 2 sind innerhalb des Systems mit einer festgelegten Position und Ausrichtung zueinander fest installiert. Die erste Kamera 2 weist ein ersten Sichtfeld auf (dargestellt durch die entsprechenden gestichelten Linien) und die zweite Kamera 3 weist ein zweites Sichtfeld auf (dargestellt durch die entsprechenden gestrichelten Linien). Die erste und die zweite Kamera 2, 3 sind so zueinander ausgerichtet, dass sich die deren Sichtfelder in einer Ebene parallel zu den Kameras in einem vorbestimmten Abstand zu den Kameras in einem Ausschnitt 5 im Wesentlichen deckungsgleich sind. In dem Ausschnitt 5 wird das Gesicht einer zu identifizierenden Person 4 positioniert. Durch die Ausrichtung der ersten und der zweiten Kamera 2, 3 entspricht der Ausschnitt 5 des Farbbilds von dem Gesicht der zu identifizierenden Person 4 dem Ausschnitt 5 des Wärmebilds von dem Gesicht der zu identifizierenden Person 4.

Ferner ist der Computer 1 dazu eingerichtet, die erste und die zweite Kamera 2, 3 derart anzusteuern, dass das Farbbild und das Wärmebild zeitgleich, d.h. mit einer vernachlässigbaren zeitlichen Verzögerung aufgenommen werden. Auch ist der Computer 1 dazu eingerichtet, die zeitgleich aufgenommenen Bilder jeweils zu identifizieren und miteinander so verknüpfen, sodass ein Bildpaar erzeugt wird.

Der Computer 1 ist ferner dazu ausgelegt an dem Bildpaar das erfindungsgemäße Verfahren zur Erkennung einer Gesichtsmanipulation durchzuführen.

Die in der vorstehenden Beschreibung, den Ansprüchen sowie der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der verschiedenen Ausführungen von Bedeutung sein.

Bezuqszeichenverzeichnis:

1 Computer

2 Erste Kamera

3 Zweite Kamera 4 Person

5 Ausschnitt

S1-S10 Verfahrensschritte

Claims

Ansprüche

1. Verfahren zum Erkennen einer Gesichtsmanipulation, das Verfahren umfassend die folgenden mittels eines Computers (1) durchgeführten Schritte:

- Empfangen von mindestens einem Bildpaar mit einem Farbbild von einem Gesicht und einem zeitgleich aufgenommenen Wärmebild von dem Gesicht;

- Anpassen des Farbbilds und des Wärmebilds, sodass das Gesicht in dem Farbbild kongruent mit dem Gesicht in dem Wärmebild ist;

- Erzeugen eines kombinierten Bilds durch kombinieren des angepassten Farbbilds und des angepassten Wärmebilds;

- Bestimmen an dem kombinierten Bild für ein oder mehrere eine Art von Manipulation angebende Klassen jeweils eines Wahrscheinlichkeitswerts, der eine Wahrscheinlichkeit angibt, dass für die entsprechende Klasse eine Manipulation vorliegt; und

- Klassifizieren anhand der Wahrscheinlichkeitswerte, ob eine Gesichtsmanipulation vorliegt.

2. Verfahren nach Anspruch 1 , wobei das Anpassen des Farbbilds und des Wärmebilds die Schritte umfasst:

- Bestimmen von charakteristischen Gesichtsmerkmalen des Gesichts in dem Farbbild;

- Skalieren von Dimensionen des Farbbilds, sodass ein Abstand zwischen zwei der charakteristischen Gesichtsmerkmale in dem Farbbild einen vorbestimmten Wert aufweist;

- perspektivisches Transformieren des Wärmebilds mittels einer Koordinatentransformation, sodass eine Perspektive des Wärmebild und eine Perspektive des Farbbilds übereinstimmen; und

- Skalieren von Dimensionen des Wärmebilds auf die Dimensionen des skalierten Farbbilds, sodass das Gesicht in dem skalierten Wärmebild kongruent mit dem Gesicht in dem skalierten Farbbild ist.

3. Verfahren nach Anspruch 2, ferner umfassend:

- Beschneiden des skalierten Farbbilds anhand der charakteristischen Gesichtsmerkmale, sodass das Gesicht an einer vorgegebenen Position und mit einer vorgegebenen Größe in dem Farbbild angeordnet ist;

- Beschneiden des skalierten Wärmebilds analog zu dem Beschneiden des Farbbilds, sodass das beschnittene Wärmebild und das beschnittene Farbbild einen gleichen Ausschnitt aufweisen.

4. Verfahren nach einem der Ansprüche 2 oder 3, wobei die charakteristischen Gesichtsmerkmale in dem Farbbild mittels einer künstlichen Intelligenz bestimmt werden.

5. Verfahren nach einem der vorangegangenen Ansprüche, ferner umfassend:

- Normalisieren, durch den Computer, des Wahrscheinlichkeitswerts für jede der ein oder mehreren Klassen auf einen normalisierten Wahrscheinlichkeitswert; und

- wobei das Klassifizieren, ob ein Gesichtsmanipulation vorliegt, umfasst:

- Summieren der normalisierten Wahrscheinlichkeitswerte für mehrere Klassen,

- Klassifizieren, dass eine Gesichtsmanipulation vorliegt, wenn die Summe der normalisierten Wahrscheinlichkeitswerte größer als ein erster Grenzwert ist, und

- Klassifizieren, dass keine Gesichtsmanipulation vorliegt, wenn die Summe der normalisierten Wahrscheinlichkeitswerte geringer als der erste Grenzwert ist oder geringer ist als ein zweiter Grenzwert, der niedriger ist als der erste Grenzwert ist.

6. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Bestimmen jeweils eines Wahrscheinlichkeitswerts für ein oder mehrere eine Art von Manipulation angebende Klassen mittels eines faltenden neuronalen Netzwerks durchgeführt wird.

7. Verfahren nach einem der vorangegangenen Ansprüche, ferner umfassend:

- Bestimmen, durch den Computer, an dem kombinierten Bild einer Ausrichtung der Frankfurter Horizontalen eines das Gesicht umfassenden Kopfes relativ zu einer Horizontalen und einer Ausrichtung der Frontalebene des Kopfes relativ zu einer Vertikalen;

- Verwerfen des normalisierten Bildes, falls ein Winkel zwischen der Frankfurter Horizontalen des Kopfes und der Horizontalen einen dritten Grenzwert überschreitet und/oder falls ein Winkel zwischen der Frontalebene des Kopfes und der Vertikalen einen vierten Grenzwert überschreitet.

8. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Verfahren ferner umfasst:

Aufnehmen eines Farbbildes mittels einer ersten Kamera (2), welche ausgelegt ist Licht mit Wellenlängen im sichtbaren Bereich aufzunehmen; und - Aufnehmen eines Wärmebilds zeitgleich zu dem Aufnehmen des Farbbilds mittels einer zweiten Kamera (3), welche ausgelegt ist, Wellenlängen im Infrarotbereich aufzunehmen;

- Erzeugen, durch den Computer (1), des mindestens einen Bildpaars durch Zuordnen des Farbbilds und des zeitgleich aufgenommenen Wärmebilds.

9. Verfahren nach Anspruch 8, ferner umfassend:

- Aufnehmen eines Farbbild-Kalibrierungsbildes mit der ersten Kamera (2) von einem Testobjekt mit einer Mehrzahl von Lichtpunkten;

- Aufnehmen eines Wärmebild-Kalibrierungsbildes mit der zweiten Kamera (3) von dem Testobjekt mit der Mehrzahl von Lichtpunkten;

- Berechnen, durch den Computer (1), der Koordinatentransformation zwischen einer Perspektive der ersten Kamera (2) und einer Perspektive der zweiten Kamera (3) durch Vergleichen der Positionen der Mehrzahl von Lichtpunkten in dem Farbbild- Kalibrierungsbild und dem Wärmebild-Kalibrierungsbild.

10. Vorrichtung, insbesondere ein Computer (1), zum Erkennen einer Gesichtsmanipulation, wobei die Vorrichtung dazu eingerichtet und ausgelegt ist, das Verfahren nach einem der Ansprüche 1-7 durchzuführen.

11 . Computerprogrammprodukt umfassend Befehle, die bei der Ausführung durch eine Datenverarbeitungsvorrichtung, insbesondere die Vorrichtung nach Anspruch 10, diese veranlassen, die Verfahrensschritte nach mindestens einem der Ansprüche 1 bis 7 auszuführen.

12. System zum Erkennen einer Gesichtsmanipulation, das System umfassend:

- eine Vorrichtung nach Anspruch 10;

- eine erste Kamera (2) in Verbindung mit der Vorrichtung, wobei die erste Kamera (2) ausgelegt ist Licht mit Wellenlängen im sichtbaren Bereich aufzunehmen und das Farbbild zu erzeugen;

- eine zweite Kamera (3) in Verbindung mit der Vorrichtung, wobei die zweite Kamera (3) ausgelegt ist, Wellenlängen im Infrarotbereich aufzunehmen und das Wärmebild zu erzeugen;

- wobei die Vorrichtung ferner dazu eingerichtet und ausgelegt ist, die erste Kamera (2) und die zweite Kamera (3) derart anzusteuern, dass die erste Kamera (2) das Farbbild von dem Gesicht aufnimmt und die zweite Kamera (3) das Wärmebild von dem Gesicht zeitgleich zu dem Farbbild aufnimmt.

13. System nach Anspruch 12, wobei das System Mittel umfasst, die dazu eingerichtet und ausgelegt ist, dass es einer Person ermöglicht wird, das Farbbild und das Wärmebild eigenständig aufzunehmen.