DE102022124561A1

DE102022124561A1 - Method for precise facial recognition and detection of facial image manipulation

Info

Publication number: DE102022124561A1
Application number: DE102022124561.6A
Authority: DE
Inventors: Johannes Merkle
Original assignee: Secunet Security Networks AG
Current assignee: Secunet Security Networks AG
Priority date: 2022-09-09
Filing date: 2022-09-23
Publication date: 2024-03-14

Abstract

Bei einem Verfahren zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern wird ein Ausweisgesichtsbild (2) eines Ausweises (3) einer zu identifizierenden Person (4) herangezogen. Ein Rechnersystem (7) nimmt eine Beurteilung vor, ob bzw. inwieweit das Ausweisgesichtsbild (2) und ein Vergleichsgesichtsbild (5) übereinstimmen. Das Rechnersystem (7) umfasst einen Vergleichsalgorithmus (8), wobei der Vergleichsalgorithmus (8) einen Abgleich des Ausweisgesichtsbildes (2) und des Vergleichsgesichtsbildes (5) durchführt. Der Abgleich stellt die Grundlage der Beurteilung dar, wobei die Beurteilung in einem Ähnlichkeitsmaß (13) abgebildet wird. Neben dem Ausweisgesichtsbild (2) werden weitere Ausweisdaten (9) des Ausweises (3) herangezogen, wobei die weiteren Ausweisdaten (9) vom Rechnersystem (7) genutzt werden und einen Wert des Ähnlichkeitsmaßes (13) beeinflussen können. Die weiteren Ausweisdaten (9) umfassen ein Gültigkeitsdatum und werden aus einem integrierten Schaltkreis des Ausweises (3) elektronisch, insbesondere mithilfe von Funk ausgelesen.In a method for authenticating a person using facial images and/or for detecting manipulation of facial images, an ID facial image (2) of an ID card (3) of a person (4) to be identified is used. A computer system (7) makes an assessment as to whether or to what extent the ID facial image (2) and a comparison facial image (5) match. The computer system (7) comprises a comparison algorithm (8), wherein the comparison algorithm (8) carries out a comparison of the ID card facial image (2) and the comparison facial image (5). The comparison forms the basis of the assessment, with the assessment being reflected in a similarity measure (13). In addition to the ID facial image (2), further ID data (9) from the ID card (3) are used, the additional ID data (9) being used by the computer system (7) and being able to influence a value of the similarity measure (13). The further ID card data (9) includes a validity date and is read electronically from an integrated circuit of the ID card (3), in particular using radio.

Description

Die Erfindung betrifft ein Verfahren zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern, wobei ein Ausweisgesichtsbild eines Ausweises einer zu identifizierenden Person herangezogen wird, wobei ein Vergleichsgesichtsbild der Person heran gezogen wird, wobei ein Rechnersystem eine Beurteilung vornimmt, ob bzw. inwieweit das Ausweisgesichtsbild und das Vergleichsgesichtsbild übereinstimmen, wobei das Rechnersystem einen Vergleichsalgorithmus umfasst, wobei der Vergleichsalgorithmus einen Abgleich des Ausweisgesichtsbildes und des Vergleichsgesichtsbildes durchführt und der Abgleich die Grundlage der Beurteilung darstellt, wobei die Beurteilung in einem Ähnlichkeitsmaß abgebildet wird. Die Erfindung betrifft außerdem eine Vorrichtung zur Durchführung des Verfahrens sowie eine Verwendung der Vorrichtung.The invention relates to a method for authenticating a person based on facial images and/or for detecting manipulation of facial images, wherein an ID facial image of an ID card of a person to be identified is used, wherein a comparison facial image of the person is used, with a computer system making an assessment as to whether or not . to what extent the ID facial image and the comparison facial image match, the computer system comprising a comparison algorithm, the comparison algorithm carrying out a comparison of the ID facial image and the comparison facial image and the comparison representing the basis of the assessment, the assessment being reflected in a similarity measure. The invention also relates to a device for carrying out the method and a use of the device.

Ein derartiges Verfahren ist aus WO 2018/234384 A1 bekannt, wonach ein Lesegerät ein Ausweisgesichtsbild aus einem elektronischen Ausweis einer zu identifizierenden Person ausliest. Ein Scanner nimmt ein Vergleichsgesichtsbild der zu identifizierenden Person auf, welches von einem Rechner mit dem Ausweisgesichtsbild abgeglichen wird. Der Rechner beurteilt schließlich, ob das Vergleichsgesichtsbild mit dem Ausweisgesichtsbild übereinstimmt.Such a procedure is over WO 2018/234384 A1 known, according to which a reading device reads an ID facial image from an electronic ID card of a person to be identified. A scanner takes a comparison facial image of the person to be identified, which is compared by a computer with the facial image on the ID card. The computer finally judges whether the comparison facial image matches the ID facial image.

Die in WO 2018/234384 A1 beschriebene Aufgabe stellt vor allem darauf ab, Gesichtsbildmanipulationen, insbesondere Facial Morphing Attacks, mithilfe einer Manipulationsdetektion bzw. einer Morphing Attack Detection (MAD) abzuwehren. Bei Morphingattacken wird das Gesichtsbild einer berechtigten Person mit einem Gesichtsbild einer zweiten Person gemischt bzw. gemorpht, so dass das resultierende, gemorphte Gesichtsbild die Merkmale beider Personen enthält. Sowohl die menschliche als auch die herkömmliche artifizielle Gesichtserkennung erkennen dann sowohl die berechtigte Person als auch die zweite Person in dem gemorphten Gesichtsbild.In the WO 2018/234384 A1 The task described is primarily aimed at fending off facial image manipulations, in particular facial morphing attacks, using manipulation detection or morphing attack detection (MAD). In morphing attacks, the facial image of an authorized person is mixed or morphed with a facial image of a second person so that the resulting, morphed facial image contains the characteristics of both people. Both human and conventional artificial facial recognition then recognize both the authorized person and the second person in the morphed facial image.

Wird dieses gemorphte Gesichtsbild bei einem Amt zur Ausstellung von Ausweisen vorgelegt, erkennt der zuständige Mitarbeiter die vor ihm sitzende, berechtigte Person in dem gemorphten Gesichtsbild wieder. Die berechtigte Person mag zum Beispiel zur Verlängerung des Reisepasses berechtigt sein und beantragt die Verlängerung mit einem aktualisierten, aber gemorphten Gesichtsbild. Nach der Ausstellung des verlängerten Reisepasses mit dem gemorphten Gesichtsbild kann die zweite Person den Reisepass nutzen und wird mit großer Wahrscheinlichkeit die menschliche und artifizielle Gesichtserkennung, beispielsweise an Flughäfen, überlisten und ungehindert reisen können. Somit sind dem Reisepass unerkannterweise zwei Personen zugeordnet, welche aber von den Gesichtserkennungen jeweils eindeutig dem Reisepass zugerechnet werden.If this morphed facial image is presented to an office for issuing ID cards, the responsible employee will recognize the authorized person sitting in front of him in the morphed facial image. For example, the authorized person may be eligible for passport renewal and requests the renewal with an updated but morphed facial image. After the extended passport with the morphed facial image is issued, the second person can use the passport and will most likely be able to outsmart human and artificial facial recognition, for example at airports, and travel unhindered. This means that two people are unrecognized and assigned to the passport, but each of them is clearly assigned to the passport by the facial recognition.

Wünschenswert ist es daher, dass die Gesichtserkennung so ausgebildet ist, dass lediglich eine Person dem Identifikationsdokument zugeordnet werden kann und die Gesichtserkennung damit eine eineindeutige Zuordnung leistet. Hierzu wird in WO 2018/234384 A1 vorgeschlagen, einen Satz von Winkeln verschiedener charakteristischer Punkte des Ausweisgesichtsbildes mit einem entsprechenden Winkelsatz des Vergleichsgesichtsbildes miteinander abzugleichen. Dieses Winkelverfahren erhöht die Wahrscheinlichkeit der Enttarnung des gemorphten Bildes und verringert damit die Betrugsmöglichkeiten durch Facial Morphing Attacks.It is therefore desirable for the facial recognition to be designed in such a way that only one person can be assigned to the identification document and the facial recognition thus provides a unique assignment. For this purpose, in WO 2018/234384 A1 proposed to compare a set of angles of different characteristic points of the ID facial image with a corresponding set of angles of the comparison facial image. This angle procedure increases the probability of unmasking the morphed image and thus reduces the possibility of fraud through facial morphing attacks.

Allerdings ist es grundsätzlich möglich, derart gemorphte Gesichtsbilder zu erzeugen, bei denen die Unterschiede in den Winkeln der einzelnen charakteristischen Punkte geringer ausfallen, so dass das Winkelverfahren an seine Grenzen stößt. Der Erfindung liegt daher die Aufgabe zugrunde, die Gesichtserkennung so zu verbessern, dass Gesichstbildmanipulationen - insbesondere Morphingattacken - noch treffsicherer aufgedeckt werden.However, it is fundamentally possible to generate such morphed facial images in which the differences in the angles of the individual characteristic points are smaller, so that the angle method reaches its limits. The invention is therefore based on the object of improving facial recognition so that facial image manipulations - in particular morphing attacks - are detected even more accurately.

Diese Aufgabe wird gelöst durch ein Verfahren zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern, wobei ein Ausweisgesichtsbild eines Ausweises einer zu identifizierenden Person herangezogen wird, wobei ein Vergleichsgesichtsbild der Person heran gezogen wird, wobei ein Rechnersystem eine Beurteilung vornimmt, ob bzw. inwieweit das Ausweisgesichtsbild und das Vergleichsgesichtsbild übereinstimmen, wobei das Rechnersystem einen Vergleichsalgorithmus umfasst, wobei der Vergleichsalgorithmus einen Abgleich des Ausweisgesichtsbildes und des Vergleichsgesichtsbildes durchführt und der Abgleich die Grundlage der Beurteilung darstellt, wobei die Beurteilung in einem Ähnlichkeitsmaß abgebildet wird, wobei neben dem Ausweisgesichtsbild weitere Ausweisdaten des Ausweises herangezogen werden, wobei die weiteren Ausweisdaten vom Rechnersystem genutzt werden und einen Wert des Ähnlichkeitsmaßes beeinflussen können, wobei die weiteren Ausweisdaten von einem Lesegerät ausgelesen werden, wobei das Lesegerät die weiteren Ausweisdaten elektronisch ausliest, insbesondere mithilfe von Funk ausliest, wobei die weiteren Ausweisdaten ein Gültigkeitsdatum umfassen und aus einem integrierten Schaltkreis des Ausweises ausgelesen werden.This task is solved by a method for authenticating a person based on facial images and/or for detecting manipulation of facial images, an ID facial image of an ID card of a person to be identified being used, a comparison facial image of the person being used, a computer system making an assessment, whether or to what extent the ID facial image and the comparison facial image match, the computer system comprising a comparison algorithm, the comparison algorithm carrying out a comparison of the ID facial image and the comparison facial image and the comparison representing the basis of the assessment, the assessment being represented in a similarity measure, in addition to ID card face image, further ID card data of the ID card are used, the further ID card data being used by the computer system and being able to influence a value of the similarity measure, the further ID card data being read out by a reading device, the reading device reading out the further ID card data electronically, in particular using radio, whereby the further ID card data includes a validity date and is read from an integrated circuit of the ID card.

Besonders vorzugsweise wird das Ausweisgesichtsbild von einem Lesegerät aus dem Ausweis herangezogen bzw. maschinell ausgelesen. Gemäß einer Ausführungsform wird das Ausweisgesichtsbild herangezogen, indem es aus einer Dateimenge geladen wird. Der Begriff „Dateimenge“ meint vorzugsweise Datenbanken, bevorzugt aber auch nicht mit Datenbankmanagementsystemen verwaltete Daten.Particularly preferably, the ID facial image is taken from the ID card or read out by machine by a reading device. According to one embodiment, the ID facial image is obtained by loading it from a set of files. The term “file set” preferably means databases, but also preferably data not managed with database management systems.

Der Erfindung liegt die Erkenntnis zugrunde, dass das Alter des Ausweisgesichtsbildes von besonderer Bedeutung ist, wodurch die Alterung der Person in dem Vergleichsalgorithmus berücksichtigt werden kann. Das Alter des Ausweisgesichtsbildes bzw. die Alterung der Person kann insbesondere durch ein toleranteres Ähnlichkeitsmaß und/oder durch eine Simulation der Gesichtsalterung in den Vergleichsalgorithmus einfließen. Ist das Alter des Ausweisgesichtsbildes recht hoch, so ist von einer größeren Änderungswahrscheinlichkeit des Gesichts auszugehen, so dass der Vergleichsalgorithmus bzw. die Gesichtserkennung bei dem Abgleich mit dem Vergleichsgesichtsbild entsprechend toleranter urteilen muss. Unter anderem ein Ausweisdatum (Ausstellungsdatum oder Ablaufdatum) ermöglicht Rückschlüsse auf das Alter des Ausweisgesichtsbildes. Ergänzend ist die Kenntnis des Geschlechts der zu identifizierenden Person und/oder das ausstellende Land des Ausweises von größerer Bedeutung, weil dies impliziert, welche Gesichtspartien tendenziell einer größeren Änderungswahrscheinlichkeit unterworfen sind. Schließlich liefert das Geburtsdatum Aufschlüsse über die altersabhängige Alterungsgeschwindigkeit. Alle diese Informationen der weiteren Ausweisdaten lassen den Vergleichsalgorithmus bzw. die Gesichtserkennung treffsicherer werden. Vor allem Gesichtsbildmanipulationen sowie insbesondere Facial Morphing Attacks können besser aufgedeckt werden, wodurch die eingangs genannte Aufgabe gelöst wird.The invention is based on the knowledge that the age of the ID facial image is of particular importance, whereby the aging of the person can be taken into account in the comparison algorithm. The age of the ID facial image or the aging of the person can be incorporated into the comparison algorithm, in particular through a more tolerant similarity measure and/or through a simulation of facial aging. If the age of the ID facial image is quite high, it can be assumed that the face will change more likely, so that the comparison algorithm or the face recognition must make a correspondingly more tolerant judgment when comparing it with the comparison facial image. Among other things, an ID date (issue date or expiry date) allows conclusions to be drawn about the age of the ID facial image. In addition, knowing the gender of the person to be identified and/or the country issuing the ID is of greater importance because this implies which parts of the face tend to be more likely to be changed. Finally, the date of birth provides information about the age-dependent rate of aging. All of this information from the other ID data makes the comparison algorithm or facial recognition more accurate. In particular, facial image manipulations and, in particular, facial morphing attacks can be better revealed, which solves the task mentioned at the beginning.

Der Begriff „Gesichtsbild“ meint vorzugsweise ein Frontalporträt und weiter vorzugsweise ein Frontalporträt in Form eines biometrischen Passbildes. Der Begriff „Ausweis“ umfasst insbesondere amtliche Identitätsnachweise bzw. Identifikationsdokumente wie Personalausweise und Reisepässe. Der Ausdruck „Ausweis“ umfasst bevorzugt Berechtigungsnachweise wie die elektronische Gesundheitskarte oder den Führerschein. Bevorzugt meint das Wort „Ausweis“ auch Firmen-, Kunden-, Dienst- und Mitgliedsausweise. Mit Vorteil weist der Ausweis wenigstens ein Ausweisgesichtsbild sowie weitere Ausweisdaten auf. Die weiteren Ausweisdaten umfassen typischerweise ausweisbezogene Ausweisdaten und/oder personenbezogene Ausweisdaten. Zur Gruppe der personenbezogenen Ausweisdaten gehören insbesondere der Name, das Geschlecht, die Körpergröße, die Haar- und die Augenfarbe und - vor allem - das Geburtsdatum. Zu den ausweisbezogenen Ausweisdaten sind insbesondere die ausstellende Organisation bzw. das ausstellende Land, das Ausstellungsdatum, das Ablaufdatum, die Ausweisart und dergleichen mehr zu zählen.The term “facial image” preferably means a frontal portrait and more preferably a frontal portrait in the form of a biometric passport photo. The term “ID” includes in particular official proof of identity or identification documents such as ID cards and passports. The term “ID card” preferably includes proof of authorization such as the electronic health card or driver’s license. The word “ID” preferably also means company, customer, service and member ID cards. The ID card advantageously has at least one ID facial image and other ID data. The further ID data typically includes ID-related ID data and/or personal ID data. The group of personal identification data includes in particular the name, gender, height, hair and eye color and - above all - the date of birth. The ID-related ID data includes, in particular, the issuing organization or country, the issue date, the expiry date, the ID type and the like.

Der Ausdruck „Manipulation“ bzw. (Gesichts-) Bildmanipulation" meint bevorzugt betrügerische wie auch nicht-betrügerische Manipulationen. Ein Beispiel für betrügerische Manipulationen sind die bereits erwähnten Morphingattacken. Ein Beispiel für nicht-betrügerische Manipulationen sind die immer häufiger vorkommenden beautifications, bei denen das für den Ausweis vorgesehene Ausweisgesichtsbild mit entsprechenden Programmen in ästhetischer Hinsicht bearbeitet wird. Besonders vorzugsweise wird das Verfahren zur Detektion von gemorphten Gesichtsbildern bzw. Morphingattacken verwendet. Der Begriff „morphen“ meint vorzugsweise die Verwendung eines weiteren Gesichtsbildes, um ein Ausgangs-gesichtsbild so zu verändern, dass ein neues - ein gemorphtes - Gesichtsbild entsteht.The term "manipulation" or (facial) image manipulation" preferably means fraudulent as well as non-fraudulent manipulations. An example of fraudulent manipulations are the morphing attacks already mentioned. An example of non-fraudulent manipulations are the increasingly common beautifications, in which The ID facial image intended for the ID card is processed in aesthetic terms using appropriate programs. The method is particularly preferably used for the detection of morphed facial images or morphing attacks. The term “morphing” preferably means the use of another facial image in order to create an initial facial image change so that a new - a morphed - facial image is created.

Das Verfahren zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern kann in verschiedenen Anwendungen zum Einsatz kommen. Eine erste Anwendung mag beispielsweise die vollautomatische Durchgangskontrolle bzw. Ausweiskontrolle sein, welche typischerweise in Flughäfen, aber auch in Seehäfen und Landgrenzen zum Einsatz kommt. Hierbei tritt eine zu identifizierende Person zunächst an ein Lesegerät heran und lässt den Ausweis vom Lesegerät auslesen. Dabei liest das Lesegerät insbesondere das Ausweisgesichtsbild sowie die weiteren Ausweisdaten aus. Davor oder danach erfasst eine Kamera ein aktuelles Vergleichsgesichtsbild der zu identifizierenden Person. Sofern die beiden Gesichtsbilder übereinstimmen bzw. keine Manipulationen detektiert wurde, öffnet sich beispielsweise eine Tür automatisch und lässt die zu identifizierende Person passieren.The method for authenticating a person based on facial images and/or for detecting manipulation of facial images can be used in various applications. A first application may be, for example, fully automatic passage control or ID control, which is typically used in airports, but also in seaports and land borders. Here, a person to be identified first approaches a reader and has their ID read by the reader. In particular, the reader reads out the facial image of the ID card as well as the other ID data. Before or after, a camera captures a current comparison facial image of the person to be identified. If the two facial images match or no manipulation has been detected, a door, for example, opens automatically and allows the person to be identified to pass.

Eine weitere Anwendung kann die teilautomatische Ausweiskontrolle sein. Auch die teilautomatische Ausweiskontrolle kann insbesondere an Flughäfen stattfinden, wobei sich ein Lesegerät in einem Identifikationsschalter in Form eines Grenzkontrollschalters befinden mag. Eine zu identifizierende Person tritt an den Grenzkontrollschalter heran und überreicht der kontrollierenden Personen den Ausweis. Die kontrollierende Person kann dann den Ausweis von einem Lesegerät auslesen lassen, während eine Kamera ein Vergleichsgesichtsbild der zu identifizierenden Person erfasst. Sofern die beiden Gesichtsbilder übereinstimmen bzw. keine Manipulation erkannt wurde und auch die kontrollierende Person keine Auffälligkeiten feststellt, darf die zu identifizierende Person auf Geheiß der kontrollierenden Person den Grenzkontrollschalter passieren.Another application can be semi-automatic ID control. Semi-automatic ID checks can also take place, particularly at airports, whereby a reading device may be located in an identification counter in the form of a border control counter. A person who needs to be identified approaches the border control counter and hands the person checking the ID card. The person checking can then have the ID read by a reader while a camera captures a comparison facial image of the person to be identified. As long as the two facial images match or no manipulation was detected and also the controlling one If the person does not notice any abnormalities, the person to be identified is allowed to pass through the border control counter at the request of the person checking.

Eine dritte Anwendung ist für die Beantragung eines zu aktualisierenden Ausweises von Vorteil. Hierbei legt die zu identifizierende Person bzw. der Antragsteller der zuständigen Behörde ein physisches oder digitales Vergleichsgesichtsbild vor, welches für den aktualisierten Ausweis verwendet werden soll. Dieses Vergleichsgesichtsbild wird dann mit dem Ausweisgesichtsbild des bisherigen Ausweises bzw. eines früheren Ausweises verglichen. Das Ausweisgesichtsbild kann mit einem Lesegerät aus dem Ausweis ausgelesen oder aber aus einer Dateimenge geladen werden. Stimmen diese beiden Gesichtsbilder überein bzw. wurde eine Manipulation nicht detektiert, so wird das Vergleichsgesichtsbild für den aktualisierten Ausweis zugelassen. Diese Anwendung unterscheidet sich daher von den beiden vorgenannten Anwendungen darin, dass eine mit dem Rechnersystem verbundene Kamera nicht benötigt wird. Auch ist ein Lesegerät nicht zwingend erforderlich.A third application is beneficial for applying for an ID card to be updated. The person to be identified or the applicant submits a physical or digital comparison facial image to the responsible authority, which is to be used for the updated ID card. This comparison facial image is then compared with the ID facial image of the previous ID card or a previous ID card. The ID facial image can be read from the ID card with a reader or loaded from a set of files. If these two facial images match or if manipulation was not detected, the comparison facial image is approved for the updated ID card. This application therefore differs from the two aforementioned applications in that a camera connected to the computer system is not required. A reading device is also not absolutely necessary.

Ein vierter Anwendungsfall kommt insbesondere bei Online-Authentifizierungsverfahren in Betracht. Hierzu kann beispielsweise vorgesehen sein, dass die zu identifizierende Person einen sicherheitskritischen Dienst eines Unternehmens, beispielsweise ein Online-Bankkonto, nutzen möchte. Zur Registrierung für dieses Konto mag sich auf dem Smartphone der zu identifizierenden Person eine App der Online-Bank befinden, mit deren Hilfe beispielsweise der Personalausweis optisch oder elektronisch, insbesondere mithilfe von Funk ausgelesen wird. Gleichzeitig kann die zu identifizierende Person per Videokonferenz über dieselbe App mit einer kontrollierenden Person der Online-Bank verbunden sein. So kann die kontrollierende Person der zu identifizierenden Person die Anweisung geben, dass die zu identifizierende Person ein Frontalporträt von sich mit dem Smartphone erstellt. Das Frontalporträt wird dann von der App als Vergleichsgesichtsbild herangezogen und mit dem per App ausgelesenen Ausweisgesichtsbild verglichen. Neben diesen beispielhaften Anwendungsfällen sind zahlreiche weitere Anwendungen möglich.A fourth use case comes into consideration in particular for online authentication procedures. For this purpose, it can be provided, for example, that the person to be identified wants to use a security-critical service of a company, for example an online bank account. To register for this account, there may be an app from the online bank on the smartphone of the person to be identified, with the help of which, for example, the ID card can be read optically or electronically, in particular with the help of radio. At the same time, the person to be identified can be connected to a controlling person at the online bank via video conference via the same app. In this way, the controlling person can instruct the person to be identified to take a frontal portrait of themselves using their smartphone. The frontal portrait is then used by the app as a comparison facial image and compared with the ID facial image read out via the app. In addition to these exemplary use cases, numerous other applications are possible.

Das Rechnersystem kann lediglich einen Rechner bzw. lediglich eine Recheneinheit umfassen. Es ist möglich, dass das Rechnersystem eine Mehrzahl an Rechnern bzw. Recheneinheiten aufweist. Die Rechner bzw. Recheneinheiten des Rechnersystems können in räumlicher Nähe zur Kamera bzw. zum Lesegerät angeordnet sein. Es ist möglich, dass das Rechnersystem bzw. Teile des Rechnersystems weit entfernt von der Kamera bzw. von dem Lesegerät befindlich sind. Ein Teil des Vergleichsalgorithmus kann auf einem ersten Rechner befindlich sein, während ein anderer Teil des Vergleichsalgorithmus auf einem anderen Rechner zu finden sein kann. Gemäß einer bevorzugten Ausgestaltung umfasst das Rechnersystem wenigstens einen Server. Mit Vorteil ist der Server des Rechnersystems einer Mehrzahl an Vorrichtungen zur Authentifizierung einer Person anhand von Gesichtsbildern zugeordnet.The computer system can only comprise one computer or only one computing unit. It is possible for the computer system to have a plurality of computers or computing units. The computers or computing units of the computer system can be arranged in spatial proximity to the camera or the reading device. It is possible that the computer system or parts of the computer system are located far away from the camera or the reading device. Part of the comparison algorithm may be located on a first computer, while another part of the comparison algorithm may be located on another computer. According to a preferred embodiment, the computer system comprises at least one server. The server of the computer system is advantageously assigned to a plurality of devices for authenticating a person based on facial images.

Mit Vorteil wird das Vergleichsgesichtsbild mit einer Kamera erfasst, wobei die Kamera vorzugsweise mit dem Rechnersystem zur Übermittlung von Bilddaten des Vergleichsgesichtsbildes verbunden ist. Die Kamera kann in räumlicher Nähe zu dem Lesegerät angeordnet sein. Insbesondere ist es möglich, dass die Kamera und das Lesegerät Bestandteile einer vollautomatischen Passkontrolle bzw. einer Durchgangskontrolle bzw. einer weiter unten noch beschriebenen Vorrichtung zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern sind. Die Kamera kann räumlich weit entfernt von dem Lesegerät befindlich sein. Ebenso ist es möglich, dass das Auslesen des Ausweises an einen ersten Tag und die Aufnahme des Vergleichsgesichtsbildes mit der Kamera an einem anderen Tag stattfindet. The comparison facial image is advantageously captured with a camera, the camera preferably being connected to the computer system for transmitting image data of the comparison facial image. The camera can be arranged in spatial proximity to the reading device. In particular, it is possible for the camera and the reading device to be components of a fully automatic passport control or a passage control or a device described below for authenticating a person based on facial images and/or for detecting manipulation of facial images. The camera can be located spatially far away from the reading device. It is also possible for the ID card to be read out on a first day and the comparison facial image to be taken with the camera on another day.

Vorzugsweise finden das Auslesen des Ausweises mit dem Lesegerät sowie das Aufnehmen des Vergleichsgesichtsbildes mit der Kamera am gleichen Tag und vorzugsweise innerhalb von sechs Stunden bzw. drei Stunden bzw. einer Stunde statt.The reading of the ID card with the reader and the recording of the comparison facial image with the camera preferably take place on the same day and preferably within six hours or three hours or one hour.

Gemäß einer ganz besonders bevorzugten Ausführungsform umfasst das Rechnersystem einen Schätzalgorithmus, wobei der Schätzalgorithmus aus den weiteren Ausweisdaten einen Schätzwert des Alters des Ausweisgesichtsbildes ermittelt und den Schätzwert dem Vergleichsalgorithmus zur Verfügung stellt. Es ist besonders von Vorteil, dass das Lesegerät dem Schätzalgorithmus personenbezogene Ausweisdaten und/oder ausweisbezogene Ausweisdaten zur Verfügung stellt. Es ist ganz besonders bevorzugt, dass das Lesegerät dem Schätzalgorithmus das Geburtsdatum der zu identifizierenden Person, ein Ausstellungsdatum des Ausweises, ein Ablaufdatum des Ausweises, die Art des Ausweises und/oder das ausstellende Land des Ausweises übermittelt. Das Ausweisdatum kann insbesondere in gedruckter Form vorliegen und optisch ausgelesen werden.According to a particularly preferred embodiment, the computer system comprises an estimation algorithm, wherein the estimation algorithm determines an estimate of the age of the ID facial image from the further ID card data and makes the estimated value available to the comparison algorithm. It is particularly advantageous for the reading device to provide the estimation algorithm with personal ID data and/or ID-related ID data. It is particularly preferred that the reading device transmits to the estimation algorithm the date of birth of the person to be identified, an issue date of the ID card, an expiry date of the ID card, the type of ID card and/or the country issuing the ID card. The ID date can in particular be in printed form and read out optically.

Es ist sehr vorteilhaft, wenn das Lesegerät das Ausweisgesichtsbild elektronisch, insbesondere mithilfe von Funk und/oder optisch und/oder per elektronischem Kontakt auslesen kann. Mit Vorteil liest das Lesegerät das Ausweisgesichtsbild mithilfe von Funk, insbesondere durch RFID-Technologie, aus. Im Falle eines optischen Auslesens umfasst das Lesegerät zweckmäßigerweise eine Objekt- und/oder Texterkennung bzw. ist mit einer Objekt- und/oder einer Texterkennung verbunden. Hier bietet sich beispielsweise eine optische Zeichenerkennung (OCR, Optical Character Recognition) an. Im Falle eines Auslesens mithilfe von Funk kann der Ausweis einen Chip umfassen, welcher beispielsweise als RFID-Chip ausgebildet ist und von einem RFID-Lesegerät ausgelesen werden kann. It is very advantageous if the reading device can read the ID facial image electronically, in particular using radio and/or optical and/or electronic contact. The reader advantageously reads the ID card facial image using radio, in particular RFID technology. In the case of optical reading includes the reading device expediently has object and/or text recognition or is connected to object and/or text recognition. For example, optical character recognition (OCR, Optical Character Recognition) is useful here. In the case of reading using radio, the ID card can include a chip, which is designed, for example, as an RFID chip and can be read by an RFID reader.

Mit Vorteil umfasst das Lesegerät eine optische Leseeinheit und eine Funk-Leseeinheit, um bevorzugt möglichst viele Informationen aus einer großen Vielzahl an unterschiedlichen Ausweisen auslesen zu können. Der Ausdruck „Lesegerät“ kann eine einzige Baueinheit meinen, wobei allerdings auch zwei oder mehr Lesegeräte unter diesem Begriff verstanden werden können. Beispielsweise kann der Ausdruck „Lesegerät“ ein optisches Lesegerät sowie ein davon baulich getrenntes elektronisches Lesegerät umfassen. Es ist möglich, dass beide Lesegeräte denselben Ausweis auslesen, um möglichst viele Informationen zu erhalten.The reading device advantageously includes an optical reading unit and a radio reading unit in order to preferably be able to read out as much information as possible from a large number of different ID cards. The term “reading device” can mean a single structural unit, although this term can also mean two or more reading devices. For example, the term “reading device” can include an optical reading device and an electronic reading device that is structurally separate from it. It is possible for both readers to read the same ID card in order to obtain as much information as possible.

Es ist sehr bevorzugt, dass die ausgelesenen weiteren Ausweisdaten ausweisbezogene Ausweisdaten und/oder personenbezogene Ausweisdaten umfassen. Die ausgelesenen, ausweisbezogenen Ausweisdaten können wenigstens ein Ausweisdatum, die Art des Ausweises und/oder das ausstellende Land des Ausweises umfassen. Mit dem Begriff „Ausweisdatum“ ist sowohl ein Ausstellungsdatum als auch ein Ablaufdatum des Ausweises gemeint. Die ausgelesenen personenbezogenen Ausweisdaten weisen mit Vorteil das Geburtsdatum der Person und/oder das Geschlecht der Person und/oder den Namen der Person auf.It is very preferred that the additional ID data read includes ID-related ID data and/or personal ID data. The read out, ID card-related ID data can include at least an ID date, the type of ID card and/or the country issuing the ID card. The term “ID card date” means both an issue date and an expiry date of the ID card. The personal identification data read out advantageously shows the person's date of birth and/or the person's gender and/or the person's name.

Der Begriff „Funk“ meint vorzugsweise modulierte, elektromagnetische Wellen, welche vorzugsweise im Radiofrequenzbereich befindlich sind. Vorzugsweise handelt es sich bei dem Funk um RFID-Funk. Der Ausdruck „integrierter Schaltkreis“ meint bevorzugt eine auf einem Halbleitermaterial aufgebrachte elektronische Schaltung. Der integrierte Schaltkreis entspricht vorzugsweise dem Standard der internationalen Zivilluftfahrtorganisation (ICAO, International Civil Aviation Organization) mit der Bezeichnung „Doc 9303 Machine readable travel documents“. Vorzugsweise entspricht der integrierte Schaltkreis dem ICAO-Standard 9303 der Ausgabe 8 von 2021 oder jünger. Besonders vorzugsweise entspricht der integrierte Schaltkreis Teil 10 des ICAO-Standards 9303 der Ausgabe 8 oder jünger.The term “radio” preferably means modulated, electromagnetic waves, which are preferably in the radio frequency range. The radio is preferably RFID radio. The term “integrated circuit” preferably means an electronic circuit applied to a semiconductor material. The integrated circuit preferably corresponds to the International Civil Aviation Organization (ICAO) standard called “Doc 9303 Machine readable travel documents”. Preferably, the integrated circuit complies with ICAO Standard 9303 Edition 8 of 2021 or later. More preferably, the integrated circuit complies with Part 10 of ICAO Standard 9303 Edition 8 or later.

Es ist bevorzugt, dass der integrierte Schaltkreis eine Dateistruktur, insbesondere eine Dateistruktur gemäß Appendix E von Teil 10 des ICAO-Standards 9303 der Ausgabe 8 oder jünger, aufweist. Vorzugsweise umfasst die Dateistruktur des integrierten Schaltkreises wenigstens die Ordner EF.CardSecurity und/oder eMRTD Application. Mit Vorteil weist der Ordner eMRTD Application wenigstens einen der Ordner EF.DG1 bis EF.DG16 sowie EF.SOD auf.It is preferred that the integrated circuit has a file structure, in particular a file structure according to Appendix E of Part 10 of ICAO Standard 9303 Edition 8 or later. Preferably, the file structure of the integrated circuit includes at least the EF.CardSecurity and/or eMRTD Application folders. The eMRTD Application folder advantageously has at least one of the folders EF.DG1 to EF.DG16 and EF.SOD.

Der Begriff „Datum“ meint vorzugsweise ein Tagesdatum bzw. einen Zeitstempel einschließlich eines Tagesdatums. Der Zeitstempel kann beispielsweise die Coordinated Universal Time (UTC) sein und neben dem Datum auch noch Stunden, Minuten und Sekunden umfassen. Der Ausdruck „Gültigkeitsdatum“ meint vorzugsweise ein Datum, welches eine Gültigkeitsdauer des Ausweises, beispielsweise eine Gültigkeitsdauer eines Document Signer Zertifikates, mitbestimmt. Die Gültigkeitsdauer wird vorzugsweise durch ein Startdatum und/oder ein Enddatum und/oder eine Zeitdifferenz definiert. Das Enddatum entspricht zweckmäßigerweise der Addition aus dem Startdatum und der Zeitdifferenz. Das Gültigkeitsdatum kann sich explizit auf eine Gültigkeitsdauer des Ausweises beziehen und beispielsweise dem Datenfeld „Start of Validity“ entnommen sein. Das Gültigkeitsdatum kann einen impliziten Bezug zur Gültigkeitsdauer haben und beispielsweise der Nutzungsdauer eines kryptographischen Schlüssels des Ausweises, beispielsweise der „Private Key Usage Period“, entnommen sein.The term “date” preferably means a current date or a timestamp including a current date. The timestamp can, for example, be Coordinated Universal Time (UTC) and, in addition to the date, also include hours, minutes and seconds. The expression “validity date” preferably means a date which also determines the period of validity of the ID card, for example the period of validity of a document signer certificate. The period of validity is preferably defined by a start date and/or an end date and/or a time difference. The end date expediently corresponds to the addition of the start date and the time difference. The validity date can explicitly refer to the period of validity of the ID card and can, for example, be taken from the “Start of Validity” data field. The validity date can have an implicit reference to the period of validity and can, for example, be taken from the period of use of a cryptographic key of the ID card, for example the “Private Key Usage Period”.

Das Startdatum entstammt vorzugsweise dem Ordner EF.CardSecurity und/oder dem Order EF.SOD und weiter vorzugsweise dem jeweils darin befindlichen Ordner „Signed Data“. Der Ordner „Signed Data“ weist bevorzugt Document Signer Zertifikate (DS-Zertifikate) in dem Ordner „certificates“ auf. Mit Vorteil umfasst der Ordner „certificates“ das Startdatum, welches bevorzugt dem Datenfeld „Start of Validity“ zu entnehmen ist. Das Gültigkeitsdatum bzw. das Startdatum und/oder das Enddatum wird/werden vorzugsweise aus dem Ordner „certificates“, insbesondere aus dem Dateneintrag „Private Key Usage Period“ und besonders vorzugsweise aus dem Datenfeld „Not Before“ bzw. „Not After“ ausgelesen. Es ist möglich, dass das Gültigkeitsdatum bzw. das Startdatum bzw. das Enddatum direkt aus der Dateistruktur bzw. aus dem integrierten Schaltkreis bzw. aus dem Ausweis ausgelesen wird. Sowohl das Startdatum als auch das Enddatum der Gültigkeitsdauer des Ausweises sind ein Gültigkeitsdatum im Rahmen dieser Erfindung. Sowohl das Startdatum, das Enddatum und/oder ein daraus ermittelter Wert - beispielsweise der Mittelwert - kann vom Rechnersystem bzw. Schätzalgorithmus zur Schätzung eines Schätzwertes des Alters des Ausweisgesichtbildes herangezogen werden.The start date preferably comes from the EF.CardSecurity folder and/or the EF.SOD folder and more preferably from the “Signed Data” folder located therein. The “Signed Data” folder preferably has Document Signer certificates (DS certificates) in the “certificates” folder. The “certificates” folder advantageously includes the start date, which can preferably be found in the “Start of Validity” data field. The validity date or the start date and/or the end date is/are preferably read from the “certificates” folder, in particular from the “Private Key Usage Period” data entry and particularly preferably from the “Not Before” or “Not After” data field. It is possible for the validity date or the start date or the end date to be read directly from the file structure or from the integrated circuit or from the ID card. Both the start date and the end date of the validity period of the ID card are a validity date within the scope of this invention. Both the start date, the end date and/or a value determined therefrom - for example the mean value - can be used by the computer system or estimation algorithm to estimate an estimated value of the age of the ID card face image.

Besonders vorzugsweise ist das elektronisch, insbesondere mithilfe von Funk vom Lesegerät aus der Dateistruktur des integrierten Schaltkreises ausgelesene Gültigkeitsdatum das Startdatum aus dem Ordner „certificates“ der Ordner EF.CardSecurity und EF.SOD.Particularly preferably, the validity date read electronically, in particular with the help of radio, from the file structure of the integrated circuit by the reader is the start date from the “certificates” folder of the EF.CardSecurity and EF.SOD folders.

Besonders vorzugsweise umfassen die ausgelesenen, weiteren Ausweisdaten personenbezogene Ausweisdaten, wobei bevorzugt ist, dass die ausgelesenen personenbezogenen Ausweisdaten dem Vergleichsalgorithmus übergeben werden. Gemäß einer besonders bevorzugten Ausführungsform ermittelt das Rechnersystem bzw. der Vergleichsalgorithmus aus dem Ausweisgesichtsbild, dem Vergleichsgesichtsbild und/oder den weiteren Ausweisdaten das Geschlecht der Person und/oder das Geburtsdatum der Person und/oder den Namen der Person. Beispielsweise kann der Vorname aus den personenbezogenen Ausweisdaten dazu benutzt werden, um daraus das Geschlecht der zu identifizierenden Person abzuleiten. Mit Vorteil ermittelt das Rechnersystem bzw. der Vergleichsalgorithmus - insbesondere aus den weiteren Ausweisdaten - das Geburtsdatum der Person, um die altersabhängige Alterungsgeschwindigkeit bei dem Abgleich der Gesichtsbilder zu berücksichtigen. Es ist bevorzugt, dass das Rechnersystem bzw. der Vergleichsalgorithmus das Geschlecht der Person für den Abgleich der beiden Gesichtsbilder heranzieht, um geschlechtsbedingte Änderungswahrscheinlichkeiten bei den unterschiedlichen Gesichtspartien zu berücksichtigen. Vorzugsweise zieht das Rechnersystem bzw. der Vergleichsalgorithmus das ausstellende Land aus den ausweisbezogenen Ausweisdaten heran, um ethnisch bedingte Änderungswahrscheinlichkeiten zu berücksichtigen. Dies mag beispielsweise den Bartwuchs betreffen.Particularly preferably, the additional ID data read out includes personal ID data, it being preferred that the read out personal ID data is transferred to the comparison algorithm. According to a particularly preferred embodiment, the computer system or the comparison algorithm determines the gender of the person and/or the date of birth of the person and/or the name of the person from the ID facial image, the comparison facial image and/or the other ID data. For example, the first name from the personal ID data can be used to derive the gender of the person to be identified. The computer system or the comparison algorithm advantageously determines the person's date of birth - in particular from the other ID data - in order to take the age-dependent aging rate into account when comparing the facial images. It is preferred that the computer system or the comparison algorithm uses the gender of the person to compare the two facial images in order to take into account gender-related change probabilities in the different parts of the face. The computer system or the comparison algorithm preferably uses the issuing country from the ID card-related ID data in order to take ethnically-related change probabilities into account. This may concern, for example, beard growth.

Besonders vorzugsweise umfasst das Rechnersystem ein Länderregister bzw. ist das Rechnersystem mit einem Länderregister verbunden. Es ist bevorzugt, dass das Rechnersystem bzw. der Schätzalgorithmus auf das Länderregister zugreift, wenn das Ausstellungsdatum sich nicht in den ausgelesenen, weiteren Ausweisdaten befindet. Das Länderregister umfasst vorteilhafterweise länderspezifische Daten, wobei die länderspezifischen Daten vorzugsweise wenigstens eine länderspezifische allgemeine Gültigkeitsdauer von Ausweisen und/oder wenigstens einen länderspezifischen Altersschwellwert, der eine allgemeine Gültigkeitsdauer definiert, umfassen. Es ist ganz besonders bevorzugt, dass das Rechnersystem bzw. der Schätzalgorithmus aus einem ausgelesenen ausstellenden Land, einem ausgelesenen Ablaufdatum des Ausweises und einer betreffenden länderspezifischen allgemeinen Gültigkeitsdauern ein Ausstellungsdatum des Ausweises bzw. das Alter des Ausweisgesichtsbildes abschätzen kann. Bevorzugt zieht der Schätzalgorithmus die betreffende, länderspezifische, allgemeine Gültigkeitsdauer von dem Ablaufdatum ab, um das Ausstellungsdatum zu ermitteln. Für die Ermittlung der betreffenden, länderspezifischen allgemeinen Gültigkeitsdauer mag der Schätzalgorithmus ein ausgelesenes Geburtsdatum der zu identifizierenden Person sowie einen oder mehrere etwaige Altersschwellwerte heranziehen.Particularly preferably, the computer system includes a country register or the computer system is connected to a country register. It is preferred that the computer system or the estimation algorithm accesses the country register if the date of issue is not in the additional ID data that has been read out. The country register advantageously includes country-specific data, the country-specific data preferably comprising at least one country-specific general period of validity of ID cards and/or at least one country-specific age threshold that defines a general period of validity. It is particularly preferred that the computer system or the estimation algorithm can estimate an issue date of the ID card or the age of the ID facial image from a read-out issuing country, a read-out expiry date of the ID card and a relevant country-specific general validity period. The estimation algorithm preferably subtracts the relevant, country-specific, general validity period from the expiry date in order to determine the issue date. To determine the relevant country-specific general period of validity, the estimation algorithm may use a selected date of birth of the person to be identified and one or more possible age thresholds.

Gemäß einer besonders bevorzugten Ausführungsform weist das Rechnersystem bzw. der Vergleichsalgorithmus einen maschinellen Lernalgorithmus, vorzugsweise ein neuronales Netz und besonders vorzugsweise ein konvolutionales neuronales Netz auf. Der maschinelle Lernalgorithmus ist bzw. wird vorzugsweise darauf trainiert, als Eingabe die beiden Gesichtsbilder zu erhalten, um daraus das Ähnlichkeitsmaß zu ermitteln. Es ist möglich, dass der Vergleichsalgorithmus einen weiteren Algorithmus umfasst und zweckmäßig, dass der weitere Algorithmus mithilfe der personenbezogenen Ausweisdaten und/oder der ausweisbezogenen Ausweisdaten ein angepasstes Ähnlichkeitsmaß ermittelt. Vorzugsweise umfasst der Vergleichsalgorithmus zwei maschinelle Lernalgorithmen. Es ist von Vorteil, dass ein erster maschineller Lernalgorithmus zu jedem der beiden Gesichtsbilder einen Merkmalsvektor, insbesondere einen numerischen Vektor oder einen Bitstring, ausgibt. Es ist möglich, dass ein zweiter maschineller Lernalgorithmus darauf trainiert wird, aus den Merkmalsvektoren der beiden Gesichtsbilder das Ähnlichkeitsmaß zu bestimmen. Gemäß einer Ausführungsform übernimmt ein weiterer Algorithmus das Ähnlichkeitsmaß des zweiten maschinellen Lernalgorithmus und zieht zusätzlich personenbezogene Ausweisdaten und/oder ausweisbezogene Ausweisdaten heran, um ein angepasstes Ähnlichkeitsmaß zu bestimmen. Es ist hilfreich, dass der zweite maschinelle Lernalgorithmus aus dem Ähnlichkeitsmaß des ersten Lernalgorithmus mithilfe der personenbezogenen Ausweisdaten und/oder der ausweisbezogenen Ausweisdaten ein angepasstes Ähnlichkeitsmaß zu bestimmt.According to a particularly preferred embodiment, the computer system or the comparison algorithm has a machine learning algorithm, preferably a neural network and particularly preferably a convolutional neural network. The machine learning algorithm is or is preferably trained to receive the two facial images as input in order to determine the similarity measure. It is possible for the comparison algorithm to include a further algorithm and expediently for the further algorithm to determine an adapted similarity measure using the personal ID card data and/or the ID card-related ID data. Preferably the comparison algorithm comprises two machine learning algorithms. It is advantageous that a first machine learning algorithm outputs a feature vector, in particular a numerical vector or a bit string, for each of the two facial images. It is possible that a second machine learning algorithm is trained to determine the similarity measure from the feature vectors of the two facial images. According to one embodiment, a further algorithm adopts the similarity measure of the second machine learning algorithm and additionally uses personal ID data and/or ID-related ID data to determine an adapted similarity measure. It is helpful for the second machine learning algorithm to determine an adapted similarity measure from the similarity measure of the first learning algorithm using the personal ID card data and/or the ID card-related ID card data.

Das Ähnlichkeitsmaß ist vorzugsweise ein eindimensionaler Score, wobei der eindimensionale Score besonders beispielsweise eine Skala von 0 bis 1 besitzt. Gemäß einer bevorzugten Ausführungsform bildet das Rechnersystem bzw. der Vergleichsalgorithmus mehrere Ähnlichkeitsmerkmale in dem Ähnlichkeitsmaß ab. Ein Ähnlichkeitsmerkmal mag beispielsweise die Augen betreffen, während ein weiteres Ähnlichkeitsmerkmale sich auf die Mundpartie bezieht. Es ist von Vorteil, dass das Ähnlichkeitsmaß bzw. der Score wenigstens einen Schwellwert umfasst, wobei der wenigstens eine Schwellwert einen Bereich „Personenidentität/keine Manipulation“ des Ähnlichkeitsmaßes von einem Bereich „keine Personenidentität/Manipulation“ trennt. Es ist möglich, dass das Ähnlichkeitsmaß einen zweiten Schwellwert umfasst, wobei der zweite Schwellwert gemeinsam mit dem ersten Schwellwert einen Zwischenbereich definiert, wobei der Zwischenbereich zwischen dem Bereich „Personenidentität/keine Manipulation“ und „keine Personenidentität/Manipulation“ liegt.The similarity measure is preferably a one-dimensional score, the one-dimensional score particularly having a scale from 0 to 1, for example. According to a preferred embodiment, the computer system or the comparison algorithm maps several similarity features in the similarity measure. For example, one similarity feature may relate to the eyes, while another similarity feature relates to the mouth area. It is advantageous that the similarity measure or the score comprises at least one threshold value, wherein the at least one threshold value separates a “personal identity/no manipulation” area of the similarity measure from a “no personal identity/manipulation” area. It is possible for the similarity measure to comprise a second threshold value, wherein the second threshold value defines an intermediate range together with the first threshold value, wherein the intermediate range lies between the area “personal identity/no manipulation” and “no personal identity/manipulation”.

Vorzugsweise ermittelt der Vergleichsalgorithmus über das Ähnlichkeitsmaß bzw. den Score die Wahrscheinlichkeit, mit der das Ausweisgesichtsbild der Manipulation unterworfen wurde. Es ist möglich, dass der Vergleichs-algorithmus über das Ähnlichkeitsmaß bzw. den Score die Wahrscheinlichkeit ermittelt, mit der das Vergleichsbild der Manipulation unterworfen wurde. Die Überprüfung des Vergleichsbildes bezieht sich insbesondere auf den dritten Anwendungsfall.The comparison algorithm preferably uses the similarity measure or score to determine the probability with which the ID facial image was subjected to manipulation. It is possible that the comparison algorithm uses the similarity measure or score to determine the probability with which the comparison image was subjected to manipulation. The review of the comparison image relates in particular to the third application case.

Mit Vorteil sind das Lesegerät und die Kamera Bestandteile einer Vorrichtung zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern, wobei die Vorrichtung vorzugsweise als Durchgangssystem ausgebildet ist, wobei das Durchgangssystem bevorzugt wenigstens eine Tür aufweist. Es ist sehr bevorzugt, dass die Tür geöffnet wird, sofern der Vergleichsalgorithmus einen Wert des Ähnlichkeitsmaßes in den Bereich „Personenidentität/keine Manipulation“ einsortiert hat. Es ist möglich, dass ein Alarm, insbesondere ein stiller Alarm, ausgelöst wird, wenn der Vergleichsalgorithmus den Wert des Ähnlichkeitsmaßes in den Bereich „keine Personenidentität/Manipulation“ einsortiert. Es liegt im Rahmen der Erfindung, dass im Falle der Einsortierung des Wertes des Ähnlichkeitsmaßes in den Zwischenbereich die beiden Gesichtsbilder einer kontrollierenden Person, beispielsweise einer kontrollierenden Person in einer Leitstelle, angezeigt werden.The reading device and the camera are advantageously components of a device for authenticating a person based on facial images and/or for detecting manipulation of facial images, the device preferably being designed as a passage system, the passage system preferably having at least one door. It is highly preferred that the door is opened provided that the comparison algorithm has sorted a value of the similarity measure into the “personal identity/no manipulation” range. It is possible that an alarm, especially a silent alarm, is triggered if the comparison algorithm sorts the value of the similarity measure into the “no personal identity/manipulation” range. It is within the scope of the invention that if the value of the similarity measure is sorted into the intermediate area, the two facial images of a controlling person, for example a controlling person in a control center, are displayed.

Die wenigstens eine Tür des Durchgangssystems ist vorzugsweise als Schwenktür ausgebildet. Bevorzugt umfasst das Durchgangssystem eine Eingangstür und eine Ausgangstür. Mit Vorteil weist das Durchgangssystem zwei Seitenbegrenzungen auf, welche gemeinsam mit der wenigstens einen Tür bzw. der Ausgangstür bzw. der Eingangs- und/oder der Ausgangstür einen kontrollierten Durchgangsbereich bilden. Es ist bevorzugt, dass die Eingangstür sich öffnet, sobald das Ausweisgesichtsbild und die weiteren Ausweisdaten vom Ausweis ausgelesen wurden. Bevorzugt schließt sich die Eingangstür, sobald die zu identifizierende Person die Eingangstür passiert hat, so dass sich vorteilhafterweise nur eine zu identifizierende Person in den Durchgangsbereich aufhält. Gemäß einer sehr bevorzugten Ausführungsform ist die Kamera an der Ausgangstür und insbesondere an einem schwenkbaren Türflügel der Ausgangstür angeordnet.The at least one door of the passage system is preferably designed as a swing door. The passage system preferably includes an entrance door and an exit door. The passage system advantageously has two side boundaries, which together with the at least one door or the exit door or the entrance and/or the exit door form a controlled passage area. It is preferred that the entrance door opens as soon as the ID facial image and the other ID data have been read from the ID card. The entrance door preferably closes as soon as the person to be identified has passed the entrance door, so that advantageously only one person to be identified is in the passage area. According to a very preferred embodiment, the camera is arranged on the exit door and in particular on a pivoting door wing of the exit door.

Es ist sehr bevorzugt, dass das Rechnersystem bzw. der Vergleichsalgorithmus ausgebildet ist/sind bzw. dazu verwendet wird/werden, eine Manipulationsdetektion und insbesondere eine Morphing Attack Detection durchzuführen. Die Manipulationsdetektion kann so ausgebildet sein, dass betrügerische und nicht-betrügerische Manipulationen detektiert werden. Mit Vorteil kann die Manipulationsdetektion verschiedene, betrügerische Manipulationen erfassen, worunter neben Morphingattacken z. B. noch Adversarial Attacks fallen können.It is very preferred that the computer system or the comparison algorithm is/are designed or is/are used to carry out manipulation detection and in particular morphing attack detection. The manipulation detection can be designed in such a way that fraudulent and non-fraudulent manipulations are detected. Manipulation detection can advantageously detect various fraudulent manipulations, including morphing attacks, for example. B. adversarial attacks can still occur.

Es ist möglich, dass das Rechnersystem einen Gesichtsalterungssimulator umfasst bzw. mit einem Gesichtsalterungssimulator verbunden ist. Mit Vorteil stellt das Rechnersystem bzw. der Schätzalgorithmus bzw. der Vergleichsalgorithmus dem Gesichtsalterungssimulator das Ausweisgesichtsbild und den Schätzwert des Alters des Ausweisgesichtsbildes zur Verfügung, woraufhin der Gesichtsalterungssimulator eine Gesichtsalterungssimulation des Ausweisgesichtsbildes durchführt. Es ist sehr bevorzugt, dass der Gesichtsalterungssimulator das simulierte und gealterte Ausweisgesichtsbild dem Vergleichsalgorithmus zur Verfügung stellt, woraufhin der Vergleichsalgorithmus zweckmäßigerweise das simulierte, gealterte Ausweisgesichtsbild mit dem Vergleichsgesichtsbild abgleicht. Hierdurch kann insbesondere der Zwischenbereich des Ähnlichkeitsmaßes verkleinert werden, so dass weniger indifferente Ergebnisse vorliegen.It is possible that the computer system includes a facial aging simulator or is connected to a facial aging simulator. The computer system or the estimation algorithm or the comparison algorithm advantageously provides the ID facial image and the estimated value of the age of the ID facial image to the facial aging simulator, whereupon the facial aging simulator carries out a facial aging simulation of the ID facial image. It is highly preferred that the facial aging simulator provides the simulated and aged ID facial image to the comparison algorithm, whereupon the comparison algorithm conveniently matches the simulated aged ID facial image with the comparison facial image. In this way, in particular, the intermediate range of the similarity measure can be reduced, so that fewer indifferent results are available.

Die eingangs genannte Aufgabe wird gelöst durch eine Vorrichtung zur Authentifizierung einer Person anhand von Gesichtsbildern und/oder zur Manipulationsdetektion bei Gesichtsbildern, insbesondere zur Durchführung eines erfindungsgemäßen Verfahrens, wobei die Vorrichtung ausgebildet ist, ein Ausweisgesichtsbild eines Ausweises einer zu identifizierenden Person heranzuziehen, wobei die Vorrichtung ein Rechnersystem umfasst, wobei das Rechnersystem ausgebildet ist, eine Beurteilung vorzunehmen, ob bzw. inwieweit das Ausweisgesichtsbild und ein Vergleichsgesichtsbild übereinstimmen, wobei das Rechnersystem einen Vergleichsalgorithmus aufweist, wobei der Vergleichsalgorithmus ausgebildet ist, einen Abgleich des Ausweisgesichtsbildes und des Vergleichsgesichtsbildes durchzuführen, wobei der Abgleich die Grundlage der Beurteilung darstellt, wobei die Beurteilung in einem Ähnlichkeitsmaß abgebildet wird, wobei die Vorrichtung ausgebildet ist, neben dem Ausweisgesichtsbild weitere Ausweisdaten des Ausweises heranzuziehen, wobei das Rechnersystem ausgebildet ist, die weiteren Ausweisdaten so zu nutzen, dass diese einen Wert des Ähnlichkeitsmaßes beeinflussen können, wobei die Vorrichtung ausgebildet ist, dass das Lesegerät die weiteren Ausweisdaten elektronisch, insbesondere mithilfe von Funk ausliest, wobei die weiteren Ausweisdaten ein Gültigkeitsdatum umfassen und aus einem integrierten Schaltkreis des Ausweises ausgelesen werden.The task mentioned at the outset is achieved by a device for authenticating a person based on facial images and/or for detecting manipulation of facial images, in particular for carrying out a method according to the invention, wherein the device is designed to use an ID facial image of an ID card of a person to be identified, the device a computer system, wherein the computer system is designed to carry out an assessment of whether or to what extent the ID facial image and a comparison facial image match, the computer system having a comparison algorithm, the comparison algorithm being designed to carry out a comparison of the ID facial image and the comparison facial image, the comparison represents the basis of the assessment, the assessment being depicted in a similarity measure, the device being designed to use further ID card data from the ID card in addition to the ID card facial image, the computer system being designed to use the further ID card data in such a way that they influence a value of the similarity measure can, whereby the device is designed so that the reading device reads out the further identification data electronically, in particular using radio, the further identification data including a validity date and can be read from an integrated circuit in the ID card.

Es ist bevorzugt, dass die Vorrichtung ein Lesegerät umfasst, wobei das Lesegerät ausgebildet ist, das Ausweisgesichtsbild des Ausweises der zu identifizierenden Person maschinell auszulesen. Gemäß einer Ausführungsform kann die Vorrichtung das Ausweisgesichtsbild heranziehen, indem es aus einer Dateimenge geladen wird.It is preferred that the device comprises a reading device, wherein the reading device is designed to automatically read the ID facial image of the ID card of the person to be identified. According to one embodiment, the device may obtain the ID facial image by loading it from a set of files.

Die eingangs genannte Aufgabe wird gelöst durch eine Verwendung des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung in einer öffentlichen und insbesondere staatlichen Einrichtung, insbesondere Verwendung des Verfahrensschritts der Erfassung eines Vergleichsgesichtsbildes, vorzugsweise in einer Einrichtung des internationalen Verkehrs, beispielsweise in einem Flughafen, einer Botschaft, einem Konsulat und/oder einem Seehafen, weiter vorzugsweise in einem Sicherungsbereich eines Flughafens zwischen einer Landseite und einer Luftseite des Flughafens.The task mentioned at the outset is achieved by using the method according to the invention or the device according to the invention in a public and in particular government facility, in particular using the method step of acquiring a comparison facial image, preferably in an international transport facility, for example in an airport, an embassy, a consulate and/or a seaport, more preferably in a security area of an airport between a landside and an airside of the airport.

Die eingangs genannte Aufgabe wird gelöst durch eine Verwendung des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung in einem privaten Bereich oder öffentlichen, beispielsweise staatlichen Bereich, insbesondere Verwendung des Verfahrensschritts der Erfassung eines Vergleichsgesichtsbildes, vorzugsweise zur Überprüfung von Personen am Außenbereich bzw. der Außengrenze von Bereichen mit Zugangsbeschränkungen.The task mentioned at the outset is achieved by using the method according to the invention or the device according to the invention in a private area or public, for example governmental, area, in particular using the method step of recording a comparison facial image, preferably for checking people on the outside area or the external border of areas with access restrictions.

Durch die Erfassung der Daten wird eine Altersschätzung ermöglicht, welche wiederum bei einer Zugangsbeschränkung ausgeprägt als Alter der Person erforderlich ist. Hierbei kann der altersabhängige Zugang beschränkt werden, beispielsweise bei öffentlichen und/oder privatwirtschaftlichen Veranstaltungen, wie ein Kinobesuch, Casinobesuch, Theaterbesuch, Konzertbesuch oder dergleichen.By collecting the data, an age estimate is made possible, which in turn is required as the person's age if access is restricted. Age-dependent access can be restricted, for example at public and/or private events, such as a visit to the cinema, a casino, a visit to the theater, a concert or the like.

Nachfolgend werden zwei Ausführungsbeispiele der Erfindung anhand von drei Figuren erläutert. Es zeigen in schematischer Darstellung

1 eine perspektivische Ansicht eines ersten Ausführungsbeispiels der erfindungsgemäßen Vorrichtung,
2 eine perspektivische Ansicht eines zweiten Ausführungsbeispiels der erfindungsgemäßen Vorrichtung und
3 ein Blockdiagramm des erfindungsgemäßen Verfahrens.

Two exemplary embodiments of the invention are explained below using three figures. Show it in a schematic representation

1 a perspective view of a first exemplary embodiment of the device according to the invention,
2 a perspective view of a second embodiment of the device according to the invention and
3 a block diagram of the method according to the invention.

Das erste Ausführungsbeispiel aus 1 kann in einem Sicherheitsbereich eines Flughafens angeordnet sein und ermöglicht dort die vorzugsweise vollautomatische Ausweiskontrolle. Hierzu umfasst die Vorrichtung vorzugsweise ein Lesegerät 1 zum Auslesen von Ausweisen 3 und vorzugsweise eine Kamera 6 zum Erfassen von Vergleichsgesichtsbildern 5 von zu identifizierenden Personen 4. Bevorzugt weist die Vorrichtung eine Eingangstür 17 auf, die sich vorzugsweise öffnet, sobald der Ausweis 3 von einer zu identifizierenden Person 4 ausgelesen wurde. Der Ausweis 3 umfasst u. a. ein Ausweisgesichtsbild 2, welches bevorzugt von dem Lesegerät 1 vorzugsweise elektronisch, insbesondere mithilfe von Funk, insbesondere durch RFID-Technologie, aus dem Ausweis 3 ausgelesen wird.The first exemplary embodiment 1 can be arranged in a security area of an airport and enables the preferably fully automatic ID check there. For this purpose, the device preferably comprises a reading device 1 for reading ID cards 3 and preferably a camera 6 for capturing comparison facial images 5 of people 4 to be identified. The device preferably has an entrance door 17, which preferably opens as soon as the ID card 3 is closed identifying person 4 was read out. The ID card 3 includes, among other things, an ID card facial image 2, which is preferably read from the ID card 3 by the reading device 1, preferably electronically, in particular using radio, in particular using RFID technology.

Die zu identifizierende Person 4 mag dann ein Inneres der Vorrichtung betreten, woraufhin sich mit Vorteil die Eingangstür 17 wieder schließt. Die Vorrichtung dieses Ausführungsbeispiels umfasst eine Ausgangstür 18, welche vorzugsweise als Schwenktür ausgebildet ist und die Kamera 6 trägt. Die Kamera 6 ist mit Vorteil automatisch höhenverstellbar und passt sich der Größe der zu identifizierenden Person 4 an. Zweckmäßigerweise ist die Vorrichtung so ausgebildet, dass die Kamera 6 ein Vergleichsgesichtsbild 5 der zu identifizierenden Person 4 aufnimmt. Sofern die Vorrichtung eine hinreichende Übereinstimmung zwischen dem Vergleichsgesichtsbild 5 und dem Ausweisgesichtsbild 2 feststellt, öffnet sich in diesem Ausführungsbeispiel die Ausgangstür 18, wodurch die Ausweiskontrolle abgeschlossen ist und die zu identifizierenden Person 4 die Vorrichtung hinter sich lassen kann. Zweckmäßigerweise schließt sich dann die Ausgangstür 18, wodurch die Vorrichtung bereit für die nächste Ausweiskontrolle ist.The person 4 to be identified may then enter the interior of the device, whereupon the entrance door 17 advantageously closes again. The device of this exemplary embodiment includes an exit door 18, which is preferably designed as a swing door and carries the camera 6. The camera 6 is advantageously automatically height-adjustable and adapts to the size of the person 4 to be identified. The device is expediently designed in such a way that the camera 6 records a comparison facial image 5 of the person 4 to be identified. If the device detects a sufficient match between the comparison facial image 5 and the ID facial image 2, the exit door 18 opens in this exemplary embodiment, whereby the ID check is completed and the person 4 to be identified can leave the device behind. The exit door 18 then expediently closes, whereby the device is ready for the next ID check.

Das zweite, erfindungsgemäße Ausführungsbeispiel aus 2 betrifft nicht die vollautomatische, sondern die teilautomatische Kontrolle an einem Identifikationsschalter 19 in Form eines Grenzkontrollschalters. Die zu identifizierende Person 4 dieses Ausführungsbeispiels tritt an den Identifikationsschalter 19 heran und übergibt der kontrollierenden Person in dem Identifikationsschalter 19 das Identifikationsdokument. Die kontrollierende Person lässt vorzugsweise das Identifikationsdokument von einem in 2 nicht dargestellten Lesegerät 1 auslesen, wodurch das Ausweisgesichtsbild 2 sowie die weiteren Ausweisdaten 9 erfasst werden. Währenddessen mag die zu identifizierende Person 4 bevorzugt an eine Kamera 6 herantreten, welche ein aktuelles Vergleichsgesichtsbild 5 der zu identifizierenden Person 4 aufnimmt. Ein nicht in 2 dargestelltes Rechnersystem 7 bzw. dessen Vergleichsalgorithmus 8 vergleicht die beiden Gesichtsbilder 2, 5 miteinander. Gleichzeitig kann die kontrollierende Person das Ausweisgesichtsbild 2 manuell mit dem aktuellen Vergleichsbild 5 oder auch mit der vor ihr stehenden, zu identifizierenden Person 4 vergleichen, um das Resultat der Beurteilung durch das Rechnersystem 7 zu bestätigen bzw. zu bewerten. Demzufolge erlaubt die teilautomatische Kontrolle insbesondere die menschliche Rückmeldung, mit welcher der Vergleichsalgorithmus 8 trainiert werden kann. Darüber hinaus liegt ein Vorteil der teilautomatischen Kontrolle darin, dass sich menschliche und artifizielle Gesichtserkennung gegenseitig ergänzen können.The second exemplary embodiment according to the invention 2 does not concern the fully automatic, but rather the semi-automatic control at an identification switch 19 in the form of a border control switch. The person to be identified 4 of this exemplary embodiment approaches the identification switch 19 and hands over the identification document to the checking person in the identification switch 19. The checking person preferably has the identification document issued by an in 2 Read out the reader 1, not shown, whereby the ID facial image 2 and the other ID data 9 are recorded. Meanwhile, the person to be identified 4 may preferably approach a camera 6, which records a current comparison facial image 5 of the person 4 to be identified. A not in 2 The computer system 7 shown or its comparison algorithm 8 compares the two facial images 2, 5 with each other. At the same time, the person checking can manually compare the ID facial image 2 with the current comparison image 5 or with the person to be identified 4 standing in front of them in order to determine the result of the assessment by the To confirm or evaluate computer system 7. As a result, the semi-automatic control allows, in particular, human feedback with which the comparison algorithm 8 can be trained. Another advantage of semi-automatic control is that human and artificial facial recognition can complement each other.

In 3 ist das Verfahren des Ausführungsbeispiels dieser Erfindung in einem Blockdiagramm schematisch abgebildet. Der Ausweis 3 der zu identifizierenden Person 4 umfasst neben dem Ausweisgesichtsbild 2 noch weitere Ausweisdaten 9. Die weiteren Ausweisdaten 9 umfassen insbesondere ausweisbezogene Ausweisdaten 15 sowie personenbezogene Ausweisdaten 16. Die Gruppe der personenbezogenen Ausweisdaten 16 weist insbesondere das Geburtsdatum, den Namen und/oder das Geschlecht der zu identifizierenden Person 4 auf. Die ausweisbezogenen Ausweisdaten 15 mögen wenigstens ein Ausweisdatum, die Art des Ausweises und/oder das ausstellende Land des Ausweises umfassen. Das wenigstens eine Ausweisdatum kann ein Ausstellungsdatum und/oder ein Ablaufdatum des Ausweises sein.In 3 the method of the embodiment of this invention is shown schematically in a block diagram. The ID 3 of the person to be identified 4 includes, in addition to the ID facial image 2, further ID data 9. The other ID data 9 includes, in particular, ID-related ID data 15 as well as personal ID data 16. The group of personal ID data 16 has in particular the date of birth, the name and / or the gender of the person to be identified 4. The ID-related ID data 15 may include at least an ID date, the type of ID and/or the country issuing the ID. The at least one ID card date can be an issue date and/or an expiry date of the ID card.

Das mit der Kamera 6 aufgenommene Vergleichsbild 5 wird zweckmäßigerweise einem Rechnersystem 7 der Vorrichtung übergeben. Das Rechnersystem 7 mag aus einem oder mehreren Rechnern bzw. Recheneinheiten bestehen. Das Rechnersystem 7 umfasst einen Vergleichsalgorithmus 8 und vorzugsweise einen Schätzalgorithmus 10. In diesem Ausführungsbeispiel umfasst das Rechnersystem 7 ein Länderregister 12, welches länderspezifische Daten umfasst. Mit Vorteil weist das Rechnersystem 7 einen Gesichtsalterungssimulator 14 auf. Die einzelnen Elemente 8, 10, 12, 14 das Rechnersystems 7 können einzelnen Rechnern bzw. Recheneinheiten zugeordnet sein oder aber sich auf zwei oder mehr Rechner bzw. Recheneinheiten erstrecken. So kann beispielsweise der Vergleichsalgorithmus 8 in zwei oder mehr Teile aufteilbar sein, welche sich auf zwei oder mehr Rechner befinden. Auf einem Rechner können mehrere oder alle Elemente 8, 10, 12, 14 befindlich sein Es ist möglich, dass das Rechnersystem 7 lediglich aus einem Rechner besteht. Insbesondere ist von Vorteil, dass das Rechnersystem 7 teilweise oder gänzlich einem zentralen Server zugeordnet ist, welcher seine Rechenleistung einer Vielzahl von Vorrichtungen, beispielsweise Vorrichtungen nach 1, zur Verfügung stellt.The comparison image 5 recorded with the camera 6 is expediently transferred to a computer system 7 of the device. The computer system 7 may consist of one or more computers or computing units. The computer system 7 includes a comparison algorithm 8 and preferably an estimation algorithm 10. In this exemplary embodiment, the computer system 7 includes a country register 12, which includes country-specific data. The computer system 7 advantageously has a facial aging simulator 14. The individual elements 8, 10, 12, 14 of the computer system 7 can be assigned to individual computers or computing units or can extend to two or more computers or computing units. For example, the comparison algorithm 8 can be divided into two or more parts, which are located on two or more computers. Several or all elements 8, 10, 12, 14 can be located on a computer. It is possible that the computer system 7 consists of only one computer. It is particularly advantageous that the computer system 7 is partially or entirely assigned to a central server, which distributes its computing power to a large number of devices, for example devices 1 , provides.

Der Vergleichsalgorithmus 8 bzw. das Rechnersystem 7 gibt nach dem Abgleich des Ausweisgesichtsbildes 2 mit dem Vergleichsgesichtsbild 5 ein Ähnlichkeitsmaß 13 aus. Das Ähnlichkeitsmaß gibt vorzugsweise an, ob bzw. inwieweit die jeweils in dem Ausweisgesichtsbild 2 und dem Vergleichsgesichtsbild 5 dargestellte Person identisch sind bzw. ob/inwieweit eine Bildmanipulation vorliegt. Das Ähnlichkeitsmaß kann mehrdimensional sein und mehrere Parameter umfassen. Die mehreren Parameter können sich beispielsweise auf die verschiedenen Gesichtspartien beziehen. Beispielsweise mag ein erster Parameter die Ähnlichkeit zwischen den Augenpartien abbilden, während ein weiterer Parameter die Mundpartien miteinander vergleicht. Besonders vorzugsweise ist das von dem Rechnersystem 7 bzw. dem Vergleichsalgorithmus 8 ausgegebene Ähnlichkeitsmaß 13 ein eindimensionaler Parameter und damit ein Score. Der Score ist vorzugsweise aus der Mehrzahl Parametern gebildet, wozu die Parameter bevorzugt gewichtet in den Score einfließen. Der Score kann insbesondere eine Ähnlichkeitswahrscheinlichkeit von 0 bis 1 abbilden, so dass im Falle eines Scores von 1 praktisch zwei identische Gesichtsbilder vorliegen. Bei einem Score von 0 hingegen wäre auf den ersten Blick erkennbar, dass die in den beiden Gesichtsbildern 2, 5 gezeigten Personen unterschiedliche Personen sind. Der Score kann auch die Manipulationswahrscheinlichkeit dergestalt ausdrücken, dass z. B. bei einem Wert von 0 (oder 1) mit Sicherheit keine Manipulation vorliegt, während bei 1 (oder 0) mit Sicherheit eine Manipulation gegeben ist. Der Score kann außerdem beide Parameter (Ähnlichkeitswahrscheinlichkeit und Manipulationswahrscheinlichkeit) in sich vereinen.The comparison algorithm 8 or the computer system 7 outputs a similarity measure 13 after comparing the ID facial image 2 with the comparison facial image 5. The similarity measure preferably indicates whether or to what extent the person depicted in the ID facial image 2 and the comparison facial image 5 are identical or whether/to what extent there is image manipulation. The similarity measure can be multidimensional and include several parameters. The multiple parameters can, for example, relate to the different parts of the face. For example, a first parameter may represent the similarity between the eye areas, while another parameter compares the mouth areas with each other. Particularly preferably, the similarity measure 13 output by the computer system 7 or the comparison algorithm 8 is a one-dimensional parameter and thus a score. The score is preferably formed from a plurality of parameters, for which purpose the parameters are preferably weighted and included in the score. The score can in particular represent a similarity probability of 0 to 1, so that in the case of a score of 1 there are practically two identical facial images. With a score of 0, however, it would be obvious at first glance that the people shown in the two facial images 2, 5 are different people. The score can also express the probability of manipulation in such a way that e.g. For example, a value of 0 (or 1) definitely means there is no manipulation, while a value of 1 (or 0) definitely means manipulation. The score can also combine both parameters (probability of similarity and probability of manipulation).

Es ist möglich, dass das Ähnlichkeitsmaß bzw. der Score wenigstens einen Schwellwert umfasst, der einen Bereich „Personenidentität/keine Manipulation“ und einen Bereich „keine Personenidentität/Manipulation“ voneinander trennt. Zweckmäßigerweise umfasst das Ähnlichkeitsmaß wenigstens zwei Schwellwerte, welche neben den Bereichen „Personenidentität/keine Manipulation“ und „keine Personenidentität/Manipulation“ noch einen Zwischenbereich definieren, welcher zwischen dem Zwischenbereich „Personenidentität/keine Manipulation“ und „keine Personenidentität/Manipulation“ liegt. Dieser dritte Bereich markiert demzufolge eine Art Graubereich und damit die bewusste Vermeidung einer eindeutigen Aussage des Rechnersystems 7 bzw. des Vergleichsalgorithmus 8.It is possible for the similarity measure or score to include at least one threshold value that separates a “personal identity/no manipulation” area from a “no personal identity/manipulation” area. The similarity measure expediently comprises at least two threshold values which, in addition to the areas “personal identity/no manipulation” and “no personal identity/manipulation”, also define an intermediate area which lies between the intermediate area “personal identity/no manipulation” and “no personal identity/manipulation”. This third area therefore marks a kind of gray area and thus the conscious avoidance of a clear statement from the computer system 7 or the comparison algorithm 8.

Den drei Bereichen des Ähnlichkeitsmaßes 13 sind zweckmäßigerweise verschiedene Reaktionen der Vorrichtung dieses Ausführungsbeispiels zugeordnet. Vorteilhafterweise öffnet sich die Ausgangstür 18 immer dann, wenn das Rechnersystem 7 bzw. der Vergleichsalgorithmus 8 das Ähnlichkeitsmaß in den Bereich „Personenidentität/keine Manipulation“ einsortiert hat. Bei einer Zuordnung zu dem Zwischenbereich mag es vorteilhaft sein, dass einer kontrollierenden Person, beispielsweise in einer Leitstelle, auf einem Monitor die beiden Gesichtsbilder 2, 5 zum Vergleich angezeigt werden. Die kontrollierende Person kann dann die Ausgangstür 18 manuell öffnen, wenn sie der Meinung ist, dass es sich bei den in den beiden Gesichtsbildern 2, 5 gezeigten Gesichtern um dieselbe Person handelt. Ist hingegen die kontrollierende Person der Auffassung, dass es sich möglicherweise nicht um dieselbe Person handelt, so kann Sie beispielsweise einen Grenzkontrollbeamten zu der in 1 gezeigten Vorrichtung schicken, um den Sachverhalt aufzuklären. Im Falle der Einsortierung in den Bereich „keine Personenidentität/Manipulation“ kann es sein, dass die Vorrichtung aus 1 ein, vorzugsweise stilles, Alarmsignal an alle, an der Vorrichtung zugeordneten Grenzkontrollbeamten ausgibt. Gleichzeitig mögen die beiden Gesichtsbilder 2, 5 auch der kontrollierenden Person in der Leitstelle zur Verfügung gestellt werden.The three areas of the similarity measure 13 are expediently assigned different reactions of the device of this exemplary embodiment. Advantageously, the exit door 18 always opens when the computer system 7 or the comparison algorithm 8 has sorted the similarity measure into the “personal identity/no manipulation” area. When assigning to the intermediate area, it may be advantageous for a controlling person, for example in a control center, to see the two on a monitor Facial images 2, 5 are displayed for comparison. The person checking can then open the exit door 18 manually if he or she is of the opinion that the faces shown in the two facial images 2, 5 are the same person. However, if the person checking is of the opinion that they may not be the same person, they can, for example, send a border control officer to the person in question 1 Send the device shown to clarify the matter. If it is sorted into the “no personal identity/manipulation” area, the device may be out of order 1 issues a, preferably silent, alarm signal to all border control officers assigned to the device. At the same time, the two facial images 2, 5 may also be made available to the controlling person in the control center.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass aus dem Ausweis 3 nicht nur das Ausweisgesichtsbild 2 herangezogen wird, sondern darüber hinaus auch noch die weiteren Ausweisdaten 9. Besonders vorzugsweise umfassen die ausgelesenen weiteren Ausweisdaten 9 bzw. die ausweisbezogenen Ausweisdaten 15 ein Ausweisdatum. Besonders vorzugsweise ist das Ausweisdatum ein Ausstellungsdatum oder ein Ablaufdatum. Wenn die Vorrichtung und insbesondere das Lesegerät 1 oder ein weiteres Lesegerät das Ausstellungsdatum direkt aus dem Ausweis 3 auslesen kann, so wird das Ausstellungsdatum als Bestandteil der ausweisbezogenen Ausweisdaten 15 dem Schätzalgorithmus 10 zur Verfügung gestellt. Der Schätzalgorithmus 10 ist vorzugsweise ausgebildet, das Alter des Ausweisgesichtsbildes 2 abzuschätzen und einen Schätzwert 11 des Alters des Ausweisgesichtsbildes 2 dem Vergleichsalgorithmus 8 zur Verfügung zu stellen. Sollte beispielsweise den ausweisbezogenen Ausweisdaten 15 zwar das Ausstellungsdatum zu entnehmen sein, so kann der Schätzalgorithmus 10 das Alter des Ausweisgesichtsbildes 2 näherungsweise auf das Ausstellungsdatum festsetzen.The method according to the invention is characterized in that not only the ID facial image 2 is used from the ID card 3, but also the further ID card data 9. Particularly preferably, the read out further ID card data 9 or the ID card-related ID data 15 include an ID card date. The ID date is particularly preferably an issue date or an expiration date. If the device and in particular the reading device 1 or another reading device can read the issue date directly from the ID card 3, the issue date is made available to the estimation algorithm 10 as part of the ID card-related ID data 15. The estimation algorithm 10 is preferably designed to estimate the age of the ID facial image 2 and to provide an estimate 11 of the age of the ID facial image 2 to the comparison algorithm 8. For example, if the issue date can be found in the ID card-related ID data 15, the estimation algorithm 10 can set the age of the ID facial image 2 approximately to the issue date.

Der Schätzwert 11 des Alters des Ausweisgesichtsbildes 2 wird zweckmäßigerweise neben den beiden Gesichtsbildern 2, 5 dem Vergleichsalgorithmus 8 zur Verfügung gestellt, wodurch der Vergleichsalgorithmus 8 präzisere Aussagen treffen kann. Handelt es sich beispielsweise um ein recht hohes Alter des Ausweisgesichtsbildes 2 und liegen aufgrund dieses hohen Alters viele Unterschiede zwischen den beiden Gesichtsbildern 2,5 vor, so würde der Vergleichsalgorithmus 8 ohne den Schätzwert 11 unter Umständen zu der Aussage kommen, dass es sich bei den beiden Gesichtern der Gesichtsbilder 2, 5 um unterschiedliche Personen handelt. Wenn aber der Schätzwert 11 ein hohes Alter des Ausweisgesichtsbildes 2 meldet, so hat dies vorzugsweise einen Einfluss auf die Beurteilungskriterien des Vergleichsalgorithmus 8. Beispielsweise kann sich der Bereich „keine Personenidentität/Manipulation“ des Ähnlichkeitsmaßes 13 verkleinern, während sich der Zwischenbereich entsprechend vergrößert, wodurch die Beurteilung des Vergleichsalgorithmus 8 insgesamt toleranter wird.The estimated value 11 of the age of the ID facial image 2 is expediently made available to the comparison algorithm 8 in addition to the two facial images 2, 5, whereby the comparison algorithm 8 can make more precise statements. For example, if the ID facial image 2 is quite old and there are many differences between the two facial images 2.5 due to this high age, the comparison algorithm 8 would possibly come to the conclusion that without the estimated value 11 Both faces of the facial images 2, 5 are different people. However, if the estimated value 11 reports an old age of the ID facial image 2, this preferably has an influence on the assessment criteria of the comparison algorithm 8. For example, the area “no personal identity/manipulation” of the similarity measure 13 can decrease, while the intermediate area increases accordingly, whereby the assessment of the comparison algorithm 8 becomes more tolerant overall.

Es ist möglich, dass das Rechnersystem 7 vorzugsweise im Falle eines hohen Alters des Ausweisgesichtsbildes 2, beispielsweise bei mehr als fünf der zehn Jahren, den Schätzwert 11 sowie das Ausweisgesichtsbild 2 einem Gesichtsalterungssimulator 14 übergibt. Der Gesichtsalterungssimulator 14 führt daraufhin zweckmäßigerweise die Simulation der Gesichtsalterung durch und stellt dem Vergleichsalgorithmus 8 ein simuliertes, gealtertes Ausweisgesichtsbild zur Verfügung. Mit Vorteil führt der Vergleichsalgorithmus 8 den Abgleich des Vergleichsgesichtsbildes 5 mit dem simulierten, gealterten Ausweisgesichtsbild durch. Dies ermöglicht es, den Zwischenbereich zu verkleinern, wodurch die Abgleiche des Vergleichsalgorithmus 8 trennschärfer werden und häufiger den Bereichen „Personenidentität/keine Manipulation“ oder „keine Personenidentität/Manipulation“ zugeordnet werden.It is possible for the computer system 7 to transfer the estimated value 11 and the ID facial image 2 to a facial aging simulator 14, preferably in the event that the ID facial image 2 is very old, for example more than five of the ten years. The facial aging simulator 14 then expediently carries out the simulation of facial aging and provides the comparison algorithm 8 with a simulated, aged ID facial image. The comparison algorithm 8 advantageously carries out the comparison of the comparison facial image 5 with the simulated, aged ID facial image. This makes it possible to reduce the intermediate area, whereby the comparisons of the comparison algorithm 8 become more selective and are more often assigned to the areas “personal identity/no manipulation” or “no personal identity/manipulation”.

Oft kann das Ausstellungsdatum nicht aus dem Ausweis 3 herangezogen bzw. ausgelesen werden. Stattdessen mögen andere der weiteren Ausweisdaten 9, beispielsweise ein Ablaufdatum, ein Geburtsdatum und/oder das ausstellende Land, heranziehbar bzw. auslesbar sein. Mit diesen weiteren Ausweisdaten 9 kann der Schätzalgorithmus das Alter des Ausweisgesichtsbildes 2 abschätzen. So existieren länderspezifische Altersschwellwerte, ab denen sich die allgemeine Gültigkeitsdauer des Ausweises 3 ändert. Beispielsweise ist nach den aktuellen deutschen Regelungen der deutsche Ausweis bei Personen unter 24 Jahren 6 Jahre lang gültig und muss dann aktualisiert werden. Bei Personen über 24 Jahren wird die Aktualisierung nach den derzeitigen Regelungen alle 10 Jahre fällig. Der deutsche Altersschwellwert liegt folglich bei 24 Jahren, während die zugeordneten Gültigkeitsdauern 6 bzw. 10 Jahre betragen. Würde ein deutscher Staatsangehöriger mit 16 Jahren einen Ausweis beantragen, so müsste diese Person im Alter von 22, 28, 38, 48 usw. Jahren Ausweisaktualisierungen beantragen.Often the date of issue cannot be used or read from ID card 3. Instead, other of the additional ID data 9, for example an expiry date, a date of birth and/or the issuing country, may be used or readable. With this additional ID data 9, the estimation algorithm can estimate the age of the ID facial image 2. There are country-specific age thresholds above which the general period of validity of the ID card 3 changes. For example, according to current German regulations, the German ID card is valid for 6 years for people under 24 years of age and must then be updated. For people over 24 years of age, the update is due every 10 years according to the current regulations. The German age threshold is therefore 24 years, while the assigned validity periods are 6 and 10 years. If a German citizen were to apply for an ID at age 16, that person would have to apply for ID updates at ages 22, 28, 38, 48, etc.

Wird beispielsweise der deutsche Personalausweis optisch ausgelesen, so steht dem Schätzalgorithmus 10 damit nicht das Ausstellungsdatum zur Verfügung, welches sich auf der Rückseite des Ausweises befindet. Dafür allerdings kann das Lesegerät 1 dem Ausweis 3 neben dem Ausweisgesichtsbild 2 häufig auch noch das Geburtsdatum, das Ablaufdatum sowie das ausstellende Land entnehmen. Ist die zu identifizierende Person 4 beispielsweise 37 Jahre alt und das Ablaufdatum ist für das nächste Jahr festgelegt, so kann der Schätzalgorithmus 10 unter Zuhilfenahme des länderspezifischen, im Länderregister 12 enthaltenen Altersschwellwertes nebst dessen zugeordneten Gültigkeitsdauern die Schätzung vornehmen, dass das Ausweisgesichtsbild 2 die zu identifizierende Person im Alter von 28 Jahren zeigt. Folglich beträgt der beispielhafte Schätzwert 11 neun Jahre.For example, if the German identity card is read optically, the estimation algorithm 10 does not have the date of issue, which is located on the back of the ID, available. However, the reader 1 can often also take the date of birth, the expiry date and the issuing country from the ID card 3 in addition to the ID card facial image 2. For example, the person to be identified 4 is 37 years old and the expiration date is set for the next year laid, the estimation algorithm 10 can, with the aid of the country-specific age threshold contained in the country register 12 and its associated validity periods, make the estimate that the ID facial image 2 shows the person to be identified at the age of 28. Consequently, the example estimate is 11 nine years.

Vorzugsweise wird dem Vergleichsalgorithmus 8 nicht nur das Ausweisgesichtsbild 2 und der vorteilhafte Schätzwert 11 des Alters des Ausweisgesichtsbildes 2 übergeben, sondern darüber hinaus noch weitere Ausweisdaten 9. Denn die weiteren Ausweisdaten 9 dienen vorzugsweise nicht nur der Schätzung des Alters des Ausweisgesichtsbildes 2, sondern auch einem präziseren Abgleich zwischen den beiden Gesichtsbildern 2, 5.Preferably, not only the ID facial image 2 and the advantageous estimate 11 of the age of the ID facial image 2 are transferred to the comparison algorithm 8, but also further ID data 9. This is because the further ID data 9 are preferably not only used to estimate the age of the ID facial image 2, but also one more precise comparison between the two facial images 2, 5.

Bevorzugt umfassen die an den Vergleichsalgorithmus 8 übergebenen weiteren Ausweisdaten 9 personenbezogene Ausweisdaten 16. Die an den Vergleichsalgorithmus 8 übergebenen personenbezogenen Ausweisdaten 16 weisen mit Vorteil das Geschlecht und/oder das Geburtsdatum und/oder den Namen der zu identifizierenden Person 4 auf. Mit Erhalt des Geburtsdatums kann der Vergleichsalgorithmus das Geburtsdatum der zu identifizierenden Person 4 heranziehen und hierdurch die altersabhängige Alterungsgeschwindigkeit berücksichtigen. Beispielsweise kann der Vergleichs-algorithmus 8 den Zwischenbereich bei sehr jungen Personen größer gestalten, weil sehr junge Personen einer recht hohen Alterungsgeschwindigkeit bzw. Veränderungsgeschwindigkeit unterworfen sind. Bei Übermittlung des Geschlechts an den Vergleichsalgorithmus 8 kann der Vergleichsalgorithmus 8 die Änderungen bei Gesichtspartien in Abhängigkeit des Geschlechts stärker berücksichtigen. Beispielsweise mögen die Haupthaare von Frauen stärkeren Änderungswahrscheinlichkeiten als die Haupthaare von Männern zugeordnet sein. Umgekehrt ist der Vergleichsalgorithmus 8 insbesondere im Bereich der Wangen bei Männern aufgrund des Bartwuchses toleranter. Auch kann der Vorname der zu identifizierenden Person 4 einen Rückschluss auf deren Geschlecht erlauben.Preferably, the further identification data 9 transferred to the comparison algorithm 8 includes personal identification data 16. The personal identification data 16 transferred to the comparison algorithm 8 advantageously has the gender and/or the date of birth and/or the name of the person 4 to be identified. Once the date of birth is received, the comparison algorithm can use the date of birth of the person 4 to be identified and thereby take into account the age-dependent rate of aging. For example, the comparison algorithm 8 can make the intermediate range larger for very young people, because very young people are subject to a very high rate of aging or change. When the gender is transmitted to the comparison algorithm 8, the comparison algorithm 8 can take greater account of the changes in facial areas depending on the gender. For example, women's hair may be more likely to change than men's hair. Conversely, the comparison algorithm 8 is more tolerant, particularly in the area of the cheeks in men due to the growth of beards. The first name of the person to be identified 4 can also allow a conclusion to be drawn about their gender.

Der Vergleichsalgorithmus 8 kann einen maschinellen Lernalgorithmus umfassen bzw. mit einem maschinellen Lernalgorithmus verbunden sein. Der maschinelle Lernalgorithmus kann ein neuronales Netz, insbesondere ein konvolutionales neuronales Netz, sein. Vorzugsweise wird der maschinelle Lernalgorithmus darauf trainiert, als Eingabe die beiden Gesichtsbilder 2, 5 zu erhalten um daraus das Ähnlichkeitsmaß 13 und insbesondere einen Score zu ermitteln. Es ist möglich, dass ein weiterer Algorithmus aus dem Ähnlichkeitsmaß bzw. Score ein angepasstes Ähnlichkeitsmaß 13 bzw. einen angepassten Score zu ermitteln, indem der weitere Algorithmus die weiteren Ausweisdaten 9 berücksichtigt. Mit Vorteil ist das Änderungsmaß 13 ein Merkmalsvektor, insbesondere ein nummerischer Vektor oder ein Bitstring, der von den biometrischen und forensischen Merkmalen der Gesichtsbilder abhängt. Vorzugsweise umfasst der Vergleichsalgorithmus 8 einen zweiten maschinellen Lernalgorithmus, der aus den Merkmalsvektoren der beiden Gesichtsbilder 2, 5 und optional den weiteren Ausweisdaten 9 das Änderungsmaß 13 bzw. den Score berechnet. Der Score mag von einem weiteren Algorithmus herangezogen werden, woraus ein angepasster Score errechnet wird.The comparison algorithm 8 can include a machine learning algorithm or be connected to a machine learning algorithm. The machine learning algorithm can be a neural network, in particular a convolutional neural network. The machine learning algorithm is preferably trained to receive the two facial images 2, 5 as input in order to determine the similarity measure 13 and in particular a score. It is possible for a further algorithm to determine an adapted similarity measure 13 or an adapted score from the similarity measure or score, in that the further algorithm takes the further ID data 9 into account. The change measure 13 is advantageously a feature vector, in particular a numerical vector or a bit string, which depends on the biometric and forensic features of the facial images. The comparison algorithm 8 preferably comprises a second machine learning algorithm which calculates the change measure 13 or the score from the feature vectors of the two facial images 2, 5 and optionally the further ID data 9. The score may be used by another algorithm, from which an adjusted score is calculated.

Dass erfindungsgemäß ermittelte Ähnlichkeitsmaß 13 ist aufgrund der weiteren Ausweisdaten 9 deutlich treffsicherer im Vergleich zu herkömmlichen Gesichtserkennungen. Hierdurch können insbesondere auch Facial Morphing Attacks besser aufgedeckt werden, so dass die eingangs genannte Aufgabe gelöst wird.The similarity measure 13 determined according to the invention is significantly more accurate compared to conventional facial recognition due to the additional ID data 9. In this way, facial morphing attacks in particular can be better uncovered, so that the task mentioned at the beginning is solved.

BezugszeichenlisteReference symbol list

11: Lesegerätreader
22: AusweisgesichtsbildID card face picture
33: AusweiseID cards
44: zu identifizierenden Personperson to be identified
55: VergleichsgesichtsbildComparison facial image
66: Kameracamera
77: RechnersystemComputer system
88th: VergleichsalgorithmusComparison algorithm
99: AusweisdatenID details
1010: SchätzalgorithmusEstimation algorithm
1111: SchätzwertEstimated value
1212: LänderregisterCountry register
1313: Ähnlichkeitsmaßsimilarity measure
1414: GesichtsalterungssimulatorFacial aging simulator
1515: ausweisbezogene AusweisdatenID card-related ID data
1616: personenbezogene Ausweisdatenpersonal identification data
1717: Eingangstürentrance
1818: AusgangstürExit door
1919: IdentifikationsschalterIdentification switch

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2018234384 A1 [0002, 0003, 0005]

Claims

Method for authenticating a person based on facial images and/or for detecting manipulation of facial images, wherein an ID facial image (2) of an ID card (3) of a person to be identified (4) is used, wherein a comparison facial image (5) of the person (4) is used , wherein a computer system (7) makes an assessment as to whether or to what extent the ID facial image (2) and the comparison facial image (5) match, the computer system (7) comprising a comparison algorithm (8), the comparison algorithm (8) comparing the ID facial image (2) and the comparison facial image (5) and the comparison represents the basis of the assessment, the assessment being reflected in a similarity measure (13), with further identification data (9) of the ID card (3) being used in addition to the ID facial image (2). are, wherein the further identification data (9) are used by the computer system (7) and can influence a value of the similarity measure (13), characterized in that the further identification data (9) are read out by a reading device (1), the reading device ( 1) reads the further ID card data (9) electronically, in particular using radio, the further ID card data (9) including a validity date and being read from an integrated circuit of the ID card (3).

Procedure according to Claim 1 , wherein the ID card facial image (2) is automatically read from the ID card (3) by a reading device (1) and/or loaded from a set of files.

Procedure according to Claim 1 or 2 , wherein the comparison facial image (5) is captured with a camera (6), the camera (6) preferably being connected to the computer system (7) for transmitting image data of the comparison facial image (5).

Procedure according to one of the Claims 1 until 3 , wherein the computer system (7) has an estimation algorithm (10), the estimation algorithm (10) determining an estimate (11) of the age of the ID facial image (2) from the further ID data (9) and the estimated value (11) to the comparison algorithm (8 ) provides.

Procedure according to one of the Claims 1 until 4 , wherein the reading device (1) reads the ID facial image (2) electronically, in particular using radio and/or optical and/or electronic contact.

Procedure according to one of the Claims 1 until 5 , wherein the computer system (7) comprises a country register (12) or is connected to a country register (12), the country register (12) comprising country-specific data, the estimation algorithm (10) preferably accessing the country register (12), whereby the country-specific data preferably include at least one country-specific general period of validity of ID cards (3) and / or at least one country-specific age threshold that defines a country-specific general period of validity.

Procedure according to one of the Claims 1 until 6 , wherein the computer system (7) or the comparison algorithm (8) comprises a machine learning algorithm, preferably a neural network and particularly preferably a convolutional neural network.

Procedure according to one of the Claims 1 until 7 , wherein the reading device (1) and the camera (6) are components of a device for authenticating a person based on facial images, the device preferably being designed as a passage system (19), the passage system (19) preferably having at least one door (17, 18).

Procedure according to one of the Claims 1 until 8th , wherein the computer system (7) or the comparison algorithm (8) is/are designed or is/are used to carry out manipulation detection and in particular morphing attack detection.

Device for authenticating a person based on facial images, in particular for carrying out a method according to one of Claims 1 until 9 , wherein the device is designed to use an ID facial image (2) of an ID card (3) of a person (4) to be identified, the device comprising a computer system (7), wherein the computer system (7) is designed to make an assessment as to whether or to what extent the ID facial image (2) and a comparison facial image (5) match, the computer system (7) having a comparison algorithm (8), the comparison algorithm (8) being designed to compare the ID facial image (2) and the comparison facial image (5 ). Computer system (7) is designed to use the further identification data (9) in such a way that they can influence a value of the similarity measure (13), characterized in that the device is designed so that the reading device (1) reads the further identification data ten (9) reads out electronically, in particular with the help of radio, the further ID card data (9) including a validity date and being read from an integrated circuit of the ID card (3).

Device according to Claim 10 , wherein the device comprises a reading device (1), wherein the reading device (1) is designed to automatically read out the ID facial image (2) and/or the further ID data (9) of the ID card (3) of the person (4) to be identified.

Using the method according to one of the Claims 1 until 9 or the device Claim 10 in a public and in particular government facility, in particular use of the method step of capturing a comparison facial image, preferably in an international transport facility, for example in an airport, an embassy, a consulate and / or a seaport, more preferably in a security area of an airport between a Landside and an airside of the airport.

Using the method according to one of the Claims 1 until 9 or the device Claim 10 in a private area or public, for example governmental area, in particular use of the method step of capturing a comparison facial image, preferably for checking people on the outside area or the outside border of areas with access restrictions.