DE102021130705A1

DE102021130705A1 - Method and device for determining a digital biometric passport photo for a security document and method for personalizing a security document

Info

Publication number: DE102021130705A1
Application number: DE102021130705.8A
Authority: DE
Inventors: Florian Peters; Tatjana Sauer
Original assignee: Bundesdruckerei GmbH
Current assignee: Bundesdruckerei GmbH
Priority date: 2021-11-23
Filing date: 2021-11-23
Publication date: 2023-05-25
Also published as: EP4184456A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument (1) repräsentieren, mit: Aufnehmen einer Folge von Portraitbildern für eine Person (4) mittels Videobildaufnahme mit einer Bildwiederholfrequenz mittels einer Videobildaufnahmevorrichtung (2), wobei die Person (4) hierbei mittels einer Beleuchtungseinrichtung (7) beleuchtet wird; Speichern von jeweiligen Portraitbilddaten für die Portraitbilder aus der Videobildaufnahme und Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild der Person (4) repräsentieren. Das Bestimmen von Passbilddaten umfasst Folgendes: Bestimmen eines ersten Portraitbilds aus der Folge von Portraitbildern, welches gemäß Aufnahmebedingungen aufgenommen wurde und mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokument (1) genügt, nicht aber hinsichtlich eines Hintergrund-Prüfkriteriums für das digitale biometrische Passbild; Bestimmen einer Beleuchtungseigenschaft, welche mittels der Beleuchtungseinrichtung (7) beim Aufnehmen des ersten Portraitbilds angewendet wurde und mindestens eine Beleuchtungsstärke anzeigt; Aufnehmen von weiteren Portraitbildern für die Person (4) mit Hilfe der Videobildaufnahmevorrichtung (2) sowie unter Verwendung der Beleuchtungseinrichtung (7) und Aufrechterhaltung der Aufnahmebedingungen, wobei die weiteren Portraitbilder ein erstes weiteres Portraitbild, welches unter Verwendung der Beleuchtungsstärke aufgenommen wird, und ein zweites weiteres Portraitbild umfassen, welches unter Verwendung einer im Vergleich zur Beleuchtungsstärke veränderten Beleuchtungsstärke aufgenommen wird; Bestimmen eines geeigneten Portraitbilds aus den weiteren Portraitbildern, welches den mehreren Prüfkriterien und dem Hintergrund-Prüfkriterium für das digitale biometrische Passbild genügt; und Erzeugen der Passbilddaten unter Verwendung von dem geeigneten Portraitbild zugeordneten Portraitbilddaten. Des Weiteren sind ein Verfahren zum Personalisieren eines Sicherheitsdokuments sowie eine Vorrichtung zum Bestimmen von Passbilddaten offenbart.The invention relates to a method for determining passport photo data, which represents a digital biometric passport photo for a security document (1), with: recording a sequence of portrait images for a person (4) by means of video image recording with an image refresh rate using a video image recording device (2), wherein the person (4) is illuminated by means of an illumination device (7); Saving respective portrait image data for the portrait images from the video image recording and determining passport image data which represent a digital biometric passport image of the person (4). Determining passport photo data includes the following: Determining a first portrait image from the sequence of portrait images, which was taken in accordance with the recording conditions and satisfies several test criteria for a digital biometric passport photo for a security document (1), but not with regard to a background test criterion for the digital biometric passport photo ; Determination of a lighting property which was applied by means of the lighting device (7) when the first portrait image was recorded and which indicates at least one lighting intensity; Recording further portrait images for the person (4) with the aid of the video image recording device (2) and using the lighting device (7) and maintaining the recording conditions, the further portrait images being a first further portrait image, which is recorded using the illuminance, and a second comprise a further portrait image which is recorded using an illuminance which is changed compared to the illuminance; determining from the additional portrait images a suitable portrait image that satisfies the plurality of verification criteria and the background verification criterion for the digital biometric passport photograph; and generating the passport photo data using portrait image data associated with the appropriate portrait image. Furthermore, a method for personalizing a security document and a device for determining passport photo data are disclosed.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, aus Videobildaufnahmen sowie ein Verfahren zum Personalisieren eines Sicherheitsdokuments.The invention relates to a method and a device for determining passport photo data, which represent a digital biometric passport photo for a security document, from video recordings, and a method for personalizing a security document.

Hintergrundbackground

Es ist bekannt, Personen anhand von biometrischen Gesichtsmerkmalen zu identifizieren. Solche biometrischen Gesichtsmerkmale können in Verbindung mit Sicherheitsdokumenten wie beispielsweise Ausweisen oder Pässen aus biometrischen Passbildern auf dem Sicherheitsdokument abgeleitet werden. Mittels des biometrischen Passbildes ist das Sicherheitsdokument personalisiert und ermöglicht ein Identifizieren der Person, wahlweise in Verbindung mit weiteren Sicherheitselementen des Sicherheitsdokuments.It is known to identify people based on biometric facial features. Such biometric facial features can be derived in connection with security documents such as identity cards or passports from biometric passport photos on the security document. The security document is personalized by means of the biometric passport photo and enables the person to be identified, optionally in conjunction with further security elements of the security document.

Zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild einer Person repräsentieren, werden üblicherweise Einzelbildaufnahmen mittels einer Kameraeinrichtung für die Person erfasst. Wird nach einer erfolgten Bildaufnahme festgestellt, dass ein oder mehrere Prüfkriterien für die Eignung als biometrisches Passbild nicht erfüllt sind, können ein oder mehrere weitere Einzelbildaufnahmen folgen.In order to determine passport photo data, which represent a digital biometric passport photo of a person, single image recordings are usually recorded for the person using a camera device. If, after an image has been taken, it is determined that one or more test criteria for suitability as a biometric passport photo are not met, one or more further individual images can be taken.

ZusammenfassungSummary

Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, anzugeben, mit denen der Prozess des Erzeugens der Passbilddaten effizient und mit geminderter Fehleranfälligkeit ausgeführt werden kann. Darüber hinaus soll ein Verfahren zum Personalisieren eines Sicherheitsdokuments in diesem Zusammenhang verbessert werden.The object of the invention is to specify a method and a device for determining passport photo data, which represent a digital biometric passport photo for a security document, with which the process of generating the passport photo data can be carried out efficiently and with reduced susceptibility to errors. In addition, a method for personalizing a security document is to be improved in this context.

Zur Lösung der Aufgabe sind ein Verfahren und eine Vorrichtung zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, nach den unabhängigen Ansprüchen 1 und 14 geschaffen. Weiterhin ist ein Verfahren zum Personalisieren eines Sicherheitsdokuments nach dem nebengenordneten Anspruch 12 geschaffen. Ausgestaltungen sind Gegenstand von abhängigen Unteransprüchen.A method and a device for determining passport photo data, which represent a digital biometric passport photo for a security document, according to independent claims 1 and 14 are created to achieve the object. Furthermore, a method for personalizing a security document according to the independent claim 12 is created. Configurations are the subject of dependent subclaims.

Nach einem Aspekt ist ein Verfahren zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, mit folgenden Schritten geschaffen: Aufnehmen einer Folge von Portraitbildern für eine Person mittels Videobildaufnahme mit einer Bildwiederholfrequenz mittels einer Videobildaufnahmevorrichtung, wobei die Person hierbei mittels einer Beleuchtungseinrichtung beleuchtet wird; Speichern von jeweiligen Portraitbilddaten für die Portraitbilder aus der Videobildaufnahme und Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild der Person repräsentieren. Das Bestimmen der Passbilddaten umfasst hierbei Folgendes: Bestimmen eines ersten Portraitbilds aus der Folge von Portraitbildern, welches gemäß Aufnahmebedingungen aufgenommen wurde und mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokument genügt, nicht aber hinsichtlich eines Hintergrund-Prüfkriteriums für das digitale biometrische Passbild; Bestimmen einer Beleuchtungseigenschaft, welche mittels der Beleuchtungseinrichtung beim Aufnehmen des ersten Portraitbilds angewendet wurde und mindestens eine Beleuchtungsstärke anzeigt; Aufnehmen von weiteren Portraitbildern für die Person mittels Videobildaufnahme mit Hilfe der Videobildaufnahmevorrichtung sowie unter Verwendung der Beleuchtungseinrichtung und Aufrechterhaltung der Aufnahmebedingungen, wobei die weiteren Portraitbilder ein erstes weiteres Portraitbild, welches unter Verwendung der Beleuchtungsstärke aufgenommen wird, und ein zweites weiteres Portraitbild umfassen, welches unter Verwendung einer im Vergleich zur Beleuchtungsstärke veränderten Beleuchtungsstärke aufgenommen wird; Bestimmen eines geeigneten Portraitbilds aus den weiteren Portraitbildern, welches den mehreren Prüfkriterien und dem Hintergrund-Prüfkriterium für das digitale biometrische Passbild genügt; und Erzeugen der Passbilddaten unter Verwendung von dem geeigneten Portraitbild zugeordneten Portraitbilddaten.According to one aspect, a method for determining passport photo data, which represents a digital biometric passport photo for a security document, is created with the following steps: recording a sequence of portrait images for a person by means of video image recording with a refresh rate using a video image recording device, the person doing this using an illumination device is illuminated; storing respective portrait image data for the portrait images from the video image recording and determining passport image data representing a digital biometric passport image of the person. The determination of the passport photo data includes the following: determining a first portrait image from the sequence of portrait images, which was taken in accordance with the recording conditions and satisfies several test criteria for a digital biometric passport photo for a security document, but not with regard to a background test criterion for the digital biometric passport photo; determining a lighting property which was applied by means of the lighting device when capturing the first portrait image and which indicates at least one lighting intensity; Recording further portrait images for the person by means of video image recording using the video image recording device and using the lighting device and maintaining the recording conditions, the further portrait images comprising a first further portrait image which is recorded using the illuminance and a second further portrait image which is recorded using an illuminance that has changed in comparison to the illuminance is recorded; determining from the additional portrait images a suitable portrait image that satisfies the plurality of verification criteria and the background verification criterion for the digital biometric passport photograph; and generating the passport photo data using portrait image data associated with the appropriate portrait image.

Nach einem weiteren Aspekt ist eine Vorrichtung zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren, mit einer Passbilddatenaufnahmeeinrichtung geschaffen, die für Folgendes eingerichtet ist: Aufnehmen einer Folge von Portraitbildern für eine Person mittels Videobildaufnahme mit einer Bildwiederholfrequenz mittels einer Videobildaufnahmevorrichtung, wobei die Person hierbei mittels einer Beleuchtungseinrichtung beleuchtet wird; Speichern von jeweiligen Portraitbilddaten für die Portraitbilder aus der Videobildaufnahme und Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild der Person repräsentieren. Das Bestimmen der Passbilddaten umfasst hierbei Folgendes: Bestimmen eines ersten Portraitbilds aus der Folge von Portraitbildern, welches gemäß Aufnahmebedingungen aufgenommen wurde und mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokument genügt, nicht aber hinsichtlich eines Hintergrund-Prüfkriteriums für das digitale biometrische Passbild; Bestimmen einer Beleuchtungseigenschaft, welche mittels der Beleuchtungseinrichtung beim Aufnehmen des ersten Portraitbilds angewendet wurde und mindestens eine Beleuchtungsstärke anzeigt; Aufnehmen von weiteren Portraitbildern für die Person mittels Videobildaufnahme mit Hilfe der Videobildaufnahmevorrichtung sowie unter Verwendung der Beleuchtungseinrichtung und Aufrechterhaltung der Aufnahmebedingungen, wobei die weiteren Portraitbilder ein erstes weiteres Portraitbild, welches unter Verwendung der Beleuchtungsstärke aufgenommen wird, und ein zweites weiteres Portraitbild umfassen, welches unter Verwendung einer im Vergleich zur Beleuchtungsstärke veränderten Beleuchtungsstärke aufgenommen wird; Bestimmen eines geeigneten Portraitbilds aus den weiteren Portraitbildern, welches den mehreren Prüfkriterien und dem Hintergrund-Prüfkriterium für das digitale biometrische Passbild genügt; und Erzeugen der Passbilddaten unter Verwendung von dem geeigneten Portraitbild zugeordneten Portraitbilddaten.According to a further aspect, a device for determining passport photo data, which represents a digital biometric passport photo for a security document, is created with a passport photo data recording device, which is set up for the following: recording a sequence of portrait images for a person by means of video recording with a refresh rate using a video recording device, the person being illuminated by means of an illumination device; storing respective portrait image data for the portrait images from the video image recording and determining passport image data representing a digital biometric passport image of the person. In this case, the determination of the passport photo data includes the following: determination of a first portrait image from the sequence of portrait images, which was taken in accordance with recording conditions and a number of test criteria for a digital biometric passport photo for a security document sufficient, but not with regard to a background check criterion for the digital biometric passport photo; determining a lighting property which was applied by means of the lighting device when capturing the first portrait image and which indicates at least one lighting intensity; Recording further portrait images for the person by means of video image recording using the video image recording device and using the lighting device and maintaining the recording conditions, the further portrait images comprising a first further portrait image which is recorded using the illuminance and a second further portrait image which is recorded using an illuminance that has changed compared to the illuminance is recorded; determining from the additional portrait images a suitable portrait image that satisfies the plurality of verification criteria and the background verification criterion for the digital biometric passport photograph; and generating the passport photo data using portrait image data associated with the appropriate portrait image.

Mit Hilfe der vorgeschlagenen Technologie ist es ermöglicht, die ein digitales biometrisches Passbild repräsentierenden (Pass-)Bilddaten aus den Videobildaufnahmen selbst zu bestimmen. Es bedarf also keiner (ergänzenden) Einzelbildaufnahme, wie dies im Stand der Technik bekannt ist, wo vorgesehen ist, der Person mittels Videobild vor der Einzelbildaufnahme Hinweise zu geben, zum Beispiel betreffend eine korrekte Kopfstellung und Ausrichtung, um dann mittels einer weiteren Kamera nacheinander Einzelbilder aufzunehmen, welche nachfolgend zur Passbilddatenbestimmung verarbeitet werden. Es sind somit ein Verfahren und eine Vorrichtung zum Bestimmen von Passbilddaten direkt aus Videobildaufnahmen geschaffen.With the help of the proposed technology, it is possible to determine the (passport) image data representing a digital biometric passport photo from the video recordings yourself. There is therefore no need for a (supplementary) single-image recording, as is known in the prior art, where it is provided that the person be given information by means of a video image before the single-image recording, for example regarding correct head position and alignment, in order to then use an additional camera to take individual images one after the other record, which are subsequently processed to determine passport photo data. A method and a device for determining passport photo data directly from video recordings are thus created.

Im Rahmen der Videobildaufnahme wird eine Abfolge von Portrait- oder Gesichtsbildern mit der Bildwiederholfrequenz (des Videobildstroms) mit einer Aufnahmeauflösung erfasst. Die Portraitbilddaten, welche jeweils die aufgenommenen Portraitbilder der Person repräsentieren, werden in einer Speichereinrichtung abgelegt. Es kann vorgesehen sein, die Portraitbilddaten in einem gemeinsamen Speicher („shared memory“) abzulegen, auf den mehrere Datenverarbeitungsprozesse gemeinsam und koordiniert zugreifen können.In the context of video image capture, a sequence of portrait or facial images is captured at the frame rate (of the video image stream) with a capture resolution. The portrait image data, which each represent the recorded portrait images of the person, are stored in a storage device. Provision can be made for the portrait image data to be stored in a common memory (“shared memory”) which can be accessed jointly and in a coordinated manner by a number of data processing processes.

Mittels der vorgeschlagenen Technologie ist es ermöglicht, die das digitale biometrische Passbild repräsentierenden (Pass-)Bilddaten aus den Videobildaufnahmen zu bestimmen, derart, dass das digitale biometrische Passbild, also insbesondere ein biometrisches Bild, welches zur Personenidentifikation geeignet ist, zum Beispiel auf einen ID-Dokument, mit einem dem Hintergrund-Prüfkriterium für solche Passbilder genügenden Hintergrund bestimmt wird, auch wenn bei den Videobildaufnahmen selbst kein Hintergrund erfasst wird, der dem Hintergrund-Prüfkriterium genügt. Es sind somit ein Verfahren und eine Vorrichtung zum Bestimmen von Passbilddaten aus Videobildaufnahmen bereitgestellt, wobei sichergestellt wird, dass das digitale biometrische Passbild dem für solche Passbilder notwendigen Hintergrund-Prüfkriterium genügt.The proposed technology makes it possible to determine the (passport) image data representing the digital biometric passport photo from the video recordings in such a way that the digital biometric passport photo, i.e. in particular a biometric image that is suitable for personal identification, for example on an ID -Document with a background that satisfies the background check criterion for such passport photos, even if no background that satisfies the background check criterion is recorded in the video recordings themselves. A method and a device for determining passport photo data from video recordings are thus provided, with it being ensured that the digital biometric passport photo satisfies the background test criterion necessary for such passport photos.

Die Videobildaufnahmen werden mittels einer Videobildaufnahmevorrichtung aufgenommen, die mit der Passbildaufnahmeeinrichtung bereitgestellt ist, und mittels einer Datenverarbeitungseinrichtung verarbeitet, um die Passbilddaten zu erzeugen. Die Datenverarbeitungseinrichtung kann Teil der Passbildaufnahmeeinrichtung oder zumindest teilweise getrennt hiervon gebildet sein. Im Rahmen der Videobildaufnahme werden Folgen von Portrait- oder Gesichtsbildern mit der Bildwiederholfrequenz (des Videobildstroms) erfasst. Aus der Folge von Portraitbildern wird ein erstes Portraitbild bestimmt, welches mehreren Prüfkriterien für das digitale biometrische Passbild für das Sicherheitsdokument genügt, nicht aber dem Hintergrund-Prüfkriterium. Das so bestimmte erste Portraitbild erfüllt somit die mehreren Prüfkriterien für das digitale biometrische Passbild, weist jedoch nicht den für ein solches digitales biometrisches Passbild notwendigen Hintergrund auf. Hierzu ist beispielsweise ein einfarbiger und heller (idealerweise neutral grauer) Hintergrund gefordert. Weiterhin soll der Hintergrund einen Kontrast zum Gesicht und zu den Haaren der Person aufweisen. Bei hellen Haaren eignet sich ein mittelgrauer Hintergrund, bei dunklen Haaren ein hellgrauer. Der Hintergrund soll darüber frei von Muster sein, bevorzugt auch frei von Schatten im Hintergrund.The video images are recorded using a video image recording device provided with the passport photo recording device and processed using a data processing device in order to generate the passport photo data. The data processing device can be part of the passport photo recording device or at least partially separate from it. As part of video image capture, sequences of portrait or face images are captured at the frame rate (of the video image stream). A first portrait image is determined from the sequence of portrait images, which satisfies several test criteria for the digital biometric passport photo for the security document, but not the background test criterion. The first portrait image determined in this way thus meets the multiple test criteria for the digital biometric passport photo, but does not have the background necessary for such a digital biometric passport photo. For example, a monochrome and light (ideally neutral grey) background is required for this. Furthermore, the background should have a contrast to the face and the hair of the person. A medium gray background is suitable for light hair, and a light gray background for dark hair. Above this, the background should be free of patterns, preferably also free of shadows in the background.

Es ist sodann vorgesehen, weitere Portraitbilder für die Person mittels Videobildaufnahme aufzunehmen, um die hierbei erfassten weiteren Portraitbilder zu verarbeiten, so dass schließlich ein geeignetes Portraitbild bestimmt wird, welches zusätzlich dem Hintergrund-Prüfkriterium genügt und aus dem die (Pass-)Bilddaten für das digitale biometrische Passbilder zeugt werden können. Beim Aufnehmen der weiteren Portraitbilder kann die Beleuchtungsstärke größer und / oder geringer sein als die vorher bestimmte Beleuchtungsstärke.It is then planned to take further portrait images for the person by means of video recording in order to process the further portrait images captured in this way, so that finally a suitable portrait image is determined, which also satisfies the background test criterion and from which the (passport) image data for the digital biometric passport photos can be created. When taking further portrait pictures, the illuminance can be higher and/or lower than the previously determined illuminance.

Mit dem Verfahren ist es ermöglicht, mittels der Videobildaufnahme ein digitales biometrisches Passbild, welches für ein Sicherheitsdokument (zur Personenidentifikation) geeignet ist, zu erzeugen, auch wenn die Portraitbilder für die Person vor einem nicht geeigneten Hintergrund aufgenommen werden. Hierdurch entfällt zum Beispiel die Notwendigkeit, für die Videobildaufnahmen eine Hintergrundwand aufzustellen, um so für die Portraitbilder einen geeigneten Hintergrund bereitzustellen. Vielmehr können die Portraitbilder im Rahmen der Videobildaufnahme auch ohne eine solche Rückwand in unterschiedlichen Aufnahmeszenarien erfasst werden, um dann mittels der Hintergrundkorrektur das für das digitale biometrische Passbild geeignete (digitale) Portraitbild bereitzustellen.The method makes it possible to use the video image recording to generate a digital biometric passport image that is suitable for a security document (for personal identification), even if the portrait images for the person are recorded in front of an unsuitable background. This eliminates the need, for example, to set up a background wall for the video image recordings, so for the portrait images to provide a suitable background. Rather, the portrait images can also be recorded in different recording scenarios without such a back wall as part of the video image recording, in order to then provide the (digital) portrait image suitable for the digital biometric passport photo by means of the background correction.

Das Bestimmen der Passbilddaten kann in einer Ausführungsform mittels eines Datenverarbeitungsprozesses ausgeführt werden, der zumindest teilweise mittels eines FPGA-Bausteins implementiert ist, wobei der Datenverarbeitungsprozess auf das Speichermedium mit den Portraitbilddaten Zugriff hat. Diese Ausführungsform kann eine Parallelisierung von Datenverarbeitungsprozessen vorteilhaft unterstützen.In one embodiment, the determination of the passport photo data can be carried out by means of a data processing process that is at least partially implemented by means of an FPGA module, the data processing process having access to the storage medium with the portrait image data. This embodiment can advantageously support a parallelization of data processing processes.

Das Aufnehmen der weiteren Portraitbilder kann Folgendes aufweisen: das zweite weitere Portraitbild wird mit einer im Vergleich zur Beleuchtungsstärke geringeren Beleuchtungsstärke aufgenommen; und ein drittes weiteres Portraitbild wird mit einer im Vergleich zur Beleuchtungsstärke größeren Beleuchtungsstärke aufgenommen.The recording of the further portrait images can have the following: the second further portrait image is recorded with a lower illuminance than the illuminance; and a third further portrait image is recorded with an illuminance that is greater than the illuminance.

In den verschiedenen Ausführungsformen können die weiteren Portraitbilder bei Beleuchtungsstärken aufgenommen werden, die im Vergleich zur Beleuchtungsstärke nach der Beleuchtungseigenschaft größer und / oder kleiner sind. Beim Aufnehmen der weiteren Portraitbilder können die Beleuchtungsstärken, welche von der vorher bestimmten Beleuchtungsstärke verschieden sind, alternativ alle größer oder kleiner sein. Die Beleuchtungseigenschaft kann hierbei eine optimierte Beleuchtungsstärke angeben, die anhand der Analyse von mehreren der Portraitbilder aus der Folge von Portraitbildern bestimmt wurde.In the various embodiments, the further portrait images can be recorded at illuminances that are greater and/or smaller in comparison to the illuminance according to the illumination property. When capturing the further portrait images, the illuminances other than the predetermined illuminance may alternatively all be larger or smaller. In this case, the lighting property can indicate an optimized lighting intensity, which was determined on the basis of the analysis of several of the portrait images from the series of portrait images.

Das Bestimmen des geeigneten Portraitbilds kann Folgendes aufweisen: Vorauswählen eines der weiteren Portraitbilder, wenn das eine der weiteren Portraitbilder den mehreren Prüfkriterien für das digitale biometrische Passbild genügt; und Ausführen einer Hintergrundkorrektur für das vorausgewählte Portraitbild unter Verwendung von aus den weiteren Portraitbildern bestimmter Bildinformation. Die Hintergrundkorrektur für das weitere Portraitbild wird nur dann ausgeführt, wenn zuvor bestimmt wurde, dass das weitere Portraitbild den mehreren Prüfkriterien für das digitale biometrische Passbild genügt. Anderenfalls können zum Beispiel zusätzliche weitere Portraitbilder den weiteren Portraitbildern entsprechend aufgenommen werden, um erneut die Prüfung auf das Erfüllen der mehreren Prüfkriterien für das digitale biometrische Passbild durchzuführen.Determining the appropriate portrait image may include: preselecting one of the other portrait images if the one of the other portrait images satisfies the plurality of digital biometric passport photo verification criteria; and performing background correction for the preselected portrait image using image information determined from the further portrait images. The background correction for the additional portrait image is only carried out if it has previously been determined that the additional portrait image satisfies the multiple test criteria for the digital biometric passport photo. Otherwise, for example, additional further portrait images can be taken corresponding to the further portrait images, in order to again carry out the check for the fulfillment of the multiple check criteria for the digital biometric passport picture.

Die mehreren Prüfkriterien können für das digitale biometrische Passbild mindestens oder ausschließlich die Prüfkriterien nach der Foto-Mustertafel für Personaldokumente umfassen, ohne das Hintergrund-Prüfkriterium. Die Foto-Mustertafel für Personaldokumente ist beispielsweise abrufbar unter folgender Adresse:

https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/themen/moderneverwaltung/ausweise/fotomustertafel.html [abgerufen am 10. September 2021].

The multiple verification criteria for the digital biometric passport photograph may include at least or exclusively the verification criteria according to the photo template for personal documents, without the background verification criterion. For example, the photo template for personal documents can be accessed at the following address:

https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/themen/moderneverwaltung/zettel/fotomustertafel.html [accessed September 10, 2021].

Die Foto-Mustertafel veranschaulicht die Anforderungen an digitale biometrische Passbilder von Erwachsenen und Kindern für einen Personalausweis und einen Reisepass. Zu den darin genannten Prüfkriterien gehören insbesondere die folgenden Prüfkriterien: Format, Schärfe und Kontrast, Ausleuchtung, Hintergrund, Fotoqualität, Kopfposition und Gesichtsausdruck, Augen- und Blickrichtung, Brillenträger und Kopfbedeckung. Hinsichtlich dieser Prüfkriterien sind in der Foto-Mustertafel Vorgaben definiert, die herangezogen werden können, um die Eignung eines Portraitbildes für das Bestimmen eines digitalen biometrischen Passbildes zu prüfen.The sample photo panel illustrates the requirements for adult and child digital biometric passport photos for an ID card and passport. The test criteria mentioned therein include in particular the following test criteria: format, sharpness and contrast, illumination, background, photo quality, head position and facial expression, eye and viewing direction, glasses wearer and headgear. With regard to these test criteria, specifications are defined in the photo template that can be used to test the suitability of a portrait photo for determining a digital biometric passport photo.

Die mehreren Prüfkriterien für das digitale biometrische Passbild können mindestens oder ausschließlich die Prüfkriterien nach ICAO-Standard für Passbilder umfassen, ohne das Hintergrund-Prüfkriterium. Bei dieser Ausführungsform ist vorgesehen, die Eignung eines Portraitbildes für ein digitales biometrisches Passbild anhand des ICAO-Standards für Passbilder für maschinenlesbare Sicherheitsdokumente zu prüfen: „Technical Report - Portrait Quality (Reference Facial Images for MRTD)“ (Version 1.0 aus April 2018 oder aktuellere Fassung). Darin sind Standardkriterien definiert, die Portrait- oder Gesichtsbilddaten erfüllen müssen, um als digitales biometrisches Passbild für ein maschinenlesbares Sicherheitsdokument geeignet zu sein.The multiple verification criteria for the digital biometric passport photograph may include at least or exclusively the ICAO standard verification criteria for passport photographs, excluding the background verification criterion. In this embodiment, it is intended to check the suitability of a portrait image for a digital biometric passport photo using the ICAO standard for passport photos for machine-readable security documents: "Technical Report - Portrait Quality (Reference Facial Images for MRTD)" (Version 1.0 from April 2018 or more recent version). It defines standard criteria that portrait or face image data must meet in order to be suitable as a digital biometric passport photo for a machine-readable security document.

Beim Ausführen der Hintergrundkorrektur kann weiterhin Folgendes vorgesehen sein: Bestimmen eines Vordergrunds und eines Hintergrund in dem vorausgewählte Portraitbild unter Verwendung der aus den weiteren Portraitbildern bestimmten Bildinformation; und Ausführen der Hintergrundkorrektur für den Hintergrund im vorausgewählten Portraitbild.When performing the background correction, the following can also be provided: determining a foreground and a background in the preselected portrait image using the image information determined from the further portrait images; and performing background correction for the background in the preselected portrait image.

Beim Bestimmen von Vordergrund und Hintergrund kann weiterhin Folgendes vorgesehen sein: Bestimmen eines Vergleichsbildes, bei dem Bildpunkte des Vergleichsbildes entweder einem Vordergrund oder einem Hintergrund zugeordnet werden, indem in einander zugeordneten Bildpunkten ein Bildpunktunterschied bestimmt und die Bildpunkte in Abhängigkeit von einem Schwellwert für den Bildpunktunterschied dem Vordergrund oder dem Hintergrund zugeordnet werden, wobei das Vergleichsbild unter Verwendung von wenigstens zwei der weiteren Portraitbilder bestimmt wird; Bestimmen von Vordergrund und Hintergrund für Bildpunkte im vorausgewählten Portraitbild und Herstellen eines dem Hintergrund-Prüfkriterium genügenden, korrigierten Hintergrunds für die dem Hintergrund zugeordneten Bildpunkte im vorausgewählten Portraitbild.When determining the foreground and background, the following can also be provided: determining a comparison image in which pixels of the comparison image are assigned to either a foreground or a background by determining a pixel difference in pixels assigned to one another and the pixels depending on a threshold value for the pixel difference assigned to the foreground or background, with the Ver same image is determined using at least two of the other portrait images; Determining foreground and background for pixels in the preselected portrait image and producing a corrected background, which satisfies the background test criterion, for the pixels assigned to the background in the preselected portrait image.

Unter Verwendung der weiteren Portraitbilder wird das Vergleichsbild erzeugt, in welchem jeder Bildpunkt entweder dem Vordergrund oder dem Hintergrund zugeordnet ist. Den Vordergrund bildet hierbei die Gesichts- oder Kopfabbildung der Person. Das Vergleichsbild bildet eine Art Maske, die auf das weitere zweite Portraitbild angewendet werden kann, um darin Vordergrund und Hintergrund zu bestimmen. Die dem Hintergrund zugeordneten Bildpunkte (Pixel) können dann korrigiert werden, um einen dem Hintergrund-Prüfkriterium genügenden Hintergrund zu erzeugen.The comparison image, in which each pixel is assigned either to the foreground or to the background, is generated using the further portrait images. The face or head image of the person forms the foreground. The comparison image forms a kind of mask that can be applied to the further second portrait image in order to determine the foreground and background in it. The picture elements (pixels) assigned to the background can then be corrected in order to produce a background which satisfies the background test criterion.

Das Bestimmen des Bildpunktunterschieds kann ein Bestimmen eines Helligkeits- und / oder Farbunterschieds für die einander zugeordneten Bildpunkte und ein Verwenden eines Helligkeits- und / oder Farbunterschieds-schwellwert umfassen. Beim Bestimmen des Vergleichsbilds wird hier zur Zuordnung der Bildpunkte zum Vordergrund oder zum Hintergrund ein Helligkeits- und / oder ein Farbunterschied für die miteinander zu vergleichenden Bildpunkte herangezogen. Anhand des Vergleichs mit dem Helligkeits- und / oder dem Farbunterschiedsschwellwert wird der Bildpunkt des Vergleichsbildes dem Vordergrund oder dem Hintergrund zugeordnet.Determining the pixel difference can include determining a brightness and/or color difference for the pixels associated with one another and using a brightness and/or color difference threshold value. When determining the comparison image, a brightness and/or color difference for the pixels to be compared is used here to assign the pixels to the foreground or to the background. Based on the comparison with the brightness and/or the color difference threshold value, the pixel of the comparison image is assigned to the foreground or the background.

Beim Herstellen des korrigierten Hintergrunds kann weiterhin Folgendes vorgesehen sein: Ausbilden der Bildpunkte für den Hintergrund mit einer homogenen Farbgebung und / oder Blenden des Vordergrunds zum Hintergrund mittels Alpha-Blending.When producing the corrected background, the following can also be provided: forming the pixels for the background with a homogeneous coloring and/or blending the foreground with the background using alpha blending.

Beim Aufnehmen der Folge von Portraitbildern und der weiteren Portraitbildern kann für die Person mittels der Beleuchtungseinrichtung eine getakte Beleuchtung angewendet wird, wobei eine Taktung zur Bildwiederholfrequenz synchronisiert ist. Die Beleuchtungseinrichtung wird auf diese Weise zum Ausleuchten des Gesichts der Person in zeitlicher Hinsicht synchronisiert zu den Videobildaufnahmen ein- und ausgeschaltet.When recording the sequence of portrait images and the further portrait images, clocked lighting can be used for the person by means of the lighting device, clocking being synchronized with the image refresh rate. In this way, the lighting device is switched on and off in a temporally synchronized manner with the video image recordings in order to illuminate the face of the person.

Die Folge von Portraitbildern und / oder die weiteren Portraitbildern können in verschiedenen Ausführungsformen mit einer Bildwiederholfrequenz von wenigstens etwa 10 Bildern pro Sekunde aufgenommen werden. Alternativ kann vorgesehen sein, die Folge von Portraitbildern und / oder die Folge von weiteren Portraitbildern mit einer Bildwiederholfrequenz von höchstens etwa 30 Bildern pro Sekunde aufzunehmen, alternativ mit einer Bildwiederholfrequenz von höchstens etwa 60 Bildern pro Sekunde.In various embodiments, the sequence of portrait images and/or the additional portrait images can be recorded with an image refresh rate of at least approximately 10 images per second. Alternatively, provision can be made to record the sequence of portrait images and/or the sequence of further portrait images with a frame rate of at most approximately 30 frames per second, alternatively with a frame rate of at most approximately 60 frames per second.

Die Passbilddaten können an eine Personalisierungseinrichtung übertragen werden, die eingerichtet ist, die Passbilddaten zu verarbeiten, derart, dass eine Repräsentation des digitalen biometrischen Passbildes auf einem Dokumentenkörper für ein Sicherheitsdokument aufgebracht wird.The passport photo data can be transmitted to a personalization device which is set up to process the passport photo data in such a way that a representation of the digital biometric passport photo is applied to a document body for a security document.

Die vorangehend im Zusammenhang mit dem Verfahren zum Bestimmen von Passbilddaten für ein digitales biometrisches Passbild erläuterten Ausgestaltungen können im Zusammenhang mit der Vorrichtung zum Bestimmen von Passbilddaten und / oder dem Verfahren zum Personalisieren eines Sicherheitsdokuments entsprechend vorgesehen sein.The configurations explained above in connection with the method for determining passport photo data for a digital biometric passport photo can be provided accordingly in connection with the device for determining passport photo data and/or the method for personalizing a security document.

Beim Bestimmen des ersten Portraitbilds aus der Folge von Portraitbildern kann ein Verfahren mit den folgenden Schritten zum Einsatz kommen: Aufnehmen einer Folge von Portraitbildern für eine Person mittels Videobildaufnahme mit einer Bildwiederholfrequenz und einer Aufnahmeauflösung für die Portraitbilder mittels einer Videobildaufnahmevorrichtung; Speichern von jeweiligen Portraitbilddaten mit der Aufnahmeauflösung und Portraitbilddaten mit einer gegenüber der Aufnahmeauflösung verminderten Auflösung für die Portraitbilder aus der Videobildaufnahme; und Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild der Person repräsentieren, aus den Portraitbildern der Videobildaufnahme. Das Bestimmen der Passbilddaten umfasst hierbei Folgendes: Auswählen von ersten Portraitbildern aus der Folge von Portraitbildern; Bestimmen, ob die Portraitbilddaten, welche den ersten Portraitbildern jeweils zugeordnet sind, ersten Prüfkriterien bezüglich einer Eignung für ein digitales biometrisches Passbild der Person erfüllen, wobei das Prüfen für die Portraitbilddaten mit der verminderten Auflösung ausgeführt wird; Auswählen eines der ersten Portraitbilder, für welches die zugeordneten Portraitbilddaten zumindest eine notwendige Teilmenge der ersten Prüfkriterien erfüllen; Bestimmen, ob die Portraitbilddaten, welche dem einen der ersten Portraitbilder zugeordnet sind, zweite Prüfkriterien bezüglich der Eignung für das digitale biometrische Passbild der Person erfüllen, wobei die zweiten Prüfkriterien von den ersten Prüfkriterien verschieden sind und das Prüfen für die Portraitbilddaten mit der verminderten Auflösung ausgeführt wird; und Erzeugen der Passbilddaten unter Verwendung der dem einen der ersten Portraitbilder zugeordneten Portraitbilddaten mit der Aufnahmeauflösung, wenn die Portraitbilddaten mit der verminderten Auflösung, welche dem einen der ersten Portraitbilder zugeordnet sind, zumindest eine notwendige Teilmenge der zweiten Prüfkriterien erfüllen.When determining the first portrait image from the series of portrait images, a method comprising the following steps can be used: capturing a series of portrait images for a person using video image capture with a frame rate and a capture resolution for the portrait images using a video image capturing device; Saving respective portrait image data with the recording resolution and portrait image data with a reduced resolution compared to the recording resolution for the portrait images from the video image recording; and determining passport photo data representing a digital biometric passport photo of the person from the portrait images of the video image capture. In this case, determining the passport photo data includes the following: selecting first portrait images from the sequence of portrait images; determining whether the portrait image data associated with the first portrait images, respectively, meets first screening criteria for suitability for a digital biometric passport photograph of the person, the screening being performed on the portrait image data at the reduced resolution; selecting one of the first portrait images for which the associated portrait image data meet at least a necessary subset of the first test criteria; Determining whether the portrait image data associated with the one of the first portrait images meets second screening criteria for suitability for the person's digital biometric passport photograph, the second screening criteria being different than the first screening criteria, and performing the screening for the reduced-resolution portrait image data becomes; and generating the passport photo data using the portrait image data associated with the one of the first portrait images with the recording resolution if the portrait image data with the reduced resolution associated with the one of the first portrait images are net, meet at least a necessary subset of the second test criteria.

Das Verfahren ermöglicht es, ein für die weitere Bearbeitung (insbesondere die anschließende Hintergrundbearbeitung) geeignetes digitales biometrisches Passbild aus den erfassten Videobildaufnahmen zu bestimmen.The method makes it possible to determine a digital biometric passport photo that is suitable for further processing (in particular the subsequent background processing) from the recorded video images.

Die Videobildaufnahmen werden mittels einer Videobildaufnahmevorrichtung aufgenommen und mittels einer Datenverarbeitungseinrichtung verarbeitet. Die Portraitbilddaten, welche jeweils die aufgenommene Portraitbilder der Person repräsentieren, werden bei diesem Ausführungsbeispiel mittels erster und zweiter Portraitbilddaten in der Speichereinrichtung abgelegt, wobei die ersten und die zweiten Portraitbilddaten das zugeordnete Porträtbild mit unterschiedlicher Auflösung repräsentieren, nämlich der ursprünglichen Aufnahmeauflösung (während der Videobildaufnahme) und einer hier gegenüber verminderten Auflösung. Alternativ können auch schon die ersten Portraitbilddaten mit einer gegenüber der Aufnahmeauflösung verminderten Auflösung gespeichert werden, wobei die zweiten Portraitbilddaten dann eine hiergegenüber (weiter) verminderte Bildauflösung aufweisen. Es kann vorgesehen sein, die Portraitbilddaten in dem gemeinsamen Speicher („shared memory“) abzulegen, auf den mehrere Datenverarbeitungsprozesse gemeinsam und koordiniert zugreifen können.The video images are recorded using a video image recording device and processed using a data processing device. In this exemplary embodiment, the portrait image data, which in each case represent the recorded portrait images of the person, are stored in the storage device by means of first and second portrait image data, with the first and second portrait image data representing the assigned portrait image with a different resolution, namely the original recording resolution (during the video image recording) and a reduced resolution compared to here. Alternatively, the first portrait image data can already be stored with a resolution that is reduced compared to the recording resolution, with the second portrait image data then having a (further) reduced image resolution compared to this. Provision can be made for the portrait image data to be stored in the common memory (“shared memory”), which can be accessed jointly and in a coordinated manner by a number of data processing processes.

Die Portraitbilddaten mit der verminderten Auflösung werden analysiert oder verarbeitet, dahingehend, dass geprüft wird, ob die mehreren Prüfkriterien bezüglich einer Eignung für ein digitales biometrisches Passbild der Person erfüllt sind. Hierbei werden zum Beispiel jeweils mehrere erste und mehrere zweite Prüfkriterien untersucht. Sofern die Portraitdaten mit der verminderten Auflösung für eines der Portraitbilder sowohl mindestens eine Teilmenge der ersten wie auch mindestens eine Teilmenge der zweiten Prüfkriterien erfüllen, wird das erste Portraitbild bestimmt, welches dann hinsichtlich des Hintergrunds bearbeitet wird. Bei der Prüfung bezüglich der zweiten Prüfkriterien bleiben Portraitbilddaten unberücksichtigt, welche nicht zumindest die notwendige Teilmenge der ersten Prüfkriterien erfüllen.The reduced resolution portrait image data is analyzed or processed to determine whether the plurality of test criteria for suitability for a digital biometric passport photograph of the person are met. In this case, for example, a number of first and a number of second test criteria are examined in each case. If the portrait data with the reduced resolution for one of the portrait images meet both at least a subset of the first and at least a subset of the second test criteria, the first portrait image is determined, which is then processed with regard to the background. When checking for the second checking criteria, portrait image data that do not meet at least the necessary subset of the first checking criteria are not taken into account.

Die notwendige Teilmenge der Prüfkriterien kann anwendungsabhängig festgelegt werden und bestimmt, dass nicht notwendigerweise alle jeweiligen Prüfkriterien von den untersuchten Portraitbilddaten erfüllt werden müssen, sondern nur eine Mindestanzahl. In alternativen Ausgestaltungen kann vorgesehen sein, dass - beim Bestimmen des ersten Portraitbilds - die Portraitbilddaten für die ersten Prüfkriterien und / oder die zweiten Prüfkriterien alle tatsächlich untersuchten Prüfkriterien erfüllen müssen, um als geeignet für das digitale biometrische Passbild bestimmt zu werden. Die notwendige Teilmenge von Prüfkriterien kann eine Mindestanzahl von Prüfkriterien angeben, die erfüllt sein müssen, wobei es hierbei nicht darauf ankommt, welche der Prüfkriterien erfüllt sind. Alternativ kann vorgesehen sein, dass die notwendige Teilmenge Prüfkriterien bestimmter Art festlegt, die notwendigerweise erfüllt sein müssen, um eine Eignung für das digitale biometrische Passbild festzustellen. Ist für die Prüfkriterien eine gewichtete Reihenfolge gegeben, kann vorgesehen sein, die Prüfkriterien der gewichteten Reihenfolge entsprechend nacheinander zu prüfen und die Prüfung abzubrechen, wenn die notwendige Teilmenge erfüllt ist, beispielsweise eine Mindestanzahl.The necessary subset of the test criteria can be defined depending on the application and determines that not all of the respective test criteria must necessarily be met by the portrait image data examined, but rather only a minimum number. In alternative configurations it can be provided that - when determining the first portrait image - the portrait image data for the first test criteria and/or the second test criteria must meet all test criteria actually examined in order to be determined as suitable for the digital biometric passport photo. The necessary subset of test criteria can specify a minimum number of test criteria that must be met, it not being important which of the test criteria are met. Alternatively, it can be provided that the necessary subset defines test criteria of a specific type that must necessarily be met in order to determine suitability for the digital biometric passport photo. If there is a weighted sequence for the test criteria, provision can be made for the test criteria to be checked one after the other in accordance with the weighted sequence and for the check to be terminated when the necessary subset is met, for example a minimum number.

Das Aufnehmen der Folge von Portraitbildern für die Person mittels Videobildaufnahme und das Speichern von jeweiligen Portraitbilddaten mit der Aufnahmeauflösung und Portraitbilddaten mit der verminderten Auflösung für die Portraitbilder können während des Bestimmens der Passbilddaten zumindest zeitweise fortgesetzt werden. Hierbei wird der Prozess zum Aufnehmen und zum Abspeichern der Portraitbilder, die im Rahmen der Videobildaufnahme aufgenommen werden, fortgesetzt, während in Echtzeit parallel das Bestimmen der Passbilddaten aus bereits aufgenommenen Portraitbildern der Videobildaufnahme und nach Hintergrundkorrektur ausgeführt wird. Die Fortsetzung des Aufnehmens von Portraitbildern mittels Videobildaufnahme kann während der Bestimmung der Passbilddaten fortdauernd (durchgehend) oder unterbrochen erfolgen. Datenverarbeitungsprozesse zum Speichern der Portraitbilddaten und zum Bestimmen der Passbilddaten sind hierbei parallelisiert und können auf gleichen oder unterschiedlichen Datenverarbeitungskomponenten ausgeführt werden, beispielsweise einem FPGA-Baustein sowie einem oder mehreren Prozessoren.The recording of the sequence of portrait images for the person by means of video recording and the storage of the respective portrait image data with the recording resolution and portrait image data with the reduced resolution for the portrait images can be continued at least temporarily while the passport photo data is being determined. Here, the process of recording and storing the portrait images that are recorded as part of the video recording is continued, while the determination of the passport photo data from portrait images that have already been recorded in the video recording and after background correction is carried out in parallel in real time. The continuation of capturing portrait images by means of video image capturing can be continuous (continuous) or interrupted during the determination of the passport photo data. Data processing processes for storing the portrait image data and for determining the passport photo data are parallelized here and can be executed on the same or different data processing components, for example an FPGA module and one or more processors.

Das Aufnehmen der Folge von Portraitbildern für die Person mittels Videobildaufnahme kann beendet werden, wenn die Passbilddaten erzeugt wurden. Wenn die Passbilddaten für die Person erzeugt sind, welche das digitale biometrische Passbild repräsentieren oder anzeigen, wird die Videobildaufnahme automatisch beendet, was als Reaktion auf ein entsprechendes Steuersignal an die Videobildaufnahmevorrichtung erfolgen kann. Bis zu diesem Zeitpunkt kann das Aufnehmen der Portraitbilder mittels Videobildaufnahme fortgesetzt werden.Capturing the sequence of portrait images for the person by video image capturing can be terminated when the passport photo data has been generated. When the passport photo data for the person representing or displaying the digital biometric passport photo is generated, the video image recording is automatically terminated, which can be done in response to a corresponding control signal to the video image recording device. Up to this point, the recording of the portrait images can be continued using video image recording.

Die Portraitbilder aus der Videobildaufnahme können in Echtzeit der Person als Videobildausgabe auf einer Anzeigeeinrichtung angezeigt werden, welche mit der Passbildaufnahmeeinrichtung verbunden ist. Bei dieser Ausführungsform werden die aufgenommenen Portraitbilder in Echtzeit parallel zum Aufnehmen auf der Anzeigeeinrichtung der Person und dargestellt, was dann zeitlich parallel zum Bestimmen der Passbilddaten erfolgt. Die Person erhält eine Art Rückkopplung über die Videobildaufnahmen und kann wahlweise selbständig Änderungen vornehmen, zum Beispiel bezüglich der Kopfposition oder der Blickrichtung.The portrait images from the video image recording can be displayed to the person in real time as a video image output on a display device which is connected to the passport photo recording device. In this embodiment, the captured portrait images are displayed on the person's display device in real time in parallel with capturing and shown what then takes place in parallel with the determination of the passport photo data. The person receives a kind of feedback about the video image recordings and can optionally make changes independently, for example with regard to the position of the head or the direction of view.

Nach dem Erzeugen der Passbilddaten kann das digitale biometrische Passbild der Person auf der Anzeigeeinrichtung angezeigt werden. Bei dieser Ausführungsform ist vorgesehen, dass das digitale biometrische Passbild, welches die Passbilddaten anzeigen, der Person über die Anzeigeeinrichtung zur Kenntnis gebracht wird. Dieses kann zeitlich parallel zu der noch laufenden Videobildaufnahme und deren Ausgabe über die Anzeigeeinrichtung ausgeführt werden. Auf der Anzeigeeinrichtung kann ein separiertes Anzeigefenster genutzt werden, um das biometrische Passbild der Person zur Kenntnis zu bringen. Es kann vorgesehen sein, nach dem Anzeigen des digitalen biometrischen Passbilds auf der Anzeigeeinrichtung eine Benutzereingabe der Person in der Passbildaufnahmeeinrichtung zu empfangen, welche eine Zustimmung der Person zu dem biometrischen Passbild anzeigt. Hierauf kann die noch laufende Videobildaufnahme beendet werden. Auch kann als Reaktion auf die Benutzereingabe die weitere Be- oder Verarbeitung der Passbilddaten begonnen werden.After generating the passport photo data, the person's digital biometric passport photo can be displayed on the display device. In this embodiment, it is provided that the person is made aware of the digital biometric passport photo, which display the passport photo data, via the display device. This can be carried out in parallel with the still ongoing video image recording and its output via the display device. A separate display window can be used on the display device in order to provide information about the person's biometric passport photo. After the digital biometric passport photo has been displayed on the display device, it can be provided that a user input from the person is received in the passport photo recording device, which indicates that the person has approved the biometric passport photo. The video image recording that is still running can then be ended. Further editing or processing of the passport photo data can also be started as a reaction to the user input.

Die Passbilddaten können an eine Personalisierungseinrichtung übertragen werden, die eingerichtet ist, die Passbilddaten zu verarbeiten, derart, dass eine Repräsentation des digitalen biometrischen Passbildes auf einem Dokumentenkörper für ein Sicherheitsdokument aufgebracht wird. Die Passbilddaten können in Form einer Passbilddatendatei an die Personalisierungseinrichtung übertragen werden. Das Übertragen der Passbilddaten an die Personalisierungseinrichtung kann nach dem Erzeugen der Passbilddaten erfolgen. Alternativ kann vorgesehen sein, dass das Übertragen der Passbilddaten an die Personalisierungseinrichtung erst ausgeführt wird, nachdem eine Benutzereingabe betreffend die Zustimmung der Person zu dem biometrischen Passbild empfangen wurde. Die Personalisierungseinrichtung dient dem Personalisieren des Sicherheitsdokuments, indem hierauf eine Repräsentation des digitalen biometrischen Passbilds aufgebracht wird, beispielsweise mittels Aufdrucken des Passbilds und / oder Speichern der Passbilddaten in einem Speicherelement des Sicherheitsdokuments.The passport photo data can be transmitted to a personalization device that is set up to process the passport photo data in such a way that a representation of the digital biometric passport photo is applied to a document body for a security document. The passport photo data can be transmitted to the personalization device in the form of a passport photo data file. The passport photo data can be transmitted to the personalization device after the passport photo data has been generated. Alternatively, provision can be made for the passport photo data to be transmitted to the personalization device only after a user input relating to the person's consent to the biometric passport photo has been received. The personalization device is used to personalize the security document by applying a representation of the digital biometric passport photo to it, for example by printing the passport photo and/or storing the passport photo data in a storage element of the security document.

Weiterhin kann bei dem Verfahren zum Bestimmen des ersten Portraitbilds Folgendes vorgesehen sein: Auswählen von zweiten Portraitbildern aus der Folge von Portraitbildern, die von den ersten Portraitbildern verschieden sind, wenn für keines der ersten Portraitbilder festgestellt wird, dass die zugeordneten Portraitbilddaten die notwendige Teilmenge der ersten und die notwendige Teilmenge der zweiten Prüfkriterien erfüllt sind; Bestimmen der den zweiten Portraitbildern zugeordneten Portraitbilddaten entsprechend dem Bestimmen der den ersten Portraitbildern zugeordneten Portraitbilddaten; und Erzeugen der Passbilddaten unter Verwendung von Portraitbilddaten, welche einem der zweiten Portraitbilder zugeordnet sind, wenn die Portraitbilddaten zumindest die notwendige Teilmenge der ersten Prüfkriterien und zumindest die notwendige Teilmenge der zweiten Prüfkriterien erfüllen. Hierbei werden aus dem fortdauernden Videodatenbildstrom weitere Portraitbilder ausgewählt, wenn keines der ersten Portraitbilder die notwendigen Prüfkriterien bezüglich der Eignung für das digitale biometrische Passbild erfüllt. Dieser Prozess kann mehrfach mittels Auswahl weiterer Portraitbilder wiederholt werden, bis mindestens eines der Portraitbilder die notwendigen Prüfkriterien für die Eignung als digitales biometrisches Passbild erfüllt. Zeitlich parallel zum (laufenden) Aufnehmen der Folge von Portraitbildern mittels Videobildaufnahme werden bereits erfasste Portraitbilder hinsichtlich ihrer Eignung für das digitale biometrische Passbild geprüft. Wenn für zumindest eines der Portraitbilder die zugeordneten Portraitbilddaten die geforderten Prüfkriterien erfüllen, können hieraus die Passbilddaten bestimmt werden.Furthermore, the following can be provided in the method for determining the first portrait image: selecting second portrait images from the sequence of portrait images that are different from the first portrait images if it is not determined for any of the first portrait images that the associated portrait image data is the necessary subset of the first and the necessary subset of the second test criteria are met; determining portrait image data associated with the second portrait images in accordance with determining portrait image data associated with the first portrait images; and generating the passport photo data using portrait image data which is assigned to one of the second portrait images if the portrait image data meet at least the necessary subset of the first test criteria and at least the necessary subset of the second test criteria. In this case, further portrait images are selected from the ongoing video data image stream if none of the first portrait images meet the necessary test criteria with regard to suitability for the digital biometric passport photo. This process can be repeated several times by selecting further portrait images until at least one of the portrait images meets the necessary test criteria for suitability as a digital biometric passport photo. At the same time as the (continuous) recording of the series of portrait images using video recording, portrait images that have already been captured are checked for their suitability for the digital biometric passport photo. If the portrait image data assigned to at least one of the portrait images meet the required test criteria, the passport photo data can be determined from this.

Die ersten Prüfkriterien können ein oder mehrere der folgenden Prüfkriterien umfassen: Ausleuchtung des Portraitbildes, Hintergrund des Portraitbildes, Bildkontrast, Kopfposition, Augen und Blickrichtung, Kopfbedeckung und Sitz einer Brille. Die ersten Prüfkriterien erlauben das Prüfen der Portraitbilddaten hinsichtlich ihrer biometrischen Eignung, also der Eignung, für das durch die Portraitbilddaten repräsentierte Passbild eine biometrische Gesichtserkennung auszuführen. Beispielsweise kann eine solche Eignung für die biometrische Gesichtserkennung festgestellt werden, wenn mindestens folgende erste Prüfkriterien erfüllt sind: frontale Bildaufnahme, festgelegte Kopfposition im Portraitbild, strukturloser Hintergrund, neutraler Gesichtsausdruck und ausreichende Ausleuchtung (ohne Reflexionen oder Schatten auf Gesicht und Hintergrund).The first test criteria can include one or more of the following test criteria: illumination of the portrait image, background of the portrait image, image contrast, head position, eyes and line of sight, headgear and fit of glasses. The first test criteria allow the portrait image data to be tested with regard to their biometric suitability, ie the suitability to carry out biometric face recognition for the passport picture represented by the portrait image data. For example, such a suitability for biometric face recognition can be determined if at least the following first test criteria are met: frontal image recording, fixed head position in the portrait image, structure-free background, neutral facial expression and sufficient lighting (without reflections or shadows on the face and background).

Aus den ersten Portraitbildern kann ein nicht geeignetes Portraitbild bestimmt werden, für welches die zugeordneten Portraitbilddaten die notwendige Teilmenge der ersten Prüfkriterien nicht erfüllen, wobei hierauf wenigstens einer der folgenden Schritte vorgesehen ist: (i) Erzeugen von Steuerdaten als Reaktion auf das Feststellen eines Fehlers, dahingehend, dass bei dem nicht geeigneten Portraitbild eines der ersten Prüfkriterien nicht erfüllt ist, wobei die Steuerdaten eingerichtet sind, eine Ausgabe über eine Ausgabeeinrichtung an die Person zu steuern, und wobei mit der Ausgabe ein Benutzerhinweis zum Beheben des Fehlers an die Person ausgegeben wird; und (ii) Erzeugen von weiteren Steuerdaten als Reaktion auf das Feststellen eines weiteren Fehlers, dahingehend, dass bei dem nicht geeigneten Portraitbild ein weiteres der ersten Prüfkriterien nicht erfüllt ist, wobei die weiteren Steuerdaten eingerichtet sind, einen Betriebsparameter der Videobildaufnahmevorrichtung und / oder einer der Videobildaufnahmevorrichtung zugeordneten Beleuchtungseinrichtung für das Aufnehmen der Folge von Portraitbildern zu ändern. Ein Fehler kann beispielsweise erkannt werden, wenn die Person in dem untersuchten Portraitbild eine Kopfbedeckung trägt, die Augen geschlossen sind, die Blickrichtung nicht nach vorn ausgerichtet ist und / oder Haare ein Auge bedecken. Die auf das Erkennen eines solchen Fehlers erzeugten Steuerdaten sind eingerichtet, einen Benutzerhinweis an die Person auszugeben, sei es in visueller und / oder akustischer Form, um die Person zur Korrektur des Fehlers aufzufordern. Die weiteren Steuerdaten auf das Feststellen des weiteren Fehlers können zum Beispiel eine geänderte Kameraeinstellung für die Videobildaufnahmevorrichtung und / oder eine geänderte Einstellung der Beleuchtungseinrichtung zum besseren Ausleuchten betreffen. Eine intuitive Benutzerführung mittels der Steuerdaten kann vorgesehen sein, beispielsweise das Ausgeben von Benutzerhinweisen über eine Anzeigeeinrichtung, die die Person beispielsweise veranlassen die Blickrichtung zu ändern.An unsuitable portrait image can be determined from the first portrait images, for which the associated portrait image data does not meet the necessary subset of the first test criteria, with at least one of the following steps being provided on this: (i) generating control data in response to the detection of an error, to the effect that the unsuitable portrait image does not meet one of the first test criteria, the control data being set up to control an output via an output device to the person, and with the output being a user notice to correct the error is issued to the person; and (ii) generating further control data in response to the detection of a further error, to the effect that the unsuitable portrait image does not meet another of the first test criteria, the further control data being set up, an operating parameter of the video image recording device and/or one of the To change video image recording device associated lighting device for recording the sequence of portrait images. An error can be detected, for example, if the person in the examined portrait image wears a hat, the eyes are closed, the line of sight is not directed forward and/or hair covers one eye. The control data generated when such an error is detected are set up to issue a user notice to the person, be it in visual and/or acoustic form, in order to prompt the person to correct the error. The additional control data for determining the additional error can relate, for example, to a changed camera setting for the video image recording device and/or a changed setting of the lighting device for better illumination. Intuitive user guidance using the control data can be provided, for example the output of user instructions via a display device, which cause the person to change the viewing direction, for example.

Mittels der zweiten Prüfkriterien kann geprüft werden, ob die Portraitbilddaten ein digitales biometrisches Passbild repräsentieren, welches dem ICAO-Standard für Passbilder für maschinenlesbare Sicherheitsdokumente genügt. Beispielsweise kann mittels der zweiten Prüfkriterien geprüft werden, ob die Portraitbilddaten folgendem Standard genügen: „Technical Report - Portrait Quality (Reference Facial Images for MRTD)“ (Version 1.0 aus April 2018 oder aktuellere Fassung).The second test criteria can be used to test whether the portrait image data represents a digital biometric passport photo that satisfies the ICAO standard for passport photos for machine-readable security documents. For example, the second test criteria can be used to check whether the portrait image data meets the following standard: "Technical Report - Portrait Quality (Reference Facial Images for MRTD)" (Version 1.0 from April 2018 or a more recent version).

Figurenlistecharacter list

Nachfolgend werden weitere Ausführungsbeispiele unter Bezugnahme auf Figuren einer Zeichnung näher erläutert. Hierbei zeigen:

1 eine schematische Darstellung einer Anordnung für eine Vorrichtung zum Bestimmen von digitalen Passbilddaten, welche wahlweise mit einer Personalisierungseinrichtung verbunden ist; und
2 eine schematische Blockdarstellung für ein Verfahren zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument repräsentieren.

Further exemplary embodiments are explained in more detail below with reference to figures of a drawing. Here show:

1 a schematic representation of an arrangement for a device for determining digital passport photo data, which is optionally connected to a personalization device; and
2 a schematic block diagram for a method for determining passport photo data representing a digital biometric passport photo for a security document.

1 zeigt eine schematische Darstellung einer Anordnung für eine Vorrichtung zum Bestimmen von Passbilddaten, die ein digitales biometrisches Passbild für ein Sicherheitsdokument 1 repräsentieren. 2 zeigt eine schematische Blockdarstellung für ein Verfahren zum Bestimmen der Passbilddaten, wobei hierbei eine Hintergrundbearbeitung ausgeführt wird. 1 shows a schematic representation of an arrangement for a device for determining passport photo data, which represent a digital biometric passport photo for a security document 1 . 2 shows a schematic block diagram for a method for determining the passport photo data, with background processing being carried out in this case.

Mit Hilfe einer Videobildaufnahmevorrichtung 2, die zum Beispiel mit einer Videobildkamera gebildet und im gezeigten Beispiel als Teil einer Passbildaufnahmeeinrichtung 3 bereitgestellt ist, werden im Schritt 20 für eine Person 4 Portrait- oder Gesichtsbilder im Rahmen einer Videobildaufnahme aufgenommen. Mit Hilfe einer Datenverarbeitungseinrichtung 5, die mit der Videobildaufnahmevorrichtung 2 verbunden ist, werden die in dem Videodatenstrom mit einer Bildwiederholfrequenz enthaltenen Portraitbilder in einer Speichereinrichtung 6 als digitale Portraitbilddaten abgelegt (Schritt 21). Hierbei werden Portraitbilddaten mit einer Aufnahmeauflösung gespeichert, welche der Bildauflösung beim Aufnehmen der Portraitbilder im Rahmen der Videobildaufnahme entspricht. Zusätzlich können in einem Ausführungsbeispiel für die Portraitbilder jeweils Portraitbilddaten mit einer gegenüber der Aufnahmeauflösung verminderten Auflösung in der Speichereinrichtung abgelegt.With the aid of a video image recording device 2, which is formed, for example, with a video camera and is provided in the example shown as part of a passport photo recording device 3, in step 20 portrait or facial images are recorded for a person 4 as part of a video image recording. With the aid of a data processing device 5, which is connected to the video image recording device 2, the portrait images contained in the video data stream with an image refresh rate are stored in a storage device 6 as digital portrait image data (step 21). In this case, portrait image data are stored with a recording resolution which corresponds to the image resolution when recording the portrait images as part of the video image recording. In addition, in one exemplary embodiment for the portrait images, portrait image data can be stored in the memory device with a resolution that is reduced compared to the recording resolution.

Beim Aufnehmen der Portrait- oder Gesichtsbilder wird das Gesicht der Person 4 mittels einer Beleuchtungseinrichtung 7 beleuchtet, die getaktet und synchronisiert zur Videobildaufnahmevorrichtung 2 betreibbar ist.When recording the portrait or facial images, the face of the person 4 is illuminated by means of an illumination device 7 which can be operated in a clocked and synchronized manner with the video image recording device 2 .

Im Schritt 22 wird im Rahmen einer Vorprüfung aus der Folge von Portraitbildern mindestens ein erstes Portraitbild bestimmt, welches mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokument genügt, nicht aber hinsichtlich eines Hintergrund-Prüfkriteriums für das digitale biometrische Passbild. Es wird also mindestens eines der Portraitbilder bestimmt, welches den mehreren Prüfkriterien genügt. Das kann auf verschiedene Weise erfolgen.In step 22, as part of a preliminary check, at least one first portrait image is determined from the sequence of portrait images, which satisfies several test criteria for a digital biometric passport photo for a security document, but not with regard to a background test criterion for the digital biometric passport photo. At least one of the portrait images that satisfies the multiple test criteria is thus determined. This can be done in a number of ways.

Nachfolgend werden für das Bestimmen des erstes Portraitbilds Ausführungsbeispiele erläutert. Aus der Folge von Portraitbildern werden erste Portraitbilddaten ausgewählt. Für die den ersten Portraitbildern jeweils zugeordneten Portraitbilddaten wird bestimmt, ob diese erste Prüfkriterien bezüglich einer Eignung für das digitale biometrische Passbild der Person 4 erfüllen. Diese Prüfung wird für die Portraitbilddaten mit der verminderten Auflösung ausgeführt. Die ersten Prüfkriterien können zum Beispiel Prüfkriterien aus der folgenden Gruppe umfassen: Ausleuchtung des Portraitbildes, Hintergrund des Portraitbildes, Bildkontrast, Kopfposition, Augen und Blickrichtung, Kopfbedeckung und Sitz einer Brille.Exemplary embodiments for determining the first portrait image are explained below. First portrait image data is selected from the sequence of portrait images. For the portrait image data respectively assigned to the first portrait images, it is determined whether these meet first test criteria with regard to suitability for the digital biometric passport photo of the person 4 . This check is performed for the portrait image data with the reduced resolution. The first test criteria can, for example, include test criteria from the following group: lighting of the portrait image, background of the portrait image, image contrast, head position, eyes and gaze direction, headgear and fit of glasses.

Wird für die Portraitbilddaten zumindest eines der ersten Portraitbilder festgestellt, dass eine vorgegebene Menge von ersten Prüfkriterien erfüllt ist, wird das eine der ersten Portraitbilder für eine weitere Prüfung hinsichtlich der Eignung für das digitale biometrische Passbild ausgewählt. Im Rahmen der weiteren Prüfung werden für die Portraitbilddaten des ausgewählten Portraitbilds zweite Prüfkriterien geprüft, die von den ersten Prüfkriterien verschieden sind. Auch die Prüfung hinsichtlich der zweiten Prüfkriterien wird für die Portraitbilddaten mit der verminderten Auflösung ausgeführt. Die zweiten Prüfkriterien können einer Prüfung dienen, ob die Portraitbilddaten ein digitales biometrisches Passbild in Übereinstimmung mit dem ICAO-Standard für Passbilder für maschinenlesbare Sicherheitsdokumente sind. Beispielsweise kann der Standard gemäß „Technical Report - Portrait Quality (Reference Facial Images for MRTD)“ in der Version 1.0 aus April 2018 oder einer aktuelleren Fassung ausgeführt werden. Alternativ können die Prüfkriterien aus der Foto-Mustertafel für Personaldokumente herangezogen werden, welche beispielsweise unter folgender Adresse abrufbar ist: https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/themen/moderneverwaltung/ausweise/fotomustertafel.html [abgerufen am 10. September 2021]. Die Foto-Mustertafel veranschaulicht die Anforderungen an digitale biometrische Passbilder von Erwachsenen und Kindern für einen Personalausweis und einen Reisepass. Zu den darin genannten Prüfkriterien gehören insbesondere die folgenden Prüfkriterien: Format, Schärfe und Kontrast, Ausleuchtung, Hintergrund, Fotoqualität, Kopfposition und Gesichtsausdruck, Augen- und Blickrichtung, Brillenträger und Kopfbedeckung. Hinsichtlich dieser Prüfkriterien sind in der Foto-Mustertafel Vorgaben definiert, die herangezogen werden können, um die Eignung eines Portraitbildes für das Bestimmen eines digitalen biometrischen Passbildes zu prüfen.If at least one of the first portrait images is determined for the portrait image data that a predetermined set of first test criteria is met, one of the first portrait images is selected for a further test with regard to suitability for the digital biometric passport photo. As part of the further check, second check criteria, which differ from the first check criteria, are checked for the portrait image data of the selected portrait image. The check with regard to the second check criteria is also carried out for the portrait image data with the reduced resolution. The second verification criteria may serve to verify whether the portrait image data is a digital biometric passport photo in accordance with the ICAO standard for passport photos for machine-readable security documents. For example, the standard can be executed according to "Technical Report - Portrait Quality (Reference Facial Images for MRTD)" in version 1.0 from April 2018 or a later version. Alternatively, the test criteria from the photo template for personal documents can be used, which can be accessed at the following address, for example: https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/themen/moderneverwaltung/zettel/fotomustertafel. html [accessed 10 September 2021]. The sample photo panel illustrates the requirements for adult and child digital biometric passport photos for an ID card and passport. The test criteria mentioned therein include in particular the following test criteria: format, sharpness and contrast, illumination, background, photo quality, head position and facial expression, eye and viewing direction, glasses wearer and headgear. With regard to these test criteria, specifications are defined in the photo template that can be used to test the suitability of a portrait photo for determining a digital biometric passport photo.

Wird festgestellt, dass die untersuchten Portraitbilddaten auch für die zweiten Prüfkriterien zumindest eine notwendige Teilmenge hiervon erfüllen (nicht jedoch das Hintergrund-Prüfkriterium), wird das zugeordnete Portraitbild als erstes Portraitbild ausgewählt, für welches dann im weiteren Verfahren der Hintergrund bearbeitet wird.If it is determined that the portrait image data examined also meet at least a necessary subset of these for the second test criteria (but not the background test criterion), the assigned portrait image is selected as the first portrait image, for which the background is then processed in the further process.

Im Vergleich zu dem vorangehend beschriebenen Ausführungsbeispiel kann vereinfachend auch vorgesehen sein, zum Beispiel (nur) die Portraitbilddaten mit der Aufnahmeauflösung zum Bestimmen des ersten Portraitbilds heranzuziehen und hierfür zu prüfen, ob zumindest eines der Portraitbilder den mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokumentgenügt, nicht aber hinsichtlich eines Hintergrund-Prüfkriteriums für das digitale biometrische Passbild.In comparison to the exemplary embodiment described above, it can also be provided, for example, (only) to use the portrait image data with the recording resolution to determine the first portrait image and to check whether at least one of the portrait images satisfies the multiple test criteria for a digital biometric passport photo for a security document , but not with regard to a background check criterion for the digital biometric passport photo.

Für das erste Portraitbild wurde bestimmt, dass es hinsichtlich des Hintergrund-Prüfkriteriums für das digitale biometrische Passbild nicht den Anforderungen genügt, also der Hintergrund der ersten Portraitbildaufnahme insbesondere nicht einfarbig und hell ist und / oder Schatten im Hintergrund vorhanden sind. Sollte das Hintergrund-Prüfkriterium an dieser Stelle nicht explizit geprüft werden, kann alternativ für das Verfahren angenommen werden, dass das Hintergrund-Prüfkriterium für das erste Portraitbild nicht erfüllt ist. Demgegenüber wird stets bestimmt, ob das erste Portraitbild den mehreren Prüfkriterien genügt.It was determined for the first portrait image that it does not meet the requirements with regard to the background test criterion for the digital biometric passport photo, i.e. the background of the first portrait image is not monochromatic and light and/or there are shadows in the background. If the background check criterion is not explicitly checked at this point, it can alternatively be assumed for the method that the background check criterion for the first portrait image is not met. On the other hand, it is always determined whether the first portrait image satisfies the multiple test criteria.

Im Schritt 23 wird eine Beleuchtungseigenschaft bestimmt, welche mittels der Beleuchtungseinrichtung 7 beim Aufnehmen des ersten Portraitbilds angewendet wurde. Die Beleuchtungseigenschaft zeigt insbesondere eine Beleuchtungsstärke an, die zur Ausleuchtung des Gesichts der Person 4 bei der Videobildaufnahme für das erste Portraitbild verwendet wurde. Da das erste Portraitbild den mehreren Prüfkriterien für das digitale biometrische Passbild für das Sicherheitsdokument 1 genügt (nicht aber dem Hintergrund-Prüfkriterium), kann hier davon ausgegangen werden, dass die Beleuchtungseigenschaft, welche angewendet wurde, eine geeignete Beleuchtungseigenschaft ist, insbesondere eine geeignete oder optimierte Beleuchtungsstärke.In step 23, a lighting property is determined, which was applied by means of the lighting device 7 when the first portrait image was recorded. The lighting property indicates, in particular, an illuminance that was used to illuminate the face of person 4 when the video image was recorded for the first portrait image. Since the first portrait image satisfies the multiple test criteria for the digital biometric passport photo for security document 1 (but not the background test criterion), it can be assumed here that the lighting property that was applied is a suitable lighting property, in particular a suitable or optimized one illuminance.

Um die Passbilddaten für das digitale biometrische Passbild zu bestimmen, ist es notwendig, ein Portraitbild zu bestimmen, welches zusätzlich auch dem Hintergrund-Prüfkriterium genügt. Hierzu ist dann im Schritt 24 vorgesehen, mittels Videobildaufnahme mit Hilfe der Videobildaufnahmevorrichtung 2 eine Folge von weiteren Portraitbildern für die Person aufzunehmen, wobei die Person 4 hierbei mittels der Beleuchtungseinrichtung 7 beleuchtet wird. Die weiteren Portraitbilder umfassen mindestens ein erstes weiteres Portraitbild, welches unter Verwendung der Beleuchtungsstärke aufgenommen wird, und ein zweites weiteres Portraitbild umfassen, welches unter Verwendung einer im Vergleich zur Beleuchtungsstärke (nach den Beleuchtungseigenschaften) veränderten Beleuchtungsstärke aufgenommen wird.In order to determine the passport photo data for the digital biometric passport photo, it is necessary to determine a portrait photo which also satisfies the background check criterion. For this purpose it is then provided in step 24 to record a sequence of further portrait images for the person by means of video image recording with the aid of the video image recording device 2 , with the person 4 being illuminated by means of the lighting device 7 . The additional portrait images include at least a first additional portrait image that is recorded using the illuminance, and a second additional portrait image that is recorded using an illuminance that has changed compared to the illuminance (according to the illuminance properties).

Beim Aufnahmen der weiteren Portraitbilder als Videobildaufnahmen werden Aufnahmebedingungen aufrechterhalten, die den Aufnahmebedingungen beim Aufnahmen des (mindestens einen) ersten Portraitbilds entsprechen, also zum Beispiel der Abstand der Person zur Videobildaufnahmevorrichtung 2 und die Pose des Kopfes der Person.When recording the further portrait images as video recordings, recording conditions are maintained which correspond to the recording conditions when recording the (at least one) first portrait image, e.g. the distance of the person from the video recording device 2 and the pose of the person's head.

Alternativ können mindestens die folgenden weiteren Portraitbilder aufgenommen werden: (i) ein erstes weiteres Portraitbild, bei dem eine im Vergleich zur Beleuchtungsstärke nach der Beleuchtungseigenschaft geringere Beleuchtungsstärke angewendet wird; (ii) mindestens ein zweites weiteres zweites Portraitbild, bei dem die Beleuchtungsstärke nach der Beleuchtungseigenschaft angewendet wird, und (iii) mindestens ein drittes weiteres drittes Portraitbild aufgenommen werden, bei dem eine im Vergleich zur geringeren Beleuchtungsstärke größere Beleuchtungsstärke angewendet wird. Hierbei wird also die Beleuchtungsstärke, die bei dem (zuvor bestimmten) ersten Portraitbild im Rahmen der Folge von weiteren Portraitbildern angewendet wurde, variiert, so dass die weiteren Portraitbilder mit unterschiedlichen Beleuchtungsstärken aufgenommen werden. Alternativ kann vorgesehen sein, mehrere weitere Portraitbilder aufzunehmen, für welche die Beleuchtungsstärke nur vermindert oder nur vergrößert wurde.Alternatively, at least the following further portrait images can be recorded: (i) a first further portrait image in which a lower illuminance is applied compared to the illuminance according to the illuminance property; (ii) at least a second further second portrait image, in which the illuminance is applied according to the illuminance property, and (iii) at least a third further third portrait image, in which a greater illuminance is applied compared to the lower illuminance. In this case, the illuminance that was applied to the (previously determined) first portrait image as part of the sequence of further portrait images is varied, so that the further portrait images are recorded with different illuminance levels. Alternatively, provision can be made to record a number of further portrait images for which the illuminance was only reduced or only increased.

Ausgehend von den weiteren Portraitbildern wird im Schritt 25 ein geeignetes Portraitbild aus der Folge von weiteren Portraitbildern bestimmt, welches nicht nur den mehreren Prüfkriterien, sondern - nach wahlweise ausgeführter Hintergrundbearbeitung - auch dem Hintergrund-Prüfkriterium für das digital biometrisches Passbild genügt. Hierbei kann für ein aus den weiteren Portraitbildern vorausgewähltes Portraitbild eine Hintergrundkorrektur ausgeführt werden, die nachfolgend anhand von Ausführungsbeispielen näher erläutert wird. Die Vorauswahl kann hierbei vorsehen, aus den weiteren Portraitbildern eines auszuwählen, welches zumindest den mehreren Prüfkriterien für ein digitales biometrisches Passbild für ein Sicherheitsdokument genügt. Unter Verwendung zumindest eines Teils der weiteren Portraitbilder wird eine Bestimmung von Vordergrund und Hintergrund ausgeführt, worauf für das vorausgewählte Portraitbild eine Hintergrundkorrektur ausgeführt werden kann.Based on the other portrait images, a suitable portrait image is determined in step 25 from the sequence of other portrait images, which not only satisfies the several test criteria but also—after optional background processing—also the background test criterion for the digital biometric passport photo. In this case, a background correction can be carried out for a portrait image preselected from the other portrait images, which is explained in more detail below on the basis of exemplary embodiments. In this case, the pre-selection can provide for one to be selected from the other portrait images, which at least satisfies the multiple test criteria for a digital biometric passport image for a security document. A determination of foreground and background is carried out using at least part of the further portrait images, after which a background correction can be carried out for the preselected portrait image.

Hierbei kann Folgendes vorgesehen sein: Bestimmen eines Vergleichsbildes, bei dem Bildpunkte des Vergleichsbildes entweder einem Vordergrund oder einem Hintergrund zugeordnet werden, indem in einander zugeordneten Bildpunkten ein Bildpunktunterschied bestimmt und die Bildpunkte in Abhängigkeit von einem Schwellwert für den Bildpunktunterschied dem Vordergrund oder dem Hintergrund zugeordnet werden, wobei das Vergleichsbild unter Verwendung von wenigstens zwei der folgenden Portraitbilder bestimmt wird: (i) weiteres erstes Portraitbild, (ii) weiteres zweites Portraitbild und (iii) weiteres drittes Portraitbild; Bestimmen von Vordergrund und Hintergrund für Bildpunkte im weiteren zweiten Portraitbild und Herstellen eines dem Hintergrund-Prüfkriterium genügenden, korrigierten Hintergrunds für die dem Hintergrund zugeordneten Bildpunkte im weiteren zweiten Portraitbild. Beim Bestimmen des Bildpunktunterschieds kann ein Helligkeits- und / oder Farbunterschied für die einander zugeordneten Bildpunkte bestimmt werden, und ein Helligkeits- und / oder Farbunterschiedsschwellwert kann verwendet werden, um die Bildpunkte Vorder- oder Hintergrund zuzuordnen.The following can be provided: Determination of a comparison image, in which pixels of the comparison image are assigned to either a foreground or a background, by determining a pixel difference in pixels assigned to one another and assigning the pixels to the foreground or to the background depending on a threshold value for the pixel difference , wherein the comparison image is determined using at least two of the following portrait images: (i) another first portrait image, (ii) another second portrait image and (iii) another third portrait image; Determination of foreground and background for pixels in the further second portrait image and production of a corrected background, which satisfies the background test criterion, for the pixels assigned to the background in the further second portrait image. When determining the pixel difference, a lightness and/or color difference can be determined for the associated pixels, and a lightness and/or color difference threshold can be used to assign the pixels to foreground or background.

Beim Bestimmen des Vergleichsbilds können Bildpunkte, die sich bei Vergleich der Portraitbilder aufgrund der unterschiedlichen Beleuchtungsverhältnisse beim Aufnehmen der Videobilder wesentlich (zum Beispiel um ein Mindestmaß oder über den Schwellwert) verändert haben, dem Vordergrund zugeordnet werden. Bildpunkte, für die der Bildpunktunterschied geringer als der Schwellwert ist, werden dem Hintergrund zugeordnet. Das Vergleichsbild weist dann Bildpunkte auf die (temporär) entweder dem Vordergrund oder dem Hintergrund zugeordnet sind.When determining the comparison image, pixels that have changed significantly (for example by a minimum or above the threshold value) when comparing the portrait images due to the different lighting conditions when recording the video images can be assigned to the foreground. Pixels for which the pixel difference is less than the threshold value are assigned to the background. The comparison image then has pixels that are (temporarily) assigned either to the foreground or to the background.

Alternativ kann das Bild, welches für die Bildpunkte den jeweiligen Bildpunktunterschied anzeigt, bildzeilenweise wie folgt verarbeitet werden: beginnend mit Zeile 1, Bestimmen eines ersten Pixels (Bildpunkt) von links, das temporär dem Vordergrund zugeordnet ist; Bestimmen ein letztes Pixel in der ersten Zeile, das temporär dem Vordergrund zugeordnet ist; Bestimmen einer inneren Zone zwischen dem ersten und dem letzten Pixel als Vordergrund und einer Zone außerhalb der inneren Zone als Hintergrund; und Fortsetzen der Bestimmung für alle Bildzeilen.Alternatively, the image showing the respective pixel difference for the pixels can be processed line by line as follows: starting with line 1, determining a first pixel (pixel) from the left which is temporarily assigned to the foreground; determining a last pixel in the first line that is temporarily assigned to the foreground; determining an inner zone between the first and last pixels as foreground and a zone outside the inner zone as background; and continuing the determination for all image lines.

Es kann eine Filterung vorgesehen sein, zum Beispiel eine sogenannte „2D moving average“ Filterung, so dass einzelne (temporäre) Vordergrund- und / oder Hintergrund-Bildpunkte nicht vorkommen im Vergleichsbild.Filtering can be provided, for example what is known as “2D moving average” filtering, so that individual (temporary) foreground and/or background pixels do not appear in the comparison image.

Optional kann vorgesehen sein, den Hintergrund einer homogenen Farbe entsprechend auszugestalten, ähnlich einer physischen Rückwand, und / oder Vordergrund zu Hintergrund zu blenden, zum Beispiel mittels sogenanntem Alpha-Blending.Provision can optionally be made for the background to have a homogeneous color, similar to a physical rear wall, and/or to blend foreground with background, for example by means of so-called alpha blending.

Die Passbilddaten können dann im Schritt 26 wahlweise an eine Personalisierungseinrichtung 8 übertragen werden, welche eingerichtet ist, das Sicherheitsdokument 1 zu personalisieren. Hierzu kann die Personalisierungseinrichtung 8 mit einer Druckeinrichtung ausgeführt sein, mittels der das biometrische Passbild auf dem Sicherheitsdokument 1 aufgedruckt wird. Alternativ oder ergänzend kann vorgesehen sein, die Passbilddaten in einer Speichereinrichtung 9 des Sicherheitsdokuments 1 abzulegen. Hierdurch ist das Sicherheitsdokument personalisiert und ermöglicht anhand des biometrischen Passbildes eine Personenidentifizierung.In step 26 the passport photo data can then optionally be transmitted to a personalization device 8 which is set up to personalize the security document 1 . For this purpose, the personalization device 8 can be designed with a printing device, by means of which the biometric passport photo is printed on the security document 1 . Alternatively or additionally, the passport photo data can be stored in a storage device 9 of the security document 1 . As a result, the security document is personalized and enables personal identification using the biometric passport photo.

Während das Bestimmen der Passbilddaten des digitalen biometrischen Passbilds ausgeführt wird, kann das Aufnehmen der Portraitbilder mittels Videoaufnahme fortgeführt werden, so dass fortdauernd neue Portraitbilddaten bereitgestellt werden, auf die beim Bestimmen der Passbilddaten zurückgegriffen werden kann, bis zumindest für eines der Portraitbilder aus der Videobildaufnahme bestimmt wird, dass sowohl den mehreren Prüfkriterien als auch dem Hintergrund-Prüfkriterium bezüglich der Eignung für das digitale biometrische Passbild erfüllt sind. Auf das Erzeugen der Passbilddaten wird die Videobildaufnahme dann beendet.While the passport photo data of the digital biometric passport photo is being determined, the recording of the portrait images can be continued by means of video recording, so that new portrait image data are continuously provided, which can be used when determining the passport photo data, until at least one of the portrait images from the video recording is determined that both the several test criteria and the background test criterion regarding the suitability for the digital biometric passport photo are met. Once the passport photo data has been generated, the video recording is then terminated.

Wird beim Prüfen der Portraitbilddaten hinsichtlich der mehreren Prüfkriterien ein Fehler festgestellt, welcher die Nichterfüllung zumindest eines der Prüfkriterien anzeigt, können hierauf in der Passbildaufnahmeeinrichtung 3 Steuerdaten erzeugt werden, um das weitere Aufnehmen von Portraitbildern mittels Videoaufnahme zu beeinflussen, dahingehend, dass verbesserte Portraitbilder aufgenommen werden. In einer Ausgestaltung kann vorgesehen sein, dass die Steuerdaten eingerichtet sind, eine Ausgabe über eine Ausgabeeinrichtung 10 an die Person 4 zu steuern, derart, dass ein Benutzerhinweis zum Beheben des Fehlers an die Person 4 ausgegeben wird, was einen visuellen und / oder akustischen Hinweis an die Person umfassen kann, beispielsweise eine Aufforderung, eine Kopfbedeckung abzunehmen, und / oder eine Aufforderung beide Augen zu öffnen. Ähnliche Benutzerhinweise können eine Korrektur der Blickrichtung oder das Verdecken eines Auges durch Haare im Gesicht der Person 4 betreffen. Die Ausgabeeinrichtung 10, welche zum Beispiel mit einem Display gebildet sein kann, kann wahlweise in die Passbildaufnahmeeinrichtung 3 integriert sein, zum Beispiel bei der Ausbildung in einem Terminalgerät zum Erfassen von personenbezogenen Daten für das Sicherheitsdokument 1. Die Ausgabeeinrichtung 9 kann zum Empfangen von Benutzereingaben als Ein- / Ausgabeeinrichtung ausgeführt sein.If an error is found when checking the portrait image data with regard to the several test criteria, which indicates that at least one of the test criteria is not met, control data can then be generated in the passport photo recording device 3 in order to influence the further recording of portrait pictures by means of video recording, to the effect that improved portrait pictures are recorded . In one embodiment, it can be provided that the control data are set up to control an output via an output device 10 to the person 4 in such a way that a user instruction to correct the error is output to the person 4, which is a visual and/or acoustic indicator to the person may include, for example, a request to remove hat and/or a request to open both eyes. Similar user instructions can relate to correcting the line of sight or covering an eye with hair on the face of the person 4 . The output device 10, which can be formed with a display, for example, can optionally be integrated into the passport photo recording device 3, for example during training in a terminal device for recording personal data for the security document 1. The output device 9 can be used to receive user inputs as Input / output device to be executed.

Alternativ oder ergänzend können als Reaktion auf das Feststellen eines Fehlers Steuerdaten erzeugt werden, die eingerichtet sind, einen Betriebsparameter der Videobildaufnahmevorrichtung 2 und / oder einer dieser zugeordneten Beleuchtungseinrichtung für weitere Portraitbilder im Rahmen der Videobildaufnahme zu verbessern, beispielsweise für eine verbesserte Ausleuchtung der Portraitbilder.Alternatively or additionally, in response to the detection of an error, control data can be generated that are set up to improve an operating parameter of the video image recording device 2 and/or one of the lighting devices assigned to it for further portrait images as part of the video image recording, for example for improved illumination of the portrait images.

Auf diese Weise werden die bei der Videobildaufnahme mit der Bildwiederholfrequenz erfassten Portraitbilder in Echtzeit als Reaktion auf das Feststellen eines Fehlers optimiert. Derartige Optimierungsprozesse können ausgeführt werden, bis für wenigstens eines der Portraitbilder festgestellt wird, dass sowohl die ersten wie auch die zweiten Prüfkriterien erfüllt sind, so dass die Passbilddaten erzeugt werden können. Auf das Feststellen von Fehlern im Rahmen der Prüfung der ersten Prüfkriterien wird auf den Prozess des Aufnehmens der Portraitbilder mittels Videoaufnahme rückgekoppelt, um schließlich für das digitale biometrische Passbild geeignete Portraitbilddaten mittels Videoaufnahme bereitzustellen.In this way, the portrait images captured during video capture at the frame rate are optimized in real time in response to detecting an error. Such optimization processes can be carried out until it is determined for at least one of the portrait images that both the first and the second test criteria are met, so that the passport image data can be generated. The detection of errors during the examination of the first test criteria is fed back to the process of taking the portrait pictures by means of video recording in order to finally provide suitable portrait picture data for the digital biometric passport picture by means of video recording.

Die in der vorstehenden Beschreibung, den Ansprüchen sowie der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der verschiedenen Ausführungen von Bedeutung sein.The features disclosed in the above description, the claims and the drawing can be important both individually and in any combination for the realization of the various embodiments.

Bezugszeichenlistereference list

11: Sicherheitsdokumentsecurity document
22: Videobildaufnahmevorrichtungvideo image capture device
33: PassbildaufnahmeeinrichtungPassport photo taking facility
44: Personperson
55: Datenverarbeitungseinrichtungdata processing facility
66: Speichereinrichtungstorage device
77: Beleuchtungseinrichtunglighting device
88th: PersonalisierungseinrichtungPersonalization setup
99: Speichereinrichtung des Sicherheitsdokument 1Storage facility of the security document 1
1010: Ausgabeeinrichtungoutput device
20, .., 2620, .., 26: Verfahrensschritteprocess steps

Claims

Method for determining passport photo data, which represent a digital biometric passport photo for a security document (1), with: - recording a sequence of portrait images for a person (4) by means of video image recording with an image refresh rate using a video image recording device (2), the person (4 ) is illuminated by means of an illumination device (7); - Saving respective portrait image data for the portrait images from the video image recording and - Determining passport photo data that represents a digital biometric passport photo of the person (4), comprising: - Determining a first portrait image from the sequence of portrait images, which was recorded according to recording conditions and a number of test criteria for a digital biometric passport photo for a security document (1) is sufficient, but not with regard to a background check criterion for the digital biometric passport photo; - Determining a lighting property, which by means of the lighting device (7) at capturing the first portrait image has been applied and displays at least one illuminance; - Recording further portrait images for the person (4) by means of video image recording using the video image recording device (2) and using the lighting device (7) and maintaining the recording conditions, with the further portrait images - a first further portrait image, which is recorded using the illuminance , and - comprise a second further portrait image, which is recorded using an illuminance which is changed compared to the illuminance; - determining from the further portrait images a suitable portrait image which satisfies the plurality of test criteria and the background test criterion for the digital biometric passport photo; and - generating the passport photo data using portrait image data associated with the appropriate portrait image.

procedure after claim 1 , characterized in that the recording of the further portrait images comprises the following: - the second further portrait image is recorded with an illuminance which is lower in comparison to the illuminance; and - a third further portrait image is recorded with an illuminance that is greater than the illuminance.

procedure after claim 1 or 2 , characterized in that determining the appropriate portrait image comprises: - preselecting one of the further portrait images if the one of the further portrait images satisfies the plurality of verification criteria for the digital biometric passport photograph; and - carrying out a background correction for the preselected portrait image using image information determined from the further portrait images.

Method according to at least one of the preceding claims, characterized in that the several test criteria for the digital biometric passport photo include at least the test criteria according to the photo sample table for personal documents, without the background test criterion.

Method according to at least one of the preceding claims, characterized in that the multiple test criteria for the digital biometric passport photo include at least the test criteria according to the ICAO standard for passport photos, without the background test criterion.

Method according to at least one of the preceding claims, insofar as claim 3 related, characterized in that when carrying out the background correction, the following is also provided: - determining a foreground and a background in the preselected portrait image using the image information determined from the further portrait images; and - performing background correction for the background in the preselected portrait image.

procedure after claim 6 , characterized in that when determining the foreground and background, the following is also provided: - determining a comparison image in which pixels of the comparison image are assigned either to a foreground or to a background by determining a pixel difference in pixels assigned to one another and the pixels as a function of a threshold value for the pixel difference can be assigned to the foreground or the background, the comparison image being determined using at least two of the further portrait images; - determining the foreground and background for pixels in the preselected portrait image and - producing a background check criterion which satisfies the corrected background for the pixels assigned to the background in the preselected portrait image.

procedure after claim 7 , characterized in that the determination of the pixel difference includes determining a brightness and/or color difference for the pixels associated with one another and using a brightness and/or color difference threshold value.

procedure after claim 7 or 8th , characterized in that when the corrected background is produced, the following is also provided: forming the pixels for the background with a homogeneous coloring and/or blending the foreground to the background by means of alpha blending.

Method according to at least one of the preceding claims, characterized in that clocked lighting is used when recording the sequence of portrait images and the further portrait images for the person (4) by means of the lighting device (7), clocking being synchronized with the image refresh rate.

Method according to at least one of the preceding claims, characterized in that that the passport photo data is transmitted to a personalization device (8) which is set up to process the passport photo data in such a way that a representation of the digital biometric passport photo is applied to a document body for a security document.

A method of personalizing a security document, comprising: - determining passport photo data representing a digital biometric passport photo according to a method according to at least one of the preceding claims; - Providing the passport photo data in a personalization device (8); - providing a security document (1); and - Personalizing the security document (1), with the passport photo data being processed in the personalization device (8) and a representation of the digital biometric passport photo being applied to the security document (1).

procedure after claim 12 , characterized in that when the representation of the digital biometric passport photo is applied to the security document (1), a biometric passport photo is printed and/or the passport photo data are stored in an electronic storage element (9) of the security document (1).

Device for determining passport photo data, which represent a digital biometric passport photo for a security document (1), with a passport photo recording device (3), which is set up for the following: - recording a sequence of portrait images for a person (4) by means of video image recording with a refresh rate using a video image recording device (2), the person (4) being illuminated by means of an illumination device (7); - storing respective portrait image data for the portrait images from the video image recording and - determining passport photo data representing a digital biometric passport photo of the person (4), comprising: - Determining a first portrait image from the sequence of portrait images, which was taken in accordance with the recording conditions and satisfies several test criteria for a digital biometric passport photo for a security document (1), but not with regard to a background test criterion for the digital biometric passport photo; - determining a lighting property which was applied by means of the lighting device (7) when the first portrait image was recorded and which indicates at least one lighting intensity; - Recording further portrait images for the person (4) by means of video image recording using the video image recording device (2) and using the lighting device (7) and maintaining the recording conditions, with the further portrait images - a first further portrait image, which is recorded using the illuminance, and - comprise a second further portrait image, which is recorded using an illuminance which is changed compared to the illuminance; - determining from the further portrait images a suitable portrait image which satisfies the plurality of test criteria and the background test criterion for the digital biometric passport photo; and - Generation of the passport photo data using portrait image data associated with the appropriate portrait image.