EP4014144A1 - Method for identifying a person by means of facial recognition, identification apparatus and computer program product - Google Patents

Method for identifying a person by means of facial recognition, identification apparatus and computer program product

Info

Publication number
EP4014144A1
EP4014144A1 EP20761139.3A EP20761139A EP4014144A1 EP 4014144 A1 EP4014144 A1 EP 4014144A1 EP 20761139 A EP20761139 A EP 20761139A EP 4014144 A1 EP4014144 A1 EP 4014144A1
Authority
EP
European Patent Office
Prior art keywords
data
person
identified
transformation
data record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20761139.3A
Other languages
German (de)
French (fr)
Inventor
Andreas Wolf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP4014144A1 publication Critical patent/EP4014144A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention relates to a method for identifying a person by means of facial recognition, an identification device and a computer program product.
  • Processes for identifying people by means of face recognition are widely used today.
  • facial image data of the person to be identified are processed.
  • One or more face recognition algorithms are used here to evaluate the face image data for personal identification.
  • Various face recognition algorithms are known as such.
  • two-dimensional biometric face recognition which uses commercially available cameras for recording
  • three-dimensional (3D) recording of the face for example by means of stripe projection.
  • the face recognition algorithms are implemented for machine face recognition with the help of software applications that can be executed on one or more data processing devices to carry out the personal identification by means of face recognition.
  • personal identification based on face recognition can also be carried out manually or not by machine.
  • a person who is supposed to carry out the test for example security personnel, can be shown a comparison facial image on a display device so that the person performing the identification can compare this with a live image, a photo or the face of the person standing in front of them.
  • Document DE 102015 108351 A1 discloses an identification server for identifying a person to be identified, which has the following: a memory for providing a plurality of personal data records that are assigned to different people, each personal data record being transformed by means of a personalized transformation rule comprises a biometric reference feature of a person, a communication interface for receiving a person identification via a communication network, the person identification being assigned to the person to be identified, and a processor which is designed to use the person identification received to provide an indication of the personalized transformation mation rule, which is assigned to the person to be identified, read from the memory, wherein the communication interface is designed to send a request to transmit a biometric feature of the person to be identified transformed by means of the personalized transformation rule over the communication network.
  • the request includes the reference to the personalized transformation rule.
  • the communication interface is also designed to receive the transformed biometric feature of the person to be identified via the communication network.
  • the processor is designed to compare the received transformed biometric feature with the transformed biometric reference feature in order to identify the person to be identified.
  • the object of the invention is to specify a method for identifying a person by means of face recognition, an identification device and a computer program product with which the usability of face recognition is facilitated in compliance with data protection provisions in various fields of application.
  • a method for identifying a person by means of facial recognition is created, in which case a depersonalized data record is provided in an identification device.
  • the depersonalized data record is calculated from a personalized data record by means of a data transformation in accordance with a transformation rule.
  • the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm.
  • the depersonalized data record is, based on the personalized data record, due to the application of the data transformation on according to the transformation rule so that the person to be identified can no longer be identified with the aid of the at least one face recognition algorithm based on the depersonalized data record, which includes facial image data that has been changed in accordance with the transformation rule.
  • the method further comprises the following steps: providing transformation data, which indicate the transformation rule, in the identification device; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the person to be identified is changed using the re-personalized data record can be identified with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm which is different from the at least one face recognition algorithm; Providing a comparison data set which comprises current face image data for the person to be identified; and identifying the person using the re-personalized data record, the comparison data record and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
  • an identification device which has one or more processors which are set up to identify a person by means of face recognition: providing a depersonalized data record, the depersonalized data record being calculated from a personalized data record by means of a data transformation according to a transformation rule , the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm, and the depersonalized data record, based on the personalized data record, based on the application of the data transformation according to the
  • the transformation rule is changed in such a way that the person to be identified, using the depersonalized data record, has changed his face in accordance with the transformation rule tstruckarian includes, with the help of the at least one face recognition algorithm can no longer be identified.
  • the processor or processors are set up to carry out the following: Providing transformation data that indicate the transformation rule; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the one to be identified Person can be identified on the basis of the re-personalized data record with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm which is different from the at least one face recognition algorithm; Providing a comparison data set which comprises current facial image data for the person to be identified; and identifying the person using the re-personalized data record, the comparison data record and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
  • a computer program product is also created.
  • the personalized data set was made in accordance with the transformation rule when deriving or determining the depersonalized data set changed in such a way that such a machine face recognition is no longer possible at least with the at least one face recognition algorithm.
  • it can be determined experimentally from when the originally personalized data record is depersonalized due to a change in accordance with the transformation rule, which is optionally carried out in successive change steps, so that the machine face recognition based on the data record thus depersonalized is not more is possible.
  • a “distance” between the personalized data set and the depersonalized data set ie the difference between the facial image data and the changed facial image data, can depend on the specific face recognition algorithm.
  • face recognition algorithms With different face recognition algorithms, different data transformations can be used for depersonalization in order to determine the depersonalized data set in each case. Face recognition algorithms are known as such in various embodiments and can be used for the experimental determination of the depersonalized data set.
  • the transformation rule for depersonalization can be determined once and then used for different applications without the need for a new (experimental) determination. So it does not have to be determined (again) with each depersonalization whether a current personalized data record is “sufficiently” depersonalized. Rather, a previously determined transformation rule can be used without such a check.
  • the transformation rule specifies how the data transformation for calculating or determining the depersonalized data record from the personalized data record was carried out as a whole. For example, it can be a data transformation protocol.
  • the transformation rule can be configured so that a complete reversal or inversion of the data transformation is enabled on the basis of the information it comprises, so that on the basis of the knowledge of the transformation rule, the depersonalized data record is converted into the personalized data record, which is the starting point for the data transformation formed, converted again or calculated back.
  • a transformed (depersonalized) data record is provided, which can be stored in a storage device, for example a local memory and / or a central database, possibly even without the consent of the based data record identifiable person.
  • a storage device for example a local memory and / or a central database
  • the depersonalized data record, based on the personalized data record has been "falsified” or changed to such an extent that it can no longer be assigned to the person at least with the help of the at least one face recognition algorithm, so that the person can be assigned using the depersonalized data record with which at least one face recognition algorithm cannot be identified by machine.
  • This facilitates the provision and storage of electronic data for facial recognition applications, for example in connection with access control.
  • the transformation data must also be provided, which indicate the transformation rule or provide information about the data transformation that can be evaluated electronically.
  • Machine face recognition with the aid of the at least one face recognition algorithm can only be carried out on the basis of the depersonalized data record if these transformation data are provided.
  • the person to be identified can be given control of the transformation data so that it cannot be used without authorization.
  • the person to be identified can be identified on the basis of the personalized data record using at least one additional face recognition algorithm.
  • the depersonalized data record is then, starting from the personalized data record, changed by means of data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized based data record is also and additionally no longer identifiable with the help of the at least one additional face recognition algorithm.
  • the depersonalized data record is generated, it is checked experimentally whether the personalized data record, optionally changed piece by piece, can still be evaluated by machine with the at least one and the at least one additional face recognition algorithm for personal identification. If this is no longer possible in both cases, the original personalized data record is “sufficiently” depersonalized or changed.
  • the data transformation according to the transformation rule for depersonalizing can lead to the depersonalized data record not only being sufficient (evaluable) for machine face recognition not only for the at least one face recognition algorithm, but also for a large number of face recognition algorithms, even if this is done when creating the depersonalized one Dataset was optionally determined experimentally only for one or more of the multitude of face recognition algorithms.
  • the at least one additional face recognition algorithm can be used additionally or alternatively when identifying the person, after the re-personalized data set has been determined beforehand.
  • landmarks for the face of the person to be identified can be changed according to the face image data by means of data transformation of the transformation rule.
  • Landmarks for use in machine face recognition are known as such in a defined form, so that one or more landmarks can be selected in order to use them in the data transformation to “falsify” the face displayed by the face image data.
  • Landmarks as such are defined, for example, in ISO / IEC 14496-2: 2004 (Information technology - Coding of audio-visual objects - Part 2: Visual).
  • ISO / IEC 39794-5: 2020 Information technology - Extensible biometric data interchange formats - Part 5: Face image data
  • ISO / IEC 19794-5 2011 (Information technology - Biometrics - Biometric data interchange formats - Part 5: Face image data) did this before.
  • a change to one or more landmarks can be carried out step by step, for example, in order to determine when the originally personalized data set is depersonalized in such a way that machine face recognition with the at least one face recognition algorithm is no longer possible. Provision can be made for one or more change limits within which the change takes place during the data transformation to be specified for the one or more landmarks.
  • the landmark limits can specify minimum changes and / or maximum permitted changes.
  • At least some of the landmarks can be changed in each case by different transformation steps which are determined, for example, randomly, that is to say according to the random principle, for example with regard to direction and distance, are shifted by the respective landmark.
  • the changes to the landmarks can be at least partially different or also independent of one another, i.e., for example, that the landmarks are not all shifted in the same direction and by the same distance (although the changes may still be dependent on the error limits). In particular, this changes the arrangement of at least some of the landmarks relative to one another.
  • the landmarks can then be reset to their original values (within permissible error tolerances) in order to determine the re-personalized data record.
  • the facial image data can be (re) determined in whole or in part from the personalized data record.
  • the transformation rule provides information about the changes made to the landmark or landmarks during depersonalization.
  • the face is triangulated on the basis of the original and the new landmarks. For all triangles determined here can then compared the edge lengths. It can be provided that, during depersonalization, each individual edge length does not differ by more than a threshold value, for example. Provision can be made for the changed facial image data to be determined in such a way that the sum of all differences does not differ by more than an additional threshold value, which is also to be determined.
  • the transformation data that indicate the transformation rule can be read in via a communication interface of the identification device.
  • the transformation data can be read in via the communication interface, for example from a mobile or portable data memory, for example a so-called smart card or a personalized token on which the transformation data was previously stored.
  • the transformation data can be made available to the person to be identified so that the person to be identified brings the transformation data with him, for example to a face recognition location, for example an access control with the aid of the identification device.
  • the identification device itself does not have the transformation data before it is read in or received via the communication interface.
  • provision can be made for the transformation data to be received by a remote server upon request from the identification device.
  • An electronic signature can be provided for the transformation data.
  • the identification device can have an image data acquisition device for acquiring the current face image data, by means of which the current face image data of the person to be identified can be acquired during identification, the face image data being 2D data, for example as a still or moving image from a camera, and / or 3D data, for example generated using pattern projection onto the face, may contain.
  • the identification device can transmit an access authorization signal to an access control device in order to authorize the person for access and / or, after unsuccessful identification, a corresponding access refusal signal to deny the person access.
  • “Access” can mean “physical” access or access to a room, building, site and the like, which is granted or denied, for example, by appropriately activating a door opener or the like, access or access to an object, eg authorization to open a container, safe, etc., or even a "virtual" access to a computer system, electronic device and the like, as understood by logging in, unlocking, etc.
  • the personalized data record can be iteratively changed when the data transformation is carried out according to the transformation rule, after which successive iterative steps are checked whether the person to be identified can still be identified using the current changed / (partially) depersonalized data record with the help of the at least one face recognition algorithm is.
  • There is a step-by-step change in the personalized data record for depersonalization i.e. a step-by-step increase in the distance between the personalized data record (facial image data) and the changed data record for the depersonalized (changed facial image data), which represents a step-by-step or piece-wise change in the data from the facial image - means the face of the person to be identified.
  • the change is continued if, when checking the current depersonalized data record, it is found that the person to be identified can still be identified with the aid of the at least one face recognition algorithm based on this current data record. Otherwise the iterative (step-by-step) data transformation is aborted.
  • the transformation rule can then display or document the partial data transformations carried out in the individual change steps and / or (only) the (maximum) change in the personalized data record.
  • the depersonalized data record can be configured (by means of the change made to depersonalize) that the person to be identified can be identified with the human eye on the basis of the changed facial image data.
  • the data transformation (change) of the personalized data set carried out for depersonalization is limited to the effect that non-machine or manual face recognition by a person is still possible if the person has a face image based on the depersonalized data set (changed face image data) and a comparison image compares the person to be identified. It is known that people are still able to carry out a person identification by means of image comparison if the face recognition algorithms that are used for machine face recognition already fail (for example as explained above with regard to the changes to the landmarks) .
  • This embodiment enables, for example, access control in which the access control staff is shown the facial image on the basis of the depersonalized data record, so that the access control staff can display this image or display of the face with a comparison image of the person to be identified can compare, for example, a live image or the person at the access control. If machine face recognition is dispensed with here, the transformation data does not need to be provided. On the one hand, the original personalized data record is depersonalized (depersonalized data record), so that the requirements for the electronic storage of this data record are lower than in comparison with the storage of the personalized data record. On the other hand, manual face recognition is still possible.
  • the determination of the limit at which the depersonalized data record still enables manual face recognition can be carried out experimentally by outputting the changed data record (for example piece by piece) via a display device and recording a user input (test personnel) which shows whether the output has been issued Facial image in comparison to a comparison image can still be assigned to the comparison image by the testing personnel, so that personal identification is made possible or not.
  • change limits for the landmarks used for face recognition can be specified in the transformation rule so that the depersonalization is carried out within limits that lead to a depersonalized data record that still enables manual face recognition.
  • the changed face image data and the current face image data can be output via an image output device in order to be made available for manual personal identification.
  • the display of the changed face image data and the current face image data on the image output device enables a person to compare the faces in order to carry out a manual personal identification, for example as part of an access control.
  • a method for identifying a person by means of face recognition is created, in which case a depersonalized data set is provided in an identification device.
  • the depersonalized data record is calculated from a personalized data record by means of a data transformation according to a transformation rule.
  • the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm.
  • the depersonalized data record is changed due to the application of the data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized data record, which includes facial image data changed in accordance with the transformation rule, with the help of the at least one system.
  • vision recognition algorithm is no longer identifiable.
  • the method further comprises outputting the depersonalized data set, in particular the changed facial image data, via an output device, in such a way that the changed facial image is displayed so that it is available for manual face recognition.
  • the changed face image data (still) enable manual face recognition, but not machine. Provision can be made for a user input to be received via an input device of the identification device, for example a keyboard or a touch-sensitive surface, which indicates whether the person could be identified or not. This signal can then be processed further, for example for the automated operation of an access control device.
  • FIG. 1 shows a schematic representation of an arrangement with an identification device
  • FIG. 2 shows a schematic illustration for explaining a method for identifying a person by means of face recognition.
  • the identification device 1 shows a schematic representation of an arrangement with an identification device 1, with which machine personal identification can be carried out.
  • the identification device 1 has a processor 2 which is connected in terms of data technology to a memory device 3 and a communication interface 4, so that electronic data can be exchanged.
  • a plurality of processors may alternatively be provided.
  • the communication interface 4 can be set up, for example, to read out a mobile or portable data memory 5, for example a smart card, in a contactless or contact-based manner.
  • An output device 6 can be coupled to the identification device 1, for example an image data output device, which is shown in FIG. 1 by means of dashed lines.
  • the output device 6 can identify the device 1 or separately therefrom be educated. Part of the data exchange, the identification device 1 can be temporarily or permanently connected to a server device 7.
  • the identification device 1 can be used in conjunction with an access control system (not shown) which is set up for access control using machine and / or manual face recognition.
  • a depersonalized data set is provided in the identification device 1, for example in such a way that the depersonalized data set is stored in the storage device 2.
  • the depersonalized data record has previously been calculated from a personalized data record by means of a data transformation in accordance with a transformation rule. This can take place in the identification device 1 itself or in another data processing device (not shown).
  • the personalized data record from which the depersonalized data record is derived includes facial image data for a person to be identified. Using the face image data, the person to be identified can be identified with the aid of at least one face recognition algorithm in the context of machine face recognition.
  • the personalized data record with the face image data can be processed in such a way that a person identification can be carried out from a comparison with a (current) image of the person which is provided for comparison.
  • the at least one face recognition algorithm is therefore able to process the personalized data set and data on the current face image in order to identify the person. Face recognition algorithms are known as such in various embodiments.
  • a data transformation according to the transformation rule is used for the depersonalized data record, so that the personalized data are changed so that the person to be identified (at least) with the depersonalized data record Can no longer be identified using the at least one face recognition algorithm.
  • the face image data are changed into changed face image data in such a way that the at least one face recognition algorithm is no longer able to identify the person in the context of machine face recognition.
  • transformation data are provided in the identification device 1 which indicate the transformation rule. This can be, for example, a log relating to the changes to the data (in particular the facial image data) from the personalized data record when the depersonalized data record is created.
  • the transformation data can include a difference image for the face image data and the changed face image data.
  • the transformation of the depersonalized image into the re-personalized image can be carried out, for example, by completely or partially inverting the processing steps carried out for the change step by step. This may take longer, but it has the advantage that the coding of the change steps (depersonalization) can be done in a very compact manner, since what is to be done with each individual pixel is not determined. For example, the following should be provided: Selecting the landmark 9.3 (that is the tip of the nose); Mark a circle with a 30 pixel radius around this landmark and shift the landmark 9.3 by five pixels to the right and adjust all pixels in the circle proportionally.
  • GIMP GNU Image Manipulation Program
  • the program is free software and can be used free of charge.
  • a pixel-by-pixel differential image can additionally or alternatively be determined as a transformation rule.
  • a re-personalized data record is calculated or determined in the identification device 1 from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, by means of a further data transformation according to an at least partial reversal or inversion of the transformation rule is changed so that the person to be identified is now based on the re-personalized data set with the help of the at least one face recognition algorithm and / or at least one other or additional face recognition algorithm which is different from the at least one face recognition algorithm is, can be (re) identified by machine.
  • the depersonalized data record can be partially or completely converted back into the personalized data record. With the further data transformation, it is achieved that a machine face recognition is possible again.
  • a comparison data set is provided in step 23, which includes current face image data for the person to be identified
  • the person to be identified is identified in step 24 using the re-personalized data set, the comparison data set and the at least one face recognition algorithm and / or the at least one other face recognition algorithm (machine) identified.
  • the face recognition algorithm processes data from the re-personalized data set and the comparison data set in order to identify the person.
  • the provision of the transformation data (step 21) in the identification device 1 can take place in that the transformation data is read in from the mobile data carrier 5 via the communication interface 4, for example from a so-called smart card 5 or another data token.
  • the depersonalization of the personalized data record (before the depersonalized data record is made available in the identification device 1), provision can be made to limit the depersonalization in such a way that the changed face image data of the depersonalized data record generated during the data transformation still require a non-automatic or manual face recognition by a human being when the changed facial image data of the human being are compared with a comparison image of the person to be identified.
  • the aim of de-personalization is to change a facial image of a person in such a way that it can no longer be assigned to a comparison photo by (selected) machine processes, but can be assigned to a comparison photo by a person with average recognition skills, in order to still allow manual facial recognition enable.
  • Landmarks are determined in the facial image. Depending on their characteristics, this can be some or all of them according to ISO / IEC 14496-2 and / or other landmarks, such as the centers of the eyes according to ISO / IEC 39794-5 or similar features.
  • the certain landmarks are shifted / changed by a random distance in a random direction compared to their original position ("trembled" into a new position).
  • each individual distance should not be greater than a certain threshold value to be defined (maximum change limit). Larger changes in location are rejected as too dissimilar. It can also be provided that the sum of all the distances is not greater than a second threshold value to be determined. Larger cumulative changes in location are also rejected as too dissimilar. On the other hand, it can be provided that the sum of all the distances is at least as large as a third threshold value to be defined, below which the similarity is assumed to be sufficient for machine systems.
  • a certain threshold value to be defined maximum change limit
  • each individual edge length should not differ by more than one additional threshold value. It can be provided that the sum of all differences do not differ by more than one additional threshold value that is also to be determined.
  • the texture of the original face image is then transferred to the new landmark grid using triangulation.
  • Methods known as such from 3D face recognition can be used for this.
  • the triangles can for example be stretched / compressed linearly, but the distortion can also take place in such a way that the edges of the triangles smoothly merge into those of the neighboring triangles and neighboring pixels do not create any sharp transitions in the optical flow. Further projections of the original grid onto the new grid are possible.
  • the threshold values can be determined on the basis of empirical values or experimentally.
  • experimental data are used on a representative set of facial images, such as passport photos and a number of state- of-the-art face recognition method used.
  • the new image can always be tested using an automated method or a selection of automated methods (face recognition algorithms), and the lower threshold value can be omitted.
  • the changed facial image cannot be generated by random positions of the landmarks, but rather using the similarity values generated by the machine comparison method, with the largest of a certain number of possible (smaller and random) changes in position Decrease in the similarity value is used for the next step in an iterative process in a kind of gradient approach.
  • the depersonalized image was generated from the initial image (transformation data). If machine face recognition is required, the (personalized) original can be generated from the changed image by means of inverse processing.

Abstract

The invention relates to a method and to an identification apparatus (1) for identifying a person by means of facial recognition. The method comprises the following: providing a depersonalized data set, wherein the depersonalized data set is calculated from a personalized data set by means of data transformation according to a transformation instruction; calculating a re-personalized data set from the depersonalized data set, wherein the re-personalized data set, on the basis of the depersonalized data set, is modified by means of additional data transformation, according to an at least partial reversal of the transformation instruction, in such a way that the person to be identified is identifiable on the basis of the re-personalized data set using the at least one facial recognition algorithm and/or at least one other facial recognition algorithm, which is different from the at least one facial recognition algorithm; providing a comparative data set which comprises current facial image data for the person to be identified; and identifying the person using the re-personalized data set, the comparative data set and the at least one facial recognition algorithm and/or the at least one other facial recognition algorithm. The invention furthermore relates to a computer program product.

Description

Verfahren zum Identifizieren einer Person mittels Gesichtserkennung, Identifizierungsvorrichtung sowie Computerprogrammprodukt Method for identifying a person using face recognition, an identification device and a computer program product
Die Erfindung betrifft ein Verfahren zum Identifizieren einer Person mittels Gesichtserken- nung, eine Identifizierungsvorrichtung sowie ein Computerprogrammprodukt. The invention relates to a method for identifying a person by means of facial recognition, an identification device and a computer program product.
Hintergrund background
Verfahren zum Identifizieren von Personen mittels Gesichtserkennung werden heute vielfäl- tig angewendet. Bei einer maschinellen Gesichtserkennung werden Gesichtsbilddaten der zu identifizierenden Person verarbeitet. Hierbei finden ein oder mehrere Gesichtserkennungsal- gorithmen Anwendung, um die Gesichtsbilddaten für die Personenidentifizierung auszuwer- ten. Verschiedenen Gesichtserkennungsalgorithmen sind als solche bekannt. Neben der zweidimensionalen biometrischen Gesichtserkennung, bei der für die Erfassung handelsübli- che Kameras genutzt werden, gibt es bekannte Verfahren, die auf eine dreidimensionale (3D) Erfassung des Gesichts nutzen, zum Beispiel mittels Streifenprojektion. Die Gesichtser- kennungsalgorithmen werden für die maschinelle Gesichtserkennung mit Hilfe von Software- Applikationen implementiert, die auf einer oder mehreren Datenverarbeitungseinrichtungen ausführbar sind, die Personenidentifizierung mittels Gesichtserkennung auszuführen. Processes for identifying people by means of face recognition are widely used today. With machine face recognition, facial image data of the person to be identified are processed. One or more face recognition algorithms are used here to evaluate the face image data for personal identification. Various face recognition algorithms are known as such. In addition to two-dimensional biometric face recognition, which uses commercially available cameras for recording, there are known methods that use three-dimensional (3D) recording of the face, for example by means of stripe projection. The face recognition algorithms are implemented for machine face recognition with the help of software applications that can be executed on one or more data processing devices to carry out the personal identification by means of face recognition.
Des Weiteren kann eine Personenidentifizierung basierend auf Gesichtserkennung auch nichtmaschinell oder manuell ausgeführt werden. Hierbei kann einer Person, die die Prüfung durchführen soll, beispielsweise Sicherheitspersonal, ein Vergleichsgesichtsbild auf einer Anzeigeeinrichtung dargestellt werden, so dass die die Identifizierung vornehmende Person dieses mit einem Livebild, einem Foto oder dem Gesicht der vor ihr stehenden Person ver- gleichen kann. Furthermore, personal identification based on face recognition can also be carried out manually or not by machine. Here, a person who is supposed to carry out the test, for example security personnel, can be shown a comparison facial image on a display device so that the person performing the identification can compare this with a live image, a photo or the face of the person standing in front of them.
Die Gesichtserkennung ist eine Form der Auswertung von biometrischen Eigenschaften zur Personenidentifizierung. In dem Dokument DE 102015 108351 A1 ist ein Identifikationsser- ver zum Identifizieren einer zu identifizierenden Person offenbart, welcher Folgendes auf- weist: einen Speicher zum Bereitstellen einer Mehrzahl von Personendatensätzen, welche unterschiedlichen Personen zugeordnet sind, wobei jeder Personendatensatz ein mittels einer personifizierten Transformationsvorschrift transformiertes biometrisches Referenz- merkmal einer Person umfasst, eine Kommunikationsschnittstelle zum Empfangen einer Personenerkennung über ein Kommunikationsnetzwerk, wobei die Personenkennung der zu identifizierenden Person zugeordnet ist, und einen Prozessor, welcher ausgebildet ist, an- hand der empfangenen Personenerkennung einen Hinweis auf die personifizierte Transfor- mationsvorschrift, welche der zu identifizierenden Person zugeordnet ist, aus dem Speicher auszulesen, wobei die Kommunikationsschnittstelle ausgebildet ist, eine Aufforderung zur Übermittlung eines mittels der personifizierten Transformationsvorschrift transformierten bi- ometrischen Merkmals der zu identifizierenden Person über das Kommunikationsnetzwerk auszusenden. Die Aufforderung umfasst den Hinweis auf die personifizierte Transformati- onsvorschrift. Die Kommunikationsschnittstelle ist ferner ausgebildet, das transformierte bi- ometrische Merkmal der zu identifizierenden Person über das Kommunikationsnetzwerk zu empfangen. Der Prozessor ist ausgebildet, das empfangene transformierte biometrische Merkmal mit dem transformierten biometrischen Referenzmerkmal zu vergleiche, um die zu identifizierende Person zu identifizieren. Face recognition is a form of evaluation of biometric properties for personal identification. Document DE 102015 108351 A1 discloses an identification server for identifying a person to be identified, which has the following: a memory for providing a plurality of personal data records that are assigned to different people, each personal data record being transformed by means of a personalized transformation rule comprises a biometric reference feature of a person, a communication interface for receiving a person identification via a communication network, the person identification being assigned to the person to be identified, and a processor which is designed to use the person identification received to provide an indication of the personalized transformation mation rule, which is assigned to the person to be identified, read from the memory, wherein the communication interface is designed to send a request to transmit a biometric feature of the person to be identified transformed by means of the personalized transformation rule over the communication network. The request includes the reference to the personalized transformation rule. The communication interface is also designed to receive the transformed biometric feature of the person to be identified via the communication network. The processor is designed to compare the received transformed biometric feature with the transformed biometric reference feature in order to identify the person to be identified.
Bei der Nutzung der Gesichtserkennung zur Personenidentifizierung sind die gesetzlichen Bestimmungen zum Datenschutz zu beachten. Diese setzen der Speicherung persönlicher Daten, also zum Beispiel Gesichtsbilddaten, enge Grenzen, was die Anwendbarkeit persona- lisierter Daten mit Gesichtsbilddaten wesentlich einschränkt. When using facial recognition for personal identification, the statutory provisions on data protection must be observed. These place tight limits on the storage of personal data, for example facial image data, which significantly restricts the applicability of personalized data with facial image data.
Zusammenfassung Summary
Aufgabe der Erfindung ist es, ein Verfahren zum Identifizieren einer Person mittels Ge- sichtserkennung, eine Identifizierungsvorrichtung sowie eine Computerprogrammprodukt anzugeben, mit denen die Nutzbarkeit der Gesichtserkennung unter Einhaltung von Daten- schutzbestimmungen auf verschiedenen Anwendungsgebieten erleichtert ist. The object of the invention is to specify a method for identifying a person by means of face recognition, an identification device and a computer program product with which the usability of face recognition is facilitated in compliance with data protection provisions in various fields of application.
Zur Lösung sind ein Verfahren zum Identifizieren einer Person mittels Gesichtserkennung, eine Identifizierungsvorrichtung, ein Zugangskontrollsystem, sowie ein Computerprogramm- produkt gemäß den unabhängigen Ansprüchen geschaffen. Ausgestaltungen sind Gegen- stand von abhängigen Unteransprüchen. To solve this, a method for identifying a person by means of face recognition, an identification device, an access control system and a computer program product according to the independent claims are created. Refinements are the subject of dependent subclaims.
Nach einem Aspekt ist ein Verfahren zum Identifizieren einer Person mittels Gesichtserken- nung geschaffen, wobei bei dem Verfahren ein entpersonalisierter Datensatz in einer Identi- fizierungsvorrichtung bereitgestellt wird. Der entpersonalisierte Datensatz ist aus einem per- sonalisierten Datensatz mittels einer Datentransformation gemäß einer Transformationsvor- schrift berechnet. Der personalisierte Datensatz umfasst Gesichtsbilddaten für eine zu identi- fizierende Person, anhand der die zu identifizierende Person mit Hilfe mindestens eines Ge- sichtserkennungsalgorithmus identifizierbar ist. Der entpersonalisierte Datensatz ist, ausge- hend von dem personalisierten Datensatz, aufgrund der Anwendung der Datentransformati- on gemäß der Transformationsvorschrift so verändert, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes, welcher der Transformationsvorschrift entspre- chend veränderte Gesichtsbilddaten umfasst, mit Hilfe des mindestens einen Gesichtserken- nungsalgorithmus nicht mehr identifizierbar ist. Das Verfahren umfasst weiterhin die folgen- den Schritte: Bereitstellen von Transformationsdaten, die die Transformationsvorschrift an- zeigen, in der Identifizierungseinrichtung; Berechnen eines re-personalisierten Datensatzes aus dem entpersonalisierten Datensatz, wobei der re-personalisierte Datensatz, ausgehend von dem entpersonalisierten Datensatz, mittels einer weiteren Datentransformation gemäß einer wenigstens teilweisen Umkehrung der Transformationsvorschrift so verändert wird, dass die zu identifizierende Person anhand des re-personalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus und / oder mindestens eines anderen Gesichtserkennungsalgorithmus, welcher von dem mindestens einen Gesichtserkennungs- algorithmus verschieden ist, identifizierbar ist; Bereitstellen eines Vergleichsdatensatzes, der aktuelle Gesichtsbilddaten für die zu identifizierende Person umfasst; und Identifizieren der Person unter Verwendung des re-personalisierten Datensatzes, des Vergleichsdatensatzes sowie des mindestens einen Gesichtserkennungsalgorithmus und / oder des mindestens einen anderen Gesichtserkennungsalgorithmus. According to one aspect, a method for identifying a person by means of facial recognition is created, in which case a depersonalized data record is provided in an identification device. The depersonalized data record is calculated from a personalized data record by means of a data transformation in accordance with a transformation rule. The personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm. The depersonalized data record is, based on the personalized data record, due to the application of the data transformation on according to the transformation rule so that the person to be identified can no longer be identified with the aid of the at least one face recognition algorithm based on the depersonalized data record, which includes facial image data that has been changed in accordance with the transformation rule. The method further comprises the following steps: providing transformation data, which indicate the transformation rule, in the identification device; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the person to be identified is changed using the re-personalized data record can be identified with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm which is different from the at least one face recognition algorithm; Providing a comparison data set which comprises current face image data for the person to be identified; and identifying the person using the re-personalized data record, the comparison data record and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
Nach einem weiteren Aspekt ist eine Identifizierungsvorrichtung geschaffen, die einen oder mehrere Prozessoren aufweist, welche eingerichtet sind, zum Identifizieren einer Person mittels Gesichtserkennung Folgendes auszuführen: Bereitstellen eines entpersonalisierten Datensatzes, wobei der entpersonalisierte Datensatz aus einem personalisierten Datensatz mittels einer Datentransformation gemäß einer Transformationsvorschrift berechnet ist, der personalisierte Datensatz Gesichtsbilddaten für eine zu identifizierende Person umfasst, an- hand der die zu identifizierende Person mit Hilfe mindestens eines Gesichtserkennungsalgo- rithmus identifizierbar ist, und der entpersonalisierte Datensatz, ausgehend von dem perso- nalisierten Datensatz, aufgrund der Anwendung der Datentransformation gemäß der Trans- formationsvorschrift so verändert ist, dass die zu identifizierende Person anhand des entper- sonalisierten Datensatzes, welcher der Transformationsvorschrift entsprechend veränderte Gesichtsbilddaten umfasst, mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus nicht mehr identifizierbar ist. Weiterhin sind der oder die Prozessoren eingerichtet, Folgen- des auszuführen: Bereitstellen von Transformationsdaten, die die Transformationsvorschrift anzeigen; Berechnen eines re-personalisierten Datensatzes aus dem entpersonalisierten Datensatz, wobei der re-personalisierten Datensatz, ausgehend von dem entpersonalisierten Datensatz, mittels einer weiteren Datentransformation gemäß einer wenigstens teilweisen Umkehrung der Transformationsvorschrift so verändert wird, dass die zu identifizierende Person anhand des re-personalisierten Datensatzes mit Hilfe des mindestens einen Ge- sichtserkennungsalgorithmus und / oder mindestens eines anderen Gesichtserkennungsal- gorithmus, welcher von dem mindestens einen Gesichtserkennungsalgorithmus verschieden ist, identifizierbar ist; Bereitstellen eines Vergleichsdatensatzes, der aktuelle Gesichtsbildda- ten für die zu identifizierende Person umfasst; und Identifizieren der Person unter Verwen- dung des re-personalisierten Datensatzes, des Vergleichsdatensatzes sowie des mindestens einen Gesichtserkennungsalgorithmus und / oder des mindestens einen anderen Ge- sichtserkennungsalgorithmus. According to a further aspect, an identification device is created which has one or more processors which are set up to identify a person by means of face recognition: providing a depersonalized data record, the depersonalized data record being calculated from a personalized data record by means of a data transformation according to a transformation rule , the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm, and the depersonalized data record, based on the personalized data record, based on the application of the data transformation according to the The transformation rule is changed in such a way that the person to be identified, using the depersonalized data record, has changed his face in accordance with the transformation rule tsbilddaten includes, with the help of the at least one face recognition algorithm can no longer be identified. Furthermore, the processor or processors are set up to carry out the following: Providing transformation data that indicate the transformation rule; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the one to be identified Person can be identified on the basis of the re-personalized data record with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm which is different from the at least one face recognition algorithm; Providing a comparison data set which comprises current facial image data for the person to be identified; and identifying the person using the re-personalized data record, the comparison data record and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
Des Weiteren ist ein Computerprogrammprodukt geschaffen. A computer program product is also created.
Während auf Basis des mindestens einen Gesichtserkennungsalgorithmus die zu identifizie- rende Person anhand des personalisierten Datensatzes mit den Gesichtsbilddaten maschi- nell (mittels digitaler Datenverarbeitung) identifizierbar ist, wurde der personalisierte Daten- satz beim Ableiten oder Bestimmen des entpersonalisierten Datensatzes hieraus der Trans- formationsvorschrift entsprechend so verändert, dass eine solche maschinelle Gesichtser- kennung zumindest mit dem mindestens einen Gesichtserkennungsalgorithmus nicht mehr möglich ist. Es ist zum Beispiel experimentell bestimmbar, ab wann der ursprünglich perso- nalisierte Datensatz aufgrund einer Veränderung gemäß der Transformationsvorschrift, wel- che wahlweise in aufeinanderfolgenden Veränderungsschritten ausgeführt wird, soweit ent- personalisiert ist, dass die maschinelle Gesichtserkennung anhand des so entpersonalisier- ten Datensatzes nicht mehr möglich ist. Ein „Abstand“ zwischen dem personalisierten Daten- satz und dem entpersonalisierten Datensatz, also der Unterschied zwischen den Gesichts- bilddaten und den veränderten Gesichtsbilddaten, kann hierbei vom konkreten Gesichtser- kennungsalgorithmus abhängen. Bei unterschiedlichen Gesichtserkennungsalgorithmen können unterschiedliche Datentransformationen zur Entpersonalisierung herangezogen wer- den, um jeweils den entpersonalisierten Datensatz zu bestimmen. Gesichtserkennungsalgo- rithmen sind als solche in verschiedenen Ausführungsformen bekannt und können für die experimentelle Bestimmung des entpersonalisierten Datensatzes herangezogen werden. While the person to be identified can be identified by machine (by means of digital data processing) on the basis of the at least one face recognition algorithm using the personalized data set with the face image data, the personalized data set was made in accordance with the transformation rule when deriving or determining the depersonalized data set changed in such a way that such a machine face recognition is no longer possible at least with the at least one face recognition algorithm. For example, it can be determined experimentally from when the originally personalized data record is depersonalized due to a change in accordance with the transformation rule, which is optionally carried out in successive change steps, so that the machine face recognition based on the data record thus depersonalized is not more is possible. A “distance” between the personalized data set and the depersonalized data set, ie the difference between the facial image data and the changed facial image data, can depend on the specific face recognition algorithm. With different face recognition algorithms, different data transformations can be used for depersonalization in order to determine the depersonalized data set in each case. Face recognition algorithms are known as such in various embodiments and can be used for the experimental determination of the depersonalized data set.
Die Transformationsvorschrift für die Entpersonalisierung kann einmalig bestimmt und dann für verschiedene Anwendungen eingesetzt werden, ohne dass einer erneuten (experimentel- len) Bestimmung bedarf. Es muss also nicht bei jeder Entpersonalisierung (erneut) bestimmt werden, ob ein aktueller personalisierter Datensatz „ausreichend“ entpersonalisiert ist. Viel- mehr kann eine zuvor bestimmte Transformationsvorschrift ohne eine solche Nachprüfung angewendet werden. Die Transformationsvorschrift gibt an, wie die Datentransformation zum Berechnen oder Be- stimmen des entpersonalisierten Datensatzes aus dem personalisierten Datensatz insge- samt ausgeführt wurde. Beispielsweise kann es sich hierbei um ein Protokoll für die Daten- transformation handeln. Die Transformationsvorschrift kann konfiguriert sein, dass auf Basis der von ihr umfassten Informationen eine vollständige Umkehr oder Invertierung der Daten- transformation ermöglicht ist, so dass auf Basis der Kenntnis der Transformationsvorschrift der entpersonalisierte Datensatz in den personalisierten Datensatz, welcher den Ausgangs- punkt für die Datentransformation bildete, wieder umgewandelt oder zurückberechnet wer- den kann. The transformation rule for depersonalization can be determined once and then used for different applications without the need for a new (experimental) determination. So it does not have to be determined (again) with each depersonalization whether a current personalized data record is “sufficiently” depersonalized. Rather, a previously determined transformation rule can be used without such a check. The transformation rule specifies how the data transformation for calculating or determining the depersonalized data record from the personalized data record was carried out as a whole. For example, it can be a data transformation protocol. The transformation rule can be configured so that a complete reversal or inversion of the data transformation is enabled on the basis of the information it comprises, so that on the basis of the knowledge of the transformation rule, the depersonalized data record is converted into the personalized data record, which is the starting point for the data transformation formed, converted again or calculated back.
Mittels der Entpersonalisierung des ursprünglichen personalisierten Datensatzes ist ein transformierter (entpersonalisierter) Datensatz bereitgestellt, welcher in einer Speicherein- richtung, zum Beispiel einem lokalen Speicher und / oder einer zentralen Datenbank, ge- speichert werden kann, gegebenenfalls auch ohne Zustimmung der anhand des personali- sierten Datensatzes identifizierbaren Person. Dieses ist möglich, da der entpersonalisierte Datensatz, ausgehend von dem personalisierten Datensatz, soweit „verfälscht“ oder verän- dert wurde, dass er zumindest mit Hilfe des mindestens einen Gesichtserkennungsalgorith- mus nicht mehr der Person zuordenbar ist, so dass diese anhand des entpersonalisierten Datensatzes mit dem mindestens einen Gesichtserkennungsalgorithmus nicht maschinell identifizierbar ist. Hierdurch sind die Bereitstellung und die Speicherung von elektronischen Daten für Anwendungen der Gesichtserkennung erleichtert, zum Beispiel in Verbindung mit der Zugangskontrolle. Wird von der zu identifizierenden Person Zugang verlangt, müssen zusätzlich die Transformationsdaten bereitgestellt werden, die die Transformationsvorschrift anzeigen bzw. elektronisch auswertbare Informationen über die Datentransformation ange- ben. Nur wenn diese Transformationsdaten bereitgestellt sind, kann ausgehend von dem entpersonalisierten Datensatz eine maschinelle Gesichtserkennung mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus durchgeführt werden. Der zu identifizierenden Person kann die Kontrolle über die Transformationsdaten gegeben werden, so dass diese nicht un- befugt verwendet werden können. By means of the depersonalization of the original personalized data record, a transformed (depersonalized) data record is provided, which can be stored in a storage device, for example a local memory and / or a central database, possibly even without the consent of the based data record identifiable person. This is possible because the depersonalized data record, based on the personalized data record, has been "falsified" or changed to such an extent that it can no longer be assigned to the person at least with the help of the at least one face recognition algorithm, so that the person can be assigned using the depersonalized data record with which at least one face recognition algorithm cannot be identified by machine. This facilitates the provision and storage of electronic data for facial recognition applications, for example in connection with access control. If access is required from the person to be identified, the transformation data must also be provided, which indicate the transformation rule or provide information about the data transformation that can be evaluated electronically. Machine face recognition with the aid of the at least one face recognition algorithm can only be carried out on the basis of the depersonalized data record if these transformation data are provided. The person to be identified can be given control of the transformation data so that it cannot be used without authorization.
Bei dem Verfahren kann vorgesehen sein, dass die zu identifizierende Person anhand des personalisierten Datensatzes unter Verwendung wenigstens eines zusätzlichen Gesichtser- kennungsalgorithmus identifizierbar ist. Der entpersonalisierte Datensatz ist dann, ausge- hend von dem personalisierten Datensatz, mittels Datentransformation gemäß der Transfor- mationsvorschrift so verändert, dass die zu identifizierende Person anhand des entpersonali- sierten Datensatzes auch und zusätzlich mit Hilfe des wenigstens einen zusätzlichen Ge- sichtserkennungsalgorithmus nicht mehr identifizierbar ist. Beim Erzeugen des entpersonali- sierten Datensatzes wird jeweils experimentell geprüft, ob der wahlweise Stück für Stück veränderte personalisierte Datensatz noch mit dem mindestens einen sowie dem wenigstens einen zusätzlichen Gesichtserkennungsalgorithmus zur Personenidentifizierung maschinell auswertbar ist. Wenn dies in beiden Fällen nicht mehr möglich ist, ist der ursprüngliche per- sonalisierte Datensatz „ausreichend“ entpersonalisiert oder verändert. In the method it can be provided that the person to be identified can be identified on the basis of the personalized data record using at least one additional face recognition algorithm. The depersonalized data record is then, starting from the personalized data record, changed by means of data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized based data record is also and additionally no longer identifiable with the help of the at least one additional face recognition algorithm. When the depersonalized data record is generated, it is checked experimentally whether the personalized data record, optionally changed piece by piece, can still be evaluated by machine with the at least one and the at least one additional face recognition algorithm for personal identification. If this is no longer possible in both cases, the original personalized data record is “sufficiently” depersonalized or changed.
Die Datentransformation gemäß der Transformationsvorschrift zum Entpersonalisieren kann dazu führen, dass der entpersonalisierte Datensatz nicht nur für den mindestens einen Ge- sichtserkennungsalgorithmus, sondern für eine Vielzahl von Gesichtserkennungsalgorithmen nicht mehr für eine maschinelle Gesichtserkennung ausreichend (auswertbar) ist, auch wenn dies beim Erstellen des entpersonalisierten Datensatzes wahlweise nur für einen oder meh- rere der Vielzahl von Gesichtserkennungsalgorithmen konkret experimentell bestimmt wurde. Der wenigstens eine zusätzliche Gesichtserkennungsalgorithmus kann ergänzend oder al- ternativ beim Identifizieren der Person herangezogen werden, nachdem zuvor der re- personalisierte Datensatz bestimmt wurde. The data transformation according to the transformation rule for depersonalizing can lead to the depersonalized data record not only being sufficient (evaluable) for machine face recognition not only for the at least one face recognition algorithm, but also for a large number of face recognition algorithms, even if this is done when creating the depersonalized one Dataset was optionally determined experimentally only for one or more of the multitude of face recognition algorithms. The at least one additional face recognition algorithm can be used additionally or alternatively when identifying the person, after the re-personalized data set has been determined beforehand.
Beim Berechnen des entpersonalisierten Datensatzes können mittels Datentransformation der Transformationsvorschrift entsprechend Landmarken für das Gesicht der zu identifizie- renden Person nach den Gesichtsbilddaten verändert werden. Landmarken für die Nutzung bei der maschinellen Gesichtserkennung sind als solche in definierter Form bekannt, so dass ein oder mehrere Landmarken ausgewählt werden können, um diese bei der Datentransfor- mation zur „Verfälschung“ des von den Gesichtsbilddaten angezeigten Gesichts zu nutzen. Landmarken als solche werden zum Beispiel in ISO / IEC 14496-2:2004 definiert ( Informati on technology - Coding of audio-visual objects - Part 2: Visual). Hierauf referenziert etwa ISO / IEC 39794-5:2020 ( Information technology - Extensible biometric data interchange formats - Part 5: Face image data). Vorher tat das schon ISO / IEC 19794-5:2011 ( Information techno logy - Biometrics - Biometric data interchange formats - Part 5: Face image data). When calculating the depersonalized data set, landmarks for the face of the person to be identified can be changed according to the face image data by means of data transformation of the transformation rule. Landmarks for use in machine face recognition are known as such in a defined form, so that one or more landmarks can be selected in order to use them in the data transformation to “falsify” the face displayed by the face image data. Landmarks as such are defined, for example, in ISO / IEC 14496-2: 2004 (Information technology - Coding of audio-visual objects - Part 2: Visual). ISO / IEC 39794-5: 2020 (Information technology - Extensible biometric data interchange formats - Part 5: Face image data) references this. ISO / IEC 19794-5: 2011 (Information technology - Biometrics - Biometric data interchange formats - Part 5: Face image data) did this before.
Eine Änderung einer oder mehrerer Landmarken kann hierbei zum Beispiel schrittweise aus- geführt werden, um zu bestimmen, wann der ursprünglich personalisierte Datensatz derart entpersonalisiert ist, dass eine maschinelle Gesichtserkennung mit dem mindestens einen Gesichtserkennungsalgorithmus nicht mehr möglich ist. Es kann vorgesehen sein, dass für die eine Landmarke oder die mehreren Landmarken eine oder mehrere Änderungsgrenzen vorgegeben sind, innerhalb denen die Änderung bei der Datentransformation stattfindet. Hierbei können die Landmarkgrenzen Mindeständerungen und / oder erlaubte Maximalände- rungen vorgeben. A change to one or more landmarks can be carried out step by step, for example, in order to determine when the originally personalized data set is depersonalized in such a way that machine face recognition with the at least one face recognition algorithm is no longer possible. Provision can be made for one or more change limits within which the change takes place during the data transformation to be specified for the one or more landmarks. Here, the landmark limits can specify minimum changes and / or maximum permitted changes.
Die Änderung zumindest einiger der Landmarken kann jeweils durch unterschiedliche Trans- formationsschritte erfolgen, welche beispielsweise zufällig, also nach dem Zufallsprinzip, bestimmt werden, beispielsweise hinsichtlich Richtung und Distanz, um die jeweilige Land- marke verschoben wird. Dabei können die Änderungen der Landmarken zumindest teilweise unterschiedlich, oder auch unabhängig voneinander sein, d.h. beispielsweise, dass die Landmarken nicht alle in die gleiche Richtung und um den gleichen Abstand verschoben werden (wobei dennoch eine Abhängigkeit der Änderungen hinsichtlich der Fehlergrenzen vorliegen kann). Dadurch wird insbesondere die Anordnung zumindest eines Teils der Landmarken relativ zueinander verändert. Da dieses „Zittern“ der Bilddaten zumindest einen Teil der für die maschinelle Gesichtserkennung essentiellen Parameter verändert, ein- schließlich solcher Parameter, welche natürlicherweise, also z.B. bei Gesichtsmimik, unver- änderlich sind, wie beispielsweise der Augenabstand oder dergleichen, wird die maschinelle Gesichtserkennung erschwert bis unmöglich gemacht. At least some of the landmarks can be changed in each case by different transformation steps which are determined, for example, randomly, that is to say according to the random principle, for example with regard to direction and distance, are shifted by the respective landmark. The changes to the landmarks can be at least partially different or also independent of one another, i.e., for example, that the landmarks are not all shifted in the same direction and by the same distance (although the changes may still be dependent on the error limits). In particular, this changes the arrangement of at least some of the landmarks relative to one another. Since this “trembling” of the image data changes at least some of the parameters that are essential for machine face recognition, including those parameters which are naturally unchangeable, for example with facial expressions, such as the interpupillary distance or the like, machine face recognition is made more difficult until made impossible.
Für das menschliche Auge sind diese Änderungen (also insbesondere ein unabhängiges Verändern der Landmarken innerhalb gewisser Fehlergrenzen) hingegen üblicherweise le- diglich als „Verzerrungen“ des Gesichts wahrnehmbar, was die Erkennung des Gesichts bei den meisten Betrachtern jedoch nicht oder kaum beeinträchtigt, insbesondere wenn das rest- liche Bild ansonsten im Wesentlichen nicht verändert wird (im Gegensatz beispielsweise zu einer Veränderung des gesamten Bildes, z.B. hinsichtlich Auflösung, Schärfe, Farbe und dergleichen, bei welcher die Änderungen aller Teile des Bildes in Abhängigkeit zueinander erfolgt, was die Erkennung auch durch einen menschlichen Betrachter beeinträchtigen kann). For the human eye, however, these changes (i.e. in particular an independent change of the landmarks within certain error limits) are usually only perceptible as "distortions" of the face, which, however, does not or hardly affects the recognition of the face for most viewers, especially if that The rest of the image is otherwise essentially not changed (in contrast, for example, to a change in the entire image, for example with regard to resolution, sharpness, color and the like, in which the changes in all parts of the image are made dependent on one another, which is also recognized by a can affect the human viewer).
Bei der Re-Personalisierung des entpersonalisierten Datensatzes können die Landmarken dann (innerhalb zulässiger Fehlertoleranzen) auf ihre ursprünglichen Werte zurückversetzt werden, um den re-personalisierten Datensatz zu bestimmen. Es können so die Gesichts- bilddaten aus dem personalisierten Datensatz ganz oder teilweise (wieder) bestimmt werden. Die Transformationsvorschrift gibt Auskunft über die beim entpersonalisierten vorgenomme- nen Änderungen des oder der Landmarken. During the re-personalization of the depersonalized data record, the landmarks can then be reset to their original values (within permissible error tolerances) in order to determine the re-personalized data record. In this way, the facial image data can be (re) determined in whole or in part from the personalized data record. The transformation rule provides information about the changes made to the landmark or landmarks during depersonalization.
Es kann vorgesehen sein, dass (zu identifizierende) Gesicht anhand der ursprünglichen und der neuen Landmarken trianguliert wird. Für alle hierbei bestimmten Dreiecke können dann die Kantenlängen miteinander verglichen. Es kann vorgesehen sein, dass sich beim Entper- sonalisieren jede einzelne Kantenlänge zum Beispiel nicht um mehr als ein Schwellwert un- terscheiden. Es kann vorgesehen sein, dass die veränderten Gesichtsbilddaten so bestimmt werden, dass sich die Summe aller Differenzen um nicht mehr als einen ebenfalls festzule- genden zusätzlichen Schwellwert unterscheiden. It can be provided that the face (to be identified) is triangulated on the basis of the original and the new landmarks. For all triangles determined here can then compared the edge lengths. It can be provided that, during depersonalization, each individual edge length does not differ by more than a threshold value, for example. Provision can be made for the changed facial image data to be determined in such a way that the sum of all differences does not differ by more than an additional threshold value, which is also to be determined.
Die Transformationsdaten, die die Transformationsvorschrift anzeigen, können über eine Kommunikationsschnittstelle der Identifizierungseinrichtung eingelesen werden. Über die Kommunikationsschnittstelle können die Transformationsdaten zum Beispiel von einem mo- bilen oder tragbaren Datenspeicher eingelesen werden, zum Beispiel einer sogenannten Smartcard oder einem personalisierten Token, auf dem die Transformationsdaten zuvor ge- speichert wurden. Auf diese Weise können die Transformationsdaten der zu identifizierenden Person zur Verfügung gestellt werden, so dass die zu identifizierende Person die Transfor- mationsdaten zum Beispiel zu einem Ort der Gesichtserkennung selbst mitbringt, beispiels- weise einer Zugangskontrolle mit Hilfe der Identifizierungsvorrichtung. Die Identifizierungs- vorrichtung selbst verfügt nicht über die Transformationsdaten, bevor diese über die Kom- munikationsschnittstelle eingelesen oder empfangen werden. Alternativ oder ergänzend kann vorgesehen sein, dass die Transformationsdaten auf eine Anforderung von der Identifi- zierungsvorrichtung von einem entfernten Server empfangen werden. Für die Transformati- onsdaten kann eine elektronische Signierung vorgesehen sein. The transformation data that indicate the transformation rule can be read in via a communication interface of the identification device. The transformation data can be read in via the communication interface, for example from a mobile or portable data memory, for example a so-called smart card or a personalized token on which the transformation data was previously stored. In this way, the transformation data can be made available to the person to be identified so that the person to be identified brings the transformation data with him, for example to a face recognition location, for example an access control with the aid of the identification device. The identification device itself does not have the transformation data before it is read in or received via the communication interface. As an alternative or in addition, provision can be made for the transformation data to be received by a remote server upon request from the identification device. An electronic signature can be provided for the transformation data.
Die Identifizierungsvorrichtung kann zur Erfassung der aktuellen Gesichtsbilddaten eine Bilddatenerfassungsvorrichtung aufweisen, mittels welcher die aktuellen Gesichtsbilddaten der zu identifizierenden Person während der Identifizierung erfasst werden können, wobei die Gesichtsbilddaten 2D-Daten, beispielsweise als Stand- oder Bewegtbild von einer Kame- ra, und / oder 3D-Daten, beispielsweise erzeugt unter Verwendung von Musterprojektion auf das Gesicht, enthalten können. The identification device can have an image data acquisition device for acquiring the current face image data, by means of which the current face image data of the person to be identified can be acquired during identification, the face image data being 2D data, for example as a still or moving image from a camera, and / or 3D data, for example generated using pattern projection onto the face, may contain.
In einem Zugangskontrollsystem kann die Identifizierungsvorrichtung nach erfolgreicher Identifizierung der Person ein Zugangsberechtigungssignal an eine Zugangssteuereinrich- tung übermitteln, um die Person für einen Zugang zu berechtigen und / oder nach nicht er- folgreicher Identifizierung ein entsprechendes Zugangsverweigerungssignal, um der Person den Zugang zu verweigern. Unter „Zugang“ kann dabei ein „physischer“ Zugang oder Zutritt zu einem Raum, Gebäude, Gelände und dergleichen, der z.B. durch entsprechendes An- steuern eines Türöffners oder dergleichen gewährt oder verweigert wird, ein Zugang oder Zugriff auf ein Objekt, z.B. die Berechtigung einen Behälter, Safe usw. zu öffnen, oder auch ein „virtueller“ Zugang zu einem Computersystem, elektronischen Gerät und dergleichen, wie durch Einloggen, Entsperren usw. verstanden werden. In an access control system, after successful identification of the person, the identification device can transmit an access authorization signal to an access control device in order to authorize the person for access and / or, after unsuccessful identification, a corresponding access refusal signal to deny the person access. “Access” can mean “physical” access or access to a room, building, site and the like, which is granted or denied, for example, by appropriately activating a door opener or the like, access or access to an object, eg authorization to open a container, safe, etc., or even a "virtual" access to a computer system, electronic device and the like, as understood by logging in, unlocking, etc.
Der personalisierte Datensatz kann beim Ausführen der Datentransformation gemäß der Transformationsvorschrift iterativ verändert werden, wobei nach Abschluss aufeinanderfol- genden Iterationsschritten jeweils geprüft wird, ob die zu identifizierende Person anhand des jeweils aktuellen veränderten / (teil)entpersonalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus noch identifizierbar ist. Es erfolgt hierbei eine schritt- weise Änderung des personalisierten Datensatzes zum Entpersonalisieren, also eine schritt- weise Abstandsvergrößerung zwischen dem personalisierten Datensatz (Gesichtsbilddaten) und dem zum entpersonalisierten veränderten Datensatz (veränderte Gesichtsbilddaten), was eine schritt- oder stückweise Veränderung des von dem Gesichtsbilddaten repräsentier- ten Gesichts der zu identifizierenden Person bedeutet. Eine Fortsetzung der Änderung (Ab- standsvergrößerung) findet statt, wenn bei der Prüfung des aktuellen entpersonalisierten Datensatzes festgestellt wird, dass die zu identifizierende Person mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus auf Basis dieses aktuellen Datensatzes noch identifi- zierbar ist. Anderenfalls erfolgt der Abbruch der iterativen (schrittweisen) Datentransformati- on. Die Transformationsvorschrift kann dann die in den einzelnen Veränderungsschritten vorgenommenen Datenteiltransformationen und / oder (nur) die (maximale) Änderung des personalisierten Datensatzes anzeigen oder dokumentieren. The personalized data record can be iteratively changed when the data transformation is carried out according to the transformation rule, after which successive iterative steps are checked whether the person to be identified can still be identified using the current changed / (partially) depersonalized data record with the help of the at least one face recognition algorithm is. There is a step-by-step change in the personalized data record for depersonalization, i.e. a step-by-step increase in the distance between the personalized data record (facial image data) and the changed data record for the depersonalized (changed facial image data), which represents a step-by-step or piece-wise change in the data from the facial image - means the face of the person to be identified. The change (distance increase) is continued if, when checking the current depersonalized data record, it is found that the person to be identified can still be identified with the aid of the at least one face recognition algorithm based on this current data record. Otherwise the iterative (step-by-step) data transformation is aborted. The transformation rule can then display or document the partial data transformations carried out in the individual change steps and / or (only) the (maximum) change in the personalized data record.
Der entpersonalisierte Datensatz kann (mittels der vorgenommenen Veränderung zum Ent- personalisieren) konfiguriert sein, dass die zu identifizierende Person anhand der veränder- ten Gesichtsbilddaten mit menschlichem Auge identifizierbar ist. Bei dieser Ausführungsform ist die zum Entpersonalisieren ausgeführte Datentransformation (Veränderung) des persona- lisierten Datensatzes dahingehend beschränkt, dass eine nichtmaschinelle oder manuelle Gesichtserkennung durch eine Person noch ermöglicht ist, wenn die Person ein Gesichtsbild basierend auf dem entpersonalisierten Datensatz (veränderte Gesichtsbilddaten) und ein Vergleichsbild der zu identifizierenden Person vergleicht. Es ist bekannt, dass Menschen oder Personen noch in der Lage sind, eine Personenidentifizierung mittels Bildvergleich aus- zuführen, wenn die Gesichtserkennungsalgorithmen, die zur maschinellen Gesichtserken- nung verwendet werden, bereits versagen (beispielsweise wie oben hinsichtlich der Ände- rungen der Landmarken erläutert). Diese Ausführungsform ermöglicht zum Beispiel eine Zu- gangskontrolle, bei der dem Zugangskontrollpersonal das Gesichtsbild auf Basis des entper- sonalisierten Datensatzes angezeigt wird, so dass das Zugangskontrollpersonal diese Abbil- dung oder Darstellung des Gesichts mit einem Vergleichsbild der zu identifizierenden Person vergleichen kann, zum Beispiel einem Livebild oder der an der Zugangskontrolle stehenden Person. Wenn hierbei auf die maschinelle Gesichtserkennung verzichtet wird, bedarf es auch nicht dem Bereitstellen der Transformationsdaten. Einerseits ist der ursprüngliche personali- sierte Datensatz entpersonalisiert (entpersonalisierter Datensatz), so dass die Anforderun- gen an die elektronische Speicherung dieses Datensatzes geringer sind als im Vergleich zur Speicherung des personalisierten Datensatzes. Andererseits ist immer noch eine manuelle Gesichtserkennung ermöglicht. Die Bestimmung der Grenze, wann der entpersonalisierte Datensatz noch eine manuelle Gesichtserkennung ermöglicht, kann experimentell erfolgen, indem der (zum Beispiel Stück für Stück) veränderte Datensatz über eine Anzeigeeinrichtung ausgegeben wird und eine Benutzereingabe (Prüfpersonal) erfasst wird, welche anzeigt, ob das ausgegebene Gesichtsbild im Vergleich zu einem Vergleichsbild vom Prüfpersonal noch dem Vergleichsbild zugeordnet werden kann, so dass eine Personenidentifizierung ermög- licht ist, oder nicht. Alternativ oder ergänzend können zum Beispiel Änderungsgrenzen für die zur Gesichtserkennung genutzten Landmarken in der Transformationsvorschrift festge- legt werden, so dass die Entpersonalisierung innerhalb von Grenzen ausgeführt wird, die zu einem entpersonalisierten Datensatz führen, der noch eine manuelle Gesichtserkennung ermöglicht. The depersonalized data record can be configured (by means of the change made to depersonalize) that the person to be identified can be identified with the human eye on the basis of the changed facial image data. In this embodiment, the data transformation (change) of the personalized data set carried out for depersonalization is limited to the effect that non-machine or manual face recognition by a person is still possible if the person has a face image based on the depersonalized data set (changed face image data) and a comparison image compares the person to be identified. It is known that people are still able to carry out a person identification by means of image comparison if the face recognition algorithms that are used for machine face recognition already fail (for example as explained above with regard to the changes to the landmarks) . This embodiment enables, for example, access control in which the access control staff is shown the facial image on the basis of the depersonalized data record, so that the access control staff can display this image or display of the face with a comparison image of the person to be identified can compare, for example, a live image or the person at the access control. If machine face recognition is dispensed with here, the transformation data does not need to be provided. On the one hand, the original personalized data record is depersonalized (depersonalized data record), so that the requirements for the electronic storage of this data record are lower than in comparison with the storage of the personalized data record. On the other hand, manual face recognition is still possible. The determination of the limit at which the depersonalized data record still enables manual face recognition can be carried out experimentally by outputting the changed data record (for example piece by piece) via a display device and recording a user input (test personnel) which shows whether the output has been issued Facial image in comparison to a comparison image can still be assigned to the comparison image by the testing personnel, so that personal identification is made possible or not. Alternatively or additionally, for example, change limits for the landmarks used for face recognition can be specified in the transformation rule so that the depersonalization is carried out within limits that lead to a depersonalized data record that still enables manual face recognition.
Die veränderten Gesichtsbilddaten sowie die aktuelle Gesichtsbilddaten können über eine Bildausgabeeinrichtung ausgegeben werden, um so für eine manuelle Personenidentifizie- rung bereitgestellt zu werden. Die Darstellung der veränderten Gesichtsbilddaten sowie der aktuellen Gesichtsbilddaten auf der Bildausgabeeinrichtung ermöglicht es einem Menschen die Gesichter zu vergleichen, um so eine manuelle Personenidentifizierung auszuführen, zum Beispiel im Rahmen einer Zugangskontrolle. The changed face image data and the current face image data can be output via an image output device in order to be made available for manual personal identification. The display of the changed face image data and the current face image data on the image output device enables a person to compare the faces in order to carry out a manual personal identification, for example as part of an access control.
In einer Ausgestaltung ist ein Verfahren zum Identifizieren einer Person mittels Gesichtser- kennung geschaffen, wobei bei dem Verfahren ein entpersonalisierter Datensatz in einer Identifizierungsvorrichtung bereitgestellt wird. Der entpersonalisierten Datensatz ist aus ei- nem personalisierten Datensatz mittels einer Datentransformation gemäß einer Transforma- tionsvorschrift berechnet. Der personalisierte Datensatz umfasst Gesichtsbilddaten für eine zu identifizierende Person, anhand der die zu identifizierende Person mit Hilfe mindestens eines Gesichtserkennungsalgorithmus identifizierbar ist. Der entpersonalisierte Datensatz ist, ausgehend von dem personalisierten Datensatz, aufgrund der Anwendung der Datentrans- formation gemäß der Transformationsvorschrift so verändert, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes, welcher der Transformationsvorschrift entsprechend veränderte Gesichtsbilddaten umfasst, mit Hilfe des mindestens einen Ge- sichtserkennungsalgorithmus nicht mehr identifizierbar ist. Das Verfahren umfasst weiterhin das Ausgeben des entpersonalisierten Datensatzes, insbesondere der veränderten Ge- sichtsbilddaten über eine Ausgabeeinrichtung, derart, dass das veränderte Gesichtsbild an- gezeigt wird, so dass es für eine manuelle Gesichtserkennung bereitsteht. Die veränderten Gesichtsbilddaten ermöglichen (noch) die manuelle Gesichtserkennung, nicht aber die ma- schinelle. Es kann vorgesehen sein, dass über eine Eingabeeinrichtung der Identifizierungs- vorrichtung, zum Beispiel eine Tastatur oder eine berührungssensitive Oberfläche, eine Be- nutzereingabe empfangen wird, die anzeigt, ob die Person identifiziert werden konnte oder nicht. Dieses Signal kann dann weiterbverarbeitet werden, zum Beispiel zum automatisierten Bedienen einer Zugangskontrolleinrichtung. In one embodiment, a method for identifying a person by means of face recognition is created, in which case a depersonalized data set is provided in an identification device. The depersonalized data record is calculated from a personalized data record by means of a data transformation according to a transformation rule. The personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm. Based on the personalized data record, the depersonalized data record is changed due to the application of the data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized data record, which includes facial image data changed in accordance with the transformation rule, with the help of the at least one system. vision recognition algorithm is no longer identifiable. The method further comprises outputting the depersonalized data set, in particular the changed facial image data, via an output device, in such a way that the changed facial image is displayed so that it is available for manual face recognition. The changed face image data (still) enable manual face recognition, but not machine. Provision can be made for a user input to be received via an input device of the identification device, for example a keyboard or a touch-sensitive surface, which indicates whether the person could be identified or not. This signal can then be processed further, for example for the automated operation of an access control device.
Die vorangehend in Verbindung mit dem Verfahren zum Identifizieren einer Person mittels Gesichtserkennung erläuterten Ausgestaltungen können im Zusammenhang mit der Identifi- zierungsvorrichtung entsprechend vorgesehen sein. The configurations explained above in connection with the method for identifying a person by means of face recognition can be provided accordingly in connection with the identification device.
Beschreibung von Ausführunqsbeispielen Description of exemplary embodiments
Im Folgenden werden Ausführungsbeispiele unter Bezugnahme auf Figuren einer Zeichnung näher erläutert. Hierbei zeigen: In the following, exemplary embodiments are explained in more detail with reference to figures of a drawing. Here show:
Fig. 1 eine schematische Darstellung einer Anordnung mit einer Identifizierungsvorrichtung und 1 shows a schematic representation of an arrangement with an identification device and
Fig. 2 eine schematische Darstellung zum Erläutern eines Verfahrens zum Identifizieren einer Person mittels Gesichtserkennung. 2 shows a schematic illustration for explaining a method for identifying a person by means of face recognition.
Fig. 1 zeigt eine schematische Darstellung einer Anordnung mit einer Identifizierungsvorrich- tung 1, mit der eine maschinelle Personenidentifizierung ausführbar ist. Die Identifizierungs- vorrichtung 1 weist einen Prozessor 2 auf, welcher mit einer Speichereinrichtung 3 und einer Kommunikationsschnittstelle 4 datentechnisch verbunden ist, so dass elektronische Daten austauschbar sind. Eine Mehrzahl von Prozessoren kann alternativ vorgesehen sein. Die Kommunikationsschnittstelle 4 kann beispielsweise eingerichtet sein, kontaktlos oder kon- taktbehaftet einen mobilen oder tragbaren Datenspeicher 5 auszulesen, zum Beispiel eine Smartcard. 1 shows a schematic representation of an arrangement with an identification device 1, with which machine personal identification can be carried out. The identification device 1 has a processor 2 which is connected in terms of data technology to a memory device 3 and a communication interface 4, so that electronic data can be exchanged. A plurality of processors may alternatively be provided. The communication interface 4 can be set up, for example, to read out a mobile or portable data memory 5, for example a smart card, in a contactless or contact-based manner.
An die Identifizierungsvorrichtung 1 kann eine Ausgabeeinrichtung 6 gekoppelt sein, bei- spielsweise eine Bilddatenausgabeeinrichtung, was in Fig. 1 mittels gestrichelter Linien ge- zeigt ist. Die Ausgabeeinrichtung 6 kann Identifizierungsvorrichtung 1 oder getrennt hiervon gebildet sein. Teil der Zum Datenaustausch kann die Identifizierungsvorrichtung 1 zeitweise oder dauerhaft mit einer Servereinrichtung 7 verbunden sein. An output device 6 can be coupled to the identification device 1, for example an image data output device, which is shown in FIG. 1 by means of dashed lines. The output device 6 can identify the device 1 or separately therefrom be educated. Part of the data exchange, the identification device 1 can be temporarily or permanently connected to a server device 7.
In einer Ausgestaltung kann die Identifizierungsvorrichtung 1 in Verbindung mit einem Zu- gangskontrollsystem (nicht dargestellt) eingesetzt werden, welches für eine Zugangskontrolle unter Verwendung einer maschinellen und / oder einer manuellen Gesichtserkennung einge- richtet ist. In one embodiment, the identification device 1 can be used in conjunction with an access control system (not shown) which is set up for access control using machine and / or manual face recognition.
Fig. 2 zeigt eine schematische Darstellung eines Ablaufdiagramms für ein Verfahren zum Identifizieren einer Person mittels Gesichtserkennung unter Verwendung der Identifizie- rungsvorrichtung 1. In einem Schritt 20 wird in der Identifizierungsvorrichtung 1 ein entperso- nalisierter Datensatz bereitgestellt, beispielsweise derart, dass der entpersonalisierte Daten- satz in der Speichereinrichtung 2 gespeichert wird. Der entpersonalisierte Datensatz ist zu- vor mittels einer Datentransformation gemäß einer Transformationsvorschrift aus einem per- sonalisierten Datensatz berechnet worden. Dieses kann in der Identifizierungsvorrichtung 1 selbst oder in einer anderen Datenverarbeitungseinrichtung (nicht dargestellt) erfolgen. Der personalisierte Datensatz, aus dem der entpersonalisierte Datensatz abgeleitet ist, umfasst Gesichtsbilddaten für eine zu identifizierende Person. Anhand der Gesichtsbilddaten ist die zu identifizierende Person mit Hilfe mindestens eines Gesichtserkennungsalgorithmus im Rahmen einer maschinellen Gesichtserkennung identifizierbar. Dieses bedeutet, dass mit Hilfe des mindestens einem Gesichtserkennungsalgorithmus der personalisierte Datensatz mit dem Gesichtsbilddaten so verarbeitbar ist, dass aus einem Vergleich mit einem (aktuel- len) Bild der Person, welches zum Vergleich bereitgestellt wird, eine Personenidentifizierung ausgeführt werden kann. Der mindestens eine Gesichtserkennungsalgorithmus ist also in der Lage, dem personalisierten Datensatz sowie Daten zu dem aktuellen Gesichtsbild zu verar- beiten, um die Person zu identifizieren. Gesichtserkennungsalgorithmen sind als solche in verschiedenen Ausführungsformen bekannt. 2 shows a schematic representation of a flowchart for a method for identifying a person by means of face recognition using the identification device 1. In a step 20, a depersonalized data set is provided in the identification device 1, for example in such a way that the depersonalized data set is stored in the storage device 2. The depersonalized data record has previously been calculated from a personalized data record by means of a data transformation in accordance with a transformation rule. This can take place in the identification device 1 itself or in another data processing device (not shown). The personalized data record from which the depersonalized data record is derived includes facial image data for a person to be identified. Using the face image data, the person to be identified can be identified with the aid of at least one face recognition algorithm in the context of machine face recognition. This means that with the help of the at least one face recognition algorithm, the personalized data record with the face image data can be processed in such a way that a person identification can be carried out from a comparison with a (current) image of the person which is provided for comparison. The at least one face recognition algorithm is therefore able to process the personalized data set and data on the current face image in order to identify the person. Face recognition algorithms are known as such in various embodiments.
Um den entpersonalisierten Datensatz ausgehend von dem personalisierten Datensatz zu erzeugen, wird für den entpersonalisierten Datensatz eine Datentransformation gemäß der Transformationsvorschrift angewendet, so dass die personalisierten Daten so verändert wer- den, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes (zu- mindest) mit Hilfe des mindestens einem Gesichtserkennungsalgorithmus nicht mehr identifi- zierbar ist. Insbesondere werden hierbei die Gesichtsbilddaten zu veränderten Gesichtsbild- daten so verändert, dass der mindestens eine Gesichtserkennungsalgorithmus nicht mehr in der Lage ist, die Person im Rahmen einer maschinellen Gesichtserkennung zu identifizieren. Im Schritt 21 werden in der Identifizierungsvorrichtung 1 Transformationsdaten bereitgestellt, die die Transformationsvorschrift anzeigen. Hierbei kann es sich beispielsweise um ein Pro- tokoll betreffend die Änderungen der Daten (insbesondere der Gesichtsbilddaten) aus dem personalisierten Datensatz beim Erstellen des entpersonalisierten Datensatzes handeln. Die Transformationsdaten können ein Differenzbild für die Gesichtsbilddaten und die veränderten Gesichtsbilddaten umfassen. In order to generate the depersonalized data record based on the personalized data record, a data transformation according to the transformation rule is used for the depersonalized data record, so that the personalized data are changed so that the person to be identified (at least) with the depersonalized data record Can no longer be identified using the at least one face recognition algorithm. In particular, the face image data are changed into changed face image data in such a way that the at least one face recognition algorithm is no longer able to identify the person in the context of machine face recognition. In step 21, transformation data are provided in the identification device 1 which indicate the transformation rule. This can be, for example, a log relating to the changes to the data (in particular the facial image data) from the personalized data record when the depersonalized data record is created. The transformation data can include a difference image for the face image data and the changed face image data.
Die Transformation des entpersonalisierten Bildes in das re-personalisierte Bild kann zum Beispiel durchgeführt werden, indem die zur Veränderung ausgeführten Bearbeitungsschritte Schritt für Schritt ganz oder teilweise invertiert werden. Das dauert eventuell länger, hat aber den Vorteil, dass die Codierung der Veränderungsschritte (Entpersonalisierung) sehr kom- pakt möglich ist, da nicht für jedes einzelne Pixel bestimmt ist, was mit diesem zu tun ist. Zum Beispiel sei Folgendes vorgesehen sein: Auswählen der Landmark 9.3 (das ist die Na- senspitze); Markieren eines Kreises mit 30 Pixel Radius um diese Landmarke und Verschie- ben der Landmarke 9.3 um fünf Pixel nach rechts und Anpassen aller Pixel im Kreis propor- tional. Solche Standard-Operationen bietet zum Beispiel die software-Applikation „Gimp“ (zum Beispiel in der Version 2.10.12 Release 2) an, ihr Encoding würde dann die Art der Operation, den Ort der Landmarke, den Kreis-durchmesser und den neuen Ort der Land- marke umfassen. GIMP (GNU Image Manipulation Program) ist ein pixelbasiertes Grafikpro- gramm, das Funktionen zur Bildbearbeitung und zum digitalen Malen von Rastergrafiken beinhaltet. Das Programm ist eine freie Software und kann kostenlos genutzt werden. The transformation of the depersonalized image into the re-personalized image can be carried out, for example, by completely or partially inverting the processing steps carried out for the change step by step. This may take longer, but it has the advantage that the coding of the change steps (depersonalization) can be done in a very compact manner, since what is to be done with each individual pixel is not determined. For example, the following should be provided: Selecting the landmark 9.3 (that is the tip of the nose); Mark a circle with a 30 pixel radius around this landmark and shift the landmark 9.3 by five pixels to the right and adjust all pixels in the circle proportionally. Such standard operations are offered, for example, by the software application “Gimp” (for example in version 2.10.12 Release 2); its encoding would then be the type of operation, the location of the landmark, the circle diameter and the new location of the landmark. GIMP (GNU Image Manipulation Program) is a pixel-based graphics program that contains functions for image processing and for digitally painting raster graphics. The program is free software and can be used free of charge.
Ist nicht vorgesehen, die Liste der zur Veränderungen ausgeführten Operationen nicht zu invertieren, zum Beispiel wenn mögliche Datenverluste aus den enthaltenen teilweisen Kom- primierungen zu groß werden, kann ergänzend oder alternativ ein pixelweises Differenzen- bild als Transformationsvorschrift bestimmt werden. If there is no provision for not inverting the list of operations carried out for changes, for example if possible data losses from the partial compressions contained therein become too great, a pixel-by-pixel differential image can additionally or alternatively be determined as a transformation rule.
Im Schritt 22 wird in der Identifizierungsvorrichtung 1 ein re-personalisierter Datensatz aus dem entpersonalisierten Datensatz berechnet oder bestimmt, wobei der re-personalisierte Datensatz, ausgehend von dem entpersonalisierten Datensatz, mittels einerweiteren Daten- transformation gemäß einer wenigstens teilweisen Umkehrung oder Invertierung der Trans- formationsvorschrift so verändert wird, dass die zu identifizierende Person nun anhand des re-personalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgo- rithmus und / oder mindestens eines anderen oder zusätzlichen Gesichtserkennungsalgo- rithmus, welcher von dem mindestens einen Gesichtserkennungsalgorithmus verschieden ist, (wieder) maschinell identifizierbar ist. Mittels der weiteren Datentransformation kann der entpersonalisierte Datensatz teilweise oder vollständig wieder in dem personalisierten Da- tensatz überführt werden. Mit der weiteren Datentransformation wird erreicht, dass eine ma- schinelle Gesichtserkennung wieder ermöglicht ist. In step 22, a re-personalized data record is calculated or determined in the identification device 1 from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, by means of a further data transformation according to an at least partial reversal or inversion of the transformation rule is changed so that the person to be identified is now based on the re-personalized data set with the help of the at least one face recognition algorithm and / or at least one other or additional face recognition algorithm which is different from the at least one face recognition algorithm is, can be (re) identified by machine. By means of the further data transformation, the depersonalized data record can be partially or completely converted back into the personalized data record. With the further data transformation, it is achieved that a machine face recognition is possible again.
Nachdem im Schritt 23 ein Vergleichsdatensatz bereitgestellt wird, der aktuelle Gesichtsbild- daten für die zu identifizierende Person umfasst, wird die zu identifizierende Person im Schritt 24 unter Verwendung des re-personalisierten Datensatzes, des Vergleichsdatensat- zes sowie des mindestens einen Gesichtserkennungsalgorithmus und / oder des mindestens einen anderen Gesichtserkennungsalgorithmus (maschinell) identifiziert. Der Gesichtserken- nungsalgorithmus verarbeitet Daten aus dem re-personalisierten Datensatz sowie dem Ver- gleichsdatensatz, um die Person zu identifizieren. After a comparison data set is provided in step 23, which includes current face image data for the person to be identified, the person to be identified is identified in step 24 using the re-personalized data set, the comparison data set and the at least one face recognition algorithm and / or the at least one other face recognition algorithm (machine) identified. The face recognition algorithm processes data from the re-personalized data set and the comparison data set in order to identify the person.
Das Bereitstellen der Transformationsdaten (Schritt 21) in der Identifizierungsvorrichtung 1 kann dadurch erfolgen, dass die Transformationsdaten von dem mobilen Datenträger 5 über die Kommunikationsschnittstelle 4 eingelesen werden, beispielsweise von einer sogenannten Smartcard 5 oder einem anderen Datentoken. The provision of the transformation data (step 21) in the identification device 1 can take place in that the transformation data is read in from the mobile data carrier 5 via the communication interface 4, for example from a so-called smart card 5 or another data token.
Bei der Entpersonalisierung des personalisierten Datensatzes (vor dem Bereitstellen des entpersonaliserten Datensatzes in der Identifizierungsvorrichtung 1) kann vorgesehen sein, die Entpersonalisierung zu begrenzen, derart, dass die bei der Datentransformation erzeug- ten veränderten Gesichtsbilddaten des entpersonalisierten Datensatzes noch eine nichtma- schinelle oder manuelle Gesichtserkennung durch einen Menschen ermöglichen, wenn die veränderten Gesichtsbilddaten vom Menschen mit einem Vergleichsbild der zu identifizie- renden Person verglichen werden. During the depersonalization of the personalized data record (before the depersonalized data record is made available in the identification device 1), provision can be made to limit the depersonalization in such a way that the changed face image data of the depersonalized data record generated during the data transformation still require a non-automatic or manual face recognition by a human being when the changed facial image data of the human being are compared with a comparison image of the person to be identified.
Nachfolgend wird das Vorgehen beim Entpersonalisieren des ursprünglich personalisierten Datensatzes weiter erläutert. The procedure for depersonalizing the originally personalized data record is explained in more detail below.
Es ist bekannt, dass automatisierte oder maschinelle Gesichtserkennungsverfahren für die Bestimmung von Ähnlichkeiten von Gesichtern regelmäßig die Geometrie des Gesichtes heranziehen, also die Lage bestimmter markanter Punkte im Gesicht. Diese sind auch als Landmarken bekannt, für viele Anwendungen sind Gesichts-Landmarken beispielsweise in ISO / IEC 14496-2:2004 standardisiert. Auch das biometrische Gesichts-Datenformat ISO / IEC 19794-5 oder ISO / IEC 39794-5 nehmen auf ISO / IEC 14496-2 Bezug. Manuelle (nichtmaschinelle) Gesichtserkennung ist aus dem täglichen Leben als robuster im Vergleich mit automatisierten Verfahren bekannt. Menschen können mit abweichenden Po- sen oder suboptimalem Licht bekanntermaßen besser umgehen als maschinelle Verfahren. Ziel der Ent-Personalisierung ist es, ein Gesichtsbild einer Person so zu verändern, dass es nicht mehr von (ausgewählten) maschinellen Verfahren, wohl aber vom mit durchschnittli- chen Erkennungsfähigkeiten ausgestatteten Menschen einem Vergleichsfoto zugeordnet werden kann, um so einen manuelle Gesichtserkennung noch zu ermöglichen. It is known that automated or machine face recognition processes regularly use the geometry of the face, that is to say the position of certain prominent points on the face, to determine similarities between faces. These are also known as landmarks; for many applications, facial landmarks are standardized in ISO / IEC 14496-2: 2004, for example. The biometric face data format ISO / IEC 19794-5 or ISO / IEC 39794-5 also refer to ISO / IEC 14496-2. Manual (non-machine) face recognition is known from everyday life to be more robust than automated processes. People are known to be better able to deal with deviating poses or suboptimal light than machine processes. The aim of de-personalization is to change a facial image of a person in such a way that it can no longer be assigned to a comparison photo by (selected) machine processes, but can be assigned to a comparison photo by a person with average recognition skills, in order to still allow manual facial recognition enable.
Hierbei kann in einer Ausführung zur Entpersonalisierung von Gesichtsbilddaten Folgendes vorgesehen sein: Here, the following can be provided in one embodiment for depersonalizing facial image data:
1. Im Gesichtsbild werden Landmarken bestimmt. Das können je nach Ausprägung einige oder alle nach ISO / IEC 14496-2 und / oder weitere Landmarken sein, wie etwa die Au- genmittelpunkte nach ISO / IEC 39794-5 oder ähnliche Merkmale. 1. Landmarks are determined in the facial image. Depending on their characteristics, this can be some or all of them according to ISO / IEC 14496-2 and / or other landmarks, such as the centers of the eyes according to ISO / IEC 39794-5 or similar features.
2. Die bestimmten Landmarken werden gegenüber ihrer ursprünglichen Lage um eine zu- fällige Entfernung in einer zufälligen Richtung verschoben / verändert (in eine neue Lage "gezittert"). 2. The certain landmarks are shifted / changed by a random distance in a random direction compared to their original position ("trembled" into a new position).
3. Für die veränderten Landmarken wird jeweils die Entfernung zu ihrem Ausgangsort be- stimmt. Zum Beispiel soll jede einzelne Entfernung nicht größer als ein bestimmter fest- zulegender Schwellwert (maximale Änderungsgrenze) sein. Größere Ortsänderungen werden als zu unähnlich verworfen. Es kann weiterhin vorgesehen sein, dass die Sum- me aller Abstände nicht größer als ein festzulegender zweiter Schwellwert ist. Größere aufsummierte Ortsänderungen werden ebenfalls als zu unähnlich verworfen. Anderer- seits kann vorgesehen sein, dass die Summe aller Abstände mindestens so groß wie ein festzulegender dritter Schwellwert ist, unter dem die Ähnlichkeit als für maschinelle Sys- teme ausreichend angenommen wird. 3. The distance to their starting point is determined for the changed landmarks. For example, each individual distance should not be greater than a certain threshold value to be defined (maximum change limit). Larger changes in location are rejected as too dissimilar. It can also be provided that the sum of all the distances is not greater than a second threshold value to be determined. Larger cumulative changes in location are also rejected as too dissimilar. On the other hand, it can be provided that the sum of all the distances is at least as large as a third threshold value to be defined, below which the similarity is assumed to be sufficient for machine systems.
4. Wird die neue Landmarken-Konfiguration verworfen, erfolgt eine Neubestimmung nach Schritt 2. 4. If the new landmark configuration is discarded, a new determination takes place after step 2.
5. Anschließend wird das Gesicht anhand der ursprünglichen und der neuen Landmarken trianguliert. Für alle diese Dreiecke werden die Kantenlängen miteinander verglichen. Jede einzelne Kantenlänge soll sich zum Beispiel nicht um mehr als ein weiterer Schwellwert unterscheiden. Es kann vorgesehen sein, dass sich die Summe aller Diffe- renzen um nicht mehr als einen ebenfalls festzulegenden zusätzlichen Schwellwert un- terscheiden. 5. The face is then triangulated using the original and new landmarks. The edge lengths are compared with one another for all of these triangles. For example, each individual edge length should not differ by more than one additional threshold value. It can be provided that the sum of all differences do not differ by more than one additional threshold value that is also to be determined.
6. Wird die neue Landmarken-Konfiguration verworfen, erfolgt wiederum eine Neubestim- mung nach Schritt 2. 6. If the new landmark configuration is discarded, a new determination takes place after step 2.
7. Sodann wird die Textur des ursprünglichen Gesichtsbildes unter Benutzung der Triangu- lierung auf das neue Landmarken-Gitter übertragen. Hierfür können aus der 3D- Gesichtserkennung als solche bekannte Verfahren benutzt werden. Die Dreiecke kön- nen so beispielsweise linear gestreckt / gestaucht werden, die Verzerrung kann aber auch so erfolgen, dass die Kanten der Dreiecke glatt in die der Nachbardreiecke über- gehen und benachbarte Pixel keine scharfen Übergänge im optischen Fluss erzeugen. Weitere Projektionen des Ursprungsgitters auf das neue Gitter sind möglich. 7. The texture of the original face image is then transferred to the new landmark grid using triangulation. Methods known as such from 3D face recognition can be used for this. The triangles can for example be stretched / compressed linearly, but the distortion can also take place in such a way that the edges of the triangles smoothly merge into those of the neighboring triangles and neighboring pixels do not create any sharp transitions in the optical flow. Further projections of the original grid onto the new grid are possible.
8. Für das neue Gesichtsbild wird optional geprüft, ob es von einem automatisierten Ver- fahren der betreffenden Person sicher zugeordnet werden kann, dazu darf jedoch nicht das ursprüngliche für die Ent-Personalisierung verwendete Bild herangezogen werden. 8. For the new facial image, it is optionally checked whether it can be reliably assigned to the person in question by an automated process, but the original image used for the depersonalization must not be used for this.
Die Bestimmung der Schwellwerte kann anhand von Erfahrungswerten oder experimentell erfolgen. Insbesondere für die Festlegung des Schwel Iwertes, ab dem angenommen wird, dass maschinelle Vergleichsverfahren das veränderte Bild nicht mehr sicher der betreffen- den Person zuordnen können, werden experimentelle Daten auf einer repräsentativen Men- ge von Gesichtsbildern, etwa Passbildern und eine Anzahl von State-of-the-Art- Gesichtserkennungsverfahren verwendet. In einer Variante kann das neue Bild immer mit einem automatisierten Verfahren oder einer Auswahl automatisierter Verfahren (Gesichtser- kennungsalgorithmen) getestet werden, und der untere Schwellwert kann entfallen. The threshold values can be determined on the basis of empirical values or experimentally. In particular, to determine the threshold value, from which it is assumed that machine comparison processes can no longer reliably assign the changed image to the person concerned, experimental data are used on a representative set of facial images, such as passport photos and a number of state- of-the-art face recognition method used. In one variant, the new image can always be tested using an automated method or a selection of automated methods (face recognition algorithms), and the lower threshold value can be omitted.
In einem anderen Beispiel kann das veränderte Gesichtsbild nicht durch zufällige Lagen der Landmarken, sondern unter Benutzung der von den maschinellen Vergleichsverfahren je- weils erzeugten Ähnlichkeitswerte generiert werden, wobei aus einer gewissen Anzahl mög- licher (kleiner und zufälliger) Lageänderungen immer die mit der größten Abnahme des Ähn- lichkeitswertes für den nächsten Schritt in einem iterativen Verfahren in einer Art Gradien- tenansatz herangezogen wird. In another example, the changed facial image cannot be generated by random positions of the landmarks, but rather using the similarity values generated by the machine comparison method, with the largest of a certain number of possible (smaller and random) changes in position Decrease in the similarity value is used for the next step in an iterative process in a kind of gradient approach.
In jedem Fall wird protokolliert, wie aus dem Ausgangsbild das entpersonalisierte Bild er- zeugt wurde (Transformationsdaten). Ist eine maschinelle Gesichtserkennung gewünscht, kann aus dem veränderten Bild das (personalisierte) Original mittels inverser Bearbeitung generiert werden. In each case it is recorded how the depersonalized image was generated from the initial image (transformation data). If machine face recognition is required, the (personalized) original can be generated from the changed image by means of inverse processing.
Die in der vorstehenden Beschreibung, den Ansprüchen sowie der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der verschiedenen Ausführungen von Bedeutung sein. The features disclosed in the above description, the claims and the drawing can be of importance both individually and in any combination for the implementation of the various designs.

Claims

Ansprüche Expectations
1. Verfahren zum Identifizieren einer Person mittels Gesichtserkennung in einer Identifi- zierungsvorrichtung (1), aufweisend: 1. A method for identifying a person by means of face recognition in an identification device (1), comprising:
- Bereitstellen eines entpersonalisierten Datensatzes, wobei - Providing a depersonalized data record, wherein
- der entpersonalisierte Datensatz aus einem personalisierten Datensatz mittels einer Datentransformation gemäß einer Transformationsvorschrift berechnet ist,- the depersonalized data record is calculated from a personalized data record by means of a data transformation according to a transformation rule,
- der personalisierte Datensatz Gesichtsbilddaten für eine zu identifizierende Per- son umfasst, anhand der die zu identifizierende Person mit Hilfe mindestens ei- nes Gesichtserkennungsalgorithmus identifizierbar ist, und the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm, and
- der entpersonalisierte Datensatz, ausgehend von dem personalisierten Daten- satz, aufgrund der Anwendung der Datentransformation gemäß der Transforma- tionsvorschrift so verändert ist, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes, welcher der Transformationsvorschrift entspre- chend veränderte Gesichtsbilddaten umfasst, mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus nicht mehr identifizierbar ist; - The depersonalized data record, based on the personalized data record, is changed due to the application of the data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized data record, which includes facial image data changed in accordance with the transformation rule, using the at least one face recognition algorithm can no longer be identified;
- Bereitstellen von Transformationsdaten, die die Transformationsvorschrift anzeigen;- Provision of transformation data which indicate the transformation rule;
- Berechnen eines re-personalisierten Datensatzes aus dem entpersonalisierte Da- tensatz, wobei der re-personalisierten Datensatz, ausgehend von dem entpersonali- sierten Datensatz, mittels einer weiteren Datentransformation gemäß einer wenigs- tens teilweisen Umkehrung der Transformationsvorschrift so verändert wird, dass die zu identifizierende Person anhand des re-personalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus und / oder mindestens eines anderen Gesichtserkennungsalgorithmus, welcher von dem mindestens einen Ge- sichtserkennungsalgorithmus verschieden ist, identifizierbar ist; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the one to be identified Person can be identified on the basis of the re-personalized data record with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm that is different from the at least one face recognition algorithm;
- Bereitstellen eines Vergleichsdatensatzes, der aktuelle Gesichtsbilddaten für die zu identifizierende Person umfasst; und - Providing a comparison data set which comprises current face image data for the person to be identified; and
- Identifizieren der Person unter Verwendung des re-personalisierten Datensatzes, des Vergleichsdatensatzes sowie des mindestens einen Gesichtserkennungsalgo- rithmus und / oder des mindestens einen anderen Gesichtserkennungsalgorithmus. - Identifying the person using the re-personalized data set, the comparison data set and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
2. Verfahren nach Anspruch 1 , dadurch g e ke n n z e i c h n e t, dass 2. The method according to claim 1, characterized in that g e ke n n z e i c h n e t
- die zu identifizierende Person anhand des personalisierten Datensatzes unter Ver- wendung wenigstens eines zusätzlichen Gesichtserkennungsalgorithmus identifi- zierbar ist und the person to be identified can be identified on the basis of the personalized data record using at least one additional face recognition algorithm, and
- der entpersonalisierte Datensatz, ausgehend von dem personalisierten Datensatz, mittels Datentransformation gemäß der Transformationsvorschrift so verändert ist, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes auch mit Hilfe des wenigstens einen zusätzlichen Gesichtserkennungsalgorithmus nicht mehr identifizierbar ist. - the depersonalized data record, based on the personalized data record, is changed by means of data transformation in accordance with the transformation rule, that the person to be identified can no longer be identified on the basis of the depersonalized data record, even with the aid of the at least one additional face recognition algorithm.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass beim Be- rechnen des entpersonalisierten Datensatzes mittels Datentransformation entspre- chend der Transformationsvorschrift Landmarken für das Gesicht der zu identifizieren- den Person nach den Gesichtsbilddaten verändert werden. 3. The method according to claim 1 or 2, characterized in that when calculating the depersonalized data set by means of data transformation in accordance with the transformation rule, landmarks for the face of the person to be identified are changed according to the face image data.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Änderung einer oder mehrerer Landmarken schrittweise ausgeführt wird, um zu bestimmen, wann der personalisierte Datensatz derart entpersonalisiert ist, dass eine maschinelle Ge- sichtserkennung mit dem mindestens einen Gesichtserkennungsalgorithmus nicht mehr möglich ist. 4. The method according to claim 3, characterized in that a change to one or more landmarks is carried out step by step in order to determine when the personalized data record is depersonalized in such a way that machine face recognition with the at least one face recognition algorithm is no longer possible.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für die eine Land- marke oder die mehreren Landmarken eine oder mehrere Änderungsgrenzen vorge- geben sind, innerhalb denen die Änderung bei der Datentransformation stattfindet, wo- bei die Änderungsgrenzen Mindeständerungen und / oder Maximaländerungen vorge- ben. 5. The method according to claim 4, characterized in that one or more change limits are specified for the one or more landmarks within which the change takes place during the data transformation, with the change limits providing minimum changes and / or maximum changes - ben.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zumindest einige der Landmarken jeweils gemäß unterschiedlicher Transformations- schritte verändert werden. 6. The method according to any one of claims 3 to 5, characterized in that at least some of the landmarks are each changed according to different transformation steps.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass zumindest einige der Landmarken jeweils gemäß zufällig bestimmter Transformations- schritte verändert werden. 7. The method according to any one of claims 3 to 6, characterized in that at least some of the landmarks are changed according to randomly determined transformation steps.
8. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch ge- kennzeichnet, dass die Transformationsdaten, die die Transformationsvorschrift anzeigen, übereine Kommunikationsschnittstelle (4) der Identifizierungsvorrichtung (1) eingelesen werden. 8. The method according to at least one of the preceding claims, characterized in that the transformation data which indicate the transformation rule are read in via a communication interface (4) of the identification device (1).
9. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch ge- kennzeichnet, dass der personalisierten Datensatz beim Ausführen der Daten- transformation gemäß der Transformationsvorschrift iterativ verändert wird, wobei nach aufeinanderfolgenden Iterationsschritten jeweils geprüft wird, ob die zu identifizierende Person anhand eines jeweils aktuellen entpersonalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus noch identifizierbar ist. 9. The method according to at least one of the preceding claims, characterized in that the personalized data record when executing the data transformation is iteratively changed according to the transformation rule, after successive iteration steps it is checked whether the person to be identified can still be identified using the at least one face recognition algorithm based on a current depersonalized data set.
10. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch g e - ke n n z e i c h n e t, dass der entpersonalisierten Datensatz derart konfiguriert ist, dass die zu identifizierende Person anhand der veränderten Gesichtsbilddaten mit menschli- chem Auge identifizierbar ist. 10. The method according to at least one of the preceding claims, characterized in that the depersonalized data record is configured in such a way that the person to be identified can be identified with the human eye on the basis of the changed facial image data.
11. Verfahren nach Anspruch 10, dadurch g e ke n n z e i c h n e t, dass die veränderten Gesichtsbilddaten sowie die aktuellen Gesichtsbilddaten über eine Bildausgabeeinrich- tung (6) ausgegeben werden, um so für eine manuelle Personenidentifizierung bereit- gestellt zu werden. 11. The method according to claim 10, characterized in that the changed face image data and the current face image data are output via an image output device (6) in order to be made available for manual personal identification.
12. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch g e - ke n n z e i c h n e t, dass die aktuellen Gesichtsbilddaten für die zu identifizierende Person mittels einer Bilddatenerfassungseinrichtung während der Identifizierung der Person erfasst werden. 12. The method according to at least one of the preceding claims, characterized in that the current facial image data for the person to be identified are recorded by means of an image data recording device during the identification of the person.
13. Identifizierungsvorrichtung (1), mit einem oder mehreren Prozessoren (2), die einge- richtet sind, zum Identifizieren einer Person mittels Gesichtserkennung Folgendes aus- zuführen: 13. Identification device (1) with one or more processors (2) which are set up to carry out the following for identifying a person by means of face recognition:
- Bereitstellen eines entpersonalisierten Datensatzes, wobei - Providing a depersonalized data record, wherein
- der entpersonalisierten Datensatz aus einem personalisierten Datensatz mittels einer Datentransformation gemäß einer Transformationsvorschrift berechnet ist,- the depersonalized data record is calculated from a personalized data record by means of a data transformation in accordance with a transformation rule,
- der personalisierte Datensatz Gesichtsbilddaten für eine zu identifizierende Per- son umfasst, anhand der die zu identifizierende Person mit Hilfe mindestens ei- nes Gesichtserkennungsalgorithmus identifizierbar ist, und the personalized data record includes facial image data for a person to be identified, on the basis of which the person to be identified can be identified with the aid of at least one face recognition algorithm, and
- der entpersonalisierte Datensatz, ausgehend von dem personalisierten Daten- satz, aufgrund der Anwendung der Datentransformation gemäß der Transforma- tionsvorschrift so verändert ist, dass die zu identifizierende Person anhand des entpersonalisierten Datensatzes, welcher der Transformationsvorschrift entspre- chend veränderte Gesichtsbilddaten umfasst, mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus nicht mehr identifizierbar ist; - The depersonalized data record, based on the personalized data record, is changed due to the application of the data transformation in accordance with the transformation rule so that the person to be identified is based on the depersonalized data record, which includes facial image data changed in accordance with the transformation rule, using the at least one face recognition algorithm can no longer be identified;
- Bereitstellen von Transformationsdaten, die die Transformationsvorschrift anzeigen; - Berechnen eines re-personalisierten Datensatzes aus dem entpersonalisierte Da- tensatz, wobei der re-personalisierten Datensatz, ausgehend von dem entpersonali- sierten Datensatz, mittels einer weiteren Datentransformation gemäß einer wenigs- tens teilweisen Umkehrung der Transformationsvorschrift so verändert wird, dass die zu identifizierende Person anhand des re-personalisierten Datensatzes mit Hilfe des mindestens einen Gesichtserkennungsalgorithmus und / oder mindestens eines anderen Gesichtserkennungsalgorithmus, welcher von dem mindestens einen Ge- sichtserkennungsalgorithmus verschieden ist, identifizierbar ist; - Provision of transformation data which indicate the transformation rule; Calculating a re-personalized data record from the depersonalized data record, the re-personalized data record, starting from the depersonalized data record, being changed by means of a further data transformation according to an at least partial reversal of the transformation rule so that the one to be identified Person can be identified on the basis of the re-personalized data record with the aid of the at least one face recognition algorithm and / or at least one other face recognition algorithm that is different from the at least one face recognition algorithm;
- Bereitstellen eines Vergleichsdatensatzes, der aktuelle Gesichtsbilddaten für die zu identifizierende Person umfasst; und - Providing a comparison data set which comprises current face image data for the person to be identified; and
- Identifizieren der Person unter Verwendung des re-personalisierten Datensatzes, des Vergleichsdatensatzes sowie des mindestens einen Gesichtserkennungsalgo- rithmus und / oder des mindestens einen anderen Gesichtserkennungsalgorithmus. - Identifying the person using the re-personalized data set, the comparison data set and the at least one face recognition algorithm and / or the at least one other face recognition algorithm.
14. Identifizierungsvorrichtung nach Anspruch 13, dadurch g e ke n n z e i c h n e t, dass die Identifizierungsvorrichtung (1) des Weiteren eine Kommunikationsschnittstelle (4) umfasst, welche eingerichtet ist, zum Bereitstellen der Transformationsdaten die Trans- formationsdaten von einem tragbaren Datenträger einzulesen. 14. Identification device according to claim 13, characterized in that the identification device (1) further comprises a communication interface (4) which is set up to read in the transformation data from a portable data carrier in order to provide the transformation data.
15. Identifizierungsvorrichtung nach Anspruch 13 oder 14, dadurch g e ke n n z e i c h n e t, dass die Identifizierungsvorrichtung (1) des Weiteren eine Bilddatenerfassungseinrich- tung umfasst, welche eingerichtet ist, zum Bereitstellen des Vergleichsdatensatzes die aktuellen Gesichtsbilddaten für die zu identifizierende Person während der Identifizie- rung der Person zu erfassen. 15. Identification device according to claim 13 or 14, characterized in that the identification device (1) further comprises an image data acquisition device which is set up to provide the comparison data set with the current face image data for the person to be identified during the identification process Capture person.
16. Zugangskontrollsystem, umfassend eine Identifizierungsvorrichtung (1) nach einem der Ansprüche 13 bis 15 und eine Zugangskontrollsteuereinrichtung, wobei die Identifizie- rungsvorrichtung (1) eingerichtet ist, nach erfolgreicher Identifizierung der Person ein Zugangsberechtigungssignal an die Zugangskontrollsteuereinrichtung zu übermitteln, welches die Zugangskontrollsteuereinrichtung veranlasst, die Person für einen Zugang zu berechtigen, und / oder nach nicht erfolgreicher Identifizierung ein Zugangsverwei- gerungssignal an die Zugangskontrollsteuereinrichtung zu übermitteln, welches die Zu- gangskontrollsteuereinrichtung veranlasst, der Person den Zugang zu verweigern. 16. Access control system, comprising an identification device (1) according to one of claims 13 to 15 and an access control control device, wherein the identification device (1) is set up to transmit an access authorization signal to the access control control device after successful identification of the person, which causes the access control control device to to authorize the person for access and / or to transmit an access refusal signal to the access control control device after an unsuccessful identification, which signal causes the access control control device to deny the person access.
17. Computerprogrammprodukt, umfassend Programmbefehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach mindes- tens einem der Ansprüche 1 bis 12 auszuführen. 17. Computer program product, comprising program instructions which, when the program is executed by a computer, cause the computer to execute the method according to at least one of claims 1 to 12.
EP20761139.3A 2019-08-16 2020-08-13 Method for identifying a person by means of facial recognition, identification apparatus and computer program product Pending EP4014144A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019122119.6A DE102019122119A1 (en) 2019-08-16 2019-08-16 Method for identifying a person using face recognition, an identification device and a computer program product
PCT/DE2020/100708 WO2021032248A1 (en) 2019-08-16 2020-08-13 Method for identifying a person by means of facial recognition, identification apparatus and computer program product

Publications (1)

Publication Number Publication Date
EP4014144A1 true EP4014144A1 (en) 2022-06-22

Family

ID=72234616

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20761139.3A Pending EP4014144A1 (en) 2019-08-16 2020-08-13 Method for identifying a person by means of facial recognition, identification apparatus and computer program product

Country Status (4)

Country Link
US (1) US20220300644A1 (en)
EP (1) EP4014144A1 (en)
DE (1) DE102019122119A1 (en)
WO (1) WO2021032248A1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015108351A1 (en) * 2015-05-27 2016-12-01 Bundesdruckerei Gmbh Identification server for identifying a person to be identified

Also Published As

Publication number Publication date
DE102019122119A1 (en) 2021-02-18
WO2021032248A1 (en) 2021-02-25
US20220300644A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
DE602004005984T2 (en) FACE IDENTIFICATION VERIFICATION USING FRONT AND SIDE VIEWS
DE102017006558A1 (en) Semantic index plane segmentation
DE112016005412T5 (en) Monitoring device, monitoring system and monitoring method
DE102018208920A1 (en) An information processing apparatus and estimation method for estimating a gaze direction of a person, and a learning apparatus and a learning method
DE102012016160A1 (en) Image capture for later refocusing or focus manipulation
DE60030739T2 (en) REVIEW OF ACCESS AUTHORITY
DE102008034979A1 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
EP3347878B1 (en) Method and apparatus for superimposing a virtual image onto an image of a real scene, and mobile device
DE102017215283A1 (en) Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle
DE102018124149A1 (en) SYSTEM AND METHOD FOR MASKING OBJECTS IN THE VIDEO ARCHIVE ON REQUEST OF THE USER
EP3944136A1 (en) Id document and method for personalizing id document
WO2021032248A1 (en) Method for identifying a person by means of facial recognition, identification apparatus and computer program product
DE102020109171A1 (en) Integrity check of a document with personal data
DE102015009894A1 (en) Aligning multiple view scans
DE10140152A1 (en) Procedure for creating and evaluating a medical database
DE112022001468T5 (en) SELECTIVE BLACKING OF IMAGES
EP3629232A1 (en) Device for detecting image manipulation in a digital reference face image of a person
WO2021122213A1 (en) Self-service terminal and method for operating a self-service terminal
DE102019220364A1 (en) Calibration device and method for calibrating a device
WO2016180531A1 (en) Method for checking an identity of a person
EP4064221A1 (en) Method for personalizing an id document and method for identifying a person using biometric facial features and id document
EP4075397A1 (en) Mobile device and method for identifying a person using a biometric face feature with the aid of a mobile device
WO2016034325A1 (en) Method for detecting manipulations on a value and/or security document
DE4422016C2 (en) Procedure for the automatic verification of magnetic cards
DE102005041633A1 (en) Object recognition method for e.g. video image, involves determining visual homogeneous segments within two dimensional field of pixels in image, and forming data structure in which one point of interest is assigned to central point

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220310

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526