EP4423727A1 - Personenverifikation in porträtgemälden - Google Patents

Personenverifikation in porträtgemälden

Info

Publication number
EP4423727A1
EP4423727A1 EP22803311.4A EP22803311A EP4423727A1 EP 4423727 A1 EP4423727 A1 EP 4423727A1 EP 22803311 A EP22803311 A EP 22803311A EP 4423727 A1 EP4423727 A1 EP 4423727A1
Authority
EP
European Patent Office
Prior art keywords
images
image
person
portrait
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22803311.4A
Other languages
English (en)
French (fr)
Inventor
Philipp Terhörst
Marco Huber
Naser DAMER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4423727A1 publication Critical patent/EP4423727A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention relates to a method and a system for person verification in portrait paintings and a computer program product.
  • a portrait typically depicts a person, specifically a person's face or head.
  • a portrait can be represented by a painting or a photograph.
  • portraits in the form of busts, sculptures, masks, or mosaics are also known.
  • a portrait painting can refer to a painting that shows the portrait of a person in the form of a painted or drawn painting.
  • the portrait painting usually has a section that shows the face or the head of the person depicted.
  • historical portrait paintings depict important people of an epoch and also allow conclusions to be drawn about the lives of historically important people.
  • Numerous portrait paintings were created during the Renaissance, partly due to advances in painting techniques.
  • the people depicted in historical portrait paintings were usually so relevant that several portrait paintings were made of one person.
  • several portraits of a person were made because a person was depicted in portraits at different times in his life.
  • a person can also have been depicted by different painters. It is also conceivable that a person has been depicted in several portrait paintings from different perspectives.
  • an assumption is made as to the identity of the person depicted.
  • Such an assumption can be based in particular on the statement of an art expert or art historian.
  • the expert or historian for use a portrait painting for which the person depicted is verified and then compares this with the portrait painting in question to arrive at a statement as to the identity of the person depicted.
  • the technical problem thus arises of creating a method and a system for person verification in portrait paintings and a computer program product which verifies the identity of a person depicted with high reliability and accuracy.
  • a basic idea of the invention is to verify the identity of a person in a portrait painting to be checked.
  • the invention provides for this, with the help of Images of several portraits of a reference person and images of several portraits of one or more contrarians, who are different from the reference person, to determine a technical criterion using a machine learning method, which serves to objectively distinguish the reference person from a contrarian.
  • a method for verifying persons is thus made possible without the aforementioned disadvantages, it being verified whether the person depicted in a portrait painting to be checked corresponds to the reference person or not.
  • An image designates an image section of a portrait painting, which preferably shows at least part of the face of the person depicted in the portrait painting. However, the image section can also include the entire portrait painting or also a region surrounding the portrait painting.
  • the image can be encoded in the form of an image file, which is available, for example, as a RAW, JPEG or PNG file.
  • an image can be generated by means of an image acquisition device by imaging a portrait painting or a section of the portrait painting by means of an image acquisition device.
  • An image-specific feature or features can be determined as a vector.
  • the features determined in the form of a vector cannot be interpreted intuitively or directly for a human user.
  • the images of the reference image set differ at least in that at least one image of the reference image set maps to the first of the at least two portrait paintings and another image maps to the second of the at least two portrait paintings.
  • the set of reference images can include more than two images, even if these images each only image one of two portrait paintings.
  • a portrait painting can be represented by a number of images from, for example, different perspectives, and these images can then be part of the set of reference images.
  • the reference person is a person, usually historically relevant, whose identity has been handed down, i.e. previously known.
  • the identity of a person can be handed down or previously known, for example, in that a title of a portrait painting names the identity of the person depicted.
  • All images of the set of reference images are images of portrait paintings that depict the same reference person. At least two portraits exist of the reference person, preferably four or more portraits. The more portrait paintings of the reference person the reference image set includes, the better the reliability of the proposed method.
  • a contrarian is another person, usually also historically relevant, whose identity has been handed down or is known in advance.
  • the set of contrarian images includes at least two different images of portrait paintings of the same contrarian, preferably of several different contrarians. Different contrarians are persons whose identities are different from each other. It is also important that the contrarian(s) is/are different from the reference person, i.e. that the reference and contrarian(s) are different persons or identities. There are at least two portraits of each opponent, but preferably three or more portraits, in particular 3 to 5 portraits. Different numbers of portrait paintings can also exist for different contrarians. For example, there may be 100 or more portraits for one opponent, with fewer portraits for another opponent. More preferably, the set of contrarian images includes images of at least two different contrarians.
  • the image to be examined relates to a portrait painting depicting a person whose identity has not been handed down, i.e. is unknown. Such a person can also be a historically relevant person.
  • the aim of the method described here is to verify whether this unknown person matches the reference person or not.
  • the portrait paintings or images of the set of contrasting images are preferably selected in such a way that they are similar to the portrait paintings of the set of reference images with regard to the painting style or the painting technique used.
  • the portrait paintings were made by the same painter or in the same or a similar era.
  • the gender, age or other person-specific characteristics of the reference person can also be taken into account when choosing the portrait paintings or images of the set of contrarian images.
  • a selection criterion when providing the reference and/or contra-image set such as only females or only males, or only portraits by a particular artist.
  • a range of values can also be specified that affects a range of ages of the people depicted, such as only likenesses of people who were between 30 and 40 years old at the time a portrait painting was made. In this way, differences between the portrait paintings can be traced back as far as possible to the different people depicted and do not depend solely on different painting styles or, for example, the sex or age of the people depicted or similar.
  • all portraits of the set of reference and contra-images are preferably selected in such a way that they also resemble the portrait of the image to be checked with regard to the aforementioned selection criteria. Assumptions regarding the identity of the person to be verified can also influence the selection of the portrait paintings of the reference or contra-image set.
  • All images, or the two sets of images described and the image to be checked, can be made available by reading them in via an interface and/or by retrieving them from a database.
  • the images can be stored in a memory device, for example in a memory device designed as a ROM or RAM or a memory device comprising a ROM or RAM. This is described in more detail below. It is also conceivable that the images are provided in different ways, i.e. that, for example, an image can be provided by reading it in via an interface and another image can be provided by retrieving it from a database.
  • An image-specific feature can represent one or more properties of an image that are objectively and technically analyzable.
  • a property may be a geometric property relating to a human face, such as the spacing, shape, or arrangement of a person's eyes, nose, and/or mouth.
  • it can also be a property that relates to an artistic aspect with regard to a painting style or painting technique used.
  • the thickness of a brush stroke in the image can affect the determination of an image-specific feature.
  • the thickness of such a brush stroke or, for example, the distance between a person's eyes can, in particular in an image, over a number of pixels or the distance of pixels from one another or the like can be quantified.
  • an image-specific feature can also be a property that is not directly recognizable in the image.
  • the machine learning method can be trained to take the described properties into account when determining an image-specific feature. This, in particular the training of a neural network, is explained in more detail below.
  • All images of the reference and contra-image set are analyzed using the machine learning method.
  • the image to be checked is also analyzed using the machine learning method.
  • For each image, at least one image-specific feature is automatically determined using the machine learning method and assigned to the respective image.
  • the machine learning method is preferably trained in such a way that the image-specific features are similar for the images that depict the same person. Further, the image-specific features are dissimilar for the images depicting different people. This is due in particular to the fact that the images that depict the same person are based on similar, in particular person-specific, properties.
  • a similarity of features preferably depends on a distance between features or can be represented by this, for example if the specific features were determined as vectors.
  • the vectors for images that depict the same person can be arranged spatially close to one another, i.e. they can be similar, while on the other hand the vectors for images that depict different people can be arranged spatially far apart in the vector space.
  • a specific similarity between two features is preferably referred to as a similarity value.
  • Such a similarity value can be obtained, for example, from the reciprocal of the Euclidean
  • the similarity value is determined via a cosine similarity of two vectors or features.
  • the similarity value is determined via the cosine of the angle between two vectors, with the smaller or acute angle of two congruent intersection angles being used as the angle for determining the cosine.
  • the cosine of a zero angle is one, while the cosine of a pi/2 angle is zero. For example, a small angle results in a large cosine value and thus a larger similarity value, while a larger angle results in a smaller cosine value and thus a smaller similarity value.
  • the similarity value can correspond to the cosine.
  • the determined similarity values are used to determine the first and further distribution.
  • the first distribution is determined in particular from those similarity values that result from the difference between features of images that depict the same person, i.e., for example, from the difference between a feature of an image of the reference image set and a feature of another image of the reference image set. Furthermore, similarity values can also be used, which result from the difference between features of images of the contrarian image set that depict the same contrarian. In other words, the first distribution can also be referred to as a first set of values, which includes the explained similarity values.
  • the further distribution is then determined in particular from those similarity values that result from the difference between features of images that depict different people, ie for example from the difference between a feature of an image of the set of reference images and an image of the set of contrarian images. It is also possible that similarity values are used, which result from the difference between features of images of different contrarians.
  • the second distribution can also be referred to as a second set of values, which includes the similarity values explained.
  • the first distribution of similarities is also known as the match distribution or genuine distribution and the further distribution of similarities as non-match distribution or imposter distribution.
  • the first distribution can be the value set (4, 5, 5, 6).
  • the variable for evaluating a criterion for distinguishing the reference person from the contrarian(s) is determined as a function of the first and/or the further distribution.
  • the determined variable can be used in particular as a threshold value when evaluating the criterion.
  • the size is preferably determined from a value range of the similarity values of the first and/or the further distribution.
  • the range of values can relate to an intersection or an overlapping range of the first and further distribution, with the size being determined, for example, as the mean value, minimum value or maximum value of this intersection/this range.
  • the determined quantity could be determined as the similarity value of 4.
  • the size can also be determined as the particularly lowest similarity value of the first distribution.
  • the size is determined as the mean of the first distribution. In analogy to the example mentioned above, the size could thus be determined as the similarity value of 5. What is essential is that the determined size makes it possible to evaluate a criterion, the result of the evaluation making it possible to distinguish between the person depicted in an image to be checked and the reference person or contrarian(s).
  • the size is determined such that a predetermined
  • False acceptance rate eg a false acceptance rate of 0.001
  • False acceptance rate is not exceeded, i.e. no more than a certain percentage of actually not with the corresponding reference person is verified as identical to the person to be verified according to the method as identical to the reference person.
  • the size for example, those image pairs of the contrarian image set that do not depict the same person can be used, with a similarity value being determined for each image pair and the size then being selected in such a way that, using the size, only a maximum of such a percentage of those that actually do not match pairs of images that is less than or equal to the predetermined false acceptance rate.
  • the size can also be determined in such a way that a provisional size is selected as the starting value for an iteration, such as a value from the intersection of the first and further distribution, and the size is determined by iteration in such a way that the predetermined false acceptance rate is not exceeded.
  • the criterion can be evaluated by comparing the determined size with the measure of similarity.
  • the degree of similarity results from a comparison of the features of the image to be checked with each image in the set of reference images. For example, a similarity value can be determined for each pair of images, comprising the image to be checked and an image of the reference image set, with the degree of similarity then being determined, for example, as a minimum value, mean value or maximum value of the large number of similarity values.
  • the specific degree of similarity indicates how similar the person to be verified and the reference person are.
  • the similarity measure could be determined as an average similarity value of 5. But another way of determining the degree of similarity is also possible.
  • the determined variable thus represents a threshold value of a threshold value criterion which, for example, must be exceeded for the verification by the similarity measure.
  • the degree of similarity does not meet the criterion, for example because the degree of similarity was determined as an average similarity value of 3, then the result of the verification would be that the person to be verified does not match the reference person.
  • the method described here enables person verification in portrait paintings, which is based on objective and technically determinable properties of portrait paintings and which, in particular, is not only traced back to the error-prone opinion of a human being.
  • the described automated characteristic assignment with regard to the images of a reference person and the images of one or more contrarians, as well as the resulting distributions, can advantageously achieve high reliability and high accuracy in the person verification, which can also be carried out quickly and inexpensively can.
  • the images are provided by reading them in via an interface or from a database and/or by capturing the portrait paintings using an image capturing device.
  • Reading in refers to the transmission of the images described above from one electronic device to another electronic device, such as from a server to a system which is designed for person verification according to an embodiment described in this disclosure.
  • a system can, for example, be or comprise a mobile phone or a computer.
  • a server can be external to the system and form or include a database, with images, in particular image files, of various portrait paintings being stored in the database and the person depicted in at least some of the images being known in advance and the corresponding identity information being assigned to the image.
  • information about a painter, an epoch, a painting style, etc. or the sex or age of the person depicted can also be assigned to an image.
  • the images can then be provided by transferring the images and the images associated information from the database to a storage device of the system.
  • the images can be stored on a memory device of the system or temporarily stored until the person verification process is completed.
  • Reading in the images via an interface is also possible.
  • the interface enables data transmission between two electronic devices, such as between a non-system storage device and the aforementioned system.
  • reading in or transferring the images via the interface and/or from the database using different connection standards such as USB, Bluetooth, WLAN, Wi-Fi etc. can be made possible.
  • the images or a part of the images can also be provided by capturing a portrait painting with an image capturing device.
  • an image capturing device can in particular be part of the system for personal verification, such as a mobile phone camera.
  • the image capturing device can have one or more image sensors, such as CCD or CMOS sensors.
  • An image sensor captures one or more images of a portrait painting based on rays of light striking the image sensor from the portrait painting or part of the portrait painting.
  • An image of a portrait painting generated in this way is preferably encoded in the form of a previously described image file.
  • the image-specific features are determined as vectors in a vector space, with the first and/or further distribution and/or the degree of similarity being determined on the basis of specific differences between the vectors.
  • the properties of an image explained at the outset are represented by entries in the vector by a feature determined as a vector. These entries can be numerical values.
  • An entry can be a component or an element of a vector, with the number of components/elements of a vector specifying the dimension of the vector space.
  • the vector space can thus be a multi-dimensional mathematical space, preferably with all the particular features being located in the same vector space.
  • the differences between the vectors can be differences between vectors, for example. Such a difference can be the Euclidean distance between two vectors. How the first or further distribution and/or the degree of similarity can be determined from the differences between the vectors or from the absolute differences of the vectors has already been described above.
  • a technical analysis of an image using the machine learning method has the advantage that a feature determined as a vector does not directly indicate a property or properties of an image, such as an interpupillary distance, but that the vector uses the machine learning method to can represent such or another property in an abstracted or abstract form.
  • This type of representation of properties of an image in a vector results in an objective comparability of different images through a comparison of vectors or features.
  • image-specific features are determined as vectors in a vector space, this advantageously results in a simple and objective comparison between the properties of different images.
  • the objectivity of the comparison results in particular from the normalization of the vectors.
  • a value from a value range of the first and/or further distribution is determined as the variable for evaluating the criterion.
  • the criterion such as the initially mentioned threshold value criterion
  • a value can therefore be a threshold value from which it can be assumed that the person depicted in the images compared with one another corresponds, such as the mean value of the similarity values in an overlapping region of the first and the further distribution.
  • the degree of similarity to be determined for the person verification can then also be determined as a value from the value range of the similarity values of the first and/or further similarity distribution, so that the criterion can be evaluated quickly and easily.
  • a first probability distribution is generated from the first distribution and a further probability distribution is generated from the further distribution.
  • a similarity value or similarity values from predetermined similarity value ranges are determined several times, for example because the underlying geometric properties such as the interpupillary distance in the images of the reference person and thus the images are the same .
  • a corresponding frequency of a similarity value can thus result when determining similarity values.
  • a similarity value is determined multiple times for comparisons of features between images of different people, for example between the reference person and the contrarian. This can be the case in particular if there are identical differences between the features of the images of the reference and contrarian, such as differences in the determined interpupillary distance.
  • similarity values of the first and further distribution can accumulate, in particular a histogram of the frequencies can be derived for the first and further distribution.
  • the set of reference and/or contrarian images preferably includes images of a large number of different portrait paintings, for example images of between 10 and 100 different portrait paintings, so that a corresponding number of images also results in a correspondingly large number of features. It can be the case, in particular, that corresponding similarity values of the first and further distribution accumulate in such a way that an approximately normally distributed histogram for the first and/or the further distribution results. However, it is also possible that the histogram does not have a normal distribution or its properties.
  • a probability distribution can be generated from a histogram.
  • a particularly continuous probability distribution can be generated from the similarity values using what is known as a kernel density estimation method. These are usually not normally distributed.
  • the first probability distribution associates a respective similarity value with a probability for the matched features to match. Matching of the matched features indicates that the images show the same person with respect to these matched features.
  • the further probability distribution associates a specific similarity value with a resulting probability of the matched features not matching.
  • a mismatch of the matched features indicates that the images show different people with respect to those matched features.
  • the highest probability (frequency) that the matched characteristics match could be at a similarity value of 5, for example because a similarity value of 5 corresponds to the expected value of the first probability distribution. Accordingly, the highest probability (frequency) that the matched characteristics do not match could be at a similarity value of 3. Correspondingly lower probabilities of a match or non-match could then be assigned to the remaining similarity values of the first and further probability distributions.
  • the similarity value of 5 can have a probability of, for example, 80% for a match are assigned. Due to an overlap of the first and further probability distribution, the similarity value of 5 can also be assigned a probability of 20% for non-matching, for example. Depending on the first and further probability distribution, a similarity value of 3 can, for example, be assigned a probability of 60% for a non-match and a probability of 40% for a match.
  • the verification can advantageously be supplemented by stochastic analysis methods known to those skilled in the art. Furthermore, the first and further probability distribution also makes it possible to specify a probability for the correctness of the result of the verification. This is explained in more detail below.
  • At least one plausibility value is determined when determining the measure of similarity, the plausibility value being determined as a ratio between the probabilities assigned to a (similarity) value in the first and further probability distribution.
  • the plausibility value can then be the quotient of the probability of a match and the probability of a non-match of the features, with the probability of a match resulting from the first probability distribution and the probability of a non-match resulting from the further probability distribution.
  • a plausibility value can thus be assigned to each similarity value.
  • the two probabilities assigned to a similarity value are relativized by the plausibility value.
  • a plausibility value can then be determined for each determined similarity value in order to determine the degree of similarity.
  • the first plausibility value is, for example, 8/2. If the probabilities for a second similarity value of 3 have been assigned 40% for a match and 60% for a non-match, then this results the second plausibility value is 2/3.
  • the reciprocal values of the quotients just described can also be used as plausibility values.
  • all plausibility values can then be multiplied with one another or their mean value formed, which, as explained above, is determined for each similarity value that is determined when comparing the image to be checked and each image of the reference image set.
  • This product or the mean value forms an overall plausibility value.
  • the degree of similarity can then be determined as the similarity value to which the overall plausibility value is assigned, in particular as a function of the previously explained assignment of plausibility values to similarity values.
  • the degree of similarity can thus be determined with increased accuracy and reliability, since the described relativizing of the probability values results in a weighting when determining similarity values and outliers have less of an influence on the degree of similarity.
  • a reliability variable is determined, this variable indicating a probability of the correctness of the result.
  • the reliability variable can indicate the probability of the person identified as the reference person actually not corresponding to the reference person and thus corresponding to a false acceptance rate (false match rate). If the person to be verified was identified as not corresponding to the reference person (i.e. the similarity measure does not meet the criterion), the reliability variable can indicate the probability of the person not identified as a reference person actually corresponding to the reference person and thus a false non-acceptance rate (false non match rate) match.
  • the threshold-specific false acceptance rate and the threshold-specific false non-acceptance rate can be determined from the determined probability distributions for each threshold value (similarity threshold value), whereby this relationship can be represented, for example, in the form of an ROC curve (receiver-operating characteristic curve). This relationship can then be evaluated to determine the reliability variable. Creating a Receiver Operating The characteristic curve is known to those skilled in the art. As a function of this relationship, the variable for evaluating the criterion can also—as explained above—be determined, in particular as the threshold value at which the false acceptance rate is less than or equal to a predetermined threshold value, eg 0.001.
  • the reliability variable and the result of the verification are output via an output device, in particular to a user of a system for personal verification. In this way, it can be conveyed to the user how correct the result determined with the proposed method is.
  • the reliability variable can also be compared with a predetermined threshold value, with a reliability variable that is smaller than the threshold value indicating a particularly reliable correctness of the result.
  • the verification result is advantageously quantified by a probability. In this way, the similarity between a person to be verified and the reference person can be assessed quickly and objectively.
  • the machine learning method is trained as follows
  • Pre-training a neural network with the first set of training images providing a further set of training images with images from portrait paintings, with each image being assigned at least one painting-specific basic truth,
  • the method of machine learning trained in this way is designed to determine image-specific features for images of portrait paintings.
  • An untrained machine learning method must learn to determine at least one image-specific feature for an image of a portrait painting with a quality that enables the person verification method described at the beginning to be carried out with sufficient accuracy.
  • a neural network that has not yet been trained can be adapted by training with a first and a further set of training images.
  • a neural network can comprise a number of levels, with a large number of neurons being able to be arranged in each level, with the arrangement and links between the various levels being adaptable by training.
  • a neural network suitable for this purpose can be a residual neural network, for example.
  • a first set of training images is provided with portrait photographs that form images of the first set of training images. If portrait photographs are available as digital image files, the images can be provided by them or in the form of these image files. Of course, it is also possible to generate the images of the first training image set by imaging portrait photographs, e.g. with an image acquisition device.
  • This first set of training images preferably includes a sufficiently high number of images, such as 10,000 or more images, in particular up to 1,000,000 images.
  • the images of the first set of training images are photographs of people or faces, in particular portrait photographs.
  • the first training image set preferably includes images of both males and females. The images also preferably depict people with different phenotypes, ie in particular people with different visual appearances.
  • At least two images of each person There are preferably at least two images of each person, with the at least two images preferably imaging the person from different perspectives.
  • At least one photo-specific basic truth is assigned to each image.
  • the basic truth corresponds to the identity of a person depicted in an image.
  • the large number of images of photographs can be provided quickly and inexpensively, for example, by retrieving them from a database.
  • a portrait photograph and in a portrait painting at least the full face of a person is preferably depicted.
  • At least part of the images of the first training image set is generated by properties of images that are already part of the first Training image set are changed, for example by methods of image processing known to those skilled in the art. Such a change can take place, for example, by changing the orientation or mirroring or by changing the contrast strength of an image.
  • at least part of the images or all images of the first training image set is/are provided by properties of portrait photographs being changed in such a way that these simulate images of portrait paintings.
  • image processing methods known to those skilled in the art can be used to change portrait photographs or images of portrait photographs in such a way that these images look like portrait paintings, ie the images simulate portrait paintings. This can be referred to as data augmentation of the first training image set.
  • the neural network is then pre-trained by analyzing the images of the first training image set using the neural network and adapting the neural network depending on the result of the analysis, i.e. in particular depending on at least one image-specific feature determined with the neural network.
  • Such an adaptation of the neural network can take place in particular by an iterative approximation to an optimization criterion.
  • Analysis of an image by the neural network can mean, for example, that the individual pixels, in particular their intensity values, of an image encoded as an image file are analyzed by the neural network.
  • the neural network can detect edge, curve and/or color gradients in an image from the differences, in particular of intensities, between pixels.
  • At least one image is an input variable and at least one feature determined by the analysis is an output variable of the neural network.
  • a first subset of, for example, three images (e.g. image A, image B and image C) of the first set of training images is analyzed in a first run of the training, with two images A, B being assigned the identity of the same person as the basic truth , i.e. two of the images A, B depict the same person.
  • the identity of another person is assigned to the remaining image C as basic truth, so that this image C thus depicts a different person than images A and B.
  • the neural network has generated three image-specific features/feature vectors which, after the first pass of the training usually do not have a high quality with regard to possible conclusions about the depicted persons or the basic truths.
  • An adaptation/training of the neural network can now be carried out in such a way that a feature-dependent evaluation variable is minimized or maximized or reduced to the extent that the evaluation variable corresponds to a predetermined threshold value or is smaller than this predetermined threshold value, or increased to the extent that the evaluation variable corresponds to a (further) predetermined threshold value or is greater than this (further) predetermined threshold value.
  • an evaluation variable-dependent cost function can be minimized or maximized by the training, in particular up to a predetermined level.
  • An evaluation variable can be a difference between two features/feature vectors determined by the analysis.
  • a threshold value can be, for example, a predetermined difference between the two features/feature vectors for the images that depict the same person, with the evaluation variable being minimized by means of iterative adjustments, i.e. training, of the neural network or being minimized to the extent that it is smaller than the predetermined one difference is.
  • Another threshold may be a predetermined further difference between the two features/feature vectors determined for the images depicting different people.
  • the evaluation variable can be maximized or maximized to the extent that it is greater than the predetermined further difference by means of the iterative adaptations of the neural network. This procedure can be described as an approximation to an optimization criterion.
  • the procedure described is also carried out for further subsets of the first training image set that are different from the first and from one another, so that the neural network is optimized for determining features from images, in particular of different people.
  • a triplet loss function can be used for the training explained, in particular as a cost function. The person skilled in the art is familiar with the use of such a function.
  • a subset of the first training image set cannot be used for the training, but the images of the subset can be retained for assessing the quality of the neural network.
  • the retained images without the photo-specific basic truth are analyzed by the pre-trained neural network and the basic truths assigned to the images are used, to check whether the features determined in this way allow conclusions to be drawn about the people depicted in the images or whether certain features for images of the same person do not differ from one another by more than a predetermined amount and/or certain features for images of different people by more than a predetermined amount dimensions differ from each other.
  • a difference between the characteristics of such pairs of images that do not depict the same person can be determined, for example.
  • the identities of the people depicted are known from the assigned basic truths.
  • the quality can be sufficient if it is determined with the help of the determined difference that the predetermined level is exceeded.
  • a minimum value for the difference between two features of images that do not depict the same person can be defined as a predetermined measure.
  • a further training image set is provided.
  • Such a specialization of a pre-trained neural network is also referred to as transfer learning.
  • the further set of training images includes images of different portrait paintings, preferably 300 or more images, with each image being assigned at least one painting-specific basic truth. Such a painting-specific basic truth can in particular concern or be the identity of a person depicted.
  • the pre-training of the neural network makes it possible for the additional training image set to include a smaller number of images than the first training image set. This is particularly advantageous because images of portrait paintings are not usually available in as large a number as there are photographs.
  • the first and the further training image set preferably include at least two images per identity, ie at least two images of the same person.
  • the images or all images of the further training image set are provided by properties of portrait photographs, in particular portrait photographs of the first training image set or portrait photographs that are not part of the first training image set, being changed in such a way that these images are portrait paintings simulate.
  • image processing methods known to those skilled in the art can be used to change portrait photographs or images of portrait photographs in such a way that the appearance of these images Portrait paintings are modeled on, so the images simulate portrait paintings.
  • other properties of the images can also be changed, such as a contrast strength or an orientation of the images.
  • This procedure can also be referred to as data augmentation.
  • the number of images of the first and further training image set can be increased in a simple manner.
  • the pre-trained neural network is then adapted/trained by means of the further training image set, preferably analogously to the described pre-training procedure, in such a way that features for images of portrait paintings of the same person do not deviate from one another by more than a predetermined amount and/or differ more than a predetermined amount for images of portraits of different people.
  • the further training of the neural network can now be carried out in such a way that feature-dependent evaluation variables are minimized or maximized or reduced to the extent that the evaluation variable corresponds to a predetermined threshold value or is smaller than this predetermined threshold value, or increased to the extent that the evaluation variable corresponds to or is greater than this (further) predetermined threshold value.
  • an evaluation variable-dependent cost function can be minimized or maximized by the training, in particular up to a predetermined level.
  • This procedure can also be referred to as an approximation to an optimization criterion.
  • a subset of the further training image set for example 30 images of the 300 images, are not used when specializing the pre-trained network and these images are then used analogously to the above-mentioned procedure for assessing the quality of the specialized neural network.
  • the described training of the method of machine learning advantageously means that features suitable for reliable verification can also be determined for images from portrait paintings to which no basic truth is assigned.
  • the trained method of machine learning uses in particular the specialized neural network.
  • the machine learning method to be trained only with the first set of training images.
  • a first training image set with portrait photographs can be provided, with each image being assigned at least one photo-specific basic truth.
  • a neural network is trained with the first training image set, the machine learning method trained in this way being designed to determine image-specific features for images of portrait paintings.
  • the first training image set can include portrait photographs and/or portrait paintings simulated in accordance with the preceding explanations and/or images of portrait paintings.
  • the first training image set in this case comprises only simulated portraitures or only images of portraitures or only simulated portraitures and images of portraitures.
  • At least one image-specific feature can be determined for an image of a portrait painting, as explained. Such an image-specific feature can then be used, as described above, for a method for person verification in portrait paintings.
  • the training of the machine learning method described here ensures that person verification in portrait paintings is made possible with sufficient quality or accuracy and reliability.
  • the trained neural network can comprise a plurality of levels, in particular levels connected in series, with intermediate results in the analysis of an image becoming more abstract as the level progresses.
  • the result of the analysis or the output variable is then at least one image-specific feature. Due to the abstraction described during the analysis of an image, the features determined in this way can also relate to properties of an imaged face that remain hidden from the subjective human view. This advantageously results in more differentiated features compared to an analysis of an image by a human that increase reliability and accuracy in person verification in portrait paintings.
  • a system for personal verification comprises an image acquisition device and/or an interface, a storage device, a data processing device and an output device, the system being designed or configured to carry out a method according to one of the previously disclosed embodiments.
  • the system is embodied as a portable terminal, e.g., a mobile phone, or is provided by the terminal or the elements of the terminal.
  • the exemplary embodiments for a corresponding image acquisition device, interface or storage device have already been explained above.
  • the data processing device can be embodied as an integrated circuit on a microchip or can comprise one.
  • the data processing device can also be a microcontroller or include one.
  • the data processing device is designed to analyze images of portrait paintings or image files using the machine learning method and to carry out the claimed person verification method according to an embodiment described in this disclosure.
  • An output device can be designed as a display, for example, and can be used to output a result variable or a reliability variable of the personal verification to a user.
  • a computer program product with a computer program comprising software means for executing one, several or all steps of the method for person verification in portrait paintings according to one of the embodiments described in this disclosure, when the computer program is executed by or in a computer or an automation system .
  • a program which, when running on a computer or in an automation system, causes the computer or the automation system to carry out one or more or all steps of the method for person verification in portrait paintings according to one of those described in this disclosure to carry out embodiments, and/or a program storage medium on which the program is stored (in particular in a non-transitory form), and/or to a computer, which comprises the program storage medium, and/or a (physical, e.g. electrical, e.g. technically produced ) signal wave, e.g. a digital signal wave, carrying information representing the program, e.g. the aforesaid program, comprising e.g. code means suitable for carrying out any or all of the method steps described herein.
  • a program storage medium on which the program is stored in particular in a non-transitory form
  • a computer which comprises the program storage medium, and/or a (physical, e.g. electrical, e.g. technically produced ) signal wave, e.g. a digital signal wave
  • the method according to the invention is, for example, a computer-implemented method.
  • all of the steps or only some of the steps (i.e. fewer than the total number of steps) of the method of the invention can be performed by a computer.
  • One embodiment of the computer-implemented method is using the computer to perform a data processing method.
  • the computer comprises, for example, at least one microcontroller or processor and, for example, at least one memory in order to (technically) process the data, for example electronically and/or optically.
  • the processor consists, for example, of a substance or composition which is a semiconductor, for example at least partially n- and/or p-doped semiconductors, for example at least one II, III, IV, V, VI semiconductor material, for example (doped ) silicon and/or gallium arsenide.
  • the steps described, in particular the determination steps and the verification step, are carried out by a computer, for example. Determination steps or calculation steps are, for example, steps for determining data as part of the technical process, for example as part of a program.
  • a computer is, for example, any type of data processing device, e.g. electronic data processing device.
  • a computer can be a device that is commonly regarded as such, e.g.
  • a computer may consist of a system (network) of "sub-computers", each sub-computer representing a computer in its own right. Steps that are executed or carried out by a computer or an automation system can in particular be the determination steps and/or the verification step.
  • the computer program product advantageously enables a method for person verification in portrait paintings to be carried out in accordance with one of the Disclosure-described embodiments for which technical advantages have been described above.
  • FIG. 2 shows a flow chart of an embodiment of a method according to the invention for person verification in portrait paintings
  • FIG. 4 shows an embodiment according to the invention of a system for person verification in a portrait painting
  • the reference image set RM shows the reference image set RM with three different images of the reference person R1.
  • the images can depict portrait paintings of the reference person R1, which were made by different painters and/or at different points in time in the life of the reference person R1.
  • What is essential is that it is already known for all images of the reference image set RM that they image the reference person R1.
  • the contrarian image set KM comprises a total of six images, two images depicting different portraits of a first contrarian K1, two images depicting different portraits of a second contrarian K2 and two images depicting different portraits of a third Show opponent K3.
  • Each image of the contra-image set KM forms a portrait painting of a historically relevant person K1, K2, K3, whose identity is also previously known.
  • the contrarians K1, K2, K3 are different from each other, so they refer to different people.
  • all contrarians K1, K2, K3 are different from the reference person R1.
  • FIG. 1 Also shown in FIG. 1 is an image PB to be checked of a portrait painting of a person P1 to be verified.
  • the images of the reference image set RM were selected in such a way that the person verification method (see FIG. 2) can be used to verify whether the person P1 shown in the image PB to be checked corresponds to the reference person R1.
  • FIG. 2 shows a schematic flow chart of a method according to the invention for person verification in portrait paintings.
  • the method comprises six steps S1 to S6, which are explained below.
  • step S1 the images shown in FIG. 1 are provided.
  • the reference image set RM and the contra-image set KM can be made available by retrieving images encoded as image files from a database DB (see FIG. 4).
  • the image PB to be checked can be provided by capturing a portrait painting P using an image capturing device BE (see FIG. 4). It is also conceivable that the image to be checked is also retrieved from the database DB.
  • the images provided in this way can be temporarily stored in a storage device SE (see FIG. 4).
  • step S2 the images of the reference image set RM are supplied as an input variable to a method of machine learning ML by means of a data processing device DV (see FIG. 4), the data processing device DV carrying out this method.
  • the machine learning process ML analyzes the images using a specialized neural network SNN (see Figure 3), so that at least one image-specific feature is determined for each image and this is assigned to the respective image as the output variable of the machine learning process.
  • a multiplicity of image-specific features MR thus result for the images of the reference image set RM.
  • the same procedure is used for the images of the contra-image set KM and for the image PB to be checked, so that a large number of image-specific features MK result for the images of the contra-image set KM and at least for the image PB to be checked a feature MP.
  • the features can be defined as vectors and arranged in a vector space.
  • step S3 From the image-specific features MR, which are assigned to the images of the reference image set RM, and the features MK, which are assigned to the images of the contrasting image set, in step S3, by comparing the features of images of each image pair, whose images depict the same person, similarity values AW for Determination of a first distribution determined. Similarity values for determining a further distribution are determined by comparing the features of images of each pair of images whose images depict different people. A similarity value AW is determined in particular from the difference between two features or from the Euclidean distance between two vectors. In this case, decreasing difference represents increasing similarity.
  • the probability distributions WV1, WV2 generated from the first and further distribution, e.g. with a kernel density estimator, are shown schematically in FIG.
  • the first and further probability distributions WV1, WV2 indicate for each specific similarity value AW of the first or further distribution which probability W for a match or non-match is associated with this similarity value AW (see FIG. 5).
  • a variable GK is determined for evaluating a criterion.
  • the variable GK is determined as an average of the similarity values AW in the value range of an overlapping range UB of the first and further similarity distribution (see FIG. 5).
  • the variable GK is therefore also a similarity value.
  • variable GK can also be determined as a similarity value AW for which a predetermined false acceptance rate is not exceeded.
  • step S5 a similarity measure AM is determined from a comparison between the features MR, which are assigned to the images of the reference image set RM, and the feature/features MP, which are assigned to the image PB to be checked.
  • a similarity value AW is thus determined in each case by comparing the test image-specific feature(s) MP with the reference image-specific feature(s) of each reference image RB.
  • the similarity measure AM can then be determined as an average of the similarity values AW determined in this way become.
  • a plausibility value is determined for each specific similarity value AW and the similarity measure AM is then determined as the similarity value AW of the first or further distribution to which the product or the mean value of the determined plausibility values is assigned as a plausibility value.
  • the degree of similarity AM is then compared with the variable GK to evaluate the criterion.
  • the criterion for differentiation can then be used to verify the person P1, with the person P1 to be verified being verified as the same person as the reference person R1 if the determined degree of similarity AM exceeds a threshold value corresponding to the variable GK. If the degree of similarity is less than or equal to the size, then the person P1 to be verified is not verified as a person who matches the reference person R1.
  • a result of the verification VE determined in this way can then be output via an output device AE (see FIG. 4).
  • FIG. 3 shows a flowchart for training a machine learning method ML.
  • a first training image set TM1 is provided in a training step T1.
  • the first training data set TM1 comprises 10,000 to 1,000,000 portrait photographs, ie photographs of people or their faces.
  • the identities of the people depicted are assigned to the respective images as photo-specific basic truth GW1, so the identity of the people depicted is known in advance.
  • a neural network NN is pre-trained using the first training image set TM1.
  • a first run two images of the same person and an image of another person are analyzed by the neural network NN.
  • each image is an input variable and an image-specific feature set determined by the analysis is an output variable of the neural network NN, the feature set being able to include or encode precisely one or more than one feature.
  • a first difference between the two feature sets of images that are intended to represent the same person is determined, and a further difference is determined for the feature sets of images that are intended to represent different persons.
  • the neural network NN can then be adjusted in an optimization OK in such a way that the first Difference is minimized and/or the further difference is maximized.
  • the neural network NN can be adjusted in the optimization OK by adjusting the arrangement of the neurons in a level of the neural network NN or by adjusting a link between the levels of the neural network NN.
  • a triplet loss function can be used to perform the optimization OK.
  • the remaining images of the first training image set TM1 can be used for further optimization OK of the neural network NN.
  • a corresponding quality is achieved in the feature determination by the neural network NN, for example because features for images of portraits of the same person do not differ from one another by more than a predetermined amount and/or features for images of portraits of different people differ by more than a predetermined amount, so the pre-training of the neural network NN is complete.
  • a further training image set TM2 is also provided in a training step T3.
  • the further training image set TM2 includes, for example, 300 images of portrait paintings. At least one painting-specific basic truth GW2 is assigned to each image, which in particular assigns the identity of a person depicted to an image.
  • the two sets of training images TM1, TM2 can be provided via a database, as already explained for the other sets of images.
  • the pre-trained neural network VNN is then specialized in determining features in images of portrait paintings in a training step T4 using the further training image set TM2.
  • the pre-trained neural network VNN is trained by the specialization in such a way that differences in images, which are due to a painting style, for example, are to be taken into account when determining image-specific features.
  • the result of such training is a specialized neural network SNN, which can be used in a machine learning process ML.
  • the method of machine learning ML is then designed to determine image-specific features MR, MK, MP for images of portrait paintings in such a way that features for images of portrait paintings of the same person do not deviate from one another by more than a predetermined amount and/or Features for portraiture images of different people differ more than a predetermined amount.
  • a database DB can be stored on a server external to the system, which the system SY can access via an interface SN, for example using an Internet connection.
  • a reference image set RM with images of a reference person R1 and a contrarian image set KM with images of several contrarians K1, K2, K3 are retrieved from the database and transmitted via the interface SN to a memory device SE of the system SY, e.g. designed as a RAM and thus provided.
  • a portrait painting P is recorded by means of an image recording device BE.
  • the portrait painting P shows a person to be verified P1.
  • the image PB of the person P1 generated in this way is also temporarily stored in the storage device SE and is thus made available.
  • the data processing device DV designed as a microcontroller is now used to carry out the method according to the invention as described in FIG.
  • An output device AE designed as a display can, in particular, output the result VE of a personal verification with regard to the image PB or the portrait painting P to be checked. This can advantageously make it easier for a user to quickly and inexpensively verify a person P1 depicted in a portrait painting P against a reference person R1.
  • the fifth shows a value range of the similarity values AW determined for the first and further distribution and the first and further probability distribution WV1, WV2 generated therefrom.
  • the first probability distribution WV1 indicates the probability W with which a specific similarity value AW indicates a match.
  • the further probability distribution WV2 indicates the probability W with which a specific similarity value AW indicates a non-match.
  • the probability distributions WV1, WV2 are determined in particular in such a way that the probability is greater than zero for all similarity values AW.
  • the similarity values AW are in this case on the abscissa of the coordinate system shown entered, while the probabilities W are entered on the ordinate as a function of the similarity values AW.
  • the first and further probability distributions WV1, WV2 have a range UB in which the probability distributions overlap, a value range of similarity values AW of the first and the further distribution being assigned to the range UB.
  • the mean of the value range of the similarity values AW in the overlapping area UB can be determined as variable GK for evaluating the criterion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System (SY) zur Personenverifikation in Porträtgemälden, wobei das Verfahren umfasst: - Bereitstellen (S1) einer Referenzbildmenge (RM) mit Abbildern von mindestens zwei, insbesondere voneinander verschiedenen, Porträtgemälden, wobei die Porträtgemälde dieselbe Referenzperson (R1) abbilden, - Bereitstellen (S1) einer Konträrbildmenge (KM) mit Abbildern von mindestens zwei weiteren Porträtgemälden, wobei die weiteren Porträtgemälde jeweils eine Konträrperson (K1, K2, K3) abbilden, - Bereitstellen (S1) mindestens eines zu prüfenden Abbilds (PB) eines Porträtgemäldes, wobei das Porträtgemälde eine zu verifizierende Person (P1) abbildet, - Bestimmen (S2) von abbildspezifischen Merkmalen (MR, MK, MP) mittels eines Verfahrens des maschinellen Lernens (ML), wobei jedem Abbild mindestens ein Merkmal zugeordnet wird, - Bestimmen (S3) einer ersten Verteilung von Ähnlichkeiten mittels der Merkmale (MR, MK) solcher Abbilder aus der Referenz- und/oder Konträrbildmenge (RM, KM), die dieselbe Person abbilden, - Bestimmen (S3) einer weiteren Verteilung von Ähnlichkeiten mittels der Merkmale (MR, MK) solcher Abbilder der Referenzbild- und/oder Konträrbildmenge (RM, KM), die unterschiedliche Personen abbilden, - Bestimmen (S4) mindestens einer zur Auswertung eines Kriteriums notwendigen Größe (GK) zur Unterscheidung der Referenzperson (R1) von der oder den Konträrperson(en) (K1, K2, K3) in Abhängigkeit von der ersten und/oder weiteren Verteilung von Ähnlichkeiten, - Bestimmen (S5) eines Ähnlichkeitsmaßes (AM) mittels der Merkmale (MP, MR) des zu prüfenden Abbilds (PB) und jedes Abbilds der Referenzbildmenge (RM), - Verifizieren (S6), ob die zu verifizierende Person (P1) mit der Referenzperson (R1) identisch ist, wenn das Ähnlichkeitsmaß (AM) das Kriterium erfüllt, sowie ein Computerprogrammprodukt.

Description

Personenverifikation in Porträtgemälden
Die Erfindung betrifft ein Verfahren und ein System zur Personenverifikation in Porträtgemälden sowie ein Computerprogrammprodukt.
Ein Porträt bildet üblicherweise eine Person ab, insbesondere das Gesicht bzw. den Kopf einer Person. Ein Porträt kann durch ein Gemälde oder eine Fotografie dargestellt werden. Auch bekannt sind Porträts in Form von Büsten, Skulpturen, Masken, oder Mosaiken.
Ein Porträtgemälde kann dementsprechend ein Gemälde bezeichnen, welches das Porträt einer Person in Form eines gemalten bzw. gezeichneten Gemäldes zeigt. Das Porträtgemälde weist dabei in der Regel einen Abschnitt auf, der das Gesicht bzw. den Kopf der abgebildeten Person zeigt.
Insbesondere bilden historische Porträtgemälde wichtige Personen einer Epoche ab und ermöglichen auch Rückschlüsse auf das Leben historisch wichtiger Personen. Zahlreiche Porträtgemälde sind, untern anderem aufgrund von Fortschritten in der Maltechnik, in der Zeit der Renaissance entstanden. Hierbei waren die in historischen Porträtgemälden abgebildeten Personen in der Regel so relevant, dass mehrere Porträtgemälde von einer Person angefertigt wurden. Beispielsweise wurden mehrere Porträtgemälde einer Person angefertigt, da eine Person zu unterschiedlichen Zeitpunkten ihres Lebens in Porträtgemälden abgebildet wurde. Selbstverständlich kann eine Person auch durch verschiedene Maler abgebildet worden sein. Auch vorstellbar ist, dass eine Person in mehreren Porträtgemälden aus unterschiedlichen Perspektiven abgebildet worden ist.
Für eine große Anzahl solcher historischen Porträtgemälde ist allerdings nicht überliefert, welche Person in einem Porträtgemälde abgebildet ist, insbesondere, weil diese Information im Laufe der Zeit verloren gegangen sein kann.
Traditionell wird zur Feststellung, welche Person in einem historischen Porträtgemälde abgebildet ist, eine Vermutung bezüglich der Identität der abgebildeten Person aufgestellt. Eine solche Vermutung kann insbesondere auf die Aussage eines Kunstexperten oder Kunsthistorikers gestützt sein. Beispielsweise kann der Experte bzw. Historiker zur Meinungsbildung ein Porträtgemälde nutzen, für welches die darin abgebildete Person verifiziert ist, und vergleicht dieses dann mit dem in Frage stehenden Porträtgemälde, um zu einer Aussage bezüglich der Identität der abgebildeten Person zu gelangen.
Hierbei ergibt sich allerdings nachteilig, dass eine solche Vermutung bzw. Aussage immer subjektiven Charakters ist und das Einholen von Expertenrat in der Regel mit hohem Kosten- und Zeitaufwand verbunden ist.
Das Dokument Gupta Akash et. al: "Deep Learning Based Identity Verification in Renaissance Portraits", 2018 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), 23. Juli 2018 (2018-07-23), Seiten 1-6, XP033417680, DOI: 10.1109/ICM E.2018.8486605, offenbart
Das Dokument Srinivasan Ramya et. al.: "Computerized Face Recognition in Renaissance Portrait Art: A quantitative measure for identifying uncertain subjects in ancient portraits", IEEE SIGNAL PROCESSING MAGAZINE, IEEE, USA, Bd. 32, Nr. 4, Juli 2015 (2015-07), Seiten 85-94, XP011584502, ISSN: 1053-5888, DOI: 10.1109/MSP.2015.2410783, offenbart
Das Dokument Schroff Florian et. al: "FaceNet: A 1-5,9,10 unified embedding for face recognition and clustering", 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 7. Juni 2015 (2015-06-07), Seiten 815-823, XP032793492, DOI: 10.1109/CVPR.2015.7298682 offenbart
Es stellt sich somit das technische Problem, ein Verfahren und ein System zur Personenverifikation in Porträtgemälden sowie ein Computerprogrammprodukt zu schaffen, welches die Identität einer abgebildeten Person mit hoher Zuverlässigkeit und Genauigkeit verifiziert.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der unabhängigen Ansprüche. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Eine grundlegende Idee der Erfindung ist es, die Identität einer Person in einem zu prüfenden Porträtgemälde zu verifizieren. Die Erfindung sieht hierzu vor, mit Hilfe von Abbildern mehrerer Porträtgemälde einer Referenzperson und Abbildern mehrerer Porträtgemälde einer oder mehrerer Konträrperson(en), die von der Referenzperson verschieden sind, unter Einsatz eines Verfahrens des maschinellen Lernens ein technisches Kriterium zu bestimmen, welches zur objektiven Unterscheidung der Referenzperson von einer Konträrperson dient. So wird ein Verfahren zur Personenverifikation ohne die zuvor genannten Nachteile ermöglicht, wobei verifiziert wird, ob die in einem zu prüfenden Porträtgemälde abgebildete Person mit der Referenzperson übereinstimmt oder nicht.
Vorgeschlagen wird daher ein Verfahren zur Personenverifikation in Porträtgemälden, umfassend:
Bereitstellen einer Referenzbildmenge mit Abbildern von mindestens zwei, insbesondere voneinander verschiedenen, Porträtgemälden, wobei die Porträtgemälde dieselbe Referenzperson abbilden,
Bereitstellen einer Konträrbildmenge mit Abbildern von mindestens zwei weiteren Porträtgemälden, wobei die weiteren Porträtgemälde jeweils eine Konträrperson abbilden,
Bereitstellen mindestens eines zu prüfenden Abbilds eines Porträtgemäldes, wobei das Porträtgemälde eine zu verifizierende Person abbildet, Bestimmen von abbildspezifischen Merkmalen mittels eines Verfahrens des maschinellen Lernens, wobei jedem Abbild mindestens ein Merkmal zugeordnet wird,
Bestimmen einer ersten Verteilung von Ähnlichkeiten mittels bzw. in Abhängigkeit der Merkmale solcher Abbilder aus der Referenz- und/oder Konträrbildmenge, die dieselbe Person abbilden,
Bestimmen einer weiteren Verteilung von Ähnlichkeiten mittels bzw. in Abhängigkeit der Merkmale solcher Abbilder der Referenzbild- und/oder Konträrbildmenge, die unterschiedliche Personen abbilden,
Bestimmen mindestens einer zur Auswertung eines Kriteriums notwendigen Größe zur Unterscheidung der Referenzperson von der oder den Konträrperson(en) in Abhängigkeit von der ersten und/oder weiteren Verteilung von Ähnlichkeiten, Bestimmen eines Ähnlichkeitsmaßes mittels bzw. in Abhängigkeit der Merkmale des zu prüfenden Abbilds und jedes Abbilds der Referenzbildmenge, Verifizieren, ob die zu verifizierende Person mit der Referenzperson identisch ist, wenn das Ähnlichkeitsmaß das Kriterium erfüllt. Ein Abbild bezeichnet einen Bildausschnitt eines Porträtgemäldes, der vorzugsweise zumindest einen Teil des Gesichts der im Porträtgemälde abgebildeten Person zeigt. Der Bildausschnitt kann aber auch das ganze Porträtgemälde oder auch eine Umgebung des Porträtgemäldes umfassen. Das Abbild kann in Form einer Bilddatei kodiert sein, welche beispielsweise als RAW-, JPEG- oder PNG-Datei vorliegt. Insbesondere kann ein Abbild mittels einer Bilderfassungseinrichtung durch Abbilden eines Porträtgemäldes bzw. eines Abschnitts des Porträtgemäldes mittels einer Bilderfassungseinrichtung erzeugt werden.
Ein abbildspezifisches Merkmal oder abbildspezifische Merkmale können als Vektor bestimmt werden. Die in Form eines Vektors bestimmten Merkmale sind in der Regel nicht intuitiv oder direkt für einen menschlichen Nutzer interpretierbar.
Die Abbilder der Referenzbildmenge unterscheiden sich zumindest dahingehend, dass mindestens ein Abbild der Referenzbildmenge auf das erste der mindestens zwei Porträtgemälde abbildet und ein weiteres Abbild auf das zweite der mindestens zwei Porträtgemälde abbildet. Selbstverständlich kann die Referenzbildmenge mehr als zwei Abbilder umfassen, auch wenn diese Abbilder jeweils nur eines von zwei Porträtgemälden abbilden. So kann ein Porträtgemälde durch mehrere Abbilder aus beispielsweise unterschiedlichen Blickwickeln abgebildet werden und diese Abbilder können dann Teil der Referenzbildmenge sein.
Die Referenzperson ist eine, üblicherweise historisch relevante, Person, deren Identität überliefert, also vorbekannt, ist. Die Identität einer Person kann beispielsweise dadurch überliefert bzw. vorbekannt sein, dass ein Titel eines Porträtgemäldes die Identität der abgebildeten Person benennt. Alle Abbilder der Referenzbildmenge sind hierbei Abbilder von Porträtgemälden, die dieselbe Referenzperson abbilden. Von der Referenzperson existieren mindestens zwei Porträtgemälde, vorzugsweise jedoch vier oder mehr Porträtgemälde. Je mehr Porträtgemälde der Referenzperson die Referenzbildmenge umfasst, desto besser ist die Zuverlässigkeit des vorgeschlagenen Verfahrens. Dadurch, dass mindestens zwei Abbilder von den mindestens zwei voneinander verschiedenen Porträtgemälden der Referenzperson bereitgestellt werden, können verschiedene Eigenschaften, wie beispielsweise unterschiedliche Perspektiven der Abbildung der Referenzperson durch ein Porträtgemälde berücksichtigt werden, so dass die Größe zur Auswertung eines Kriteriums zur Unterscheidung der Referenzperson von der Konträrperson mit höherer Genauigkeit bestimmt werden kann. Auch kann eine negative Beeinflussung der Zuverlässigkeit des vorgeschlagenen Verfahrens durch Ungenauigkeiten, die z.B. beim Malen des Porträts entstanden sind (z.B. das Malen mit nicht korrekten Dimensionen oder Proportionen und/oder mit Verzerrungen), in vorteilhafter Weise reduziert werden.
Eine Konträrperson ist eine weitere, üblicherweise ebenfalls historisch relevante, Person, deren Identität überliefert bzw. vorbekannt ist. Die Konträrbildmenge umfasst hierbei mindestens zwei verschiedene Abbilder von Porträtgemälden derselben Konträrperson, vorzugweise von mehreren unterschiedlichen Konträrpersonen. Unterschiedliche Konträrpersonen sind Personen, deren Identität voneinander verschieden ist. Wichtig ist hierbei weiter, dass die Konträrperson(en) von der Referenzperson verschieden ist/sind, d.h. dass es sich bei der Referenz- und der/den Konträrperson(en) um verschiedene Personen bzw. Identitäten handelt. Von jeder Konträrperson existieren mindestens zwei Porträtgemälde, vorzugsweise jedoch drei oder mehr Porträtgemälde, insbesondere 3 bis 5 Porträtgemälde. Auch können für verschiedene Konträrpersonen voneinander verschiedenen Anzahlen von Porträtgemälden existieren. So können für eine Konträrperson z.B. 100 oder mehr Porträtgemälde existieren, wobei für eine weitere Konträrperson weniger Porträtgemälde existieren. Weiter vorzugsweise umfasst die Konträrbildmenge Abbilder von mindestens zwei verschiedenen Konträrpersonen.
Das zu prüfende Abbild bezieht sich auf ein Porträtgemälde, welches eine Person abbildet, deren Identität nicht überliefert, also unbekannt, ist. Eine solche Person kann ebenfalls eine historisch relevante Person sein. Ziel des hier beschriebenen Verfahrens ist es, zu verifizieren, ob diese unbekannte Person mit der Referenzperson übereinstimmt oder nicht.
Vorzugweise werden die Porträtgemälde bzw. Abbilder der Konträrbildmenge so gewählt, dass sie den Porträtgemälden der Referenzbildmenge bezüglich des verwendeten Malstils bzw. der verwendeten Maltechnik ähneln. Beispielsweise, indem die Porträtgemälde von demselben Maler oder in der gleichen oder einer ähnlichen Epoche angefertigt wurden. Auch kann das Geschlecht, Alter oder eine andere personenspezifische Eigenschaften der Referenzperson bei der Wahl der Porträtgemälde bzw. Abbilder der Konträrbildmenge berücksichtigt werden. Insbesondere kann ein Auswahlkriterium bei der Bereitstellung der Referenz- und/oder Konträrbildmenge festgelegt werden, wie beispielsweise nur weibliche oder nur männliche Personen, oder nur Porträtgemälde eines bestimmten Malers. Auch kann ein Wertebereich festgelegt werden, der eine Spanne des Alters der abgebildeten Personen betrifft, wie beispielsweise nur Abbilder von Personen, die zum Zeitpunkt der Anfertigung eines Porträtgemäldes zwischen 30 und 40 Jahren alt waren. So können Unterschiede zwischen den Porträtgemälden so gut wie möglich auf die abgebildeten, unterschiedlichen Personen zurückgeführt werden und hängen nicht allein von unterschiedlichen Malstilen oder z.B. vom Geschlecht oder Alter der abgebildeten Personen o.ä. ab.
Weiter vorzugweise werden alle Porträtgemälde der Referenz- und Konträrbildmenge so gewählt, dass sie dem Porträtgemälde des zu prüfenden Abbilds bezüglich der zuvor genannten Wahlkriterien ebenfalls ähneln. Auch können Vermutungen bezüglich der Identität der zu verifizierenden Person die Auswahl der Porträtgemälde der Referenz- bzw. der Konträrbildmenge beeinflussen.
Das Bereitstellen aller Abbilder, bzw. der beiden beschriebenen Bildmengen und des zu prüfenden Abbilds, kann durch Einlesen über eine Schnittstelle und/oder durch Abrufen aus einer Datenbank erfolgen. Die Abbilder können insbesondere zur Durchführung des Verfahrens in einer Speichereinrichtung, wie zum Beispiel in einer als ROM oder RAM ausgebildeten Speichereinrichtung oder einen ROM oder RAM umfassenden Speichereinrichtung, gespeichert werden. Dies ist im Folgenden noch näher beschrieben. Auch denkbar ist, dass die Abbilder auf unterschiedliche Arten bereitgestellt werden, d.h. dass beispielsweise ein Abbild durch Einlesen über eine Schnittstelle und ein anderes Abbild durch Abrufen aus einer Datenbank bereitgestellt werden kann.
Ein abbildspezifisches Merkmal kann eine oder mehrere Eigenschaften eines Abbilds repräsentieren, die objektiv und technisch analysierbar sind. So kann es sich bei einer solchen Eigenschaft um eine geometrische Eigenschaft bezüglich eines menschlichen Gesichts handeln, wie beispielsweise den Abstand, die Form oder die Anordnung der Augen, der Nase, und/oder des Munds einer Person. Weiter kann es sich auch um eine Eigenschaft handeln, die einen künstlerischen Aspekt bezüglich eines verwendeten Malstils bzw. einer verwendeten Maltechnik betrifft. So kann beispielsweise die Dicke eines Pinselstrichs im Abbild das Bestimmen eines abbildspezifischen Merkmals beeinflussen. Die Dicke eines solchen Pinselstrichs oder beispielsweise der Abstand zwischen den Augen einer Person können insbesondere in einem Abbild über eine Anzahl von Bildpunkten bzw. die Entfernung von Bildpunkten zueinander o.ä. quantifiziert werden. Allerdings kann ein abbildspezifisches Merkmal auch eine Eigenschaft sein, die nicht unmittelbar im Abbild erkennbar ist. Insbesondere kann das Verfahren des maschinellen Lernens dafür trainiert sein, die beschriebenen Eigenschaften beim Bestimmen eines abbildspezifischen Merkmals zu berücksichtigen. Dies, insbesondere das Trainieren eines neuronalen Netzes, wird im Folgenden noch näher erläutert.
Alle Abbilder der Referenz- und Konträrbildmenge werden hierbei durch das Verfahren des maschinellen Lernens analysiert. Ebenfalls wird das zu prüfende Abbild durch das Verfahren des maschinellen Lernens analysiert. Für jedes Abbild wird mittels des Verfahrens des maschinellen Lernens so mindestens ein abbildspezifisches Merkmal automatisiert bestimmt und dem jeweiligen Abbild zugeordnet.
Das Verfahren des maschinellen Lernens ist hierbei vorzugweise derart trainiert, dass die abbildspezifischen Merkmale für die Abbilder ähnlich sind, die dieselbe Person abbilden. Weiter sind die abbildspezifischen Merkmale für die Abbilder unähnlich, die unterschiedliche Personen abbilden. Dies liegt insbesondere darin begründet, dass den Abbildern, die dieselbe Person abbilden, ähnliche, insbesondere personenspezifische, Eigenschaften zugrunde liegen.
Eine Ähnlichkeit von Merkmalen hängt vorzugweise von einem Abstand zwischen Merkmalen ab bzw. kann durch diesen repräsentiert sein, beispielsweise, wenn die bestimmten Merkmale als Vektoren bestimmt wurden. So können einerseits die Vektoren für Abbilder, die dieselbe Person abbilden, räumlich nah beieinander angeordnet sein, sich also ähnlich sein, während andererseits die Vektoren für Abbilder, die unterschiedliche Personen abbilden, räumlich weit voneinander entfernt im Vektorraum angeordnet sein können.
Mit anderen Worten ergeben sich stärkere Ähnlichkeiten zwischen den Merkmalen von Abbildern, die dieselbe Person abbilden, und schwächere Ähnlichkeiten zwischen Merkmalen von Abbildern, die unterschiedliche Personen abbilden. Vorzugweise wird eine bestimmte Ähnlichkeit zwischen zwei Merkmalen als Ähnlichkeitswert bezeichnet.
Ein solcher Ähnlichkeitswert kann beispielsweise aus dem Kehrwert der euklidischen
Distanz zwischen zwei Vektoren bzw. Merkmalen bestimmt werden. Eine schwache bzw. niedrige Ähnlichkeit kann hierbei einem kleinen Ähnlichkeitswert entsprechen, während eine starke bzw. hohe Ähnlichkeit dann einem großen Ähnlichkeitswert entspräche. So führen größere Differenzen zu kleineren Ähnlichkeitswerten, was mit dem erläuterten Verständnis von einer stärkeren und schwächeren Ähnlichkeit in Einklang steht. Auch möglich ist, dass der Ähnlichkeitswert über eine Kosinus-Ähnlichkeit zweier Vektoren bzw. Merkmale bestimmt wird. Dabei wird der Ähnlichkeitswert über den Kosinus des Winkels zwischen zwei Vektoren bestimmt, wobei der kleinere bzw. spitze Winkel von zwei kongruenten Schnittwinkeln als Winkel zur Bestimmung des Kosinus genutzt wird. Der Kosinus eines Winkels von Null ist eins, während der Kosinus eines Winkels von pi/2 null ist. So führt ein kleiner Winkel zu einem großen Kosinuswert und somit zu einem größeren Ähnlichkeitswert, während ein größerer Winkel zu einem kleineren Kosinuswert und somit zu einem kleineren Ähnlichkeitswert führt. Insbesondere kann der Ähnlichkeitswert dem Kosinus entsprechen.
Die bestimmten Ähnlichkeitswerte werden zur Bestimmung der ersten und weiteren Verteilung genutzt.
So wird die erste Verteilung insbesondere aus solchen Ähnlichkeitswerten bestimmt, die sich aus der Differenz zwischen Merkmalen von Abbildern ergeben, die dieselbe Person abbilden, also beispielsweise aus der Differenz eines Merkmals eines Abbilds der Referenzbildmenge mit einem Merkmal eines anderen Abbilds der Referenzbildmenge. Weiter können auch Ähnlichkeitswerte genutzt werden, die sich aus der Differenz zwischen Merkmalen von Abbildern der Konträrbildmenge ergeben, die dieselbe Konträrperson abbilden. Mit anderen Worten kann die erste Verteilung auch als eine erste Wertemenge bezeichnet werden, die die erläuterten Ähnlichkeitswerte umfasst.
Die weitere Verteilung wird dann insbesondere aus solchen Ähnlichkeitswerten bestimmt, die sich aus der Differenz zwischen Merkmalen von Abbildern ergeben, die unterschiedliche Personen abbilden, also beispielsweise aus der Differenz eines Merkmals eines Abbilds der Referenzbildmenge zu einem Abbild der Konträrbildmenge. Auch möglich ist, dass Ähnlichkeitswerte genutzt werden, die sich aus der Differenz zwischen Merkmalen von Abbildern verschiedener Konträrpersonen ergeben. Mit anderen Worten kann die zweite Verteilung auch als zweite Wertemenge bezeichnet werden, die die erläuterten Ähnlichkeitswerte umfasst. Die erste Verteilung von Ähnlichkeiten wird auch als Übereinstimmungsverteilung oder Genuine-Verteilung und die weitere Verteilung von Ähnlichkeiten als Nicht- Übereinstimmungsverteilung oder Imposter-Verteilung bezeichnet.
Wurden beispielsweise aus, insbesondere paarweisen, Abgleichen zwischen Merkmalen von Abbildern, die dieselbe Person abbilden, vierÄhnlichkeitswerte mit den Werten (4, 5, 5, 6) bestimmt, so kann die erste Verteilung die Wertemenge (4, 5, 5, 6) sein.
Wurden weiter aus, insbesondere paarweisen, Abgleichen zwischen Merkmalen von Abbildern, die unterschiedliche Personen abbilden, vier Ähnlichkeitswerte mit den Werten (2, 3, 3, 4) bestimmt, so kann die weitere Verteilung die Wertemenge (2, 3, 3, 4) sein.
Die Größe zur Auswertung eines Kriteriums zur Unterscheidung der Referenzperson von der oder den Konträrperson(en) wird in Abhängigkeit von der ersten und/oder der weiteren Verteilung bestimmt. Die bestimmte Größe kann insbesondere als ein Schwellwert bei der Auswertung des Kriteriums genutzt werden.
Vorzugsweise wird die Größe aus einem Wertebereich der Ähnlichkeitswerte der ersten und/oder der weiteren Verteilung bestimmt. Insbesondere kann der Wertebereich eine Schnittmenge oder einen Überscheidungsbereich der ersten und weiteren Verteilung betreffen, wobei die Größe z.B. als Mittelwert, Minimalwert oder Maximalwert dieser Schnittmenge/dieses Bereichs bestimmt wird. Im oben erwähnten Beispiel für die erste und weitere Verteilung könnte die bestimmte Größe z.B. als der Ähnlichkeitswert von 4 bestimmt werden. Existiert allerdings keine Schnittmenge bzw. Überscheidungsbereich, so kann die Größe auch als der insbesondere niedrigste Ähnlichkeitswert der ersten Verteilung bestimmt werden. Auch vorstellbar ist, dass die Größe als der Mittelwert der ersten Verteilung bestimmt wird. In Analogie zum oben erwähnten Beispiel könnte die Größe also als der Ähnlichkeitswert von 5 bestimmt werden. Wesentlich ist, dass es die bestimmte Größe ermöglicht, ein Kriterium auszuwerten, wobei das Ergebnis der Auswertung es ermöglicht, die in einem zu prüfenden Abbild abgebildete Person von der Referenz- bzw. der oder den Konträrperson(en) zu unterscheiden.
Insbesondere wird die Größe derart bestimmt, dass eine vorbestimmte
Falschakzeptanzrate, z.B. eine Falschakzeptanzrate von 0.001, nicht überschritten wird, also nicht mehr als ein bestimmter Prozentsatz von tatsächlich nicht mit der entsprechenden Referenzperson identischen zu verifizierenden Personen gemäß dem Verfahren als mit der Referenzperson identisch verifiziert wird. Zur Bestimmung der Größe können beispielsweise solche Bildpaare der Konträrbildmenge genutzt werden, die nicht dieselbe Person abbilden, wobei ein Ähnlichkeitswert für jedes Bildpaar bestimmt wird und die Größe dann derart gewählt wird, dass unter Verwendung der Größe nur maximal ein solcher Prozentsatz von tatsächlich nicht-übereinstimmenden Bildpaaren als übereinstimmend bestimmt wird, der geringer als die oder gleich der vorbestimmte(n) Falschakzeptanzrate ist. Auch kann die Größe derart bestimmt werden, dass eine vorläufige Größe als Startwert für eine Iteration gewählt wird, wie beispielsweise ein Wert aus der Schnittmenge der ersten und weiteren Verteilung, und die Größe durch Iteration so bestimmt wird, dass die vorbestimmte Falschakzeptanzrate nicht überschritten wird.
Das Kriterium kann z.B. ausgewertet werden, indem die bestimmte Größe mit dem Ähnlichkeitsmaß verglichen wird.
Das Ähnlichkeitsmaß ergibt sich aus einem Abgleich der Merkmale des zu prüfenden Abbilds mit jedem Abbild der Referenzbildmenge. So kann beispielsweise für jedes Abbildpaar, umfassend das zu prüfende Abbild und ein Abbild der Referenzbildmenge, ein Ähnlichkeitswert bestimmt werden, wobei das Ähnlichkeitsmaß dann z.B. als ein Minimalwert, Mittelwert oder Maximalwert der Vielzahl von Ähnlichkeitswerten bestimmt wird. Mit anderen Worten gibt das bestimmte Ähnlichkeitsmaß an, wie ähnlich sich die zu verifizierende Person und die Referenzperson sind. In Analogie zu dem oben angeführten Beispiel könnte das Ähnlichkeitsmaß als ein gemittelter Ähnlichkeitswert von 5 bestimmt werden. Aber auch eine andere Art der Bestimmung des Ähnlichkeitsmaßes ist möglich.
Eine Übereinstimmung von der zu verifizierenden Person und der Referenzpersonen kann sich dann ergeben, wenn das bestimmte Ähnlichkeitsmaß größer als die zuvor bestimmte Größe ist. Die bestimmte Größe stellt in dem hier gewählten Beispiel also einen Schwellwert eines Schwellwert-Kriteriums dar, der für die Verifikation durch das Ähnlichkeitsmaß beispielsweise überschritten werden muss. Insbesondere wird das Kriterium hierdurch technisch, da der notwendigen Größe zur Auswertung des Kriteriums solche Eigenschaften der Abbilder zugrunde liegen, die objektiv und technisch bestimmbar sind. Bezugnehmend auf das oben angeführte Beispiel wäre das Ergebnis der Verifikation somit, dass die zu verifizierende Person mit der Referenzperson übereinstimmt, da das Ähnlichkeitsmaß, hier 5, größer als die bestimmte Größe bzw. der Schwellwert, hier 4, ist und somit das Kriterium erfüllt ist. Erfüllt das Ähnlichkeitsmaß das Kriterium hingegen nicht, beispielsweise weil das Ähnlichkeitsmaß als ein gemittelter Ähnlichkeitswert von 3 bestimmt worden ist, so wäre das Ergebnis der Verifikation, dass die zu verifizierende Person nicht mit der Referenzperson übereinstimmt.
Durch das hier beschriebene Verfahren wird eine Personenverifikation in Porträtgemälden ermöglicht, die auf objektiven und technisch bestimmbaren Eigenschaften von Porträtgemälden gestützt ist und die insbesondere nicht nur auf die fehleranfällige Meinung eines Menschen zurückgeführt wird. Durch die beschriebene automatisierte Merkmalszuordnung bezüglich der Abbilder einer Referenzperson und der Abbilder einer oder mehrerer Konträrpersonen, sowie durch die sich daraus ergebenden Verteilungen kann in vorteilhafter Weise eine hohe Zuverlässigkeit sowie eine hohe Genauigkeit bei der Personenverifikation erreicht werden, die insbesondere auch schnell und kostengünstig durchgeführt werden kann.
In einer weiteren Ausführungsform erfolgt das Bereitstellen der Abbilder durch Einlesen über eine Schnittstelle oder aus einer Datenbank und/oder durch Erfassen der Porträtgemälde mittels einer Bilderfassungseinrichtung.
Das Einlesen bezeichnet das Übertragen der zuvor beschriebenen Abbilder von einer elektronischen Einrichtung zu einer anderen elektronischen Einrichtung, wie beispielsweise von einem Server auf ein System, welches zur Personenverifikation nach einer in dieser Offenbarung beschriebenen Ausführungsform ausgebildet ist. Ein solches System kann beispielsweise ein Mobiltelefon oder ein Computer sein oder ein(en) solche(n) umfassen. Ein Server kann systemfremd sein und eine Datenbank ausbilden oder umfassen, wobei in der Datenbank Abbilder, insbesondere Bilddateien, verschiedener Porträtgemälde gespeichert sind und für zumindest einen Teil der Abbilder die darin abgebildete Person vorbekannt ist und die entsprechende Identitätsinformation dem Abbild zugeordnet ist. Einem Abbild können selbstverständlich weiter auch Informationen über einen Maler/Malerin, eine Epoche, einen Malstil, etc. oder ein Geschlecht oder Alter der abgebildeten Person zugeordnet sein. Das Bereitstellen der Abbilder kann dann über ein Übertragen der Abbilder und der den Abbildern zugeordneten Informationen aus der Datenbank auf eine Speichereinrichtung des Systems erfolgen. Insbesondere können die Abbilder auf einer Speichereinrichtung des Systems abgespeichert werden oder zwischengespeichert werden, bis das Verfahren zur Personenverifikation abgeschlossen ist.
Auch das Einlesen der Abbilder über eine Schnittstelle ist möglich. Die Schnittstelle ermöglicht eine datentechnische Übertragung zwischen zwei elektronischen Einrichtungen, wie beispielsweise zwischen einer systemfremden Speichereinrichtung und dem zuvor genannten System.
Insbesondere kann das Einlesen bzw. Übertragen der Abbilder über die Schnittstelle und/oder aus der Datenbank mit Hilfe verschiedener Verbindungsstandards wie beispielsweise USB, Bluetooth, WLAN, Wi-Fi etc. ermöglicht sein.
Auch können die Abbilder oder ein Teil der Abbilder durch das Erfassen eines Porträtgemäldes mit einer Bilderfassungseinrichtung bereitgestellt werden. Eine solche Bilderfassungseinrichtung kann insbesondere Teil des Systems zur Personenverifikation sein, wie beispielsweise eine Mobiltelefonkamera. Die Bilderfassungseinrichtung kann einen oder mehrere Bildsensoren aufweisen, wie beispielsweise CCD- oder CMOS- Sensoren. Ein Bildsensor erfasst ein oder mehrere Abbilder eines Porträtgemäldes aufgrund von Lichtstrahlen, die von dem Porträtgemälde oder einem Teil des Porträtgemäldes auf den Bildsensor treffen. Ein so generiertes Abbild eines Porträtgemäldes ist vorzugweise in Form einer zuvor beschriebenen Bilddatei kodiert.
Durch die beschriebenen Arten des Bereitstellens der Abbilder ist sichergestellt, dass die zur Durchführung des Verfahrens notwendigen Abbilder und Informationen einem System zur Personenverifikation in zuverlässiger Weise zur Verfügung gestellt werden können. Ein solches System ist im Folgenden noch näher beschrieben.
In einer weiteren Ausführungsform werden die abbildspezifischen Merkmale als Vektoren in einem Vektorraum bestimmt, wobei die erste und/oder weitere Verteilung und/oder das Ähnlichkeitsmaß ausgehend von bestimmten Unterschieden zwischen den Vektoren bestimmt werden. Durch ein als Vektor bestimmtes Merkmal werden die eingangs erläuterten Eigenschaften eines Abbilds durch Einträge in dem Vektor repräsentiert. Diese Einträge können hierbei numerische Werte sein. Ein Eintrag kann eine Komponente bzw. ein Element eines Vektors sein, wobei die Anzahl der Komponenten /Elementen eines Vektors die Dimension des Vektorraums vorgibt. Der Vektorraum kann somit ein mehrdimensionaler mathematischer Raum sein, wobei vorzugsweise alle bestimmten Merkmale im selben Vektorraum angeordnet sind.
Die Unterschiede zwischen den Vektoren können beispielsweise Differenzen zwischen Vektoren sein. Eine solche Differenz kann die euklidische Distanz zwischen zwei Vektoren sein. Wie sich aus den Unterschieden zwischen den Vektoren bzw. aus den betragsmäßigen Differenzen der Vektoren die erste bzw. weitere Verteilung und/oder das Ähnlichkeitsmaß bestimmen lassen, wurde weiter oben bereits beschrieben.
Eine technische Analyse eines Abbilds mittels des Verfahrens des maschinellen Lernens hat zum Vorteil, dass ein als Vektor bestimmtes Merkmal eine Eigenschaft bzw. Eigenschaften eines Abbilds, wie beispielsweise einen Augenabstand nicht unmittelbar angibt/angeben, sondern dass der Vektor durch das Verfahren des maschinellen Lernens eine solche oder andere Eigenschaft in einer abstrahierten bzw. abstrakten Form repräsentieren kann. Durch diese Art der Repräsentanz von Eigenschaften eines Abbilds in einem Vektor ergibt sich durch einen Vergleich von Vektoren bzw. Merkmalen eine objektive Vergleichbarkeit verschiedener Abbilder.
Werden die abbildspezifischen Merkmale als Vektoren in einem Vektorraum bestimmt, ergibt sich in vorteilhafter Weise ein einfacher und objektiver Vergleich zwischen den Eigenschaften verschiedener Abbilder. Die Objektivität des Vergleichs ergibt sich insbesondere aus dem Normieren der Vektoren.
In einer weiteren Ausführungsform wird als Größe zur Auswertung des Kriteriums ein Wert aus einem Wertebereich der ersten und/oder weiteren Verteilung bestimmt.
Ist die Größe zur Auswertung ein, insbesondere numerischer, Wert aus einem Wertebereich der ersten und/oder weiteren Verteilung, so kann das Kriterium, wie beispielsweise das eingangs erwähnte Schwellwert-Kriterium schnell und zuverlässig ausgewertet werden. Ein solcher Wert kann also ein Schwellwert sein, ab welchem von Übereinstimmung der in den miteinander verglichenen Abbildern abgebildeten Person ausgegangen werden kann, wie beispielsweise der Mittelwert der Ähnlichkeitswerte in einem Überschneidungsbereich der ersten und der weiteren Verteilung. Das für die Personenverifikation zu bestimmende Ähnlichkeitsmaß kann dann ebenfalls als Wert aus dem Wertebereich der Ähnlichkeitswerte der ersten und/oder weiteren Ähnlichkeitsverteilung bestimmt werden, so dass eine einfache und schnelle Auswertung des Kriteriums ermöglicht ist.
In einer weiteren Ausführungsform wird aus der ersten Verteilung eine erste Wahrscheinlichkeitsverteilung und aus der weiteren Verteilung eine weitere Wahrscheinlichkeitsverteilung erzeugt.
Beim Abgleich von Merkmalen zwischen Abbildern derselben Person, beispielsweise der Referenzperson, kann es vorkommen, dass ein Ähnlichkeitswert oder Ähnlichkeitswerte aus vorbestimmten Ähnlichkeitswertebereichen mehrfach bestimmt wird, beispielsweise, weil sich die zugrundeliegenden geometrischen Eigenschaften wie der Augenabstand in den Abbildern der Referenzperson und somit die Abbilder gleichen. So kann sich eine entsprechende Häufigkeit eines Ähnlichkeitswerts beim Bestimmen von Ähnlichkeitswerten ergeben. Auch für Abgleiche von Merkmalen zwischen Abbildern verschiedener Personen, beispielsweise zwischen der Referenzperson und der Konträrperson, kann es vorkommen, dass ein Ähnlichkeitswert mehrfach bestimmt wird. Dies kann insbesondere der Fall sein, wenn gleiche Unterschiede zwischen den Merkmalen der Abbilder der Referenz- und Konträrperson vorhanden sind, wie beispielsweise Unterschiede im bestimmten Augenabstand. So können sich Ähnlichkeitswerte der ersten und weiteren Verteilung häufen, insbesondere lässt sich für die erste und weitere Verteilung ein Histogramm der Häufigkeiten ableiten.
Vorzugweise umfassen die Referenz- und/oder Konträrbildmenge Abbilder von einer Vielzahl von verschiedenen Porträtgemälden, beispielsweise jeweils Abbilder von zwischen 10 und 100 verschiedenen Porträtgemälden, so dass sich bei entsprechender Anzahl von Abbildern auch eine entsprechend hohe Anzahl von Merkmalen ergibt. Dabei kann es insbesondere sein, dass sich entsprechende Ähnlichkeitswerte der ersten und weiteren Verteilung derart häufen, dass aus den Häufigkeiten der bestimmten Ähnlichkeitswerte ein annähernd normalverteiltes Histogramm für die erste und/oder die weitere Verteilung ergibt. Allerdings ist es auch möglich, dass das Histogramm keine Normalverteilung bzw. deren Eigenschaften aufweist.
Aus einem Histogramm lässt sich eine Wahrscheinlichkeitsverteilung erzeugen. Alternativ kann mit einem so genannten Kerndichteschätzungsverfahren eine insbesondere kontinuierliche Wahrscheinlichkeitsverteilung aus den Ähnlichkeitswerten erzeugt werden. Diese sind in der Regel nicht normalverteilt.
Da die erste Verteilung aus Abgleichen der Merkmale von Abbildern, die dieselbe Person zeigen, bestimmt wird, ordnet die erste Wahrscheinlichkeitsverteilung einem jeweiligen Ähnlichkeitswert eine Wahrscheinlichkeit für ein Übereinstimmen der abgeglichenen Merkmale zu. Ein Übereinstimmen der abgeglichenen Merkmale bezeichnet, dass die Abbilder bezüglich dieser abgeglichenen Merkmale dieselbe Person zeigen.
Da die weitere Verteilung aus Abgleichen der Merkmale von Abbildern, die unterschiedliche Personen zeigen, bestimmt wird, ordnet die weitere Wahrscheinlichkeitsverteilung einem bestimmten Ähnlichkeitswert eine sich daraus ergebende Wahrscheinlichkeit für ein Nicht-Übereinstimmen der abgeglichenen Merkmale zu. Ein Nicht-Übereinstimmen der abgeglichenen Merkmale bezeichnet, dass die Abbilder bezüglich dieser abgeglichenen Merkmale unterschiedliche Personen zeigen.
Bezugnehmend auf das eingangs erwähnte Beispiel könnte im Falle einer normalverteilten Wahrscheinlichkeitsverteilung die höchste Wahrscheinlichkeit (Häufigkeit) für ein Übereinstimmen der abgeglichen Merkmale bei einem Ähnlichkeitswert von 5 liegen, beispielsweise weil ein Ähnlichkeitswert von 5 dem Erwartungswert der ersten Wahrscheinlichkeitsverteilung entspricht. Die höchste Wahrscheinlichkeit (Häufigkeit) für ein Nicht-Übereinstimmen der abgeglichenen Merkmale könnte dementsprechend bei einem Ähnlichkeitswert von 3 liegen. Den verbleibenden Ähnlichkeitswerten der ersten und weiteren Wahrscheinlichkeitsverteilung könnten dann jeweils entsprechend niedrigere Wahrscheinlichkeiten für ein Übereinstimmen bzw. Nicht- Übereinstimmen zugeordnet werden.
Ist durch einen Abgleich von zwei Merkmalen ein Ähnlichkeitswert von 5 bestimmt worden, so kann in Abhängigkeit der ersten und weiteren Wahrscheinlichkeitsverteilung dem Ähnlichkeitswert von 5 eine Wahrscheinlichkeit von beispielsweise 80% für ein Übereinstimmen zugeordnet werden. Aufgrund von einer Überschneidung der ersten und weiteren Wahrscheinlichkeitsverteilung kann dem Ähnlichkeitswert von 5 weiter beispielsweise eine Wahrscheinlichkeit von 20% für ein Nicht-Übereinstimmen zugeordnet werden. Einem Ähnlichkeitswert von 3 kann in Abhängigkeit der ersten und weiteren Wahrscheinlichkeitsverteilung beispielsweise eine Wahrscheinlichkeit von 60% für ein Nicht-Übereinstimmen und eine Wahrscheinlichkeit von 40% für ein Übereinstimmen zugeordnet werden.
Durch Erzeugen einer ersten und weiteren Wahrscheinlichkeitsverteilung kann die Verifikation in vorteilhafter weise durch dem Fachmann bekannte stochastische Analysemethoden ergänzt werden. Weiter wird es durch die erste und weitere Wahrscheinlichkeitsverteilung auch ermöglicht, eine Wahrscheinlichkeit für die Richtigkeit des Ergebnisses der Verifikation anzugeben. Dies wird nachfolgend noch näher erläutert.
In einer weiteren Ausführungsform wird bei der Bestimmung des Ähnlichkeitsmaßes mindestens ein Plausibilitätswert bestimmt, wobei der Plausibilitätswert als ein Verhältnis zwischen der einem (Ähnlichkeits-)Wert zugeordneten Wahrscheinlichkeiten in der ersten und weiteren Wahrscheinlichkeitsverteilung ermittelt wird.
Der Plausibilitätswert kann dann der Quotient aus der Wahrscheinlichkeit für ein Übereinstimmen und der Wahrscheinlichkeit für ein Nicht-Übereinstimmen der Merkmale sein, wobei sich die Wahrscheinlichkeit für ein Übereinstimmen aus der ersten Wahrscheinlichkeitsverteilung und die Wahrscheinlichkeit für ein Nicht-Übereinstimmen aus der weiteren Wahrscheinlichkeitsverteilung ergibt. Somit kann jedem Ähnlichkeitswert ein Plausibilitätswert zugeordnet werden. Durch den Plausibilitätswert werden die beiden einem Ähnlichkeitswert zugeordneten Wahrscheinlichkeiten relativiert. Zur Bestimmung des Ähnlichkeitsmaßes kann dann für jeden bestimmten Ähnlichkeitswert ein Plausibilitätswert bestimmt werden.
Sind die Wahrscheinlichkeiten für einen ersten Ähnlichkeitswert von 5 wie im vorherigen Beispiel mit 80% für ein Übereinstimmen und 20% für ein Nicht-Übereinstimmen zugeordnet worden, so ergibt sich der erste Plausibilitätswert z.B. zu 8/2. Sind die Wahrscheinlichkeiten für einen zweiten Ähnlichkeitswert von 3 mit 40% für ein Übereinstimmen und 60% für ein Nicht-Übereinstimmen zugeordnet worden, so ergibt sich der zweite Plausibilitätswert zu 2/3. Selbstverständlich können auch die Kehrwerte der gerade beschriebenen Quotienten als Plausibilitätswerte genutzt werden.
Bei der Bestimmung des Ähnlichkeitsmaßes können dann alle Plausibilitätswerte miteinander multipliziert oder ihr Mittelwert gebildet werden, die wie vorhergehend erläutert für jeden Ähnlichkeitswert, der beim Abgleich zwischen dem zu prüfenden Abbild und jedem Abbild der Referenzbildmenge bestimmt wird, bestimmt werden. Dieses Produkt bzw. der Mittelwert bildet einen Gesamtplausibilitätswert. Dann kann das Ähnlichkeitsmaß als der Ähnlichkeitswert bestimmt werden, dem der Gesamtplausibilitätswert zugeordnet ist, insbesondere in Abhängigkeit der vorhergehend erläuterten Zuordnung von Plausibilitätswerten zu Ähnlichkeitswerten.
So kann das Ähnlichkeitsmaß mit erhöhter Genauigkeit und Zuverlässigkeit bestimmt werden, da durch das beschriebene Relativieren der Wahrscheinlichkeitswerte eine Gewichtung bei der Bestimmung von Ähnlichkeitswerten erfolgt und Ausreißer weniger stark Einfluss auf das Ähnlichkeitsmaß nehmen.
In einer weiteren Ausführungsform wird eine Zuverlässigkeitsgröße bestimmt, wobei diese Größe eine Wahrscheinlichkeit der Richtigkeit des Ergebnisses angibt. Insbesondere wenn die zu verifizierende Person als Referenzperson identifiziert wurde (also das Ähnlichkeitsmaß das Kriterium erfüllt), kann die Zuverlässigkeitsgröße angeben, mit welcher Wahrscheinlichkeit die als Referenzperson identifizierte Person tatsächlich nicht der Referenzperson entspricht und somit einer Falschakzeptanzrate (false match rate) entsprechen. Wenn die zu verifizierende Person als nicht der Referenzperson entsprechende Person identifiziert wurde (also das Ähnlichkeitsmaß das Kriterium nicht erfüllt), kann die Zuverlässigkeitsgröße angeben, mit welcher Wahrscheinlichkeit die nicht als Referenzperson identifizierte Person tatsächlich doch der Referenzperson entspricht und somit einer Falschnichtakzeptanzrate (false non match rate) entsprechen.
Hierzu kann aus den bestimmten Wahrscheinlichkeitsverteilungen für jeden Schwellwert (Ähnlichkeits-Schwellwert) die schwellwertspezifische Falschakzeptanzrate und die schwellwertspezifische Falschnichtakzeptanzrate bestimmt werden, wobei dieser Zusammenhang z.B. in Form einer ROC-Kurve (Receiver-Operating Characteristic-Kurve) dargestellt sein kann. Dieser Zusammenhang kann dann zur Bestimmung der Zuverlässigkeitsgröße ausgewertet werden. Das Erstellen einer Receiver Operating Characteristic Kurve ist dem Fachmann hierbei bekannt. In Abhängigkeit dieses Zusammenhangs kann auch - wie vorhergehend erläutert - die Größe zur Auswertung des Kriteriums bestimmt werden, insbesondere als der Schwellwert, bei dem die Falschakzeptanzrate kleiner als oder gleich einem vorbestimmten Schwellwert, z.B. 0.001, ist.
Es ist weiter vorstellbar, dass die Zuverlässigkeitsgröße sowie das Ergebnis der Verifikation über eine Ausgabeeinrichtung, insbesondere einem Benutzer eines Systems zur Personenverifikation, ausgegeben werden. Hierdurch kann dem Benutzer vermittelt werden, wie richtig das mit dem vorgeschlagenen Verfahren bestimmte Ergebnis ist.
Insbesondere kann die Zuverlässigkeitsgröße auch mit einem vorbestimmten Schwellwert abgeglichen werden, wobei eine Zuverlässigkeitsgröße, die kleiner als der Schwellwert ist, eine besonders zuverlässige Richtigkeit des Ergebnisses angibt.
Durch Bestimmen einer Zuverlässigkeitsgröße wird das Verifikationsergebnis in vorteilhafter Weise durch eine Wahrscheinlichkeit quantifiziert. So kann die Ähnlichkeit zwischen einer zu verifizierenden Person und der Referenzperson schnell und objektiv beurteilt werden.
In einer weiteren Ausführungsform wird das Verfahren des maschinellen Lernens wie folgt trainiert
Bereitstellen einer ersten Trainingsbildmenge mit Porträtfotografien, also Fotografien von Gesichtern, wobei jedem Abbild mindestens eine fotospezifische Grundwahrheit zugeordnet ist,
Vortainieren eines neuronalen Netzes mit der ersten Trainingsbildmenge, Bereitstellen einer weiteren T rainingsbildmenge mit Abbildern aus Porträtgemälden, wobei jedem Abbild mindestens eine gemäldespezifische Grundwahrheit zugeordnet ist,
Spezialisieren des vortrainierten neuronalen Netzes mit der weiteren Trainingsbildmenge,
- wobei das derart trainierte Verfahren des maschinellen Lernens dazu ausgebildet ist, für Abbilder von Porträtgemälden abbildspezifische Merkmale zu bestimmen. Ein untrainiertes Verfahren des maschinellen Lernens muss erlernen, für ein Abbild eines Porträtgemäldes mindestens ein abbildspezifisches Merkmal mit einer Güte zu bestimmen, die eine Durchführung des eingangs beschriebenen Personenverifikationsverfahrens mit hinreichender Genauigkeit ermöglicht. Hierzu kann ein noch nicht trainiertes neuronales Netz durch Trainieren mit einer ersten und einer weiten Trainingsbildmenge angepasst werden. Ein neuronales Netz kann mehrere Ebenen umfassen, wobei in jeder Ebene eine Vielzahl von Neuronen angeordnet sein kann, wobei die Anordnung sowie Verknüpfungen zwischen den verschiedenen Ebenen durch das Trainieren anpassbar sind. Ein dazu geeignetes neuronales Netz kann beispielsweise ein Residual Neural Network sein.
Für das Trainieren wird eine erste Trainingsbildmenge mit Porträtfotografien bereitgestellt, die Abbilder der ersten Trainingsbildmenge bilden. Liegen Porträtfotografien als digitale Bilddateien vor, so können die Abbilder durch diese bzw. in Form dieser Bilddateien bereitgestellt sein. Selbstverständlich ist es auch möglich, die Abbilder der ersten Trainingsbildmenge durch eine Abbildung, z.B. mit einer Bilderfassungseinrichtung, von Porträtfotografien zu erzeugen. Diese erste Trainingsbildmenge umfasst vorzugweise eine ausreichend hohe Anzahl von Abbildern, wie beispielsweise 10.000 oder mehr Abbilder, insbesondere bis zu 1.000.000 Abbilder. Die Abbilder der ersten T rainingsbildmenge sind Fotografien von Personen oder von Gesichtern, insbesondere Porträtfotografien. Die erste Trainingsbildmenge umfasst vorzugsweise sowohl Abbilder von männlichen Personen als auch von weiblichen Personen. Auch bilden die Abbilder vorzugsweise Personen mit unterschiedlichen Phänotypen ab, insbesondere also Personen mit unterschiedlichen visuellen Erscheinungsbildern. Vorzugsweise gibt es von jeder Person mindestens zwei Abbilder, wobei die mindestens zwei Abbilder die Person vorzugweise aus unterschiedlichen Blickwinkeln abbilden. Jedem Abbild ist hierbei mindestens eine fotospezifische Grundwahrheit zugeordnet. Insbesondere entspricht die Grundwahrheit der Identität einer in einem Abbild abgebildeten Person. Die hohe Anzahl von Abbildern von Fotografien kann beispielsweise durch Abrufen aus einer Datenbank schnell und kostengünstig bereitgestellt werden. In einer Porträtfotografie und in einem Porträtgemälde ist vorzugsweise mindestens das vollständige Gesicht einer Person abgebildet.
Auch ist vorstellbar, dass zumindest ein Teil der Abbilder der ersten Trainingsbildmenge erzeugt wird, indem Eigenschaften von Abbildern, die bereits Teil der ersten Trainingsbildmenge sind, verändert werden, beispielsweise durch dem Fachmann bekannte Verfahren der Bildbearbeitung. Eine solche Veränderung kann z.B. durch eine Änderung der Orientierung oder eine Spiegelung oder durch eine Änderung einer Kontraststärke eines Abbilds erfolgen. Alternativ oder kumulativ ist vorstellbar, dass zumindest ein Teil der Abbilder oder alle Abbilder der ersten Trainingsbildmenge bereitgestellt wird/werden, indem Eigenschaften von Porträtfotografien so verändert werden, dass diese Abbilder von Porträtgemälden simulieren. Beispielsweise können durch dem Fachmann bekannte Verfahren der Bildbearbeitung Porträtfotografien oder Abbilder von Porträtfotografien derart verändert werden, dass diese Abbilder in ihrem Aussehen Porträtgemälden nachempfunden sind, die Abbilder Porträtgemälde also simulieren. Dies kann als Data Augmentation der ersten Trainingsbildmenge bezeichnet werden.
Das neuronale Netz wird dann vortrainiert, indem die Abbilder der ersten Trainingsbildmenge mittels des neuronalen Netzes analysiert werden und das neuronale Netz in Abhängigkeit des Ergebnisses der Analyse, also insbesondere in Abhängigkeit mindestens eines mit dem neuronalen Netz bestimmten abbildspezifischen Merkmals, angepasst wird. Eine solche Anpassung des neuronalen Netzes kann insbesondere durch eine iterative Annäherung an ein Optimierungskriterium erfolgen. Eine Analyse eines Abbilds durch das neuronale Netz kann beispielsweise bezeichnen, dass die einzelnen Bildpunkte, insbesondere deren Intensitätswerte, eines als Bilddatei kodierten Abbilds mittels des neuronalen Netzes analysiert werden. So kann das neuronale Netz insbesondere aus den Unterschieden, insbesondere von Intensitäten, zwischen Bildpunkten Kanten-, Kurven- und/oder Farbverläufe in einem Abbild detektieren. Dabei ist mindestens ein Abbild eine Eingangsgröße und mindestens ein durch die Analyse bestimmtes Merkmal eine Ausgangsgröße des neuronalen Netzes.
Um das neuronale Netz anzupassen, wird in einem ersten Durchlauf des Trainings eine erste Untermenge von beispielsweise drei Abbildern (z.B. Abbild A, Abbild B und Abbild C) der ersten Trainingsbildmenge analysiert, wobei zwei Abbildern A, B als Grundwahrheit die Identität derselben Person zugeordnet ist, also zwei der Abbilder A, B dieselbe Person abbilden. Dem verbleibenden Abbild C ist die Identität einer anderen Person als Grundwahrheit zugeordnet, so dass dieses Abbild C also eine andere Person als die Abbilder A und B abbildet. Nach der Analyse der drei Abbilder hat das neuronale Netz drei abbildspezifische Merkmale/Merkmalsvektoren erzeugt, die nach dem ersten Durchlauf des Trainings üblicherweise keine hohe Güte bezüglich möglicher Rückschlüsse auf die abgebildeten Personen bzw. die Grundwahrheiten aufweisen. Eine Anpassung/T raining des neuronalen Netzes kann nun derart durchgeführt werden, dass eine merkmalsabhängige Auswertegrößen minimiert oder maximiert werden oder soweit reduziert werden, dass die Auswertegröße einem vorbestimmten Schwellwert entspricht oder kleiner als dieser vorbestimmte Schwellwert ist, oder soweit erhöht werden, dass die Auswertegröße einem (weiteren) vorbestimmten Schwellwert entspricht oder größer als dieser (weitere) vorbestimmte Schwellwert ist. Mit anderen Worten kann durch das Training eine auswertegrößenabhängige Kostenfunktion minimiert oder maximiert werden, insbesondere bis zu einem vorbestimmten Maß. Eine Auswertegröße kann eine Differenz zwischen zwei durch die Analyse bestimmten Merkmalen/Merkmalsvektoren sein. Ein Schwellwert kann beispielsweise eine vorbestimmte Differenz zwischen den zwei Merkmalen/Merkmalsvektoren für die Abbilder, die dieselbe Person abbilden, sein, wobei die Auswertegröße mittels iterativer Anpassungen, also Training, des neuronalen Netzes minimiert wird oder soweit minimiert wird, dass sie kleiner als die vorbestimmte Differenz ist. Ein weiterer Schwellwert kann eine vorbestimmte weitere Differenz zwischen den zwei Merkmalen/Merkmalsvektoren sein, die für die Abbilder bestimmt worden sind, die verschiedene Personen abbilden. Mittels der iterativen Anpassungen des neuronalen Netzes kann die Auswertegröße maximiert werden oder soweit maximiert werden, dass sie größer als die vorbestimmte weitere Differenz ist. Dieses Vorgehen kann als Annäherung an ein Optimierungskriterium bezeichnet werden.
In weiteren Durchläufen wird das beschriebene Vorgehen für weitere, von der ersten und voneinander verschiedenen, Untermengen der ersten Trainingsbildmenge ebenfalls durchgeführt, so dass das neuronale Netz für das Bestimmen von Merkmalen aus Abbildern insbesondere verschiedener Personen optimiert wird. Für das erläuterte Training, insbesondere als Kostenfunktion, kann beispielsweise eine Triplet-Loss-Funktion genutzt werden. Die Nutzung einer solchen Funktion ist dem Fachmann hierbei bekannt.
Auch kann eine Teilmenge der ersten Trainingsbildmenge nicht für das Training genutzt werden, sondern die Abbilder der Teilmenge können für die Beurteilung einer Güte des neuronalen Netzes zurückgehalten werden. Um die Güte des vortrainierten neuronalen Netzes zu beurteilen, werden nach dem Vortrainieren beispielsweise die zurückgehaltenen Abbilder ohne die fotospezifische Grundwahrheit durch das vortrainierte neuronale Netz analysiert und die den Abbildern zugeordneten Grundwahrheiten genutzt, um zu überprüfen, ob die so bestimmten Merkmale ermöglichen, Rückschlüsse auf die in den Abbildern abgebildeten Personen zu ziehen bzw. bestimmte Merkmale für Abbilder derselben Person nicht mehr als ein vorbestimmtes Maß voneinander abweichen und/oder bestimmte Merkmale für Abbilder verschiedener Personen mehr als ein vorbestimmtes Maß voneinander abweichen. Um Rückschlüsse auf die in den Abbildern abgebildeten Personen zu ziehen, kann beispielsweise eine Differenz zwischen den Merkmalen solcher Bildpaare, die nicht dieselbe Person abbilden, bestimmt werden. Die Identitäten der abgebildeten Personen sind dabei aus den zugeordneten Grundwahrheiten bekannt. Weiter kann die Güte ausreichend sein, wenn mit Hilfe der bestimmten Differenz ermittelt wird, dass das vorbestimmte Maß überschritten wird. Als vorbestimmtes Maß kann beispielsweise ein Mindestwert für die Differenz zwischen zwei Merkmalen von Abbildern, die nicht dieselbe Person abbilden, festgelegt werden.
Um das vortrainierte neuronale Netz für das Analysieren von Abbildern aus Porträtgemälden zu spezialisieren, wird eine weitere Trainingsbildmenge bereitgestellt. Ein solches Spezialisieren eines vortrainierten neuronalen Netzes wird auch als Transfer Learning bezeichnet. Die weitere Trainingsbildmenge umfasst Abbilder von verschiedenen Porträtgemälden, vorzugweise 300 oder mehr Abbilder, wobei jedem Abbild mindestens eine gemäldespezifische Grundwahrheit zugeordnet ist. Eine solche gemäldespezifische Grundwahrheit kann insbesondere die Identität einer abgebildeten Person betreffen bzw. sein. Durch das Vortrainieren des neuronalen Netzes ist ermöglicht, dass die weitere Trainingsbildmenge eine geringere Anzahl von Abbildern umfassen kann als die erste Trainingsbildmenge. Dies ist insbesondere deswegen vorteilhaft, weil Abbilder von Porträtgemälden üblicher weise in nicht so hoher Anzahl vorhanden sind wie es Fotografien sind. Die erste und die weitere Trainingsbildmenge umfassen vorzugsweise mindestens zwei Abbilder pro Identität, also mindestens zwei Abbilder derselben Person.
Auch vorstellbar ist, dass zumindest ein Teil der Abbilder oder alle Abbilder der weiteren Trainingsbildmenge bereitgestellt wird, indem Eigenschaften von Porträtfotografien, insbesondere von Porträtfotografien der ersten Trainingsbildmenge oder Porträtfotografien, die nicht Teil der ersten Trainingsbildmenge sind, so verändert werden, dass diese Abbilder von Porträtgemälden simulieren. Beispielsweise können durch dem Fachmann bekannte Verfahren der Bildbearbeitung Porträtfotografien oder Abbilder von Porträtfotografien derart verändert werden, dass diese Abbilder in ihrem Aussehen Porträtgemälden nachempfunden sind, die Abbilder Porträtgemälde also simulieren. Es können aber auch andere Eigenschaften der Abbilder verändert werden, wie beispielsweise eine Kontraststärke oder eine Orientierung der Abbilder. Auch dieses Vorgehen kann als Data Augmentation bezeichnet werden. So lässt sich auf einfache Weise insbesondere die Anzahl an Abbildern der ersten und weiteren Trainingsbildmenge erhöhen.
Für das Spezialisieren des vortrainierten neuronalen Netzes wird dann, vorzugsweise analog zum beschriebenen Vorgehen des Vortrainierens, mittels der weiteren Trainingsbildmenge das vortrainierte neuronale Netz derart angepasst/trainiert, dass Merkmale für Abbilder von Porträtgemälden derselben Person nicht mehr als ein vorbestimmtes Maß voneinander abweichen und/oder für Abbilder von Porträtgemälden verschiedener Personen mehr als ein vorbestimmtes Maß voneinander abweichen. Insbesondere kann also das weitere Training des neuronalen Netzes nun derart durchgeführt werden, dass merkmalsabhängige Auswertegrößen minimiert oder maximiert werden oder soweit reduziert werden, dass die Auswertegröße einem vorbestimmten Schwellwert entspricht oder kleiner als dieser vorbestimmte Schwellwert ist, oder soweit erhöht werden, dass die Auswertegröße einem (weiteren) vorbestimmten Schwellwert entspricht oder größer als dieser (weitere) vorbestimmte Schwellwert ist. Mit anderen Worten kann durch das Training eine auswertegrößenabhängige Kostenfunktion minimiert oder maximiert werden, insbesondere bis zu einem vorbestimmten Maß. Dieses Vorgehen kann ebenfalls als Annäherung an ein Optimierungskriterium bezeichnet werden.
Es ist selbstverständlich auch denkbar, dass eine Teilmenge der weiteren Trainingsbildmenge, beispielsweise 30 Abbilder der 300 Abbilder, beim Spezialisieren des vortrainierten Netzes nicht genutzt werden und diese Abbilder dann analog zur oben erwähnten Vorgehensweise zur Beurteilung der Güte des spezialisierten neuronalen Netzes genutzt werden.
Durch das beschriebene Trainieren des Verfahrens des maschinellen Lernens wird in vorteilhafter Weise erreicht, dass auch für Abbilder aus Porträtgemälden, denen keine Grundwahrheit zugeordnet ist, für die zuverlässige Verifikation geeignete Merkmale bestimmt werden können. Das trainierte Verfahren des maschinellen Lernens nutzt insbesondere das spezialisierte neuronale Netz. Natürlich ist es auch denkbar, dass das Verfahren des maschinellen Lernens nur mit der ersten Trainingsbildmenge trainiert wird. Hierzu kann - wie vorhergehend erläutert - ein Bereitstellen einer ersten Trainingsbildmenge mit Porträtfotografien erfolgen, wobei jedem Abbild mindestens eine fotospezifische Grundwahrheit zugeordnet ist. Weiter erfolgt, wie ebenfalls vorhergehend erläutert, ein Trainieren eines neuronalen Netzes mit der ersten Trainingsbildmenge, wobei das derart trainierte Verfahren des maschinellen Lernens dazu ausgebildet ist, für Abbilder von Porträtgemälden abbildspezifische Merkmale zu bestimmen. Insbesondere erfolgt also kein Spezialisieren des vortrainierten neuronalen Netzes mit einerweiteren Trainingsbildmenge. In diesem Fall kann die erste Trainingsbildmenge Porträtfotografien und/oder entsprechend den vorhergehenden Erläuterungen simulierte Porträtgemälde und/oder Abbilder von Porträtgemälden umfassen. Es ist insbesondere vorstellbar, dass die erste Trainingsbildmenge in diesem Fall ausschließlich simulierte Porträtgemälde oder ausschließlich Abbilder von Porträtgemälden oder ausschließlich simulierte Porträtgemälde und Abbilder von Porträtgemälden umfasst.
Mittels des trainierten Verfahrens des maschinellen Lernens kann für ein Abbild eines Porträtgemäldes wie erläutert mindestens ein abbildspezifisches Merkmal bestimmt werden. Ein solches abbildspezifisches Merkmal kann dann wie oben beschrieben für ein Verfahren zur Personenverifikation in Porträtgemälden genutzt werden.
Mit anderen Worten stellt das hier beschriebene Trainieren des Verfahrens des maschinellen Lernens sicher, dass die Personenverifikation in Porträtgemälden mit ausreichender Güte bzw. Genauigkeit und Zuverlässigkeit ermöglicht ist.
Das trainierte neuronale Netz kann, wie eingangs erwähnt, mehrere, insbesondere hintereinander geschaltete, Ebenen umfassen, wobei Zwischenergebnisse bei der Analyse eines Abbilds mit fortschreitender Ebene abstrakter werden. Das Ergebnis der Analyse bzw. die Ausgangsgröße ist dann mindestens ein abbildspezifisches Merkmal. Durch die beschriebene Abstraktion während der Analyse eines Abbilds können die so bestimmten Merkmale sich auch auf solche Eigenschaften eines abgebildeten Gesichts beziehen, die dem subjektiven menschlichen Blick verborgen bleiben. So ergeben sich in vorteilhafter Weise differenziertere Merkmale gegenüber einer Analyse eines Abbilds durch einen Menschen, die eine Zuverlässigkeit und Genauigkeit bei der Personenverifikation in Porträtgemälden erhöhen.
Weiter vorgeschlagen wird ein System zur Personenverifikation, welches eine Bilderfassungseinrichtung und/oder eine Schnittstelle, eine Speichereinrichtung, eine Datenverarbeitungseinrichtung sowie eine Ausgabeeinrichtung umfasst, wobei das System dazu ausgebildet bzw. derart konfiguriert ist, ein Verfahren nach einer der zuvor offenbarten Ausführungsformen auszuführen.
Vorzugsweise ist das System als ein tragbares Endgerät, z.B. als ein Mobiltelefon, ausgebildet oder wird von dem Endgerät bzw. den Elementen des Endgeräts bereitgestellt. Die Ausführungsbeispiele für eine entsprechende Bilderfassungseinrichtung, Schnittstelle bzw. Speichereinrichtung wurden zuvor bereits erläutert. Die Datenverarbeitungseinrichtung kann als eine integrierte Schaltung auf einem Mikrochip ausgebildet sein oder einen solchen umfassen. Auch kann die Datenverarbeitungseinrichtung ein Mikrocontroller sein oder einen solchen umfassen. Insbesondere ist die Datenverarbeitungseinrichtung dazu ausgebildet, Abbilder von Porträtgemälden bzw. Bilddateien mit Hilfe des Verfahrens des maschinellen Lernens zu analysieren und das beanspruchte Personenverifikationsverfahren nach einer in dieser Offenbarung beschriebenen Ausführungsform durchzuführen. Eine Ausgabeeinrichtung kann beispielsweise als ein Display ausgebildet sein und dazu genutzt werden, insbesondere eine Ergebnis- bzw. eine Zuverlässigkeitsgröße der Personenverifikation an einen Benutzer auszugeben.
Weiter wird ein Computerprogrammprodukt mit einem Computerprogramm vorgeschlagen, wobei das Computerprogramm Softwaremittel zur Ausführung eines, mehrerer oder aller Schritte des Verfahrens zur Personenverifikation in Porträtgemälden gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen umfasst, wenn das Computerprogramm von oder in einem Computer oder einem Automatisierungssystem ausgeführt wird.
Ferner wird ein Programm beschrieben, das, wenn es auf einem Computer oder in einem Automatisierungssystem abläuft, den Computer oder das Automatisierungssystem veranlasst, einen oder mehrere oder alle Schritte des Verfahrens zur Personenverifikation in Porträtgemälden gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen durchzuführen, und/oder ein Programmspeichermedium, auf dem das Programm gespeichert ist (insbesondere in einer nicht-transitorischen Form), und/oder zu einem Computer, der das Programmspeichermedium umfasst, und/oder eine (physikalischen, z.B. elektrische, z.B. technisch erzeugte) Signalwelle, z.B. eine digitale Signalwelle, die Informationen trägt, die das Programm, z.B. das vorgenannte Programm, darstellen, das z.B. Codemittel umfasst, die geeignet sind, einen oder alle der hierin beschriebenen Verfahrensschritte durchzuführen.
Dies bedeutet, dass das erfindungsgemäße Verfahren zum Beispiel ein computerimplementiertes Verfahren ist. Beispielsweise können alle Schritte oder nur einige der Schritte (d.h. weniger als die Gesamtzahl der Schritte) des erfindungsgemäßen Verfahrens von einem Computer ausgeführt werden. Eine Ausführungsform des computerimplementierten Verfahrens ist eine Verwendung des Computers zur Durchführung eines Datenverarbeitungsverfahrens. Der Computer umfasst zum Beispiel mindestens einen Mikrocontroller oder Prozessor und zum Beispiel mindestens einen Speicher, um die Daten (technisch) zu verarbeiten, zum Beispiel elektronisch und/oder optisch. Der Prozessor besteht beispielsweise aus einer Substanz oder Zusammensetzung, die ein Halbleiter ist, beispielsweise zumindest teilweise n- und/oder p-dotierter Halbleiter, beispielsweise mindestens ein II-, III-, IV-, V-, Vl-Halbleitermaterial, beispielsweise (dotiertes) Silizium und/oder Galliumarsenid. Die beschriebenen Schritte, insbesondere die Bestimmungsschritte und der Verifikationsschritt, werden beispielsweise von einem Computer durchgeführt. Bestimmungsschritte oder Berechnungsschritte sind beispielsweise Schritte zur Bestimmung von Daten im Rahmen des technischen Verfahrens, beispielsweise im Rahmen eines Programms. Ein Computer ist z.B. jede Art von Datenverarbeitungsgerät, z.B. elektronisches Datenverarbeitungsgerät. Ein Computer kann ein Gerät sein, das allgemein als solches angesehen wird, z. B. Desktop-PCs, Notebooks, Netbooks usw., kann aber auch ein beliebiges programmierbares Gerät sein, wie z. B. ein Mobiltelefon oder ein eingebetteter Prozessor. Ein Computer kann beispielsweise aus einem System (Netzwerk) von "Sub-Computern" bestehen, wobei jeder Sub-Computer einen eigenständigen Computer darstellt. Schritte, die von einem Computer oder einem Automatisierungssystem ausgeführt oder durchgeführt werden, können insbesondere die Bestimmungsschritte und/oder der Verifikationsschritt sein.
Das Computerprogrammprodukt ermöglicht in vorteilhafter Weise die Durchführung eines Verfahrens zur Personenverifikation in Porträtgemälden gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen, für die zuvor technische Vorteile beschrieben worden sind.
Die Erfindung wird anhand von Ausführungsbeispielen näher erläutert. Die Figuren zeigen:
Fig. 1 eine Referenzbildmenge, eine Konträrbildmenge und ein zu prüfendes Abbild,
Fig. 2 ein Flussdiagramm einer erfindungsgemäßen Ausführungsform eines Verfahrens zur Personenverifikation in Porträtgemälden,
Fig. 3 ein Flussdiagramm für das Trainieren eines Verfahrens des maschinellen Lernens,
Fig. 4 eine erfindungsgemäße Ausführungsform eines Systems zur Personenverifikation in einem Porträtgemälde, und
Fig. 5 eine erste und weitere Verteilung.
Nachfolgend bezeichnen gleiche Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
Fig. 1 zeigt die Referenzbildmenge RM mit drei voneinander verschiedenen Abbildern der Referenzperson R1. Die Abbilder können dabei Porträtgemälde der Referenzperson R1 abbilden, die von unterschiedlichen Malern und/oder zu unterschiedlichen Zeitpunkten im Leben der Referenzperson R1 angefertigt worden sind. Wesentlich ist, dass für alle Abbilder der Referenzbildmenge RM vorbekannt ist, dass diese die Referenzperson R1 abbilden.
Weiter ist in Fig. 1 die Konträrbildmenge KM gezeigt. Die Konträrbildmenge KM umfasst insgesamt sechs Abbilder, wobei zwei Abbilder verschiedene Porträtgemälde einer ersten Konträrperson K1 abbilden, zwei Abbilder verschiedene Porträtgemälde einer zweiten Konträrperson K2 abbilden und zwei Abbilder verschiedene Porträtgemälde einer dritten Konträrperson K3 abbilden. Jedes Abbild der Konträrbildmenge KM bildet ein Porträtgemälde einer historisch relevanten Person K1, K2, K3 ab, deren Identität ebenfalls vorbekannt ist. Die Konträrpersonen K1, K2, K3 sind voneinander verschieden, beziehen sich also auf unterschiedliche Personen. Zudem sind alle Konträrpersonen K1 , K2, K3 von der Referenzperson R1 verschieden.
Weiter ist in Fig. 1 ein zu prüfendes Abbild PB eines Porträtgemäldes einer zu verifizierenden Person P1 gezeigt. Die Abbilder der Referenzbildmenge RM wurden hierbei so ausgewählt, dass mittels des Personenverifikationsverfahrens (siehe Fig. 2) verifiziert werden kann, ob die in dem zu prüfenden Abbild PB gezeigte Person P1 der Referenzperson R1 entspricht.
In Fig. 2 ist ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens zur Personenverifikation in Porträtgemälden gezeigt. Das Verfahren umfasst sechs Schritte S1 bis S6, die im Folgenden erläutert werden. In Schritt S1 werden die in Fig. 1 gezeigten Abbilder bereitgestellt. Die Referenzbildmenge RM sowie die Konträrbildmenge KM können dabei durch Abrufen von als Bilddateien kodierten Abbildern aus einer Datenbank DB (siehe Fig. 4) bereitgestellt werden. Das zu prüfende Abbild PB kann durch Erfassen eines Porträtgemäldes P mittels einer Bilderfassungseinrichtung BE (siehe Fig. 4) bereitgestellt werden. Auch denkbar ist, dass das zu prüfende Abbild ebenfalls aus der Datenbank DB abgerufen wird. Die so bereitgestellten Abbilder können in einer Speichereinrichtung SE (siehe Fig. 4) zwischengespeichert werden.
In Schritt S2 werden die Abbilder der Referenzbildmenge RM mittels einer Datenverarbeitungseinrichtung DV (siehe Fig. 4) einem Verfahren des maschinellen Lernens ML als Eingangsgröße zugeführt, wobei die Datenverarbeitungseinrichtung DV dieses Verfahren durchführt. Durch das Verfahren des maschinellen Lernens ML werden die Abbilder mit Hilfe eines spezialisierten neuronalen Netzes SNN (siehe Figur 3) analysiert, so dass für jedes Abbild mindestens ein abbildspezifisches Merkmal bestimmt wird und dieses dem jeweiligen Abbild als Ausgangsgröße des Verfahrens des maschinellen Lernens zugeordnet wird. So ergibt sich für die Abbilder der Referenzbildmenge RM eine Vielzahl von abbildspezifischen Merkmalen MR. Für die Abbilder der Konträrbildmenge KM sowie für das zu prüfende Abbild PB wird analog verfahren, sodass sich für die Abbilder der Konträrbildmenge KM eine Vielzahl von abbildspezifischen Merkmalen MK ergibt und für das zu prüfende Abbild PB mindestens ein Merkmal MP. Die Merkmale können als Vektoren bestimmt werden und in einem Vektorraum angeordnet sein.
Aus den abbildspezifischen Merkmalen MR, die den Abbildern der Referenzbildmenge RM zugeordnet sind, und den Merkmalen MK, die den Abbildern der Konträrbildmenge zugeordnet sind, werden in Schritt S3 durch Abgleich der Merkmale von Abbildern jedes Bildpaares, dessen Abbilder dieselbe Person abbilden, Ähnlichkeitswerte AW zur Bestimmung einer ersten Verteilung ermittelt. Durch Abgleich der Merkmale von Abbildern jedes Bildpaares, dessen Abbilder verschiedenen Personen abbilden, werden Ähnlichkeitswerte zur Bestimmung einer weiteren Verteilung ermittelt. Ein Ähnlichkeitswertes AW wird insbesondere aus der Differenz zwischen zwei Merkmalen bzw. aus der euklidischen Distanz zwischen zwei Vektoren ermittelt. In diesem Fall repräsentiert eine sich verringernde Differenz eine sich erhöhende Ähnlichkeit. Die aus der ersten und weiteren Verteilung, z.B. mit einem Kerndichteschätzer, erzeugten Wahrscheinlichkeitsverteilungen WV1, WV2 sind schematisch in Fig. 5 gezeigt.
Die erste und weitere Wahrscheinlichkeitsverteilung WV1 , WV2 geben für jeden bestimmten Ähnlichkeitswert AW der ersten bzw. weiteren Verteilung an, welche Wahrscheinlichkeit W für ein Übereinstimmen bzw. Nicht-Übereinstimmen diesem Ähnlichkeitswert AW zugeordnet ist (siehe Fig. 5).
In Schritt S4 wird eine Größe GK zur Auswertung eines Kriteriums bestimmt. Die Größe GK wird als ein Mittelwert der Ähnlichkeitswerte AW im Wertebereich eines Überscheidungsbereich UB der ersten und weiteren Ähnlichkeitsverteilung bestimmt (siehe Fig. 5). Die Größe GK ist folglich auch ein Ähnlichkeitswert. Auch kann - wie vorhergehend erläutert - die Größe GK als ein Ähnlichkeitswert AW bestimmt werden, für den eine vorbestimmte Falschakzeptranzrate nicht überschritten wird.
In Schritt S5 wird ein Ähnlichkeitsmaß AM aus einem Abgleich zwischen den Merkmalen MR, die den Abbildern der Referenzbildmenge RM zugeordnet sind, und dem Merkmal/den Merkmalen MP bestimmt, die dem zu prüfenden Abbild PB zugeordnet sind. So wird durch einen Abgleich des/der prüfbildspezifischen Merkmals/der Merkmale MP mit dem referenzbildspezifischen Merkmale/den referenzbildspezifischen Merkmalen jedes Referenzbildes RB jeweils ein Ähnlichkeitswert AW bestimmt. Das Ähnlichkeitsmaß AM kann dann als ein Mittelwert der so bestimmten Ähnlichkeitswerte AW bestimmt werden. Auch denkbar ist, dass für jeden bestimmten Ähnlichkeitswert AW ein Plausibilitätswert bestimmt wird und das Ähnlichkeitsmaß AM dann als der Ähnlichkeitswert AW der ersten oder weiteren Verteilung bestimmt wird, dem das Produkt oder der Mittelwert der bestimmten Plausibilitätswerte als Plausibilitätswert zugeordnet ist.
In einem Schritt S6 wird dann das Ähnlichkeitsmaß AM mit der Größe GK zur Auswertung des Kriteriums verglichen. Das Kriterium zur Unterscheidung kann dann zur Verifikation der Person P1 genutzt werden, wobei die zu verifizierende Person P1 als mit der Referenzperson R1 übereinstimmende Person verifiziert wird, wenn das bestimmte Ähnlichkeitsmaß AM einen der Größe GK entsprechenden Schwellwert übersteigt. Ist das Ähnlichkeitsmaß kleiner als oder gleich der Größe, so wird die zu verifizierende Person P1 nicht als mit der Referenzperson R1 übereinstimmende Person verifiziert.
Ein so bestimmtes Ergebnis der Verifikation VE kann dann über eine Ausgabeeinrichtung AE ausgegeben werden (siehe Fig. 4).
Fig. 3 zeigt ein Flussdiagramm für das Trainieren eines Verfahrens des maschinellen Lernens ML. In einem Trainingsschritt T1 wird eine erste Trainingsbildmenge TM1 bereitgestellt. Die erste Trainingsdatenmenge TM1 umfasst in der dargestellten Ausführungsform 10.000 bis 1.000.000 Porträtfotografien, also Fotografien von Personen bzw. deren Gesichtern. Die Identitäten der abgebildeten Personen sind den jeweiligen Abbildern als fotospezifische Grundwahrheit GW1 zugeordnet, die Identität der abgebildeten Personen ist also vorbekannt. Vorzugsweise gibt es in der ersten Trainingsdatenmenge TM1 von jeder Person zwei Abbilder.
In einem Trainingsschritt T2 wird ein neuronales Netz NN mittels der ersten Trainingsbildmenge TM1 vortrainiert. Dazu werden in einem ersten Durchlauf zwei Abbilder derselben Person und ein Abbild einer anderen Person durch das neuronale Netz NN analysiert. Dabei ist jedes Abbild eine Eingangsgröße und eine durch die Analyse bestimmte abbildspezifische Merkmalsmenge eine Ausgangsgröße des neuronalen Netzes NN, wobei die Merkmalsmenge genau ein oder mehr als ein Merkmal umfassen bzw. kodieren kann. Für die so bestimmten Merkmalsmengen wird eine erste Differenz zwischen den zwei Merkmalsmengen von Abbildern, die dieselbe Person repräsentieren sollen, bestimmt und eine weitere Differenz für die Merkmalsmengen von Abbildern, die unterschiedliche Personen repräsentieren sollen, bestimmt. Das neuronale Netz NN kann in einer Optimierung OK dann derart angepasst werden, dass die erste Differenz minimiert und/oder die weitere Differenz maximiert wird. Welche Person in welchem Abbild abgebildet ist, ist bei dieser Optimierung aufgrund der Grundwahrheit GW1 bekannt. Insbesondere kann das neuronale Netz NN bei der Optimierung OK durch eine Anpassung der Anordnung der Neuronen in einer Ebene des neuronalen Netzes NN oder durch Anpassung einer Verknüpfung zwischen den Ebenen des neuronalen Netzes NN angepasst werden. Zur Durchführung der Optimierung OK kann eine Triplet-Loss- Funktion genutzt werden. Die verbleibenden Abbilder der ersten Trainingsbildmenge TM1 können zur weiteren Optimierung OK des neuronalen Netzes NN genutzt werden. Ist eine entsprechende Güte bei der Merkmalsbestimmung durch das neuronale Netz NN erreicht, beispielsweise weil Merkmale für Abbilder von Porträtgemälden derselben Person nicht mehr als ein vorbestimmtes Maß voneinander abweichen und/oder Merkmale für Abbilder von Porträtgemälden verschiedener Personen mehr als ein vorbestimmtes Maß voneinander abweichen, so ist das Vortraining des neuronalen Netzes NN abgeschlossen.
Weiter wird in einem T rainingsschritt T3 eine weitere T rainingsbildmenge TM2 bereitgestellt. Die weitere Trainingsbildmenge TM2 umfasst beispielsweise 300 Abbilder von Porträtgemälden. Jedem Abbild ist mindestens eine gemäldespezifische Grundwahrheit GW2 zugeordnet, die insbesondere die Identität einer abgebildeten Person einem Abbild zuordnet.
Das Bereitstellen beider Trainingsbildmengen TM1 , TM2 kann wie bereits für die anderen Bildmengen erläutert über eine Datenbank erfolgen.
Das vortrainierte neuronale Netz VNN wird dann mittels der weiteren Trainingsbildmenge TM2 in einem Trainingsschritt T4 auf das Bestimmen von Merkmalen in Abbildern von Porträtgemälden spezialisiert. Insbesondere wird das vortrainierte neuronale Netz VNN durch die Spezialisierung derart trainiert, dass Unterschiede in Abbildern, die beispielsweise in einem Malstil begründet sind, beim Bestimmen von abbildspezifischen Merkmalen zu berücksichtigt sind. Das Resultat eines solchen Trainings ist ein spezialisiertes neuronales Netz SNN, welches in einem Verfahren des maschinellen Lernens ML genutzt werden kann. Das Verfahren des maschinellen Lernens ML ist dann dazu ausgebildet, für Abbilder von Porträtgemälden abbildspezifische Merkmale MR, MK, MP derart zu bestimmen, dass Merkmale für Abbilder von Porträtgemälden derselben Person nicht mehr als ein vorbestimmtes Maß voneinander abweichen und/oder Merkmale für Abbilder von Porträtgemälden verschiedener Personen mehr als ein vorbestimmtes Maß voneinander abweichen.
Fig. 4 zeigt eine erfindungsgemäße Ausführungsform eines Systems SY zur Personenverifikation in einem Porträtgemälde P. Eine Datenbank DB kann systemfremd auf einem Server abgespeichert sein, auf welchen das System SY über eine Schnittstelle SN, beispielsweise mittels einer Internetverbindung, zugreifen kann. Wie in Fig. 2 beschrieben, werden eine Referenzbildmenge RM mit Abbildern einer Referenzperson R1 sowie eine Konträrbildmenge KM mit Abbildern mehrerer Konträrpersonen K1, K2, K3 aus der Datenbank abgerufen und über die Schnittstelle SN an eine z.B. als RAM ausgebildete Speichereinrichtung SE des Systems SY übertragen und somit bereitgestellt. Zudem wird mittels einer Bilderfassungseinrichtung BE ein Porträtgemälde P erfasst. Das Porträtgemälde P zeigt eine zu verifizierende Person P1. Das so erzeugte Abbild PB der Person P1 wird ebenfalls in der Speichereinrichtung SE zwischengespeichert und somit bereitgestellt.
Die als Mikrocontroller ausgebildete Datenverarbeitungseinrichtung DV dient nun zur Durchführung des erfindungsgemäßen Verfahrens wie es in Fig. 2 beschrieben ist.
Eine als Display ausgebildete Ausgabeeinrichtung AE kann insbesondere das Ergebnis VE einer Personenverifikation bezüglich des zu prüfenden Abbilds PB bzw. des Porträtgemäldes P ausgeben. Hierdurch kann es einem Benutzer in vorteilhafter weise erleichtert sein, eine in einem Porträtgemälde P abgebildete Person P1 schnell und kostengünstig gegen eine Referenzperson R1 zu verifizieren.
Fig. 5 zeigt einen Wertebereich der für die erste und weitere Verteilung bestimmten Ähnlichkeitswerte AW sowie die daraus erzeugte erste und weitere Wahrscheinlichkeitsverteilung WV1 , WV2. Dabei gibt die erste Wahrscheinlichkeitsverteilung WV1 an, mit welcher Wahrscheinlichkeit W ein bestimmter Ähnlichkeitswert AW eine Übereinstimmung angibt. Die weitere Wahrscheinlichkeitsverteilung WV2 gibt an, mit welcher Wahrscheinlichkeit W ein bestimmter Ähnlichkeitswert AW eine Nicht-Übereinstimmung angibt. Zu beachten ist, dass die Wahrscheinlichkeitsverteilungen WV1, WV2 insbesondere derart bestimmt sind, dass für alle Ähnlichkeitswerte AW die Wahrscheinlichkeit größer als Null ist. Die Ähnlichkeitswerte AW sind dabei auf der Abszisse des gezeigten Koordinatensystems eingetragen, während die Wahrscheinlichkeiten W in Abhängigkeit der Ähnlichkeitswerte AW auf der Ordinate eingetragen sind. Die erste und weitere Wahrscheinlichkeitsverteilung WV1, WV2 weisen einen Bereich UB auf, in welchem sich die Wahrscheinlichkeitsverteilung überschneiden, wobei dem Bereich UB ein Wertebereich von Ähnlichkeitswerten AW der ersten und der weiteren Verteilung zugeordnet ist. Der Mittelwert des Wertebereichs der Ähnlichkeitswerte AW im Überschneidungsbereich UB kann als Größe GK zur Auswertung des Kriteriums bestimmt werden.
Bezugszeichenliste
AE Ausgabeeinrichtung
AM Ähnlichkeitsmaß
AW Ähnlichkeitswert
BE Bilderfassungseinrichtung
DB Datenbank
DV Datenverarbeitungseinrichtung
GK Größe zur Auswertung eines Kriteriums
GW1 fotospezifische Grundwahrheit
GW2 gemäldespezifische Grundwahrheit
KM Konträrbildmenge
K1 Abbilder einer ersten Konträrperson
K2 Abbilder einer weiteren Konträrperson
K3 Abbilder einer weiteren Konträrperson
ML Verfahren des maschinellen Lernens
MK Merkmale der Abbilder der Konträrbildmenge
MP Merkmale des zu prüfenden Abbilds
MR Merkmale der Abbilder der Referenzbildmenge
NN Neuronales netz
OK Optimierungskriterium
P Porträtgemälde
PB zu prüfendes Abbild
P1 zu verifizierende Person
RM Referenzbildmenge
R1 Abbilder der Referenzperson
SE Speichereinrichtung
SN Schnittstelle
SNN spezialisiertes neuronales Netz
SY System zur Personenverifikation
51 Bereitstellen der Abbilder
52 Bestimmen der Merkmale
53 Bestimmen der Verteilungen
54 Bestimmen einer Größe zur Auswertung eines Kriteriums
55 Bestimmen eines Ähnlichkeitsmaßes S6 Ausgaben eines Verifikationsergebnisses
TM1 erste Trainingsbildmenge
TM2 weitere Trainingsbildmenge
T 1 Bereitstellen der ersten T rainingsbildmenge
T2 Vortrainieren des neuronalen Netzes
T3 Bereitstellen der weiteren Trainingsbildmenge
T4 Spezialisieren des neuronalen Netzes
UB Überschneidungsbereich der ersten und weiteren Verteilung
VE Verifikationsergebnis
VNN vortrainiertes neuronales Netz
W Wahrscheinlichkeit
WV1 erste Wahrscheinlichkeitsverteilung
WV2 weitere Wahrscheinlichkeitsverteilung

Claims

Patentansprüche Verfahren zur Personenverifikation in Porträtgemälden, umfassend:
Bereitstellen (S1) einer Referenzbildmenge (RM) mit Abbildern von mindestens zwei, insbesondere voneinander verschiedenen, Porträtgemälden, wobei die Porträtgemälde dieselbe Referenzperson (R1) abbilden,
Bereitstellen (S1) einer Konträrbildmenge (KM) mit Abbildern von mindestens zwei weiteren Porträtgemälden, wobei die weiteren Porträtgemälde jeweils eine Konträrperson (K1 , K2, K3) abbilden,
Bereitstellen (S1) mindestens eines zu prüfenden Abbilds (PB) eines Porträtgemäldes, wobei das Porträtgemälde eine zu verifizierende Person (P1) abbildet,
Bestimmen (S2) von abbildspezifischen Merkmalen (MR, MK, MP) mittels eines Verfahrens des maschinellen Lernens (ML), wobei jedem Abbild mindestens ein Merkmal zugeordnet wird,
Bestimmen (S3) einer ersten Verteilung von Ähnlichkeiten mittels der Merkmale (MR, MK) solcher Abbilder aus der Referenz- und/oder Konträrbildmenge (RM, KM), die dieselbe Person abbilden,
Bestimmen (S3) einer weiteren Verteilung von Ähnlichkeiten mittels der Merkmale (MR, MK) solcher Abbilder der Referenzbild- und/oder Konträrbildmenge (RM, KM), die unterschiedliche Personen abbilden, Bestimmen (S4) mindestens einer zur Auswertung eines Kriteriums notwendigen Größe (GK) zur Unterscheidung der Referenzperson (R1) von der oder den Konträrperson(en) (K1 , K2, K3) in Abhängigkeit von der ersten und/oder weiteren Verteilung von Ähnlichkeiten,
Bestimmen (S5) eines Ähnlichkeitsmaßes (AM) mittels der Merkmale (MP, MR) des zu prüfenden Abbilds (PB) und jedes Abbilds der Referenzbildmenge (RM),
Verifizieren (S6), ob die zu verifizierende Person (P1) mit der Referenzperson (R1) identisch ist, wenn das Ähnlichkeitsmaß (AM) das Kriterium erfüllt. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (S1) der Abbilder durch Einlesen über eine Schnittstelle (SN) oder aus einer Datenbank (DB) und/oder durch Erfassen der Porträtgemälde (P) mittels einer Bilderfassungseinrichtung (BE) erfolgt.
36 Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die abbildspezifischen Merkmale (MR, MK, MP) als Vektoren in einem Vektorraum bestimmt werden, wobei die erste und/oder weitere Verteilung und/oder das Ähnlichkeitsmaß (AM) ausgehend von Unterschieden zwischen den Vektoren bestimmt wird/werden. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Größe (GK) zur Auswertung des Kriteriums ein Wert aus einem Wertebereich der ersten und/oder weiteren Verteilung bestimmt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass aus der ersten Verteilung eine erste Wahrscheinlichkeitsverteilung (WV1) erzeugt wird und aus der weiteren Verteilung eine weitere Wahrscheinlichkeitsverteilung (WV2) erzeugt wird. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei der Bestimmung des Ähnlichkeitsmaßes (AM) mindestens ein Plausibilitätswert bestimmt wird, wobei der Plausibilitätswert als ein Verhältnis zwischen den einem Ähnlichkeitswert (AW) zugeordneten Wahrscheinlichkeiten (W) in der ersten und weiteren Wahrscheinlichkeitsverteilung (WV1, WV2) ermittelt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Zuverlässigkeitsgröße bestimmt wird, wobei diese Größe eine Wahrscheinlichkeit (W) der Richtigkeit des Ergebnisses angibt. Verfahren nach einem der vorangegangenen Ansprüche, wobei das Verfahren des maschinellen Lernens (ML) wie folgt trainiert wird,
Bereitstellen (T1) einer ersten Trainingsbildmenge (TM1) mit Porträtfotografien, wobei jedem Abbild mindestens eine fotospezifische Grundwahrheit (GW1) zugeordnet ist,
- Vortainieren (T2) eines neuronalen Netzes (NN) mit der ersten Trainingsbildmenge (TM1), Bereitstellen (T3) einer weiteren T rainingsbildmenge (TM2) mit Abbildern von Porträtgemälden, wobei jedem Abbild mindestens eine gemäldespezifische Grundwahrheit (GW2) zugeordnet ist,
37 Spezialisieren (T4) des vortrainierten neuronalen Netzes (VNN) mit der weiteren Trainingsbildmenge (TM2),
- wobei das derart trainierte Verfahren des maschinellen Lernens (ML) dazu ausgebildet ist, für Abbilder von Porträtgemälden abbildspezifische Merkmale (MR, MK, MP) zu bestimmen. Ein System (SY) zur Personenverifikation umfassend eine Bilderfassungseinrichtung (BE) und/oder eine Schnittstelle (SN), eine Speichereinrichtung (SE), eine Datenverarbeitungseinrichtung (DV) sowie eine Ausgabeeinrichtung (AE), wobei das System (SY) dazu ausgebildet bzw. derart konfiguriert ist, ein Verfahren nach den Ansprüchen 1 bis 8 auszuführen. Computerprogrammprodukt mit einem Computerprogramm, wobei das Computerprogramm Softwaremittel zur Ausführung eines, mehrerer oder aller Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 umfasst, wenn das Computerprogramm von oder in einem Computer oder einem Automatisierungssystem ausgeführt wird.
EP22803311.4A 2021-10-29 2022-10-21 Personenverifikation in porträtgemälden Pending EP4423727A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21205625.3A EP4174791A1 (de) 2021-10-29 2021-10-29 Verfahren und system zur personenverifikation in porträtgemälden und computerprogrammprodukt
PCT/EP2022/079450 WO2023072775A1 (de) 2021-10-29 2022-10-21 Personenverifikation in porträtgemälden

Publications (1)

Publication Number Publication Date
EP4423727A1 true EP4423727A1 (de) 2024-09-04

Family

ID=78414543

Family Applications (2)

Application Number Title Priority Date Filing Date
EP21205625.3A Withdrawn EP4174791A1 (de) 2021-10-29 2021-10-29 Verfahren und system zur personenverifikation in porträtgemälden und computerprogrammprodukt
EP22803311.4A Pending EP4423727A1 (de) 2021-10-29 2022-10-21 Personenverifikation in porträtgemälden

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP21205625.3A Withdrawn EP4174791A1 (de) 2021-10-29 2021-10-29 Verfahren und system zur personenverifikation in porträtgemälden und computerprogrammprodukt

Country Status (3)

Country Link
US (1) US20240273862A1 (de)
EP (2) EP4174791A1 (de)
WO (1) WO2023072775A1 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
US10839493B2 (en) * 2019-01-11 2020-11-17 Adobe Inc. Transferring image style to content of a digital image

Also Published As

Publication number Publication date
WO2023072775A1 (de) 2023-05-04
US20240273862A1 (en) 2024-08-15
EP4174791A1 (de) 2023-05-03

Similar Documents

Publication Publication Date Title
DE69332265T2 (de) Verfahren zur maskenerzeugung
DE68928895T2 (de) Verfahren und Gerät für universelle adaptiv lernende Bildmessung und -erkennung
DE60208223T2 (de) Anordnung und verfahren zur gesichtserkennung unter verwendung von teilen des gelernten modells
DE69309300T2 (de) Verfahren und vorrichtung zur artikelklassifizierung
DE112019002848T5 (de) System und verfahren zum auffinden und klassifizieren von mustern in einem bild mit einem bildverarbeitungssystem
DE112019000093T5 (de) Diskriminierungsvorrichtung und Maschinenlernverfahren
DE69322095T2 (de) Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern
DE60118606T2 (de) Auswahlverfahren für wimperntusche, auswahlsystem für wimperntusche und gerät für die wimperntuscheberatung
DE102018108780A1 (de) Bearbeitungsflächenqualitätsbewertungsvorrichtung
DE19521346A1 (de) Bilduntersuchungs/Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür
WO2000010119A1 (de) Verfahren zum erkennen von objekten in digitalisierten abbildungen
DE102017220307A1 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102022208083A1 (de) Trainieren eines neuronalen Netzwerks mit Hilfe von Wissensgraphen
DE102018222797A1 (de) Informationsverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Aufzeichnungsmedium, auf dem das Bildverarbeitungsprogramm gespeichert ist
WO2000079471A2 (de) Verfahren und vorrichtung zur segmentierung einer punkteverteilung
DE102018205561A1 (de) Vorrichtung zur Klassifizierung von Signalen
DE112020007472T5 (de) Lernnutzungssystem, nutzungsvorrichtung, lernvorrichtung, programm und lernnutzungsverfahren
DE69802372T4 (de) Klassifizierungssystem und -verfahren mit N-Tuple- oder RAM-basiertem neuronalem Netzwerk
WO2023072775A1 (de) Personenverifikation in porträtgemälden
DE102014108924B4 (de) Ein halbüberwachtes Verfahren zum Trainiern eines Hilfsmodells zur Erkennung und Erfassung von Mehrfachmustern
DE102023130646A1 (de) Verfahren zur Dimensionsreduzierung
DE19834718C2 (de) Digitale Bildverarbeitung für ein Qualitätskontrollsystem
DE202022107266U1 (de) Ein Gesichtserkennungssystem zur Unterscheidung zwischen ähnlichen Gesichtern
DE112022001991T5 (de) Tumorzelen-isolinien
EP1170678B1 (de) Verfahren und Vorrichtung zur automatischen Suche relevanter Bilddatensätze

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240523

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250923