EP2923302A1 - Procede de generation d'un modele de visage en trois dimensions - Google Patents

Procede de generation d'un modele de visage en trois dimensions

Info

Publication number
EP2923302A1
EP2923302A1 EP13792400.7A EP13792400A EP2923302A1 EP 2923302 A1 EP2923302 A1 EP 2923302A1 EP 13792400 A EP13792400 A EP 13792400A EP 2923302 A1 EP2923302 A1 EP 2923302A1
Authority
EP
European Patent Office
Prior art keywords
face
template
individual
shape
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13792400.7A
Other languages
German (de)
English (en)
Inventor
Sami Romdhani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Idemia Identity and Security France SAS
Original Assignee
Morpho SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho SA filed Critical Morpho SA
Publication of EP2923302A1 publication Critical patent/EP2923302A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the field of the invention is that of the image processing of faces of individuals, to generate a front view of an individual from a non-frontal image thereof.
  • the invention is particularly applicable to the identification of individuals by face recognition.
  • the identification of individuals by face recognition is implemented by comparing two images of faces, and deducing from this comparison a score evaluating the similarity between the faces on the images.
  • the optimal recognition efficiency is therefore achieved not only when two faces have the same pose on the compared images, but also when the faces are seen from the front, because this view provides the most information on the shape of the face.
  • image processing methods have been developed for generating, from an image of a face, an image of the same face, seen from the front.
  • the acquired image is processed to determine the three-dimensional shape of the face of the individual on the image, its pose, that is to say its position relative to a front view, as well as a representation of the texture of the face, that is, the physical appearance of the surface of the face superimposed on the three-dimensional structure of the shape of the face.
  • the determination of the three-dimensional shape of the face of the individual is carried out by deforming a deformable three-dimensional model of the human face, to minimize the difference between the characteristic points of the model (position of the eyes, nostrils, tip of the nose, commissures of the lips, etc.) and the corresponding points of the face on the image.
  • the purpose of the invention is to propose a method of treating a face image of an individual not having the aforementioned drawback, and in particular making it possible to determine the shape of any human face appearing on a face. picture.
  • the subject of the invention is a method for generating a deformable three-dimensional face model from a plurality of images of faces of individuals, the method being characterized in that it comprises the steps of:
  • a face template acquire example shapes of individuals' faces, for each individual face example, iteratively deform the template so that the shape of the deformed template matches the shape of the face example, and determine the deformation between the initial template and the deformed template, said iterative deformation of the template including minimizing the derivative of the gap between the original template and the deformed template, to constrain the deformed template to retain a human face shape.
  • the generation of the face model as a linear combination of the shape of the template and deformations between the initial template and the deformed template for each example of an individual's face.
  • the method according to the invention also has at least one of the following characteristics:
  • the acquisition of example shapes of faces of individuals comprises the detection of characteristic points of each example of faces of individuals, and the matching of the corresponding characteristic points between the examples of faces.
  • the iterative deformation of the template comprises, for each example of an individual's face, the modification of the positions of the characteristic points of the template in order to minimize a difference of position between said characteristic points and the corresponding points of the example of an individual's face.
  • the iterative deformation of the template further comprises minimizing a difference in position between the points of the template and the surface of the face example.
  • the step of iterative deformation of the template comprises the iterative minimization of a linear combination of:
  • the invention also proposes a method for processing at least one face image of an individual, comprising the steps of generating, from the image, a three-dimensional representation of the individual's face, said representation comprising the steps of:
  • the deformation of the three-dimensional model being carried out by modifying the coefficients of the linear combination of the model
  • the method being characterized in that the changes of the coefficients of the linear combination are constrained to ensure that the deformed pattern corresponds to a human face.
  • the method of processing a face image further comprises at least one of the following features: the modifications of the coefficients of the linear combination are constrained by minimizing the norm of the derivative of the difference between the initial model and the distorted model.
  • the pose and the shape of the face of the individual on the image are estimated simultaneously, by iterative modification of the pose and the shape of the three-dimensional model to minimize the difference between the characteristic points of the face of the individual on the image and corresponding points of the model.
  • the modification of the pose of the model comprises at least one transformation among the preceding group: translation, rotation, change of scale
  • the modification of the shape of the three-dimensional model comprises the determination of the coefficients of the linear combination between the face template and the deformations applied to the template to obtain each face example.
  • the method further comprises the steps of:
  • the method is implemented on a plurality of face images of individuals, and:
  • the step of determining a blank of the pose of the face of the individual is implemented on each face image of the individual
  • the step of determining the shape and the pose of the face of the individual is implemented on all the face images by iteratively deforming the three-dimensional model so that the shape of the deformed model corresponds to the shape of the individual's face on the images.
  • the invention finally proposes a system for identifying individuals comprising at least one control server of an individual to be identified, and at least one management server of a database of N reference images of listed individuals, the server control system comprising acquisition means adapted to proceed to the acquisition of an image of the face of the individual,
  • the system for identifying individuals being characterized in that one of the control server and the management server comprises processing means adapted to implement the processing method according to the invention, and, from a front view of the face of an individual obtained, implement a face recognition treatment by comparison with the reference images of the base, in order to identify the individual. DESCRIPTION OF THE FIGURES
  • FIG. 1 represents an exemplary identification system adapted to implement an image processing method.
  • FIG. 2a represents the main steps of the method for generating a three-dimensional model of faces
  • FIG. 2b represents the main steps of the image processing method according to the invention.
  • Figure 3 illustrates the characteristic points of a face.
  • Figure 4 illustrates notations used for calculating a differentiation matrix.
  • FIG. 5a is an image of a face to be treated in order to identify the individual on the image
  • FIGS. 5b and 5c are respectively the restitution of the shape of the face of the individual and a representation of the texture of said face
  • Figure 5d is a front view of the face of the individual reconstructed from the image of Figure 5a.
  • Figures 6a and 6b are respectively input images of the same face and a face image of the face obtained from these input images.
  • an identification system 1 adapted to implement an image processing method.
  • a control server SC provided with means 1 1 of acquisition of appropriate images, proceeds to the acquisition of an image of the face of the individual. This image may be non-frontal.
  • the control server SC can also acquire a face image of the individual, this time frontal, which is stored in an identity document.
  • the control server then advantageously comprises processing means adapted to implement, on the first image of the face of the individual, a treatment aimed at "frontalising” this image: that is, to generate, from of this image, a frontal image.
  • the control server can advantageously compare the two front images it has, to determine if the faces on the images correspond to the same person.
  • the second face image can be stored, among other images, in a database of a management server SG.
  • the control server transmits the first image that it has acquired to the management server, and the latter implements the method of processing the first image and comparison to identify the individual I.
  • the comparison can take place between the "frontalised" image of the individual and each face image recorded in the database.
  • the shape of the object which is composed of a set of 3D vertices, each vertex being a point of the object defined by coordinates along three orthogonal directions.
  • the surface of the object it is materialized by connecting vertex between them to form triangles.
  • a list of triangles is thus defined for each object, each triangle being indicated by the three indexes of the corresponding columns of the matrix S.
  • a representation of the texture of the object it is an image used to color the object in three dimensions obtained from its shape and its surface. The surface of the object defined by the triangle list is used to match the vertices of the object to a particular texture.
  • the method includes a first step 100 of generating a three-dimensional model of a human face shape, which can be deformed to obtain any type of human face shape.
  • This model is mathematically formulated as a linear combination of examples of individuals' faces, noted
  • S 0 is a template of human face shape, constituting the basis of the model
  • S ° + S j represents the shape of the face of a particular example of a real individual. Therefore, S j represents the gap between one of the face examples and the template.
  • the coefficients ⁇ are later determined to distort the model S to match the face of an individual that we want to identify.
  • the template S 0 of human face is generated: it may be a face shape of a particular individual, or an average of faces of a plurality of faces. 'people.
  • the face shape or shapes are defined by a series of vertex corresponding to points of the face. These points comprise, inter alia, a number N s of characteristic points of a face, represented in FIG. 3, typically 22, and which are the corners of the eyes, the ends of the mouth, the nostrils, the tip of the nose, ears, etc.
  • These feature points can be manually marked by an operator from a front face image, or they can be automatically spotted by a server.
  • the human face template also includes the order of a few thousand other vertex acquired by a 3D scanner.
  • a step 120 we proceed to the acquisition of forms of examples of faces of real individuals. This acquisition is implemented in the same way as before, by identifying the characteristic points of the faces of individuals to generate a list of vertexes.
  • the shapes of faces thus acquired each correspond to a S ° + S j .
  • the deflection S j between the face and the template is determined from the vertex lists of each face shape.
  • the peculiarity of the template is that it is a form of face for which vertex indexing is already done. Therefore, the vertex indexing of each example of a face shape is performed by mapping in step 130 the vertices of each example shape to the vertex of the template.
  • the deformed template deforms in a step 131 the template iteratively to minimize the gap between the template shape and that of the face example, the deformed template must always correspond to a human face shape.
  • the mathematical function to be minimized includes three terms.
  • the first term serves to minimize the distance between the characteristic points of an example of a face and the corresponding points of the template. It is written:
  • i is the index of a characteristic point
  • v ki is a vertex of a point of the template after deformation corresponding to the same point characteristic i
  • N s is the number of characteristic points in a face, for example 22.
  • the second term is used to match the surface of the face shape of the template with the surface of the shape of the face example.
  • the function to be minimized represents the difference between the points of the template and the surface of the face example that is closest to the feature points. It is noted:
  • Pvi is a point on the surface of the face example, that is to say a point corresponding to the projection on the surface of the face of the vertex ⁇ ,. It is possible that the surface of the face example is incomplete, if for example it is obtained from a non-frontal image, and that points of the template do not correspond to any point of the face example. In this case, these points of the template are not taken into account.
  • the third term constrains the deformed template to remain a real human face, even if the face example used for deformation of the template is incomplete or contains noise.
  • This term makes the jig deformed as "smooth" as possible, that is to say as continuous as possible, by minimizing the standard of the derivative of the transformation of the jig, at each iteration. This standard is expressed as follows:
  • v is the concatenation of the 3D vertices of the deformed template
  • vec (S °) the same term for the template before transformation
  • v and vec (S °) are vectors of size 3N X 1.
  • A is a vector differentiation matrix v-vec (S °), of dimension 3T x 3N, where T is the number of triangles of the surface of the template.
  • the derivative is calculated for each triangle t of the surface of the template, the derivative of the deformation of a triangle t being calculated with respect to the triangles q neighbors of the triangle t, by approximation of the finite difference of the triangle t with the neighboring triangles q as follows:
  • N t is the set of triangles q adjacent to the triangle t
  • w qt is a weighting factor that depends on the surfaces of the triangles t and q
  • d t is the deformation of the triangle t at its centroid
  • b t is the position of the centroid of the triangle t.
  • the distance between the centers of gravity and the weighting factor are calculated on the undeformed template S 0 .
  • the weighting factor w qt is the sum of the surfaces of two triangles whose base is the edge connecting the triangles t and q, and the opposite vertex to this base is respectively the barycenters b t of the triangle t and that b q of the triangle q.
  • the deformation of the shape is multiplied (v-vec (S 0 )) by a matrix B t of dimension 3 3N which is zero everywhere except the elements associated with the vertex of the triangle t. These elements are then equal 1/3.
  • the matrix A of dimension 3T x 3N, is obtained by vertically concatenating the set of matrices B t associated with each triangle t, whose coefficients corresponding to the vertex of a triangle t are multiplied by weighting factors w qt and divided by the distances between the centers of gravity ⁇ b q - b t ⁇
  • the differentiation matrix A depends solely on the surface of the undistorted template (list of triangles of S 0 ), and not on the shape of the deformed template v. It is therefore constant.
  • the template may be arbitrarily removed from the individual's face example, and thus the points p v , of the face surface closest to the points V, of the template are not well defined.
  • a significant value is fixed for ⁇ to ensure that the transformation is almost rigid, that is to say that the shape of the face of the template is the least distorted possible.
  • the value of ⁇ is increased.
  • the points p v are searched on the surface of the example of the individual face, as being the closest to the points v, of the template deformed at this iteration.
  • these points ⁇ ⁇ are more and more reliable and the value of the coefficient ⁇ is decreased to make the comparison more flexible.
  • This iterative mapping step is performed for each individual face example. It results in a deformed template, which corresponds to an example of a face, from which we can deduce the value of S j , the deviation between the template and the example of the face.
  • a deformable three-dimensional face model is obtained, comprising the template S 0 and the deviations S j , which can be made linear combinations to obtain any individual face.
  • this model can be used to generate, from a face image of an individual, a three-dimensional shape of his face.
  • an image of the face of an individual that one wishes to identify is acquired, for example by means of a control server of FIG. 1.
  • An example of such an image is appended in FIG. 5a.
  • the pose is defined relative to a reference using six parameters: three rotation angles, two translation parameters and a scale factor and is defined as follows:
  • p is a two-dimensional vector, comprising the X and Y coordinates of the projection of each vertex v in three dimensions
  • s is the scale parameter
  • R is a 2 x 3 matrix whose two lines are the first two rows of a rotation matrix
  • t is a translation vector in X and Y.
  • the rotation matrix is written according to the angles of Euler a x , a y , and a z as follows:
  • the positions of the characteristic points of the face of the individual on the image are acquired in the same way as previously, for example by the pointing of an operator or by an automatic detection.
  • Pi is the position of a characteristic point i on the image and v, is a vertex of the corresponding point i of the template.
  • v is a vertex of the corresponding point i of the template.
  • Each characteristic point i is therefore assigned a weighting coefficient c, representative of the "confidence" in the position of the point. If a point is invisible on the image, then its confidence coefficient is zero.
  • the pose obtained for the template at the end of the minimization constitutes the pose of the face of the individual on the image.
  • This optimization problem is solved with a two-step procedure, the first step 310 being the linear search of a solution, and the second step being the nonlinear minimization 320 to refine the estimate of the pose obtained with the first one. step.
  • This first step of linear resolution 310 provides a good initial estimate of the pose, but the assumption previously adopted for the linear resolution not being however based in practice, the estimation needs to be refined by the step of non-linear estimate 320.
  • the result of the linear step is refined by implementing a non-linear iterative step 320, for which a preferred method is the minimization of
  • This step finally makes it possible to obtain a first estimate of the pose of the face of the individual on the image, this pose then being refined during the step 400 of "flexible” estimation of the pose and the shape of the face . It is therefore considered that at this stage a "draft" of the pose of the face has been determined.
  • step 400 of flexible estimation of the pose and the shape is implemented using the three-dimensional face model obtained in step 100.
  • this model is written in the form of a linear combination of the template S0 and deviations of this template compared to examples of individuals:
  • the shape of any face can be obtained by choosing the coefficients a, of the linear combination.
  • the flexible estimation of the shape and pose of the face of the individual on the image is thus achieved by minimizing the difference between the projections of the characteristic points p, the face of the individual on the image, and the same projections of the model.
  • it is iteratively modified the shape of the face obtained by the model (thanks to the coefficients ⁇ ; ) and the parameters of pose of the face.
  • the aj coefficients are then constrained to guarantee a realistic human face.
  • the norm of the derivative of the deformation of the three-dimensional model is minimized, the deformed vertexes of the model being here defined as a function of the vector a comprising the aj for j between 1 and M.
  • the derivative of the deformation of the Three-dimensional model is obtained by multiplying the deformed model by a matrix A 'constructed in the same way as the matrix A of previous differentiation.
  • This minimization step corresponds to a hypothesis of continuity of the face, which is verified regardless of the individual and therefore allows the process to be as general as possible, that is to say applicable for any individual.
  • This equation is solved, analogously to the nonlinear minimization step, using the Levenberg-Marquardt minimization algorithm.
  • the initialization of the pose is provided by the pose obtained at the end of the rigid estimation step.
  • the initial form used for the minimization is that of the template S 0 of origin, ie that the values of the coefficients ⁇ ; initials are zero.
  • the deformed three-dimensional model thus corresponds to the three-dimensional shape of the individual's face in the image, represented in FIG. 5b.
  • This three-dimensional shape can be manipulated simply to obtain a frontal representation.
  • a representation of the texture of the face of the face is generated.
  • the individual represented in FIG. 5c.
  • a two-dimensional face image of the individual is generated. This image is illustrated in Figure 5d. It can serve as a basis for a conventional identification method by face recognition.
  • this method can be implemented for a plurality of input images of the same individual, to obtain a unique three-dimensional shape of the individual's face and a unique representation of the texture of the face of the person. the individual.
  • a set of installation parameters must be estimated for each input image.
  • step 400 of flexible estimation of the pose and the shape is carried out on all the K images by searching for the following minimum:
  • FIG. 6a shows two input images of the same individual, and in FIG. 6b a front image of the individual generated with this method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de génération d'un modèle de visage en trois dimensions déformable à partir d'une pluralité d'images de visages d'individus, comprenant les étapes consistant à : - générer un gabarit de visage, - acquérir des formes d'exemples de visages d'individus, - pour chaque exemple de visage d'individu, déformer de manière itérative le gabarit pour que la forme du gabarit déformé corresponde à la forme de l'exemple de visage, et déterminer la déformation entre le gabarit initial et le gabarit déformé, et - la génération du modèle de visage comme une combinaison linéaire de la forme du gabarit et des déformations entre le gabarit initial et le gabarit déformé pour chaque exemple de visage d'individu. L'invention concerne également un procédé de traitement d'une image de visage d'un individu pour générer une image en trois dimensions du visage de l'individu à partir dudit modèle déformable.

Description

PROCEDE DE GENERATION D'UN MODELE DE VISAGE EN TROIS
DIMENSIONS DOMAINE DE L'INVENTION
Le domaine de l'invention est celui du traitement d'images de visages d'individus, pour générer une vue de face d'un individu à partir d'une image non frontale de celui-ci.
L'invention est applicable notamment à l'identification d'individus par reconnaissance de visage.
ETAT DE LA TECHNIQUE
L'identification d'individus par reconnaissance de visage est mise en œuvre en comparant deux images de visages, et en déduisant de cette comparaison un score évaluant la ressemblance entre les visages figurant sur les images.
Lorsque les visages comparés n'apparaissent pas sur l'image avec la même pose, le score de ressemblance peut être fortement dégradé, même si les visages figurant sur les images proviennent de la même personne. Il en résulte une perte d'efficacité importante des procédés d'identification mis en œuvre, dès lors que la pose du visage sur les images n'est pas la même.
L'efficacité optimale de reconnaissance est donc atteinte non seulement lorsque deux visages présentent la même pose sur les images comparées, mais encore lorsque les visages sont vus de face, car cette vue fournit le plus d'informations sur la forme du visage.
II est cependant impossible d'obtenir systématiquement une image de face d'un visage pour l'identification. En effet, dans la plupart des situations, on compare une image de face préalablement enregistrée d'un individu, comme par exemple dans un document d'identité, à une image de l'individu acquise « à la volée » par un système d'acquisition telle qu'une caméra de surveillance. L'image ainsi acquise n'est pratiquement jamais une image de face car l'individu ne regarde par le système d'acquisition.
Dans ce cas, des procédés de traitement d'images ont été développés pour générer, à partir d'une image d'un visage, une image du même visage, vu de face. Pour ce faire, on traite l'image acquise pour déterminer la forme en trois dimensions du visage de l'individu sur l'image, sa pose, c'est-à-dire sa position par rapport à une vue de face, ainsi qu'une représentation de la texture du visage, c'est- à-dire l'apparence physique de la surface du visage superposée à la structure en trois dimensions de la forme du visage.
La détermination de la forme en trois dimensions du visage de l'individu est quant à elle réalisée par déformation d'un modèle en trois dimensions déformable de visage humain, pour minimiser l'écart entre des points caractéristiques du modèle (position des yeux, des narines, bout du nez, commissures des lèvres, etc.) et les points correspondant du visage sur l'image.
Différents types de modèles de visage en trois dimensions ont déjà été proposés. On connaît par exemple d'après la publication A Morphable Model For the Synthesis of 3D Faces, V. Blanz, T. Vetter, Mac-Planck-Institut fur biologische Kybernetik, un modèle de visage en trois dimensions généré à partir d'exemples de visages d'individu, dont on a mis en correspondance les points caractéristiques, et sur lesquels on a mis en œuvre une analyse statistique dite « analyse en composantes principales ». Cette analyse repose sur une hypothèse particulièrement contraignante, selon laquelle les formes des visages humains présentent une densité de probabilité gaussienne.
Or, cette hypothèse n'est pas prouvée, si bien que le modèle de visage ainsi généré ne peut vraisemblablement pas être utilisé pour générer n'importe quel visage humain.
PRESENTATION DE L'INVENTION
L'invention a pour but de proposer un procédé de traitement d'une image de visage d'un individu ne présentant pas l'inconvénient ci-dessus mentionné, et permettant notamment de déterminer la forme de n'importe quel visage humain figurant sur une image. A cet égard, l'invention a pour objet un procédé de génération d'un modèle de visage en trois dimensions déformable à partir d'une pluralité d'images de visages d'individus, le procédé étant caractérisé en ce qu'il comprend les étapes consistant à :
générer un gabarit de visage, acquérir des formes d'exemples de visages d'individus, pour chaque exemple de visage d'individu, déformer de manière itérative le gabarit pour que la forme du gabarit déformé corresponde à la forme de l'exemple de visage, et déterminer la déformation entre le gabarit initial et le gabarit déformé, ladite déformation itérative du gabarit comprenant la minimisation de la dérivée de l'écart entre le gabarit initial et le gabarit déformé, pour contraindre le gabarit déformé à conserver une forme de visage humain.
- et
- la génération du modèle de visage comme une combinaison linéaire de la forme du gabarit et des déformations entre le gabarit initial et le gabarit déformé pour chaque exemple de visage d'individu.
Avantageusement, mais facultativement, le procédé selon l'invention présente en outre au moins l'une des caractéristiques suivantes :
l'acquisition de formes d'exemples de visages d'individus comprend la détection de points caractéristiques de chaque exemple de visages d'individus, et la mise en correspondance des points caractéristiques correspondants entre les exemples de visages.
la déformation itérative du gabarit comprend, pour chaque exemple de visage d'un individu, la modification des positions des points caractéristiques du gabarit pour minimiser une différence de position entre lesdits points caractéristiques et les points correspondants de l'exemple de visage d'individu.
la déformation itérative du gabarit comprend en outre la minimisation d'une différence de position entre les points du gabarit et la surface de l'exemple de visage.
l'étape de déformation itérative du gabarit comprend la minimisation itérative d'une combinaison linéaire de :
o la différence de position entre les points caractéristiques de l'exemple de visage et les points correspondants du gabarit,
o la dérivée de l'écart entre le gabarit initial et le gabarit déformé, et o une différence de position entre les points du gabarit et la surface de l'exemple de visage, et les coefficients de la combinaison linéaire varient d'une itération à l'autre.
L'invention propose également un procédé de traitement d'au moins une image de visage d'un individu, comprenant les étapes consistant à générer, à partir de l'image, une représentation en trois dimensions du visage de l'individu, ladite représentation comprenant les étapes consistant à :
déterminer une ébauche de la pose du visage de l'individu sur l'image par comparaison entre des positions de points caractéristiques du visage de l'individu et des positions de points correspondants d'une forme de visage humain de référence,
déterminer la forme et la pose du visage de l'individu sur l'image en déformant de manière itérative un modèle en trois dimensions obtenu par la mise en œuvre du procédé de génération d'un modèle de visage selon l'invention, pour que la forme du modèle déformé corresponde à la forme du visage de l'individu sur l'image,
la déformation du modèle en trois dimensions étant réalisée par modification des coefficients de la combinaison linéaire du modèle,
le procédé étant caractérisé en ce que les modifications des coefficients de la combinaison linéaire sont contraintes pour garantir que le modèle déformé corresponde à un visage humain.
Avantageusement, mais facultativement, le procédé de traitement d'une image de visage comprend en outre au moins l'une des caractéristiques suivantes : les modifications des coefficients de la combinaison linéaire sont contraintes par minimisation de la norme de la dérivée de l'écart entre le modèle initial et le modèle déformé.
la pose et la forme du visage de l'individu sur l'image sont estimées simultanément, par modification itérative de la pose et de la forme du modèle en trois dimensions pour minimiser l'écart entre les points caractéristiques du visage de l'individu sur l'image et les points correspondants du modèle. la modification de la pose du modèle comprend au moins une transformation parmi le groupe précédent : translation, rotation, changement d'échelle, la modification de la forme du modèle en trois dimensions comprend la détermination des coefficients de la combinaison linéaire entre le gabarit de visage et les déformations appliquées au gabarit pour obtenir chaque exemple de visage.
le procédé comprend en outre les étapes consistant à :
o à partir de l'estimation de la pose et de la forme du visage de l'individu sur l'image, générer une représentation de la texture du visage de l'individu, et
o générer une vue de face du visage de l'individu.
Le procédé est mis en œuvre sur une pluralité d'images de visage d'individus, et:
o l'étape de détermination d'une ébauche de la pose du visage de l'individu est mise en œuvre sur chaque image de visage de l'individu, et
o l'étape de détermination de la forme et la pose du visage de l'individu est mise en œuvre sur l'ensemble des images de visage en déformant de manière itérative le modèle en trois dimensions pour que la forme du modèle déformé corresponde à la forme du visage de l'individu sur les images.
L'invention propose enfin un système d'identification d'individus comportant au moins un serveur de contrôle d'un individu à identifier, et au moins un serveur de gestion d'une base de N images de références d'individus répertoriés, le serveur de contrôle comprenant des moyens d'acquisition adaptés pour procéder à l'acquisition d'une image du visage de l'individu,
le système d'identification d'individus étant caractérisé en ce que l'un du serveur de contrôle et du serveur de gestion comporte des moyens de traitement adaptés pour mettre en œuvre le procédé de traitement selon l'invention, et, à partir d'une vue de face du visage d'un individu obtenue, mettre en œuvre un traitement de reconnaissance de visage par comparaison avec les images de références de la base, afin d'identifier l'individu. DESCRIPTION DES FIGURES
D'autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre, au regard des figures annexées, données à titre d'exemples non limitatifs et sur lesquelles :
La figure 1 représente un exemple de système d'identification adapté pour mettre en œuvre un procédé de traitement d'images.
La figure 2a représente les principales étapes du procédé de génération d'un modèle en trois dimensions de visages,
- La figure 2b représente les principales étapes du procédé de traitement d'images selon l'invention.
La figure 3 illustre les points caractéristiques d'un visage.
La figure 4 illustre des notations utilisées pour le calcul d'une matrice de différentiation.
- La figure 5a est une image d'un visage à traiter afin d'identifier l'individu sur l'image,
Les figures 5b et 5c sont respectivement la restitution de la forme du visage de l'individu et une représentation de la texture dudit visage,
La figure 5d est une image de face du visage de l'individu reconstruite à partir de l'image de la figure 5a.
Les figures 6a et 6b sont respectivement des images d'entrées d'un même visage et une image de face du visage obtenue à partir de ces images d'entrées. DESCRIPTION DETAILLEE D'AU MOINS UN MODE DE MISE EN ŒUVRE DE L'INVENTION
Système de traitement d'images
En référence à la figure 1 , on a représenté un système d'identification 1 adapté pour mettre en œuvre un procédé de traitement d'images. Lors de l'identification d'un individu I, un serveur de contrôle SC, muni de moyens 1 1 d'acquisition d'images appropriés, procède à l'acquisition d'une image du visage de l'individu. Cette image peut être non frontale. Afin d'identifier l'individu I, le serveur de contrôle SC peut également acquérir une image de visage de l'individu, frontale cette fois, qui est mémorisée dans un document d'identité.
Le serveur de contrôle comprend alors avantageusement des moyens de traitement adaptés pour mettre en œuvre, sur la première image du visage de l'individu, un traitement visant à « frontaliser » cette image : c'est-à-dire de générer, à partir de cette image, une image frontale. Suite à ce traitement de frontalisation, le serveur de contrôle peut avantageusement comparer les deux images frontales dont il dispose, afin de déterminer si les visages figurant sur les images correspondent à la même personne.
Alternativement, la seconde image de visage peut être stockée, parmi d'autres images, dans une base de données d'un serveur de gestion SG. Alors, le serveur de contrôle transmet la première image qu'il a acquise au serveur de gestion, et celui-ci met en œuvre le procédé de traitement de la première image et de comparaison pour identifier l'individu I. Dans ce cas, la comparaison peut avoir lieu entre l'image « frontalisée » de l'individu et chacune des images de visage enregistrées dans la base de données.
Procédé de traitement d'images de visages
En référence à la figure 2, on va maintenant décrire un procédé de traitement d'images de visages, permettant d'obtenir une image frontale de visage d'un individu.
En informatique, chaque objet en trois dimensions tel qu'un visage humain peut être décrit à l'aide des trois éléments suivants :
- La forme de l'objet, qui est composée d'un ensemble de vertex 3D, chaque vertex étant un point de l'objet défini par des coordonnées le long de trois directions orthogonales. On note N le nombre de vertex vi d'un objet, chaque objet étant décrit par une matrice de dimension 3xN S=(v1,...,vN) dans laquelle les vertex sont arrangés en colonnes.
- La surface de l'objet : elle est matérialisée en reliant entre eux des vertex pour former des triangles. Une liste de triangles est donc définie pour chaque objet, chaque triangle étant indiqué par les trois index des colonnes correspondantes de la matrice S. Une représentation de la texture de l'objet : il s'agit d'une image utilisée pour colorier l'objet en trois dimensions obtenu à partir de sa forme et de sa surface. La surface de l'objet définie par la liste de triangles est utilisée pour faire correspondre les vertex de l'objet à une texture particulière.
Génération d'un modèle 3D déformable
Le procédé comprend une première étape 100 consistant à générer un modèle en trois dimensions d'une forme de visage humain, que l'on peut déformer pour obtenir tout type de forme de visage humain.
Ce modèle est formulé mathématiquement comme une combinaison linéaire d'exemples de visages d'individus, noté
Où S0 est un gabarit de forme de visage humain, constituant la base du modèle, et S°+Sj représente la forme du visage d'un exemple particulier d'individu réel. Par conséquent, Sj représente l'écart entre l'un des exemples de visages et le gabarit.
Les coefficients α; sont quant à eux déterminés ultérieurement pour déformer le modèle S afin de le faire correspondre au visage d'un individu que l'on veut identifier.
On va maintenant décrire les étapes permettant d'obtenir ce modèle.
Au cours d'une étape 1 10, on génère le gabarit S0 de visage humain : il peut s'agir d'une forme de visage d'un individu particulier, ou d'une moyenne de formes de visages d'une pluralité d'individus. Dans tous les cas, la ou les formes de visages sont définies par une série de vertex correspondant à des points du visage. Ces points comprennent, entre autres, un nombre Ns de points caractéristiques d'un visage, représentés en figure 3, typiquement au nombre de 22, et qui sont les coins des yeux, les extrémités de la bouche, des narines, le bout du nez, des oreilles, etc.
Ces points caractéristiques peuvent être repérés manuellement par un opérateur à partir d'une image frontale de visage, ou ils peuvent être repérés automatiquement par un serveur.
Le gabarit de visage humain comprend en outre de l'ordre de quelques milliers d'autres vertex acquis par un scanner 3D. Au cours d'une étape 120, on procède à l'acquisition de formes d'exemples de visages d'individus réels. Cette acquisition est mise en œuvre de la même manière que précédemment, en repérant les points caractéristiques des visages des individus pour générer une liste de vertex.
Les formes de visages ainsi acquises correspondent chacune à un S°+Sj.
Pour construire le modèle en trois dimensions, on détermine à partir des listes de vertex de chaque forme de visage la déviation Sj entre le visage et le gabarit.
Or, il faut que toutes les formes générées par le modèle en trois dimensions S soient des formes de visages possibles, et non des aberrations mathématiques. Pour s'assurer de ce résultat, on met tous les exemples de formes de visage en correspondance, c'est-à-dire en associant chaque vertex d'un visage à un nombre défini. Par exemple, on attribue un nombre donné au bout du nez et un autre nombre à la commissure gauche des lèvres. Ces nombres correspondent aux indices des vertex.
La particularité du gabarit est qu'il s'agit d'une forme de visage pour laquelle l'indexation des vertex est déjà réalisée. Par conséquent, l'indexation des vertex de chaque exemple de forme de visage est réalisée en mettant en correspondance au cours d'une étape 130 les vertex de chaque exemple de forme avec les vertex du gabarit.
Pour ce faire, on déforme au cours d'une étape 131 le gabarit de manière itérative pour minimiser l'écart entre la forme du gabarit et celle de l'exemple de visage, le gabarit déformé devant toujours correspondre à une forme de visage humain.
La fonction mathématique à minimiser comprend trois termes.
Le premier terme sert à minimiser la distance entre les points caractéristiques d'un exemple de visage et les points correspondant du gabarit. Elle s'écrit :
Où i est l'indice d'un point caractéristique, est un vertex d'un point d'un visage d'exemple d'individu correspondant au point caractéristique i, vki est un vertex d'un point du gabarit après déformation correspondant au même point caractéristique i, et Ns est le nombre de points caractéristiques dans un visage, par exemple 22.
On cherche donc à modifier les positions des points caractéristiques du gabarit itérativement pour correspondre aux positions des mêmes points caractéristiques sur l'exemple de visage.
Le second terme sert à mettre en correspondance la surface de la forme du visage du gabarit avec la surface de la forme de l'exemple de visage. La fonction à minimiser représente l'écart entre les points du gabarit et la surface de l'exemple de visage qui est la plus proche des points caractéristiques. Elle est notée :
Où Pvi est un point de la surface de l'exemple de visage, c'est-à-dire un point correspondant à la projection sur la surface du visage du vertex ν,. Il est possible que la surface de l'exemple de visage soit incomplète, si par exemple elle est obtenue à partir d'une image non frontale, et que des points du gabarit ne correspondent à aucun point de l'exemple de visage. Dans ce cas, ces points du gabarit ne sont pas pris en compte.
Le troisième terme contraint le gabarit déformé à rester un visage humain réel, même si l'exemple de visage utilisé pour la déformation du gabarit est incomplet ou contient du bruit. Ce terme rend le gabarit déformé le plus « lisse » possible, c'est-à-dire le plus continu possible, en minimisant la norme de la dérivée de la transformation du gabarit, à chaque itération. On exprime cette norme de la manière suivante :
\\A - vec(S°)) \\2
Où v est la concaténation des vertex 3D du gabarit déformé, et vec(S°) le même terme pour le gabarit avant transformation, v et vec(S°) sont des vecteurs de taille 3N X 1.
La dérivation d'une fonction étant une opération linéaire, son calcul peut être réalisé par la multiplication de la fonction par une matrice. En l'espèce, A est une matrice de différentiation du vecteur v-vec(S°), de dimension 3T x 3N, où T est le nombre de triangles de la surface du gabarit.
La dérivée est calculée pour chaque triangle t de la surface du gabarit, la dérivée de la déformation d'un triangle t étant calculée par rapports aux triangles q voisins du triangle t, par approximation de la différence finie du triangle t avec les triangles voisins q comme suit :
Où Nt est l'ensemble des triangles q voisins du triangle t, wq t est un facteur de pondération qui dépend des surfaces des triangles t et q, dt est la déformation du triangle t au niveau de son barycentre, et bt est la position du barycentre du triangle t. La distance entre les barycentres ainsi que le facteur de pondération sont calculés sur le gabarit non déformé S0.
En référence à la figure 4, le facteur de pondération wq t est la somme des surfaces de deux triangles dont la base est l'arête connectant les triangles t et q, et le sommet opposé à cette base est respectivement le barycentres bt du triangle t et celui bq du triangle q.
Pour obtenir la déformation dt du triangle t au niveau de son barycentre (c'est-à-dire le déplacement du barycentre entre le gabarit non déformé et le gabarit déformé), on multiplie la déformation de la forme (v-vec(S0)) par une matrice Bt de dimension 3 3N qui est nulle partout sauf aux éléments associés aux vertex du triangle t. Ces éléments sont alors égaux 1/3.
Le barycentre bt du triangle t étant la moyenne de ses trois vertex, la multiplication de cette matrice B à la déformation (v-vec(S0)) permet d'obtenir le déplacement du barycentre du triangle.
La matrice A, de dimension 3T x 3N, est obtenue en concaténant verticalement l'ensemble des matrices Bt associées à chaque triangle t, dont les coefficients correspondant aux vertex d'un triangle t sont multipliés par les facteurs de pondérations wq t et divisés par les distances entre les barycentres \\bq - bt \\
On constate que la matrice de différentiation A dépend uniquement de la surface du gabarit non déformé (liste de triangles de S0), et non pas de la forme du gabarit déformé v. Elle est donc constante.
Les trois termes décrits en détails ci-avant sont minimisés simultanément, on détermine donc : Où κ, et γ sont des coefficients de pondération de chaque terme. Cette minimisation peut être résolue linéairement par décomposition en valeurs singulières.
Comme cette minimisation est itérative, au début de l'étape de mise en correspondance, le gabarit peut être arbitrairement éloigné de l'exemple de visage de l'individu, et donc les points pv, de la surface du visage les plus proches des points V, du gabarit ne sont pas bien définis. On fixe alors une valeur faible pour κ comparativement aux autres coefficients de pondération. Par ailleurs, on fixe une valeur importante pour γ pour s'assurer que la transformation est quasi rigide, c'est- à-dire que la forme du visage du gabarit est la moins déformée possible.
A chaque itération de la minimisation, on augmente la valeur de κ. A chaque itération, les points pv, sont recherchés sur la surface de l'exemple de visage d'individu, comme étant les plus proches des points v, du gabarit déformé à cette itération. A mesure que la minimisation est itérée, ces points ρν, sont de plus en plus fiables et on diminue la valeur du coefficient γ pour rendre plus flexible la comparaison.
Cette étape de mise en correspondance itérative est réalisée pour chaque exemple de visage d'individu. Elle aboutit à un gabarit déformé, qui correspond à un exemple de visage, et dont on peut déduire la valeur de Sj, la déviation entre le gabarit et l'exemple de visage.
On obtient donc, à l'issue de cette étape, un modèle déformable de visage en trois dimensions, comprenant le gabarit S0 et les déviations Sj, dont on peut réaliser des combinaisons linéaires pour obtenir n'importe quel visage d'individu. Une fois ce modèle obtenu, on peut l'utiliser pour générer, à partir d'une image de visage d'un individu, une forme en trois dimensions de son visage.
De retour à la figure 2, on acquiert au cours d'une étape 200 une image du visage d'un individu que l'on souhaite identifier, par exemple au moyen d'un serveur de contrôle de la figure 1. Un exemple d'une telle image est annexé en figure 5a.
Puis, on met en œuvre une étape 300 d'estimation dite « rigide » de la pose, ou position, du visage sur l'image. L'estimation est dite rigide car elle ne comprend pas de déformation du visage. La pose est définie de manière relative, par rapport à une référence, en utilisant six paramètres : trois angles de rotation, deux paramètres de translation et un facteur d'échelle et est définie ainsi :
p = s. R. v + t
Où p est un vecteur à deux dimensions, comprenant les coordonnées en X et Y de la projection de chaque vertex v en trois dimensions, s est le paramètre d'échelle, R est une matrice de type 2 x 3 dont les deux lignes sont les deux premières lignes d'une matrice de rotation, et t est un vecteur de translation en X et en Y.
La matrice de rotation s'écrit en fonction des angles d'Euler ax, ay, et az comme suit :
R
Pour estimer la pose, on acquiert de la même manière que précédemment les positions des points caractéristiques du visage de l'individu sur l'image, par exemple par le pointage d'un opérateur ou par une détection automatique. On pourra à cet égard se référer aux publications suivantes :
Yow et al. Feature-based human face détection. Image and Vision
Computing, 15(9) : 713-735, 1997.
Nikolaidis et Pitas, Facial feature extraction and détermination of pose, Proc. Of the NOBLESSE Workshop on Nonlinear Model Based Image Analysis, page 257-262, 1998.
Lee et al. Realtime facial feature détection for person identification system,
IAPR Workshop on Machine Vision Applications, 2000.
Puis, on compare les positions de ces points avec les projections des vertex des points correspondant d'un exemple type de visage, qui peut être en l'occurrence le gabarit S0 utilisé pour générer le modèle en trois dimensions. Cette comparaison est réalisée en modifiant de façon itérative la pose du gabarit de visage, en faisant varier les paramètres mentionnés ci-avant, pour minimiser l'écart entre les projections des vertex du visage de l'individu et du gabarit de la façon suivante :
Où Pi est la position d'un point caractéristique i sur l'image et v, est un vertex du point correspondant i du gabarit. En fonction de l'image de l'individu dont on dispose, qui est non frontale, certains points caractéristiques peuvent être invisibles sur l'image ou leur position peut être incertaine.
On attribue donc à chaque point caractéristique i un coefficient c, de pondération, représentatif de la « confiance » sur la position du point. Si un point est invisible sur l'image, alors son coefficient de confiance est nul.
La détermination de la pose de l'individu sur l'image s'écrit alors ainsi :
22 La pose obtenue pour le gabarit à la fin de la minimisation constitue la pose du visage de l'individu sur l'image.
Ce problème d'optimisation est résolu avec une procédure en deux étapes, la première étape 310 étant la recherche linéaire d'une solution, et la seconde étape étant la minimisation non-linéaire 320 pour raffiner l'estimation de la pose obtenue avec la première étape.
On va maintenant décrire l'étape 310 d'estimation linéaire.
Cette estimation part de l'hypothèse que la distance entre les positions des points caractéristiques et la modélisation de leur projection, appelée l'erreur de « rétroprojection », est gaussienne avec une moyenne nulle et un écart-type égal à -L, et que si l'erreur est indépendante pour tous les points, alors on peut montrer que la solution de l'équation précédente est aussi la solution du système linéaire suivant :
Ax = b
Avec
χτ— (sr1:L sr12 sr13 tx sr2 sr22 sr23 £y)
bT = (clPx,l clPy,l— c2lPx,22 c2lPy,22
La résolution de ce système linéaire surdéterminé est de l'algèbre linéaire standard et est réalisées en utilisant le pseudo-inverse donnée par la décomposition en valeur singulière décrite dans la publication Golub et al. Matrix computations volume 3, Johns Hopkins Univ Pr, 1996.
Cette première étape de résolution linéaire 310 fournit une bonne estimation de départ de la pose, mais l'hypothèse adoptée précédemment pour la résolution linéaire n'étant cependant pas fondée en pratique, l'estimation nécessite d'être raffinée par l'étape d'estimation non-linéaire 320.
Le résultat de l'étape linéaire est raffiné en mettant en œuvre une étape itérative non linéaire 320, pour lequel une méthode préférée est la minimisation de
Levenberg-Marquadt. On pourra se référer à la publication Gill et al. Practical
Optimization. Académie Press, London et New York, 1981 .
Cette étape permet finalement d'obtenir une première estimation de la pose du visage de l'individu sur l'image, cette pose étant ensuite raffinée lors de l'étape 400 d'estimation « flexible » de la pose et de la forme dudit visage. On considère donc qu'à ce stade on a déterminé une « ébauche » de la pose du visage.
On va maintenant décrire l'étape 400 d'estimation flexible de la pose et de la forme. Cette estimation est mise en œuvre grâce au modèle de visage en trois- dimensions obtenu à l'étape 100. Comme on l'a indiqué précédemment, ce modèle s'écrit sous la forme d'une combinaison linéaire du gabarit S0 et des déviations de ce gabarit par rapport à des exemples d'individus :
On peut obtenir la forme de n'importe quel visage en choisissant les coefficients a, de la combinaison linéaire. L'estimation flexible de la forme et de la pose du visage de l'individu sur l'image est donc réalisée en minimisant l'écart entre les projections des points caractéristiques p, du visage de l'individu sur l'image, et les mêmes projections du modèle. Pour ce faire, on modifie de manière itérative la forme du visage obtenu par le modèle (grâce aux coefficients α;) et les paramètres de pose du visage. Mathématiquement, on cherche donc à obtenir le minimum suivant :
22 M
min Cj Pi - (s. R. (S° + ajSÏ) + t) 2
a,s,ax,CLyaz,t ' 1
7 = 1
Cependant la résolution de cette équation pourrait aboutir à une forme du modèle de visage déformé qui ne corresponde plus à un visage humain. En effet, les points caractéristique p, du visage de l'individu peuvent être bruités ou inaccessibles, et le système ne serait pas alors assez déterminé.
On contraint alors les coefficients aj pour garantir l'obtention d'un visage humain réaliste. Pour cela, on minimise la norme de la dérivée de la déformation du modèle en trois dimensions, les vertex déformés du modèle étant ici définis comme une fonction du vecteur a comprenant les aj pour j compris entre 1 et M. La dérivée de la déformation du modèle en trois dimensions est obtenue par multiplication du modèle déformé par une matrice A' construite de la même manière que la matrice A de différentiation précédente.
Cette étape de minimisation correspond à une hypothèse de continuité du visage, qui est vérifiée quel que soit l'individu et permet donc au procédé d'être le plus général possible, c'est-à-dire applicable pour n'importe quel individu.
On obtient donc l'équation suivante :
22 M
min Cj Pi - (s. R. (S? + ajS() + t) + Y\\A'Sa\ a,s,ax,avaz,t ' 1
i = l 7 = 1
Cette équation est résolue, de manière analogue à l'étape de minimisation non-linéaire, en utilisant l'algorithme de minimisation de Levenberg-Marquardt. L'initialisation de la pose est fournie par la pose obtenue au terme de l'étape d'estimation rigide. La forme initiale utilisée pour la minimisation est celle du gabarit S0 d'origine, i.e. que les valeurs des coefficients α; initiaux sont nulles.
Une fois cette estimation mise en œuvre, la modèle en trois dimensions déformé correspond donc à la forme en trois-dimensions du visage de l'individu sur l'image, représentée en figure 5b. On peut manipuler cette forme en trois- dimensions simplement pour en obtenir une représentation de face.
En outre, à partir de la forme en trois-dimensions et de l'image d'origine, on génère au cours d'une étape 500 une représentation de la texture du visage de l'individu, représentée en figure 5c. Pour ce faire, on échantillonne l'image d'origine aux positions des points de la forme en trois-dimensions.
On génère enfin au cours d'une étape 600, à partir de la forme du visage, positionnée de face, et de la représentation de la texture du visage, une image en deux dimensions de face de l'individu. Cette image est illustrée en figure 5d. Elle peut servir de base un procédé d'identification classique par reconnaissance de visage.
On note enfin que l'on peut mettre en œuvre ce procédé pour une pluralité d'images d'entrées du même individu, pour obtenir une unique forme en trois dimensions du visage de l'individu et une unique représentation de la texture du visage de l'individu. Cependant, un ensemble de paramètres de pose doit être estimé pour chaque image d'entrée.
Les étapes 310 et 320 d'estimation linéaire et non linéaire de la pose sont mises en œuvre pour chaque image d'entrée. Puis l'étape 400 d'estimation flexible de la pose et de la forme est réalisée sur l'ensemble des K images en recherchant le minimum suivant :
+ y\\ASa
Puis une représentation de la texture du visage est extraite de chaque image, et elles sont fondues ensemble, en fonction de la visibilité de chaque élément du visage sur chaque image d'entrée, pour obtenir une unique représentation de la texture du visage.
La réalisation d'une nouvelle image de synthèse est réalisée de la même manière que précédemment pour une seule image.
On a représenté en figure 6a deux images d'entrée d'un même individu, et en figure 6b une image de face de l'individu générée avec ce procédé.

Claims

REVENDICATIONS
1 . Procédé de génération d'un modèle de visage en trois dimensions déformable à partir d'une pluralité d'images de visages d'individus,
le procédé étant caractérisé en ce qu'il comprend les étapes consistant à :
générer un gabarit de visage (S0),
acquérir des formes d'exemples de visages d'individus (S°+Sj),
pour chaque exemple de visage d'individu, déformer de manière itérative le gabarit pour que la forme du gabarit déformé corresponde à la forme de l'exemple de visage, et déterminer la déformation (Sj) entre le gabarit initial et le gabarit déformé, ladite déformation itérative comprenant la minimisation de la dérivée de l'écart entre le gabarit initial et le gabarit déformé, pour contraindre le gabarit déformé à conserver une forme de visage humain, et la génération du modèle de visage comme une combinaison linéaire de la forme du gabarit (S0) et des déformations (Sj) entre le gabarit initial et le gabarit déformé pour chaque exemple de visage d'individu.
2. Procédé selon la revendication 1 , dans lequel l'acquisition de formes d'exemples de visages d'individus comprend la détection de points caractéristiques de chaque exemple de visages d'individus, et la mise en correspondance des points caractéristiques correspondants entre les exemples de visages.
3. Procédé selon la revendication 2, dans lequel la déformation itérative du gabarit comprend, pour chaque exemple de visage d'un individu, la modification des positions des points caractéristiques du gabarit pour minimiser une différence de position entre lesdits points caractéristiques et les points correspondants de l'exemple de visage d'individu.
4. Procédé selon la revendication 3, dans lequel la déformation itérative du gabarit comprend en outre la minimisation d'une différence de position entre les points du gabarit et la surface de l'exemple de visage.
5. Procédé selon l'une des revendications précédentes, dans lequel l'étape de déformation itérative du gabarit comprend la minimisation itérative d'une combinaison linéaire de :
la différence de position entre les points caractéristiques de l'exemple de visage et les points correspondants du gabarit,
la dérivée de l'écart entre le gabarit initial et le gabarit déformé, et une différence de position entre les points du gabarit et la surface de l'exemple de visage,
dans lequel les coefficients de la combinaison linéaire varient d'une itération à l'autre.
6. Procédé de traitement d'au moins une image de visage d'un individu, comprenant les étapes consistant à générer, à partir de l'image, une représentation en trois dimensions du visage de l'individu, ladite représentation comprenant les étapes consistant à :
déterminer une ébauche de la pose du visage de l'individu sur l'image par comparaison entre des positions de points caractéristiques du visage de l'individu et des positions de points correspondants d'une forme de visage humain de référence,
- déterminer la forme et la pose du visage de l'individu sur l'image en déformant de manière itérative un modèle en trois dimensions obtenu par la mise en œuvre du procédé selon l'une des revendications précédentes, pour que la forme du modèle déformé corresponde à la forme du visage de l'individu sur l'image,
la déformation du modèle en trois dimensions étant réalisée par modification des coefficients de la combinaison linéaire du modèle,
le procédé étant caractérisé en ce que les modifications des coefficients de la combinaison linéaire sont contraintes pour garantir que le modèle déformé corresponde à un visage humain.
7. Procédé de traitement selon la revendication 6, dans lequel les modifications des coefficients de la combinaison linéaire sont contraintes par minimisation de la norme de la dérivée de l'écart entre le modèle initial et le modèle déformé.
8. Procédé de traitement selon l'une des revendications 6 ou 7, dans lequel la pose et la forme du visage de l'individu sur l'image sont estimées simultanément, par modification itérative de la pose et de la forme du modèle en trois dimensions pour minimiser l'écart entre les points caractéristiques du visage de l'individu sur l'image et les points correspondants du modèle.
9. Procédé de traitement selon la revendication précédente, dans lequel la modification de la pose du modèle comprend au moins une transformation parmi le groupe précédent : translation, rotation, changement d'échelle.
10. Procédé de traitement selon la revendication précédente, dans lequel la modification de la forme du modèle en trois dimensions comprend la détermination des coefficients de la combinaison linéaire entre le gabarit de visage et les déformations appliquées au gabarit pour obtenir chaque exemple de visage.
1 1 . Procédé de traitement selon l'une des revendications 6 à 10, comprenant en outre les étapes consistant à :
à partir de l'estimation de la pose et de la forme du visage de l'individu sur l'image, générer une représentation de la texture du visage de l'individu, et - générer une vue de face du visage de l'individu.
12. Procédé de traitement selon l'une des revendications 6 à 1 1 , mis en œuvre sur une pluralité d'images de visage d'individus, et dans lequel :
l'étape de détermination d'une ébauche de la pose du visage de l'individu est mise en œuvre sur chaque image de visage de l'individu, et
l'étape de détermination de la forme et la pose du visage de l'individu est mise en œuvre sur l'ensemble des images de visage en déformant de manière itérative le modèle en trois dimensions pour que la forme du modèle déformé corresponde à la forme du visage de l'individu sur les images.
13. Système d'identification d'individus comportant au moins un serveur de contrôle (SC) d'un individu (I) à identifier, et au moins un serveur de gestion (SG) d'une base (DB) de N images de références d'individus répertoriés, le serveur de contrôle (SC) comprenant des moyens d'acquisition adaptés pour procéder à l'acquisition d'une image du visage de l'individu (I),
le système d'identification d'individus étant caractérisé en ce que l'un du serveur de contrôle (SC) et du serveur de gestion (SG) comporte des moyens de traitement adaptés pour mettre en œuvre le procédé de traitement selon l'une des revendications 12 ou 13, et, à partir d'une vue de face du visage d'un individu obtenue, mettre en œuvre un traitement de reconnaissance de visage par comparaison avec les images de références de la base, afin d'identifier l'individu.
EP13792400.7A 2012-11-20 2013-11-20 Procede de generation d'un modele de visage en trois dimensions Withdrawn EP2923302A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1261025A FR2998402B1 (fr) 2012-11-20 2012-11-20 Procede de generation d'un modele de visage en trois dimensions
PCT/EP2013/074310 WO2014079897A1 (fr) 2012-11-20 2013-11-20 Procede de generation d'un modele de visage en trois dimensions

Publications (1)

Publication Number Publication Date
EP2923302A1 true EP2923302A1 (fr) 2015-09-30

Family

ID=47878193

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13792400.7A Withdrawn EP2923302A1 (fr) 2012-11-20 2013-11-20 Procede de generation d'un modele de visage en trois dimensions

Country Status (5)

Country Link
US (1) US10235814B2 (fr)
EP (1) EP2923302A1 (fr)
JP (1) JP6318162B2 (fr)
FR (1) FR2998402B1 (fr)
WO (1) WO2014079897A1 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3018937B1 (fr) * 2014-03-19 2017-07-07 Morpho Procede de modelisation amelioree d'un visage a partir d'une image
JP6541334B2 (ja) * 2014-11-05 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
FR3028064B1 (fr) 2014-11-05 2016-11-04 Morpho Procede de comparaison de donnees ameliore
JP6439634B2 (ja) 2015-09-04 2018-12-19 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム
CA2933799A1 (fr) * 2016-06-21 2017-12-21 John G. Robertson Systeme et methode de generation automatisee de modele de restauration faciale et protocole d'application destine aux deviations faciales observables
WO2018053703A1 (fr) * 2016-09-21 2018-03-29 Intel Corporation Estimation de la forme et de la texture précises d'un visage à partir d'une image
JP6930091B2 (ja) * 2016-11-15 2021-09-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
US10621788B1 (en) 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
CN109376698B (zh) * 2018-11-29 2022-02-01 北京市商汤科技开发有限公司 人脸建模方法和装置、电子设备、存储介质、产品
JP6675564B1 (ja) 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
JP7321772B2 (ja) * 2019-05-22 2023-08-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111508069B (zh) * 2020-05-22 2023-03-21 南京大学 一种基于单张手绘草图的三维人脸重建方法
CN114119912B (zh) * 2020-08-27 2026-02-06 北京陌陌信息技术有限公司 一种人体模型的快速拟合方法、设备和存储介质
CN113643412B (zh) * 2021-07-14 2022-07-22 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN114973349B (zh) * 2021-08-20 2025-07-15 腾讯科技（深圳）有限公司 面部图像处理方法和面部图像处理模型的训练方法
CN116797712B (zh) * 2022-03-10 2025-03-11 腾讯科技（深圳）有限公司 一种构建人脸模型的方法、装置、计算机设备及存储介质
US12456248B2 (en) 2023-12-06 2025-10-28 Niantic Spatial, Inc. Template-based AR facial augmentation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
EP1039417B1 (fr) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Méthode et appareil de traitement d'images basés sur des modèles à métamorphose
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7218774B2 (en) * 2003-08-08 2007-05-15 Microsoft Corp. System and method for modeling three dimensional objects from a single image
US8571272B2 (en) * 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
WO2007119870A1 (fr) * 2006-04-14 2007-10-25 Nec Corporation Dispositif et procede de verification
WO2012126135A1 (fr) * 2011-03-21 2012-09-27 Intel Corporation Procédé de maquillage augmenté à modélisation de visage tridimensionnelle et alignement de points de repère
WO2013020248A1 (fr) * 2011-08-09 2013-02-14 Intel Corporation Génération de visages 3d multivue à base d'images
JP5842541B2 (ja) * 2011-11-01 2016-01-13 大日本印刷株式会社 三次元ポートレートの作成装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU ZICHENG ET AL: "Rapid Modeling of Animated Faces From Video", 28 February 2000 (2000-02-28), XP055775253, Retrieved from the Internet <URL:https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.37.420&rep=rep1&type=pdf> [retrieved on 20210211] *
See also references of WO2014079897A1 *
ZICHENG LIU ET AL: "Rapid modeling of animated faces from video images", PROCEEDINGS ACM MULTIMEDIA, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 30 October 2000 (2000-10-30), pages 475 - 476, XP058235929, ISBN: 978-1-58113-198-7, DOI: 10.1145/354384.376389 *

Also Published As

Publication number Publication date
JP6318162B2 (ja) 2018-04-25
JP2016501396A (ja) 2016-01-18
FR2998402B1 (fr) 2014-11-14
FR2998402A1 (fr) 2014-05-23
US10235814B2 (en) 2019-03-19
US20150310673A1 (en) 2015-10-29
WO2014079897A1 (fr) 2014-05-30

Similar Documents

Publication Publication Date Title
EP2923302A1 (fr) Procede de generation d&#39;un modele de visage en trois dimensions
WO2019091787A1 (fr) Procédé d&#39;estimation de pose d&#39;une caméra dans le référentiel d&#39;une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d&#39;ordinateur associé
EP3582141B1 (fr) Procédé d&#39;apprentissage de paramètres d&#39;un réseau de neurones à convolution
US10554957B2 (en) Learning-based matching for active stereo systems
Ratyal et al. Deeply learned pose invariant image analysis with applications in 3D face recognition
KR102399025B1 (ko) 개선된 데이터 비교 방법
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
WO2006103240A1 (fr) Procédé d&#39;identification de visages à partir d&#39;images de visage, dispositif et programme d&#39;ordinateur correspondants
JP4353246B2 (ja) 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
EP3145405B1 (fr) Procédé de détermination d&#39;au moins un paramètre comportemental
CN114399803A (zh) 人脸关键点检测方法及装置
Alqahtani et al. 3D face tracking using stereo cameras: A review
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
CN116778533B (zh) 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质
CN117351246B (zh) 一种误匹配对去除方法、系统及可读介质
US9786030B1 (en) Providing focal length adjustments
CN111368675A (zh) 手势深度信息的处理方法、装置、设备及存储介质
FR3018937A1 (fr) Procede de modelisation amelioree d&#39;un visage a partir d&#39;une image
Rajeswari Research on Advanced Face Image De-Occlusion and Recognition Using Integrated Techniques
CN115147619A (zh) 一种优化图像添加次序的增量式运动恢复结构方法
WO2008081152A2 (fr) Procede et systeme de reconnaissance d&#39;un objet dans une image
JP2026512906A (ja) シーンの２ｄおよび３ｄ情報を抽出するためのアレイカメラ
CN121280687A (zh) 一种定位方法及生成聚类中心集合的方法
Ruiz Matarán Bayesian Modeling and Inference in Image Recovery and Classification Problems
WO2012175391A1 (fr) Procede d&#39;etablissement d&#39;un score final de similarite entre des images

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150616

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: IDEMIA IDENTITY & SECURITY FRANCE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06T0015040000

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RIC1 Information provided on ipc code assigned before grant

Ipc: G06T 17/10 20060101ALI20190628BHEP

Ipc: G06T 7/33 20170101ALI20190628BHEP

Ipc: G06T 19/20 20110101ALI20190628BHEP

Ipc: G06T 3/00 20060101ALI20190628BHEP

Ipc: G06T 15/04 20110101AFI20190628BHEP

Ipc: G06K 9/00 20060101ALI20190628BHEP

17Q First examination report despatched

Effective date: 20190711

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06T0015040000

Ipc: G06V0040160000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230919

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 40/16 20220101AFI20231005BHEP

INTG Intention to grant announced

Effective date: 20231020

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20240223