EP3465629A1 - Method for establishing a deformable 3d model of an element, and associated system - Google Patents

Method for establishing a deformable 3d model of an element, and associated system

Info

Publication number
EP3465629A1
EP3465629A1 EP17723989.4A EP17723989A EP3465629A1 EP 3465629 A1 EP3465629 A1 EP 3465629A1 EP 17723989 A EP17723989 A EP 17723989A EP 3465629 A1 EP3465629 A1 EP 3465629A1
Authority
EP
European Patent Office
Prior art keywords
points
dimensional
shape
curvature
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP17723989.4A
Other languages
German (de)
French (fr)
Inventor
Slim GHORBAL
Renaud Seguier
Xavier Bonjour
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mimi Hearing Technologies GmbH
Original Assignee
3d Sound Labs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3d Sound Labs filed Critical 3d Sound Labs
Publication of EP3465629A1 publication Critical patent/EP3465629A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021Flattening

Definitions

  • the present invention relates to a method and system for producing a three-dimensional deformable model of an element.
  • deformable models are also used in three-dimensional or 3D animation (Bao-Cai Yin's "Mpeg-4 compatible 3D facial animation based on morphable model", Cheng-Zhang Wang, Qin Shi, and Yan- Feng Sun, In Machine Learning and Cybernetics, 2005, Proceedings of 2005 International Conference on, volume 8, pages 4936 ⁇ 1941, Vol 8, Aug 2005, and "Statistical Generation of 3D Facial Animation Models” by Rudomin, A. Bojorquez, and H.
  • step 3 Creation of a vector space specific to the study subject by the use of a statistical analysis method such as PCA (Principal Component Analysis), ACI (Independent Component Analysis) or their derivatives .
  • PCA Principal Component Analysis
  • ACI Independent Component Analysis
  • the last step 3) of this process gives rise in particular to a so-called mean vector and modes of deformation, the linear combinations of which make it possible not only to reform the learning examples but also to generate new elements (new ones). faces in the case of a deformable model of faces for example).
  • Blanz and Vetter have proposed the use of an algorithm of flow or optical flow or "Optical Flow Algorithm" in English ("Hierarchical motion-based frame rate conversion” of James R Bergen and R Hingorani, Technical report David Sarno Research Center, 1990).
  • the laser used for scanning acquisitions, or "scanning" in English provided a cylindrical representation (also called 2.5 D).
  • a two-dimensional or 2D image of the texture was immediately available and used for the implementation of the aforementioned algorithm.
  • this algorithm requires that the deformations from one example to the other are weak (like successive images of a video), which has no problem. reason to be in the general case.
  • the cylindrical representations have the major disadvantage of being generating occlusions. While these are relatively rare in the case of faces, making the Blanz and Vetter method usable, it is different in the case of more complex forms, such as ears, for which the loss of information can be prohibitive.
  • Chen Li and associates take advantage of the particular form of their subject of study, in this case the ear, and data available, in this case a photo and a depth map of the ear profile view, to develop the hierarchical growth algorithm of mesh triangles or "Triangle Mesh Hierarchical Growth” in English language ("A novel 3D ear reconstruction method using a single image” by Chen Li, Zhichun Mu, Feng Zhang, and Shuai Wang, in Intelligent Control and Automation (WCICA), 2012 10th World Congress, pages 4891 -4896, IEEE, 2012).
  • a depth map also called a 2.5 D image or "z map” is a pixel-based z coordinate image, which is usually created using a 3-D camera. The gray levels in the depth map represents the height values.
  • the matching method is based on global and non-local geometric considerations, such as the intersection of a right from one end of the image with a curve at the other end, it dilutes or totally loses the semantic information conveyed by the image.
  • characteristic points of the ear such as tragus or anti-tragus can not be associated with one or more of the constructed descriptive points.
  • Kaneko et al. (Shoken Kaneko's Ear shape modeling for 3D audio and acoustic virtual reality: The shapebased average hrtf ", Tsukasa Suenaga, Fujiwara Mai, Kazuya Kumehara, Futoshi Shirakihara, and SaSatoshi Sekine, Audio Engineering Society Conference: 61 st International Conference Audio for Games, Audio Engineering Society, 201 6.) uses X-ray scans or scans of volunteer ear molds and favors the use of non-rigid 3D mapping methods ("A new Haili Chui and Anand Rangarajan, Computer Vision and Image Understanding, 89 (2): 1 14-141, 2003, "Bing Jian and Baba C, point-to-point matching algorithm for non-rigid registration" Vemuri Pattern Analysis and Machine Intelligence, IEEE Transactions on, 33 (8): 1 633-1 645, 201 1.).
  • the meshes are composed of about 3000 vertices and the vectors of deformation transforming a mesh of reference in the others of the base are sought with the aid of mixtures of Gaussians.
  • a method for producing a three-dimensional deformable model of an element from an initial basis of examples of such elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, wherein: for each element example of the initial base, at each point of its mesh surface, the value of at least one parameter representative of the shape of the surface of the element at this point is determined (by measurement or calculation), to obtain an improved base of examples of elements;
  • the mesh surface is flattened in three dimensions to obtain a two-dimensional representation of said mesh surface; on the set of two-dimensional representations of the meshed surfaces of said elements, a plurality of respective points is matched by using said determined values of the parameter or parameters representative of the shape of the surface of the element at said points and a method of analyzing said two-dimensional representations of the meshed surfaces;
  • the invention is not dependent on the presence of texture information and can handle data sets that are devoid of such data, such as MRI results.
  • said one or more parameters representative of the shape of the surface of the element at a point of the mesh surface of an example of the initial base comprise a local curvature at said point and / or a descriptor of form at that point.
  • said local curvature comprises a minimum curvature and / or a maximum curvature and / or a Gaussian curvature and / or a mean curvature.
  • the shape descriptor comprises a shape correction surface patch histogram or SPHIS for the acronym "Surface Patch Histogram of Index Shape" in the English language.
  • the method may be configured to detect the more or less pronounced presence of one or more types of shapes rather than merely measuring the curvature.
  • said flattening uses an ABF, LSCM, ABF ++, or H LSCM method.
  • said mapping uses a division of the two-dimensional representations into N c curvature levels distributed uniformly over the range of values taken by the values of the parameter or parameters representative of the shape of the surface. of the element.
  • two-dimensional representations can be segmented according to objective and reproducible criteria.
  • said mapping uses a division of the two-dimensional representations into N c levels of curvature account of the statistical distribution of the values taken by the values of the parameter or parameters representative of the shape of the surface of the element.
  • mapping utilizes a number N TM anu points mapped manually.
  • the operator precisely controls their positioning. This is particularly useful when building small models (for testing purposes or for lack of learning examples).
  • the method is semi-automatic, and progressively from said mapping, the number N TM anu points mapped manually the current element decreases with the number of items processed.
  • the method is automatic based on active contours, and the number N TM anu of manually mapped points is zero.
  • said element is a right ear and / or a left ear, and / or the head, and / or the torso of an individual.
  • a system for developing a three-dimensional deformable model of an element from an initial basis of examples of such elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, comprising a computer configured to implement the method as previously described.
  • FIGS. 1 to 7 schematically illustrate a method according to one aspect of the applied invention; to human ears;
  • FIG. 8 to 10 schematically illustrate a method according to one aspect of the invention applied to human faces.
  • the present invention is an alternative to the aforementioned methods and allows the creation of a deformable model of any type of subject or element from the study of its morphology.
  • the present invention does not require any texture information and thus effectively avoids the pose and illumination problems experienced by the flow or optical flow algorithms, such as the algorithms called structure from motion or SFM for acronym for "structure from motion” in English or algorithms called structure from shadows or SFS for acronym for “structure from shading” in English.
  • the invention makes it possible to adapt naturally to three-dimensional or 3D data as to those in 2.5D.
  • the present invention makes it possible to preserve the semantic information, or in other words to preserve the physical meaning conveyed by a zone, a group of vertices or even a single vertex.
  • the vertices composing the nose of the middle form will also compose the nose of any face of the model after deformation. This observation is also valid for substructures as in the present case: the tip of the nose, the right and left nostrils or the ridge.
  • Figure 1 shows the major steps of the method according to one aspect of the invention.
  • FIG. 1 illustrates a method 1 for producing a three-dimensional deformable model of an element from an initial base of examples, loaded 2 in the computer means implementing the method.
  • elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, wherein:
  • the value of at least one parameter representative of the shape of the surface of the element is determined 3 (by measurement or calculation) point, to obtain an improved base of examples of elements;
  • the flat surface is flattened or unfolded in three dimensions to obtain a two-dimensional representation of said mesh surface
  • Each sample element of the initial database can be subsampled.
  • Figures 2a and 2b show an example of a model obtained from an ear base.
  • Figure 2a is shown the non-meshing middle ear
  • Figure 2b is shown the same deformed ear according to the third mode of deformation. In this case it is about straight ears.
  • each mode of deformation represents a set of displacements type undergone by the elements of the point cloud. It is possible to see these types of displacement as the data of a direction and a speed of movement for each point.
  • the data of a multiplicative coefficient which could be assimilated to a duration in the previous analogy, makes it possible to calculate the exact displacement.
  • the present model thus makes it possible to highlight physical substructures of the ear which tend to evolve together (or on the contrary separately if one works by complementarity).
  • the gray level of each point is associated with its deviation from its position in the average shape (the higher the gray level, the larger the difference).
  • a base of training examples is supposed to be available, each of the examples allowing, directly or after treatments, the reconstruction of a meshed surface in R 3 .
  • the result of each measurement is associated with the point used for its realization.
  • This measurement can be summarized as a local curvature, as shown in Figure 3, such as the minimum, maximum, Gaussian or average curvature at the point considered, to a more complex shape descriptor such as an index surface patch histogram. form or SPHIS for acronym for "Surface Patch Histogram of Index Shape" in English, or an equivalent or a combination of the above.
  • the 3D ear of Figure 3 at gray levels that depend on the local mean curvature, the higher the local average curvature, the darker the gray is.
  • FIGS. 4a and 4b An unfolding of the surface which thus makes it possible to obtain a representation of each mesh in the form of a 2D image, as illustrated in FIGS. 4a and 4b, respectively corresponding to the left and right ears of subject 9 after calculation of curvature and flattening, noted im2D and a connected graph, classically noted Gc but not shown.
  • the gray levels are such that the greater the local average curvature, the darker is the gray.
  • This unfolding also called “unwrapping” in English, can be done in many ways, as with flattening algorithms based on angles, with ABF acronym for "Angle-based Flattening” in English, algorithms of least significant LSCM acronym for Least Square Conformai Maps in English, or their derivatives (ABF ++, HSLCM for "Hierarchical Least Square Conformai Maps” in English, ).
  • a mapping of a maximum of points is performed from 2D images using the characteristics measured in point 2) and the analysis methods related to 2D image processing, as shown in Figure 5.
  • Figure 5 On Figure 5 are shown on the left in 2D and on the right in 3D the same ear after manual mapping of 88 points according to the isocurbures 9, which are materialized on the left 2D image.
  • the gray levels are such that the higher the average local curvature, the darker the gray.
  • the points retained during the matching are then used to downsample the initial 3D meshes.
  • the resulting point clouds are then used to build the actual model using conventional construction tools such as principal component analysis, acronym ACP or ACI acronym. .).
  • the base used consists of the ten freely accessible examples of the SYMARE database for "Sydney-York Morphological And Recording of Ears" in English.
  • all the left ears of these ten pairs of ears have been symmetrized with respect to the sagittal plane so as to have twenty straight ears (the ten initial lines and the ten lines coming from the symmetrization of the ten left ones).
  • the meshes of the ears thus obtained are subsampled to about 6900 vertices.
  • This step purely optional, is present in order to optimize the digital processing times and to facilitate the subsequent integration of possible other learning examples.
  • Point 2 of the description of the invention is then carried out.
  • the local mean curvature was retained as a geometric feature and applied as texture to the 3D meshes, as shown in Figure 3.
  • mapping of the vertices of the connected graphs required the following steps:
  • n c isocurrent lines, as illustrated in the example of Figure 6, with n c G [1, N C ], themselves chosen to ensure a uniform distribution of vertices.
  • Tj ⁇ tj, iel ⁇ all of my triangles.
  • Each element tj j potentially contains vertices of the graph whose barycentric coordinates are calculated in the reference proper to the triangle tj.
  • N c and N s mami can of course be set to other values.
  • the curvature levels may not be uniformly distributed over the available range but take into account the statistical distribution of curvature values.
  • the N s mami points selected in step 2) of the mapping can be automatically or semi-automatically, for example:
  • the method is applied to human faces.
  • the face database used in this example consists of Examples 2, 5, 6 and 14 of the UWA face database 3D database of the University of Western Australia (UWA), available at next address:
  • Step 2 of the description of the invention is then carried out following the same methodology as for the example described based on ears.
  • the steps of the method described above may be performed by one or more programmable processors executing a computer program for performing the functions of the invention by operating on input data and generating output data.
  • a computer program can be written in any form of programming language, including compiled or interpreted languages, and the computer program can be deployed in any form, including as a stand-alone program or as a subroutine, element or other unit suitable for use in a computing environment.
  • a computer program can be deployed to run on one computer or multiple computers at a single site or spread across multiple sites and interconnected by a communications network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

Method (1) for establishing a deformable three-dimensional model of an element from an initial base of specimens (2) of such elements provided with data that make it possible to determine, for each of the elements in the initial base, a 3D surface grid from points and a triangular network linking said points.

Description

Procédé d'élaboration d'un modèle déformable en trois dimensions d'un élément, et système associé  Method for producing a three-dimensional deformable model of an element, and associated system
La présente invention porte sur un procédé et un système d'élaboration d'un modèle déformable en trois dimensions d'un élément. The present invention relates to a method and system for producing a three-dimensional deformable model of an element.
Introduits pour la première fois par Blanz & Vetter en 1999 ("A morphable model for the synthesis of 3d faces" de Volker Blanz et Thomas Vetter, In Proceedings of the 26th Annual Conférence on Computer Graphics and Interactive Techniques, SIGGRAPH '99, pages 187-194, New York, NY, USA, 1999, ACM Press/Addison-Wesley Publishing Co.), les modèles déformables n'ont depuis eu de cesse de gagner en popularité. Introduced for the first time by Blanz & Vetter in 1999 ("A morphable model for the synthesis of 3d faces" by Volker Blanz and Thomas Vetter, In Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH '99, pages 187 -194, New York, NY, USA, 1999, ACM Press / Addison-Wesley Publishing Co.), the deformable models have since become increasingly popular.
Ces modèles déformables sont aussi bien utilisés en animation en trois dimensions ou 3D ("Mpeg-4 compatible 3D facial animation based on morphable model" de Bao-Cai Yin, Cheng-Zhang Wang, Qin Shi, et Yan- Feng Sun, In Machine Learning and Cybernetics, 2005, Proceedings of 2005 International Conférence on, volume 8, pages 4936^1941 Vol. 8, Aug 2005; et "Statistical génération of 3D facial animation models" de Rudomin, A. Bojorquez, et H. Cuevas, In Shape Modeling International, 2002, Proceedings, pages 219-226, 2002.) qu'à des fins de reconnaissance ou de vérification d'identité ("Face récognition based on fitting a 3D morphable model" de Volker Blanz et Thomas Vetter, Pattern Analysis and Machine Intelligence, IEEE Transactions on, 25(9) :1063-1074, 2003; "Automatic 3D face vérification from range data" de Gang Pan, Zhaohui Wu, et Yunhe Pan In Acoustics, Speech, and Signal Processing, 2003, Proceedings. (ICASSP Ό3). 2003 IEEE International Conférence on, volume 3, pages II 1-193-6 vol.3, April 2003; "Audio- and Video-Based Biométrie Person Authentication" de Alexander M. Bronstein, Michael M. Bronstein, et Ron Kimmel, 4th International Conférence, AVBPA 2003 Guildford, UK, June 9-1 1 , 2003 Proceedings, chapter Expression-Invariant 3D Face Récognition, pages 62- 70, Springer Berlin Heidelberg, Berlin, Heidelberg 2003; "3d shape-based face récognition using automatically registered facial surfaces" de M. O. Irfanoglu, B. Gokberk, et L. Akarun, dans Pattern Récognition, 2004, ICPR 2004, Proceedings of the 17th International Conférence on, volume 4, pages 183-186 Vol.4, Aug 2004. These deformable models are also used in three-dimensional or 3D animation (Bao-Cai Yin's "Mpeg-4 compatible 3D facial animation based on morphable model", Cheng-Zhang Wang, Qin Shi, and Yan- Feng Sun, In Machine Learning and Cybernetics, 2005, Proceedings of 2005 International Conference on, volume 8, pages 4936 ^ 1941, Vol 8, Aug 2005, and "Statistical Generation of 3D Facial Animation Models" by Rudomin, A. Bojorquez, and H. Cuevas, In Shape Modeling International, 2002, Proceedings, pages 219-226, 2002.) for the purpose of recognition or identity verification ("Face recognition based on fitting a 3D morphable model" by Volker Blanz and Thomas Vetter, Pattern Analysis and Machine Intelligence, IEEE Transactions on, 25 (9): 1063-1074, 2003; "Automatic 3D face verification from range data" by Gang Pan, Zhaohui Wu, and Yunhe Pan In Acoustics, Speech, and Signal Processing, 2003, Proceedings (ICASSP Ό3) 2003 IEEE International Conference on, Volume 3, Pages II 1-193-6 vol.3, April 2003; "Audio- and Video-Based Person's Biometrics Person Authentication" by Alexander M. Bronstein, Michael M. Bronstein, and Ron Kimmel, 4 th International Conference, AVBPA 2003 Guildford, UK, June 9-1, 2003 Proceedings, chapter Expression-Invariant 3D Face Recognition, pages 62-70, Springer Berlin Heidelberg, Berlin, Heidelberg 2003; "Moisture-Recognized" by MO Irfanoglu, B. Gokberk, and L. Akarun, in Pattern Recognition, 2004, ICPR 2004, Proceedings of the 17th International Conference on, volume 4, pages 183-186 Vol.4, Aug 2004.
Initialement appliqués à la modélisation de visages, ces modèles ont peu à peu été transposés à de nombreux autres éléments comme les oreilles ("A novel 3D ear reconstruction method using a single image" de Chen Li, Zhichun Mu, Feng Zhang, et Shuai Wang, dans Intelligent Control and Automation (WCICA), 2012 10th World Congress on, pages 4891-4896, IEEE, 2012; "3D morphable model construction for robust ear and face récognition" de John D Bustard et Mark S Nixon, dans Computer Vision and Pattern Récognition (CVPR), 2010 IEEE Conférence on, pages 2582-2589. IEEE, 2010.), le corps humain dans son ensemble ("The space of human body shapes: reconstruction and parameterization from range scans" de Brett Allen, Brian Curless, et Zoran Popovic, dans ACM transactions on graphies (TOG), volume 22, pages 587-594. ACM, 2003.), voire même les squelettes animaliers ("Morphable model of quadrupeds skeletons for animating 3D animais" de Lionel Reveret, Laurent Favreau, Christine Depraz, et Marie-Paule Cani, dans Proceedings of the 2005 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, SCA Ό5, pages 135-142, New York, NY, USA, 2005. ACM.). Néanmoins, quels que soient les sujets d'études, les étapes de construction demeurent sensiblement identiques, à savoir : Initially applied to the modeling of faces, these models were gradually transferred to many other elements such as the ears (Chen Li's novel novel ear rectification method using a single image, Zhichun Mu, Feng Zhang, and Shuai Wang in Intelligent Control and Automation (WCICA), 2012 10 th World Congress on, pages 4891-4896, IEEE, 2012; "morphable 3D model for building robust ear and face Recognition" by John D Bustard and Mark S Nixon in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pages 2582-2589, IEEE, 2010.), the human body as a whole (Brett Allen, Brian Brett Allen's "The Space of Human Body Shapes: Reconstruction and Parameterization of Range Scans") Curless, and Zoran Popovic, in ACM transactions on graphs (TOG), volume 22, pages 587-594, ACM, 2003.), or even animal skeletons ("Morphable model of quadrupeds skeletons for animating 3D animais" by Lionel Reveret, Laurent Favreau, Christine Depraz , and Marie-Paule Cani, in Proceedings of the 2005 ACM SIGGRAPH / Eurographics Symposium on Computer Animation, SCA Ό5, pages 135-142, New York, NY, USA, 2005. ACM.). Nevertheless, whatever the subjects of study, the stages of construction remain substantially identical, namely:
1 ) Acquisition de données 3D servant d'exemples d'apprentissage statistique. 1) Acquisition of 3D data as examples of statistical learning.
2) Mise en correspondance dense (aussi dénommée "dense registration" en langue anglaise) desdits exemples d'apprentissage. 2) dense matching (also called "dense registration" in English) of said learning examples.
3) Création d'un espace vectoriel propre au sujet d'étude par l'utilisation d'une méthode d'analyse statistique telle que l'ACP (Analyse en Composantes Principales), l'ACI (Analyse en Composantes Indépendantes) ou leurs dérivées. La dernière étape 3) de ce processus donne en particulier naissance à un vecteur dit moyen et à des modes de déformation dont les combinaisons linéaires permettent par la suite non seulement de reformer les exemples d'apprentissage mais également de générer de nouveaux éléments (de nouveaux visages dans le cas d'un modèle déformable de visages par exemple). 3) Creation of a vector space specific to the study subject by the use of a statistical analysis method such as PCA (Principal Component Analysis), ACI (Independent Component Analysis) or their derivatives . The last step 3) of this process gives rise in particular to a so-called mean vector and modes of deformation, the linear combinations of which make it possible not only to reform the learning examples but also to generate new elements (new ones). faces in the case of a deformable model of faces for example).
Toutefois, malgré l'apparente simplicité d'une telle méthode, sa mise en pratique doit résoudre deux problèmes importants: déterminer quels points peuvent être mis en correspondance dans chaque exemple d'apprentissage et effectuer cette association sur un nombre suffisant de points (classiquement plusieurs milliers). However, despite the apparent simplicity of such a method, its implementation must solve two important problems: determining which points can be matched in each learning example and performing this association on a sufficient number of points (typically several thousands).
A cette fin, Blanz et Vetter ont proposé l'utilisation d'un algorithme de flux ou flot optique ou "Optical Flow Algorithm" en langue anglaise ("Hierarchical motion-based frame rate conversion" de James R Bergen et R Hingorani, Technical report, David Sarno Research Center, 1990). To this end, Blanz and Vetter have proposed the use of an algorithm of flow or optical flow or "Optical Flow Algorithm" in English ("Hierarchical motion-based frame rate conversion" of James R Bergen and R Hingorani, Technical report David Sarno Research Center, 1990).
A ce stade, il est à noter que le laser utilisé pour les acquisitions de balayage, ou "scanning" en langue anglaise, fournissait une représentation cylindrique (appelée également 2,5 D). Ainsi, une image en deux dimensions ou 2D de la texture était immédiatement disponible et mise à profit pour la mise en œuvre de l'algorithme précité. Toutefois, en plus d'être très sensible à son initialisation, cet algorithme nécessite que les déformations d'un exemple à l'autre soient faibles (à la manière d'images successives d'une vidéo), ce qui n'a pas de raison d'être dans le cas général. Par ailleurs, les représentations cylindriques présentent l'inconvénient majeur d'être génératrices d'occlusions. Si ces dernières sont relativement rares dans le cas de visages, rendant la méthode de Blanz et Vetter utilisable, il en va différemment dans le cas de formes plus complexes, tel des oreilles, pour lesquelles la perte d'information peut s'avérer rédhibitoire. Chen Li et associés, de leur côté, tirent parti de la forme particulière de leur sujet d'étude, en l'espèce l'oreille, et des données à disposition, en l'espèce une photo et une carte de profondeur de l'oreille vue de profil, pour mettre au point l'algorithme de croissance hiérarchique de maillage de triangles ou "Triangle Mesh Hierarchical Growth" en langue anglaise ("A novel 3D ear reconstruction method using a single image" de Chen Li, Zhichun Mu, Feng Zhang, et Shuai Wang, dans Intelligent Control and Automation (WCICA), 2012 10th World Congress on, pages 4891 -4896, IEEE, 2012). Une carte de profondeur, également appelée image 2,5 D ou "z map" est une image de coordonnées en z basée sur les pixels, qui est en général créée à l'aide d'une caméra 3 D. Les niveaux de gris dans la carte de profondeur représentent les valeurs de hauteur. At this point, it should be noted that the laser used for scanning acquisitions, or "scanning" in English, provided a cylindrical representation (also called 2.5 D). Thus, a two-dimensional or 2D image of the texture was immediately available and used for the implementation of the aforementioned algorithm. However, in addition to being very sensitive to its initialization, this algorithm requires that the deformations from one example to the other are weak (like successive images of a video), which has no problem. reason to be in the general case. Moreover, the cylindrical representations have the major disadvantage of being generating occlusions. While these are relatively rare in the case of faces, making the Blanz and Vetter method usable, it is different in the case of more complex forms, such as ears, for which the loss of information can be prohibitive. Chen Li and associates, for their part, take advantage of the particular form of their subject of study, in this case the ear, and data available, in this case a photo and a depth map of the ear profile view, to develop the hierarchical growth algorithm of mesh triangles or "Triangle Mesh Hierarchical Growth" in English language ("A novel 3D ear reconstruction method using a single image" by Chen Li, Zhichun Mu, Feng Zhang, and Shuai Wang, in Intelligent Control and Automation (WCICA), 2012 10th World Congress, pages 4891 -4896, IEEE, 2012). A depth map, also called a 2.5 D image or "z map" is a pixel-based z coordinate image, which is usually created using a 3-D camera. The gray levels in the depth map represents the height values.
Une détection de contours est effectuée sur la photo et deux repères initiaux sont placés par l'opérateur. L'intersection de la médiatrice du segment reliant ces deux points avec le contour extérieur de l'oreille crée un troisième point. Par itération de ce procédé à partir du nouveau point et des précédents, les auteurs créent 17 points descriptifs du contour extérieur de l'oreille. Par un cheminement analogue, ils créent également d'autres séries de points descriptifs sur les contours intérieurs. An edge detection is performed on the photo and two initial marks are placed by the operator. The intersection of the mediator of the segment connecting these two points with the outer contour of the ear creates a third point. By iterating this process from the new point and precedents, the authors create 17 descriptive points of the outer contour of the ear. By a similar path, they also create other series of descriptive points on the inner contours.
Ensuite, une série de triangulations leur permet d'obtenir un découpage déterministe de l'oreille en 23552 triangles et 13601 points. En supposant l'appareil photo et la caméra servant à réaliser la carte de profondeur positionnés au même endroit, des coordonnées 3D peuvent être associées au découpage effectué, achevant ainsi la mise en correspondance. Then, a series of triangulations allows them to obtain a deterministic division of the ear in 23552 triangles and 13601 points. Assuming the camera and the camera used to make the depth map positioned at the same location, 3D coordinates can be associated with the splitting performed, thus completing the mapping.
Néanmoins, la nature même des données rend inaccessibles les circonvolutions des oreilles et ne permet au final que l'obtention d'une modélisation simplifiée, en limitant de fait les applications potentielles qui peuvent en découler. Nevertheless, the very nature of the data renders inaccessible the convolutions of the ears and allows the final only the obtaining of a simplified modelization, limiting in fact the potential applications which can result from it.
En outre, la méthode d'appariement se basant sur des considérations géométriques globales et non locales, telle l'intersection d'une droite partant d'une extrémité de l'image avec une courbe présente à l'autre extrémité, elle dilue voire perd totalement l'information sémantique véhiculée par l'image. Aussi, des points caractéristiques de l'oreille tels que le tragus ou l'anti-tragus ne peuvent être associés à coup sûr à l'un ou plusieurs des points descriptifs construits. In addition, the matching method is based on global and non-local geometric considerations, such as the intersection of a right from one end of the image with a curve at the other end, it dilutes or totally loses the semantic information conveyed by the image. Also, characteristic points of the ear such as tragus or anti-tragus can not be associated with one or more of the constructed descriptive points.
Enfin, telle que présentée par ses auteurs, cette méthode présente l'important inconvénient de ne donner des résultats corrects qu'à des formes convexes, et donnerait au contraire des résultats chaotiques sur des géométries simples, en étoile ou croissant de lune par exemple. Finally, as presented by its authors, this method has the important disadvantage of giving correct results only to convex forms, and would give instead chaotic results on simple geometries, star or crescent moon for example.
Kaneko et associés ("Ear shape modeling for 3D audio and acoustic virtual reality: The shapebased average hrtf" de Shoken Kaneko, Tsukasa Suenaga, Mai Fujiwara, Kazuya Kumehara, Futoshi Shirakihara, et SaSatoshi Sekine, Audio Engineering Society Conférence: 61 st International Conférence: Audio for Games, Audio Engineering Society, 201 6.) utilisent quant à eux des balayages ou scans par rayons X de moulages d'oreilles de volontaires et privilégient l'utilisation de méthodes non-rigides 3D de mise en correspondance ("A new point matching algorithm for non-rigid registration" de Haili Chui et Anand Rangarajan, Computer Vision and Image Understanding, 89(2) :1 14-141 , 2003; "Robust point set registration using gaussian mixture models" de Bing Jian et Baba C Vemuri Pattern Analysis and Machine Intelligence, IEEE Transactions on, 33(8) :1 633-1 645, 201 1 .). Les maillages sont constitués d'environ 3000 sommets et les vecteurs de déformation transformant un maillage de référence en les autres de la base sont recherchés à l'aide de mixtures de gaussiennes. II est proposé, selon un aspect de l'invention, un procédé d'élaboration d'un modèle déformable en trois dimensions d'un élément à partir d'une base initiale d'exemples de tels éléments munis de données permettant de déterminer, pour chacun des éléments de la base initiale, une surface maillée en trois dimensions à base de points et d'un réseau triangulaire reliant lesdits points, dans lequel : pour chaque exemple d'élément de la base initiale, en chaque point de sa surface maillée, on détermine (par mesure ou calcul) la valeur d'au moins un paramètre représentatif de la forme de la surface de l'élément en ce point, pour obtenir une base améliorée d'exemples d'éléments; Kaneko et al. (Shoken Kaneko's Ear shape modeling for 3D audio and acoustic virtual reality: The shapebased average hrtf ", Tsukasa Suenaga, Fujiwara Mai, Kazuya Kumehara, Futoshi Shirakihara, and SaSatoshi Sekine, Audio Engineering Society Conference: 61 st International Conference Audio for Games, Audio Engineering Society, 201 6.) uses X-ray scans or scans of volunteer ear molds and favors the use of non-rigid 3D mapping methods ("A new Haili Chui and Anand Rangarajan, Computer Vision and Image Understanding, 89 (2): 1 14-141, 2003, "Bing Jian and Baba C, point-to-point matching algorithm for non-rigid registration" Vemuri Pattern Analysis and Machine Intelligence, IEEE Transactions on, 33 (8): 1 633-1 645, 201 1.). The meshes are composed of about 3000 vertices and the vectors of deformation transforming a mesh of reference in the others of the base are sought with the aid of mixtures of Gaussians. According to one aspect of the invention, there is provided a method for producing a three-dimensional deformable model of an element from an initial basis of examples of such elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, wherein: for each element example of the initial base, at each point of its mesh surface, the value of at least one parameter representative of the shape of the surface of the element at this point is determined (by measurement or calculation), to obtain an improved base of examples of elements;
pour chaque exemple d'élément de la base améliorée, correspondant aux éléments de la base initiale, on effectue un aplatissement de la surface maillée en trois dimensions, pour obtenir une représentation en deux dimensions de ladite surface maillée; - on met en correspondance, sur l'ensemble des représentations en deux dimensions des surfaces maillées desdits éléments, une pluralité de points respectifs en utilisant lesdites valeurs déterminées du ou des paramètres représentatifs de la forme de la surface de l'élément auxdits points et un procédé d'analyse desdites représentations en deux dimensions des surfaces maillées;  for each element example of the improved base, corresponding to the elements of the initial base, the mesh surface is flattened in three dimensions to obtain a two-dimensional representation of said mesh surface; on the set of two-dimensional representations of the meshed surfaces of said elements, a plurality of respective points is matched by using said determined values of the parameter or parameters representative of the shape of the surface of the element at said points and a method of analyzing said two-dimensional representations of the meshed surfaces;
on sous-échantillonne, à partir desdits points mis en correspondance, lesdites surfaces maillées en trois dimensions de la base initiale;  subsampling, from said mapped points, said three-dimensional meshed surfaces of the initial base;
on détermine un modèle de l'élément à partir des surfaces maillées en trois dimensions de la base initiale comprenant une forme moyenne de l'élément et des modes de déformation; et  determining a model of the element from the three-dimensional meshed surfaces of the initial base including a mean shape of the element and modes of deformation; and
on effectue un remaillage de ladite forme moyenne de l'élément.  remeshing said average form of the element.
Ainsi, l'invention n'est pas dépendante de la présence d'information de texture et peut traiter les jeux de données qui en sont dépourvus, tels les résultats d'IRM. Thus, the invention is not dependent on the presence of texture information and can handle data sets that are devoid of such data, such as MRI results.
Selon un mode de mise en œuvre, ledit ou lesdits paramètres représentatifs de la forme de la surface de l'élément en un point de la surface maillée d'un exemple de la base initiale comprennent une courbure locale audit point et/ou un descripteur de forme audit point. According to one embodiment, said one or more parameters representative of the shape of the surface of the element at a point of the mesh surface of an example of the initial base comprise a local curvature at said point and / or a descriptor of form at that point.
Ainsi, il est possible faire varier la complexité du ou des paramètres représentatifs de la forme de la surface de l'élément en un point de la surface selon les besoins et/ou les contraintes extérieures. Dans un mode de mise en œuvre, ladite courbure locale comprend une courbure minimale et/ou une courbure maximale et/ou une courbure gaussienne et/ou une courbure moyenne. Thus, it is possible to vary the complexity of the one or more parameters representative of the shape of the surface of the element at a point on the surface according to the needs and / or the external constraints. In one embodiment, said local curvature comprises a minimum curvature and / or a maximum curvature and / or a Gaussian curvature and / or a mean curvature.
Ainsi, le choix du type de courbure est un levier pour s'adapter, selon les besoins, aux particularités de l'objet d'étude. Thus, the choice of the type of curvature is a lever to adapt, according to the needs, to the peculiarities of the object of study.
Selon un mode de mise en œuvre, le descripteur de forme comprend un histogramme de correctif de surface d'indice de forme ou SPHIS pour acronyme de "Surface Patch Histogram of Index Shape" en langue anglaise. According to one embodiment, the shape descriptor comprises a shape correction surface patch histogram or SPHIS for the acronym "Surface Patch Histogram of Index Shape" in the English language.
Ainsi, le procédé peut être configuré pour détecter la présence plus ou moins marquée d'un ou de plusieurs types de formes plutôt que se contenter d'une mesure de la courbure. Thus, the method may be configured to detect the more or less pronounced presence of one or more types of shapes rather than merely measuring the curvature.
Par exemple, ledit aplatissement utilise un procédé ABF, LSCM, ABF++, ou H LSCM. For example, said flattening uses an ABF, LSCM, ABF ++, or H LSCM method.
Ainsi, la méthode n'est pas contrainte par l'utilisation d'une méthode particulière d'aplatissement mais peut sélectionner tel procédé ou tel autre en fonction des avantages procurés et des besoins du moment. Selon un mode de mise en œuvre, ladite mise en correspondance utilise un découpage des représentations en deux dimensions en Nc niveaux de courbure répartis de manière uniforme sur la plage des valeurs prises par les valeurs du ou des paramètres représentatifs de la forme de la surface de l'élément. Thus, the method is not constrained by the use of a particular method of flattening but can select one method or another depending on the benefits provided and the needs of the moment. According to one embodiment, said mapping uses a division of the two-dimensional representations into N c curvature levels distributed uniformly over the range of values taken by the values of the parameter or parameters representative of the shape of the surface. of the element.
Ainsi, les représentations en deux dimensions peuvent être segmentées selon des critères objectifs et reproductibles. Thus, two-dimensional representations can be segmented according to objective and reproducible criteria.
En variante, ladite mise en correspondance utilise un découpage des représentations en deux dimensions en Nc niveaux de courbure tenant compte de la répartition statistique des valeurs prises par les valeurs du ou des paramètres représentatifs de la forme de la surface de l'élément. In a variant, said mapping uses a division of the two-dimensional representations into N c levels of curvature account of the statistical distribution of the values taken by the values of the parameter or parameters representative of the shape of the surface of the element.
Ainsi, il est possible de rendre la variante précédente indépendante de la présence de valeurs extrêmes mais aussi de tenir compte de la sur-représentation ou sous-représentation de certaines plages de valeurs. Thus, it is possible to make the previous variant independent of the presence of extreme values but also to take into account the over-representation or under-representation of certain ranges of values.
Dans un mode de mise en œuvre, lequel ladite mise en correspondance utilise un nombre N™anu de points mis en correspondance manuellement. In one embodiment, wherein said mapping utilizes a number N ™ anu points mapped manually.
Ainsi, l'opérateur contrôle précisément leur positionnement. Ceci est particulièrement utile lors de la constitution de petits modèles (pour des raisons de test ou par manque d'exemples d'apprentissage). Thus, the operator precisely controls their positioning. This is particularly useful when building small models (for testing purposes or for lack of learning examples).
Par exemple, le procédé est semi-automatique, et au fur et à mesure de ladite mise en correspondance, le nombre N™anu de points mis en correspondance manuellement de l'élément en cours diminue avec le nombre d'éléments traités. For example, the method is semi-automatic, and progressively from said mapping, the number N ™ anu points mapped manually the current element decreases with the number of items processed.
Ainsi, le temps de construction du modèle et son coût en ressources humaines sont rendus marginaux lors d'ajout de nouveaux exemples. Thus, the construction time of the model and its cost in human resources are rendered marginal when adding new examples.
En variante, le procédé est automatique à base de contours actifs, et le nombre N™anu de points mis en correspondance manuellement est nul. In a variant, the method is automatic based on active contours, and the number N ™ anu of manually mapped points is zero.
Ainsi, le temps de construction du modèle et son coût en ressources humaines sont réduits au minimum, rendant plus aisée l'optimisation des autres paramètres de construction (paramètres de calcul de la courbure, nombre de points des exemples d'apprentissage, choix de l'algorithme d'aplatissement, etc.). Ces deux dernières variantes sont particulièrement intéressantes dans le cadre d'importantes bases d'apprentissage. Dans un mode de mise en œuvre ledit élément est une oreille droite et/ou une oreille gauche, et/ou la tête, et/ou le torse d'un individu. Selon un autre aspect de l'invention, il est également proposé un système d'élaboration d'un modèle déformable en trois dimensions d'un élément à partir d'une base initiale d'exemples de tels éléments munis de données permettant de déterminer, pour chacun des éléments de la base initiale, une surface maillée en trois dimensions à base de points et d'un réseau triangulaire reliant lesdits points, comprenant un calculateur configuré pour mettre en œuvre le procédé tel que précédemment décrit. Thus, the construction time of the model and its cost in human resources are minimized, making it easier to optimize the other construction parameters (curve calculation parameters, number of points of the training examples, choice of flattening algorithm, etc.). These last two variants are particularly interesting in the context of important learning bases. In one embodiment, said element is a right ear and / or a left ear, and / or the head, and / or the torso of an individual. According to another aspect of the invention, there is also provided a system for developing a three-dimensional deformable model of an element from an initial basis of examples of such elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, comprising a computer configured to implement the method as previously described.
L'invention sera mieux comprise à l'étude de quelques modes de réalisation décrits à titre d'exemples nullement limitatifs et illustrés par les dessins annexés sur lesquels : - les figures 1 à 7 illustrent schématiquement un procédé selon un aspect de l'invention appliqué à des oreilles humaines; et The invention will be better understood from the study of some embodiments described by way of non-limiting examples and illustrated by the appended drawings in which: FIGS. 1 to 7 schematically illustrate a method according to one aspect of the applied invention; to human ears; and
- les figures 8 à 10 illustrent schématiquement un procédé selon un aspect de l'invention appliqué à des visages humains. La présente invention constitue une alternative aux méthodes précitées et permet la création d'un modèle déformable de tout type de sujet ou élément à partir de l'étude de sa morphologie.  - Figures 8 to 10 schematically illustrate a method according to one aspect of the invention applied to human faces. The present invention is an alternative to the aforementioned methods and allows the creation of a deformable model of any type of subject or element from the study of its morphology.
Dans la suite de la description, les exemples décrits d'éléments seront des oreilles ou des visages humains, mais l'invention peut s'appliquer à tout autre élément quelconque.  In the remainder of the description, the described examples of elements will be human ears or faces, but the invention may apply to any other element.
En particulier, la présente invention ne nécessite pas d'information de texture et s'affranchit donc de fait des problèmes de pose et d'illumination que connaissent les algorithmes de flot ou flux optique, tels que les algorithmes nommés structure à partir de mouvement ou SFM pour acronyme de "structure from motion" en langue anglaise ou les algorithmes nommés structure à partir d'ombres ou SFS pour acronyme de "structure from shading" en langue anglaise. De plus, l'invention permet de s'adapter naturellement aux données en trois dimensions ou 3D comme à celles en 2,5D. Enfin, la présente invention permet de préserver l'information sémantique, ou en d'autres termes de préserver le sens physique véhiculé par une zone, un groupement de sommets ou même un seul sommet. Ainsi, sur l'exemple d'un visage humain, les sommets composants le nez de la forme moyenne composeront aussi le nez de n'importe quel visage du modèle après déformation. Cette observation est également valable pour les sous-structures comme dans le cas présent : le bout du nez, les narines droite et gauche ou l'arête. La figure 1 représente les grandes étapes du procédé selon un aspect de l'invention. In particular, the present invention does not require any texture information and thus effectively avoids the pose and illumination problems experienced by the flow or optical flow algorithms, such as the algorithms called structure from motion or SFM for acronym for "structure from motion" in English or algorithms called structure from shadows or SFS for acronym for "structure from shading" in English. In addition, the invention makes it possible to adapt naturally to three-dimensional or 3D data as to those in 2.5D. Finally, the present invention makes it possible to preserve the semantic information, or in other words to preserve the physical meaning conveyed by a zone, a group of vertices or even a single vertex. Thus, on the example of a human face, the vertices composing the nose of the middle form will also compose the nose of any face of the model after deformation. This observation is also valid for substructures as in the present case: the tip of the nose, the right and left nostrils or the ridge. Figure 1 shows the major steps of the method according to one aspect of the invention.
En d'autres termes, la figure 1 illustre un procédé 1 d'élaboration d'un modèle déformable en trois dimensions d'un élément à partir d'une base initiale d'exemples, chargée 2 dans les moyens informatiques mettant en œuvre le procédé de tels éléments munis de données permettant de déterminer, pour chacun des éléments de la base initiale, une surface maillée en trois dimensions à base de points et d'un réseau triangulaire reliant lesdits points, dans lequel : In other words, FIG. 1 illustrates a method 1 for producing a three-dimensional deformable model of an element from an initial base of examples, loaded 2 in the computer means implementing the method. such elements provided with data for determining, for each of the elements of the initial base, a three-dimensional mesh surface based on points and a triangular network connecting said points, wherein:
- pour chaque exemple d'élément de la base initiale, en chaque point de sa surface maillée, on détermine 3 (par mesure ou calcul) la valeur d'au moins un paramètre représentatif de la forme de la surface de l'élément en ce point, pour obtenir une base améliorée d'exemples d'éléments;  for each element example of the initial base, at each point of its meshed area, the value of at least one parameter representative of the shape of the surface of the element is determined 3 (by measurement or calculation) point, to obtain an improved base of examples of elements;
- pour chaque exemple d'élément de la base améliorée, correspondant aux éléments de la base initiale, on effectue un aplatissement ou dépliement 4 de la surface maillée en trois dimensions, pour obtenir une représentation en deux dimensions de ladite surface maillée;  for each element example of the improved base, corresponding to the elements of the initial base, the flat surface is flattened or unfolded in three dimensions to obtain a two-dimensional representation of said mesh surface;
- on met en correspondance 5, sur l'ensemble des représentations en deux dimensions des surfaces maillées desdits éléments, une pluralité de points respectifs en utilisant lesdites valeurs déterminées du ou des paramètres représentatifs de la forme de la surface de l'élément auxdits points et un procédé d'analyse desdites représentations en deux dimensions des surfaces maillées; on sous-échantillonne 6, à partir desdits points mis en correspondance, lesdites surfaces maillées en trois dimensions de la base initiale; 5, on the set of two-dimensional representations of the meshed surfaces of said elements, a plurality of respective points are put into correspondence using said determined values of the parameter or parameters representative of the shape of the surface of the element at said points and a method of analyzing said two-dimensional representations of the meshed surfaces; subsampling 6, from said mapped points, said three-dimensional meshed surfaces of the initial base;
on détermine un modèle 7 de l'élément à partir des surfaces maillées en trois dimensions de la base initiale comprenant une forme moyenne de l'élément et des modes de déformation; et  determining a model 7 of the element from the three-dimensional meshed surfaces of the initial base comprising a mean shape of the element and deformation modes; and
on effectue un remaillage 8 de ladite forme moyenne de l'élément.  remeshing 8 of said average form of the element.
On peut sous-échantillonner chaque exemple d'élément de la base initiale. Each sample element of the initial database can be subsampled.
Ainsi, lorsque la puissance de calcul disponible est limitée, il est possible d'adapter les données en conséquence. En variante, on peut sous-échantillonner chaque exemple d'élément de la base initiale sauf un desdits exemples pris pour référence. Thus, when the available computing power is limited, it is possible to adapt the data accordingly. Alternatively, one can subsample each example element of the initial database except one of said examples taken for reference.
Ainsi, il est possible d'améliorer le rendement de l'étape à suivre de mise en correspondance automatique sans demander notablement plus de puissance de calcul. Thus, it is possible to improve the efficiency of the automatic matching step without requiring significantly more computing power.
Les figures 2a et 2b représentent un exemple de modèle obtenu à partir d'une base d'oreille. Sur la figure 2a est représentée l'oreille moyenne non maillée, et sur la figure 2b est représentée cette même oreille déformée selon le troisième mode de déformation. En l'espèce il s'agit d'oreilles droites. Figures 2a and 2b show an example of a model obtained from an ear base. In Figure 2a is shown the non-meshing middle ear, and in Figure 2b is shown the same deformed ear according to the third mode of deformation. In this case it is about straight ears.
Plus précisément, les modèles obtenus par analyse en composantes principales, d'acronyme ACP, se présentent sous la forme d'une moyenne et de modes de déformations ou couples valeur propre/vecteur propre hiérarchisés par ordre d'importance, ou en d'autres termes par ordre décroissant des valeurs propres. On peut donc parler du premier mode de déformation, du deuxième mode de déformation, etc .. Dans la présente invention, dans l'univers 3D, chaque mode de déformation représente un ensemble de type déplacements subit par les éléments du nuage de points. Il est possible voir ces types de déplacement comme les données d'une direction et d'une vitesse de déplacement pour chaque point. La donnée d'un coefficient multiplicatif, qui pourrait être assimilée à une durée dans la précédente analogie, permet d'en calculer le déplacement exact. More precisely, the models obtained by principal component analysis, of acronym ACP, are in the form of a mean and deformation modes or eigenvalue / eigenvector pairs ranked in order of importance, or in others. terms in descending order of eigenvalues. We can therefore speak of the first mode of deformation, the second mode of deformation, etc. In the present invention, in the 3D universe, each mode of deformation represents a set of displacements type undergone by the elements of the point cloud. It is possible to see these types of displacement as the data of a direction and a speed of movement for each point. The data of a multiplicative coefficient, which could be assimilated to a duration in the previous analogy, makes it possible to calculate the exact displacement.
Sur la figure 2a est représentée l'oreille moyenne sans déformation et la précédente est cette même oreille avec des déformations. Dans les deux cas, le niveau de gris représente le déplacement des points par rapport à leur position au sein de l'oreille moyenne. Sur la figure 2a, vu qu'il n'y a pas de déplacement, le gris est uniforme. Sur la figure 2b, le troisième mode de déformation a été utilisé. Ce sont les sommets en niveaux de gris les plus élevés qui se sont le plus déplacés et inversement. In Figure 2a is shown the middle ear without deformation and the previous one is the same ear with deformations. In both cases, the gray level represents the displacement of the points relative to their position within the middle ear. In Figure 2a, since there is no movement, the gray is uniform. In Figure 2b, the third mode of deformation has been used. It is the highest greyscale vertices that have moved the most and vice versa.
Le présent modèle permet ainsi de mettre en évidence des sous- structures physiques de l'oreille qui ont tendance à évoluer ensemble (ou au contraire séparément si l'on travaille par complémentarité). The present model thus makes it possible to highlight physical substructures of the ear which tend to evolve together (or on the contrary separately if one works by complementarity).
Le niveau de gris de chaque point est associée à son écart vis-à- vis de sa position dans la forme moyenne (plus le niveau de gris est élevé, plus l'écart est important). The gray level of each point is associated with its deviation from its position in the average shape (the higher the gray level, the larger the difference).
La mise en œuvre du procédé selon un aspect de l'invention est effectuée comme suit : The implementation of the method according to one aspect of the invention is carried out as follows:
1 ) Une base d'exemples d'apprentissage est supposée disponible, chacun des exemples permettant, de façon directe ou après traitements, la reconstruction d'une surface maillée dans R3. 1) A base of training examples is supposed to be available, each of the examples allowing, directly or after treatments, the reconstruction of a meshed surface in R 3 .
2) Pour chaque exemple on effectue : 2) For each example we carry out:
- Une mesure des caractéristiques géométriques locales en chaque point de chaque exemple. Le résultat de chaque mesure est associé au point ayant servi à sa réalisation. Cette mesure peut se résumer à une courbure locale, comme illustré sur la figure 3, comme la courbure minimale, maximale, gaussienne ou moyenne au point considéré, à un descripteur plus complexe de forme tel qu'un histogramme de correctif de surface d'indice de forme ou SPHIS pour acronyme de "Surface Patch Histogram of Index Shape" en langue anglaise, ou un équivalent ou une combinaison des précédents. L'oreille 3D de la figure 3 à des niveaux de gris qui dépendent de la courbure moyenne locale, plus la courbure moyenne locale est importante, plus le gris est foncé. - Un dépliage de la surface qui permet ainsi l'obtention d'une représentation de chaque maillage sous forme d'une image 2D, comme illustré sur les figures 4a et 4b, correspondant respectivement aux oreilles gauche et droite du sujet 9 après calcul de courbure et aplatissement, noté im2D et d'un graphe connecté, classiquement noté Gc mais non représenté. Sur les figures 4a et 4b, les niveaux de gris sont tels que plus la courbure moyenne locale est importante, plus le gris est foncé. - A measure of the local geometric characteristics at each point of each example. The result of each measurement is associated with the point used for its realization. This measurement can be summarized as a local curvature, as shown in Figure 3, such as the minimum, maximum, Gaussian or average curvature at the point considered, to a more complex shape descriptor such as an index surface patch histogram. form or SPHIS for acronym for "Surface Patch Histogram of Index Shape" in English, or an equivalent or a combination of the above. The 3D ear of Figure 3 at gray levels that depend on the local mean curvature, the higher the local average curvature, the darker the gray is. An unfolding of the surface which thus makes it possible to obtain a representation of each mesh in the form of a 2D image, as illustrated in FIGS. 4a and 4b, respectively corresponding to the left and right ears of subject 9 after calculation of curvature and flattening, noted im2D and a connected graph, classically noted Gc but not shown. In FIGS. 4a and 4b, the gray levels are such that the greater the local average curvature, the darker is the gray.
Ce dépliage, aussi appelé "unwrapping" en langue anglaise, peut s'effectuer de multiples manières, comme avec des algorithmes d'aplatissement basés sur des angles, d'acronyme ABF pour "Angle-based Flattening" en langue anglaise, des algorithmes de cartes enrobantes par moindres carrés d'acronyme LSCM pour "Least Square Conformai Maps" en langue anglaise, ou leurs dérivés (ABF++, HSLCM pour "Hierarchical Least Square Conformai Maps" en langue anglaise,...). This unfolding, also called "unwrapping" in English, can be done in many ways, as with flattening algorithms based on angles, with ABF acronym for "Angle-based Flattening" in English, algorithms of least significant LSCM acronym for Least Square Conformai Maps in English, or their derivatives (ABF ++, HSLCM for "Hierarchical Least Square Conformai Maps" in English, ...).
3) Une mise en correspondance d'un maximum de points est réalisée à partir des images 2D en utilisant les caractéristiques mesurées au point 2) et les méthodes d'analyse liées au traitement d'image 2D, comme illustré sur la figure 5. Sur la figure 5 sont représentées à gauche en 2D et à droite en 3D une même oreille après mise en correspondance manuelle de 88 points selon les isocourbures 9, qui sont matérialisées sur l'image 2D de gauche. Sur la figure 5, les niveaux de gris sont tels que plus la courbure moyenne locale est importante, plus le gris est foncé. 4) Les points retenus 10 lors de la mise en correspondance sont alors utilisés pour sous-échantillonner les maillages 3D initiaux. Les nuages de points résultants servent alors à la constitution du modèle proprement dit à l'aide des outils de construction classiques comme l'analyse en composantes principales, d'acronyme ACP ou l'analyse en composantes intermédiaires, d'acronyme ACI, ...). 3) A mapping of a maximum of points is performed from 2D images using the characteristics measured in point 2) and the analysis methods related to 2D image processing, as shown in Figure 5. On Figure 5 are shown on the left in 2D and on the right in 3D the same ear after manual mapping of 88 points according to the isocurbures 9, which are materialized on the left 2D image. In Fig. 5, the gray levels are such that the higher the average local curvature, the darker the gray. 4) The points retained during the matching are then used to downsample the initial 3D meshes. The resulting point clouds are then used to build the actual model using conventional construction tools such as principal component analysis, acronym ACP or ACI acronym. .).
On obtient alors une forme dite moyenne et des modes de déformation, comme illustré sur la figure 2b. 5) Un remaillage de la forme moyenne permet de donner une surface au modèle.  We then obtain a so-called average shape and deformation modes, as shown in Figure 2b. 5) A remeshing of the average shape gives a surface to the model.
Ci-suit un exemple de réalisation du procédé de l'invention, portant sur un modèle déformable d'oreille 3D. Here follows an embodiment of the method of the invention, relating to a deformable 3D ear model.
La base utilisée est constituée des dix exemples librement accessibles de la base SYMARE pour acronyme de "Sydney-York Morphological And Recording of Ears" en langue anglaise. De plus, toutes les oreilles gauches de ces dix paires d'oreilles ont été symétrisées par rapport au plan sagittal de façon à disposer de vingt oreilles droites (les dix droites initiales et les dix droites provenant de la symétrisation des dix gauches). On note I = Hl; 20] l'ensemble des indices de ces oreilles droites et i = 1 l'indice de l'oreille droite prise comme oreille droite de référence. The base used consists of the ten freely accessible examples of the SYMARE database for "Sydney-York Morphological And Recording of Ears" in English. In addition, all the left ears of these ten pairs of ears have been symmetrized with respect to the sagittal plane so as to have twenty straight ears (the ten initial lines and the ten lines coming from the symmetrization of the ten left ones). We denote I = H1; 20] the set of indices of these right ears and i = 1 the index of the right ear taken as reference right ear.
Pour raisons de cohérence, les maillages des oreilles ainsi obtenues sont sous-échantillonnés à environ 6900 sommets. Cette étape, purement facultative, est présente afin d'optimiser les temps de traitement numérique et de faciliter l'intégration ultérieure d'éventuels autres exemples d'apprentissage. For reasons of coherence, the meshes of the ears thus obtained are subsampled to about 6900 vertices. This step, purely optional, is present in order to optimize the digital processing times and to facilitate the subsequent integration of possible other learning examples.
Enfin, l'oreille gauche du premier sujet de la base a été choisie comme oreille de référence après symétrisation en oreille droite. Dans la suite du document, toutes les notations indéxées par ref se rapportent naturellement à cette référence (en particulier, on a iref = 1 ). Finally, the left ear of the first subject of the base was chosen as reference ear after symmetrization in right ear. In the Following the document, all the notes indexed by ref refer naturally to this reference (in particular, we have iref = 1).
Le point 2) de la description de l'invention est ensuite effectué. La courbure moyenne locale a été retenue en tant que caractéristique géométrique et appliquée comme texture aux maillages 3D, comme illustré sur la figure 3. Point 2) of the description of the invention is then carried out. The local mean curvature was retained as a geometric feature and applied as texture to the 3D meshes, as shown in Figure 3.
Le dépliement a été réalisé grâce à l'algorithme de cartes enrobantes par moindres carrés d'acronyme LSCM pour "Least Square Conformai Maps" en langue anglaise, comme illustré sur les figures 4a et 4b. The unfolding was achieved by the LSCM LSCM algorithm for "Least Square Conformai Maps" in English, as illustrated in Figures 4a and 4b.
Comme précisé au point 3), d'autres algorithmes sont employables. Il n'existe pas de pré-requis particulier. La mise en correspondance des sommets des graphes connectés a nécessité les étapes suivantes : As stated in point 3), other algorithms are employable. There are no special requirements. The mapping of the vertices of the connected graphs required the following steps:
1 ) Découpage des images 2D selon Nc = 10 niveaux de courbure répartis de manière uniforme sur la plage des valeurs prises par les mesures de courbure, comme illustré sur la figure 5. 1) Cutting of the 2D images according to N c = 10 levels of curvature distributed uniformly over the range of values taken by the curvature measurements, as illustrated in FIG.
2) Sélection de Ns mami = 88 sommets du graphe connecté de référence. 2) Selection of N s mami = 88 vertices of the connected graph of reference.
Cette sélection est effectuée en suivant le tracé de nc lignes d'isocourbure, comme illustré sur l'exemple de la figure 6, avec nc G [1, NC], elles-mêmes choisies pour assurer une répartition homogène des sommets. This selection is made following the outline of n c isocurrent lines, as illustrated in the example of Figure 6, with n c G [1, N C ], themselves chosen to ensure a uniform distribution of vertices.
3) Sélection des sommets correspondants dans chaque graphe connecté (non représenté) correspondant G). , t e l {iref}. 3) Selection of corresponding vertices in each connected graph (not shown) corresponding G). , such {i ref }.
4) Réalisation d'une triangulation (en l'occurrence, de Delaunay) sur les Nmanu som mets issus du graphe connecté Gc lref de l'oreille de référence indicée iref et transfert du graphe de connectivité ou graphe connecté qui en résulte aux autres groupes de sommets précédemment isolés. Cela crée un ensemble fini de triangles, que l'on indice par / c N . En l'espèce, / = Œl, 163i 4) Realization of a triangulation (in this case, of Delaunay) on the N manu som e t s coming from the connected graph G c lref of the indexed reference ear i ref and transfer of the connectivity graph or connected graph which this results in the other groups of vertices previously isolated. This creates a finite set of triangles, which we index by / c N. In this case, / = Œl, 163i
On note f = {t- , j e e I, l'ensemble ainsi créé pour la ieme oreille, comme illustré sur la figure 7. Sur la figure 7, sont représentées les oreilles indicées 1 en haut et 9 en bas, respectivement dépliées en 2D à gauche et en 3D à droite. Une triangulation des Ns mami sommets sélectionnés a été effectuée sur l'oreille 1 et transférée sur l'oreille 9. En guise d'exemple, le triangle numéro 1 1 6 de cette triangulation est mis en évidence sur les deux oreilles 1 et 9. Note f = {t, jee I, all created for the ith ear as shown in Figure 7. In Figure 7, are represented indexed ears 1 up and down 9 respectively unfolded in 2D on the left and 3D on the right. A triangulation of the selected N s mami vertices was performed on the ear 1 and transferred to the ear 9. By way of example, the triangle number 1 1 6 of this triangulation is highlighted on both ears 1 and 9 .
5) Pour chaque j ej, on considère Tj = {tj, i e l} l'ensemble des mes triangles. Chaque élément tj j contient potentiellement des sommets du graphe dont on calcule les coordonnées barycentriques dans le repère propre au triangle tj. 5) For each j ej, we consider Tj = {tj, iel} all of my triangles. Each element tj j potentially contains vertices of the graph whose barycentric coordinates are calculated in the reference proper to the triangle tj.
6) On parcourt ensuite l'ensemble des sommets inclus dans t ef et, pour chacun d'entre eux, on recherche dans chaque autre triangle 6) We then go through all the vertices included in t ef and, for each of them, we search in each other triangle
tj e Tj \ i≠ iref , le sommet le plus proche en termes de coordonnées barycentriques. Cela crée de nouvelles mises en correspondance. tj e Tj \ i ≠ i ref , the closest vertex in terms of barycentric coordinates. This creates new mappings.
Toutefois, un sommet d'un graphe ne devant pas être associé à plusieurs sommets d'un autre, les mises en correspondance conflictuelles les moins intéressantes du point de vue de la distance barycentrique sont éliminées. On obtient ainsi un ensemble de correspondances automatiques à partir des éléments de 7} , ; G /. However, since one vertex of a graph does not have to be associated with several vertices of another, the least interesting conflicting mappings from the point of view of the barycentric distance are eliminated. We thus obtain a set of automatic correspondences starting from the elements of 7},; BOY WUT /.
Ceci étant fait pour tout ; G /, on obtient au final N?ut0 G N correspondances automatiques pour l'ensemble des oreilles. Dans le présent exemple,This being done for everything; G /, we finally get N? ut0 GN automatic matches for all ears. In this example,
Nmanu + pjauto = U6Q pojnts N + manu pjauto = j po nts U6Q
Parmi les améliorations et variantes possibles, on peut lister les suivantes : Among the possible improvements and variants, we can list the following:
- L'utilisation d'autres critères de caractérisation de la géométrie locale que la seule courbure, y compris l'utilisation conjointe de plusieurs d'entre eux. - Le suréchantillonage de toutes les oreilles ou de toutes sauf celle de référence. Cela permet d'augmenter le rendement de la mise en correspondance automatique et, par suite, la résolution finale du modèle. Cette étape supplémentaire permet de passer de 1460 points à 5076, à mettre en regard des 6900 sommets des maillages initiaux. Par exemple ce suréchantillonnage peut utiliser les barycentres des triangles initiaux. - The use of other criteria for characterization of local geometry as the only curvature, including the joint use of several of them. - Over-sampling of all ears or all but the reference one. This makes it possible to increase the efficiency of the automatic matching and, consequently, the final resolution of the model. This additional step allows to go from 1460 points to 5076, to put in front of 6900 summits of the initial meshes. For example, this oversampling can use the barycenters of the initial triangles.
- Les paramètres Nc et Ns mami peuvent bien entendu être fixés à d'autres valeurs. The parameters N c and N s mami can of course be set to other values.
- Les niveaux de courbure peuvent ne pas être répartis uniformément sur la plage disponible mais tenir compte de la répartition statistique des valeurs des courbures. - Les Ns mami points sélectionnés à l'étape 2) de la mise en correspondance peuvent l'être de façon automatique ou semi-automatique, par exemple : - The curvature levels may not be uniformly distributed over the available range but take into account the statistical distribution of curvature values. The N s mami points selected in step 2) of the mapping can be automatically or semi-automatically, for example:
- en effectuant un apprentissage progressif du processus de sélection sur les premières oreilles permettant ainsi une présélection sur les oreilles suivantes.  - By performing a progressive learning of the selection process on the first ears thus allowing a preselection on the following ears.
- en utilisant des méthodes à base de contours actifs ou "snakes" en langue anglaise pour établir le détail des transformations d'une isoligne d'une image à sa correspondante d'une autre image. - using methods based on active contours or "snakes" in English to establish the details of the transformations of an isoline of an image to its corresponding of another image.
Dans un autre exemple de réalisation qui suit, le procédé est appliqué à des visages humains. In another embodiment which follows, the method is applied to human faces.
La base de données de visages utilisée dans le présent exemple est constituée des exemples 2, 5, 6 et 14 de la base de visages 3D "UWA face database" de l'université australienne UWA (University of Western Australia), disponible à l'adresse suivante : The face database used in this example consists of Examples 2, 5, 6 and 14 of the UWA face database 3D database of the University of Western Australia (UWA), available at next address:
"http://staffhome.ecm.uwa.edu.au/~00053650/databases.html". Comme pour le l'exemple précédemment décrit appliqué à des oreilles humaines, un maillage a été choisi comme référence. En l'occurrence, celui du sujet numéro 2 de la base de données. De même, la courbure moyenne locale a également été retenue comme caractéristique géométrique et appliquée en tant que texture aux maillages 3D, comme illustré sur la figure 8, sur laquelle les niveaux de gris sont représentatifs de la courbure moyenne locale, plus le niveau de gris est élevé ou foncé, plus la courbure moyenne locale est importante. "Http://staffhome.ecm.uwa.edu.au/~00053650/databases.html". As for the previously described example applied to human ears, a mesh has been chosen as a reference. In this case, that of the subject number 2 of the database. Similarly, the local mean curvature was also retained as a geometric feature and applied as a texture to the 3D meshes, as shown in Figure 8, where the gray levels are representative of the local mean curvature plus gray level. is high or dark, the higher the average local curvature.
En revanche, contrairement au cas précédent, les maillages disponibles n'ont pas été sous-échantillonnés. Le nombre de sommets initiaux varie entre 1 6655 et 25951 . L'étape 2 de la description de l'invention est ensuite effectuée en suivant la même méthodologie que pour l'exemple décrit basé sur des oreilles. On the other hand, unlike in the previous case, the available meshes have not been subsampled. The number of initial vertices varies between 1 6655 and 25951. Step 2 of the description of the invention is then carried out following the same methodology as for the example described based on ears.
Les seules différences notables sont le nombre d'exemples d'apprentissage (4 visages) et le nombre de points annotés manuellement (Ns manu = 37), comme illustré sur la figure 9 qui représente un exemple de représentation 2D et 3D d'un même visage après mise en correspondance manuelle de 37 points selon les isocourbures, à l'instar de la figure 5 pour l'exemple des oreilles. The only notable differences are the number of learning examples (4 faces) and the number of manually annotated points (N s manu = 37), as shown in Figure 9 which represents an example of 2D and 3D representation of a same face after manual matching of 37 points according to the isocurbures, as in Figure 5 for the example of the ears.
Le résultat obtenu est un modèle déformable de visage à 6846 sommets constitué d'un visage moyen, comme illustré sur la figure 10 en niveaux de gris, accompagné de 3 modes de déformations. Dans la présente demande, il a été explicité une façon innovante de construire un modèle déformable. Cette méthode présente de nombreux avantages par rapport à l'état de l'art antérieur, et notamment : The result obtained is a 6846 vertex deformable face model consisting of a middle face, as shown in Figure 10 in gray levels, accompanied by 3 deformation modes. In the present application, it has been explained an innovative way of constructing a deformable model. This method has many advantages over the state of the prior art, and in particular:
- Une application potentielle à tout type de forme 3D, sans perte d'information. - La conservation de l'aspect sémantique attaché à l'objet d'étude, grâce au caractère local des caractéristiques considérées. - La possibilité d'être entièrement automatisé. - A potential application to any type of 3D form, without loss of information. - The preservation of the semantic aspect attached to the object of study, thanks to the local character of the considered characteristics. - The possibility of being fully automated.
- Un affranchissement vis-à-vis de la texture des exemples d'apprentissage et donc des conditions d'illumination lors de l'acquisition des données. - A frankness vis-à-vis the texture of the learning examples and thus the illumination conditions during the acquisition of the data.
- La possibilité d'incorporer les algorithmes d'analyse d'image 2D, bien plus nombreux et mâtures que ceux du monde 3D.  - The ability to incorporate 2D image analysis algorithms, many more and more mature than those of the 3D world.
Les étapes du procédé décrit ci-dessus peuvent être effectuées par un ou plusieurs processeurs programmables exécutant un programme informatique pour exécuter les fonctions de l'invention en opérant sur des données d'entrée et générant des données de sortie. The steps of the method described above may be performed by one or more programmable processors executing a computer program for performing the functions of the invention by operating on input data and generating output data.
Un programme informatique peut être écrit dans n'importe quelle forme de langage de programmation, y compris les langages compilés ou interprétés, et le programme d'ordinateur peut être déployé dans n'importe quelle forme, y compris en tant que programme autonome ou comme un sous-programme, élément ou autre unité appropriée pour une utilisation dans un environnement informatique. Un programme d'ordinateur peut être déployée pour être exécuté sur un ordinateur ou sur plusieurs ordinateurs à un seul site ou répartis sur plusieurs sites et reliées entre elles par un réseau de communication. A computer program can be written in any form of programming language, including compiled or interpreted languages, and the computer program can be deployed in any form, including as a stand-alone program or as a subroutine, element or other unit suitable for use in a computing environment. A computer program can be deployed to run on one computer or multiple computers at a single site or spread across multiple sites and interconnected by a communications network.
Le mode de réalisation préféré de la présente invention a été décrit. Diverses modifications peuvent être apportées sans s'écarter de l'esprit et de la portée de l'invention. Par conséquent, d'autres mises en œuvre sont dans la portée des revendications suivantes. The preferred embodiment of the present invention has been described. Various modifications can be made without departing from the spirit and scope of the invention. Therefore, other implementations are within the scope of the following claims.

Claims

REVENDICATIONS
1 . Procédé d'élaboration (1 ) d'un modèle déformable en trois dimensions d'un élément à partir d'une base initiale d'exemples (2) de tels éléments munis de données permettant de déterminer, pour chacun des éléments de la base initiale, une surface maillée en trois dimensions à base de points et d'un réseau triangulaire reliant lesdits points, dans lequel : 1. Method for producing (1) a three-dimensional deformable model of an element from an initial base of examples (2) of such elements provided with data for determining, for each of the elements of the initial base , a three-dimensional mesh surface based on points and a triangular network connecting said points, wherein:
pour chaque exemple d'élément de la base initiale, en chaque point de sa surface maillée, on détermine (3) la valeur d'au moins un paramètre représentatif de la forme de la surface de l'élément en ce point, pour obtenir une base améliorée d'exemples d'éléments;  for each element example of the initial base, at each point of its meshed area, the value of at least one parameter representative of the shape of the surface of the element at this point is determined to obtain a improved base of examples of elements;
pour chaque exemple d'élément de la base améliorée, correspondant aux éléments de la base initiale, on effectue un aplatissement (4) de la surface maillée en trois dimensions, pour obtenir une représentation en deux dimensions de ladite surface maillée;  for each element example of the improved base corresponding to the elements of the initial base, flattening (4) of the mesh surface in three dimensions is performed to obtain a two-dimensional representation of said mesh surface;
on met en correspondance (5), sur l'ensemble des représentations en deux dimensions des surfaces maillées desdits éléments, une pluralité de points respectifs en utilisant lesdites valeurs déterminées du ou des paramètres représentatifs de la forme de la surface de l'élément auxdits points et un procédé d'analyse desdites représentations en deux dimensions des surfaces maillées;  matching (5), on the set of two-dimensional representations of the meshed surfaces of said elements, a plurality of respective points using said determined values of the one or more parameters representative of the shape of the surface of the element at said points and a method of analyzing said two-dimensional representations of the meshed surfaces;
on sous-échantillonne (6), à partir desdits points mis en correspondance, lesdites surfaces maillées en trois dimensions de la base initiale;  subsampling (6), from said mapped points, said three-dimensional meshed surfaces of the initial base;
on détermine (7) un modèle de l'élément à partir des surfaces maillées en trois dimensions de la base initiale comprenant une forme moyenne de l'élément et des modes de déformation; et  determining (7) a model of the element from the three-dimensional meshed surfaces of the initial base including a mean shape of the element and modes of deformation; and
on effectue un remaillage (8) de ladite forme moyenne de l'élément.  remeshing (8) of said average form of the element is performed.
2. Procédé selon la revendication 1 , dans lequel ledit ou lesdits paramètres représentatifs de la forme de la surface de l'élément en un point de la surface maillée d'un exemple de la base initiale comprennent une courbure locale audit point et/ou un descripteur de forme audit point. The method of claim 1, wherein said one or more parameters representative of the shape of the surface of the element at a point of the mesh surface of an example of the initial base comprise a local curvature at said point and / or a shape descriptor at said point.
3. Procédé selon la revendication 2, dans laquelle ladite courbure locale comprend une courbure minimale et/ou une courbure maximale et/ou une courbure gaussienne et/ou une courbure moyenne. The method of claim 2, wherein said local curvature comprises a minimum curvature and / or a maximum curvature and / or a Gaussian curvature and / or a mean curvature.
4. Procédé selon la revendication 2 ou 3, dans laquelle le descripteur de forme comprend un histogramme de correctif de surface d'indice de forme ou SPHIS pour acronyme de "Surface Patch Histogram of Index Shape" en langue anglaise. The method according to claim 2 or 3, wherein the shape descriptor comprises a shape correction surface patch histogram or SPHIS for the acronym "Surface Patch Histogram of Index Shape" in English.
5. Procédé selon l'une des revendications précédentes, dans lequel ledit aplatissement (4) utilise un procédé ABF, LSCM, ABF++, ou H LSCM. 5. Method according to one of the preceding claims, wherein said flattening (4) uses an ABF method, LSCM, ABF ++, or H LSCM.
6. Procédé selon l'une des revendications 1 à 5, dans lequel ladite mise en correspondance (5) utilise un découpage des représentations en deux dimensions en Nc niveaux de courbure répartis de manière uniforme sur la plage des valeurs prises par les valeurs du ou des paramètres représentatifs de la forme de la surface de l'élément. The method according to one of claims 1 to 5, wherein said mapping (5) uses a division of the two-dimensional representations into N c curvature levels distributed uniformly over the range of values taken by the values of the or parameters representative of the shape of the surface of the element.
7. Procédé selon l'une des revendications 1 à 5, dans lequel ladite mise en correspondance (5) utilise un découpage des représentations en deux dimensions en Nc niveaux de courbure tenant compte de la répartition statistique des valeurs prises par les valeurs du ou des paramètres représentatifs de la forme de la surface de l'élément. 7. Method according to one of claims 1 to 5, wherein said mapping (5) uses a division of two-dimensional representations in N c curvature levels taking into account the statistical distribution of the values taken by the values of or parameters representative of the shape of the surface of the element.
8. Procédé selon l'une des revendications précédentes, dans lequel ladite mise en correspondance (5) utilise un nombre Nmanu ^Q p0j n s mis en correspondance manuellement. 8. Method according to one of the preceding claims, wherein said mapping (5) uses a number N manu ^ Q p 0 j n s mapped manually.
9. Procédé selon la revendication 8, semi-automatique, dans lequel au fur et à mesure de ladite mise en correspondance (5), le nombre N™anu de points mis en correspondance manuellement de l'élément en cours diminue avec le nombre d'éléments traités. 9. A method according to claim 8, semi-automatic, wherein as and when said mapping (5), the number N ™ anu of points manually matched the current item decreases with the number of treated elements.
10. Procédé selon la revendication 8, automatique à base de contours actifs, dans lequel le nombre N™anu de points mis en correspondance manuellement est nul. 10. The method of claim 8, automatic based on active contours, wherein the number N ™ anu of manually mapped points is zero.
1 1 . Procédé selon l'une des revendications précédentes, dans lequel ledit élément est une oreille droite et/ou une oreille gauche, et/ou la tête, et/ou le torse d'un individu. 1 1. Method according to one of the preceding claims, wherein said element is a right ear and / or a left ear, and / or the head, and / or the torso of an individual.
12. Système d'élaboration d'un modèle déformable en trois dimensions d'un élément à partir d'une base initiale d'exemples de tels éléments munis de données permettant de déterminer, pour chacun des éléments de la base initiale, une surface maillée en trois dimensions à base de points et d'un réseau triangulaire reliant lesdits points, comprenant un calculateur configuré pour mettre en œuvre le procédé selon l'une des revendications précédentes. 12. System for developing a three-dimensional deformable model of an element from an initial basis of examples of such elements provided with data for determining, for each of the elements of the initial base, a mesh surface three-dimensional point-based and a triangular network connecting said points, comprising a computer configured to implement the method according to one of the preceding claims.
EP17723989.4A 2016-05-27 2017-05-15 Method for establishing a deformable 3d model of an element, and associated system Pending EP3465629A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1654765A FR3051951B1 (en) 2016-05-27 2016-05-27 METHOD FOR PRODUCING A DEFORMABLE MODEL IN THREE DIMENSIONS OF AN ELEMENT, AND SYSTEM THEREOF
PCT/EP2017/061607 WO2017202634A1 (en) 2016-05-27 2017-05-15 Method for establishing a deformable 3d model of an element, and associated system

Publications (1)

Publication Number Publication Date
EP3465629A1 true EP3465629A1 (en) 2019-04-10

Family

ID=56411768

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17723989.4A Pending EP3465629A1 (en) 2016-05-27 2017-05-15 Method for establishing a deformable 3d model of an element, and associated system

Country Status (5)

Country Link
US (2) US10489977B2 (en)
EP (1) EP3465629A1 (en)
CN (1) CN109844818B (en)
FR (1) FR3051951B1 (en)
WO (1) WO2017202634A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201510822YA (en) 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
US10805757B2 (en) 2015-12-31 2020-10-13 Creative Technology Ltd Method for generating a customized/personalized head related transfer function
US10390171B2 (en) 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking
US11503423B2 (en) 2018-10-25 2022-11-15 Creative Technology Ltd Systems and methods for modifying room characteristics for spatial audio rendering over headphones
US10966046B2 (en) 2018-12-07 2021-03-30 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11221820B2 (en) 2019-03-20 2022-01-11 Creative Technology Ltd System and method for processing audio between multiple audio spaces
CN112200024B (en) * 2020-09-24 2022-10-11 复旦大学 Two-dimensional facial expression recognition method through three-dimensional deformable model learning
CN113284243A (en) * 2021-03-02 2021-08-20 上海交通大学 Method and system for establishing statistical shape model of three-dimensional surface model, storage medium and terminal

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
EP2742488A4 (en) * 2011-08-09 2016-01-27 Intel Corp Parameterized 3d face generation
CN103093498A (en) * 2013-01-25 2013-05-08 西南交通大学 Three-dimensional human face automatic standardization method
KR102285376B1 (en) * 2015-12-01 2021-08-03 삼성전자주식회사 3d face modeling method and 3d face modeling apparatus
FI20165211A (en) * 2016-03-15 2017-09-16 Ownsurround Ltd Arrangements for the production of HRTF filters
US10740596B2 (en) * 2016-11-08 2020-08-11 Nec Corporation Video security system using a Siamese reconstruction convolutional neural network for pose-invariant face recognition
WO2018161298A1 (en) * 2017-03-09 2018-09-13 中国科学院自动化研究所 Image tampering forensics method and device

Also Published As

Publication number Publication date
US10489977B2 (en) 2019-11-26
WO2017202634A1 (en) 2017-11-30
US20200118332A1 (en) 2020-04-16
US20190147650A1 (en) 2019-05-16
CN109844818A (en) 2019-06-04
FR3051951B1 (en) 2018-06-15
US10762704B2 (en) 2020-09-01
FR3051951A1 (en) 2017-12-01
CN109844818B (en) 2023-11-03

Similar Documents

Publication Publication Date Title
EP3465629A1 (en) Method for establishing a deformable 3d model of an element, and associated system
Yamaguchi et al. High-fidelity facial reflectance and geometry inference from an unconstrained image
Huang et al. Deep volumetric video from very sparse multi-view performance capture
JP7180970B2 (en) 3D reconstruction of real objects from depth maps
Oxholm et al. Multiview shape and reflectance from natural illumination
CN108549873A (en) Three-dimensional face identification method and three-dimensional face recognition system
Brostow et al. Video normals from colored lights
EP2724203B1 (en) Generation of map data
JP4780198B2 (en) Authentication system and authentication method
US11508107B2 (en) Additional developments to the automatic rig creation process
JP2023501041A (en) Method and system for predicting pressure maps of 3D objects from 2D photos using deep learning
EP3614306B1 (en) Method for facial localisation and identification and pose determination, from a three-dimensional view
Schambach et al. A multispectral light field dataset and framework for light field deep learning
EP1190208B1 (en) Method for measuring a three-dimensional object, or assembly of objects
JP2008242833A (en) Device and program for reconfiguring surface data of three-dimensional human face
WO2018077574A1 (en) Method for producing a 3d scatter plot representing a 3d ear of an individual, and associated system
WO2006117374A2 (en) Method for three-dimensionally reconstructing an articulated member or a set of articulated members
Seck et al. Ear-to-ear capture of facial intrinsics
Paulsen et al. Creating ultra dense point correspondence over the entire human head
Dana Bidirectional Texture Function and 3D Texture
Ramanath et al. Blackbody Radiation
Toderici et al. An automated method for human face modeling and relighting with application to face recognition
Dikmen 3D face reconstruction using stereo vision
Nielsen On Practical Sampling of Bidirectional Reflectance
Bond et al. Efficient Scene Reconstruction for Unmanned Aerial Vehicles

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181113

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
19U Interruption of proceedings before grant

Effective date: 20190116

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20200302

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: MIMI HEARING TECHNOLOGIES GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20221223