FR3135552A1 - Skin diagnosis process using 3D facial analysis - Google Patents
Skin diagnosis process using 3D facial analysis Download PDFInfo
- Publication number
- FR3135552A1 FR3135552A1 FR2204407A FR2204407A FR3135552A1 FR 3135552 A1 FR3135552 A1 FR 3135552A1 FR 2204407 A FR2204407 A FR 2204407A FR 2204407 A FR2204407 A FR 2204407A FR 3135552 A1 FR3135552 A1 FR 3135552A1
- Authority
- FR
- France
- Prior art keywords
- interest
- area
- user
- computer
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title claims abstract description 5
- 230000001815 facial effect Effects 0.000 title abstract description 7
- 230000008569 process Effects 0.000 title description 3
- 238000003745 diagnosis Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 17
- 239000002537 cosmetic Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000002560 therapeutic procedure Methods 0.000 claims description 2
- 206010040954 Skin wrinkling Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 208000007880 Zygomatic Fractures Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013425 morphometry Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- 206010040829 Skin discolouration Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 208000024963 hair loss Diseases 0.000 description 1
- 230000003676 hair loss Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000009759 skin aging Effects 0.000 description 1
- 230000037370 skin discoloration Effects 0.000 description 1
- 230000037393 skin firmness Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
Procédé de diagnostic de la peau par analyse faciale 3D L’invention a pour objet un procédé de modélisation d’un élément d’intérêt d’une zone de la peau d'un utilisateur comprenant (i) une acquisition d’au moins une image d’entrée RVB ou GRAYSCALE de la zone d’intérêt, (ii) une acquisition d’au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt, (iii) une reconstruction de forme 3D de la zone d’intérêt de l’utilisateur. Figure 1Method for diagnosing the skin by 3D facial analysis The subject of the invention is a method for modeling an element of interest of an area of the skin of a user comprising (i) an acquisition of at least one image RGB or GRAYSCALE input image of the area of interest, (ii) an acquisition of at least one high or medium resolution 2D input image of the area of interest, (iii) a 3D shape reconstruction of the area of user interest. Figure 1
Description
La présente invention concerne un procédé cosmétique sans cible thérapeutique pour la prédiction du vieillissement d’un élément d’intérêt de la peau d'un utilisateur. L’invention concerne encore système de traitement de données comprenant un processeur configuré pour exécuter le procédé.The present invention relates to a cosmetic method without therapeutic target for predicting the aging of an element of interest of a user's skin. The invention further relates to a data processing system comprising a processor configured to execute the method.
Les individus ont toujours la curiosité d'apprendre ce qui se passera dans le futur.Individuals always have the curiosity to learn what will happen in the future.
Un domaine d'intérêt particulier concerne la curiosité d'un individu quant à son apparence future.One area of particular interest concerns an individual's curiosity about their future appearance.
Étant donné qu'une « boule de cristal » ou une « machine à remonter le temps » n'existe que dans les contes de fées et la science-fiction, il est impossible d'obtenir une prévision exacte de l'apparence future d'un individu.Since a "crystal ball" or "time machine" only exists in fairy tales and science fiction, it is impossible to obtain an exact prediction of the future appearance of an individual.
Avec l'avancement des techniques de recherche modernes et des dispositifs de traitement des données, cependant, des évaluations quelque peu précises du pronostic d'un individu deviennent de plus en plus possibles.With the advancement of modern research techniques and data processing devices, however, somewhat accurate assessments of an individual's prognosis are becoming increasingly possible.
Un domaine où l'utilisation d'informations relatives aux perspectives d'un individu suscite un intérêt particulier est celui de la beauté.One area where there is particular interest in using information about an individual's perspectives is in beauty.
En vieillissant, une personne peut développer des affections telles que des rides, des ridules, une perte de cheveux et des décolorations de la peau, telles que celles causées par une surexposition au soleil ou plus généralement à son mode de vie.As a person ages, they may develop conditions such as fine lines, wrinkles, hair loss, and skin discolorations, such as those caused by overexposure to the sun or more generally lifestyle.
Le document US2017270593 divulgue un procédé de fourniture d'une recommandation de produit personnalisée à un consommateur, comprenant :a) capturer une image d'un utilisateur avec un dispositif de capture d'image ; b) analyser l'image avec un dispositif informatique couplé au dispositif de capture d'image, dans lequel le dispositif informatique analyse l'image en utilisant un réseau neuronal convolutif pour prédire l'âge de l'utilisateur, et dans lequel la prédiction de l'âge de l'utilisateur comprend l'identification d'au moins un pixel qui indique l'âge de l'utilisateur ; c) utiliser le au moins un pixel pour générer une carte thermique bidimensionnelle qui identifie une région de la peau dans l'image qui contribue à l'âge prédit de l'utilisateur ; d) recommander un produit à l'utilisateur à appliquer sur la région de la peau pour atteindre un âge cutané cible ; et e) offrir à l'utilisateur la possibilité d'acheter le produit.US2017270593 discloses a method of providing a personalized product recommendation to a consumer, comprising: a) capturing an image of a user with an image capture device; b) analyzing the image with a computing device coupled to the image capturing device, wherein the computing device analyzes the image using a convolutional neural network to predict the age of the user, and wherein predicting the age of the user includes identifying at least one pixel that indicates the age of the user; c) using the at least one pixel to generate a two-dimensional heat map that identifies a region of skin in the image that contributes to the predicted age of the user; d) recommend a product to the user to apply to the skin region to achieve a target skin age; and e) offer the user the opportunity to purchase the product.
L ’article Natalia Múnera« Evaluation of fringe projection and laser scanning for 3d reconstruction of dental pieces ” ,Dyna, Medellin, Colombia, February 2012 divulgue une numérisation 3D des dents humaines basée sur la projection de franges ou la numérisation laser. Les dents humaines peuvent être reconstruites pour une visualisation de la topographie des dents.The article Natalia Múnera “ Evaluation of fringe projection and laser scanning for 3d reconstruction of dental pieces ” , Dyna, Medellin, Colombia, February 2012 discloses a 3D scanning of human teeth based on fringe projection or laser scanning. Human teeth can be reconstructed for visualization of tooth topography.
Une méthode largement appliquée pour la reconstruction 3D d'objets est l'effet moiré. Ce phénomène se produit lorsque deux motifs réguliers se superposent sur une surface. Son utilisation en métrologie optique a commencé dans les années 1920. L'effet moiré a été utilisé dans des domaines aussi divers que les sciences de la vie et l'ingénierie. En sciences de la vie, l’effet moiré a fourni des informations précieuses en chirurgie plastique faciale, dans l'étude des malformations de la colonne vertébrale, et en morphométrie du visage.A widely applied method for 3D reconstruction of objects is the moiré effect. This phenomenon occurs when two regular patterns overlap on a surface. Its use in optical metrology began in the 1920s. The moiré effect has been used in fields as diverse as life sciences and engineering. In life sciences, the moiré effect has provided valuable information in facial plastic surgery, in the study of spinal malformations, and in facial morphometry.
L’article Kawano, Y., “Three dimensional analysis of the face in respect of zygomatic fractures and evaluation of the surgery with the aid of Moiré topography,” J. Cranio Maxill. Surg. 15, pp. 68-74, 1987 divulgue une analyse de la déformation faciale de patients présentant des fractures zygomatiques, en utilisant la topographie Moiré, qui est une méthode de morphométrie tridimensionnelle. Des photographies de moiré facial des patients ont été prises à des angles de 45 degrés avant et après une opération et ont été analysées quantitativement pour déterminer le degré de déformation de la joue par traitement informatique des données. Chaque donnée a été comparée dans l'intervalle entre la blessure et l'opération et en ce qui concerne les procédures chirurgicales. Les résultats radiographiques et les individus normaux ont également été étudiés à des fins de comparaison.The article Kawano, Y., “ Three dimensional analysis of the face in respect of zygomatic fractures and evaluation of the surgery with the aid of Moiré topography ,” J. Cranio Maxill. Surg. 15, pp. 68-74, 1987 discloses an analysis of the facial deformation of patients with zygomatic fractures, using Moiré topography, which is a method of three-dimensional morphometry. Facial moire photographs of the patients were taken at 45-degree angles before and after surgery and were quantitatively analyzed to determine the degree of cheek deformity by computer processing of the data. Each data was compared in the interval between injury and operation and with respect to surgical procedures. Radiographic findings and normal individuals were also studied for comparison.
Il existe un besoin d’améliorer les procédés de prédiction du vieillissement de la peau.There is a need to improve methods for predicting skin aging.
Il existe un besoin d’améliorer les procédés de diagnostic de la peau, notamment en termes de fiabilité, d’efficacité et de précision.There is a need to improve skin diagnostic processes, particularly in terms of reliability, efficiency and precision.
Il existe un besoin d’évaluer les performances des produits cosmétiques et d'autres facteurs ayant un impact sur le vieillissement.There is a need to evaluate the performance of cosmetic products and other factors impacting aging.
Définition de l’inventionDefinition of invention
L’invention a pour objet un procédé de modélisation d’un élément d’intérêt de la peau d'un utilisateur comprenant (i) une acquisition d’au moins une image d’entrée RVB ou GRAYSCALE de la zone d’intérêt, (ii) une acquisition d’au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt, (iii) une reconstruction de forme 3D de la zone d’intérêt de l’utilisateur.The subject of the invention is a method for modeling an element of interest of a user's skin comprising (i) an acquisition of at least one RGB or GRAYSCALE input image of the area of interest, ( ii) an acquisition of at least one high or medium resolution 2D input image of the area of interest, (iii) a 3D shape reconstruction of the user's area of interest.
Grâce au mode particulier d’acquisition des images, on observe une amélioration du diagnostic cutané pour tous les éléments d’intérêt. Il en résulte une opportunité de suivre l'évolution des éléments d’intérêt de la peau d’une personne avec précision dans le temps.Thanks to the particular mode of image acquisition, we observe an improvement in skin diagnosis for all elements of interest. This results in an opportunity to track the evolution of elements of interest in a person's skin precisely over time.
Selon l’invention, l’élément d’intérêt est par exemple une ride, une ridule, une tache, une cicatrice, des pores, une texture, des cernes, des poches sous les yeux.According to the invention, the element of interest is for example a wrinkle, a fine line, a spot, a scar, pores, a texture, dark circles, bags under the eyes.
La zone d’intérêt est par exemple une joue, une lèvre, un front, une patte d’oie.The area of interest is for example a cheek, a lip, a forehead, a crow's feet.
Rouge, vert, bleu, abrégé en RVB ou en RGB (de l'anglais « red, green, blue ») est un système de codage informatique des couleurs, le plus proche du matériel. Les écrans d'ordinateurs reconstituent une couleur par synthèse additive à partir de trois couleurs primaires, un rouge, un vert et un bleu, formant sur l'écran une mosaïque trop petite pour être aperçue. Le codage RVB indique une valeur pour chacune de ces couleurs primaires.Red, green, blue, abbreviated as RGB or RGB (from the English “red, green, blue”) is a computer color coding system, closest to hardware. Computer screens reconstruct a color by additive synthesis from three primary colors, a red, a green and a blue, forming a mosaic on the screen too small to be seen. RGB coding indicates a value for each of these primary colors.
Les images en basse résolution comptent environ 72 pixels, ou carrés de couleur, par pouce.Low-resolution images have about 72 pixels, or squares of color, per inch.
Les images en haute résolution comptent au minimum 300 pixels par pouce (ppi ou dpi).High resolution images have a minimum of 300 pixels per inch (ppi or dpi).
Les images en moyenne résolution comptent entre 72 pixels par pouce et 300 pixels par pouce.Medium resolution images range from 72 pixels per inch to 300 pixels per inch.
Les informations 3D sont notamment utilisées pour compenser l'effet de l'angle de vision et de l'orientation de la lumière qui modifie l'apparence d'une personne sur une image d’entrée 2D, comme des ombres ou des spécularités qui ont un impact sur l'évaluation des signes cliniques.In particular, 3D information is used to compensate for the effect of viewing angle and light orientation that changes the appearance of a person in a 2D input image, such as shadows or specularities that have an impact on the evaluation of clinical signs.
L'algorithme permettant d'avoir la reconstruction de forme 3D à haute résolution en profondeur d’un visage n'est pas explicitement décrit ici car il existe de nombreuses technologies différentes qui permettent un tel scan.The algorithm for having high depth resolution 3D shape reconstruction of a face is not explicitly described here as there are many different technologies that enable such scanning.
En général, de nombreuses sources de données peuvent être fusionnées pour permettre le suivi de détails élevés sur la peau.In general, many data sources can be merged to enable tracking of high skin details.
Le procédé selon l’invention est cosmétique et non-thérapeutique.The process according to the invention is cosmetic and non-therapeutic.
Avantageusement, le procédé de diagnostic d’un élément d’intérêt d’une zone de la peau d'un utilisateur comprend (i) une acquisition d’au moins une image d’entrée RVB ou GRAYSCALE de la zone d’intérêt, (ii) une acquisition d’au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt, (iii) une reconstruction de forme 3D de la zone d’intérêt, (iv) une extraction de données à partir de la reconstruction de forme 3D.Advantageously, the method for diagnosing an element of interest in an area of a user's skin comprises (i) an acquisition of at least one RGB or GRAYSCALE input image of the area of interest, ( ii) an acquisition of at least one high or medium resolution 2D input image of the area of interest, (iii) a 3D shape reconstruction of the area of interest, (iv) an extraction of data from 3D shape reconstruction.
Le procédé de modélisation peut utiliser les mesures de visage 3D pour extraire précisément la topologie du visage 3D via la reconstruction de visage.The modeling method can use the 3D face measurements to precisely extract the topology of the 3D face via face reconstruction.
L’invention concerne aussi un procédé cosmétique et non-thérapeutique de suivi temporel d’une zone d’intérêt d’un utilisateur comportant (i) une acquisition d’au moins une image d’entrée RVB ou GRAYSCALE de la zone d’intérêt, (ii) une acquisition d’au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt, (iii) une reconstruction de forme 3D de la zone d’intérêt, (v) un suivi temporel de la reconstruction de forme 3D généré par comparaison entre des reconstructions de forme 3D générées à des instants temporels différents.The invention also relates to a cosmetic and non-therapeutic method for temporally tracking an area of interest of a user comprising (i) an acquisition of at least one RGB or GRAYSCALE input image of the area of interest , (ii) an acquisition of at least one high or medium resolution 2D input image of the area of interest, (iii) a 3D shape reconstruction of the area of interest, (v) temporal monitoring of the 3D shape reconstruction generated by comparison between 3D shape reconstructions generated at different time points.
Le procédé de modélisation peut utiliser les mesures de visage 3D pour extraire précisément la topologie du visage 3D via la reconstruction de visage. L'enregistrement des reconstructions faciales 3D de la même personne au fil du temps permet de superposer les parties qui ne varient pas de manière significative, comme la structure osseuse et d'évaluer la différence des parties qui pourraient se déplacer ou s'altérer au fil du temps, comme les éléments d’intérêt tels que les rides et ridules ou la fermeté de la peau. De cette façon, on peut suivre les évolutions de la peau de la personne dans le temps et encore plus évaluer les performances des différents produits cosmétiques appliqués et tous les autres facteurs qui ont un impact sur le vieillissement de la personne, comme une exposome ou une nutrition. Il peut en résulter une recommandation d’un produit cosmétique.The modeling method can use the 3D face measurements to precisely extract the topology of the 3D face via face reconstruction. Recording 3D facial reconstructions of the same person over time allows us to superimpose parts that do not vary significantly, such as bone structure, and assess the difference in parts that might shift or alter over time. time, such as elements of interest such as fine lines and wrinkles or skin firmness. In this way, we can follow the changes in the person's skin over time and even more evaluate the performance of the different cosmetic products applied and all other factors that have an impact on the aging of the person, such as an exposome or a nutrition. This may result in a recommendation for a cosmetic product.
L’invention concerne un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent l'ordinateur à exécuter le procédé tel que décrit précédemment.A computer program product includes instructions which, when the program is executed by a computer, cause the computer to execute the method as described above.
L’invention concerne aussi un système de traitement de données comprenant :The invention also relates to a data processing system comprising:
Une mémoire dans laquelle est stocké le produit programme d’ordinateur tel que décrit précédemment,A memory in which the computer program product is stored as described previously,
Une unité de traitement configurée pour mettre en œuvre le produit programme d’ordinateur,A processing unit configured to implement the computer program product,
Un dispositif photographique configuré pour acquérir les images d’entrée RVB ou GRAYSCALE de la zone d’intérêt et l’image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt,A photographic device configured to acquire the RGB or GRAYSCALE input images of the area of interest and the high or medium resolution 2D input image of the area of interest,
Un écran configuré pour afficher la reconstruction de forme 3D de la zone d’intérêt de l’utilisateur générée par l’unité de traitement.A screen configured to display the 3D shape reconstruction of the user's area of interest generated by the processing unit.
L’invention concerne aussi un support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, amènent l’ordinateur à exécuter le procédé décrit précédemment.The invention also relates to a computer-readable medium comprising instructions that, when executed by a computer, cause the computer to perform the method described above.
Modes de réalisation préférésPreferred embodiments
Procédé de modélisationModeling process
De préférence, le procédé de modélisation selon l’invention présente une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison :Preferably, the modeling method according to the invention has one or more of the following characteristics, taken alone or in combination:
La reconstruction de forme 3D est une reconstruction de forme 3D haute résolution.3D Shape Reconstruction is a high-resolution 3D shape reconstruction.
La reconstruction de forme 3D est réalisée en fusionnant une acquisition 3D haute résolution globale ou locale avec une analyse de profondeur locale/globale haute résolution.3D shape reconstruction is performed by merging high-resolution global or local 3D acquisition with high-resolution local/global depth analysis.
Il comprend une numérisation 3D basée sur une projection de franges ou la numérisation laser.It includes 3D scanning based on fringe projection or laser scanning.
Il comprend une triangulation basée sur des images acquises de points de vue différents.It includes triangulation based on images acquired from different points of view.
Il comprend une estimation haute résolution basée sur des images d’une résolution inférieure avec un modèle d’apprentissage machine. Le procédé comprend une acquisition d’au moins une donnée complémentaire décrivant des informations personnelles de l’utilisateur, notamment à partir d’un questionnaire rempli par l’utilisateur, et le traitement de cette donnée complémentaire.It includes high-resolution estimation based on lower resolution images with a machine learning model. The method comprises an acquisition of at least one additional data describing personal information of the user, in particular from a questionnaire completed by the user, and the processing of this additional data.
Procédé de suivi temporelTime tracking method
De préférence, le procédé de suivi temporel d’une zone d’intérêt de l’utilisateur présente une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison :Preferably, the method for temporal tracking of an area of interest of the user has one or more of the following characteristics, taken alone or in combination:
Il comprend (vi) un traitement des reconstructions de forme 3D générées à des instants temporels différents par superposition d’une partie prédéterminée invariable dans le temps, notamment la structure osseuse, et détection de l’évolution des éléments d’intérêt entre les instants temporels différents à partir de la superposition.It includes (vi) a processing of 3D shape reconstructions generated at different temporal instants by superposition of a predetermined part invariable over time, in particular the bone structure, and detection of the evolution of the elements of interest between the temporal instants different from the superposition.
Le suivi temporel comprend un calcul d’un gradient d’évolution de la zone d’intérêt à partir d’une comparaison de paramètres enregistrés aux deux instants temporels.The temporal monitoring includes a calculation of a gradient of evolution of the zone of interest from a comparison of parameters recorded at the two temporal instants.
Il comprend une recommandation d’un produit cosmétique basée sur la reconstruction de forme 3D de la zone d’intérêt de l’utilisateur.It includes a recommendation of a cosmetic product based on the 3D shape reconstruction of the user's area of interest.
Produit programme d’ordinateurComputer program product
Il comprend des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à : Acquérir au moins une image d’entrée RVB ou GRAYSCALE d’une zone d’intérêt d’un utilisateur, Acquérir au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt, Reconstruire une forme 3D de la zone d’intérêt de l’utilisateur.It includes instructions which, when the program is executed by a computer, lead it to: Acquire at least one RGB or GRAYSCALE input image of an area of interest of a user, Acquire at least one image of high or medium resolution 2D input of the area of interest, Reconstruct a 3D shape of the user's area of interest.
Il comprend des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à : Comparer des reconstructions de forme 3D générées à des instants temporels différents.It includes instructions which, when the program is executed by a computer, lead it to: Compare 3D shape reconstructions generated at different times.
Il comprend des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à : Recommander un produit cosmétique en fonction de la reconstruction de forme 3D de la zone d’intérêt de l’utilisateur, Présenter le produit recommandé à l’utilisateur sur un écran.It includes instructions which, when the program is executed by a computer, lead it to: Recommend a cosmetic product based on the 3D shape reconstruction of the user's area of interest, Present the recommended product to the user on a screen.
D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui va suivre, d’exemples de mise en œuvre non limitatifs de celle-ci, et à l’examen du dessin annexé, sur lequel :Other characteristics and advantages of the invention will emerge on reading the detailed description which follows, of non-limiting examples of implementation thereof, and on examination of the appended drawing, in which:
La
Dans l’exemple représenté, le procédé comprend d’une part une étape d’importation de trois images 1, 2, 3 de photographie d’entrée RVB de la zone d’intérêt, les trois images étant effectuées à différents angles de prise de vue et d’autre part une étape d’importation d’un scan 4 local haute ou basse résolution.In the example shown, the method comprises on the one hand a step of importing three images 1, 2, 3 of RGB input photography of the area of interest, the three images being taken at different shooting angles. view and on the other hand a step of importing a high or low resolution local scan 4.
Par exemple l’importation de l’image de photographie peut résulter d’une capture effectuée par l’utilisateur, en mode autoportrait ou éventuellement en photographiant son reflet dans un miroir.For example, the import of the photograph image may result from a capture made by the user, in self-portrait mode or possibly by photographing their reflection in a mirror.
Ensuite, le procédé comprend une étape de segmentation dans le scan 4, de manière à identifier au moins une zone d’intérêt 5 sur le visage de l’utilisateur.Then, the method includes a segmentation step in the scan 4, so as to identify at least one area of interest 5 on the user's face.
L’étape de segmentation peut être mise en œuvre automatiquement par un algorithme de segmentation d’image par exemple adapté pour effectuer des reconnaissances d’objets, des définitions de contours, des reconnaissances de motifs, une suppression d’arrière-plan, ou d’autres traitements d’image adaptés et connus.The segmentation step can be implemented automatically by an image segmentation algorithm, for example adapted to perform object recognition, contour definition, pattern recognition, background removal, or other suitable and known image processing.
L’étape de segmentation est par exemple capable de détecter un élément d’intérêt, tel qu’une ride.The segmentation step is, for example, capable of detecting an element of interest, such as a wrinkle.
Bien entendu, les éléments d’intérêts identifiés dans le scan dépendent des prises de vue.Of course, the elements of interest identified in the scan depend on the shots.
En alternative, l’étape de segmentation peut être effectuée « manuellement » par l’utilisateur, par exemple au moyen d’une requête adressée à l’utilisateur pour identifier la position de ladite au moins une zone d’intérêt sur l’image.Alternatively, the segmentation step can be carried out “manually” by the user, for example by means of a request addressed to the user to identify the position of said at least one area of interest on the image.
Un modèle d’apprentissage machine peut avantageusement être prévu pour corriger une déformation de la couleur, par exemple en tenant compte de la position géographique de la prise de vue (intérieur ou extérieur), l’horodatage de la prise de vue (jour ou nuit), la météo au moment de la prise de vue (soleil, nuages, pluie, neige). Les paramètres permettant d’estimer la correction à effectuer peuvent être plus complexes que les éléments de base présentés ci-dessus.A machine learning model can advantageously be provided to correct a color distortion, for example by taking into account the geographical position of the shot (interior or exterior), the timestamp of the shot (day or night ), the weather at the time the photo was taken (sun, clouds, rain, snow). The parameters for estimating the correction to be made may be more complex than the basic elements presented above.
Le modèle d’apprentissage machine peut par exemple être du type réseau neuronal convolutif. L’utilisation d’un modèle d’apprentissage machine permet de bénéficier d’une précision extrêmement fine dans la détermination de la couleur des zones d’intérêt.The machine learning model can for example be of the convolutional neural network type. The use of a machine learning model allows you to benefit from extremely fine precision in determining the color of areas of interest.
Après l’importation des images, le procédé comprend un traitement des images pour effectuer reconstruction de forme 3D 6 du visage de l’utilisateur, à partir d’une unité de traitement, comme un processeur ou un microprocesseur par exemple.After importing the images, the method includes processing the images to perform 3D shape reconstruction 6 of the user's face, from a processing unit, such as a processor or a microprocessor for example.
L’unité de traitement peut être configurée pour effectuer un suivi temporel des reconstructions de forme 3D 6 et 7 acquises à deux instants temporels différents, à partir d’images de l’utilisateur prises à des instants temporels différents.The processing unit can be configured to perform temporal tracking of the 3D shape reconstructions 6 and 7 acquired at two different temporal instants, from images of the user taken at different temporal instants.
En particulier, les images peuvent être acquise régulièrement, par exemple tous les ans. Chaque nouvelle modélisation 3D 8 peut être enregistrée pour faciliter le suivi.In particular, the images can be acquired regularly, for example every year. Each new 3D 8 model can be saved for easy tracking.
Les données extraites de chaque modélisation 3D 6, 7, 8 peuvent associées à une indication temporelle relative à un moment d’acquisition des images. Par exemple, l’indication temporelle peut être une date d’acquisition de l’image.The data extracted from each 3D modeling 6, 7, 8 can be associated with a temporal indication relating to a moment of image acquisition. For example, the time indication can be a date of acquisition of the image.
Claims (16)
Acquérir au moins une image d’entrée RVB ou GRAYSCALE d’une zone d’intérêt d’un utilisateur, Acquérir au moins une image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt,
Reconstruire une forme 3D de la zone d’intérêt de l’utilisateur.Computer program product comprising instructions which, when the program is executed by a computer, lead it to:
Acquire at least one RGB or GRAYSCALE input image of a user's area of interest, Acquire at least one high or medium resolution 2D input image of the area of interest,
Reconstruct a 3D shape of the user's area of interest.
Comparer des reconstructions de forme 3D générées à des instants temporels différents.Computer program product according to claim 13 comprising instructions which, when the program is executed by a computer, lead it to:
Compare 3D shape reconstructions generated at different time points.
Recommander un produit cosmétique en fonction de la reconstruction de forme 3D de la zone d’intérêt de l’utilisateur,
Présenter le produit recommandé à l’utilisateur sur un écran.Computer program product according to claim 13 or 14 comprising instructions which, when the program is executed by a computer, lead it to:
Recommend a cosmetic product based on the 3D shape reconstruction of the user's area of interest,
Present the recommended product to the user on a screen.
- une mémoire dans laquelle est stocké le produit programme d’ordinateur selon l’une quelconque des revendications 13 à 15,
- une unité de traitement configurée pour mettre en œuvre le produit programme d’ordinateur,
- un dispositif photographique configuré pour acquérir les images d’entrée RVB ou GRAYSCALE de la zone d’intérêt et l’image d’entrée 2D haute ou moyenne résolution de la zone d’intérêt,
- un écran configuré pour afficher la reconstruction de forme 3D de la zone d’intérêt de l’utilisateur générée par l’unité de traitement, et éventuellement pour présenter un produit recommandé à l’utilisateur.Data processing system comprising:
- a memory in which the computer program product according to any one of claims 13 to 15 is stored,
- a processing unit configured to implement the computer program product,
- a photographic device configured to acquire the RGB or GRAYSCALE input images of the area of interest and the high or medium resolution 2D input image of the area of interest,
- a screen configured to display the 3D shape reconstruction of the user's area of interest generated by the processing unit, and optionally to present a recommended product to the user.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2204407A FR3135552B1 (en) | 2022-05-10 | 2022-05-10 | Skin diagnosis process using 3D facial analysis |
| PCT/EP2023/061901 WO2023217644A1 (en) | 2022-05-10 | 2023-05-05 | Method for diagnosing the skin by means of 3d facial analysis |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2204407A FR3135552B1 (en) | 2022-05-10 | 2022-05-10 | Skin diagnosis process using 3D facial analysis |
| FR2204407 | 2022-05-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3135552A1 true FR3135552A1 (en) | 2023-11-17 |
| FR3135552B1 FR3135552B1 (en) | 2024-04-26 |
Family
ID=82196755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2204407A Active FR3135552B1 (en) | 2022-05-10 | 2022-05-10 | Skin diagnosis process using 3D facial analysis |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3135552B1 (en) |
| WO (1) | WO2023217644A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100003668A (en) * | 2008-07-01 | 2010-01-11 | (주)엘리드 | Stereoscopic 3d measuring system and method for efficiency evaluation of skin products |
| US20170270593A1 (en) | 2016-03-21 | 2017-09-21 | The Procter & Gamble Company | Systems and Methods For Providing Customized Product Recommendations |
| WO2018065351A1 (en) * | 2016-10-04 | 2018-04-12 | L'oreal | Method for characterizing human skin relief |
-
2022
- 2022-05-10 FR FR2204407A patent/FR3135552B1/en active Active
-
2023
- 2023-05-05 WO PCT/EP2023/061901 patent/WO2023217644A1/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100003668A (en) * | 2008-07-01 | 2010-01-11 | (주)엘리드 | Stereoscopic 3d measuring system and method for efficiency evaluation of skin products |
| US20170270593A1 (en) | 2016-03-21 | 2017-09-21 | The Procter & Gamble Company | Systems and Methods For Providing Customized Product Recommendations |
| WO2018065351A1 (en) * | 2016-10-04 | 2018-04-12 | L'oreal | Method for characterizing human skin relief |
Non-Patent Citations (3)
| Title |
|---|
| ALAN F SMEATON ET AL: "Tracking Skin Colour and Wrinkle Changes During Cosmetic Product Trials Using Smartphone Images", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 August 2020 (2020-08-04), XP081731386, DOI: 10.1111/SRT.12928 * |
| KAWANO, Y.: "Three dimensional analysis of the face in respect of zygomatic fractures and évaluation of the surgery with the aid of Moiré topography", J. CRANIO MAXILL. SURG., vol. 15, 1987, pages 68 - 74, XP022252103, DOI: 10.1016/S1010-5182(87)80021-5 |
| NATALIA MUNERA: "Evaluation offringe projection and laser scanning for 3d reconstruction of dental pieces", February 2012, DYNA |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3135552B1 (en) | 2024-04-26 |
| WO2023217644A1 (en) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10278584B2 (en) | Method and system for three-dimensional imaging | |
| FR2862788A1 (en) | Subject`s e.g. human, image data analyzing method for e.g. X-ray system, involves analyzing temporal change image of patient via computer aided detection algorithm, to identify feature of interest in image | |
| TW200428231A (en) | Skin evaluation method and image simulation method | |
| JP2016529959A (en) | Automatic video-based acquisition for tooth surface imaging device | |
| EP2900124B1 (en) | Method for characterising volumes of skin | |
| EP4072794B1 (en) | Device for defining a sequence of movements in a generic model | |
| Chen et al. | Deepmag: Source-specific change magnification using gradient ascent | |
| JP6651366B2 (en) | Extraction method of determinants of facial appearance impression | |
| Bondi et al. | Reconstructing high-resolution face models from kinect depth sequences | |
| CA2687596A1 (en) | Method and device for acquiring and processing images for detecting evolutive lesions | |
| EP4162448A1 (en) | Method and device for three-dimensional reconstruction of a face with toothed portion from a single image | |
| Ferková et al. | Age and gender-based human face reconstruction from single frontal image | |
| JP6527765B2 (en) | Wrinkle state analyzer and method | |
| JP2017113140A (en) | Skin condition evaluation method | |
| FR3056901A1 (en) | PROCESS FOR CHARACTERIZING HUMAN CUTANE SURFACE | |
| FR3135552A1 (en) | Skin diagnosis process using 3D facial analysis | |
| Gevaux | 3D-hyperspectral imaging and optical analysis of skin for the human face | |
| JP5398354B2 (en) | Evaluation method of skin surface condition | |
| FR3102285A1 (en) | PROCESS FOR GENERATING A DENTAL IMAGE | |
| CA2685562A1 (en) | Method and device for acquiring and processing data for detecting the evolution in time of evolutive lesions | |
| JP6886773B2 (en) | How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face | |
| JP2021121328A (en) | Skin condition discrimination method, cosmetic evaluation method, and cosmetic design method | |
| FR3110737A1 (en) | Intelligent system allowing a skin test followed by the formulation and manufacture of tailor-made cosmetics. | |
| Mahmood et al. | Artifact Removal from Skin Dermoscopy Imagesto Support Automated Melanoma Diagnosis | |
| US12039768B2 (en) | Method and system for anonymizing facial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20231117 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |