FR3135556A1 - Détection et visualisation de signes cutanés au moyen d’une carte thermique - Google Patents

Détection et visualisation de signes cutanés au moyen d’une carte thermique Download PDF

Info

Publication number
FR3135556A1
FR3135556A1 FR2204423A FR2204423A FR3135556A1 FR 3135556 A1 FR3135556 A1 FR 3135556A1 FR 2204423 A FR2204423 A FR 2204423A FR 2204423 A FR2204423 A FR 2204423A FR 3135556 A1 FR3135556 A1 FR 3135556A1
Authority
FR
France
Prior art keywords
interest
skin
image
heat map
signs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2204423A
Other languages
English (en)
Inventor
Panagiotis-Alexandros BOKARIS
Julien Despois
Matthieu Perrot
Benjamin ASKENAZI
Frédéric FLAMENT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Priority to FR2204423A priority Critical patent/FR3135556A1/fr
Priority to PCT/EP2023/061788 priority patent/WO2023217626A1/fr
Publication of FR3135556A1 publication Critical patent/FR3135556A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

Détection et visualisation de signes cutanés au moyen d’une carte thermique L’invention concerne un procédé cosmétique et non thérapeutique de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur, notamment le contour des yeux, les joues, le contour de la bouche, le front, comportant (i) une acquisition d’une image d’entrée d’une zone d’intérêt (112), (ii) une analyse de la zone d’intérêt pour fournir un score des signes cutanés, (iii) une visualisation de la région d’intérêt (111) sous forme de carte thermique (12, , (iv)) une fusion de la carte thermique (12, 22) avec l’image d’entrée de la région d’intérêt (111). Figure pour l’abrégé : Fig.1

Description

Détection et visualisation de signes cutanés au moyen d’une carte thermique
L’invention a pour objet un procédé cosmétique et non thérapeutique de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur. Elle vise également un système pour la mise en œuvre de ce procédé.
Plus généralement, un produit cosmétique est un produit tel que défini dans le Règlement CE N°1223/2009 du Parlement européen et du Conseil daté du 30 novembre 2009, relatif aux produits cosmétiques.
L'analyse de la peau assistée par ordinateur s'est généralisée au cours de la dernière décennie avec la disponibilité de systèmes d'éclairage contrôlés et de capacités de capture et de traitement d'images numériques.
En raison de l'importance accordée à l'apparence du visage, des travaux d'analyse assistée par ordinateur se sont concentrés sur la peau du visage. Il existe des systèmes disponibles dans le commerce pour l'imagerie de la peau du visage qui peuvent capturer des images numériques de manière contrôlée. Ces systèmes sont souvent couplés à des systèmes d'analyse informatique pour la visualisation et la quantification des caractéristiques visibles de la peau dans les images de lumière blanche standard telles que les taches hyperpigmentées, les rides et la texture, ainsi que les caractéristiques non visibles dans les images d'absorption hyperspectrale ou de fluorescence telles que les taches UV.
Le document US8218862 divulgue un procédé pour générer un masque cutané délimitant une région d'intérêt (ROI) dans une image de peau comprenant :
détecter la peau dans l'image de peau pour générer une carte de peau, la détection de peau comprenant :
effectuer une opération de segmentation de peau brute sur l'image de peau ;
convertir l'image de peau segmentée de peau brute en une image d'espace couleur ayant au moins trois canaux; et
filtrer deux des au moins trois canaux ;
générer une image d'indice de mélanine à partir des canaux filtrés ; et
effectuer une opération de seuillage sur l'image d'indice de mélanine pour séparer les zones cutanées et non cutanées dans l'image cutanée ;
fournir un contour initial basé sur la carte de la peau ; et
optimiser le contour initial pour générer un contour du masque cutané, la carte de peau et le masque cutané comprenant chacun au moins une limite naturelle de la peau.
On connaît aussi les six « Atlas des signes du vieillissement cutané » publiés par MED’COM depuis 2007. Ces ouvrages étudient et établissent de manière systématique une caractérisation et une classification de la peau liée à l'âge et à la géographie.
En identifiant plusieurs caractéristiques du visage, ils permettent aux professionnels de qualifier et de quantifier les signes de l’âge en fonction de leur évolution. Ils définissent des critères – ouverture des pores, profondeur des rides du front, des pattes d’oie – et leur attribuent un score de sévérité, qui part de zéro et peut aller jusqu’à 9.
Ces atlas représentent une partie de la connaissance sur laquelle reposent les outils d’évaluation des signes cutanés. On en connaît les performances pour évaluer des produits cosmétiques ou pour modéliser des cinétiques d’évolution du vieillissement basées sur des centaines de milliers de photos.
Afin d’automatiser les diagnostics, les données des atlas ont été utilisées pour nourrir les algorithmes, en associant une photo à un score. Puis, ils ont été entraînés à scorer ces différentes zones d’observation.
Grâce à des milliers de selfies étudiés à travers le globe, les algorithmes basés sur l’intelligence artificielle ont appris à reconnaître les différents signes du vieillissement du visage sur tout type de photographie.
En croisant les données issues des selfies avec des informations sur le rythme de vie, le sommeil ou l’environnement des utilisateurs, ces diagnostics permettent désormais de proposer à un utilisateur une «courbe du vieillissement» estimative, qui peut être comparée à une moyenne des personnes de même âge.
La demande de brevet WO2020169214 déposée par la Demanderesse divulgue la prédiction d’un vieillissement cutané, en tenant compte des atlas et aussi de l’environnement ou des habitudes d’un utilisateur, notamment du temps de sommeil, de la pollution et/ou du lieu de vie. En croisant les données issues de selfies avec des informations comme le rythme de vie, le sommeil ou l’environnement des utilisateurs, cette prédiction propose une «courbe du vieillissement» basée sur ces données.
Il existe un besoin d’améliorer encore la performance des procédés ci-dessus pour mieux :
Fournir des diagnostics complets et précis du visage combinant diverses caractéristiques.
Personnaliser un soin cosmétique/produit basé sur le diagnostic soit en créant un nouveau produit, soit en le sélectionnant dans une gamme donnée.
Personnaliser l'expérience utilisateur en visualisant les résultats du diagnostic et/ou en simulant leur évolution pour le partage des connaissances.
Définition de l’invention
L’invention a pour objet un procédé cosmétique et non thérapeutique de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur, notamment le contour des yeux, les joues, le contour de la bouche, le front, comportant (i) une acquisition d’une image d’entrée d’une zone d’intérêt d’un utilisateur comportant une région d’intérêt englobant des signes cutanés, (ii) une analyse de la zone d’intérêt pour fournir un score des signes cutanés, par comparaison à des scores de référence pré enregistrés dans une base de données de référence. (iii) une visualisation de la région d’intérêt sous forme de carte thermique pour détecter les signes cutanés, la carte thermique étant issue d’un algorithme focalisé sur les signes cutanés, (iv) une fusion de la carte thermique avec l’image d’entrée de la région d’intérêt pour fournir une image de sortie de la région d’intérêt et optimiser la visualisation des signes cutanés.
Des évaluations précises des signes cutanés surpassant celles de l'état de l'art en termes de précision et d'inclusivité sont obtenues conformément au procédé selon l’invention, grâce au traitement des images. Le système est basé sur la connaissance de décennies de recherche et de données couvrant tous les différents types de peau stockés dans la base de données de référence.
La «base de données de référence» peut comprendre :
Des données stockées avec une ou plusieurs séquences d'images comprenant au moins deux images,
Un ou plusieurs atlas affichés sur écran ou imprimés sur un support ou sous une forme stockée dans un support de stockage informatique, tel que l'atlas décrit dans la demande de brevet WO2011/141769, chaque atlas représentant différentes gradations d'au moins une caractéristique de la typologie corporelle,
Des images synthétiques,
Des publications Internet,
Les données peuvent être traitées par des algorithmes d’intelligence artificielle (IA) qui peuvent inclure la logique floue, les réseaux de neurones, la programmation génétique et la programmation par arbre de décision.
Tous les moteurs peuvent être entraînés sur la base d'entrées telles que des informations sur le produit, des conseils d'experts, un profil d'utilisateur ou des données basées sur des perceptions sensorielles. À l'aide d'une entrée, un moteur IA peut mettre en œuvre un processus d'apprentissage itératif.
La formation peut être basée sur une grande variété de règles d'apprentissage ou d'algorithmes de formation publications scientifique, telles que les publications :
Frederic Flament et al., «Effect of the sun on visible clinical signs of aging in Caucasian skin», Clin Cosmet Investig Dermatol., 2013 Sep 27;6:221-32.
Frederic Flament et al., Assessing changes in some facial signs of fatigue in Chinese women, induced by a single working day, International Journal of Cosmetic Science, 29 November 2018.
L’invention concerne encore un procédé cosmétique et non-thérapeutique de suivi temporel d’une zone d’intérêt d’un utilisateur comportant une détection et une quantification de signes cutanés sur une zone d’intérêt tel que décrit précédemment ; un suivi temporel des images de sortie résultant d’une comparaison des images de sorties générées aux instants temporels différents et un suivi temporel des scores résultant d’une comparaison des scores générés aux instants temporels différents.
L’invention concerne également un système de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur, comprenant des moyens de communication adaptés pour communiquer avec un appareil informatique utilisateur et configurés pour importer, depuis une bibliothèque d’images de l’appareil informatique utilisateur, au moins une image d’entrée comportant une représentation de la zone d’intérêt de l’utilisateur ; des moyens de traitement configurés pour effectuer, (ii) une analyse de la zone d’intérêt pour fournir un score des signes cutanés, par comparaison à des scores de référence pré enregistrés dans une base de données de référence, (iii) une visualisation de la région d’intérêt sous forme de carte thermique pour détecter les signes cutanés, la carte thermique étant issue d’un algorithme focalisé sur les signes cutanés, (iv) une fusion de la carte thermique avec l’image d’entrée de la région d’intérêt pour fournir une image de sortie de la région d’intérêt et optimiser la visualisation des signes cutanés.
L’invention concerne aussi un programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé décrit précédemment.
L’invention concerne enfin un support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé décrit précédemment.
Modes de réalisation préférés
De préférence, le procédé cosmétique et non thérapeutique de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur selon l’invention présente une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison :
Il comprend (v) une extraction des signes cutanés de la région d’intérêt par conversion de la carte thermique en une image d’espace couleur, (vi) une production d’une image de sortie de la région d’intérêt à partir de l’image d’espace couleur et de l’image d’entrée.
La base d’apprentissage est inclusive en couvrant tous les âges, origines ethniques et phototypes et toutes les bases sont scorées par une échelle universelle pour obtenir des mesures comparables.
La détection de signes cutanés, l’estimation du score des signes cutanés, l’issue de la carte thermique, ou la génération de l’image finale sont faites via un algorithme de traitement d’image ou de vision par ordinateur.
Le modèle d'apprentissage machine est un réseau neuronal convolutif préformé.
Le modèle d'apprentissage machine est alimenté par des données d’un atlas associant des images pré enregistrées à des scores de sévérité pré enregistrés.
Les signes cutanés sont choisis parmi une ouverture des pores, une texture de peau, une ride, une ridule, une patte d’oie, un affaissement, une couleur de cerne, une profondeur de cerne, un grain de peau, une expression faciale, une morphologie, un degré d’hydratation, un degré de brillance ou une couleur de tâche.
Une détection des signes cutanés, une estimation du score des signes cutanés, une issue de la carte thermique, ou une génération de l’image de sortie sont réalisées via un modèle d'apprentissage machine.
Le modèle d'apprentissage machine est un réseau neuronal convolutif préformé.
Le modèle d'apprentissage machine est alimenté par des données d’un atlas associant des images pré enregistrées à des scores de sévérité pré enregistrés.
Le modèle d'apprentissage machine a été entraîné à scorer différents signes cutanés.
Il comporte une filtration d’au moins un canal.
Il comporte l’application d’un contour à la carte thermique à partir d’une ligne directrice de masquage et d’un point de référence.
Il comporte en outre une recommandation d’au moins un produit cosmétique basée sur le score de sévérité.
De préférence, le procédé cosmétique et non-thérapeutique de suivi temporel d’une zone d’intérêt d’un utilisateur selon l’invention présente une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison :
La carte thermique est issue d’un réseau antagoniste génératif (GAN).
L’image de sortie comporte une acquisition de données fournies par l’utilisateur en réponse à un questionnaire et un traitement de ces données par le modèle d'apprentissage machine.
Le procédé comprend en outre une recommandation d’au moins un produit cosmétique ou d’une routine cosmétique basée sur l’image de sortie et le score.
L’invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d’un exemple de mise en œuvre non limitatif de celle-ci, et à l’examen du dessin annexé, schématique et partiel, sur lequel :
la représente un schéma fonctionnel d'un procédé de détection et de quantification de cernes sous les yeux conformément à la présente invention,
la représente un schéma fonctionnel d'un procédé de détection et de quantification des rides de la patte d’oie conformément à la présente invention.
la représente un schéma fonctionnel d’une prédiction d’un vieillissement associé à une recommandation de produit cosmétique.
La est un dessin schématique qui illustre les différentes étapes d’une expérience consommateur reposant sur mise en œuvre du procédé selon l’invention dans une application pour téléphone portable ou pour tablette.
La illustre un écran de l’application de la montrant un questionnaire.
La illustre un écran de l’application de la lors du traitement des données d’entrée.
La illustre un écran de l’application de la montrant une présentation des résultats de l’évaluation des signes cutanés à l’utilisateur.
La illustre un écran de l’application de la détaillant à l’utilisateur un résultat de la .
La illustre un écran de l’application de la montrant un rapport d’analyse pour l’utilisateur.
La illustre un écran de l’application de la montrant des propositions de produits pour l’utilisateur.
La illustre un écran de l’application de la montrant un QR code attribué à l’utilisateur.
Comme représenté sur la , le procédé selon l’invention comprend une étape dans laquelle une unité de traitement extrait une image de la région d’intérêt 111 à partir d’une première image d’entrée d’une zone d’intérêt 112. Dans l’exemple représenté, la zone d’intérêt 112 est formée par le visage ; la région d’intérêt 111 est formée par le contour inférieur de l’œil. Les signes cutanés présents dans la région d’intérêt 111 sont des rides, des ridules, des cernes.
L’image de la zone d’intérêt 112 peut être capturée avec un système de capture d'image de peau automatisé et contrôlé, tel que le système d'analyse de teint VISIA pour l'analyse de la peau du visage, disponible auprès de Canfield Scientific, Inc.
Dans l'exemple de réalisation de la , l'image est capturée avec une lumière standard pouvant être exprimée sous la forme d'une image couleur RVB (rouge, vert, bleu). Cependant, l'image peut également être capturée dans une modalité d'éclairage différente, ou avec un système d'imagerie multispectrale, à condition que les régions d’intérêt 111 puissent être discriminées en fonction d'une mesure d'indice cutané (par exemple, concentrations de mélanine et/ou d'hémoglobine) dérivée à partir de l'image capturée .
Plusieurs algorithmes de détection de peau ont été développés à diverses fins, y compris la détection de visage. Par exemple, de tels algorithme sont décrits dans l’article RL Hsu, et al., «Face detection in color images», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696-707, May 2002.). Si une telle peau les algorithmes de détection fournissent un niveau de granularité adéquat, ils peuvent être utilisés pour la détection de régions d’intérêt conformément à la présente invention.
Le processus de détection de peau utilise par exemple la mesure de l'angle de typologie individuelle (ITA), qui est utilisée comme indicateur de peau. L'ITA est calculé en utilisant les canaux L* et b* de l'image de peau transformée CIE L*a*b* (ci-après appelée L*a*b). (Pour une description détaillée de cette métrique, voir GN Stamatas, et al., "Non-Invasive Measurements of Skin Pigmentation In Situ," Pigment Cell Research, Vol. 17, pp: 618-626, 2004.) L'ITA est défini pour chaque pixel d'image (i,j) comme arctan((L*[i,j]−50)/b*[i,j]) et est lié à la concentration de mélanine de la peau. L'hypothèse est que les valeurs ITA pour les pixels de peau seront regroupées autour d'une valeur, tandis que les valeurs ITA pour les pixels sans peau sont nettement éloignées de la valeur ITA des pixels de peau.
Dans l’exemple représenté, le procédé comprend une étape 1 dans laquelle l’unité de traitement génère une carte thermique 12 à partir de l’image de la zone d’intérêt 111. Dans une étape 2, la carte thermique 12 est convertie en une image d’espace couleur 13 ayant des canaux en vert 131, bleu 132 et jaune 133 pour visualiser une ligne de cerne 130. Les canaux bleu et vert affichent idéalement les taches et les pores hyperpigmentés, car ces caractéristiques présentent une plus grande absorption dans les spectres bleu et vert.
Comme on peut le constater sur la , la carte thermique ou carte de fréquentation, est une représentation graphique de données statistiques qui fait correspondre à l'intensité d'une grandeur variable, une gamme de tons ou un nuancier de couleurs sur une matrice à deux dimensions.
Dans une étape 3, l’image d’espace couleur 13 et l’image d’entrée de la région d’intérêt 111 sont combinées pour produire une image de sortie 14 mettant en évidence la ligne de cerne 130 de l’image espace couleur sur l’image de la zone d’intérêt 111.
Le schéma fonctionnel représenté à la comprend une étape dans laquelle une première image du visage 21 est acquise par un dispositif d’acquisition d’images.
Ensuite, le procédé comprend une étape dans laquelle une unité de traitement extrait une image de la zone d’intérêt 111 à partir de la première image acquise d’une zone d’intérêt , à savoir un visage. Dans l’exemple représenté, la zone d’intérêt 111 est formée par le coin de l’œil. Les signes cutanés présents dans la zone d’intérêt 111 sont principalement des rides et des ridules de la patte d’oie.
Puis, le procédé comprend une étape dans laquelle l’unité de traitement génère une carte thermique 22 à partir de l’image de la zone d’intérêt 111.
Dans une étape 22, la carte thermique 22 est convertie en une image d’espace couleur 23 ayant des canaux en vert 131 et bleu 132 pour visualiser les rides de la patte d’oie 230.
Dans une étape 23, l’image d’espace couleur 23 et l’image d’entrée sont combinées pour produire une image de sortie 24 mettant en évidence les rides de la patte d’oie 230 de l’image espace couleur 23 sur l’image de la région d’intérêt 111.
Ensuite, le procédé comprend une étape dans laquelle l’unité de traitement peut extraire des données physionomiques des signes cutanés à partir de l’image de sortie et/ou attribuer un score. Une indication temporelle du moment de l’acquisition de l’image est éventuellement associée à ces données physionomiques. Les données physionomiques et leur indication temporelle peuvent être stockées dans une mémoire.
Eventuellement, le procédé comprend un suivi temporel du traitement de la ligne de cerne à partir d’images d’entrée acquises à différents moments, par exemple tous les jours.
Ainsi, le suivi temporel peut comprendre une étape, dans laquelle le dispositif d’acquisition d’image acquiert une nouvelle image.
Ensuite, le suivi temporel comprend une étape dans laquelle l’unité de traitement compare les données physionomiques extraites de la dernière image acquise aux données physionomiques extraites de l’avant dernière image
Cette comparaison permet à l’unité de traitement de calculer un gradient d’évolution du signe cutané. Ce gradient d’évolution peut être calculé à partir d’une différence entre les scores attribués aux deux images.
Le score peut être calculé à partir de «données de référence d'une base de données» énumérées par exemple dans la demande internationale WO2020169214A1 déposée par la Demanderesse.
Le schéma fonctionnel représenté à la illustre, de façon générale, les étapes du procédé selon l’invention.
Une image 50 est acquise par exemple par un téléphone multifonction (usuellement « smartphone »), une tablette tactile, ou un ordinateur dans une étape 69.
Dans un premier temps, dans une étape 70, on peut effectuer une analyse holistique des différents signes cutanés présents sur l’image 50, comme les rides, la texture, les taches, les pores, les rougeurs, l’affaissement, la pigmentation, l’hydratation, l’éclat, les expressions du visage, la morphologie du visage.
Les images des régions d’intérêt sont traitées conformément au procédé selon l’invention, pour optimiser la visualisation des signes cutanés choisis dans une étape 71. Dans l’exemple représenté, les signes cutanés choisi sont les rides de la patte d’oie et les cernes visualisés sur les images de sorties de la région de la patte d’oie 51 et de la région des cernes 52.
Des algorithmes d'intelligence artificielle (classificateurs, CNN) sont utilisés pour fournir un score de chaque signe cutané sur la base d'une échelle de notation donnée par un expert à partir des données d’un exposome 53.
Pour visualiser les informations, les zones sur lesquelles les algorithmes se concentrent pour fournir le score sont visualisées sous forme de carte thermique. Cette dernière est ensuite fusionnée avec l'image initiale à l'aide de techniques de traitement d'images pour désigner les zones d'intérêt pour l'utilisateur.
Des simulations de l'évolution de ces signes («effet avant-après») sont réalisées à l'aide de réseaux antagonistes génératifs.
Les résultats des différentes caractéristiques sont combinés pour prédire le vieillissement et offrir une décision de sélection d’un produit approprié à l’étape 72 ou d’une routine cosmétique.
Le procédé selon l’invention peut conduit à une évaluation exhaustive du visage complet en couvrant toutes les manifestations cutanées, telles que les rides, la texture, l’affaissement, la pigmentation, les pores, ainsi que les inhomogénéités de couleur et les propriétés optiques. Des attributs holistiques tels que l'éclat ou l'âge apparent tels qu'ils pourraient être perçus par d'autres personnes sont à portée de main.
Couplé aux connaissances publiées, ce nouveau diagnostic est une piste pour proposer aux consommateurs une simulation non seulement d'efficacité immédiate ou à long terme mais aussi d'impact de l'exposome 53 et des modes de vie sur l'apparence du contour de l'œil.
Le procédé selon l’invention est déterminant dans le domaine de la beauté, par exemple pour préparer la localisation des injections cosmétique et proposer une simulation de traitement accessible.
Fusionné avec l'appréciation des cheveux, comme le volume, ou les frisottis, le procédé selon l’invention est clé pour définir un look global et apprécier une apparence globale.
La est un dessin schématique qui illustre un exemple de mode de réalisation non limitatif de recommandation et de partage de routine selon divers aspects de la présente divulgation.
A l’étape 61, un dispositif informatique fixe ou mobile a capturé au moins une image 402 de l’utilisateur. L'image 402 peut être présentée sur un dispositif d'affichage du dispositif informatique. L’image 402 est traitée conformément au procédé selon l’invention.
L’image 402 peut subir une normalisation, le moteur de normalisation d'image 212 utilisant un algorithme de détection de visage pour détecter la partie de l'image 402 qui représente le visage. Le moteur de normalisation d'image peut utiliser l'algorithme de détection de visage pour trouver une boîte englobante qui inclut le visage. Dans une deuxième action de normalisation, le moteur de normalisation d'image peut modifier l'image pour centrer un cadre de délimitation. Dans une troisième action de normalisation, le moteur de normalisation d'image peut zoomer l'image 402 pour amener le cadre de délimitation pour être aussi grand que possible. En effectuant les actions de normalisation, le moteur de normalisation d'image peut réduire les différences de disposition et de taille entre plusieurs images, et peut donc améliorer l'apprentissage et la précision du modèle d'apprentissage automatique. Dans certains modes de réalisation, différentes actions de normalisation peuvent se produire.
A l’étape 62, un questionnaire est proposé sur l’écran du dispositif de l’utilisateur, pour recueillir des données qui seront traitées par l’algorithme d’intelligence artificielle, dans le but de l’attribution de scores aux différents signes cutanés.
A l’étape 63, les scores attribués aux différents signes cutanés sont présentés à l’utilisateur. Dans l’exemple, les scores sont représentés par des bâtons horizontaux espacés les uns des autres. D’autres outils de représentations graphiques pourraient être utilisées comme des courbes ou des histogrammes mais les diagrammes en bâtons conviennent particulièrement pour cette représentation graphique d'une série statistique de variables quantitatives discrètes.
A l’étape 64, une visualisation des signes clinique est proposée à l’utilisateur, par application de filtres sur une image d’entrée , selon le signe cutané visualisé.
A l’étape 65, des recommandations de produits ou de routine cosmétiques sont présentées sur l’écran du dispositif, en fonction des priorités mises en évidence par l’analyse de peau à l’étape 63.
Les figures 5 à 11 détaille l’application présentée à la .
La représente une page de questionnaire de l’application, cette page étant à remplir par l’utilisateur. Ce questionnaire est une auto-évaluation par l’utilisateur de l’état de sa peau. Les réponses sont traitées selon le procédé conforme à l’invention pour la détermination des scores.
La représente une page de chargement présentée sur l’écran lors de l’analyse du questionnaire et de la notation de l’image . Cette page de chargement est habituellement affichée pendant 30 à 45 secondes.
La représente une page d’affichage des résultats. Dans l’exemple représenté, les problèmes de peau sont affichés avec un code couleur intuitif allant de «besoin d’attention» à gauche à «peau excellente» à droite. Ils sont généralement notés sur une échelle de 0% (à gauche) à 100% (à droite).
La représente une page d’affichage d’un problème de peau visualisé par interposition d’un filtre. En utilisant l’outil loupe , l’utilisateur peut agrandir une zone spécifique du visage, voire effectuer un zoom avant et un zoom arrière.
Chaque signe cutané est associé à un filtre ou à une lumière. Par exemple, pour les rides, la texture et la fermeté, un filtre standard polarisé à la lumière blanche est interposé. Pour les taches ou les rougeurs, une paire de filtres polarisants est interposé. Pour les dommages liés aux UV et les pores, une lumière UV est ajoutée.
La représente une page d’affichage d’un rapport final, qui met l’accent sur les priorités et les problèmes de peau de l’utilisateur.
La représente une page d’affichage des produits recommandés, par exemple classés selon des marques. Le produit 1 est proposé par une première marque. Les produits 2, 3, 4 sont proposés par une deuxième marque. Les produits 5 et 6 sont proposés par une troisième marque.
La représente une page d’affichage d’un QR, par exemple pour le cas où l’utilisateur souhaite retrouver les résultats de l’évaluation ultérieurement.
Bien entendu, l'invention n'est pas limitée aux exemples de réalisation qui viennent d'être décrits.

Claims (18)

  1. Procédé cosmétique et non thérapeutique de détection et de quantification de signes cutanés sur une zone d’intérêt d’un utilisateur, notamment le contour des yeux, les joues, le contour de la bouche, le front, comportant (i) une acquisition d’une image d’entrée d’une zone d’intérêt (112) d’un utilisateur comportant une région d’intérêt (111) englobant des signes cutanés (130, 230), (ii) une analyse de la zone d’intérêt pour fournir un score des signes cutanés, par comparaison à des scores de référence pré enregistrés dans une base de données de référence, (iii) une visualisation de la région d’intérêt (111) sous forme de carte thermique (12, 22) pour détecter les signes cutanés, la carte thermique étant issue d’un algorithme focalisé sur les signes cutanés, (iv) une fusion de la carte thermique (12, 22) avec l’image d’entrée de la région d’intérêt (111) pour fournir une image de sortie (14, 24) de la région d’intérêt (111) et optimiser la visualisation des signes cutanés (130, 230).
  2. Procédé selon la revendication 1, comprenant (v) une extraction des signes cutanés (130, 230) de la région d’intérêt (111) par conversion de la carte thermique (12, 22) en une image d’espace couleur (13, 23), (vi) une production d’une image de sortie (14, 24) de la région d’intérêt (111) à partir de l’image d’espace couleur (13, 23) et de l’image d’entrée.
  3. Procédé selon l’une quelconque des revendications précédentes, dans lequel la base de données de référence est inclusive en couvrant tous les âges, origines ethniques et phototypes et toutes les bases sont scorées par une échelle universelle pour obtenir des mesures comparables.
  4. Procédé selon l’une quelconque des revendications précédentes, dans lequel la détection de signes cutanés, l’estimation du score des signes cutanés, l’issue de la carte thermique, ou la génération de l’image finale sont faites via un algorithme de traitement d’image ou de vision par ordinateur.
  5. Procédé selon l’une quelconque des revendications précédentes, dans lequel une détection des signes cutanés, une estimation du score des signes cutanés, une issue de la carte thermique, ou une génération de l’image de sortie sont réalisées via un modèle d'apprentissage machine.
  6. Procédé selon la revendication précédente, dans lequel le modèle d'apprentissage machine est un réseau neuronal convolutif préformé.
  7. Procédé selon l’une quelconque des revendications 5 ou 6, dans lequel le modèle d'apprentissage machine est alimenté par des données d’un atlas associant des images pré enregistrées à des scores de sévérité pré enregistrés.
  8. Procédé selon l’une quelconque des revendications précédentes, dans lequel les signes cutanés (130, 230) sont choisis parmi une ouverture des pores, une texture de peau, une ride, une ridule, une patte d’oie, un affaissement, une couleur de cerne, une profondeur de cerne, un grain de peau, une expression faciale, une morphologie, un degré d’hydratation, un degré de brillance ou une couleur de tâche.
  9. Procédé selon l’une quelconque des revendications précédentes 5 à 7, dans lequel le modèle d'apprentissage machine a été entraîné à scorer différents signes cutanés (130, 230).
  10. Procédé selon l’une quelconque des revendications précédentes, comportant l’application d’un contour à la carte thermique (12, 22) à partir d’une ligne directrice de masquage et d’un point de référence.
  11. Procédé selon l’une quelconque des revendications précédentes, comportant en outre une recommandation d’au moins un produit cosmétique basée sur le score de sévérité.
  12. Procédé cosmétique et non-thérapeutique de suivi temporel d’une zone d’intérêt (112) d’un utilisateur comportant une détection et une quantification de signes cutanés (130, 230) sur une zone d’intérêt (112) selon l’une quelconque des revendications précédentes à des instants temporels différents ; un suivi temporel des images de sortie résultant d’une comparaison des images de sorties (14, 24) générées aux instants temporels différents et un suivi temporel des scores résultant d’une comparaison des scores générés aux instants temporels différents.
  13. Procédé selon l’une quelconque des revendications précédentes, dans lequel la carte thermique est issue d’un réseau antagoniste génératif (GAN).
  14. Procédé selon l’une quelconque des revendications précédentes, comportant une acquisition de données fournies par l’utilisateur en réponse à un questionnaire et un traitement de ces données par le modèle d'apprentissage machine.
  15. Procédé selon l’une des revendications précédentes, comprenant en outre une recommandation d’au moins un produit cosmétique ou d’une routine cosmétique basée sur l’image de sortie (24) et le score.
  16. Système de détection et de quantification de signes cutanés (130, 230) sur une zone d’intérêt (112) d’un utilisateur, comprenant des moyens de communication adaptés pour communiquer avec un appareil informatique utilisateur et configurés pour importer, depuis une bibliothèque d’images de l’appareil informatique utilisateur, au moins une image d’entrée comportant une représentation de la zone d’intérêt (112) de l’utilisateur ; des moyens de traitement configurés pour effectuer, (ii) une analyse de la zone d’intérêt pour fournir un score des signes cutanés, par comparaison à des scores de référence pré enregistrés dans une base de données de référence. (iii) une visualisation de la région d’intérêt (111) sous forme de carte thermique (12, 22) pour détecter les signes cutanés, la carte thermique étant issue d’un algorithme focalisé sur les signes cutanés, (iv) une fusion de la carte thermique (12, 22) avec l’image d’entrée de la région d’intérêt (111) pour fournir une image de sortie (14, 24) de la région d’intérêt (111) et optimiser la visualisation des signes cutanés (130, 230).
  17. Programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’une des revendications 1 à 11.
  18. Support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’une des revendications 1 à 11.
FR2204423A 2022-05-10 2022-05-10 Détection et visualisation de signes cutanés au moyen d’une carte thermique Pending FR3135556A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2204423A FR3135556A1 (fr) 2022-05-10 2022-05-10 Détection et visualisation de signes cutanés au moyen d’une carte thermique
PCT/EP2023/061788 WO2023217626A1 (fr) 2022-05-10 2023-05-04 Détection et visualisation de signes cutanés à l'aide d'une carte thermique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2204423 2022-05-10
FR2204423A FR3135556A1 (fr) 2022-05-10 2022-05-10 Détection et visualisation de signes cutanés au moyen d’une carte thermique

Publications (1)

Publication Number Publication Date
FR3135556A1 true FR3135556A1 (fr) 2023-11-17

Family

ID=83900243

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2204423A Pending FR3135556A1 (fr) 2022-05-10 2022-05-10 Détection et visualisation de signes cutanés au moyen d’une carte thermique

Country Status (2)

Country Link
FR (1) FR3135556A1 (fr)
WO (1) WO2023217626A1 (fr)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141769A1 (fr) 2010-05-10 2011-11-17 L'oreal Procédé d'évaluation d'une caractéristique de la typologie corporelle
US8218862B2 (en) 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US20170270593A1 (en) * 2016-03-21 2017-09-21 The Procter & Gamble Company Systems and Methods For Providing Customized Product Recommendations
WO2020169214A1 (fr) 2019-02-21 2020-08-27 L'oreal Assistant de beauté mis en œuvre par machine pour prédire le vieillissement du visage
US20200342213A1 (en) * 2019-04-23 2020-10-29 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
US20210407153A1 (en) * 2020-06-30 2021-12-30 L'oreal High-resolution controllable face aging with spatially-aware conditional gans

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218862B2 (en) 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
WO2011141769A1 (fr) 2010-05-10 2011-11-17 L'oreal Procédé d'évaluation d'une caractéristique de la typologie corporelle
US20170270593A1 (en) * 2016-03-21 2017-09-21 The Procter & Gamble Company Systems and Methods For Providing Customized Product Recommendations
WO2020169214A1 (fr) 2019-02-21 2020-08-27 L'oreal Assistant de beauté mis en œuvre par machine pour prédire le vieillissement du visage
US20200342213A1 (en) * 2019-04-23 2020-10-29 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
US20210407153A1 (en) * 2020-06-30 2021-12-30 L'oreal High-resolution controllable face aging with spatially-aware conditional gans

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FREDERIC FLAMENT ET AL.: "Assessing changes in some facial signs of fatigue in Chinese women, induced by a single working day", INTERNATIONAL JOURNAL OF COSMETIC SCIENCE
FREDERIC FLAMENT ET AL.: "Effect of the sun on visible clinical signs of aging in Caucasian skin", CLIN COSMET INVESTIG DERMATOL., vol. 6, 27 September 2013 (2013-09-27), pages 221 - 32
GN STAMATAS ET AL.: "Non-Invasive Measurements of Skin Pigmentation In Situ", PIGMENT CELL RESEARCH, vol. 17, 2004, pages 618 - 626, XP002585053
RL HSU ET AL.: "Face détection in color images", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 24, no. 5, May 2002 (2002-05-01), pages 696 - 707, XP055071114, DOI: 10.1109/34.1000242

Also Published As

Publication number Publication date
WO2023217626A1 (fr) 2023-11-16

Similar Documents

Publication Publication Date Title
JP7248820B2 (ja) 美容的皮膚属性を決定するための機器及び方法
JP4683200B2 (ja) 髪領域の自動抽出方法
JP2022529677A (ja) 美容的皮膚特性を視覚化するための装置及び方法
CN107085654B (zh) 基于人脸图像的健康分析方法及装置
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
KR100993875B1 (ko) 퍼지 기반의 퍼스널 컬러 진단 시스템 및 그 방법
US11010894B1 (en) Deriving a skin profile from an image
CN105120747A (zh) 皮肤的暗沉评价装置以及皮肤的暗沉评价方法
FR2984721A1 (fr) Procede et dispositif de detection et de quantification de signes cutanes sur une zone de peau
WO2012001289A1 (fr) Procede et dispositif de detection et de quantification de signes cutanes sur une zone de peau
US11995567B2 (en) Apparatuses and methods for color matching and recommendations
JP6008698B2 (ja) 顔画像分析装置及び顔画像分析方法
CA3199439A1 (fr) Systemes et procedes d'imagerie et d'apprentissage numeriques destines a analyser des donnees de pixels d'une image d'une region de chevelure de la tete d'un utilisateur pour generer une ou plusieurs recommandations specifiques a l'utilisateur
WO2021243640A1 (fr) Systèmes d'imagerie numérique basés sur des soins buccaux et procédés de détermination de caractère attrayant perçu d'une partie d'image de visage
Huang et al. A cloud-based intelligent skin and scalp analysis system
FR3135556A1 (fr) Détection et visualisation de signes cutanés au moyen d’une carte thermique
KR102425873B1 (ko) 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템
Liu et al. Design and implementation of hair recommendation system based on face recognition
WO2011141769A1 (fr) Procédé d'évaluation d'une caractéristique de la typologie corporelle
FR3135557A1 (fr) Procédé de prédiction d’évolution temporelle de signes cutanés
Kamble Foundation Makeup Shade Recommendation using Computer Vision Based on Skin Tone Recognition
JP2023038871A (ja) 特徴抽出方法及び特徴抽出システム
FR3135552A1 (fr) Procédé de diagnostic de la peau par analyse faciale 3D
Bouchani et al. A novel framework for quantitative rhinoplasty evaluation by ResNet convolutional neural network
FR3134469A1 (fr) Procédé de recommandation de produits cosmétique utilisant un algorithme kNN

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20231117

PLFP Fee payment

Year of fee payment: 3