FR3014675A1 - Procede d'evaluation d'au moins un signe clinique du visage - Google Patents

Procede d'evaluation d'au moins un signe clinique du visage Download PDF

Info

Publication number
FR3014675A1
FR3014675A1 FR1362468A FR1362468A FR3014675A1 FR 3014675 A1 FR3014675 A1 FR 3014675A1 FR 1362468 A FR1362468 A FR 1362468A FR 1362468 A FR1362468 A FR 1362468A FR 3014675 A1 FR3014675 A1 FR 3014675A1
Authority
FR
France
Prior art keywords
images
sound
sequence
clinical sign
sounds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1362468A
Other languages
English (en)
Inventor
Frederic Flament
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Priority to FR1362468A priority Critical patent/FR3014675A1/fr
Priority to CN201480067743.9A priority patent/CN105813548B/zh
Priority to JP2016538578A priority patent/JP2017502732A/ja
Priority to EP14830629.3A priority patent/EP3079564B1/fr
Priority to US15/104,011 priority patent/US9955909B2/en
Priority to PCT/IB2014/066803 priority patent/WO2015087274A1/fr
Publication of FR3014675A1 publication Critical patent/FR3014675A1/fr
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

La présente invention concerne un procédé sans visée thérapeutique d'évaluation d'au moins un signe clinique du visage et/ou d'évaluation d'un maquillage, notamment d'évaluation des rides ou ridules d'une partie du visage, comportant les étapes consistant à : - à partir d'une séquence d'images du visage d'une personne filmée en train d'émettre au moins un son, extraire de la séquence une ou plusieurs images coïncidant avec l'émission d'au moins un son prédéfini, - à partir de la ou des images ainsi extraites, évaluer au moins un signe clinique du visage apparaissant sur la ou les images extraites et/ou évaluer au moins une caractéristique liée au maquillage.

Description

La présente invention concerne l'évaluation de caractéristiques de la typologie corporelle, et plus particulièrement du visage, et l'évaluation de produits de maquillage ou visant à modifier l'aspect du visage. Il existe un intérêt pour évaluer l'ensemble des signes cliniques décrivant un visage, afin notamment de mesurer leur variation avec l'âge ou sous l'effet d'un traitement cosmétique et comprendre la perception qu'en a le consommateur. A l'heure actuelle cette évaluation s'opère à l'aide d'atlas utilisés par des experts ou cliniciens ou à l'aide de morphings, comme décrit dans la demande de brevet EP 1 216 658 au nom de la demanderesse.
Il a par ailleurs été proposé dans la demande FR 2 935 593 de comparer l'aspect de certaines caractéristiques sous l'impact de la gravité. Les procédés existants d'évaluation ne sont pas entièrement satisfaisants en ce qu'ils ne prennent pas en compte les déformations du faciès lors d'une activité quotidienne ou physique et leur impact sur l'âge apparent ou l'attractivité. Ainsi, par exemple, pour une personne d'âge compris entre 30 et 40 ans, celle-ci peut paraître proche de 30 ans sur une photographie de passeport mais avec le mouvement des traits du visage pourra être estimée plus proche de 40 ans. Il existe un besoin pour perfectionner encore les procédés d'évaluation de signes cliniques d'un visage (encore appelés caractéristiques d'aspect) tels que les rides, notamment les rides sous l'oeil, celles de la patte d'oie, du sillon nasogénien, du front, de la commissure des lèvres, de la lèvre supérieure, ... Il existe encore un intérêt pour évaluer la tenue d'un maquillage ou le pouvoir d'un produit de maquillage à estomper certains défauts, et plus généralement pour apprécier l'effet d'un traitement cosmétique sur l'aspect du visage et son évolution dans le 25 temps. L'invention vise à répondre à ce ou ces besoins et elle y parvient grâce à un procédé sans visée thérapeutique d'évaluation d'au moins un signe clinique du visage, notamment les rides ou ridules d'une partie du visage, et/ou d'évaluation d'un maquillage, comportant les étapes consistant à : 30 à partir d'une séquence d'images du visage d'une personne filmée en train d'émettre au moins un son, extraire de la séquence une ou plusieurs images coïncidant avec l'émission d'au moins un son prédéfini, à partir de la ou des images extraites, évaluer au moins un signe clinique A du visage apparaissant sur la ou les images extraites, et/ou évaluer au moins une caractéristique liée au maquillage. De préférence, l'extraction des images est automatique, résultant d'une analyse 5 du son émis, pour reconnaître automatiquement celui-ci. Par « extraire » une image, il faut comprendre que l'image est repérée au sein de la séquence en vue d'un traitement ultérieur; l'image peut rester dans la séquence et être identifiée par exemple par un "lime stamp" (chrono-timbre) ou un numéro d'ordre dans la séquence. L'image n'est pas nécessairement dupliquée ou transférée dans un autre 10 fichier infounatique. La séquence est de préférence une séquence numérisée, sous tout format adapté à une lecture par un lecteur de contenu multimédia, par exemple un format vidéo HD. Il peut être intéressant d'afficher les images extraites, afin d'offrir la possibilité à la personne d'en prendre connaissance. Lorsque l'évaluation est réalisée sur un point de vente, cela peut aussi permettre de conseiller la personne plus facilement. 15 L'invention permet de tenir compte du fait que lors d'un mouvement du visage les traits du visage changent, les rides ou ridules se creusent et/ou s'incurvent et se révèlent d'une manière différente pour chaque personne. Ces modes de déformations du visage qui ne sont pas perceptibles sur une simple image statique le deviennent grâce à l'invention. Ainsi, cette dernière permet d'évaluer avec précision des signes cliniques du 20 vieillissement de la peau du visage notamment. L'invention penne en particulier de mettre en évidence les premiers signes de l'âge, par exemple pour les femmes asiatiques ou caucasiennes entre 30 et 40 ans, qui apparaissent seulement quand le visage s'anime, quand la personne va parler. Le fait de sélectionner les images qui correspondent à l'émission de sons 25 prédéfinis par la personne permet de standardiser l'évaluation et de l'automatiser. Ainsi, grâce à l'invention, il est possible de sélectionner aisément les images se rapportant toujours à la même déformation pour 'toutes les personnes, quel que soit le temps de n;tesure. Pour effectuer l'acquisition de la séquence, il est possible d'afficher devant la 30 personne filmée au moins un son à reproduire, par exemple une phrase, scansion, mot, phonème, choisi par exemple en fonction de la langue que parle cette personne, qui peut être par exemple le français, l'anglais, l'espagnol, le japonais, le chinois ou le coréen. Cet affichage peut avoir lieu sur le même appareil que celui qui filme, ce qui peut permettre de connaître l'image affichée en fonction du temps dans la séquence, et peut faciliter la localisation de la ou des images d'intérêt dans la séquence. En variante, le son est diffusé à l'aide d'un haut-parleur par exemple, puis répété par la personne. La personne est filmée en même temps que le son est enregistré, pour générer la séquence avec une piste vidéo et une piste son. La personne peut être amenée à prononcer plusieurs fois les mêmes sons, mais au sein de séquences sonores où les sons ne se succèdent pas dans le même ordre. Cela peut permettre de faire apparaître des différences liées à des modes de déformation différents du visage selon l'ordre avec lequel les sons sont émis. Pour effectuer l'évaluation, les images extraites peuvent être comparées avec des images de référence. De préférence, cette comparaison est effectuée de façon automatique, par traitement d'images. Tout procédé permettant de comparer des images peut être utilisé, par exemple un procédé dit de logique floue. Un procédé de reconnaissance de traits caractéristiques sur une image peut encore être utilisé. Dans ce cas, il peut y avoir apprentissage dans un premier temps du programme, pour lui indiquer à quel score correspondent les différentes images. Ensuite, le programme sait attribuer lui-même un score à toute nouvelle image. Un réseau neuronal peut être utilisé. Les publications "Automatic Breast Lesion Segmentation and Scoring in Color Alastography Images", N.Gupta and S. Kudavelly, Philips Electronics India Limited, Bangalore, 'Méthodes d'apprentissage statistique pour le scoring", Marine DEPECKER, Ecole Nationale Supérieure des Télécommunications, France, "Scoring diverse cellular morphologies in image-based screens with iterative feedback and machine learning", Thouis R. Jones, Anne E. Carpenter, Michael R. Lamprecht, Jason Moffat, Serena J.
Silver, Jenniver K. Grenier, Adam B. Castoreno, Ulrike S. Eggert, David E. Root, Polina Golland, David M. Sabatini, Proceedings of the National Academy of Sciences, Vol. 106, No 6 (10/2/2009), pages 1826-1831 et "Automated breast cancer detection and classification using ultrasound images: A survey" H.D. Cheng, Juan Shan, Wen Ju, Yanhui Guo, and Ling Zhang. Pattern Recognition 43(1): 299-317 (2010), décrivent des exemples de tels procédés de reconnaissance. Les images de référence précitées peuvent être des images d'un atlas d'évaluation, ou des données générées à partir de telles images. Les images de l'atlas sont par exemple des images de personnes présentant différents grades d'un même signe clinique, par exemple une même région du visage qui apparaît de plus en plus ridée. La séquence qui est traitée peut comporter des images concernant n'importe quel signe clinique qui se révèle lorsque la personne parle, par exemple la présence de rides ou ridules au niveau de la commissure des lèvres, du dessous de l'oeil, de la lèvre supérieure, de la patte d'oie, et/ou du sillon nasogénien. La séquence comporte de préférence des images du visage entier, le visage étant de préférence filmé avec une résolution suffisante pour pouvoir ensuite extraire des images de régions d'intérêt ne représentant qu'une fraction du champ de vue de la caméra. Une correction colorimétrique peut être effectuée. De préférence, l'évaluation du ou des signes cliniques à partir de la ou des images extraites s'effectue de façon automatique, par comparaison avec des données de référence. Lors de cette évaluation automatique, la ou les images extraites peuvent, au moins pour certaines, être automatiquement recadrées en fonction du signe clinique à évaluer, et de préférence agrandies. La séquence d'images peut comporter plusieurs sons différents émis successivement par la personne, notamment au moins cinq sons différents, notamment choisi parmi « A », « E », « O », « OUI », « STI », « ART », « TO ». Il peut s'agir de sons simples, prononcés avec un intervalle de silence entre eux, ou de sons correspondant à l'énoncé d'une phrase. Le ou les sons de la séquence peuvent comporter des phonèmes prédéfinis, choisis par exemple en fonction de la langue que parle la personne, par exemple les voyelles, semi-consonnes ou consonnes. On peut extraire les images correspondant respectivement à plusieurs sons prédéfinis, notamment les sons précités « A », « E », « O », « OUI », « STI », « ART », « TO ».
La sélection de la ou des images à extraire de la séquence peut s'effectuer par reconnaissance vocale appliquée à la bande sonore de la séquence et/ou par analyse spectrale des sons recueillis. On peut encore sélectionner les images pour lesquelles une fréquence particulière dépasse une amplitude prédéfinie. Un score associé au signe clinique peut être automatiquement généré comme résultat de l'évaluation de ce signe clinique. L'acquisition des images peut être opérée avec un ou plusieurs appareils tenus par la personne en cours d'évaluation ou placé devant elle, notamment de type tablette, téléphone intelligent ou ordinateur. Par exemple, la personne télécharge une application sur son "Smartphone", par4exemplc IPhone ou Android, sa tablette, ou son PC. Une fois l'application lancée, celle-ci affiche sur l'écran des sons à reproduire tout en enregistrant les images et les sons. L'utilisateur peut ainsi se filmer en prononçant des sons prédéfinis. 5 La séquence ainsi acquise est ensuite traitée comme indiqué ci-dessus pour délivrer un résultat d'évaluation. Le traitement peut avoir lieu de façon locale, par l'application elle- /terne, ou en variante par un serveur distant, voire partiellement localement et partiellement par le serveur distant. L'acquisition peut s'effectuer de façon simultanée avec plusieurs caméras. 10 L'évaluation peut avoir lieu à domicile ou sur un point de vente. L'acquisition des images de la séquence s'effectue de préférence à une fréquence d'acquisition supérieure ou égale à 50, mieux à 100 images par seconde. La résolution de la caméra est de préférence supérieure ou égale à 720 lignes On peut générer plusieurs courbes d'évolution du score d'un même signe clinique en fonction de l'ordre 15 dans lequel les sons sont émis. On peut recueillir en parallèle de l'évaluation automatique du signe clinique, un score d'autoévaluation par la personne dudit signe clinique et/ou un score d'évaluation pax un panel d'experts dudit signe clinique. L'invention a encore pour objet un procédé non thérapeutique pour mettre en 20 évidence l'effet d'un traitement cosmétique sur le visage, notamment l'application d'un produit antiride ou de maquillage, comportant les étapes consistant à : - procéder à une première évaluation, notamment d'au moins un signe clinique du visage, en mettant en oeuvre le procédé d'évaluation selon l'invention, tel que défini plus haut, 25 - procéder à une nouvelle évaluation, notamment après traitement cosmétique du visage, comparer les évaluations, - générer une information représentative de l'efficacité du traitement à partir de la comparaison des évaluations et/ou représentative de l'évolution du maquillage entre 30 lesdites évaluations. Le traitement cosmétique consiste par exemple à appliquer un produit de soin ou antiride sur la peau, notamment dans la zone concernée par l'évaluation.
La personne évaluée peut se voir prescrire automatiquement un produit, en fonction des scores déterminés, à titre préventif ou pour diminuer la gravité d'un signe. Le produit prescrit peut être de formulation personnalisée, avec par exemple un dosage en actif qui dépend du ou des scores déterminés.
L'invention a encore pour objet un produit programme d'ordinateur, comportant des instructions qui, lorsque exécutées sur un appareil pourvu d'un processeur, d'un écran, d'un haut-parleur, d'une caméra et d'un microphone, amènent l'appareil à : - optionnellement, afficher sur l'écran un son à reproduire, et/ou émettre à l'aide du haut-parleur le son, - acquérir une séquence d'images, à l'aide de la caméra, d'une personne reproduisant un son prédéfini, notamment le son affiché et/ou diffusé, - traiter les images acquises de façon à extraire de la séquence d'images acquises la ou les images pour lesquelles le son émis par la personne correspond audit son prédéfini.
Les instructions peuvent permettre le cas échéant de sélectionner au préalable le ou les sons devant être reconnus par l'appareil. Les instructions peuvent encore amener l'appareil à proposer à l'utilisateur de choisir un ou plusieurs signes cliniques à évaluer ; dans ce cas, en fonction du ou des signes sélectionnés, le ou les sons prédéfinis que doit prononcer la personne à évaluer peuvent être différents. Les instructions peuvent amener l'appareil à analyser le son émis en vue de le reconnaître, notamment par une technique de reconnaissance vocale. Les images extraites sont alors celle pour lesquelles le son prédéfini est automatiquement reconnu, au sein de la piste sonore correspondante.
Les instructions peuvent également amener l'appareil à traiter la ou des images ainsi extraites de façon à générer au moins un score représentatif de la gravité du signe clinique et/ou envoyer la ou les images à un serveur distant qui en retour délivre ledit score. Les instructions peuvent encore commander un appareil qui réalise un dosage automatisé en actif de traitement, notamment antiride, en fonction dudit score.
L'invention pourra être mieux comprise à la lecture de la description qui va suivre, d'exemples de mise oeuvre non limitatifs de celle-ci, et à l'examen du dessin annexé, sur lequel : - la figure 1 est un schéma en blocs illustrant des étapes d'un exemple de procédé selon l'invention, - la figure 2 représente des images extraites d'une séquence d'images d'une personne filmée en train de prononcer différents sons, - la figure 3 représente différentes images correspondant à des zones d'intérêt et/ou des taux d'agrandissement différents, - les figures 4 à 6 représentent des exemples d'évolutions de scores d'un même signe clinique en fonction du son prononcé, et - la figure 7 représente différentes évolutions de scores pour des signes cliniques différents, en fonction des sons prononcés, permettant le traitement d'une matrice 2D de courbes.
Un exemple de procédé selon l'invention peut mettre en oeuvre, comme illustré à la figure 1, différentes étapes 10 à 50, lesquelles sont effectuées par exemple à l'aide d'un micro-ordinateur équipé d'une caméra et d'un écran. La caméra est de préférence calibrée colorimétriquement, en plaçant une mire dont les composantes colorimétriques sont connues, dans le champ de vue de la caméra.
A l'étape 10, une séquence vidéo est acquise, à l'aide de la caméra. Pendant l'acquisition de cette séquence, les sons que la personne filmée doit reproduire sont par exemple affichés à l'écran. En variante, aucun affichage n'a lieu pendant l'acquisition de la séquence, et la personne sait par exemple à l'avance quels sons elle doit prononcer. Ensuite, la séquence d'images est analysée à l'étape 20. Cette analyse peut avoir lieu en post-traitement, ou en variante, pendant l'enregistrement de la séquence, sur les images déjà acquises, si la puissance du processeur le permet. Le traitement vise à repérer au sein de la séquence la ou les images qui correspondent à l'émission par la personne de sons prédéfinis. Pour identifier à quelles images correspondent les sons recherchés, la bande sonore est analysée et l'on repère les instants où les sons prédéfinis sont émis, en procédant par exemple à une analyse spectrale, chaque son ayant une empreinte spectrale propre que l'on cherche à retrouver dans la bande sonore. L'empreinte spectrale peut être obtenue par transformation de Fourrier. On peut aussi utiliser un logiciel de reconnaissance vocale. Les publications "Voice Activity Detection Based on Wavelet Packet Transform in Communication Nonlinear Channel", R. Chiodi et D. Massicotte, SPACOMM, Colmar, France, 2009 et "La reconnaissance automatique de sources sonores dans l'environnement", Defreville, B. Bloquet, S., Filippi, G., and Aujard, C. 10ème Congrès Français d'Acoustique, Lyon 12-16 avril 2010, décrivent des exemples de procédés de reconnaissance vocale. Pour accroître le niveau de robustesse de la reconnaissance, il est possible de combiner un algorithme classique de reconnaissance vocale tel qu'utilisé sur les smartphones avec une analyse par reconnaissance d'un pattern fréquentiel associé à chaque 10 phonème. Dans l'exemple de la figure 2, la personne qui est filmée prononce toute une phrase comprenant les mots OUIstiti, smARTies, ... et émet ainsi successivement les sons A, E , O, OUI, STI, ART, TO. Les images qui sont sélectionnées comme correspondant à l'émission de ces sons sont représentées sur cette figure sous chaque son, ainsi que 15 l'empreinte spectrale du son et le time-stamp. A l'étape 30, chaque image extraite correspondant à un son prédéfini peut être traitée en vue d'évaluer un ou plusieurs signes cliniques. Le traitement de l'étape 30 peut comporter l'extraction de zones d'intérêt de l'image, par exemple par reconnaissance de traits caractéristiques de l'image, comme la 20 présence des yeux, du nez ou des lèvres. Cela permet de générer des sous-images qui couvrent plus spécifiquement les zones d'intérêt contenant le ou les signes cliniques que l'on cherche à évaluer. Comme illustré à la figure 3, on peut par exemple extraire d'une image complète du visage correspondant à l'émission d'un son particulier, des sous-images respectives 31 à 33 de la commissure des lèvres, de la lèvre supérieure et du dessous de 25 l'oeil. Ces sous-images peuvent être agrandies, le cas échéant, pour mieux faire apparaître les rides ou ridules. Il est également souhaitable d'effectuer si nécessaire un ajustement colorimétrique, pour éliminer l'influence du bronzage par exemple. Ensuite, un traitement est effectué à l'étape 40 pour comparer ces images à des 30 images de référence, en vue d'attribuer un grade au signe clinique supposé apparaître sur l'image.
Ce traitement peut faire intervenir tout algorithme propre à comparer le degré de ressemblance de deux images, à savoir l'image dont on cherche à savoir à quel grade de référence la rattacher, et les images illustrant les différents grades. Pour l'apprentissage du programme qui attribue de façon automatique un score, on peut utiliser une base de données de référence donnant les scores pour un grand nombre de personnes différentes, par ethnie par exemple. Enfin, à l'étape 50, un score peut être affiché et/ou toute information utile ayant un lien avec le signe clinique dont on a évalué la gravité. Le score est par exemple affiché à l'écran.
On peut aussi afficher une courbe qui fait apparaître le score du signe clinique en fonction des déformations du visage liées aux sons prononcés. On dispose ainsi d'une information renseignant sur la dynamique d'évolution du signe pour un visage en mouvement, qui peut apporter des informations additionnelles utiles, en combinaison le cas échéant avec d'autres évolutions dynamiques d'autres signes cliniques, pour attribuer à la personne par exemple un âge apparent ou un niveau de fatigue apparent. Il peut y avoir création pour chaque signe clinique considéré de courbes 2D différentes en fonction de l'ordre des sons considérés. Ainsi pour les rides sous l'oeil par exemple, on peut générer automatiquement les courbes d'évolution du score pour les sons Xl, X 6, X8, ... les sons X8, X4, X10, X4, ... les sons Xl, X3, X4, X8, ... et des matrices 2D de courbes. Chacune de ces séquences de sons émise par la personne à évaluer aura été choisie pour maximaliser certains modes de déformation ou pouvoir reconstruire une phrase donnée. Cette étape permet d'effectuer des traitements de spectres par ondelettes 2D ou 3D en lien avec la perception de la personne elle-même ou celle de consommateurs, sur un ensemble de signes cliniques, recueillie par des quiz vidéo pour différentes phrases ou sons. Le traitement des sous-images qui est effectué peut aussi être complété le cas échéant par des analyses plus classiques comme la détection de dyschromies de la peau ou l'évaluation de la taille des pores. On a maintenant décrire des résultats d'essais en se référant aux figures 4 à 6.
Sur la figure 4 on a représenté l'évolution du score de gravité des rides de la lèvre supérieure en fonction du son prononcé, en l'espèce A, ART, E, 0 , OUI, STI et TO, pour des panels de 25 femmes chacun, à savoir un panel de femmes âgées de 37 ans en moyenne avant traitement par application d'un produit en usage biquotidien pendant 1 mois (losanges), un panel de femmes de 32 ans en moyenne (triangles), et les mêmes femmes de 37 ans après traitement par application du produit (carrés). Les * marquent les sons pour lesquels les résultats sont significatifs. On voit que l'invention permet de mettre en évidence l'effet du produit seulement lorsque certains sons sont prononcés, par exemple le son O. Les différences avant et après traitement sont alors significatives et hautement visibles. Les deux groupes d'âges différents se différencient sur tous les sons. Les figures 5 et 6 concernent respectivement l'évaluation de la sévérité du sillon nasogénien et des rides sous l'oeil.
En fonction de la zone et/ou du signe clinique, les comportements dynamiques sont différents. On peut observer une simple translation de la valeur du score pour le sillon nasogénien ou les rides du dessous de l'oeil (figures 5 et 6), ou des modes de déformation différents en 5 ans pour les rides des lèvres (figure 4). Les rides de la commissure des lèvres, si elles sont statistiquement différentes entre les deux groupes d'âges, ont une dynamique beaucoup plus faible. Divers traitements statistiques et mathématiques peuvent être appliqués aux données issues de la mise en oeuvre du procédé selon l'invention. Par exemple, comme illustré sur la figure 7, à partir de la connaissance de différents scores S1 à Sn d'un signe clinique Signe, pour différents sons X1 à Xn, on peut générer des matrices 2D de courbes temporelles qui représentent l'évolution des différents scores en fonction des sons émis dans le temps pour divers signes cliniques. On peut déterminer par une étude consommateur la perception associée à chaque personne évaluée, par exemple en termes de fatigue apparente, âge apparent, attractivité, éclat, ...
Toutes les courbes résultant de l'évaluation de ces personnes peuvent ensuite faire l'objet d'une analyse visant à mettre en évidence la relation entre certaines formes de courbes et la perception correspondante en termes de fatigue apparente, d'âge apparent, ... On peut mettre en oeuvre pour effectuer ces analyses des traitements multiéchelles, par exemple du type ondelettes multi-échelles.
L'invention n'est pas limitée aux exemples qui viennent d'être décrits. On peut par exemple filmer la personne à évaluer de profil en vue d'évaluer d'autres signes cliniques tels que la ptose par exemple. L'acquisition des images peut se faire également, le cas échéant, en relief à l'aide de deux caméras au moins. L'acquisition des images peut se faire avec projection de franges sur le visage permettant en outre d'effectuer une mesure de relief ou de mieux visualiser les mouvements de la peau. L'acquisition des images peut se faire en lumière blanche ou sous un illuminant visant à mettre plus facilement en évidence certaines déformations du visage lors de l'émission des sons Lorsque plusieurs images sont associées à un son émis, ces images peuvent être moyennées avant le traitement visant à attribuer un score. Le cas échéant, la personne que l'on cherche à évaluer prononce une ou plusieurs phrases dont on ne connait pas le contenu par avance ; le procédé dans ce cas cherche à reconnaître par reconnaissance vocale si certains sons ont été produits, et dans l'affirmative sélectionne les images correspondantes puis procède à l'évaluation des signes cliniques. On peut aussi prévoir de sélectionner une suite de sons à prononcer par la personne que l'on cherche à évaluer en fonction de son sexe, de son âge apparent, de l'ethnie à laquelle elle appartient, de façon à l'amener à prononcer des sons qui permettent de mettre le mieux en évidence les signes cliniques que l'on cherche à évaluer. Bien qu'il soit préférable que l'extraction des images soit automatique suite à la détection automatique du son émis, qui est ainsi reconnu par le programme en cours d'exécution, l'extraction des images peut encore s'effectuer sans reconnaissance automatique du son émis, en prenant l'hypothèse que sur les images de la séquence ayant une position temporelle prédéfinie sur la séquence la personne est en train d'émettre le son, par exemple parce que celui-ci est affiché à l'écran et que la personne doit émettre le son tant que celui-ci est affiché. L'invention peut être utilisée sur peau nue, avant ou après un traitement de soins tel qu'un traitement anti-rides. L'invention peut également être utilisée sur peau maquillée, par exemple par application d'un fond de teint ou d'un patch correcteur de défaut, par exemple pour modifier la forme du regard. Cela peut permettre d'évaluer la tenue d'un maquillage et son effet sur l'aspect du visage lors de déformations de celui-ci. Cela peut aussi permettre d'évaluer la modification de la visibilité du maquillage en fonction des déformations du visage. L'expression « comportant un » est synonyme de « comportant au moins un ».

Claims (19)

  1. REVENDICATIONS1. Procédé sans visée thérapeutique d'évaluation d'au moins un signe clinique du visage et/ou d'évaluation d'un maquillage, notamment d'évaluation des rides ou 5 ridules d'une partie du visage, comportant les étapes consistant à : à partir d'une séquence d'images du visage d'une personne filmée en train d'émettre au moins un son, extraire de la séquence une ou plusieurs images coïncidant avec l'émission d'au moins un son prédéfini, à partir de la ou des images ainsi extraites, évaluer au moins un signe 10 clinique du visage apparaissant sur la ou les images extraites et/ou évaluer au moins une caractéristique liée au maquillage.
  2. 2. Procédé selon la revendication l'extraction des images étant automatique, résultant d'une analyse du son émis.
  3. 3. Procédé selon la revendication 1 ou 2, dans lequel on affiche devant la 15 personne filmée au moins un son à reproduire.
  4. 4. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel les images extraites sont comparées avec des images de référence.
  5. 5. Procédé selon une quelconque des revendications précédentes, dans lequel la séquence comporte des images concernant la présence de rides ou ridules au niveau de la 20 commissure des lèvres, du dessous de l'oeil, de la lèvre supérieure, de la patte d'oie, et/ou du sillon nasogénien, la séquence comportant de préférence des images du visage entier.
  6. 6. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'évaluation du ou des signes cliniques à partir de la ou des images extraites s'effectue de façon automatique, par comparaison avec des données de référence. 25
  7. 7. Procédé selon l'une quelconque des revendications précédentes, dans lequel la ou les images extraites sont, au moins pour certaines, automatiquement recadrées en fonction du signe clinique à évaluer, et de préférence agrandies.
  8. 8. Procédé selon l'une quelconque des revendications précédentes, la séquence d'images comportant plusieurs sons différents émis successivement par la 30 personne, notamment au moins cinq sons différents, notamment choisis parmi « A », « E », « O », « OUI », « STI », ART » et « TO », et dans lequel on extrait les imagescorrespondant respectivement à plusieurs sons prédéfinis, notamment les sons précités « A », « E », « O », « OUI », « STI"», ART » et « TO ».
  9. 9. Procédé selon l'une quelconque des revendications précédentes, le ou les sons de la séquence comportant des phonèmes.
  10. 10. Procédé selon l'une quelconque des revendications précédentes, la sélection de la ou des images à extraire s'effectuant par reconnaissance vocale appliquée à la bande sonore de la séquence et/ou par analyse spectrale des sons recueillis.
  11. 11. Procédé selon l'une quelconque des revendications précédentes, un score associé au signe clinique étant automatiquement généré comme résultat de l'évaluation de ce signe clinique.
  12. 12. Procédé selon l'une quelconque des revendications précédentes, l'atquisition des images étant opérée avec un appareil tenu par la personne en cours d'évaluation ou placé devant elle, notamment de type tablette, téléphone intelligent ou ordinateur.
  13. 13. Procédé selon une quelconque des revendications précédentes, l'acquisition des images de la séquence s'effectuant à une fréquence d'acquisition supérieure ou égale à 50, mieux à 100 images par seconde
  14. 14. Procédé selon l'une quelconque des revendications précédentes, dans lequel on génère plusieurs courbes d'évolutiôn du score d'un même signe clinique en 20 fonction de l'ordre dans lequel les sons sont émis.
  15. 15. Procédé selon l'une quelconque des revendications précédentes, dans lequel on recueille, en parallèle de l'évaluation automatique du signe clinique, un score d'autoévaluation par la personne dudit signe clinique et/ou un score d'évaluation par un panel d'experts dudit signe clinique. 25
  16. 16. Procédé non thérapeutique pour mettre en évidence l'effet d'un traitement cosmétique sur le visage, notamment l'application d'un produit antiride ou de maquillage, comporta/111es étapes consistant à : - procéder à une première évaluation, notamment d'au moins un (signe clinique du visage, en mettant en oeuvre le procédé tel que défini dans l'une quelconque 30 des revendications 1 à 13, - procéder à une nouvelle évaluation, notamment après traitement cosmétique du visage,comparer les évaluations, î générer une information représentative de l'efficacité du traitement à partir de la comparaison des évaluations et/ou représentative de l'évolution du maquillage entre lesdites évaluations.
  17. 17. Produit programme d'ordinateur, comportant des instructions de code de programme enregistrées sur un appareil pourvu d'un processeur, d'un écran, d'un haut-parleur, d'une caméra et d'un microphone, et qui, lorsqu'exécutées sur cet appareil, amènent l'appareil à - optionnellement, afficher sur l'écran un son à reproduire, et/ou émettre à 10 l'aide du haut-parleur le son, acquérir une séquence d'images à l'aide de la caméra d'une personne reproduisant un son prédéfini, notamment un son affiché et/ou diffusé, - traiter les images acquises de façon à extraire de la séquence d'images acquises la ou les images pour lesquelles le son émis par la personne correspond audit son 15 prédéfini.
  18. 18. Produit programme d'ordinateur selon la revendication 17, les instructions amenant l'appareil à analyser le son émis en vue de le reconnaître, notamment par une technique de reconnaissance vocale.
  19. 19. Produit programme d'ordinateur selon l'une quelconque des revendications 20 17 et 18, les instructions amenant l'appareil à traiter la ou des images ainsi extraites de façon à générer au moins un score représentatif de la gravité du signe clinique et/ou à envoyer la ou les images à un serveur distant qui en retour délivre ledit score.
FR1362468A 2013-12-12 2013-12-12 Procede d'evaluation d'au moins un signe clinique du visage Pending FR3014675A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR1362468A FR3014675A1 (fr) 2013-12-12 2013-12-12 Procede d'evaluation d'au moins un signe clinique du visage
CN201480067743.9A CN105813548B (zh) 2013-12-12 2014-12-11 用于评估至少一个面部临床体征的方法
JP2016538578A JP2017502732A (ja) 2013-12-12 2014-12-11 少なくとも1つの顔の臨床徴候を評価するためのプロセス
EP14830629.3A EP3079564B1 (fr) 2013-12-12 2014-12-11 Procédé pour l'évaluation d'au moins un signe clinique facial
US15/104,011 US9955909B2 (en) 2013-12-12 2014-12-11 Process for evaluation of at least one facial clinical sign
PCT/IB2014/066803 WO2015087274A1 (fr) 2013-12-12 2014-12-11 Procédé pour l'évaluation d'au moins un signe clinique facial

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1362468A FR3014675A1 (fr) 2013-12-12 2013-12-12 Procede d'evaluation d'au moins un signe clinique du visage

Publications (1)

Publication Number Publication Date
FR3014675A1 true FR3014675A1 (fr) 2015-06-19

Family

ID=50289917

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1362468A Pending FR3014675A1 (fr) 2013-12-12 2013-12-12 Procede d'evaluation d'au moins un signe clinique du visage

Country Status (6)

Country Link
US (1) US9955909B2 (fr)
EP (1) EP3079564B1 (fr)
JP (1) JP2017502732A (fr)
CN (1) CN105813548B (fr)
FR (1) FR3014675A1 (fr)
WO (1) WO2015087274A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018127529A1 (fr) 2017-01-04 2018-07-12 L'oreal Dispositif d'acquisition d'une vidéo d'altérations de la peau, système de caractérisation et procédé de caractérisation associés
FR3137481A1 (fr) * 2022-07-04 2024-01-05 Abbi Procédé d’analyse cosmétique d’un visage

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6960734B2 (ja) 2013-03-15 2021-11-05 株式会社 資生堂 カスタム外用剤を具体化および調合するためのシステムおよび方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
WO2019071240A1 (fr) 2017-10-06 2019-04-11 The Research Foundation For The State University For The State Of New York Détection optique sélective aqueuse et non aqueuse de sulfites libres
WO2019074909A1 (fr) 2017-10-09 2019-04-18 Noxell Corporation Plateforme de création de produits de beauté
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
FR3082113A1 (fr) 2018-06-08 2019-12-13 L'oreal Dispositif d’injection cosmetique assiste par camera
US11676157B2 (en) 2018-07-13 2023-06-13 Shiseido Company, Limited System and method for adjusting custom topical agents
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
EP3699811A1 (fr) 2019-02-21 2020-08-26 L'oreal Assistant de beauté mis en uvre par machine pour prédire le vieillissement du visage
EP4329591A1 (fr) * 2021-04-30 2024-03-06 L'oreal Prédiction de résultats de traitement du vieillissement sur la base d'un âgéotype de peau
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
WO2024021000A1 (fr) * 2022-07-29 2024-02-01 L'oreal Système et procédé d'évaluation de rides dynamiques sur un matériau kératinique d'un utilisateur à tester

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0699941A1 (fr) * 1994-08-30 1996-03-06 Eastman Kodak Company Appareil photographique équipé d'un dispositif de reconnaissance de parole
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
EP1216658A1 (fr) * 2000-12-21 2002-06-26 L'oreal Procédé pour déterminer un degré d'une caractéristique de la typologie corporelle
US20030063801A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Feature extraction in beauty analysis
US6721001B1 (en) * 1998-12-16 2004-04-13 International Business Machines Corporation Digital camera with voice recognition annotation
US7023454B1 (en) * 2003-07-07 2006-04-04 Knight Andrew F Method and apparatus for creating a virtual video of an object
EP2503545A1 (fr) * 2011-03-21 2012-09-26 Sony Ericsson Mobile Communications AB Agencement et procédé associés à la reconnaissance audio

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6761697B2 (en) * 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
US20040215066A1 (en) * 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
JP4056443B2 (ja) * 2003-08-21 2008-03-05 Necフィールディング株式会社 健康診断システムおよびプログラム
GB2438691A (en) * 2005-04-13 2007-12-05 Pixel Instr Corp Method, system, and program product for measuring audio video synchronization independent of speaker characteristics
WO2008062324A2 (fr) * 2006-10-11 2008-05-29 Dermena Compositions à base de nicotinamide destinées au traitement de maladies et affections cutanées
JP2009061178A (ja) * 2007-09-07 2009-03-26 Noritsu Koki Co Ltd 顔撮影装置及び顔撮影方法
FR2935593B1 (fr) 2008-09-08 2011-11-11 Oreal Procede d'evaluation du relachement cutane
JP2012010955A (ja) * 2010-06-30 2012-01-19 Terumo Corp 健康状態監視装置
JP5215507B1 (ja) * 2011-06-30 2013-06-19 パナソニック株式会社 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置
JP5657494B2 (ja) * 2011-09-22 2015-01-21 富士フイルム株式会社 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0699941A1 (fr) * 1994-08-30 1996-03-06 Eastman Kodak Company Appareil photographique équipé d'un dispositif de reconnaissance de parole
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
US6721001B1 (en) * 1998-12-16 2004-04-13 International Business Machines Corporation Digital camera with voice recognition annotation
EP1216658A1 (fr) * 2000-12-21 2002-06-26 L'oreal Procédé pour déterminer un degré d'une caractéristique de la typologie corporelle
US20030063801A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Feature extraction in beauty analysis
US7023454B1 (en) * 2003-07-07 2006-04-04 Knight Andrew F Method and apparatus for creating a virtual video of an object
EP2503545A1 (fr) * 2011-03-21 2012-09-26 Sony Ericsson Mobile Communications AB Agencement et procédé associés à la reconnaissance audio

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018127529A1 (fr) 2017-01-04 2018-07-12 L'oreal Dispositif d'acquisition d'une vidéo d'altérations de la peau, système de caractérisation et procédé de caractérisation associés
JP2020505969A (ja) * 2017-01-04 2020-02-27 ロレアル 皮膚変化のビデオを獲得するためのデバイス、関連する特性評価システム、および特性評価方法
FR3137481A1 (fr) * 2022-07-04 2024-01-05 Abbi Procédé d’analyse cosmétique d’un visage
WO2024009212A1 (fr) * 2022-07-04 2024-01-11 Abbi Procédé d'analyse cosmétique d'un visage

Also Published As

Publication number Publication date
JP2017502732A (ja) 2017-01-26
CN105813548B (zh) 2020-04-24
EP3079564A1 (fr) 2016-10-19
US20170020436A1 (en) 2017-01-26
EP3079564B1 (fr) 2024-03-20
WO2015087274A1 (fr) 2015-06-18
US9955909B2 (en) 2018-05-01
CN105813548A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
FR3014675A1 (fr) Procede d'evaluation d'au moins un signe clinique du visage
US9548048B1 (en) On-the-fly speech learning and computer model generation using audio-visual synchronization
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
US9749684B2 (en) Multimedia processing method and multimedia apparatus
WO2018225061A1 (fr) Système et procédé de désidentification d'image
KR102284096B1 (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
EP2450852A1 (fr) Procédé et dispositif de simulation virtuelle d' une image
CN111563422B (zh) 基于双模态情绪识别网络的服务评价获取方法及其装置
CN108460334A (zh) 一种基于声纹和人脸图像特征融合的年龄预测系统及方法
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
EP4248350A1 (fr) Systèmes et procédés pour dépersonnalisation de vidéo chirurgicale
CN110428364B (zh) 帕金森声纹语谱图样本扩充方法、装置及计算机存储介质
KR20160116586A (ko) 사용자 감정 인식 방법 및 장치
CN114359517A (zh) 虚拟形象生成方法、虚拟形象生成系统和计算设备
JP2022523921A (ja) 生体(liveness)検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN111723714B (zh) 识别人脸图像真伪的方法、装置及介质
Wong et al. A new multi-purpose audio-visual UNMC-VIER database with multiple variabilities
Liew et al. Visual Speech Recognition: Lip Segmentation and Mapping: Lip Segmentation and Mapping
WO1996021201A1 (fr) Reconnaissance automatique des traits caracteristiques et simulation d'une image esthetique d'un objectif reel, tel qu'un visage
CN113516990A (zh) 一种语音增强方法、训练神经网络的方法以及相关设备
CN108880815A (zh) 身份验证方法、装置和系统
CN111814738A (zh) 基于人工智能的人脸识别方法、装置、计算机设备及介质
Mirabet-Herranz et al. Impact of Digital Face Beautification in Biometrics
EP1643448A2 (fr) Procédé de prédiction de l'apparence d'une portion au moins du corps d'un individu
JP2023534328A (ja) 色斑予測方法、装置、設備及び記憶媒体

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

RX Complete rejection