FR3129816A1 - Modelisation des levres a partir d’images 2d et 3d - Google Patents

Modelisation des levres a partir d’images 2d et 3d Download PDF

Info

Publication number
FR3129816A1
FR3129816A1 FR2112890A FR2112890A FR3129816A1 FR 3129816 A1 FR3129816 A1 FR 3129816A1 FR 2112890 A FR2112890 A FR 2112890A FR 2112890 A FR2112890 A FR 2112890A FR 3129816 A1 FR3129816 A1 FR 3129816A1
Authority
FR
France
Prior art keywords
image
lips
input
output
applicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2112890A
Other languages
English (en)
Inventor
Grégoire Charraud
Matthieu JACOB
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Priority to FR2112890A priority Critical patent/FR3129816A1/fr
Priority to PCT/EP2022/081990 priority patent/WO2023099210A1/fr
Publication of FR3129816A1 publication Critical patent/FR3129816A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

MODELISATION DES LEVRES A PARTIR D’IMAGES 2D ET 3D L’invention concerne un procédé de fabrication d’un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres, cet applicateur comportant une surface d’application réalisée dans un matériau pouvant se charger de composition, le procédé comporte les étapes suivantes : Capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, Capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel. Figure 10

Description

MODELISATION DES LEVRES A PARTIR D’IMAGES 2D ET 3D
La présente invention concerne des procédés de fabrication d’un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres. L’invention concerne encore les applicateurs personnalisés ainsi fabriqués et des procédés de traitement cosmétique, notamment de maquillage, les utilisant.
Plus généralement, un produit cosmétique est un produit tel que défini dans le Règlement CE N°1223/2009 du Parlement européen et du Conseil daté du 30 novembre 2009, relatif aux produits cosmétiques.
Arrière-plan technologique
Pour se maquiller les lèvres, la méthode habituelle consiste à déposer un film de composition couvrante et/ou colorante en utilisant un applicateur tel qu’un pinceau à lèvres ou un bâton de rouge à lèvres, que l’on déplace le long des lèvres pour en couvrir la surface. L’utilisateur constate l’effet obtenu mais peut être insatisfait du résultat. En particulier, s’il pense que la forme de ses lèvres ne lui convient pas, l’utilisateur reste déçu du résultat. C’est le cas de personnes qui considèrent par exemple qu’elles ont les lèvres trop fines, trop larges, asymétriques ou mal proportionnées au regard de la forme de leur visage.
Les utilisateurs désirent en général un maquillage des lèvres net tout en préférant l'usage du bâton de rouge à lèvres. Malheureusement, ce dernier est mal adapté à la réalisation de contours nets sans erreurs et l'usage d'un crayon n'est pas toujours facile surtout lorsque l'on ne souhaite pas suivre le contour naturel des lèvres.
Il est connu des documents FR 752 860, US 2 279 781, US 2 207 959, FR 663 805, US 2 412 073, US 3 308 837, US 2 735 435, US 1 556 744, US 2 248 533, US 2 416 029, US 1 944 691, US 1 782 911, US 2 554 965, US 2 199 720, WO 2008/013608, US 2003/209254 et US 2010/0322693 de réaliser un applicateur dont la surface d’application a la forme prédéterminée d’une bouche. Cette solution permet de réaliser un maquillage standard mais est peu satisfaisante car ne se conformant pas toujours à la morphologie tridimensionnelle des lèvres et laissant alors des zones non couvertes.
D’autres solutions ont été décrites dans les demandes WO 2013/045332, FR 2 980 345, WO 2013/092726, et FR 2 984 699 pour réaliser un applicateur adapté à la morphologie individuelle des lèvres. Pour ce faire, une empreinte des lèvres de l’utilisateur est réalisée à partir d’un relevé du contour des lèvres corrigé de façon générique, puis un contre-moule est réalisé, qui servira d’applicateur. L’utilisateur dépose le produit dans le contre-moule, avant application sur ses lèvres. Une autre option consiste à délivrer le produit au travers du contre-moule, par une multitude de trous. Cette solution apporte un progrès, notamment sur la netteté et la rapidité d’application, mais ne permet pas un maquillage idéal et l’applicateur ne se conforme pas suffisamment à la morphologie tridimensionnelle des lèvres.
Ces solutions ne permettent pas non plus une disponibilité très rapide de l’applicateur pour l’utilisateur.
Afin de remédier à ces inconvénients, la demande de brevet EP3697257A1, déposée par la Demanderesse, décrit un procédé de fabrication d’un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres, comportant la réalisation d’un scan 3D d’entrée de la topographie d’une partie de la surface des lèvres, et la fabrication de l’applicateur par usinage d’une préforme ou par fabrication additive, à partir du scan. Ce document divulgue aussi l’estimation du contour naturel des lèvres à partir d’une image de celles-ci, sans préciser s’il s’agit d’une image 2D d’entrée ou d’une image 3D d’entrée complémentaire. En tout état de cause, il ne décrit ni la mise en œuvre d’une première image 2D d’entrée munie d’un premier référentiel dimensionnel, ni la mise en œuvre d’une deuxième image 2D d’entrée munie d’un deuxième référentiel dimensionnel.
L’article“3D Shape Estimation from 2D Landmarks : A Convex Relaxation Approach ”, In Proceedings of CVPR 2015, Xiaowei Zhou, Spyridon Leonardos, Xiaoyan Hu, Kostas Daniilidis, Computer Vision and Pattern Recognition, étudie le problème de l'estimation de la forme 3D d'un objet, étant donné un ensemble de points de repère 2D dans une seule image. La méthode développée est appliquée à l'estimation de la forme d’une pose humaine (corps entier d’une personne debout) et à celle de la forme d’une voiture. La méthode divulguée repose sur l’examen d’une photo 2D d’entrée de la personne ou de la voiture, photo munie d’un référentiel. Une forme 3D de sortie est estimée à partir d’une formulation convexe issue de la photo 2D d’entrée et d’un algorithme pour résoudre le programme convexe. Toutefois, cet article ne prévoit ni la modélisation 3D des lèvres, ni la réalisation d’un applicateur pour les lèvres. En outre, il divulgue un algorithme relativement complexe dédié aux vues étudiées, basé sur un programme convexe. Enfin, il ne divulgue pas l’étude de points de repère à partir de l’image d’entrée 3D.
Dans le cas particulier des lèvres, un problème majeur réside dans le fait que :
L’image 2D des lèvres est nécessairement imparfaite, puisque cette dernière dépend de la lumière de la prise de vue, de l’angle de vue, du maquillage, de l’état de surface des lèvres attaché notamment à une rugosité ou à un relief. En conséquence, on ne peut pas extraire d’une image 2D d’entrée seule, des dimensions fiables pouvant servir à la réalisation d’un applicateur personnalisé parfaitement adapté aux lèvres d’un utilisateur.
Il en est de même pour une image 3D d’entrée des lèvres, dont le résultat dépend du relief de la peau, de la lumière, du positionnement exact de la personne, des expressions de son visage ou de ses mimiques, du mouvement même imperceptibles des muscles du visage incluant ceux des lèvres, pendant la prise de vue. En conséquence, des dimensions extrapolées à partir d’un scan 3D manqueront aussi forcément d’exactitude et il s’ensuit qu’on ne peut pas extraire de cette image 3D seule, des dimensions réellement fiables pouvant servir à la réalisation d’un applicateur personnalisé parfaitement adapté aux lèvres d’un utilisateur.
Le problème posé par l’invention est de proposer une méthode pour modéliser les lèvres et fabriquer un applicateur de maquillage personnalisé qui soit une méthode fiable, c’est-à-dire procurant un modèle des lèvres plus conforme et précis que les modélisations existantes, afin de réaliser un applicateur parfaitement personnalisé, et ceci en dépit du contexte spécifiquement lié aux lèvres, parties animées d’une personne, incluant des mouvements imperceptibles ou des expressions, parfois involontaires.
De plus, la méthode doit être simple, autant par ses paramètres d’entrée que par l’algorithme mis en œuvre pour l’analyse et l’exploitation des paramètres d’entrée.
Définition de l’invention
L’invention concerne un procédé de fabrication d’un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres, cet applicateur comportant une surface d’application réalisée dans un matériau pouvant se charger de composition, caractérisé par le fait que le procédé comporte les étapes suivantes :
Capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres,
Capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, et
Réaliser, à partir au moins de l’image 2D d’entrée, munie du premier référentiel dimensionnel, et de l’image 3D d’entrée, munie du deuxième référentiel dimensionnel, au moins une partie de l’applicateur ou d’un moule servant à sa fabrication, par usinage d’une préforme ou par fabrication additive.
Le procédé selon l’invention fait appel à une image 2D d’entrée munie d’un repère dimensionnel et à une image 3D d’entrée munie d’un repère dimensionnel. Grâce à ces deux repères dimensionnels, il devient possible d’améliorer la précision dimensionnelle de l’applicateur ou du moule servant à sa fabrication, et de s’approcher au mieux de la réalité dimensionnelle des lèvres de la personne.
L’applicateur résultant du procédé selon l’invention est plus fidèle et conforme aux lèvres que ceux de l’art antérieur. De ce fait, la personnalisation de l’applicateur est mieux réussie, pour un meilleur maquillage.
L’invention permet de réaliser par soi-même un maquillage professionnel, sur une surface des lèvres, grâce à un applicateur morphologique adapté à l’utilisateur et réalisé sur mesure.
L’applicateur personnalisé selon l’invention permet en particulier de dessiner parfaitement la bouche, et de la colorer de façon homogène si on le souhaite.
L’invention concerne aussi un procédé de maquillage des lèvres, comportant l’application d’une composition cosmétique sur les lèvres à l’aide d’un applicateur obtenu par le procédé décrit précédemment.
L’invention permet d’offrir un résultat de maquillage au contour net, augmentant l’harmonie du visage. L’invention offre également un moyen de se maquiller très rapidement, en un seul geste, et n’importe où, même sans miroir, par exemple en voiture ou au bureau.
L’invention permet de se maquiller avec des couleurs vives et/ou avec une composition à haute tenue sans risque, même au quotidien, car l’applicateur personnalisé permet d’éviter les ratages occasionnés par ce type de produits appliqués avec les applicateurs connus.
L’applicateur personnalisé selon l’invention permet de redessiner le contour des lèvres, en apportant un effet remodelant, et peut donc être utilisé par des personnes dont le contour est devenu flou, notamment dû au vieillissement de la peau, et qui n’osaient plus se maquiller.
L’invention concerne aussi un procédé de modélisation informatique d’au moins une zone des lèvres, le procédé comprenant les opérations consistant à :
Capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres,
Capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, et
Générer une image 3D de sortie de la zone des lèvres à partir de l’image 2D d’entrée et de l’image 3D d’entrée, le contour des lèvres.
Un autre objet de l’invention concerne un système de modélisation 3D informatique d’au moins une zone des lèvres, de préférence destiné à être utilisé dans la fabrication d'un applicateur personnalisé pour l'application d'un produit cosmétique sur les lèvres tel que défini précédemment, le système comprenant au moins un dispositif mobile de capture d'images 2D et 3D, notamment un smartphone, système dans lequel, une fois le dispositif mobile de capture d'images placé dans une position prédéterminée par rapport aux lèvres, le dispositif mobile de capture d'images est apte à capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres, et à capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, le système comprenant en outre un processeur apte à générer une image 3D de sortie de la zone des lèvres à partir de l’image 2D d’entrée et de l’image 3D d’entrée, en déterminant le contour des lèvres de l’image 3D de sortie à partir de l’image 2D d’entrée.
Encore un autre objet de l’invention concerne un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres susceptible d’être obtenu par le procédé décrit précédemment. Cet applicateur se distingue des applicateurs existants par son degré de précision dans la complémentarité des lèvres, en épousant la surface des lèvres mieux avec une grande exactitude.
Image 2D d’entrée
De préférence, on utilise un smartphone comme dispositif de capture d’image 2D d’entrée.
De préférence, ledit dispositif mobile de capture d'images est placé sur un même plan que la zone à mesurer, notamment verticalement et sous le menton de l'utilisateur pour mesurer une zone de son visage, notamment pour enregistrer les dimensions de ses lèvres.
Des informations sur le positionnement du dispositif mobile de capture d'images par rapport à la zone à mesurer peuvent être fournies, notamment en utilisant un capteur de position, notamment un accéléromètre ou un gyroscope.
L'image est de préférence capturée automatiquement par le dispositif mobile de capture d'images une fois que ladite position prédéterminée par rapport à la zone à mesurer est atteinte.
Un ou plusieurs signaux, notamment vocaux, peuvent être envoyés à l'utilisateur pour l'aider à placer le dispositif mobile de capture d'images dans ladite position prédéterminée par rapport à la zone à mesurer et/ou par rapport au miroir. Un guidage électronique de l'utilisateur est ainsi possible.
Surface retravaillée
Par «surface retravaillée», il faut comprendre une surface dont on a modifié la forme et/ou le contour par rapport à la surface naturelle dont on a acquis la topographie.
Le procédé selon l’invention peut ainsi comporter une étape consistant à générer une surface 3D retravaillée à partir des données issues de l’acquisition de la topographie de la surface, notamment à l’aide d’un logiciel de traitement d’image.
En particulier, on peut générer une surface 3D retravaillée en étirant le contour des lèvres obtenu à partir de l’image 2D d’entrée. L’image 2D d’entrée peut être retravaillée.
La surface retravaillée peut éventuellement s’écarter de la surface naturelle des lèvres à l’intérieur du contour de celles-ci pour ménager un espace entre la surface d’application et les lèvres scannées, lorsque l’applicateur est appliqué normalement sur les lèvres. Cet espace peut servir à accueillir une composition auto-expansive, comme cela sera détaillé plus loin.
La surface retravaillée peut coïncider avec la surface naturelle des lèvres résultant du scan, hormis son contour qui est différent du contour naturel des lèvres scannées, pour modifier le contour des lèvres maquillées.
Le procédé selon l’invention peut comporter une étape consistant à donner la possibilité à un utilisateur de choisir entre au moins deux résultats de maquillage, la surface retravaillée étant générée au moins à partir de ce choix, par exemple de manière automatique par voie logicielle.
Le procédé selon l’invention peut comporter l’étape consistant à permettre à un utilisateur de modeler une surface obtenue à partir de l’image 2D d’entrée, notamment son contour, et de générer ainsi la surface retravaillée. Le modelage peut être effectué par voie logicielle à distance depuis un poste auquel des données représentatives de l’image 3D ont été transmises par un réseau de télécommunications, notamment le réseau Internet ou GSM/GPRS. Ce poste distant est par exemple celui d’un professionnel du maquillage.
Image 3D d’entrée
Pour réaliser une image 3D d’entrée, on peut utiliser tout scanner 3D apte à capturer le volume et les dimensions de la zone concernée. De préférence, on utilise un scanner 3D apte à capturer également la couleur et l’aspect de la zone concernée, de façon à faire l’acquisition d’une ou plusieurs images renseignant sur la localisation de la composition.
Le scan 3D d’entrée est avantageusement un scan par projection de franges de lumière, mais toute autre lumière structurée est possible.
L’image 3D d’entrée peut être acquise à partir de la caméra d’un téléphone mobile (smartphone).
Cependant, l'invention n'est pas limitée à un type particulier de dispositif mobile de capture d'images.
Le dispositif mobile de capture d'images, notamment dans le cas d'un smartphone, peut comporter un ou plusieurs microprocesseurs ou microcontrôleurs et circuits supplémentaires, agencés pour exécuter une application visant à réaliser les étapes du procédé selon l'invention.
Les points de repère détectés et/ou les dimensions mesurées sont avantageusement stockés sur le dispositif mobile de capture d'images et/ou transmis à un poste de travail distant, connecté au dispositif mobile de capture d'images, pour la fabrication d'un applicateur personnalisé. Cela permet une fabrication rapide et fiable.
Un motif spécifique peut être affiché sur l'écran du dispositif de capture d'image mobile, sous forme de formes spécifiques ou d'affichages semblables à des codes QR, pendant l'acquisition d'image pour augmenter la robustesse de la détection d'écran. Ledit motif spécifique devant être entièrement détecté, un message d'erreur peut apparaître pour indiquer à l'utilisateur de refaire l'acquisition dans de meilleures conditions, notamment en cas de reflet lumineux sur l'écran de ladite capture d'image mobile, masquant notamment partiellement le motif spécifique.
Dans le cas des lèvres, les dimensions mesurées possibles peuvent être leur longueur entre les deux points extrêmes, la hauteur de la lèvre supérieure à différents points le long des lèvres, la hauteur de l'arc de Cupidon, la distance entre la crête du philtrum et la ligne médiane de la lèvre, la hauteur des lèvres à différents points le long des lèvres, la distance du coin des lèvres à différents points le long des lèvres et/ou la hauteur de la commissure à partir du point le plus élevé des lèvres.
Selon l’invention, l’image 2D d’entrée et/ou l’image 3D d’entrée et/ou l’image 3D de sortie peuvent être retravaillées.
Ainsi, le procédé selon l’invention peut comporter l’établissement d’une liaison distante avec un tiers fournissant un modèle à proposer à la personne dont les lèvres ont été scannées en fonction de la physionomie de cette personne, par exemple par le biais d’une plateforme de visiophonie par Internet.
Le procédé selon l’invention peut comporter la détection, notamment automatique par voie logicielle, d’une asymétrie des lèvres et/ou du visage ; le calcul de la surface retravaillée peut s’effectuer, de préférence automatiquement, au moins en fonction de l’asymétrie détectée.
Fabrication de l’applicateur
Un fichier lisible par une machine d’usinage à commande numérique ou par une imprimante 3D est avantageusement généré, pouvant être conservé, notamment automatiquement, par exemple dans le cloud ou sur un serveur central, et pouvant être envoyé dans l’ensemble des points d’accès aux utilisateurs, par exemple des points de vente ou des instituts. Le fichier peut être transmis à l’utilisateur. Il est aussi possible de conserver les fichiers non retenus, afin d’éviter des essais redondants.
Une copie numérique translatée d’une surface, éventuellement retravaillée, obtenue à partir du scan 3D des lèvres est avantageusement créée, puis un volume lissé de l’applicateur ou du moule entre ladite surface et sa copie translatée peut être généré. Dans une variante, un volume lissé de l’applicateur ou du moule est généré entre ladite surface et une surface standard d’applicateur, notamment créée par apprentissage de plusieurs surfaces acquises.
L’applicateur peut être réalisé par usinage, de préférence par micro-usinage. On usine avantageusement une préforme choisie, notamment automatiquement, parmi plusieurs en fonction de la forme à obtenir après usinage. Cela permet de raccourcir le temps de fabrication. Ces préformes peuvent avoir été réalisées sur mesure, par exemple à partir de différentes bouches, et leur face à usiner est avantageusement plus grande que la surface des lèvres naturelles. Les préformes peuvent comporter la face verso déjà formée, avec ou sans poignée, ou avec ou sans système pour y adjoindre une poignée, ou avec ou sans système pour y adjoindre un compartiment pouvant contenir un produit cosmétique.
L’invention offre si on le souhaite la possibilité de reproduire l’applicateur à distance, soit lorsque l’on est en déplacement et qu’on l’a oublié, soit parce qu’on l’a perdu, soit parce qu’on désire partager son applicateur avec une autre personne. Il suffit d’envoyer ou faire envoyer le fichier 3D, mémorisé dans une mémoire informatique, pour en faire une reproduction à tout endroit.
L’imprimante 3D peut être une imprimante dite à fil. L’imprimante 3D utilisée peut atteindre une précision en z de 0.5mm, mieux 0.1mm, encore mieux 0.03mm.
Dans le cas de l’impression 3D, on peut réaliser l’impression sur un support ou sur un objet prédéterminé, tel que, par exemple, une préforme avec ou sans poignée, avec ou sans système pour y adjoindre une poignée, ou avec ou sans compartiment pouvant contenir un produit cosmétique.
Modes de réalisation préférés
De préférence, l’élément d’application selon l’invention présente une ou plusieurs des caractéristiques suivantes, prises seules ou en combinaison :
Procédé de fabrication d’un applicateur personnalisé
Il comporte la détermination d’une pluralité de points du contour des lèvres, à partir de l’image 2D d’entrée, et l’estimation du contour des lèvres sur l’image de sortie 3D, par interpolation à partir de ces points.
Il comprend la détermination de la profondeur des lèvres sur l’image 3D de sortie à partir de l’image 3D d’entrée.
Il comporte la détection, sur l’image 2D d’entrée, de plusieurs premiers points de repère délimitant le contour des lèvres et de plusieurs deuxièmes points de repère situés de part et d’autre de la ligne de séparation des lèvres, afin de produire le contour des lèvres sur l’image 3D de sortie.
Il comporte la détection, sur l’image 3D d’entrée, de plusieurs troisièmes points de repère délimitant les commissures des lèvres et de plusieurs quatrièmes points de repère situés sur l’axe longitudinal X des lèvres, afin de produire la profondeur des lèvres sur l’image 3D de sortie.
Il comporte la détermination d’au moins un point de repère visible à la fois sur l’image 2D d’entrée et sur l’image 3D d’entrée et l’attribution à ce point de repère d’une coordonnée dimensionnelle sur une image 3D de sortie.
Il comporte l’affichage d’une image 3D de sortie imprimable et/ou fabricable.
Il comporte une information de positionnement d’un dispositif mobile de capture d'images par rapport à la zone des lèvres, notamment en utilisant un capteur de position.
Il comporte la génération d’une surface 3D de sortie retravaillée, notamment par étirement de l’image 2D d’entrée, l’applicateur ou le moule servant à sa fabrication ayant une forme donnée au moins en partie par cette surface retravaillée.
Il comporte la détermination d’au moins un point de repère visible à la fois sur l’image 2D d’entrée et sur l’image 3D d’entrée et l’attribution à ce point de repère d’une coordonnée dimensionnelle de l’image 3D de sortie.
Procédé de maquillage des lèvres
Il comprend la détermination du contour des lèvres de l’image 3D de sortie à partir de l’image 2D d’entrée.
Il comprend la détermination de la profondeur des lèvres de l’image 3D de sortie à partir de l’image 3D d’entrée.
Il comporte une information de positionnement d’un dispositif mobile de capture d'images par rapport à la zone des lèvres, notamment en utilisant un capteur de position, notamment un accéléromètre ou un gyroscope.
Il comporte la génération d’une surface 3D de sortie retravaillée, notamment par étirement de l’image 2D d’entrée, l’applicateur ou le moule servant à sa fabrication ayant une forme donnée au moins en partie par cette surface retravaillée.
Description des figures
D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui va suivre, d’exemples de mise en œuvre non limitatifs de celle-ci, et à l’examen du dessin annexé, sur lequel :
La représente un ensemble de points de repère détectés sur une image 2D d’entrée par analyse de l’image avec un logiciel d’analyse d’image 2D,
La représente un ensemble de points de repère détectés sur une image 3D d’entrée par analyse de l’image avec un logiciel d’analyse d’image 3D,
La représente illustre la notion de référentiel sur une image 3D,
La représente, à partir d’une image 2D d’entrée en vue de face, l’identification de points de repère pertinents pour la modélisation des lèvres selon l’invention,
La représente le détail B de la ,
La représente le détail A de la ,
La est un tableau indiquant les paramètres dimensionnels des lèvres extraits de l’image 2D d’entrée et ceux issus de l’image 3D d’entrée,
La représente les paramètres de la calculés à partir du logiciel d’analyse d’image 2D,
La représente les paramètres de la calculés à partir du logiciel d’analyse d’image 3D d’entrée.
La illustre un mode de mise en œuvre du procédé de fabrication d’un applicateur personnalisé selon l’invention.
La représente une identification des points de repère sur une image 2D d’entrée du visage, en vue de face. L’image 2D d’entrée est représentée par une collection de points de repères 2D caractérisant la surface à analyser, obtenue par une prise de vue 2D à partir, notamment, d’un téléphone mobile. Les points de repères sont matérialisés par des cercles (non identifiés par un nombre), les cercles étant plus gros pour les points de repère situés aux commissures des lèvres et des yeux, pouvant aussi être détectés sur l’image 3D d’entrée.
La représente une identification des points de repère (ou nœuds) sur une image 3D du visage, en vue de face. L’image 3D d’entrée est représentée par une collection de points caractérisant la surface à analyser, obtenue par une prise de vue 3D à partir, notamment, d’un téléphone mobile. Les points de repères les plus gros sont situés aux commissures des lèvres et sont ceux également détectés sur l’image d’entrée 2D.
La représente un référentiel 3D d’axes x, y et z. selon l’invention. Il est utilisé pour chaque modélisation.
Sur la , on a identifié les points de repères d’une image d’entrée 2D, servant à la détermination du contour des lèvres sur l’image 3D de sortie. Ces points de repère sont les points de repères X0, X1, X2, X3, X4, X5, X6, X7, X8, X9délimitant le contour B des lèvres et de plusieurs deuxièmes points de repère Y0,Y1, Y2, Y3, Y4, Y5, Y6, Y7situés de part et d’autre de la ligne de séparation A de la lèvre supérieure et de la lèvre inférieure.
La et 6 montrent un agrandissement de la zone des lèvres issu de l’image d’entrée 3D de la . On peut voir les points de repères déterminants pour l’évaluation de la profondeur des lèvres, à savoir deux points de repère 405, 835 délimitant les commissures des lèvres et quatre points 21, 24, 25, 27 situés sur l’axe longitudinal X des lèvres.
Sur la , on a indiqué dans un tableau, les paramètres dimensionnels extraits de l’image 2D d’entrée et les paramètres dimensionnels extraits de l’image 3D d’entrée. Pour extraire ces paramètres, on peut les logiciels indiqués ci-après :
- Pour l’extraction des paramètres dimensionnels de l’image 2D d’entrée représentée à la , on peut utiliser les logiciels : Dlib, Modiface.
- Pour l’extraction des paramètres dimensionnels de l’image 3D d’entrée représentée à la , on peut utiliser les logiciels : Truedepth from Apple, Structured light, FaceMesh.
Comme on peut le voir sur ce tableau, les dimensions décrivant le contour des lèvres, obtenues par le logiciel d’analyse de l’image 2D d’entrée, sont les dimensions L, H1up, Harc, Larc, Hlow, H2up, L2, Hc, Hlow3, L3. La signification physique de chaque dimension est indiquée sur la . Les dimensions décrivant la profondeur des lèvres sont L, Pmid, Psup, Pinf, leur signification physique étant indiquée sur la . On note que Pmidest défini comme étant égal à 25 % de L, L étant défini à la .
La illustre un mode de mise en œuvre d’un procédé de fabrication d’un applicateur personnalisé selon l’invention. Le procédé comprend une capture d’image par selfie/scan puis le traitement 2D 110 et le traitement 3D 111 de la capture d’image, pour réaliser 112 un applicateur 3D imprimable personnalisé.
Le traitement 2D 110 est réalisé en utilisant un algorithme Dlib, à savoir une libraire open source d’outils permettant la détection faciale de soixante-huit coordonnées x, y du visage ou un algorithme Modiface.
Le traitement 3D 111 est réalisé en utilisant un algorithme Apple truedepth et ARkit, à savoir une librairie proposée par Apple permettant la reconnaissance faciale en utilisant la technologie de capture 3D Truedepth.
Le traitement 2D 110 conduit à la détermination 113 d’une pluralité de points du contour des lèvres. Le traitement 3D 111 conduit à la détection 114 de points de repère des lèvres et à la détermination 115 de la profondeur des lèvres.
Une détection 117 d’au moins deux points communs à l’image 2D et à l’image 3D, notamment pour déterminer une échelle dimensionnelle, est effectuée. La détermination de la profondeur des lèvres avec la détection de points de repère du contour des lèvres et l’échelle dimensionnelle conduisent à l’estimation d’un modèle 3D des lèvres et à la détermination 121 des dimensions des lèvres.
Bien entendu, l'invention n'est pas limitée aux exemples de réalisation qui viennent d'être décrits.

Claims (15)

  1. Procédé de fabrication d’un applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres, cet applicateur comportant une surface d’application réalisée dans un matériau pouvant se charger de composition, caractérisé par le fait que le procédé comporte les étapes suivantes :
    1. Capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres,
    2. Capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, et
    3. Réaliser (112), à partir au moins de l’image 2D d’entrée, munie du premier référentiel dimensionnel, et de l’image 3D d’entrée, munie du deuxième référentiel dimensionnel, au moins une partie de l’applicateur ou d’un moule servant à sa fabrication, par usinage d’une préforme ou par fabrication additive.
  2. Procédé selon la revendication 1, caractérisé par le fait qu’il comporte la détermination (113) d’une pluralité de points du contour des lèvres, à partir de l’image 2D d’entrée, et l’estimation du contour des lèvres sur l’image de sortie 3D, par interpolation à partir de ces points.
  3. Procédé selon la revendication précédente, caractérisé par le fait qu’il comprend la détermination (115) de la profondeur des lèvres sur une image 3D de sortie à partir de l’image 3D d’entrée.
  4. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte la détection, sur l’image 2D d’entrée, de plusieurs premiers points de repère (X0, X1, X2, X3, X4, X5, X6, X7, X8, X9) délimitant le contour (B) des lèvres et de plusieurs deuxièmes points de repère (Y0,Y1, Y2, Y3, Y4, Y5, Y6, Y7) situés de part et d’autre de la ligne de séparation (A) des lèvres, afin de produire le contour des lèvres sur une image 3D de sortie.
  5. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte la détection (114), sur l’image 3D d’entrée, de plusieurs troisièmes points de repère (405, 835) délimitant les commissures des lèvres et de plusieurs quatrièmes points de repère (21, 24, 25, 27) situés sur l’axe longitudinal (X) des lèvres, afin de produire (121) la profondeur des lèvres sur une image 3D de sortie.
  6. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte la détermination (117) d’au moins un point de repère visible à la fois sur l’image 2D d’entrée et sur l’image 3D d’entrée et l’attribution à ce point de repère d’une coordonnée dimensionnelle sur une image 3D de sortie.
  7. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte l’affichage d’une image 3D de sortie imprimable et/ou fabricable.
  8. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte une information de positionnement d’un dispositif mobile de capture d'images par rapport à la zone des lèvres, notamment en utilisant un capteur de position.
  9. Procédé selon l’une quelconque des revendications précédentes, caractérisé par le fait qu’il comporte la génération d’une surface 3D de sortie retravaillée, notamment par étirement de l’image 2D d’entrée, l’applicateur ou le moule servant à sa fabrication ayant une forme donnée au moins en partie par cette surface retravaillée.
  10. Procédé de maquillage des lèvres, comportant l’application d’une composition cosmétique sur les lèvres à l’aide d’un applicateur obtenu par le procédé selon l’une quelconque des revendications précédentes.
  11. Procédé de modélisation informatique d’au moins une zone des lèvres, le procédé comprenant les opérations consistant à :
    1. Capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres,
    2. Capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, et
    3. Générer une image 3D de sortie de la zone des lèvres à partir de l’image 2D d’entrée et de l’image 3D d’entrée, le contour des lèvres.
  12. Procédé selon la revendication précédente, caractérisé par le fait qu’il comprend la détermination du contour des lèvres de l’image 3D de sortie à partir de l’image 2D d’entrée.
  13. Procédé selon la revendication 11 ou 12, caractérisé par le fait qu’il comprend la détermination de la profondeur des lèvres de l’image 3D de sortie à partir de l’image 3D d’entrée.
  14. Système de modélisation 3D informatique d’au moins une zone des lèvres, de préférence destiné à être utilisé dans la fabrication d'un applicateur personnalisé pour l'application d'un produit cosmétique sur les lèvres, caractérisé par le fait que le système comprend au moins un dispositif mobile de capture d'images 2D et 3D, notamment un smartphone, système dans lequel, une fois le dispositif mobile de capture d'images placé dans une position prédéterminée par rapport aux lèvres, le dispositif mobile de capture d'images est apte à capturer une image 2D d’entrée munie d’un premier référentiel dimensionnel, d’une partie au moins de la surface des lèvres, et à capturer une image 3D d’entrée munie d’un deuxième référentiel dimensionnel, de la partie au moins de la surface des lèvres, le système comprenant en outre un processeur apte à générer une image 3D de sortie de la zone des lèvres à partir de l’image 2D d’entrée et de l’image 3D d’entrée, en déterminant le contour des lèvres de l’image 3D de sortie à partir de l’image 2D d’entrée.
  15. Applicateur personnalisé pour l’application d’une composition cosmétique sur les lèvres, caractérisé par le fait qu’il est susceptible d’être obtenu par le procédé selon l’une quelconque des revendications 1 à 9.
FR2112890A 2021-12-03 2021-12-03 Modelisation des levres a partir d’images 2d et 3d Pending FR3129816A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2112890A FR3129816A1 (fr) 2021-12-03 2021-12-03 Modelisation des levres a partir d’images 2d et 3d
PCT/EP2022/081990 WO2023099210A1 (fr) 2021-12-03 2022-11-15 Modélisation des lèvres sur la base d'images 2d et 3d

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2112890A FR3129816A1 (fr) 2021-12-03 2021-12-03 Modelisation des levres a partir d’images 2d et 3d
FR2112890 2021-12-03

Publications (1)

Publication Number Publication Date
FR3129816A1 true FR3129816A1 (fr) 2023-06-09

Family

ID=80225364

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2112890A Pending FR3129816A1 (fr) 2021-12-03 2021-12-03 Modelisation des levres a partir d’images 2d et 3d

Country Status (2)

Country Link
FR (1) FR3129816A1 (fr)
WO (1) WO2023099210A1 (fr)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1556744A (en) 1922-11-11 1925-10-13 Anthony J Gutweiler Applicator
FR663805A (fr) 1928-11-12 1929-08-26 Tampon à maquiller les lèvres
US1782911A (en) 1930-05-16 1930-11-25 Scrimgeour John Lip-stick device
FR752860A (fr) 1932-07-01 1933-10-02 Dispositif permettant par une simple impression de rougir et de dessiner les lèvres
US1944691A (en) 1933-05-09 1934-01-23 Libby Martha Device for use in applying lip stick
US2199720A (en) 1939-06-16 1940-05-07 Louise R Catelin Cosmetic applicator
US2207959A (en) 1939-04-20 1940-07-16 Florence M Way Applicator for liquid lip coloring
US2248533A (en) 1940-09-14 1941-07-08 Carlos M Gibert Mouth beautifier
US2279781A (en) 1941-02-24 1942-04-14 Fogarty James Container and distributor of lip staining material
US2412073A (en) 1944-04-12 1946-12-03 Lloyd L Bassett Lipstick applicator and container combination
US2416029A (en) 1945-07-26 1947-02-18 Turnes Angel Nunez Cosmetic applicator
US2554965A (en) 1949-06-24 1951-05-29 Steven Jewel Lipstick holder and applicator
US2735435A (en) 1956-02-21 feinstein
US3308837A (en) 1964-07-19 1967-03-14 Selleck Marion Porter Disposable lip-cosmetic applicator
US20030209254A1 (en) 2002-05-13 2003-11-13 Ruggiero Joseph A. Lipstick applicator
EP1833004A2 (fr) * 2006-03-07 2007-09-12 Kabushiki Kaisha Toshiba Appareil et procédé de détection de points caractéristiques
WO2008013608A2 (fr) 2006-07-21 2008-01-31 Vincent Mallardi, Iii Applicateur à lèvres
FR2980345A1 (fr) 2011-09-26 2013-03-29 Oreal Procede de conception d'un applicateur de produit cosmetique destine a appliquer du produit cosmetique suivant le contour des levres d'un utilisateur
WO2013045332A1 (fr) 2011-09-26 2013-04-04 L'oreal Applicateur pour appliquer un produit cosmétique sur les lèvres d'un utilisateur et procédé d'application associé
WO2013092726A2 (fr) 2011-12-22 2013-06-27 L'oreal Trousse de maquillage des lèvres, applicateur de produit cosmétique et procédé de maquillage utilisant l'applicateur
FR2984699A1 (fr) 2011-12-22 2013-06-28 Oreal Kit de maquillage des levres, applicateur de produit cosmetique et procede de maquillage les utilisant
EP3697257A1 (fr) 2017-10-20 2020-08-26 L'Oreal Procédé de fabrication d'un applicateur personnalisé pour l'application d'une composition cosmétique

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2735435A (en) 1956-02-21 feinstein
US1556744A (en) 1922-11-11 1925-10-13 Anthony J Gutweiler Applicator
FR663805A (fr) 1928-11-12 1929-08-26 Tampon à maquiller les lèvres
US1782911A (en) 1930-05-16 1930-11-25 Scrimgeour John Lip-stick device
FR752860A (fr) 1932-07-01 1933-10-02 Dispositif permettant par une simple impression de rougir et de dessiner les lèvres
US1944691A (en) 1933-05-09 1934-01-23 Libby Martha Device for use in applying lip stick
US2207959A (en) 1939-04-20 1940-07-16 Florence M Way Applicator for liquid lip coloring
US2199720A (en) 1939-06-16 1940-05-07 Louise R Catelin Cosmetic applicator
US2248533A (en) 1940-09-14 1941-07-08 Carlos M Gibert Mouth beautifier
US2279781A (en) 1941-02-24 1942-04-14 Fogarty James Container and distributor of lip staining material
US2412073A (en) 1944-04-12 1946-12-03 Lloyd L Bassett Lipstick applicator and container combination
US2416029A (en) 1945-07-26 1947-02-18 Turnes Angel Nunez Cosmetic applicator
US2554965A (en) 1949-06-24 1951-05-29 Steven Jewel Lipstick holder and applicator
US3308837A (en) 1964-07-19 1967-03-14 Selleck Marion Porter Disposable lip-cosmetic applicator
US20030209254A1 (en) 2002-05-13 2003-11-13 Ruggiero Joseph A. Lipstick applicator
EP1833004A2 (fr) * 2006-03-07 2007-09-12 Kabushiki Kaisha Toshiba Appareil et procédé de détection de points caractéristiques
WO2008013608A2 (fr) 2006-07-21 2008-01-31 Vincent Mallardi, Iii Applicateur à lèvres
US20100322693A1 (en) 2006-07-21 2010-12-23 Mallardi Iii Vincent Lip applicator
FR2980345A1 (fr) 2011-09-26 2013-03-29 Oreal Procede de conception d'un applicateur de produit cosmetique destine a appliquer du produit cosmetique suivant le contour des levres d'un utilisateur
WO2013045332A1 (fr) 2011-09-26 2013-04-04 L'oreal Applicateur pour appliquer un produit cosmétique sur les lèvres d'un utilisateur et procédé d'application associé
WO2013092726A2 (fr) 2011-12-22 2013-06-27 L'oreal Trousse de maquillage des lèvres, applicateur de produit cosmétique et procédé de maquillage utilisant l'applicateur
FR2984699A1 (fr) 2011-12-22 2013-06-28 Oreal Kit de maquillage des levres, applicateur de produit cosmetique et procede de maquillage les utilisant
EP3697257A1 (fr) 2017-10-20 2020-08-26 L'Oreal Procédé de fabrication d'un applicateur personnalisé pour l'application d'une composition cosmétique

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BANDINI ANDREA ET AL: "Markerless Analysis of Articulatory Movements in Patients With Parkinson's Disease", JOURNAL OF VOICE, ELSEVIER SCIENCE, US, vol. 30, no. 6, 29 November 2015 (2015-11-29), XP029825701, ISSN: 0892-1997, DOI: 10.1016/J.JVOICE.2015.10.014 *

Also Published As

Publication number Publication date
WO2023099210A1 (fr) 2023-06-08

Similar Documents

Publication Publication Date Title
US20190096097A1 (en) System and Method for Applying a Reflectance Modifying Agent to Change a Person's Appearance Based on a Digital Image
JP6435516B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
FR2907569A1 (fr) Procede et dispositif de simulation virtuelle d'une sequence d'images video.
EP2526510B1 (fr) Procede de realité augmenté appliquée à l'intégration d'une paire de lunettes dans une image de visage
Liao et al. Automatic caricature generation by analyzing facial features
US11844414B2 (en) Method for manufacturing a personalized applicator for the application of a cosmetic composition
JP7210569B2 (ja) 化粧組成物を塗布するための個人向けアプリケータを製造するための方法
FR3027508A1 (fr) Procede de controle de la dentition
JP2004094917A (ja) 仮想化粧装置及びその方法
WO2018134521A1 (fr) Procede de creation d'une representation tridimensionnelle virtuelle d'une personne
Rosin et al. Benchmarking non-photorealistic rendering of portraits
FR2883395A1 (fr) Procede d'assistance au maquillage en temps reel et son dispositif de mise en oeuvre
Rosin et al. Non-photorealistic rendering of portraits
FR3111067A1 (fr) Prise d'empreinte optique de l’arcade dentaire d’un patient
WO2021245273A1 (fr) Procédé et dispositif de reconstruction tridimensionnelle d'un visage avec partie dentée à partir d'une seule image
EP3145405B1 (fr) Procédé de détermination d'au moins un paramètre comportemental
Johnson et al. Inferring illumination direction estimated from disparate sources in paintings: an investigation into Jan Vermeer's Girl with a pearl earring
FR2728982A1 (fr) Reconnaissance automatique des traits caracteristiques du visage et simulation d'une image esthetique d'un objectif (visage) reel
CN108833772A (zh) 基于深度相机的拍照引导系统及方法
FR3129816A1 (fr) Modelisation des levres a partir d’images 2d et 3d
FR3102285A1 (fr) Procede de generation d’une image dentaire
FR2920938A1 (fr) Procede et dispositif de simulation virtuelle d'une image
EP3927276B1 (fr) Procédé d'estimation et de visualisation d'un résultat d'un plan de traitement dentaire
FR3026534B1 (fr) Generation d'un film d'animation personnalise
FR3128868A1 (fr) Procédé et système de caractérisation de fibres kératiniques, en particulier de cils humain.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20230609

PLFP Fee payment

Year of fee payment: 3