FR3118521A1 - Method for determining at least one color compatible with a user's clothing - Google Patents

Method for determining at least one color compatible with a user's clothing Download PDF

Info

Publication number
FR3118521A1
FR3118521A1 FR2108455A FR2108455A FR3118521A1 FR 3118521 A1 FR3118521 A1 FR 3118521A1 FR 2108455 A FR2108455 A FR 2108455A FR 2108455 A FR2108455 A FR 2108455A FR 3118521 A1 FR3118521 A1 FR 3118521A1
Authority
FR
France
Prior art keywords
color
compatible
user
clothing
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2108455A
Other languages
French (fr)
Inventor
Tiffany JAMES
Grégoire Charraud
Aldina SAWANTO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/139,454 external-priority patent/US11900434B2/en
Application filed by LOreal SA filed Critical LOreal SA
Priority to US18/259,929 priority Critical patent/US20240070751A1/en
Priority to PCT/EP2021/086978 priority patent/WO2022144232A1/en
Priority to EP21844963.5A priority patent/EP4272165A1/en
Publication of FR3118521A1 publication Critical patent/FR3118521A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Abstract

Le procédé de détermination d’au moins une couleur compatible avec une tenue vestimentaire d’un utilisateur, comprend : - une étape d’importation (IMP) d’au moins une image de photographie (IM) comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur ; - une étape de segmentation (SEG) dans ladite au moins une image (IM), identifiant au moins une zone d’intérêt (S1, S2, S3) dans la tenue vestimentaire ; - une étape de détermination (DET) de la couleur de ladite au moins une zone d’intérêt (S1, S2, S3) ; e t- une étape de génération (GEN) de ladite au moins une couleur compatible avec la tenue vestimentaire de l’utilisateur, à partir de la couleur déterminée de ladite zone d’intérêt (S1, S2, S3) en fonction d’une base de données de couleurs compatibles (PAL1-PAL4) ou d’une règle calculatoire d’obtention de couleurs compatibles (RGL, 11-71). Figure pour l’abrégé : Fig 2The method for determining at least one color compatible with a user's clothing, comprises: - a step of importing (IMP) at least one photograph image (IM) comprising a representation of at least one part of the wearer's attire; - a segmentation step (SEG) in said at least one image (IM), identifying at least one area of interest (S1, S2, S3) in the clothing; - a step of determining (DET) the color of said at least one area of interest (S1, S2, S3); e t- a step of generating (GEN) said at least one color compatible with the clothing of the user, from the determined color of said zone of interest (S1, S2, S3) as a function of a database of compatible colors (PAL1-PAL4) or a calculation rule for obtaining compatible colors (RGL, 11-71). Figure for abstract: Fig 2

Description

Procédé de détermination d’au moins une couleur compatible avec une tenue vestimentaire d’un utilisateurMethod for determining at least one color compatible with a user's clothing

Des modes de mise en œuvre et de réalisation concernent une détermination d’une ou plusieurs couleur(s) compatible(s) avec une tenue vestimentaire d’un utilisateur, par exemple dans le cadre d’une assistance ou recommandation dans un choix d’un produit cosmétique de maquillage.Modes of implementation and embodiments relate to a determination of one or more color(s) compatible with a user's clothing, for example in the context of assistance or recommendation in a choice of a makeup cosmetic product.

On entend par couleur « compatible » avec la tenue vestimentaire, une couleur qui est dans un accord esthétique, qui présente une harmonie, avec les couleurs de la tenue vestimentaire.The term “compatible” color with the clothing is understood to mean a color which is in an aesthetic agreement, which presents a harmony, with the colors of the clothing.

Il existe des services, exercés par des personnes qualifiées en matière de compatibilité de couleurs (des « maquilleurs » ou « artistes-maquilleurs », usuellement appelées « make-up artists » en anglais), pour recommander des combinaisons de couleurs compatibles, c’est-à-dire des couleurs esthétiques entre elles selon des critères admis consensuellement, des critères subjectifs ou encore des critères relatifs à des phénomènes de mode.There are services, exercised by people qualified in color compatibility ("make-up artists" or "make-up artists", usually called "make-up artists"), to recommend compatible color combinations, i.e. that is to say aesthetic colors between them according to criteria accepted by consensus, subjective criteria or criteria relating to fashion phenomena.

En raison de l’aspect subjectif de ce type de recommandation, il est difficile de proposer des techniques automatisées pour déterminer des couleurs compatibles avec une tenue vestimentaire, sans que la tenue vestimentaire ne soit connue à l’avance.Because of the subjective aspect of this type of recommendation, it is difficult to offer automated techniques for determining colors compatible with an outfit, without the outfit being known in advance.

Or, il existe un besoin de fournir des recommandations de couleurs compatibles à des consommateurs de maquillage n’ayant pas la qualification des maquilleurs, en fonction d’une tenue donnée variant à chaque utilisation, et de manière immédiate (c’est-à-dire sans consulter sur rendez-vous une personne qualifié en la matière).However, there is a need to provide compatible color recommendations to make-up consumers who do not have make-up artist qualifications, as a function of a given outfit varying with each use, and immediately (that is to say say without consulting a person qualified in the matter by appointment).

Les recommandations de couleurs compatibles peuvent ainsi servir d’assistance aux consommateurs de maquillage pour effectuer un choix esthétique, ou bien éventuellement servir à obtenir un produit ayant cette couleur compatible avec la tenue vestimentaire.The recommendations of compatible colors can thus serve as an aid to make-up consumers to make an aesthetic choice, or even serve to obtain a product having this color compatible with the clothing.

En effet, des nouvelles méthodes « connectées » de consommation de produit cosmétiques émergent, et permettent par exemple d’obtenir de chez soi un produit cosmétique dont la recette est unique et fabriquée par un appareil commandé depuis un téléphone mobile multifonction. C’est notamment le cas du distributeur de produit cosmétique décrit dans la demande de brevet US déposée le 31 décembre 2020 sous le numéro 17/139,338, et dans la demande de brevet US déposée le 31 décembre 2020 sous le numéro 17/139,340.Indeed, new “connected” methods of consuming cosmetic products are emerging, and allow for example to obtain from home a cosmetic product whose recipe is unique and manufactured by a device controlled from a multifunction mobile phone. This is particularly the case of the cosmetic product dispenser described in the US patent application filed on December 31, 2020 under number 17/139,338, and in the US patent application filed on December 31, 2020 under number 17/139,340.

Ainsi, une détermination d’une couleur compatible avec une tenue donnée de chaque jour peut servir à générer le produit cosmétique ayant précisément cette couleur compatible, instantanément et quotidiennement.Thus, a determination of a color compatible with a given outfit each day can be used to generate the cosmetic product having precisely this compatible color, instantly and daily.

A cet égard, selon un aspect il est proposé un procédé de détermination automatique, au sein d’un système informatique, d’au moins une couleur d’un produit cosmétique, par exemple un produit cosmétique de maquillage, compatible avec une tenue vestimentaire d’un utilisateur, comprenant :
- une étape d’importation d’au moins une image de photographie comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur ;
- une étape de segmentation dans ladite au moins une image, identifiant au moins une zone d’intérêt dans la tenue vestimentaire ;
- une étape de détermination de la couleur de ladite au moins une zone d’intérêt ; et
- une étape de génération de ladite au moins une couleur compatible avec la tenue vestimentaire de l’utilisateur, à partir de la couleur déterminée de ladite zone d’intérêt en fonction d’une base de données de couleurs compatibles ou d’une règle calculatoire d’obtention de couleurs compatibles.
In this respect, according to one aspect, a method is proposed for the automatic determination, within a computer system, of at least one color of a cosmetic product, for example a cosmetic make-up product, compatible with an outfit of a user, comprising:
- a step of importing at least one photograph image comprising a representation of at least part of the user's clothing;
- a segmentation step in said at least one image, identifying at least one area of interest in the clothing;
- a step of determining the color of said at least one area of interest; and
- a step of generating said at least one color compatible with the clothing of the user, from the determined color of said zone of interest according to a database of compatible colors or a calculation rule obtaining compatible colors.

Le système informatique peut par exemple être un appareil informatique utilisateur seul, tel qu’un téléphone multifonction, une tablette tactile ou un ordinateur, ou bien un appareil informatique utilisateur et un serveur informatique externe aptes à communiquer et coopérer ensemble.The computer system can for example be a single user computer device, such as a multifunction telephone, a touch pad or a computer, or else a user computer device and an external computer server capable of communicating and cooperating together.

Le procédé selon cet aspect peut ainsi être mis en œuvre de manière automatisée, par exemple au moyen d’un appareil informatique utilisateur simple tel qu’un téléphone multifonction, pour déterminer des couleurs compatibles avec une tenue vestimentaire, sans que la tenue vestimentaire ne soit connue à l’avance.The method according to this aspect can thus be implemented in an automated manner, for example by means of a simple user computer device such as a multifunction telephone, to determine colors compatible with an outfit, without the outfit being known in advance.

Le procédé peut ainsi fournir à l’utilisateur une ou plusieurs couleurs pour son maquillage en fonction de ses vêtements, et éventuellement de se préférences.The process can thus provide the user with one or more colors for their make-up depending on their clothes, and possibly their preferences.

En outre, le procédé peut permet de recommander des achats de produits de maquillage complets grâce à l’association des couleurs, ou bien à commander une recette « idéale » pour chaque tenue vestimentaire, fabriquée par un dispositif personnel du type du distributeur de produit cosmétique connecté mentionné ci-avant.In addition, the method can make it possible to recommend purchases of complete make-up products thanks to the association of colors, or else to order an "ideal" recipe for each outfit, manufactured by a personal device of the type of the cosmetic product distributor connected mentioned above.

Selon un mode de mise en œuvre, l’étape de génération faite en fonction d’une base données de couleurs compatibles, comprend :
- une étape d’identification, parmi des banques de couleurs contenant un nombre fini de couleurs préalablement choisies pour être compatibles entre-elles, de la banque de couleurs contenant la plus proche couleur de la couleur de ladite zone d’intérêt déterminée ; et
- une étape de sélection de ladite au moins une couleur compatible avec la tenue vestimentaire parmi les couleurs de la banque identifiée.
According to one mode of implementation, the generation step made according to a database of compatible colors, comprises:
- a step of identifying, among color banks containing a finite number of colors chosen beforehand to be mutually compatible, the color bank containing the closest color to the color of said determined zone of interest; and
- A step of selecting said at least one color compatible with the clothing from among the colors of the identified bank.

Selon un mode de mise en œuvre, l’étape de génération faite en fonction d’une règle calculatoire d’obtention de couleurs compatibles, comprend :
- une étape de calcul comprenant une conversion de la couleur de ladite zone d’intérêt déterminée en un premier point d’un espace colorimétrique adapté, et une application d’au moins une transformation mathématique de ce point, ladite au moins une transformation mathématique étant préalablement choisie pour résulter à au moins un deuxième point dudit espace dont la couleur est compatible avec la couleur du premier point ; et
- une étape de sélection de ladite au moins une couleur compatible avec la tenue vestimentaire parmi la ou les couleur(s) dudit au moins un deuxième point.
According to one mode of implementation, the generation step made according to a calculation rule for obtaining compatible colors, comprises:
- a calculation step comprising a conversion of the color of said determined zone of interest into a first point of a suitable colorimetric space, and an application of at least one mathematical transformation of this point, said at least one mathematical transformation being previously chosen to result in at least a second point of said space whose color is compatible with the color of the first point; and
- a step of selecting said at least one color compatible with the clothing from among the color(s) of said at least one second point.

Selon un mode de mise en œuvre, l’étape de sélection comprend une sélection de ladite au moins une couleur compatible parmi les couleurs obtenues, appartenant une famille de couleurs sélectionnée par l’utilisateur.According to one mode of implementation, the selection step comprises a selection of said at least one compatible color from among the colors obtained, belonging to a family of colors selected by the user.

La famille de couleur peut correspondre à une préférence de l’utilisateur, ou bien à une famille de recettes possibles selon des cartouches chargées dans un dispositif personnel du type du distributeur de produit cosmétique connecté mentionné ci-avant.The color family may correspond to a user preference, or else to a family of possible recipes according to cartridges loaded in a personal device of the type of the connected cosmetic product dispenser mentioned above.

Selon un mode de mise en œuvre, l’étape de génération est mise en œuvre avec un modèle d’apprentissage machine.According to one mode of implementation, the generation step is implemented with a machine learning model.

Avantageusement, le modèle d’apprentissage machine est configuré pour adapter l’étape de sélection en fonction de choix antérieurs de l’utilisateur sur des couleurs compatibles déterminées par des mises en œuvre antérieures du procédé.Advantageously, the machine learning model is configured to adapt the selection step according to previous choices of the user on compatible colors determined by previous implementations of the method.

Le modèle d’apprentissage machine peut par exemple être du type réseau neuronal convolutif, et permet de bénéficier d’une précision extrêmement fine dans la génération de la couleur compatible avec la tenue vestimentaire, ce qui est particulièrement avantageux dans ce contexte d’harmonie des couleurs et d’esthétisme.The machine learning model can for example be of the convolutional neural network type, and makes it possible to benefit from extremely fine precision in the generation of the color compatible with the clothing, which is particularly advantageous in this context of harmony of colors and aesthetics.

Selon un mode de mise en œuvre, l’étape de segmentation est mise en œuvre automatiquement avec un modèle d’apprentissage machine.According to one mode of implementation, the segmentation step is implemented automatically with a machine learning model.

Le modèle d’apprentissage machine peut là encore être du type réseau neuronal convolutif, et permet d’une part d’éviter les erreurs de segmentation d’une partie non utile (par exemple une partie du corps ou de l’arrière-plan), et en outre de détecter des détails avantageux de la tenue vestimentaires trop délicats à obtenir par des techniques sans apprentissage machine, tels que des couleurs d’accessoire et de bijoux ou des petits motifs sur la tenue.The machine learning model can here again be of the convolutional neural network type, and on the one hand makes it possible to avoid segmentation errors of a non-useful part (for example a part of the body or of the background) , and in addition to detect advantageous details of the clothing outfit that are too delicate to obtain by techniques without machine learning, such as colors of accessories and jewels or small patterns on the outfit.

Selon un mode de mise en œuvre, l’étape de segmentation comprend une requête adressée à l’utilisateur pour identifier la position de ladite au moins une zone d’intérêt sur l’image.According to one mode of implementation, the segmentation step comprises a request addressed to the user to identify the position of said at least one area of interest on the image.

Selon un mode de mise en œuvre, l’étape de détermination comprend un traitement colorimétrique de ladite au moins une image avec un modèle d’apprentissage machine adapté pour corriger une déformation de la couleur de la représentation de ladite au moins une partie de la tenue vestimentaire de l’utilisateur due aux conditions d’éclairage de la photographie et/ou au dispositif ayant capturé la photographie.According to one mode of implementation, the step of determining comprises a colorimetric processing of said at least one image with a machine learning model adapted to correct a deformation of the color of the representation of said at least part of the outfit user's clothing due to the lighting conditions of the photograph and/or the device that captured the photograph.

Par exemple, le modèle d’apprentissage machine adapté pour corriger une déformation de la couleur peut être du type de celui décrit dans la demande de brevet Français déposée le 03 février 2021 sous le numéro FR2101039.For example, the machine learning model adapted to correct color distortion may be of the type described in the French patent application filed on February 3, 2021 under number FR2101039.

Selon un autre aspect, il est également proposé un système informatique, par exemple être un appareil informatique utilisateur seul ou bien un appareil informatique utilisateur et un serveur informatique externe aptes à communiquer et coopérer ensemble, destiné à déterminer d’au moins une couleur d’un produit cosmétique compatible avec une tenue vestimentaire d’un utilisateur, comprenant :
- des moyens de communication configurés pour importer au moins une image de photographie comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur ;
- des moyens de traitement configurée pour :
-- effectuer une segmentation dans ladite au moins une image de manière à identifier au moins une zone d’intérêt dans la tenue vestimentaire ;
-- déterminer la couleur de ladite au moins une zone d’intérêt ; et
-- générer ladite au moins une couleur compatible avec la tenue vestimentaire de l’utilisateur, à partir de la couleur déterminée de ladite zone d’intérêt en fonction d’une base de données de couleurs compatibles ou d’une règle calculatoire d’obtention de couleurs compatibles.
According to another aspect, a computer system is also proposed, for example being a single user computer device or else a user computer device and an external computer server capable of communicating and cooperating together, intended to determine at least one color of a cosmetic product compatible with a user's clothing, comprising:
- communication means configured to import at least one photograph image comprising a representation of at least part of the user's clothing;
- processing means configured for:
- perform a segmentation in said at least one image so as to identify at least one area of interest in the clothing;
- determining the color of said at least one area of interest; and
-- generating said at least one color compatible with the clothing of the user, from the determined color of said zone of interest according to a database of compatible colors or a calculation rule for obtaining compatible colors.

Selon un mode de réalisation, les moyens de traitement sont en outre configurés pour mettre en œuvre l’étapes de segmentation, l’étape de détermination et l’étape de génération du procédé tel que défini ci-avant.According to one embodiment, the processing means are further configured to implement the segmentation steps, the determination step and the generation step of the method as defined above.

Selon un mode de réalisation, le système comporte un appareil informatique utilisateur configuré pour capturer ou stocker en mémoire ladite au moins une image de photographie et pour communiquer aux moyens de traitement ladite au moins une image de photographie lors de ladite importation.According to one embodiment, the system includes a user computer device configured to capture or store said at least one photograph image in memory and to communicate said at least one photograph image to the processing means during said import.

Selon un autre aspect, il est également proposé un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé tel que défini ci-avant.According to another aspect, a computer program product is also proposed comprising instructions which, when the program is executed by a computer, lead the latter to implement the method as defined above.

Selon un autre aspect, il est également proposé un support lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé tel que défini ci-avant.According to another aspect, a computer-readable medium is also proposed comprising instructions which, when executed by a computer, lead the latter to implement the method as defined above.

D’autres avantages et caractéristiques de l’invention apparaîtront à l’examen de la description détaillée de modes de mise en œuvre et de réalisation, nullement limitatifs, et des dessins annexés, sur lesquels :Other advantages and characteristics of the invention will appear on examination of the detailed description of modes of implementation and embodiments, in no way limiting, and of the appended drawings, in which:

; ;

illustrent des modes de mise en œuvre et de réalisation de l’invention. illustrate embodiments and embodiments of the invention.

La illustre un exemple de mise en œuvre d’un procédé 100 de détermination d’au moins une couleur compatible CC avec une tenue vestimentaire d’un utilisateur.The illustrates an example of implementation of a method 100 for determining at least one color CC compatible with a user's clothing.

Le procédé 100 est par exemple destiné à être mis en œuvre par un dispositif informatique, tel qu’un téléphone multifonction (usuellement « smartphone »), une tablette tactile, ou un ordinateur. Eventuellement, le procédé 100 peut être mis en œuvre en collaboration avec un serveur externe dans une configuration où le serveur reçoit des données d’entrée (image IM), exécute au moins certaines des opérations des étapes du procédé 100 (parmi SEG, DET, GEN, SEL), et fournit des données de sortie (CC).The method 100 is for example intended to be implemented by a computer device, such as a multifunction telephone (usually “smartphone”), a touch pad, or a computer. Optionally, the method 100 can be implemented in collaboration with an external server in a configuration where the server receives input data (IM image), executes at least some of the operations of the steps of the method 100 (among SEG, DET, GEN, SEL), and provides output data (CC).

Ainsi, le procédé 100 peut être matérialisé, en pratique, par un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé 100.Thus, the method 100 can be materialized, in practice, by a computer program product comprising instructions which, when the program is executed by a computer, lead the latter to implement the method 100.

Le procédé 100 peut également être matérialiser, en pratique, sous la forme d’un support lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé 100.The method 100 can also be materialized, in practice, in the form of a computer-readable medium comprising instructions which, when executed by a computer, lead it to implement the method 100.

Le procédé 100 de détermination d’au moins une couleur compatible CC avec une tenue vestimentaire d’un utilisateur IM, peut par exemple être exploité comme un service offert à l’utilisateur pour lui fournir des recommandations de couleurs, par exemple de maquillage, compatibles d’un point vue esthétique en fonction d’une tenue donnée variant à chaque utilisation, et de manière immédiate (c’est-à-dire sans consulter sur rendez-vous un artiste-maquilleur qualifié en la matière).The method 100 for determining at least one color CC compatible with an outfit of a user IM, can for example be exploited as a service offered to the user to provide him with recommendations of colors, for example of make-up, compatible from an aesthetic point of view according to a given outfit varying with each use, and immediately (that is to say without consulting a qualified make-up artist by appointment).

Les recommandations de couleurs compatibles peuvent ainsi servir d’assistance aux consommateurs de maquillage n’ayant pas la qualification des maquilleurs, pour effectuer un choix esthétique, ou bien éventuellement servir à obtenir un ou des produit(s) du commerce ayant la ou les couleur(s) compatible(s) avec la tenue vestimentaire.The recommendations of compatible colors can thus be used to assist make-up consumers who do not have the qualification of make-up artists, to make an aesthetic choice, or possibly serve to obtain one or more commercial product(s) having the color or colors (s) compatible with the clothing.

En effet, le procédé 100 peut en outre être exploité pour recommander des achats de produits de maquillage complets grâce à l’association des couleurs, ou bien à commander une recette « idéale » pour chaque tenue vestimentaire, fabriquée par un dispositif personnel du type du distributeur de produit cosmétique connecté.Indeed, the method 100 can also be used to recommend purchases of complete make-up products thanks to the association of colors, or else to order an “ideal” recipe for each outfit, manufactured by a personal device of the type of connected cosmetic product distributor.

A cet égard, le procédé 100 comprend d’une part une étape d’importation IMP d’au moins une image de photographie IM comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur.In this regard, the method 100 comprises on the one hand a step of importing IMP of at least one photography image IM comprising a representation of at least part of the clothing of the user.

Par exemple l’importation IMP de l’image de photographie peut résulter d’une capture effectuée par l’utilisateur, en mode autoportrait ou éventuellement en photographiant son reflet dans un miroir.For example, the IMP import of the photography image can result from a capture made by the user, in self-portrait mode or possibly by photographing his reflection in a mirror.

Ensuite, le procédé 100 comprend une étape de segmentation SEG dans ladite au moins une image IM, de manière à identifier au moins une zone d’intérêt S1, S2, S3 dans la tenue vestimentaire.Then, the method 100 includes a segmentation step SEG in said at least one IM image, so as to identify at least one area of interest S1, S2, S3 in the clothing.

L’étape de segmentation SEG peut être mise en œuvre automatiquement par un algorithme de segmentation d’image par exemple adapté pour effectuer des reconnaissances d’objets, des définitions de contours, des reconnaissances de motifs, une suppression d’arrière-plan, ou d’autres traitements d’image adaptés et connus.The SEG segmentation step can be implemented automatically by an image segmentation algorithm, for example adapted to perform object recognitions, contour definitions, pattern recognitions, background suppression, or other suitable and known image processing.

En particulier, l’étape de segmentation SEG est adaptée pour identifier des éléments, appelés « zones d’intérêt », S1, S2, S3 de la tenue vestimentaire présente dans l’image IM.In particular, the SEG segmentation step is suitable for identifying elements, called “areas of interest”, S1, S2, S3 of the clothing present in the IM image.

L’étape de segmentation SEG est par exemple capable de détecter un élément S1 de la partie haute de la tenue vestimentaire, proche du visage, tel qu’un chemisier, un t-shirt ou un body.The segmentation step SEG is for example capable of detecting an element S1 of the upper part of the clothing, close to the face, such as a blouse, a t-shirt or a bodysuit.

L’étape de segmentation SEG est par exemple capable de détecter un élément S2 de la partie médiane de la tenue vestimentaire, au niveau du bassin, tel qu’un pantalon, une jupe ou une robe.The segmentation step SEG is for example capable of detecting an element S2 of the middle part of the clothing, at the level of the pelvis, such as pants, a skirt or a dress.

L’étape de segmentation SEG est par exemple capable de détecter un élément S3 de la partie basse de la tenue vestimentaire, proche des pieds, tel que des souliers, des chaussettes ou le bas d’un pantalon, d’une jupe ou d’une robe.The segmentation step SEG is for example capable of detecting an element S3 of the lower part of the clothing, close to the feet, such as shoes, socks or the bottom of trousers, a skirt or a dress.

Bien entendu, les éléments S1, S2, S3 identifiés dans l’image dépendent de la prise de vue de la photo, et par exemple des souliers peuvent ne pas figurer pas dans l’image IM.Of course, the elements S1, S2, S3 identified in the image depend on the shooting of the photo, and for example shoes may not appear in the IM image.

Dans l’exemple illustré par la , la zone d’intérêt médiane S2 et la zone d’intérêt basse S3 correspondent toutes les deux à une partie d’une jupe longue. Dans une telle situation, la segmentation SEG est par exemple configuré pour identifier et isoler un motif et retirer la couleur de fond de la jupe dans la zone d’intérêt S2, et pour identifier et isoler la couleur de fond de la jupe et retirer le motif dans la zone d’intérêt S3.In the example illustrated by the , the middle zone of interest S2 and the lower zone of interest S3 both correspond to part of a long skirt. In such a situation, the segmentation SEG is for example configured to identify and isolate a pattern and remove the background color from the skirt in the area of interest S2, and to identify and isolate the background color from the skirt and remove the pattern in the area of interest S3.

Par ailleurs, l’étape de segmentation SEG peut être mise en œuvre automatiquement avec un modèle d’apprentissage machine conventionnel, par exemple du type réseau neuronal convolutif. Cela permet d’une part d’éviter les erreurs de segmentation d’une partie non utile (par exemple une partie du corps ou de l’arrière-plan), et en outre de détecter des détails avantageux de la tenue vestimentaires trop délicats à obtenir par des techniques sans apprentissage machine, tels que des couleurs d’accessoire et de bijoux ou des petits motifs sur la tenue.Furthermore, the SEG segmentation step can be implemented automatically with a conventional machine learning model, for example of the convolutional neural network type. This makes it possible on the one hand to avoid segmentation errors of a non-useful part (for example a part of the body or of the background), and on the other hand to detect advantageous details of the clothing which are too delicate to obtain by techniques without machine learning, such as accessory and jewelry colors or small patterns on the outfit.

En alternative, comme il sera décrit ci-après en relation avec la , l’étape de segmentation SEG peut être effectuer « manuellement » par l’utilisateur, par exemple au moyen d’une requête adressée à l’utilisateur pour identifier la position de ladite au moins une zone d’intérêt sur l’image IM.Alternatively, as will be described below in connection with the , the segmentation step SEG can be performed “manually” by the user, for example by means of a request addressed to the user to identify the position of said at least one zone of interest on the image IM.

A partie des zones d’intérêt S1, S2, S3 identifiés lors de l’étape de segmentation SEG, le procédé 100 comprend une étape de détermination DET de la couleur des zones d’intérêt S1, S2, S3.From the areas of interest S1, S2, S3 identified during the segmentation step SEG, the method 100 includes a step DET for determining the color of the areas of interest S1, S2, S3.

La détermination de la couleur DET peut par exemple extraire la couleur dominante de chaque zone d’intérêt S1, S2, S3, ou éventuellement faire un moyennage des couleurs présentes dans chaque zone d’intérêt S1, S2, S3.The determination of the color DET can for example extract the dominant color from each zone of interest S1, S2, S3, or possibly make an average of the colors present in each zone of interest S1, S2, S3.

Avantageusement, l’étape de détermination DET comprend un traitement colorimétrique l’image IM, adapté pour corriger une déformation de la couleur dans l’image causée par les conditions d’éclairage de la photographie et/ou par le dispositif ayant capturé la photographie.Advantageously, the DET determination step includes colorimetric processing of the IM image, suitable for correcting color distortion in the image caused by the lighting conditions of the photograph and/or by the device having captured the photograph.

En effet, la couleur peut être déformée selon la nature du dispositif ayant capturé la photographie. Il existe des procédés pour compenser la déformation relative à un matériel donnée.Indeed, the color may be distorted depending on the nature of the device that captured the photograph. There are methods to compensate for the deformation relative to a given material.

D’autre part, les conditions d’éclairage peuvent également modifier la perception d’une couleur, typiquement la couleur aura une température chromatique plus froide si les conditions d’éclairage, c’est-à-dire les sources de lumière de la scène photographiée, sont froides ; la couleur aura une température chromatique plus chaude si les conditions d’éclairage sont chaudes.On the other hand, lighting conditions can also alter the perception of a color, typically the color will have a colder color temperature if the lighting conditions, i.e. the light sources in the scene photographed, are cold; the color will have a warmer color temperature if the lighting conditions are warm.

Un modèle d’apprentissage machine peut avantageusement être prévu pour corriger une déformation de la couleur, par exemple en tenant compte de la position géographique de la prise de vue (intérieur ou extérieur), l’horodatage de la prise de vue (jour ou nuit), la météo au moment de la prise de vue (soleil, nuages, pluie, neige). Les paramètres permettant d’estimer la correction à effectuer peuvent être plus complexes que les éléments de base présentés ci-dessus.A machine learning model can advantageously be provided to correct color distortion, for example by taking into account the geographical position of the shot (indoor or outdoor), the timestamp of the shot (day or night ), the weather at the time of the shot (sun, clouds, rain, snow). The parameters used to estimate the correction to be made can be more complex than the basic elements presented above.

Le modèle d’apprentissage machine peut par exemple être du type réseau neuronal convolutif. L’utilisation d’un modèle d’apprentissage machine permet de bénéficier d’une précision extrêmement fine dans la détermination DET de la couleur des zones d’intérêt S1, S2, S3 de la tenue vestimentaire de l’utilisateur, ce qui est particulièrement avantageux dans ce contexte d’harmonie des couleurs et d’esthétisme.The machine learning model can for example be of the convolutional neural network type. The use of a machine learning model makes it possible to benefit from an extremely fine precision in the DET determination of the color of the areas of interest S1, S2, S3 of the user's clothing, which is particularly advantageous in this context of color harmony and aesthetics.

Après la détermination DET des couleurs « réelles » des zones d’intérêt S1, S2, S3, le procédé 100 comprend une étape de génération GEN d’au moins une couleur compatible CC avec la tenue vestimentaire de l’utilisateur.After the determination DET of the “real” colors of the areas of interest S1, S2, S3, the method 100 comprises a generation step GEN of at least one color CC compatible with the clothing of the user.

La génération GEN est faite à partir de la ou des couleur(s) « réelle(s) » déterminée dans l’étape de détermination DET.The generation GEN is made from the “real” color(s) determined in the determination step DET.

A cet égard, deux approches sont possibles ID-SEL, RGL-SEL.In this regard, two approaches are possible ID-SEL, RGL-SEL.

La première approche RGL-SEL peut utiliser « les sept règles de la science des couleurs et de l’harmonie » pour cibler la formation d’un certain type de relation entre les couleurs de la tenue vestimentaire et les couleurs compatibles.The first RGL-SEL approach can use "the seven rules of the science of color and harmony" to target the formation of a certain type of relationship between the colors of clothing and compatible colors.

Dans cette première approche RGL-SEL, l’étape de génération GEN est faite en fonction d’une règle calculatoire RGL d’obtention de couleurs compatibles, et comprend une étape de calcul RGL suivie d’une étape de sélection SEL.In this first RGL-SEL approach, the GEN generation step is made according to an RGL calculation rule for obtaining compatible colors, and includes an RGL calculation step followed by an SEL selection step.

L’étape de calcul RGL comprend une conversion de la couleur de la zone d’intérêt déterminée en un premier point « dep » d’un espace colorimétrique adapté, par exemple l’espace « HSV », et une application d’au moins une transformation mathématique 11, 21, 31, 41, 51, 61, 71 de ce point « de départ » dep.The RGL calculation step comprises a conversion of the color of the area of interest determined into a first point "dep" of a suitable colorimetric space, for example the "HSV" space, and an application of at least one mathematical transformation 11, 21, 31, 41, 51, 61, 71 of this “starting” point dep.

La transformation mathématique est préalablement choisie parmi les sept règles de la science et de l’harmonie, pour résulter à au moins un deuxième point dudit espace dont la couleur est compatible avec la couleur du premier point dep.The mathematical transformation is previously chosen from among the seven rules of science and harmony, to result in at least a second point of said space whose color is compatible with the color of the first point dep.

On définit les sept règles de la science et de l’harmonie, dans l’espace colorimétrique « HSV » ou « Teinte-Saturation-Valeur » bien adapté à la caractérisation des couleurs par l’être humain, de la manière suivante :We define the seven rules of science and harmony, in the “HSV” or “Hue-Saturation-Value” colorimetric space well suited to the characterization of colors by humans, as follows:

La première règle 11 est une transformation monochromatique, c’est-à-dire une transformation de différentes saturations et valeurs de la même teinte que la couleur de départ dep.The first rule 11 is a monochromatic transformation, that is, a transformation of different saturations and values of the same hue as the starting color dep.

La deuxième règle 21 est une transformation complémentaire à la couleur de départ dep, c’est-à-dire une projection vers la teinte diamétralement opposée à la teinte de la couleur de départ dans une représentation des teintes dans un disque de révolution.The second rule 21 is a complementary transformation to the starting color dep, i.e. a projection towards the hue diametrically opposite to the hue of the starting color in a representation of the hues in a disk of revolution.

La troisième règle 31 est une transformation complémentaire adjacentes, c’est-à-dire une projection vers les teintes voisines de la teinte complémentaires à la couleur de départ dep.The third rule 31 is an adjacent complementary transformation, i.e. a projection towards the neighboring hues of the hue complementary to the starting color dep.

La quatrième règle 41 est une transformation en couleurs adjacentes, c’est-à-dire une projection des teintes voisines de la teinte de la couleur de départ dep.The fourth rule 41 is a transformation into adjacent colors, that is to say a projection of hues close to the hue of the starting color dep.

La cinquième règle 51 est une transformation quadratique, c’est-à-dire une projection de trois teintes formant, avec la teinte de départ dep, un carré centré sur le disque de révolution des teintes.The fifth rule 51 is a quadratic transformation, that is to say a projection of three hues forming, with the starting hue dep, a square centered on the disk of revolution of the hues.

La sixième règle 61 est une transformation triadique, c’est-à-dire une projection de deux teintes formant, avec la teinte de départ dep, un triangle isocèle centré sur le disque de révolution des teintes.The sixth rule 61 is a triadic transformation, that is to say a projection of two hues forming, with the starting hue dep, an isosceles triangle centered on the disk of revolution of the hues.

La septième règle 71 est une transformation rectangulaire, c’est-à-dire une projection de trois teintes formant, avec la teinte de départ dep, un rectangle centré sur le disque de révolution des teintes.The seventh rule 71 is a rectangular transformation, that is to say a projection of three hues forming, with the starting hue dep, a rectangle centered on the disk of revolution of the hues.

Avantageusement, dans toutes les règles 21-71 exceptée la première règle monochromatique 11, on conservera la saturation et la valeur de la couleur de départ dep, dans les couleurs obtenues par les différentes transformations 21-71.Advantageously, in all the rules 21-71 except the first monochromatic rule 11, the saturation and the value of the starting color dep will be kept in the colors obtained by the various transformations 21-71.

A partir des couleurs obtenues par les différentes transformations 11-71, la génération GEN de la couleur compatible CC comprend une sélection SEL d’au moins une couleur compatible CC (j.i-k) parmi la ou les couleur(s) résultante(s).From the colors obtained by the various transformations 11-71, the generation GEN of the CC-compatible color comprises a selection SEL of at least one CC-compatible color (j.i-k) from among the resulting color(s) .

Par exemple, les couleurs résultantes peuvent être sélectionné selon leurs appartenance à une famille de couleurs, choisie par l’utilisateur. Par exemple, dans le cadre d’un maquillage du type fond de teint ou rouge à lèvre, les familles de couleurs peuvent être « Les Rouges », « Les Oranges », « Les Fuchsias » ou « Les Nus ».For example, the resulting colors can be selected according to their belonging to a color family, chosen by the user. For example, in the context of make-up of the foundation or lipstick type, the color families can be “Les Rouges”, “Les Oranges”, “Les Fuchsias” or “Les Nus”.

La famille de couleur peut correspondre à une préférence de l’utilisateur PREF ( ), ou bien à une famille de recettes possibles selon des cartouches chargées dans un dispositif personnel du type distributeur de produit cosmétique connecté.The color family can correspond to a user preference PREF ( ), or else to a family of possible recipes according to cartridges loaded in a personal device of the connected cosmetic product dispenser type.

Par ailleurs, l’étape de génération GEN peut être mise en œuvre avec un modèle d’apprentissage machine adapté et entrainé pour sélectionner les couleurs résultants des sept règles de la science des couleurs et de l’harmonie les mieux adapté à un type de maquillage donné.Furthermore, the GEN generation step can be implemented with an adapted and trained machine learning model to select the colors resulting from the seven rules of color science and harmony best suited to a type of makeup. given.

En outre, le modèle d’apprentissage machine est avantageusement configuré pour adapter l’étape de sélection SEL en fonction de choix antérieurs de l’utilisateur sur des couleurs compatibles déterminées par des mises en œuvre antérieures du procédé 100.Further, the machine learning model is advantageously configured to adapt the SEL selection step based on prior user choices on compatible colors determined by prior implementations of method 100.

Là encore, le modèle d’apprentissage machine peut par exemple être du type réseau neuronal convolutif. Là encore, l’utilisation d’un modèle d’apprentissage machine permet de bénéficier d’une précision extrêmement fine dans la génération de la couleur compatible CC avec la tenue vestimentaire, ce qui est particulièrement avantageux dans ce contexte d’harmonie des couleurs et d’esthétisme.Here again, the machine learning model can for example be of the convolutional neural network type. Again, the use of a machine learning model allows extremely fine precision in generating the DC-compatible color with the attire, which is particularly advantageous in this context of color harmony and of aesthetics.

La deuxième approche ID-SEL peut utiliser une palette prédéterminée sur la base d’une recommandation d’un maquilleur en vue d’un style saisonnier en combinaison avec la couleur de la tenue vestimentaires.The second ID-SEL approach can use a predetermined palette based on a makeup artist's recommendation for a seasonal style in combination with the color of the attire.

On se réfère à cet égard à la .We refer in this respect to the .

La illustre le procédé 100 dans le cadre de la deuxième approche RGL-SEL de l’étape de génération GEN des couleurs compatibles CC.The illustrates the method 100 within the framework of the second RGL-SEL approach of the generation step GEN of the compatible colors CC.

Dans cette deuxième approche RGL-SEL, l’étape de génération GEN est faite en fonction d’une base données de couleurs compatibles PALi, 1≤i≤4, comprend une étape d’identification ID suivie d’une étape de sélection SEL.In this second RGL-SEL approach, the GEN generation step is made according to a PALi compatible color database, 1≤i≤4, includes an ID identification step followed by an SEL selection step.

Des banques, ou « palettes », de couleurs PAL1, PAL2, PAL3, PAL4, contenant chacune un nombre fini de couleurs sont préalablement définies par un artiste maquilleur de manière à contenir des couleurs esthétiquement compatibles entre-elles.Banks, or “palettes”, of colors PAL1, PAL2, PAL3, PAL4, each containing a finite number of colors are defined beforehand by a make-up artist so as to contain colors that are aesthetically compatible with one another.

Par exemple, chaque palette PALi, 1≤i≤4, peut correspondre à un style saisonnier, « hiver », « printemps », « été », « automne ».For example, each PALi palette, 1≤i≤4, can correspond to a seasonal style, "winter", "spring", "summer", "autumn".

L’étape d’identification ID ( ) comprend une identification, parmi les banques de couleurs PAL1, PAL2, PAL3, PAL4, de la banque de couleurs PALi, 1≤i≤4, contenant la plus proche couleur de la couleur de ladite zone d’intérêt déterminée S1, S2, S3.The identification step ID ( ) comprises an identification, among the color banks PAL1, PAL2, PAL3, PAL4, of the color bank PALi, 1≤i≤4, containing the closest color to the color of said determined area of interest S1, S2, S3.

A partir des couleurs obtenues par les différentes transformations 11-71, la génération GEN de la couleur compatible CC comprend une sélection SEL d’au moins une couleur compatible CC (j.i-k, par exemple j=3, i=2, k=1 ou 2 ou 3) parmi les couleurs de la ou les banque(s) identifiée(s) PALi, 1≤i≤4.From the colors obtained by the various transformations 11-71, the generation GEN of the CC-compatible color comprises a selection SEL of at least one CC-compatible color (j.i-k, for example j=3, i=2, k= 1 or 2 or 3) among the colors of the bank(s) identified PALi, 1≤i≤4.

Par exemple, les couleurs résultantes peuvent être sélectionnées selon leurs appartenance à une famille de couleurs FAMj, 1≤j≤4, choisie par l’utilisateur PREF. Par exemple, dans le cadre d’un maquillage du type fond de teint ou rouge à lèvre, les familles de couleurs peuvent être « Les Rouges », « Les Oranges », « Les Fuchsias » ou « Les Nus ».For example, the resulting colors can be selected according to their belonging to a family of colors FAMj, 1≤j≤4, chosen by the user PREF. For example, in the context of make-up of the foundation or lipstick type, the color families can be “Les Rouges”, “Les Oranges”, “Les Fuchsias” or “Les Nus”.

La famille de couleur FAMj, 1≤j≤4, peut correspondre à une préférence de l’utilisateur PREF, ou bien à une famille de recettes possibles selon des cartouches chargées dans un dispositif personnel du type distributeur de produit cosmétique connecté.The color family FAMj, 1≤j≤4, can correspond to a preference of the user PREF, or else to a family of possible recipes according to cartridges loaded in a personal device of the connected cosmetic product dispenser type.

Ainsi, une couleur compatible CC peut être repérée par un couple j.i obtenu dans un tableau à une ligne « i » correspondant à la palettes identifiée PALi, 1≤i≤4, et à une colonne « j » correspondant à la famille choisie FAMj, 1≤j≤4. Plusieurs couleurs compatibles CC peuvent être sélectionnées pour un même couple j.i, chacune étant alors repérée par un indice supplémentaire « k ». Par exemple les trois couleurs compatibles 3.2-1, 3.2-2, 3.2-3, c’est à dire j=3, i=2, k=1 ou 2 ou 3, sont obtenues de la famille FAM3 « Les Fuchsias » dans la palette PAL2 « printemps ».Thus, a CC-compatible color can be identified by a couple j.i obtained in a table with a line "i" corresponding to the palette identified PALi, 1≤i≤4, and a column "j" corresponding to the chosen family FAMj, 1≤d≤4. Several CC-compatible colors can be selected for the same pair j.i, each being then identified by an additional index “k”. For example the three compatible colors 3.2-1, 3.2-2, 3.2-3, i.e. j=3, i=2, k=1 or 2 or 3, are obtained from the FAM3 family "Les Fuchsias" in the PAL2 "Spring" palette.

Lorsque plusieurs palettes PALi, 1≤i≤4, sont identifiées pour respectivement plusieurs zones d’intérêt S1, S2, S3, alors une priorité est avantageusement donnée à la zone d’intérêt S1 la plus proche du visage de l’utilisateur sur l’image IM.When several palettes PALi, 1≤i≤4, are identified for respectively several areas of interest S1, S2, S3, then priority is advantageously given to the area of interest S1 closest to the face of the user on the IM picture.

En conséquence, pour une famille choisie FAMj, j=J, si une seule palette PALi, i=I, est identifiée, alors l’étape de sélection SEL fournit K couleurs compatibles J.I-k, 1≤k≤K, par exemple K=3.Consequently, for a chosen family FAMj, j=J, if a single palette PALi, i=I, is identified, then the selection step SEL provides K compatible colors J.I-k, 1≤k≤K, for example K =3.

Pour une famille choisie FAMj, j=J, si deux palettes PALi, i=I1 ou I2, sont identifiées, alors l’étape de sélection SEL fournit K1 couleurs compatibles J1.I1-k, 1≤k≤K1 ; et K2 couleurs compatibles J1.I2-k, 1≤k≤K2, avec K1+K2=K et K2≤K1, par exemple K1=2 et K2=1.For a chosen family FAMj, j=J, if two palettes PALi, i=I1 or I2, are identified, then the selection step SEL provides K1 compatible colors J1.I1-k, 1≤k≤K1; and K2 compatible colors J1.I2-k, 1≤k≤K2, with K1+K2=K and K2≤K1, for example K1=2 and K2=1.

Pour une famille choisie FAMj, j=J, si trois palettes PALi, i=I1 ou I2 ou I3, sont identifiées, alors l’étape de sélection SEL fournit K1 couleurs compatibles J1.I1-k, 1≤k≤K1 ; K2 couleurs compatibles J1.I2-k, 1≤k≤K2 ; et K3 couleurs compatibles J1.I3-k, 1≤k≤K3, avec K1+K2+K3=K et K3≤K2≤K1, par exemple K1=1, K2=1 et K3=1.For a chosen family FAMj, j=J, if three palettes PALi, i=I1 or I2 or I3, are identified, then the selection step SEL provides K1 compatible colors J1.I1-k, 1≤k≤K1; K2 compatible colors J1.I2-k, 1≤k≤K2; and K3 compatible colors J1.I3-k, 1≤k≤K3, with K1+K2+K3=K and K3≤K2≤K1, for example K1=1, K2=1 and K3=1.

Par ailleurs, l’étape de génération peut être mise en œuvre avec un modèle d’apprentissage machine adapté et entrainé pour générer les couleurs appartenant aux mêmes palettes PALi, et les mieux adapté à un type de maquillage donné.In addition, the generation step can be implemented with a machine learning model adapted and trained to generate the colors belonging to the same PALi palettes, and the best suited to a given type of makeup.

En outre, le modèle d’apprentissage machine est avantageusement configuré pour adapter l’étape de sélection SEL en fonction de choix antérieurs de l’utilisateur sur des couleurs compatibles déterminées par des mises en œuvre antérieures du procédé 100.Further, the machine learning model is advantageously configured to adapt the SEL selection step based on prior user choices on compatible colors determined by prior implementations of method 100.

Là encore, le modèle d’apprentissage machine peut par exemple être du type réseau neuronal convolutif. Là encore, l’utilisation d’un modèle d’apprentissage machine permet de bénéficier d’une précision extrêmement fine dans la génération de la couleur compatible CC avec la tenue vestimentaire, ce qui est particulièrement avantageux dans ce contexte d’harmonie des couleurs et d’esthétisme.Here again, the machine learning model can for example be of the convolutional neural network type. Again, the use of a machine learning model allows extremely fine precision in generating the DC-compatible color with the attire, which is particularly advantageous in this context of color harmony and of aesthetics.

Par ailleurs, en alternative à la segmentation SEG automatisée décrite en relation avec la , la illustre un exemple de segmentation SEG faite « manuellement » par l’utilisateur.Furthermore, as an alternative to the automated SEG segmentation described in relation to the , the illustrates an example of SEG segmentation done “manually” by the user.

En effet, l’utilisateur peut positionner des sondes S1, S2, S3 sur les zones d’intérêt de son choix dans la tenue vestimentaire, par exemple grâce à un écran tactile affichant l’image IM. Du point de vue du procédé 100, par exemple exécuté épar un téléphone multifonction SMPH, l’étape de segmentation SEG comprend une requête adressée à l’utilisateur pour identifier la position de ladite au moins une zone d’intérêt S1, S2, S3 sur l’image IM.Indeed, the user can position probes S1, S2, S3 on the areas of interest of his choice in the clothing, for example thanks to a touch screen displaying the IM image. From the point of view of the method 100, for example executed by a multifunction telephone SMPH, the segmentation step SEG comprises a request addressed to the user to identify the position of said at least one area of interest S1, S2, S3 on the IM picture.

Ainsi, la illustre un système informatique SYS destiné à déterminer au moins une couleur compatible avec une tenue vestimentaire d’un utilisateur, adapté pour mettre en œuvre le procédé 100 décrit ci-avant.Thus, the illustrates a computer system SYS intended to determine at least one color compatible with a user's clothing, adapted to implement the method 100 described above.

Le système SYS inclut un appareil informatique utilisateur, par exemple le téléphone multifonction SMPH, et éventuellement un serveur informatique externe.The system SYS includes a user computer device, for example the multifunction telephone SMPH, and possibly an external computer server.

L’appareil informatique utilisateur SMPH comporte des moyens de communication configurés pour effectuer l’étape d’importation IMP du procédé 100, par exemple par l’intermédiaire du réseau internet et avec des moyens de communication du serveur informatique.The user computer device SMPH includes communication means configured to perform the import step IMP of the method 100, for example via the internet network and with the communication means of the computer server.

Par exemple, l’appareil informatique utilisateur SMPH comporte typiquement un capteur photographique CAM configuré pour capturer l’image de photographie IM, et/ou typiquement une mémoire adaptée pour stocker ladite au moins une image de photographie IM.For example, the user computing device SMPH typically comprises a photographic sensor CAM configured to capture the IM photography image, and/or typically a memory suitable for storing said at least one IM photography image.

Le serveur informatique externe, ou en alternative l’appareil informatique utilisateur SMPH, comporte des moyens de traitement configurée pour effectuer l’étape de segmentation SEG du procédé 100, l’étape de détermination DET du procédé 100, et l’étape de génération GEN des couleurs compatibles CC.The external computer server, or alternatively the user computer device SMPH, comprises processing means configured to perform the segmentation step SEG of the method 100, the determination step DET of the method 100, and the generation step GEN CC compatible colors.

Lorsque les moyens de traitement sont tous incorporés à l’appareil informatique utilisateur SMPH, l’étape d’importation correspond à un transfert interne des données de l’image IM, depuis le capteur photographique CAM ou depuis la mémoire, vers les moyens de traitement.When the processing means are all incorporated in the user computing device SMPH, the import step corresponds to an internal transfer of the data of the image IM, from the photographic sensor CAM or from the memory, to the processing means .

En d’autres termes, il a été décrit un procédé 100 et un système correspondant qui, à l’aide de l’appareil photo CAM d’un téléphone SMPH, extrait la couleur de certains endroits (« zones d’intérêt ») de la tenue vestimentaire, par exemple un chemisier, un pantalon ou des chaussures.In other words, there has been described a method 100 and a corresponding system which, using the CAM camera of an SMPH telephone, extracts the color of certain places ("areas of interest") from clothing, such as a blouse, pants or shoes.

Avec cet ensemble de couleurs, le procédé 100 classe ensuite chacune d’entre elles dans un « univers » ou une « saison » spécifique (été, hiver, printemps, automne) en trouvant la correspondance de couleur la plus proche dans les banques de couleurs préexistante PAL1-PAL4 et leurs univers de couleurs correspondants.With this set of colors, Process 100 then classifies each of them into a specific "universe" or "season" (Summer, Winter, Spring, Fall) by finding the closest color match in the color banks. pre-existing PAL1-PAL4 and their corresponding color worlds.

En outre, une « sous-sélection » est faite dans une famille de couleurs FAMj souhaitée PREF par l’utilisateur pour additionnellement préciser les teintes des couleurs.In addition, a "sub-selection" is made in a family of colors FAMj desired PREF by the user to additionally specify the hues of the colors.

Les produits de maquillage peuvent ensuite être recommandés dans le même univers PALi et éventuellement la même famille FAMj de couleurs, en donnant la priorité aux couleurs les plus proches du visage, afin d’optimiser la coordination du maquillage de l’utilisateur avec sa tenue.Make-up products can then be recommended in the same PALi universe and possibly the same FAMj family of colors, giving priority to the colors closest to the face, in order to optimize the coordination of the user's make-up with his outfit.

Le choix de la famille FAMj peut correspondre aux couleurs qui peuvent être réaliser par un distributeur de maquillage connecté, sur la base de l’ensemble des cartouches installées dans le distributeur, également sur la base du nombre et du type de cartouches du dispositif de distribution, et sur la base du nombre et de la priorité des sondes que l’utilisateur a décidé d’utiliser. L’utilisateur peut également choisir une autre famille FAMj pour parcourir les options qui seraient disponibles avec d’autres ensembles de cartouches. Cela peut inciter l’utilisateur à acheter un nouveau jeu de cartouches.The choice of the FAMj family can correspond to the colors that can be produced by a connected make-up dispenser, based on the set of cartridges installed in the dispenser, also on the basis of the number and type of cartridges of the dispensing device , and based on the number and priority of probes the user has decided to use. The user can also choose another FAMj family to browse the options that would be available with other cartridge sets. This may prompt the user to buy a new set of cartridges.

En outre, l’utilisation de l’intelligence artificielle permet d’offrir à l’utilisateur un nouveau type de service de recommandation de teintes. En adoptant une approche plus globale en incluant d’autres éléments de leurs tenues vestimentaires quotidiennes, comme leurs vêtements, leurs chaussures et leurs accessoires, les recommandations peuvent être adaptées fréquemment en fonction des préférences de l’utilisateur.In addition, the use of artificial intelligence makes it possible to offer the user a new type of color recommendation service. By taking a more holistic approach by including other elements of their daily attire, such as their clothes, shoes, and accessories, recommendations can be adapted frequently based on user preferences.

Claims (14)

Procédé de détermination automatique, au sein d’un système informatique, d’au moins une couleur d’un produit cosmétique compatible avec une tenue vestimentaire d’un utilisateur, comprenant :
- une étape d’importation (IMP) d’au moins une image de photographie (IM) comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur ;
- une étape de segmentation (SEG) dans ladite au moins une image (IM), identifiant au moins une zone d’intérêt (S1, S2, S3) dans la tenue vestimentaire ;
- une étape de détermination (DET) de la couleur de ladite au moins une zone d’intérêt (S1, S2, S3) ; et
- une étape de génération (GEN) de ladite au moins une couleur compatible avec la tenue vestimentaire de l’utilisateur, à partir de la couleur déterminée de ladite zone d’intérêt (S1, S2, S3) en fonction d’une base de données de couleurs compatibles (PAL1-PAL4) ou d’une règle calculatoire d’obtention de couleurs compatibles (RGL, 11-71).
Method for automatically determining, within a computer system, at least one color of a cosmetic product compatible with a user's clothing, comprising:
- a step of importing (IMP) at least one photograph image (IM) comprising a representation of at least part of the user's clothing;
- a segmentation step (SEG) in said at least one image (IM), identifying at least one area of interest (S1, S2, S3) in the clothing;
- a step (DET) for determining the color of said at least one area of interest (S1, S2, S3); and
- a generation step (GEN) of said at least one color compatible with the clothing of the user, from the determined color of said zone of interest (S1, S2, S3) according to a base of compatible color data (PAL1-PAL4) or a calculation rule for obtaining compatible colors (RGL, 11-71).
Procédé selon la revendication 1, dans lequel l’étape de génération (GEN) faite en fonction d’une base données de couleurs compatibles (PAL1-PAL4), comprend :
- une étape d’identification (ID), parmi des banques de couleurs (PAL1-PAL4) contenant un nombre fini de couleurs préalablement choisies pour être compatibles entre-elles, de la banque de couleurs (PAL1) contenant la plus proche couleur de la couleur de ladite zone d’intérêt déterminée (S1, S2, S3) ; et
- une étape de sélection (SEL) de ladite au moins une couleur (c3.1, c3.2, c3.3) compatible avec la tenue vestimentaire parmi les couleurs de la banque identifiée (PAL1).
Method according to claim 1, in which the generation step (GEN) made according to a database of compatible colors (PAL1-PAL4), comprises:
- an identification step (ID), among color banks (PAL1-PAL4) containing a finite number of colors chosen beforehand to be mutually compatible, of the color bank (PAL1) containing the closest color of the color of said determined area of interest (S1, S2, S3); and
- a selection step (SEL) of said at least one color (c3.1, c3.2, c3.3) compatible with the clothing from among the colors of the identified bank (PAL1).
Procédé selon la revendication 1, dans lequel l’étape de génération (GEN) faite en fonction d’une règle calculatoire d’obtention de couleurs compatibles (RGL, 11-71), comprend :
- une étape de calcul (RGL) comprenant une conversion de la couleur de ladite zone d’intérêt déterminée (S1, S2, S3) en un premier point d’un espace colorimétrique adapté, et une application d’au moins une transformation mathématique (11-71) de ce point, ladite au moins une transformation mathématique (11-71) étant préalablement choisie pour résulter à au moins un deuxième point dudit espace dont la couleur est compatible avec la couleur du premier point ; et
- une étape de sélection (SEL) de ladite au moins une couleur (c3.1, c3.2, c3.3) compatible avec la tenue vestimentaire parmi la ou les couleur(s) dudit au moins un deuxième point.
Method according to claim 1, in which the generation step (GEN) made according to a calculation rule for obtaining compatible colors (RGL, 11-71), comprises:
- a calculation step (RGL) comprising a conversion of the color of said determined zone of interest (S1, S2, S3) into a first point of a suitable colorimetric space, and an application of at least one mathematical transformation ( 11-71) of this point, said at least one mathematical transformation (11-71) being chosen beforehand to result in at least one second point of said space whose color is compatible with the color of the first point; and
- a selection step (SEL) of said at least one color (c3.1, c3.2, c3.3) compatible with the clothing from among the color(s) of said at least one second point.
Procédé selon l’une des revendications 2 ou 3, dans lequel l’étape de sélection (SEL) comprend une sélection de ladite au moins une couleur compatible parmi les couleurs obtenues, appartenant une famille de couleurs (FAMa-FAMd) sélectionnée par l’utilisateur.Method according to one of Claims 2 or 3, in which the selection step (SEL) comprises a selection of the said at least one compatible color from among the colors obtained, belonging to a family of colors (FAMa-FAMd) selected by the user. Procédé selon l’une des revendications précédentes, dans lequel l’étape de génération (GEN) est mise en œuvre avec un modèle d’apprentissage machine (AI_GEN).Method according to one of the preceding claims, in which the generation step (GEN) is implemented with a machine learning model (AI_GEN). Procédé selon la revendication 5 prise en combinaison avec l’une des revendications 2 à 4, dans lequel le modèle d’apprentissage machine (AI_GEN) est configuré pour adapter l’étape de sélection (SEL) en fonction de choix antérieurs de l’utilisateur sur des couleurs compatibles déterminées par des mises en œuvre antérieures du procédé.Method according to claim 5 taken in combination with one of claims 2 to 4, in which the machine learning model (AI_GEN) is configured to adapt the selection step (SEL) according to previous choices of the user on compatible colors determined by prior implementations of the method. Procédé selon l’une des revendications 1 à 6, dans lequel l’étape de segmentation (SEG) est mise en œuvre automatiquement avec un modèle d’apprentissage machine (AI_TCOL).Method according to one of Claims 1 to 6, in which the segmentation step (SEG) is implemented automatically with a machine learning model (AI_TCOL). Procédé selon l’une des revendications 1 à 6, dans lequel l’étape de segmentation (SEG) comprend une requête adressée à l’utilisateur pour identifier la position de ladite au moins une zone d’intérêt sur l’image.Method according to one of Claims 1 to 6, in which the segmentation step (SEG) comprises a request addressed to the user to identify the position of the said at least one zone of interest on the image. Procédé selon l’une des revendications précédentes, dans lequel l’étape de détermination (DET) comprend un traitement colorimétrique (TCOL) de ladite au moins une image (IMk) avec un modèle d’apprentissage machine (AI_TCOL) adapté pour corriger une déformation de la couleur de la représentation de ladite au moins une partie de la tenue vestimentaire de l’utilisateur due aux conditions d’éclairage de la photographie et/ou au dispositif (CAM) ayant capturé la photographie.Method according to one of the preceding claims, in which the determination step (DET) comprises a colorimetric processing (TCOL) of the said at least one image (IMk) with a machine learning model (AI_TCOL) suitable for correcting a distortion the color of the representation of said at least part of the user's clothing due to the lighting conditions of the photograph and/or to the device (CAM) having captured the photograph. Système informatique destiné à déterminer au moins une couleur d’un produit cosmétique compatible avec une tenue vestimentaire d’un utilisateur, comprenant :
- des moyens de communication (COM) configurés pour importer au moins une image de photographie (IM) comportant une représentation d’au moins une partie de la tenue vestimentaire de l’utilisateur ;
- des moyens de traitement (PU) configurée pour :
-- effectuer une segmentation (SEG) dans ladite au moins une image (IM) de manière à identifier au moins une zone d’intérêt (S1, S2, S3) dans la tenue vestimentaire ;
-- déterminer (DET) la couleur de ladite au moins une zone d’intérêt (S1, S2, S3) ; et
-- générer (GEN) ladite au moins une couleur compatible avec la tenue vestimentaire de l’utilisateur, à partir de la couleur déterminée de ladite zone d’intérêt (S1, S2, S3) en fonction d’une base de données de couleurs compatibles (PAL1-PAL4) ou d’une règle calculatoire d’obtention de couleurs compatibles (RGL, 11-71).
Computer system intended to determine at least one color of a cosmetic product compatible with a user's clothing, comprising:
- communication means (COM) configured to import at least one photograph image (IM) comprising a representation of at least part of the user's clothing;
- processing means (PU) configured for:
-- performing a segmentation (SEG) in said at least one image (IM) so as to identify at least one zone of interest (S1, S2, S3) in the clothing;
-- determining (DET) the color of said at least one area of interest (S1, S2, S3); and
-- generating (GEN) said at least one color compatible with the clothing of the user, from the determined color of said zone of interest (S1, S2, S3) according to a color database compatible colors (PAL1-PAL4) or a calculation rule for obtaining compatible colors (RGL, 11-71).
Système selon la revendication 10, dans lequel les moyens de traitement (PU) sont en outre configurés pour mettre en œuvre l’étapes de segmentation (SEG), l’étape de détermination (DET) et l’étape de génération (GEN) selon l’une des revendications 2 à 9.System according to claim 10, in which the processing means (PU) are further configured to implement the segmentation steps (SEG), the determination step (DET) and the generation step (GEN) according to one of claims 2 to 9. Système selon l’une des revendications 10 ou 11, comportant un appareil informatique utilisateur (APP) configuré pour capturer ou stocker en mémoire ladite au moins une image de photographie (IM) et pour communiquer aux moyens de traitement (PU) ladite au moins une image de photographie lors de ladite importation (IMP).System according to one of Claims 10 or 11, comprising a user computing device (APP) configured to capture or store in memory said at least one photograph image (IM) and to communicate to the processing means (PU) said at least one photograph image during said import (IMP). Produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’une des revendications 1 à 9.Computer program product comprising instructions which, when the program is executed by a computer, lead the latter to implement the method according to one of Claims 1 to 9. Support lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’une des revendications 1 à 9.Computer-readable medium comprising instructions which, when executed by a computer, lead the latter to implement the method according to one of Claims 1 to 9.
FR2108455A 2020-12-31 2021-08-04 Method for determining at least one color compatible with a user's clothing Pending FR3118521A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/259,929 US20240070751A1 (en) 2020-12-31 2021-12-21 Method for determining at least one colour compatible with an outfit of a user
PCT/EP2021/086978 WO2022144232A1 (en) 2020-12-31 2021-12-21 Method for determining at least one colour compatible with an outfit of a user
EP21844963.5A EP4272165A1 (en) 2020-12-31 2021-12-21 Method for determining at least one colour compatible with an outfit of a user

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US17/139,454 US11900434B2 (en) 2020-01-31 2020-12-31 Ecosystem for dispensing personalized foundation
US17/139,391 2020-12-31
US17/139,338 2020-12-31
US17/139,457 US20210236863A1 (en) 2020-01-31 2020-12-31 Ecosystem for dispensing personalized skincare product
US17/139,454 2020-12-31
US17/139,340 US11935107B2 (en) 2020-01-31 2020-12-31 Ecosystem for dispensing personalized lipstick
US17/139,391 US11478063B2 (en) 2020-01-31 2020-12-31 Cleaning system for cosmetic dispensing device
US17/139,338 US20210235845A1 (en) 2020-01-31 2020-12-31 Smart swappable cartridge system for cosmetic dispensing device

Publications (1)

Publication Number Publication Date
FR3118521A1 true FR3118521A1 (en) 2022-07-01

Family

ID=82160152

Family Applications (2)

Application Number Title Priority Date Filing Date
FR2101039A Active FR3118517B1 (en) 2020-12-31 2021-02-03 Method for determining the color of the skin of a face and corresponding system
FR2108455A Pending FR3118521A1 (en) 2020-12-31 2021-08-04 Method for determining at least one color compatible with a user's clothing

Family Applications Before (1)

Application Number Title Priority Date Filing Date
FR2101039A Active FR3118517B1 (en) 2020-12-31 2021-02-03 Method for determining the color of the skin of a face and corresponding system

Country Status (2)

Country Link
CN (1) CN116615752A (en)
FR (2) FR3118517B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668451B (en) * 2007-03-08 2012-05-30 惠普开发有限公司 Method and system for recommending a product based upon skin color estimated from an image
US10347163B1 (en) * 2008-11-13 2019-07-09 F.lux Software LLC Adaptive color in illuminative devices
CN109451292B (en) * 2018-12-15 2020-03-24 深圳市华星光电半导体显示技术有限公司 Image color temperature correction method and device

Also Published As

Publication number Publication date
FR3118517A1 (en) 2022-07-01
CN116615752A (en) 2023-08-18
FR3118517B1 (en) 2024-03-15

Similar Documents

Publication Publication Date Title
JP6801696B2 (en) Search support system, search support method and search support program
JP7308753B2 (en) Systems and methods for preparing custom topical agents
KR101140533B1 (en) Method and system for recommending a product based upon skin color estimated from an image
US10265011B2 (en) Mining social media for ultraviolet light exposure analysis
JP7020626B2 (en) Makeup evaluation system and its operation method
US20130300761A1 (en) Method and system for color matching and color recommendation
CN103597519A (en) Computer implemented methods and systems for generating virtual body models for garment fit visualization
JP2021532458A (en) Systems and methods for adjusting custom topical medications
KR102185638B1 (en) System of total coordination proposal with most famous full fashion style by using AI and operating method thereof
CN109147007B (en) Label loading method, label loading device, terminal and computer readable storage medium
KR20130027801A (en) User terminal for style matching, style matching system using the user terminal and method thereof
CN108932260A (en) Clothing matching recommended method and device
KR20200025291A (en) A shopping service procedure and shopping service system using personal community device
CN106028929A (en) Cosmetic base matching system
FR3118521A1 (en) Method for determining at least one color compatible with a user's clothing
Bhatti et al. Mobile cosmetics advisor: an imaging based mobile service
CN110413818A (en) Paster recommended method, device, computer readable storage medium and computer equipment
KR20200092030A (en) System and method for analysing and recommending products based on shading pictures of color cosmetics
US20240070751A1 (en) Method for determining at least one colour compatible with an outfit of a user
WO2022144232A1 (en) Method for determining at least one colour compatible with an outfit of a user
WO2023242244A1 (en) Digital fitting system for selling garments on-line, method and program based on such a system
FR3134645A1 (en) Skin Tone Prediction Using 3D Face Model
FR3132370A1 (en) Method for simulating an application of a cosmetic make-up product on a body surface
KR101997158B1 (en) the object information providing system using the image analysis
FR3137550A1 (en) Method for determining parameters relating to the coloring of a body area of an individual

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLFP Fee payment

Year of fee payment: 3