FR3107643A1 - Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique - Google Patents

Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique Download PDF

Info

Publication number
FR3107643A1
FR3107643A1 FR2001971A FR2001971A FR3107643A1 FR 3107643 A1 FR3107643 A1 FR 3107643A1 FR 2001971 A FR2001971 A FR 2001971A FR 2001971 A FR2001971 A FR 2001971A FR 3107643 A1 FR3107643 A1 FR 3107643A1
Authority
FR
France
Prior art keywords
dispensing
product
distribution
reinforcement learning
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2001971A
Other languages
English (en)
Other versions
FR3107643B1 (fr
Inventor
Robin Kips
Vincent Marchal
Thibault Chauffier
Jean-Christophe BICHON
Loïc CARDON
Claire CROCHET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Priority to FR2001971A priority Critical patent/FR3107643B1/fr
Priority to CN202180016798.7A priority patent/CN115210540A/zh
Priority to US17/904,927 priority patent/US20230127741A1/en
Priority to PCT/EP2021/050453 priority patent/WO2021170302A1/fr
Priority to EP21702164.1A priority patent/EP4111145A1/fr
Publication of FR3107643A1 publication Critical patent/FR3107643A1/fr
Application granted granted Critical
Publication of FR3107643B1 publication Critical patent/FR3107643B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F11/00—Apparatus requiring external operation adapted at each repeated and identical operation to measure and separate a predetermined volume of fluid or fluent solid material from a supply or container, without regard to weight, and to deliver it
    • G01F11/02—Apparatus requiring external operation adapted at each repeated and identical operation to measure and separate a predetermined volume of fluid or fluent solid material from a supply or container, without regard to weight, and to deliver it with measuring chambers which expand or contract during measurement
    • G01F11/021—Apparatus requiring external operation adapted at each repeated and identical operation to measure and separate a predetermined volume of fluid or fluent solid material from a supply or container, without regard to weight, and to deliver it with measuring chambers which expand or contract during measurement of the piston type
    • G01F11/029—Apparatus requiring external operation adapted at each repeated and identical operation to measure and separate a predetermined volume of fluid or fluent solid material from a supply or container, without regard to weight, and to deliver it with measuring chambers which expand or contract during measurement of the piston type provided with electric controlling means
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G13/00—Weighing apparatus with automatic feed or discharge for weighing-out batches of material
    • G01G13/24—Weighing mechanism control arrangements for automatic feed or discharge
    • G01G13/28—Weighing mechanism control arrangements for automatic feed or discharge involving variation of an electrical variable which is used to control loading or discharge of the receptacle
    • G01G13/285—Weighing mechanism control arrangements for automatic feed or discharge involving variation of an electrical variable which is used to control loading or discharge of the receptacle involving comparison with a reference value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/04—Apparatus for or methods of weighing material of special form or property for weighing fluids, e.g. gases, pastes
    • G01G17/06—Apparatus for or methods of weighing material of special form or property for weighing fluids, e.g. gases, pastes having means for controlling the supply or discharge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/417—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight with provision for checking computing part of balance
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2200/00—Details not otherwise provided for in A45D
    • A45D2200/05—Details of containers
    • A45D2200/058—Means for mixing different substances prior to application
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K2800/00—Properties of cosmetic compositions or active ingredients thereof or formulation aids used therein and process related aspects
    • A61K2800/80—Process related aspects concerning the preparation of the cosmetic composition or the storage or application thereof
    • A61K2800/87—Application Devices; Containers; Packaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Fluid Mechanics (AREA)
  • Cosmetics (AREA)
  • Containers And Packaging Bodies Having A Special Means To Remove Contents (AREA)

Abstract

Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique La présente demande se rapporte à un dispositif pour la distribution d’une masse déterminée d’un produit cosmétique dans un récipient depuis un réservoir, le dispositif comprenant au moins un organe électromécanique apte à assurer le déplacement d’une quantité de produit cosmétique depuis ledit réservoir installé dans le dispositif vers une zone de distribution dudit dispositif où ladite quantité de produit peut être transférée à travers une buse à l’intérieur du récipient reçu dans ladite zone de distribution, le dispositif comprenant un contrôleur configuré pour délivrer un signal de commande à l’organe électromécanique en fonction d’une erreur par rapport à une consigne correspondant à la masse déterminée de produit cosmétique à délivrer, ladite erreur étant déterminée à partir d’une donnée de pesée obtenue par au moins une cellule de pesée du réservoir équipant la zone de réception, le dispositif étant caractérisé en ce que le contrôleur est un contrôleur à apprentissage par renforcement. Figure pour l’abrégé : Fig. 1

Description

Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
La présente invention se rapporte à une machine pour la distribution contrôlée d’une quantité déterminée d’au moins un produit cosmétique dans un récipient depuis un réservoir, la machine comprenant une zone de distribution configurée pour recevoir le récipient apte à contenir ladite quantité de produit cosmétique à distribuer.
Par « produit cosmétique », on entend tout produit tel que défini dans le règlement (CE) N°1223/2009 du Parlement Européen et du Conseil du 30 novembre 2009, relatif aux produits cosmétiques. Ainsi, un produit cosmétique est généralement défini comme étant une substance ou un mélange destiné à être mis en contact avec des parties superficielles du corps humain (épiderme, systèmes pileux et capillaire, ongles, lèvres et organes génitaux externes) ou avec les dents et les muqueuses buccales en vue, exclusivement ou principalement, de les nettoyer, de les parfumer, d’en modifier l’aspect, de les protéger, de les maintenir en bon état ou de corriger les odeurs corporelles.
Un objectif de l’industrie cosmétique est de toujours améliorer l’expérience vécue par ses consommateurs et de proposer des produits et compositions toujours plus adaptés à leurs besoins et à leurs caractéristiques spécifiques. Cette tendance est appelée de manière générale « personnalisation ».
Il est ainsi par exemple connu de recommander des fonds de teint adaptés en fonction d’une ou plusieurs caractéristiques de la peau d’un utilisateur (voir par exemple les documents US5478238 et US9519927). Le traitement ou produit cosmétique déterminé en accord avec les caractéristiques spécifiques de l’utilisatrice peut être un produit fini déjà formulé et sélectionné dans un catalogue ou une base de données, ou un produit personnalisé dont la composition elle-même a été déterminée à partir des caractéristiques individuelles obtenues (par exemple « Le Teint Particulier » ® proposé par LANCÔME®).
Il est également connu de proposer des produits capillaires personnalisés dont la composition est déterminée à partir de différentes propriétés des cheveux de l’utilisateur (par exemple US20150089751).
Le produit peut être alors classiquement acheté ou commandé par la personne. Dans le cas d’un produit personnalisé (en anglais « custom-made »), ledit produit peut être fabriqué directement sur le point de vente (boutique ou salon par exemple) par un dispositif capable de distribuer des composants conformément à la composition personnalisée déterminée préalablement.
De tels dispositifs sont par exemple décrits dans les documents US2017151538A1 pour le fond de teint et EP0443741, US20150089751 précités pour des produits de coloration capillaire.
De manière générale, de telles machines comprennent un corps configuré pour recevoir une pluralité de cartouches de différents produits cosmétiques constituants des ingrédients aptes à être associés pour former une composition cosmétique finale. La machine peut ainsi comprendre une ou plusieurs cartouches d’une ou plusieurs bases cosmétiques (se présentant par exemple sous forme de crème) et/ou une ou plusieurs cartouches de produits cosmétiques actifs (colorants, pigments, actifs de soins, …) destinés à être ajoutés à l’une des bases cosmétiques pour former la composition finale selon les souhaits de la consommatrice.
Les machines comprennent également une zone de distribution configurée pour recevoir un récipient apte à contenir ladite composition cosmétique. Dans le cas de produits de type crème de soin ou fond de teint, le récipient pourra classiquement être un flacon ou un pot. Dans le cas d’un produit de coloration capillaire, le récipient pourra notamment être un bol de mélange (voir par exemple les documents EP1093842A1, US20050092772 et US20090218007A1).
Des systèmes électromécaniques du type pompes ou pistons assurent le prélèvement et le déplacement d’une quantité de produit cosmétique depuis la cartouche ou le réservoir requis vers la zone de distribution où le produit peut être transféré à l’intérieur du récipient à travers une buse de distribution disposée ou apte à être disposée en regard d’une ouverture dudit récipient. Parmi les systèmes de distribution utilisés, on peut citer les pompes péristaltiques, les systèmes à piston, les systèmes à seringues (aspiration / refoulement). Le document WO2019161360A1 décrit ainsi plusieurs systèmes de distribution classiquement utilisés.
Dans le cas d’un produit cosmétique personnalisé dont la composition est définie en fonction de l’utilisatrice et est fabriqué à la demande, voire sur place dans la boutique ou chez elle, il est important de pouvoir contrôler précisément la masse de chaque ingrédient distribué dans le récipient, et ce même si la machine est équipée de systèmes électromécaniques à déplacement contrôlé du type pompe doseuse ou piston doseur.
En effet, une difficulté est qu’indépendamment du degré de précision de l’organe distributeur, la quantité de produit prélevée et déplacée par le système distributeur correspond généralement à un volume de produit donné et non directement à sa masse. Ainsi, dans le cas d’un piston doseur par exemple c’est le déplacement du piston qui définit le volume de produit distribué. La quantité de produit en terme de masse dépend donc de la masse volumique dudit produit. Il en va de même pour les systèmes de pompage, dans lesquels la viscosité du produit a également une influence.
De tels organes distributeurs doivent donc être étalonnés par rapport au produit qu’il est amené à délivrer et aux composants utilisés (diamètre de conduits, étanchéité du système, buses, etc) afin de déterminer la masse de produit distribuée en fonction d’un paramètre de fonctionnement du système distributeur tel que la durée de fonctionnement de la pompe (éventuellement associée à un régulateur de débit, cf. par exemple WO2008046518A1), le déplacement du piston ou le nombre de tours d’un piston monté sur une tige filetée (cf. US2017208920A1) ou d’une pompe péristaltique (cf. WO2017213834).
Afin d’assurer un meilleur contrôle des quantités de produits distribuées, une solution usuelle est d’équiper la zone de réception d’un capteur de poids («load cell») comme décrit dans plusieurs documents précités. Ce capteur de poids peut en particulier se présenter sous la forme d’une balance comprenant un plateau sur lequel est posé le récipient dans la zone de distribution. La donnée de poids retournée par le capteur est utilisée par un contrôleur pour réguler et contrôler l’organe de distribution.
Une méthode de régulation et de contrôle connue est ainsi de commander pas-à-pas, ou tour par tour, le système de distribution et de vérifier si la masse cible est atteinte ou non à chaque pas du système. Bien évidemment, une telle méthode de contrôle allonge fortement le temps nécessaire à la distribution de la quantité souhaitée. En outre, le degré de précision du système dépend de l’amplitude du pas de contrôle et du déplacement unitaire défini. Plus le pas de contrôle est faible, plus le système pourra être précis mais la durée nécessaire à la distribution de la masse de produit souhaitée sera d’autant plus importante.
Une deuxième méthode de régulation et de contrôle usuelle est l’utilisation d’un contrôleur de type PID permettant, par exemple, une distribution continue du produit avec une distribution initiale de produit plus rapide puis un ralentissement de l’organe de distribution à l’approche de la masse cible jusqu’à atteindre cette cible au plus près. Ce type de contrôleur est parfaitement connu et maîtrisé, et largement utilisé dans tous les domaines industriels, y compris dans le domaine de l’élevage agricole pour la distribution contrôlée de nourriture. Ce type de contrôleur PID est particulièrement adapté au contrôle de systèmes linéaires et convient généralement pour de tels systèmes de distributions dont les règles de fonctionnement peuvent êtrea prioriconnues.
Une alternative à un contrôleur PID pourrait être un contrôleur à logique floue («Fuzzy Logic Controller» ou FLC). Toutefois, la mise en œuvre d’un tel contrôleur nécessite une puissance de calcul relativement élevée et est extrêmement complexe à ajuster. Par ailleurs, la Logique Floue est généralement recommandée pour répondre plus particulièrement au problème de l’obtention d’une information d’état du système vague et imprécise. Cela n’est pas le cas d’une machine de distribution cosmétique équipée d’une cellule de pesée, puisque la donnée retournée par cette cellule de pesée saurait difficilement être qualifiée de vague et imprécise. Un tel système ne serait donc pas particulièrement considéré pour contrôler un système simple tel qu’une machine de distribution de produit cosmétique dont les règles de contrôle sonta prioriconnues ou aisément déterminables.
Ainsi, bien que pouvant être complexe à optimiser, un régulateur PID pourra être préféré, et ce d’autant plus qu’il existe des méthodes permettant d’en faciliter le réglage et utilisant, par exemple, des algorithmes génétiques.
Il a toutefois été constaté que ce type de contrôle et régulation courante présentait des limites et pouvait s’avérer insuffisant pour l’obtention d’un contrôle et d’une régulation optimale de la distribution d’un produit cosmétique dans un récipient par un organe électromécanique piloté. Ainsi, il existe un besoin pour une machine de distribution de produit cosmétique dont le système de distribution est aisément adaptable et présente un besoin de maintenance, calibration et réglage réduit.
La présente demande vise à répondre à ces limitations et propose pour ce faire un dispositif pour la distribution d’une masse déterminée d’un produit cosmétique dans un récipient depuis un réservoir, le dispositif comprenant au moins un organe électromécanique apte à assurer le déplacement d’une quantité de produit cosmétique depuis ledit réservoir installé dans le dispositif vers une zone de distribution dudit dispositif où ladite quantité de produit peut être transférée à travers une buse à l’intérieur du récipient reçu dans ladite zone de distribution, le dispositif comprenant un contrôleur configuré pour délivrer un signal de commande à l’organe électromécanique en fonction d’une erreur par rapport à une consigne correspondant à la masse de produit cosmétique à délivrer et déterminée à partir d’une donnée de pesée obtenue par au moins une cellule de pesée du réservoir équipant la zone de réception, le dispositif étant caractérisé en ce que le contrôleur est un contrôleur à apprentissage par renforcement.
Ainsi, en mettant en œuvre un contrôleur à apprentissage par renforcement, il est possible d’obtenir un dispositif de distribution extrêmement adaptable à son environnement extérieur et à son évolution.
Plus précisément, le contrôleur par apprentissage à renforcement met en œuvre une stratégie («policy function») définissant une action à réaliser par l’organe électromécanique en fonction d’un état du dispositif lors d’une opération de distribution de produit cosmétique. La stratégie est adaptée de manière à optimiser une récompense quantitative au cours du temps.
Compte tenu de la précision demandée et du fait qu’il n’est pas souhaitable de dépasser la quantité cible de produit à distribuer, il pourra être utile de choisir une stratégie de type «prudente». La récompense ou «reward function» dépendra directement de l’erreur, c’est-à-dire la différence entre la quantité cible à distribuer et la quantité effectivement distribuée telle que déterminée à partir de l’état du dispositif. Bien évidemment, d’autres modalités de prises en compte de l’erreur et notamment de son historique au cours de la distribution (utilisation d’une fonction de valeur ou «value function») sont possibles.
L’état du dispositif est défini par la donnée de pesée représentant la masse de produit cosmétique distribuée dans le récipient et l’écart ou erreur par rapport à la masse de produit cible à distribuer.
L’état du dispositif peut être défini de manière plus précise à l’aide d’autres capteurs environnementaux (par exemple, capteur de température, hygromètre, etc …). Préférentiellement toutefois, seule la donnée de pesée est utilisée pour représenter l’état du dispositif par rapport à la consigne de masse à distribuer.
L’action à réaliser consiste en un signal de commande à destination de l’organe électromécanique et est choisie parmi un ensemble d’actions disponibles pour piloter directement l’organe électromécanique. L’action peut être une action unitaire ou correspondre à un profil de commande.
Plus précisément, les actions consistent à mouvoir un actionneur de l’organe de distribution électromécanique par le biais de commandes numériques. Selon le type d’organe de distribution, les actions disponibles pourront par exemple être du type:tourne de N pas; déplacement d’un piston pendant x secondes à une vitesse v, déplacement du piston d’une distance d, commande stop…
Ces actions disponibles peuvent être associées pour former des commandes de haut niveau. Ces commandes de haut niveau peuvent elles-mêmes définir un profil de commande et / ou une action unitaire d’un système complexe associant des organes complémentaires à l’organe de distribution électromécanique telles que des valves d’alimentation ou de coupure qui doivent être commandées en lien avec l’actionneur.
L’état du dispositif peut être obtenu au cours de l’opération de distribution (pour un renforcement en continu) et / ou à la fin d’une opération de distribution (pour un renforcement global d’une action globale correspondant à un profil de distribution). L’obtention de l’état du dispositif au cours de l’opération de distribution peut être continue ou discontinue, de préférence à intervalles réguliers, notamment après chaque action unitaire effectuée.
En effet, alors qu’un tel système de distribution de produits cosmétiques pouvait être considéré comme relevant des systèmes linéaires simples, il a été constaté qu’il existait de nombreuses causes de variabilité non seulement dans l’environnement mais également dans la distribution elle-même.
Comme expliqué précédemment, en cas de variation des caractéristiques physico-chimiques du produit, par exemple en raison des conditions de l’environnement d’exploitation de la machine ou d’un vieillissement du produit au cours du temps, la calibration initiale de organes de distribution ne sera plus valable, ce qui peut conduire à des erreurs dans la distribution. Ainsi, si l’organe de distribution a été calibré pour délivrer une quantité de produit donnée dans des conditions normales de température et de pression (par exemple, 25° à 1 atm, humidité normale), une exploitation de la machine dans un environnement à 40° fortement humide et en altitude pourra nécessiter une nouvelle procédure de calibration sur place.
Les tolérances de fabrication des différentes pièces du système ainsi que leur usure au cours du temps peuvent également être un facteur de variation. C’est pourquoi chaque machine doit idéalement être calibrée individuellement.
Par ailleurs, si un produit est remplacé par un produit différent présentant des caractéristiques physico-chimiques différentes pour lesquelles la machine n’a pas été calibrée, il conviendra également de ré-étalonner l’organe de distribution. Ainsi, une cartouche d’un produit totalement nouveau et, par exemple, beaucoup plus visqueux que le produit initial, ne pourra pas être distribué de manière précise directement par la machine sans une intervention spécifique. Le système n’est pas «plug and play».
Alors que sur des quantités importantes ou pour un produit fabriqué dans des conditions connues, ces variations n’auront qu’un impact réduit ou aisément corrigeable; la relativement faible quantité de produit à délivrer pour un produit «à la demande» rend de telles erreurs de dosage particulièrement sensible.
Dans le cas particulier de la coloration capillaire où une variation dans la quantité de colorant peut avoir un impact fort sur la couleur finale obtenue, il est d’autant plus important de mettre en œuvre des systèmes de distribution fiables et précis.
Bien qu’un contrôle par apprentissage à renforcement soit déjà connu et utilisé dans divers secteurs, il est généralement destiné au contrôle de systèmes complexes dont les règles de gouvernance de l’environnement ne sont pas connus ou hautement incertaines. C’est pourquoi, ce type de contrôleur est utilisé fréquemment dans des applications aéronautiques ou automobiles pour le pilotage de drones et véhicules autonomes, par exemple.
Ainsi, le contrôle par apprentissage à renforcement est appliqué avec succès dans des domaines aussi variés que le vol autonome d’hélicoptères, le déplacement de robots équipées de «jambes» qu’ils doivent «apprendre» à contrôler, le routage dans des réseaux cellulaires téléphoniques, le contrôle d’usines ou encore l’indexation de pages internet par un moteur de recherche.
On connaît plus particulièrement le document WO2015067956A1 qui décrit l’utilisation d’un contrôleur par apprentissage à renforcement pour la distribution d’un produit d’anesthésie à un patient. Le choix d’un tel contrôle est motivé par le fait que l’état du patient est difficilement déterminable et prévisible par des équations utilisant ses paramètres vitaux («patient specific policy», détermination de règles d’administration spécifique au patient).
Dans le présent domaine d’application, il a été constaté que malgré des règles de fonctionnementa priorisimples du système et une donnée de pesée pouvant être obtenue de manière précise et fiable, il existait en réalité de nombreuses causes de variabilité dans le système, notamment liées aux produits à distribuer eux-mêmes ou à des pièces de la machine elle-même et non totalement à un environnement extérieur imprévisible ou difficilement mesurable.
Ainsi, contrairement au document WO2015067956A1 précité qui prévoit un module d’apprentissage visant à déterminer une «policy function» propre au patient à qui est délivré le produit, la présente demande prévoit un module d’apprentissage visant à déterminer une «policy function» propre à la machine et aux produits distribués.
La position du demandeur est ainsi que les cas antérieurs connus d’utilisation d’un tel module d’apprentissage, y compris dans une machine de distribution d’un produit, n’incitait aucunement à utiliser ce type de module pour une machine de distribution dans laquelle la variabilité provient en réalité de la machine elle-même (composants ou produits à distribuer).
En outre, il ressort du document WO2015067956A1 que l’action devant être sélectionnée par le module d’apprentissage est une action déterminant la quantité de produit à administrer au patient (revendication 1). Il s’agit donc d’utiliser le module d’apprentissage par renforcement pour déterminer et adapter une quantité cible (consigne) de distribution et non, comme dans la présente demande, de vérifier que la quantité distribuée est conforme à la quantité cible et le cas échéant d’adapter le profil de distribution (ensemble des actions de pilotage de l’organe électromécanique) pour corriger les variations. Le document WO2019180252A1 est similaire dans le sens où le module d’apprentissage par renforcement est utilisée pour déterminer la taille de tasses de café introduites dans la machine et en déduire la quantité de café à utiliser. Dans la présente demande, la quantité de produit à distribuer est déterminée (fixe, par la recette de la composition etc.) et le module d’apprentissage par renforcement est mis en œuvre pour contrôler que les organes de distributions (pompes, tubes, produit cosmétique dans le réservoir) permettent de distribuer la quantité souhaitée et le cas échéant adapter le profil de distribution. Il s’agit donc essentiellement d’une adaptation à une variabilité interne de la machine de distribution et non directement à une variabilité externe.
La mise en œuvre d’une unité de contrôle utilisant un module d’apprentissage par renforcement adaptant le profil de commande de l’organe électromécanique et non la consigne fixant la quantité de produit permet notamment d’obtenir les bénéfices suivants:
- adaptabilité à un produit cosmétique présentant des caractéristiques physico-chimiques différentes du produit précédemment utilisé dans la machine de distribution, sans besoin d’une calibration préalable ou d’une recalibration,
- distribution fiable et robuste en mesure de s’adapter aux variations de l’environnement telles que la température, l’hygrométrie, la pression et à leur impact sur le produit cosmétique à distribuer et notamment sa masse volumique, sans besoin d’une recalibration,
- distribution fiable et robuste par rapport aux tolérances et variations de fabrication de la machine de distribution, sans besoin d’une recalibration,
- distribution fiable et robuste par rapport aux remplacement d’éléments de la machine lors d’opérations de maintenance,
- relative indépendance par rapport à la technologie de distribution employée.
Pour des explications plus précises sur les principes de fonctionnement et les notions relatives à l’apprentissage par renforcement, on pourra se référer à l’article« Playing Atari with Deep Reinforcement Learning »décrivant la mise en œuvre d’un tel système ainsi qu’à l’ouvrage« Reinforcement Learning: An Introduction »de Richard S. Sutton and Andrew G. Barto.
Selon une première variante de réalisation, le contrôleur à apprentissage par renforcement utilise un algorithme de régression selon un processus gaussien.
Dans le cas du processus gaussien, une phase de calibration préalable est nécessaire. Lors de la phase de calibration, le contrôleur et son modèle d’apprentissage vont explorer différentes actions de contrôle de l’organe électromécanique, voire l’ensemble des actions disponibles, et observer les quantités correspondantes délivrées (état obtenu associé). Lors de cette phase de calibration, la quantité distribuée n'est pas contrôlée, et le produit est ensuite jeté.
L’utilisation d’un processus de régression gaussien permet notamment d'obtenir une estimation de la confiance du système dans sa performance en fonciton de la quantité cible. Cette confiance peut être intégrée à la stratégie. Ainsi, lors d’une phase de calibration le système peut explorer les différentes stratégies pour les différentes quantités de manière à minimiser le risque d'erreur pour toute les quantités.
Selon une deuxième variante, le contrôleur à apprentissage par renforcement utilise un algorithme d’apprentissage profond par renforcement.
Dans le cas d’un apprentissage profond («Deep Reinforcement Learning») il est possible d'entrainer le modèle à se calibrer dynamiquement tout en réalisant la tache de distribution. Par exemple, la stratégie adoptée pourra initialement être de type «prudente» avec un comportement proche du "pas à pas", ou tour par tour, et au fur et à mesure que le module d’apprentissage est plus confiant sur sa capacité à distribuer précisément la stratégie pourra être adaptée en conséquence.
Selon un premier mode de réalisation, le contrôleur à apprentissage par renforcement est basé sur un modèle prédictif initial. Une telle construction permet un adaptation plus rapide du contrôleur aux modifications de son environnement.
Alternativement, le contrôleur à apprentissage par renforcement fonctionne sans modèle prédictif initial. Une telle construction permet une plus grande versatilité par rapport à d’éventuels changement apportés à l’environnement et surtout aux composants de la machine. Ainsi, quand bien même, par exemple, l’organe de distribution électromécanique devait être remplacé par un organe utilisant une technologie différente, l’adaptation du contrôleur afin d’atteindre une bonne précision de distribution serait possible (cela est également possible avec un modèle prédictif initial mais avec une adaptabilité moindre).
Dans le cas d’une adaptation selon un processus de régression gaussien, une phase de calibration telle que mentionnée précédemment sera nécessaire après une modification d’un composant de la machine. En revanche, dans le cas d’une adaptation de type à apprentissage profond, une telle phase de calibration n’est pas strictement nécessaire.
Selon une première option, le contrôleur à apprentissage par renforcement a été pré-entrainé avant exploitation commerciale du dispositif. Un tel pré-entraînement permet une opérabilité immédiate du dispositif sur son site de vente et une adaptation plus rapide aux conditions environnementales locales. Bien évidemment, le dispositif peut être à nouveau entraîné sur son lieu d’exploitation commerciale afin d’adapter le contrôler de manière plus fine aux spécificités de son milieu d’exploitation.
Selon une deuxième option, le contrôleur à apprentissage par renforcement n’a pas été pré-entraîné avant exploitation commerciale du dispositif.
Selon un premier mode de réalisation, le contrôleur à apprentissage par renforcement est configuré pour opérer une adaptation de stratégie de commande postérieurement à une pluralité d’opérations de distribution, notamment après un nombre déterminé d’opérations de distribution et/ou après un laps de temps donné, sur la base des opérations effectuées pendant ce laps de temps et définissant ensemble un profil de distribution. En particulier, le contrôleur peut ainsi mettre à jour sa stratégie de commande en utilisant l’ensemble des opérations de distribution d’une journée.
Alternativement ou de manière complémentaire selon le type d’apprentissage mis en œuvre par le contrôleur, ce dernier est configuré pour opérer une ou plusieurs adaptations de stratégie de commande au cours d’une opération de distribution, en particulier à intervalle régulier après une action de commande unitaire (ou action de haut niveau définissant une action unitaire pour un organe de distribution électromécanique complexe). Ainsi, l’apprentissage du modèle de distribution par le contrôleur peut être effectué «on the fly» ou en direct, avec une adaptation en temps réel du modèle. Ce type de fonctionnement est particulièrement adapté aux machines dans lesquelles un produit à distribuer peut être remplacé par un produit aux caractéristiques physico chimiques différentes afin de permettre une adaptation au cours de la distribution même. Cela limite le risque d’avoir des distributions erronées ou imprécises avant adaptation du modèle sur la base d’une pluralité d’opérations de distribution complètes précédentes.
De manière préférentielle, l’organe électromécanique de distribution est une pompe à déplacement positif, par exemple une pompe péristaltique.
Alternativement, l’organe électromécanique de distribution est une seringue distribution par aspiration suivi d’un refoulement. L’organe électromécanique de distribution peut également être un piston.
De manière avantageuse, le dispositif est configuré pour recevoir une pluralité de réservoirs configurés pour des ingrédients cosmétiques fonctionnellement différents, lesdits ingrédients cosmétiques fonctionnellement différents étant aptes à être combinés pour former un produit cosmétique. Chaque ensemble formé d’un réservoir d’un ingrédient cosmétique et d’un organe électromécanique de distribution associé possède un modèle de distribution et un contrôleur associé. Même si physiquement, le contrôleur peut être commun, fonctionnellement, chaque module de distribution possède son propre modèle d’apprentissage.
La présente demande se rapporte également à un procédé de contrôle d’un organe électromécanique de distribution équipant un dispositif selon l’invention, caractérisé en ce qu’il comprend les étapes visant à:
- fournir une consigne représentant une masse déterminée de produit à distribuer,
- envoyer un signal de commande à l’organe électromécanique,
- obtenir, à partir de la cellule de pesée, la masse de produit distribuée suite à l’exécution de la commande par l’organe électromécanique de distribution,
- déterminer un écart entre la masse de produit distribuée suite à l’exécution de la commande et la consigne,
- modifier le signal de commande par un processus d’apprentissage par renforcement en vue de minimiser l’écart.
Selon un premier mode de réalisation, le signal de commande correspond à un profil de distribution complet de la consigne et est modifié après au moins une opération de distribution complète, préférentiellement après une pluralité d’opérations de distribution complètes, notamment après un nombre prédéterminé d’opérations et / ou après un intervalle de temps déterminé.
Selon un deuxième mode de réalisation, le signal de commande correspond à une action de distribution incomplète unitaire, le signal de commande étant modifié au moins une fois au cours du procédé de distribution complet, les étapes d’envoi de signal de commande à l’organe électromécanique de distribution, d’obtention et de détermination de l’écart de distribution et d’adaptation du signal de commande, étant répétées tant que ledit écart obtenu est supérieur à zéro et, de préférence, supérieur à une quantité minimum distribuable par l’organe électromécanique.
L’invention pourra être mieux comprise à la lecture de la description qui suit accompagnée d’exemples non limitatifs de mise en œuvre de celle-ci, en se référant aux dessins annexés, sur lesquels :
est une photographie d’une machine de distribution selon l’invention et mettant en œuvre un organe de distribution électromécanique de type seringue à piston motorisé pour la distribution d’une quantité d’un produit cosmétique contenu dans un réservoir principal.
est une représentation schématique fonctionnelle de la machine de la figure 1
est une représentation d’un autre mode de réalisation d’une machine de distribution selon la présente demande mettant en œuvre des organes de distributions électromécaniques du type pompes péristaltiques pour la distribution dans des quantités déterminées de deux produits cosmétiques différents contenus chacun dans un réservoir principal associé.
est une représentation schématique fonctionnelle de la machine de la figure 3
Il est important de noter que bien qu’illustrée par souci de clarté avec des machines n’utilisant qu’un nombre réduit de réservoirs (un seul réservoir principal pour le système de la figure 1 et deux réservoirs pour le système de la figure 3), la présente demande n’est bien évidemment pas limitée à un nombre de réservoirs déterminé, minimal ou maximal, et vise de manière plus générale les machines de distribution comprenant une pluralité de réservoirs aptes à contenir ensemble d’ingrédients cosmétiques fonctionnellement différents qui peuvent être associés entre eux pour former une composition cosmétique finale. Ainsi, dans le cas particulier d’une machine pour la préparation d’une composition de coloration capillaire personnalisée, un ou plusieurs réservoirs principaux pourront contenir une ou plusieurs crèmes de base à laquelle seront ajoutés un ou plusieurs colorants contenus dans d’autres réservoirs de manière à obtenir la composition de coloration capillaire souhaitée. Comme indiqué précédemment, et illustré figures 1 et 2, la présente demande peut être appliquée à la distribution en vrac d’une quantité déterminée d’un produit cosmétique contenu en quantité plus importante dans le réservoir. La machine peut par conséquent ne présenter qu’un unique réservoir d’où sera distribuée une quantité relativement faible du produit contenu dans ledit réservoir. La présente invention trouve plus particulièrement son intérêt pour les machines destinées à distribuer des quantités relativement faibles, non industrielle, correspondant sensiblement aux quantités présentes dans un flacon destiné à la vente. Ainsi, la quantité de produit maximale à distribuer (consigne) est préférentiellement inférieure à 100g, de préférence inférieure à 50g, voire inférieure à la dizaine de grammes voire inférieure au gramme pour des ingrédients intervenants à titre d’additifs à une base cosmétique distribuée dans une quantité plus importante.
Pour plus de précisions, on pourra se référer aux documents précités décrivant en détail la constitution de telles machines. Il est également important de noter que la présente demande n’est pas limitée à une application particulière, et bien qu’exemplifiée avec une machine pour la fabrication d’une coloration capillaire personnalisée, elle est applicable à d’autres produits tels que, par exemple, un fond de teint personnalisé ou une composition de rouge à lèvres personnalisée.
Par ailleurs, bien que la présente demande soit préférentiellement illustrée avec des systèmes de distributions de produits liquides ou crémeux, elle est applicable à des systèmes de distribution de produit solides, sous forme de poudre fluide ou de billes ou tablettes.
La figure 1 est une illustration d’un premier exemple de réalisation d’une machine 1 de distribution d’un produit cosmétique. Le figure 2 est une représentation fonctionnelle schématique de la machine de la figure 1.
La machine 1 comprend un réservoir principal 12 contenant initialement une quantité importante (capacité par exemple supérieure à ½ litre, voire supérieure à 1 litre) d’un produit cosmétique P à distribuer en quantités plus faibles, typiquement de l’ordre de quelques grammes pour un additif cosmétique à quelques dizaines de grammes pour une base cosmétique.
Avantageusement, le réservoir 12 se présente sous la forme d’une cartouche amovible pouvant être remplacée, notamment lorsque qu’une cartouche est vide, par une cartouche du même produit ou d’un produit différent. Un telle cartouche amovible peut se présenter notamment sous forme de cartouche à corps rigide ou de poche souple. Le raccord amovible des réservoirs n’est pas l’objet de la présente demande et l’homme du métier peut utiliser toute solution connue permettant d’installer de manière amovible les réservoirs. Des exemples de solutions sont notamment décrits dans les documents précités. Un autre exemple intéressant de connexion amovible d’une poche de produit liquide est décrit dans la demande FR18/71211 non encore publiée.
La machine 1 comprend également une zone de distribution 4 destinée à recevoir un récipient 10, notamment un flacon, un pot ou un bol, dans lequel doit être distribué le produit cosmétique contenu dans le réservoir 12, et ce dans une quantité contrôlée. Conformément à la présente demande, la zone de réception 4 est équipée d’une balance 13 comportant un plateau sur lequel est disposé le récipient 10. La balance constitue une cellule de pesée permettant de mesurer la masse du récipient, et d’en suivre l’évolution au cours d’une opération de distribution. La cellule de pesée permet ainsi de déterminer à tout instant la masse d’un produit réellement distribuée.
Le réservoir 12 est associé à un système de distribution électromécanique apte à prélever dans ledit réservoir 12 une quantité de produit cosmétique déterminée et à l’amener au niveau de la zone de distribution 4 de la machine 1 où ladite quantité de produit cosmétique peut être transférée à l’intérieur du récipient 10 à travers une buse de distribution 20 correspondante.
De tels systèmes électromécaniques ne font pas l’objet de la présente demande et l’homme du métier est libre de sélectionner le système de transfert approprié. Selon une variante de réalisation, le système de distribution peut être commun à plusieurs réservoirs. Ainsi, on connaît des systèmes dans lesquels les réservoirs sont portés par un carrousel apte à amener chaque réservoir jusqu’à la zone de réception où un piston commun peut assurer l’éjection d’une quantité souhaitée de produit cosmétique dans le récipient situé en dessous d’une buse portée par ledit réservoir. Comme précédemment, les documents précités donnent des exemples de systèmes de prélèvement et de distribution. La présente demande visant leur contrôle et pilotage, ils ne seront pas décrits plus avant.
En l’espèce, la machine 1 met en œuvre un système de prélèvement et de distribution du type seringue 30 à piston dont le fonctionnement général est décrit dans le document WO2019161360A1. La seringue 30 comprend un piston 31 dont le déplacement est contrôlé par un moteur. La seringue 30 est reliée fluidiquement d’une part au réservoir 12 de manière à pouvoir prélever de son contenu, et d’autre part, à la buse de distribution 4. Une première valve 13 anti-retour disposée entre le réservoir 12 et la seringue 30 et une deuxième valve 14 antiretour disposée entre la seringue 30 et la buse de distribution 20 permettent d’assurer la circulation du produit cosmétique depuis le réservoir 12 vers la buse de distribution 20.
Le système électromécanique de prélèvement et de distribution est apte à être commandé et piloté par un contrôleur 50 configuré pour délivrer un signal de commande à l’organe électromécanique en fonction de la masse de produit déterminée à distribuer (consigne) et de la donnée de pesée représentative de la quantité dudit produit cosmétique distribué.
Une fois la masse de produit à distribuer transmise au contrôleur pour consigne, la distribution de produit cosmétique s’opère de la manière suivante.
Après initialisation de la masse du récipient (masse distribuée = 0) et rétractation du piston en position maximale de manière à remplir la seringue de produit cosmétique à distribuer, le piston est déplacé de manière contrôlée pour repousser le produit cosmétique préalablement aspiré et à le distribuer dans le récipient à travers la buse.
On notera que l’inverse est également possible, à savoir rétracter le piston de manière contrôlée pour prélever une quantité attendue de produit avant de repousser totalement le piston pour distribuer toute la quantité prélevée.
Conformément à la présente demande le contrôleur 50 met en œuvre un algorithme d’apprentissage par renforcement pour déterminer le signal de commande envoyé à l’organe électromécanique.
En se référant à la figure 5 et aux définitions usuelles dans le domaine de l’apprentissage par renforcement, le contrôleur de l’organe électromécanique mettant en œuvre l’algorithme d’apprentissage par renforcement constitue l’ «agent» A, tandis que l’organe électromécanique apte à distribuer le produit cosmétique contenu dans le réservoir associé constitue l’ «environnement» E sur lequel ledit agent, agit par l’envoi du signal de commande constituant «l’action» at.
L’«état» S du système correspond à l’écart (ou erreur) entre la masse de produit distribuée et la masse de produit déterminée à distribuer (consigne). L’objectif de l’ «agent» A est ainsi d’arriver au plus près de zéro et permet de définir la «récompense» R reçue à chaque étape de distribution ainsi que la «valeur» sur l’ensemble de la distribution.
Le contrôleur «agent» agit ainsi sur l’organe électromécanique «environnement» par l’intermédiaire du signal de commande qu’il envoie en réponse à l’«état» de distribution obtenue à travers la donnée de pesée.
Contrairement à un contrôleur de type PID tel que décrit précédemment dans lequel le signal est une fonction déterminée de l’erreur ou écart (les paramètres proportionnels, intégral et dérivés sont fixés selon la dynamique souhaitée du système), l’utilisation d’un module d’apprentissage par renforcement permet une adaptation et modification du signal.
Dans le cadre de la présente demande tout ou partie des signaux de commande pouvant être envoyés pour contrôler l’organe électromécanique constituent l’ensemble des actions disponibles au contrôleur dans le cadre d’une séquence de distribution. Les actions disponibles au contrôleur peuvent aussi être un signal représentant un profil de distribution et dont des paramètres peuvent être ajustés (ajustement par renforcement de coefficients PID par exemple).
Plus particulièrement, dans le cas présent, les caractéristiques dimensionnelles de la seringue 30 permettent d’établir une correspondancea priorientre le déplacement du piston 31 et la quantité de produit distribué, la distance de déplacement du piston depuis sa position de rétractation maximale constituant ainsi un paramètre de distribution à optimiser en fonction de la masse à distribuer.
Un tel modèle de distribution peut constituer un modèle prédictif utilisé par l’algorithme d’apprentissage par renforcement. Alternativement, l’algorithme d’apprentissage par renforcement peut être mis en œuvre sans modèle prédictif et construire son propre modèle.
Ainsi, lorsque le contrôleur reçoit une consigne représentant une masse déterminée de produit cosmétique à distribuer, le modèle de distribution permet au contrôleur de convertir la masse demandée en amplitude de déplacement du piston 31 et de piloter ledit piston 31 en conséquence.
Une fois la distribution effectuée, la masse de produit réellement distribuée est comparée à la consigne et l’écart est utilisé pour modifier la stratégie de commande du contrôleur en vue des prochaines opérations de distribution.
L’adaptation de stratégie de commande peut-être réalisée après chaque opération de distribution ou postérieurement à une pluralité d’opérations de distribution, notamment après un nombre déterminé d’opérations de distribution et/ou après un laps de temps donné.
Dans un tel cas, le contrôleur à apprentissage par renforcement pourra avantageusement utiliser un algorithme de régression selon un processus gaussien.
La figure 6 montre ainsi l’adaptation de la stratégie de commande en fonction d’une fonction de simulationsimreprésentant la masse de produit distribuéewen fonction d’un paramètre de distributiond, à savoir la distance de déplacement du piston de la seringue. Les pointsOcorrespondent à des «observations», c’est à dire des états discrets de la fonction de simulation fournis au modèle pour apprentissage et renforcement. La courbe pointillée et l’enveloppe associée correspondent respectivement au modèle estimémpar le contrôleur et à l’intervalle de confianceICy associé par le module d’intelligence artificielle.
On constate que pour une fonction de simulation relativement complexe et non linéaire, il suffit de seulement 9 essais de distribution pour obtenir un modèle particulièrement fiable.
Des expériences ont également été réalisées en changeant la buse de distribution et en remplaçant une buse de distribution présentant un diamètre de 0,61mm par une buse de distribution présentant un diamètre de 1,54mm. Un tel changement pourrait intervenir dans un cas de maintenance de la machine 1 pour lequel une partie du système de distribution pour laquelle la pièce d’origine identique ne serait plus disponible. Il a été constaté que quelques opérations de distribution permettent d’ajuster rapidement le modèle de distribution du contrôleur afin de retrouver rapidement une distribution fiable et précise de la quantité de produit souhaitée.
Des expériences ont encore été réalisées en remplaçant le produit cosmétique initial par un produit cosmétique présentant des caractéristiques physico-chimiques différentes. De la même manière, le contrôleur a pu adapter rapidement sa stratégie de commande aux nouvelles propriétés de distribution du produit.
Selon un autre mode de réalisation, le contrôleur à apprentissage par renforcement utilise un algorithme d’apprentissage profond par renforcement permettant un ajustement de la stratégie de distribution au cours d’une opération de distribution, quasiment en temps réel.
Comme précédemment, le contrôleur à apprentissage peut utiliser un modèle prédictif ou être mis en œuvre sans modèle prédictif. Ainsi, le contrôleur à apprentissage par renforcement peut opérer une ou plusieurs adaptations de stratégie de commande au cours d’une opération de distribution, en particulier à intervalle régulier après une action de commande unitaire. Le nombre d’observations d’état prises en compte dans le modèle est ainsi démultiplié et adapté en temps réel pour atteindre la consigne de distribution de la manière la plus fiable possible.
Les étapes d’envoi de signal de commande à l’organe électromécanique de distribution, d’obtention et de détermination de l’écart de distribution et d’adaptation du signal de commande, sont répétées tant que ledit écart obtenu est supérieur à zéro et, de préférence, supérieur à une quantité minimum distribuable par l’organe électromécanique.
De manière générale et complémentaire, le contrôleur peut être pré-entraîné ou non avant exploitation commerciale du dispositif.
Les figures 3 et 4 montrent une machine 2 différant de la machine 1 principalement en ce qu’elle met en œuvre deux réservoirs 22a, 22b contenant chacun un produit cosmétique Pa, Pbdifférent à distribuer dans des quantités déterminées.
La machine 2 diffère également en ce que le système de distribution associé à chaque réservoir est une pompe péristaltique 35a, 35b apte à prélever dans le réservoir correspondant une quantité du produit cosmétique déterminée et à l’amener au niveau de la zone de distribution 4 de la machine 2 où ladite quantité de produit cosmétique peut être transférée à l’intérieur du récipient 10 à travers une buse de distribution 20a correspondante.
Contrairement au système de distribution précédent de type seringue, où la masse de produit cosmétique distribuée est fonction de la distance de déplacement d’un piston, pour une pompe péristaltique, le paramètre de distributiondpourra constituer en le nombre de tour d’un rotor pressant un flexible de conduction du produit.
Chaque pompe péristaltique 35a, 35b est apte à être commandé par un contrôleur 51. Le contrôleur 51 est commun aux deux pompes 35a, 35b et peut les piloter de manière séquentielle l’une après l’autre. Les pompes sont pilotées l’une après l’autre en raison de la présence d’une seule balance sous le récipient puisque la masse de chaque produit distribuée doit être suivie. Chaque pompe est toutefois pilotée avec sa propre consigne de masse de produit à distribuer et selon un processus de commande dédié avec son propre apprentissage par renforcement.
Le cas échéant, il est également envisageable d’avoir un apprentissage par renforcement commun, regroupant l’ensemble des étapes de distribution pour les deux pompes et produits, toutefois cela augmente fortement la complexité du pilotage et les besoins en terme de capacité de traitement informatique.
Il convient de noter que de manière générale, la masse de produit cosmétique à distribuer servant de consigne de distribution au contrôleur 50, 51 peut être déterminée et transmise au contrôleur 50, 51 de plusieurs manières et n’est pas l’objet de la présente demande.
La masse de produit à distribuer ainsi déterminée pour chaque composant sert de consigne de distribution pour le contrôleur de l’organe électromécanique du réservoir associé. Les données de masse à distribuer peuvent être transmises à la machine et au contrôleur par tout moyen. En particulier, les informations peuvent être obtenues via une interface mise en œuvre sur un appareil portable, telle qu’une tablette tactile, et transmises à la machine sans fil, notamment par bluetooth ou wifi, directement ou par l’intermédiaire d’un serveur délocalisé.
Les quantités ou proportions des différents composants de la formulation finale peuvent être rentrées manuellement par l’utilisateur où un opérateur à partir d’une interface adaptée ou peuvent être calculées à partir de la composition finale souhaitée.
Par exemple, un utilisateur pourra indiquer via une interface adaptée la coloration capillaire qu’il souhaite. Un ordinateur, intégré ou non à la machine, pourra alors déterminer, éventuellement en utilisant des informations complémentaires propres à l’utilisateur, une composition de coloration capillaire correspondante pour un traitement de la chevelure. L’ordinateur pilotera alors la distribution de chaque composant.
Pour un utilisateur souhaitant ainsi obtenir un produit cosmétique P lui permettant d’obtenir une couleur de cheveux ou une couleur de fond de teint C, un ordinateur déterminera par exemple que cela correspond à 90% en masse d’une crème de base incolore ou blanche B, à 5% en masse d’un premier colorant A1 et à 5% en masse d’une deuxième colorant A2. A partir de ces informations, l’ordinateur déterminera que pour une quantité de composition de, par exemple, 30g, il sera nécessaire de distribuer dans le récipient 27g de la crème de base B et 1,5g de chacun des colorants A1 et A2. Comme indiqué, la détermination de la composition à délivrer n’est pas l’objet de la présente demande et pour plus d’exemples et de détails sur ce point, on pourra se reporter aux documents précités et en particulier aux documents EP0443741, WO2019161360, US2015089751A1 ainsi qu’à US2017208920A1, US5478238A et US9519927 pour des fonds de teint et autres.
On notera également que les modèles d’apprentissage des différentes machines faisant partie d’une flotte d’exploitation peuvent être centralisés et comparés afin de détecter des déviations et anticiper d’éventuelles opérations de maintenance. Il est ainsi possible de détecter, par exemple, un bouchage de buse ou flexible conducteur, voire l’approche de la fin d’un produit dans un réservoir principal et d’indiquer alors un remplacement prochain.

Claims (15)

  1. Dispositif (1, 2) pour la distribution d’une masse déterminée d’un produit cosmétique (P, Pa, Pb) dans un récipient (10) depuis un réservoir (12, 22a, 22b), le dispositif comprenant au moins un organe électromécanique (30, 35a, 35b) apte à assurer le déplacement d’une quantité de produit cosmétique depuis ledit réservoir installé dans le dispositif vers une zone de distribution (4) dudit dispositif où ladite quantité de produit peut être transférée à travers une buse (20) à l’intérieur du récipient reçu dans ladite zone de distribution, le dispositif comprenant un contrôleur (50, 51) configuré pour délivrer un signal de commande à l’organe électromécanique en fonction d’une erreur par rapport à une consigne correspondant à la masse déterminée de produit cosmétique à délivrer, ladite erreur étant déterminée à partir d’une donnée de pesée obtenue par au moins une cellule de pesée (13) du réservoir équipant la zone de réception, le dispositif étant caractérisé en ce que le contrôleur est un contrôleur à apprentissage par renforcement.
  2. Dispositif (1, 2) selon la revendication 1, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement utilise un algorithme de régression selon un processus gaussien.
  3. Dispositif (1, 2) selon la revendication 1, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement utilise un algorithme d’apprentissage profond par renforcement.
  4. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 3, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement est basé sur un modèle prédictif initial.
  5. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 3, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement fonctionne sans modèle prédictif initial.
  6. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 5, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement a été pré-entrainé avant exploitation commerciale du dispositif.
  7. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 5, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement n’a pas été pré-entraîné avant exploitation commerciale du dispositif.
  8. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 7, caractérisé en ce que le contrôleur (50, 51) à apprentissage par renforcement est configuré pour opérer une adaptation de stratégie de commande postérieurement à une pluralité d’opérations de distribution, notamment après un nombre déterminé d’opérations de distribution et/ou après un laps de temps donné, sur la base des opérations effectuées pendant ce laps de temps et définissant ensemble un profil de distribution.
  9. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 8, caractérisé en ce que le contrôleur à apprentissage par renforcement est configuré pour opérer une ou plusieurs adaptations de stratégie de commande au cours d’une opération de distribution, en particulier à intervalle régulier après une action de commande unitaire.
  10. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 9, caractérisé en ce que l’organe électromécanique (35a, 35b) de distribution est une pompe à déplacement positif, par exemple une pompe péristaltique.
  11. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 9, caractérisé en ce que l’organe électromécanique (30) de distribution est une seringue.
  12. Dispositif (1, 2) selon l’une quelconque des revendications 1 à 9, caractérisé en ce que le dispositif est configuré pour recevoir une pluralité de réservoirs (22a, 22b) configurés pour des ingrédients cosmétiques fonctionnellement différents, lesdits produits cosmétiques fonctionnellement différents étant aptes à être combinés pour former un produit cosmétique.
  13. Procédé de contrôle d’un organe électromécanique (30, 35a, 35b) de distribution équipant un dispositif (1, 2) selon l’une quelconque des revendications 1 à 12, caractérisé en ce qu’il comprend les étapes visant à:
    - fournir une consigne représentant une masse déterminée de produit à distribuer,
    - envoyer un signal de commande à l’organe électromécanique,
    - obtenir, à partir de la cellule de pesée (13), la masse de produit distribuée suite à l’exécution de la commande par l’organe électromécanique de distribution,
    - déterminer un écart entre la masse de produit distribuée suite à l’exécution de la commande et la consigne,
    - modifier le signal de commande par un processus d’apprentissage par renforcement en vue de minimiser l’écart.
  14. Procédé de contrôle selon la revendication 13 d’un dispositif selon la revendication 8, caractérisé en ce que le signal de commande correspond à un profil de distribution complet de la consigne et est modifié après au moins une opération de distribution complète, préférentiellement après une pluralité d’opérations de distribution complètes, notamment après un nombre prédéterminé d’opérations et / ou après un intervalle de temps déterminé.
  15. Procédé de contrôle selon la revendication 13, d’un dispositif selon la revendication 9, caractérisé en ce que le signal de commande correspond à une action de distribution incomplète unitaire, le signal de commande étant modifié au moins une fois au cours du procédé de distribution complet, les étapes d’envoi de signal de commande à l’organe électromécanique de distribution, d’obtention et de détermination de l’écart de distribution et d’adaptation du signal de commande, étant répétées tant que ledit écart obtenu est supérieur à zéro et, de préférence, supérieur à une quantité minimum distribuable par l’organe électromécanique.
    .
FR2001971A 2020-02-27 2020-02-27 Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique Active FR3107643B1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
FR2001971A FR3107643B1 (fr) 2020-02-27 2020-02-27 Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
CN202180016798.7A CN115210540A (zh) 2020-02-27 2021-01-12 用于分配受控量的化妆品组合物的机器
US17/904,927 US20230127741A1 (en) 2020-02-27 2021-01-12 Machine for dispensing a controlled amount of a cosmetic composition
PCT/EP2021/050453 WO2021170302A1 (fr) 2020-02-27 2021-01-12 Machine de distribution d'une quantité contrôlée d'une composition cosmétique
EP21702164.1A EP4111145A1 (fr) 2020-02-27 2021-01-12 Machine de distribution d'une quantité contrôlée d'une composition cosmétique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2001971A FR3107643B1 (fr) 2020-02-27 2020-02-27 Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
FR2001971 2020-02-27

Publications (2)

Publication Number Publication Date
FR3107643A1 true FR3107643A1 (fr) 2021-09-03
FR3107643B1 FR3107643B1 (fr) 2022-01-21

Family

ID=70295480

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2001971A Active FR3107643B1 (fr) 2020-02-27 2020-02-27 Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique

Country Status (5)

Country Link
US (1) US20230127741A1 (fr)
EP (1) EP4111145A1 (fr)
CN (1) CN115210540A (fr)
FR (1) FR3107643B1 (fr)
WO (1) WO2021170302A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482662B2 (ja) * 2020-03-25 2024-05-14 東京エレクトロン株式会社 異常検出装置及び異常検出方法
US20220404193A1 (en) * 2021-06-17 2022-12-22 International Business Machines Corporation Adjusting parameters of weighing device for reducing average giveaway rate when packaging an article
US20230417592A1 (en) * 2022-06-22 2023-12-28 Badri Kermani Hair Color Mixer

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0304093A2 (fr) * 1987-08-21 1989-02-22 Fuji Photo Film Co., Ltd. Dispositif pour mesurer les quantités de liquides
EP0443741A1 (fr) 1990-02-22 1991-08-28 Revlon Consumer Products Corporation Dispositif pour établir la composition de produits à fonction cosmétique
WO1991018327A1 (fr) * 1990-05-23 1991-11-28 Kodak Limited Appareil de traitement photographique
US5478238A (en) 1993-08-03 1995-12-26 Parfums Christian Dior Method and apparatus for determining the foundation makeup color that substantially reproduces a person's natural skin color
EP1093842A1 (fr) 1999-10-19 2001-04-25 Maria Jesus Esmoris Rodriguez Machine de melange pour teintures et cremes
US20050092772A1 (en) 2003-10-30 2005-05-05 Miller William A. Automated cosmetics dispenser for point of sale cosmetics products
WO2008046518A1 (fr) 2006-10-13 2008-04-24 Beiersdorf Ag Dispositif et procédé pour préparer des produits cosmétiques au moyen de composants supplémentaires
US20090218007A1 (en) 2008-03-03 2009-09-03 The Saranow Group, Llc Manual Hair Dye Apparatus and Method for Using the Same
US20150089751A1 (en) 2011-03-21 2015-04-02 Coloright Ltd. Systems for custom coloration
WO2015067956A1 (fr) 2013-11-07 2015-05-14 Imperial Innovations Limited Système et procédé d'administration de médicament
US9519927B1 (en) 2013-05-22 2016-12-13 Sephora USA, Inc. System for cosmetics matching based on skin tone
US20170151538A1 (en) 2015-12-01 2017-06-01 L'oreal Apparatus for dispensing and mixing blended composition for skin treatment
US20170208920A1 (en) 2016-01-27 2017-07-27 L'oreal Apparatus for dispensing cosmetic material
WO2017213834A1 (fr) 2016-06-10 2017-12-14 L'oreal Système péristaltique à main de distribution de produit cosmétique
WO2019161360A1 (fr) 2018-02-19 2019-08-22 Coty Inc. Système de personnalisation de formulations de coloration capillaire
WO2019180252A1 (fr) 2018-03-23 2019-09-26 InterProducTec Consulting GmbH & Co. KG Système de surveillance destiné à un appareil de préparation de boissons

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0304093A2 (fr) * 1987-08-21 1989-02-22 Fuji Photo Film Co., Ltd. Dispositif pour mesurer les quantités de liquides
EP0443741A1 (fr) 1990-02-22 1991-08-28 Revlon Consumer Products Corporation Dispositif pour établir la composition de produits à fonction cosmétique
WO1991018327A1 (fr) * 1990-05-23 1991-11-28 Kodak Limited Appareil de traitement photographique
US5478238A (en) 1993-08-03 1995-12-26 Parfums Christian Dior Method and apparatus for determining the foundation makeup color that substantially reproduces a person's natural skin color
EP1093842A1 (fr) 1999-10-19 2001-04-25 Maria Jesus Esmoris Rodriguez Machine de melange pour teintures et cremes
US20050092772A1 (en) 2003-10-30 2005-05-05 Miller William A. Automated cosmetics dispenser for point of sale cosmetics products
WO2008046518A1 (fr) 2006-10-13 2008-04-24 Beiersdorf Ag Dispositif et procédé pour préparer des produits cosmétiques au moyen de composants supplémentaires
US20090218007A1 (en) 2008-03-03 2009-09-03 The Saranow Group, Llc Manual Hair Dye Apparatus and Method for Using the Same
US20150089751A1 (en) 2011-03-21 2015-04-02 Coloright Ltd. Systems for custom coloration
US9519927B1 (en) 2013-05-22 2016-12-13 Sephora USA, Inc. System for cosmetics matching based on skin tone
WO2015067956A1 (fr) 2013-11-07 2015-05-14 Imperial Innovations Limited Système et procédé d'administration de médicament
US20170151538A1 (en) 2015-12-01 2017-06-01 L'oreal Apparatus for dispensing and mixing blended composition for skin treatment
US20170208920A1 (en) 2016-01-27 2017-07-27 L'oreal Apparatus for dispensing cosmetic material
WO2017213834A1 (fr) 2016-06-10 2017-12-14 L'oreal Système péristaltique à main de distribution de produit cosmétique
WO2019161360A1 (fr) 2018-02-19 2019-08-22 Coty Inc. Système de personnalisation de formulations de coloration capillaire
WO2019180252A1 (fr) 2018-03-23 2019-09-26 InterProducTec Consulting GmbH & Co. KG Système de surveillance destiné à un appareil de préparation de boissons

Also Published As

Publication number Publication date
CN115210540A (zh) 2022-10-18
US20230127741A1 (en) 2023-04-27
WO2021170302A1 (fr) 2021-09-02
FR3107643B1 (fr) 2022-01-21
EP4111145A1 (fr) 2023-01-04

Similar Documents

Publication Publication Date Title
FR3107643A1 (fr) Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
WO2017207778A1 (fr) Systeme de distribution d'un produit cosmetique
US11076680B2 (en) System for dispensing a makeup product
CA2991237C (fr) Systeme de fabrication d'une formulation
US10849406B2 (en) System for dispensing at least one makeup product and method for dispensing and evaluating makeup
US10925377B2 (en) Dispensing system having at least two outlet interfaces
JP6522758B2 (ja) エアブラシを備える組立体
EP3400096A1 (fr) Procede et dispositif avec interface pour la fabrication d'un produit personnalise
WO2017118802A1 (fr) Procede et dispositif pour la fabrication d'un produit personnalise par melange avec capsules
EP3478399A2 (fr) Système de préparation d'une composition personnalisée par pression
FR3052033A1 (fr) Applicateur cosmetique
FR3029088A1 (fr) Systeme de distribution comportant au moins une cartouche
FR3108247A1 (fr) Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
FR3029102B1 (fr) Procede de maquillage
FR3029083B1 (fr) Systeme de distribution permettant de delivrer un melange de couleur variable
FR3136939A1 (fr) Système pour le traitement personnalisé de la peau comprenant un distributeur et un applicateur à capsule
FR3029327A1 (fr) Procede d'apprentissage d'un systeme de distribution
FR3029086A1 (fr) Systeme de distribution comportant au moins deux interfaces de sortie
FR3029084A1 (fr) Systeme de distribution comportant une interface de sortie ayant un melangeur statique
FR3029085A1 (fr) Systeme de distribution comportant une coupelle
FR3029087A1 (fr) Systeme de distribution d'un produit de maquillage
FR3116422A1 (fr) Systeme de distribution de cosmetiques en poudre
WO2009135525A1 (fr) Doseur et pot doseur pour la distribution d ' un composant solide

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210903

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5