-
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur automatisierten Bestimmung einer individuellen Pflegemittelformulierung für einen Benutzer.
-
Kosmetische Pflegemittel spielen eine immer größere Rolle für das ästhetische Wohlbefinden der Bevölkerung. Während Verbraucher in der Vergangenheit im Wesentlichen auf die Möglichkeit beschränkt waren, aus bestehenden Pflegemitteln eine Auswahl zu treffen in dem Bemühen, mittels Trial-And-Error ein für die eigenen Bedürfnisse geeignetes Pflegemittel zu finden. Zwar konnten sich die Verbraucher stets auch durch pharmazeutisch ausgebildete Personen individuelle Pflegemittel zusammenstellen lassen. Allerdings beruhte die Formulierung dann auf dem normalerweise eher beschränkten persönlichen Erfahrungsschatz des Pharmazeuten.
-
Aus der
US 2006/0229912 A1 ist ein automatisiertes Verfahren bekannt, bei dem auf der Grundlage von Bildmaterial eines Benutzers sowie Antworten auf Fragen zu den Hauteigenschaften ein Hautbehandlungsprogramm, wie Massage, ermittelt wird.
-
Aus der
US 2017/0281526 A1 ist ferner ein gattungsgemäßes Verfahren bekannt, welches auf der Grundlage von Bildmaterial und Befragungsresultaten eine individuelle Pflegemittelformulierung für einen Benutzer generiert.
-
Aus der
WO 2019/148116 A1 ist ferner ein gattungsgemäßes Verfahren bekannt, mittels dessen ebenfalls auf der Grundlage von Bildmaterial und Befragungsresultaten unter Verwendung eines neuronalen Netzwerkes eine individuelle Pflegemittelformulierung für einen Benutzer generiert wird.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur automatisierten Bestimmung einer individuellen Pflegemittelformulierung für einen Benutzer bereitzustellen, das eine möglichst geeignete Pflegemittelformulierung bereitstellt.
-
Diese Aufgabe wird durch das Verfahren gemäß Anspruch 1 gelöst. Dieses Verfahren umfasst:
- - eine Merkmalseingaberoutine zur Ermittlung von individuellen Hautmerkmalen des Benutzers;
- - die Erstellung eines Benutzervektors auf der Grundlage dieser Daten;
- - mittels eines mehrschichtigen neuronalen Netzwerkes Erstellung eines Merkmalsvektors, der die Eigenschaften und Funktionalitäten der zu bestimmenden Pflegemittelformulierung enthält, auf der Grundlage des Benutzervektors,
- - wobei das neuronale Netzwerk in einem ersten Formulierungsdurchlauf für den Benutzer mit einem Lernvektorensatz aus parametrisiertem Expertenwissen gebildet ist,
- - wobei der Lernvektorensatz bei weiteren Formulierungsdurchläufen durch Erfassung von Veränderungen der individuellen Hautmerkmale nach Anwendung einer früher bestimmten Pflegemittelformulierung angepasst wird,
- - Erstellung der individuellen Pflegemittelformulierung auf der Grundlage des Merkmalsvektors sowie einer Inhaltsstoff-Zwangsbedingungsdatenbasis unter Verwendung eines Verlustfunktion-Optimierungsverfahrens,
- - eine Merkmalsänderungsroutine zur Eingabe von Veränderungen von Hautmerkmalen des Benutzers nach Anwendung eines Pflegemittels gemäß der Pflegemittelformulierung, zur Anpassung des Lernvektorensatzes.
-
Das erfindungsgemäße Verfahren stellt einen hybriden Ansatz dar, der zunächst Hintergrundwissen von Domänenexperten (d.h. von Dermatologen), die ein initiales Mapping spezifizieren, inkludiert. Dieses wird durch eine strukturierte Analyse von Benutzerfeedback erweitert, wodurch die Genauigkeit erhöht wird. Diese Feedback-Schleife ist derart gestaltet, dass der Benutzer vorzugsweise auf zwei Arten kontinuierlich Feedback geben kann, sowohl explizit durch Benennung und Gewichtung von positiven und negativen Resultaten als auch implizit etwa durch sensorischen Input wie Bildmaterial von Hautpartien, welches sich automatisiert vergleichend analysieren lässt. Auf Basis des gewonnenen Feedbacks wird das Mapping des Benutzervektors auf den dazu korrespondierenden Merkmalsvektor als maschinelles Lernproblem gehandhabt: das Mapping wird mittels eines mehrschichtigen neuronalen Netzwerks definiert, dessen Kantengewichte derart gesetzt sind, dass ein maximale Korrespondenz quantifizierendes Zielfunktional maximiert wird. Gemäß einer bevorzugten Ausbildung pönalisiert dieses Funktional darüber hinaus Entsprechungen von Benutzer- und Merkmalsvektoren die sich gemäß der durch die Feedback-Schleife gewonnenen Angaben als nicht hinreichend kompatibel herausgestellt haben. Das beruht auf der Erkenntnis, dass die Nutzerangaben stets seiner individuellen subjektiv gefärbten Einschätzung unterliegen, sodass hier stets eine Kombination aus parametrisiertem Expertenwissen und Kundenfeedback in die finale Gewichtung eingeht. Das Zusammenspiel der zur Umsetzung dieses Modells notwendigen technischen Expertise und der fachlichen Einschätzung und Objektivität der Domänenexperten aus der Dermatologie ist hier ein besonderer Vorteil der Erfindung.
-
Durch das hybride Setup aus Benutzer-Feedback und Domänenexpertise verändert sich die Rolle letzterer bei aufeinanderfolgenden Formulierungsdurchläufen. Sind es zu Beginn, also beim initialen Formulierungsdurchlauf noch die Experten, welche das Mapping spezifizieren, so verschiebt sich dies mit jedem darauffolgenden Formulierungsdurchlauf, also nach Anwendung einer in einem früheren Formulierungsdurchlauf gewonnenen Pflegemittelformulierung in Richtung des Benutzers und damit auch die Rolle der Experten von wissensbasierten Definitoren hin zu Kontrollinstanzen. Daher kann erfindungsgemäß initial auch mit relativ geringen Datenmengen seitens der Benutzer gearbeitet werden und der Datenpool und damit das Modell organisch mit der Anzahl der Benutzer wachsen. Dies ermöglicht es auch, in Bezug auf die Qualität der Daten wählerisch zu agieren und etwa potentiell inkonsistente Datensätze rigoros auszuschließen.
-
Die direkte Inkorporierung von strukturiertem Benutzerfeedback in die Quantifizierung der Ausprägungsgrade einzelner Produktmerkmale bewirken, dass Benutzer in den Formulierungsprozess unmittelbar mit einbezogen und die Entwicklung der Benutzerprioritäten bei gleichzeitigem Wissen über deren Profil verfolgt werden können.
-
Ist die Zuordnung des Merkmalsvektors zum jeweiligen Benutzer erfolgt, beginnt die Formulierung des personalisierten Pflegemittels. Dies erfolgt automatisiert durch Ausführung eines auf Basis eines Inhaltsstoff- und Constraint-Modell spezifizierten Optimierungsverfahrens, das vorzugsweise eines oder mehrere der folgenden Zwangsbedingungen: Mindestdosierung, Höchstdosierung, Kompatibilitätsbeschränkungen zu anderen Inhaltsstoffen, umfasst.
-
Das Wirkstoffmodell erfasst dabei systematisch potentielle Inhaltsstoffe mit ihren quantitativen Wirkungsgraden in Bezug auf spezifische Effekte. Die dabei erfassten Effekte entsprechen in ihrer Gesamtheit den oben erläuterten Merkmalen, sodass mittels Optimierung algorithmisch diejenige optimale Kombination an Wirkstoffen bestimmt werden kann, die zu dem jeweiligen Benutzer korrespondiert. Die Hinzunahme weiterer Inhaltsstoffe ist notwendig, um Produktstabilität oder etwa eine gewünschte Konsistenz zu gewährleisten. Die Menge der im Modell abzudeckenden Wirkstoffe kann im Laufe der Zeit anpasst werden. Es werden vorzugsweise keine potentiell gesundheitsgefährdeten oder paraffinhaltigen Stoffe verwendet, sodass mit entsprechend ihrer Verfügbarkeit und ihren Kosten zu erfolgenden Priorisierung zunächst eine handhabbare Menge initial zu erfassender Stoffe in das Modell aufgenommen wird. Im weiteren zeitlichen Verlauf kann dieses Modell organisch durch Hinzunahme weiterer Inhaltsstoffe, etwa auch auf Basis von Markttrends und Kundenwünschen, wachsen.
-
Dabei wurde erfindungsgemäß festgestellt, dass eine einfache Optimierung mit der Zielsetzung maximaler Überdeckung des eingegebenen Merkmalsvektors und der Merkmale der algorithmisch zu bestimmenden Formulierung nicht zu einer optimalen Formulierung führt, denn es gibt keine entsprechenden Einschränkungen der einzelnen Aktionen des Algorithmus die sicherstellen, dass diese finale Formulierung die notwendigen Kompatibilitäten- und Stabilitätskriterien gewährleistet.
-
Daher erfolgt erfindungsgemäß die Hinzunahme eines Constraint-Modells, in welchem genau diejenige Menge aller zu erfüllender Zwangsbedingungen an das Pflegemittel erfasst ist, die zu validen Formulierungen führen. Diese beinhalten vorzugsweise neben Dosierungsbeschränkungen auch paarweise Kompatibilitätseinschränkungen sowie die Verwendung hinreichender Mengen von Basiskombinationen.
-
Das Wirkstoff- und Constraint-Modell sind von Chemikern und Pharmazeuten in enger Zusammenarbeit mit Modellbildungs- und algorithmischen Experten entworfen worden.
-
Die algorithmische Lösung der Suche nach maximaler Korrespondenz des Merkmalsvektors und der Merkmale der algorithmisch zu bestimmenden Formulierung zwecks Konzeption des für den Benutzer optimalen Pflegemittels erfolgt durch ein eingeschränktes Optimierungsverfahren (constrained optimization), wobei das genannte Modell vorzugsweise schlecht gestellt (ill-posed) und daher entsprechend regularisiert ist. Sowohl für die Konzeption von Wirkstoff- und Constraint-Modell als auch für die adäquate Regularisierung ist Domänenexpertise im Zusammenspiel mit Modellbildungs- und algorithmischen Experten notwendig.
-
Gemäß einer vorteilhaften Weiterbildung der Erfindung stellt die Merkmalseingaberoutine Fragen an den Benutzer zur Ermöglichung der Eingaben von individuellen Hautmerkmalen des Benutzers bereit, um mehrere der folgenden Daten des Benutzers zu erfassen: Hauttyp, Empfindlichkeitsgrad, Irritationsneigung, Bildung von Äderchen oder Venen, Pigmentflecken, Rötungen, Unreinheiten, Feuchtigkeitsverlust, Festigkeit, Elastizität, Neigung zu schuppigen Stellen, Falten, Porenbild. Aus möglichst vielen dieser Hautmerkmale wird erfindungsgemäß der Benutzervektor generiert. Die Eingabe erfolgt über die Beantwortung von Fragen durch den Benutzer sowie über Bildauswertung durch fotografische Aufnahmen von Hautpartien an bevorzugten Stellen.
-
Gemäß einer vorteilhaften Weiterbildung ermöglicht die Merkmalseingaberoutine eine Eingabe weiterer nicht-hautbezogener Daten des Benutzers: Geschlecht, Lebensumfeld, Stresslevel, Schlafgewohnheit, Ernährung, Wasserkonsum, Rauchgewohnheiten, Reisegewohnheiten, sportliche Aktivitäten, UV-Strahlungsexposition, die über Fragen-Antworten eingegeben werden.
-
Gemäß einer vorteilhaften Weiterbildung ermöglicht die Merkmalseingaberoutine die Eingabe von Zielvorgaben des Benutzers für das Pflegemittel, vorzugsweise eine Pflegemittel-Sensorik, eine Pflegemittel-Farbe und/oder einen Pflegemittel-Duft.
-
Vorzugsweise werden die Antworten und die Bildauswertungen miteinander verglichen, um die Merkmale zu gewinnen. Fotografische Aufnahmen werden vorzugsweise unter verschiedenen Beleuchtungsspektren (Infrarot, rot, blau, UV) angefertigt, um einzelne Merkmale besser zu bestimmen.
-
Gemäß einer vorteilhaften Weiterbildung umfasst der Lernvektorensatz Merkmalsvektoren von anderen Benutzern, wodurch mit einer zunehmenden Anzahl an Benutzern die Genauigkeit der Formulierungen aufgrund der Erfahrungswerte dieser Benutzer verbessert wird.
-
Gemäß einer vorteilhaften Weiterbildung ermittelt das Verlustfunktion-Optimierungsverfahren (Loss-Funktion) ein globales Minimum mittels eines Gradientenverfahrens oder dem Monte-Carlo-Algorithmus.
-
Das Verlustfunktion-Optimierungsverfahren verwendet die Loss-Funktion
mit
FV
Customer: Zielmerkmalsvektor
FV
Cream: Pflegemittel-Merkmalsvektor
IV
j = 1: Bestandteil ist in der Formulierung; = 0: Bestandteil ist nicht in der Formulierung.
-
Der bevorzugte Monte-Carlo-Algorithmus hat folgenden Ablauf
Schritt n -> n+1:
- • für einen zufälligen Wirkstoff j wird im IV Vektor Vorhandensein (=1) oder Nichtvorhandensein (=0) vertauscht,
- • Loss-Wert L(n+1) wird berechnet,
- • L(n+1) wird mit dem vorherigen Wert von L(n) verglichen,
- • wenn L(n+1) <= L(n) dann wird der Schritt akzeptiert
- • wenn L(n+1) > L(n) wird der Schritt mit der üblichen Boltzmann-Wahrscheinlichkeit exp((L(n) - L(n+1))/T) akzeptiert oder verworfen.
- • T ist dabei ein Normalisierungsparameter, den man mit jedem Schritt um einen Faktor T(n,1)=T(n) * F mit F<1 verkleinert. Stabil ist bei der erfindungsgemäßen Anwendung beispielswese F=0.995. Der Algorithmus konvergiert nach ein paar hunderttausend Schritten.
-
Beim Gradidentenverfahren sieht ein Schritt n -> n+1 folgendermaßen aus:
- • Für jedes j in IV_j wird ausgehend vom aktuellen IV Vektor das Vorhandensein oder Nichtvorhandensein getauscht.
- • L wird für jeden neuen Vektor IV berechnet
- • Die Änderung mit dem niedrigsten L wird akzeptiert
Der Algorithmus konvergiert nach ein paar tausend Schritten.
-
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen weiter erläutert. Dabei zeigt
- 1: ein Blockschaltbild einer Vorrichtung zur Durchführung des Verfahrens
- 2: ein Blockdiagramm des erfindungsgemäßen Verfahrens
-
1 zeigt ein Blockschaltbild einer Vorrichtung 10 zur Durchführung des Verfahrens, umfassend eine Merkmalseingabeeinheit 12, die eine Interaktionseinheit 14 zur interaktiven Dateneingabe durch einen Benutzer umfasst. Vorzugsweise umfasst die Interaktionseinheit 14 einen Bildschirm zur optischen Ausgabe von Fragen an den Benutzer, die von diesem durch Betätigung von Tasten, oder eines interaktiven Bildschirmes oder akustisch eingegeben werden können. Die Merkmalseingabeeinheit 12 umfasst ferner eine Fotoeingabeeinheit 16 zur Erzeugung von fotografischen Aufnahmen von Hautpartieen, beispielsweise dem Nasen-, Stirn- oder Kinnbereich des Benutzers oder des Handrückens.
-
Eine Datenverarbeitungseinheit 18 wertet die über die Merkmalseingabeeinheit 12 eingegebenen Benutzerdaten aus und erzeugt einen Benutzervektor, der in einer Speichereinheit 20 abgelegt wird.
-
Der Benutzervektor kann eine große Anzahl an Feldern aufweisen, beispielsweise:
- Hautallergien: ja/nein
- Pigmentierung: Benutzereingabe 0 (sehr helle Haut) bis 4 (dunkelbraun)
- Venensichtbarkeit: ja/nein
- Hautzustand am Abend: „generell trocken“, „teilweise trocken“, „fettig“, „normal“, „weiß nicht“
- Geschlecht: „männlich“, „weiblich“, „anders“
- Schwangerschaft: ja/nein
- Sonneneinstrahlung: subjektiv durch Benutzer 0 bis 4
-
Die Datenverarbeitungseinheit 18 umfasst ein mehrschichtiges neuronales Netzwerk 22. In der Speichereinheit 20 ist zum Anlernen des Netzwerkes 22 mindestens ein Lernvektorensatz abgelegt. Das mittels des Lernvektorensatzes trainierte neuronale Netzwerk 22 erzeugt aus dem Benutzervektor einen Merkmalsvektor, welches die Merkmale der Pflegemittelformulierung enthält.
-
Ein Lernvektorensatz enthält Korrelationen zwischen Eigenschaften der verfügbaren Substanzen, die Bestandteil der Pflegemittelformulierung sein können, sowie Wechselwirkungen mit anderen Substanzen. Der Lernvektorensatz wurde aufgrund dermatologischen Expertenwissens und vorzugsweise aufgrund der von anderen Benutzern gewonnenen Erkenntnisse erzeugt.
-
Der Lernvektorensatz wird ferner durch Erfahrungswissen aufgrund vorheriger Behandlungen des Benutzers mit früher bestimmten Pflegemittelformulierungen und den daraus resultierenden Auswirkungen in einer Feedback-Schleife aktualisiert. Dazu kann die Interaktionseinheit 14 Fragen nach Verbesserungen oder Verschlechterungen bestimmter Hautmerkmale an den Benutzer nach einer Behandlung mit einer bestimmten Pflegemittelformulierung ausgeben, wobei die Antworten in den Lernvektorensatz einfließen.
-
Die Datenverarbeitungseinheit 18 ist mit einer Datenausgabeeinheit 24, welche die auf diese Weise bestimmte Pflegemittelformulierungen ausgibt. Die Datenausgabeeinheit 24 kann eine optische Anzeigeeinrichtung umfassen. Die Datenausgabeeinheit 24 kann mit einer Pflegemittelerzeugungseinheit 26 gekoppelt sein, die auf der Grundlage der in der Datenausgabeeinheit 24 befindlichen Formulierung das Pflegemittel mischt. Dazu enthält die Pflegemittelerzeugungseinheit 26 eine Anzahl Behälter 28 zur Aufnahme von Substanzen, die potentiell oder zwingend Bestandteil des zu erzeugenden Pflegemittels sind sowie eine Mischeinrichtung 30, die aus den in den Behältern 28 befindlichen Substanzen anhand der bestimmten Pflegemittelformulierung das Pflegemittel mischt und in einen geeigneten Behälter ausgibt.
-
In 2 ist der Formulierungsprozess nochmals dargestellt. In einem interaktiven Dateneingabeschritt 100 gibt der Benutzer durch Beantwortung von Fragen Daten zu seinem Hautprofil ein. In einem optischen Dateneingabeschritt 102 werden mittels einer Kamera mehrere Fotoaufnahmen einer oder mehrerer Hautabschnitte gemacht. Im Schritt 104 erfolgt eine Datenauswertung, insbesondere mittels Datenverarbeitungsalgorithmen, um aus den fotografischen Aufnahmen bestimmte Hautmerkmale zu extrahieren. Im Schritt 104 wird über die gewonnenen Bildinformationen eine Plausibilitätsprüfung vorgenommen um zu prüfen, ob die vom Benutzer eingegebenen mit den optisch erfassten Hauteigenschaften übereinstimmen. Bei Abweichungen können an den Benutzer Ergänzungsfragen gestellt werden oder es können weitere Fotoaufnahmen, z.B. unter anderen Beleuchtungswinkeln oder anderen Beleuchtungsspektren, angefertigt und ausgewertet werden. Im Ergebnis wird im Schritt 104 ein Benutzervektor 106 bestimmt, der alle für die Formulierung mehr oder weniger relevanten Benutzerinformationen enthält.
-
Im Schritt 108 erzeugt ein mehrschichtiges neuronales Netzwerk auf der Grundlage des Benutzervektors 106 sowie in einer Wissensdatenbank 110 abgelegtem Lernvektorensatz einen Merkmalsvektor 112, der die Merkmale der zu bestimmenden Pflegemittelformulierung enthält.
-
Im Schritt 114 wird aus dem Merkmalsvektor 112 mittels eines Optimierungsverfahrens aufgrund einer Inhaltsstoff-Zwangsbedingungsdatenbank 116 unter Verwendung eines Verlustfunktion-Optimierungsverfahrens die Pflegemittelformulierung 118 bestimmt.
-
Im Schritt 120 wird aus der Pflegemittelformulierung 118 das Pflegemittel aus verfügbaren Substanzen erzeugt und für den Benutzer in ein geeignetes Behältnis eingefüllt.
-
Anschließend wird der Benutzer das Pflegemittel über einen geeigneten Zeitraum von 1-3 Wochen auf die Haut auftragen. Dieser kann die Wirkungen beobachten und danach in einem Schritt 122, der dem interaktiven Dateneingabeschritt 100 weitgehend ähnelt, seine Erfahrungen und Beobachtungen eingeben, die in einer Benutzerdatenbank 124 gespeichert werden und in einem darauffolgenden Formulierungsdurchlauf Bestandteil des Lernvektorensatzes zum Anlernen des neuronalen Netzwerkes 22 im Schritt 108 werden.
-
Bezugszeichenliste
-
- 10
- Vorrichtung
- 12
- Merkmalseingabeeinheit
- 14
- Interaktionseinheit
- 16
- Fotoeingabeeinheit
- 18
- Datenverarbeitungseinheit
- 20
- Speichereinheit
- 22
- neuronales Netzwerk
- 24
- Datenausgabeeinheit
- 26
- Pflegemittelerzeugungseinheit
- 28
- Behälter
- 30
- Mischeinrichtung
- 100
- interaktiver Dateneingabeschritt
- 102
- optischer Dateneingabeschritt
- 104
- Schritt der Erzeugung eines Benutzervektors
- 106
- Benutzervektor
- 108
- Schritt der Erzeugung eines Merkmalsvektors
- 110
- Wissensdatenbank
- 112
- Merkmalsvektor
- 114
- Schritt der Erzeugung einer Pflegemittelformulierung
- 116
- Inhaltsstoff-Zwangsbedingungsdatenbank
- 118
- Pflegemittelformulierung
- 120
- Schritt der Erzeugung des Pflegemittels
- 122
- Schritt der Eingabe von Erfahrungen
- 124
- Benutzerdatenbank
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2006/0229912 A1 [0003]
- US 2017/0281526 A1 [0004]
- WO 2019/148116 A1 [0005]