DE102023101120A1

DE102023101120A1 - Chromatische Untertondetektion

Info

Publication number: DE102023101120A1
Application number: DE102023101120.0A
Authority: DE
Inventors: Michele SAAD; Ronald Oribio; Robert W. Burke Jr.; Irgelkha Mejia
Original assignee: Adobe Inc
Current assignee: Adobe Inc
Priority date: 2022-03-25
Filing date: 2023-01-18
Publication date: 2023-09-28
Also published as: CN116805373A; US20230306714A1

Abstract

Gewisse Aspekte und Merkmale der vorliegenden Offenbarung betreffen die chromatische Untertondetektion. Ein Verfahren impliziert beispielsweise ein Empfangen einer Bilddatei und ein unter Nutzung eines Farbwärmeklassifizierers erfolgendes Erzeugen eines Bildwärmeprofils aus der Bilddatei. Das Verfahren impliziert des Weiteren ein Anwenden eines oberflächenbildtrainierten maschinell lernenden Modells auf das Bildwärmeprofil zur Erzeugung eines abgeleiteten Untertonwertes für die Bilddatei. Das Verfahren impliziert des Weiteren ein unter Nutzung eines Empfehlungsmoduls und des abgeleiteten Untertonwertes erfolgendes Vergleichen eines Bildfarbwertes mit mehreren vorher existierenden Farbwerten entsprechend einer Datenbank von Produktionsbildern und ein in Reaktion auf das Vergleichen erfolgendes Veranlassen, dass interaktiver Content, der die wenigstens eine Produktionsbildauswahl aus der Datenbank von Produktionsbildern beinhaltet, auf einer Rezipientenvorrichtung bereitgestellt wird.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft allgemein die computerisierte Digitalbildanalyse. Die vorliegende Offenbarung betrifft insbesondere, jedoch nicht hierauf beschränkt, Programmiertechniken zum genauen Identifizieren von chromatischen Untertönen in Digitalbildern und automatischen Bereitstellen von interaktivem Content, so beispielsweise von anderen Bildern, die auf Grundlage der chromatischen Untertöne ausgewählt werden.
Hintergrund
Bei der Farbwahrnehmung ist ein Unterton eine gedämpfte bzw. dezente (subdued) Farbe, die man durch eine andere Farbe hindurch sieht und die diese modifiziert. Beschrieben werden kann ein derartiger Unterton daher als farbbasierter oder chromatischer Eindruck von einer Umgebungsszene oder einem Objekt, wobei der Eindruck von den spezifischen, leicht identifizierten Farben, die in der Szene oder dem Objekt vorhanden sind, unterscheidbar ist. Das Identifizieren von chromatischen Untertönen kann benutzt werden, um visuell markantere Farbauswahlen beispielsweise für Gesichtskosmetika bzw. Makeup, Bekleidung, Farbe, Architekturdetails im Inneren, Architekturdetails im Äußeren und Landschaften bereitzustellen. Das Identifizieren eines Untertons kann auch beim Auswählen einer geeigneten Beleuchtung in der Fotografie, Videografie und beim kinematischen Produktionsdesign wichtig sein.
Zusammenfassung
Gewisse Aspekte und Merkmale der vorliegenden Offenbarung betreffen die chromatische Untertondetektion. Ein Verfahren impliziert beispielsweise ein Empfangen einer Bilddatei und ein unter Nutzung eines Farbwärmeklassifizierers erfolgendes Erzeugen eines Bildwärmeprofils für die Bilddatei. Das Verfahren impliziert des Weiteren ein Anwenden eines oberflächenbildtrainierten maschinell lernenden Modells auf das Bildwärmeprofil zur Erzeugung eines abgeleiteten Untertonwertes für die Bilddatei. Das Verfahren impliziert des Weiteren ein unter Nutzung eines Empfehlungsmoduls und des abgeleiteten Untertonwertes erfolgendes Vergleichen eines Bildfarbwertes mit mehreren vorher existierenden Farbwerten entsprechend einer Datenbank von Produktionsbildern und ein in Reaktion auf das Vergleichen erfolgendes Veranlassen, dass interaktiver Content, der wenigstens eine Produktionsbildauswahl aus der Datenbank von Produktionsbildern beinhaltet, für eine Rezipientenvorrichtung bereitgestellt wird.
Weitere Ausführungsformen dieses Aspektes beinhalten entsprechende Computersysteme, Einrichtungen und Computerprogramme, die auf einer oder mehreren Computerspeichervorrichtungen aufgezeichnet sind und die jeweils zur Durchführung der Handlungen der Verfahren konfiguriert sind.
Die vorliegende Zusammenfassung soll Schlüsselmerkmale oder wesentliche Merkmale des beanspruchten Erfindungsgegenstandes weder identifizieren, noch soll sie isoliert zur Bestimmung des Umfanges des beanspruchten Erfindungsgegenstandes benutzt werden. Gedeutet werden soll der Erfindungsgegenstand unter Rückgriff auf die einschlägigen Abschnitte der gesamten Beschreibung der vorliegenden Offenbarung, auf beliebige oder alle Figuren und auf jeden Anspruch.
Kurzbeschreibung der Zeichnung
Merkmale, Ausführungsformen und Vorteile der vorliegenden Offenbarung erschließen sich besser, wenn die nachfolgende Detailbeschreibung in Verbindung mit der begleitenden Zeichnung herangezogen wird, die sich wie folgt zusammensetzt.

1 ist ein Diagramm zur Darstellung eines Beispiels für eine Rechenumgebung zur chromatischen Untertondetektion entsprechend gewissen Ausführungsformen.
2 ist ein Blockdiagramm eines Beispiels für ein System zur chromatischen Untertondetektion entsprechend gewissen Ausführungsformen.
3 ist ein Flussdiagramm eines Beispiels für einen Prozess der chromatischen Untertondetektion entsprechend einigen Ausführungsformen.
4 ist ein Blockdiagramm eines Beispiels für ein System, das bei der chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen.
5 ist ein Blockdiagramm eines Beispiels für ein weiteres System, das bei der chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen.
6 ist ein Blockdiagramm eines Beispiels für ein zusätzliches System, das bei einer als Vergleich dienenden chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen.
7 ist ein Flussdiagramm eines weiteren Beispiels für einen Prozess zur als Vergleich dienenden Untertondetektion entsprechend einigen Ausführungsformen.
8 ist ein Diagramm eines Beispiels für ein Rechensystem, das Aspekte der chromatischen Untertondetektion implementieren kann, entsprechend gewissen Ausführungsformen.

Detailbeschreibung
Wie vorstehend beschrieben worden ist, kann die Untertonidentifizierung beim Bewerten von Gesichtskosmetika, Bekleidung, Farbe und Architekturumgebungen wie auch beim Auswählen oder Anpassen der Beleuchtung an verschiedene Anforderungen wichtig sein. Eine derzeit verfügbare Vorgehensweise zur Untertonbestimmung impliziert, dass Proben und gegebenenfalls Informationen über die Proben einer Person, die ein Produkt auswählt oder eine Umgebung konfiguriert, präsentiert werden. Diese Präsentation kann von computergenerierten Fragen begleitet sein, deren Antworten in einen regelbasierten Untertonbestimmungsalgorithmus eingespeist werden. Eine derartige Technik kann beispielsweise benutzt werden, um Produktempfehlungen in einer Online-Einkaufsumgebung bereitzustellen.
Eine weitere derzeit verfügbare Vorgehensweise zur Untertonbestimmung impliziert das Bereitstehen einer erfahrenen, neutralen Fachkraft zur Beobachtung von Proben, Haut und/oder Beleuchtung und zur Bereitstellung einer Beurteilung von vorhandenen Untertönen, gegebenenfalls beispielsweise mit einer computerisierten oder gedruckten Anleitung, an einem Kosmetikverkaufsstand in einem Kaufhaus. Diese Vorgehensweisen erzeugen Ergebnisse, die subjektiv sein können, was zu nicht vorhersagbaren und bisweilen unerwünschten Ergebnissen führt. Zwei Bekleidungsartikel können beispielsweise zueinander passende Farben aufweisen, was nahelegt, dass die Artikel schön aussehen, wenn sie zusammen getragen werden; gegebenenfalls sind die Artikel in Kombination jedoch visuell nicht gefällig, da ihre Untertöne nicht verträglich sind. Bei einem weiteren Beispiel können Gesichtskosmetika, Haarfarbe und dergleichen auf Grundlage von eindeutig vorhandenen Farben ausgewählt werden, können sich jedoch für eine bestimmte Person infolge unpassender Untertöne als visuell nicht gefällig herausstellen.
Die Beurteilung durch eine Fachkraft kann durch eindeutige Vorlieben und Erfahrungen der Fachkraft beeinflusst sein, sobald es um Hautfarbe, Haarfarbe, individuellen Stil oder kulturelle Erfahrungen geht. Das Training und die Erfahrung bei der Untertondetektion zur kosmetischen Auswahl waren bislang weitgehend auf gewisse Hauttöne beschränkt. Fachkräfte, die eine Ahnung davon haben, wie Untertöne detektiert werden, werden üblicherweise auf Grundlage einer helleren Palette trainiert, wobei diese Fachkräfte dann, wenn es um dunkle Hautschattierungen geht, oftmals nicht wissen, wie ein Unterton zu beurteilen ist.
Derzeitige Vorgehensweisen bei der Untertonidentifizierung und der untertonbewussten Produktauswahl sind daher unzuverlässig, nicht vorhersagbar, arbeitsintensiv und/oder kostenintensiv. Die hier beschriebenen Ausführungsformen gehen diese Probleme an, indem sie eine wiederholbare, automatische, auf maschinellem Lernen basierende Identifizierung eines Untertons in einem Bild einer Oberfläche, eines Objektes oder einer Szene bereitstellen. Diese genaue computerisierte Untertonidentifizierung kann bei der Produktauswahl für einen Kauf oder ein Designprojekt benutzt werden. Ein oberflächenbildtrainiertes maschinell lernendes Modell wird auf ein Bildwärmeprofil mit Erzeugung aus dem Eingabebild unter Nutzung eines Bildwärmeklassifizierers angewendet. Das maschinell lernende Modell erzeugt einen abgeleiteten Untertonwert für das Bild unter Nutzung des Bildwärmeprofils. Dieser abgeleitete Untertonwert kann direkt oder indirekt mit Farbwerten aus einer Datenbank von Produktbildern verglichen werden, so beispielsweise von Bildern von Produkten, die zum Kauf verfügbar sind, oder von Beleuchtungsauswahlen zur Nutzung bei einem gewählten Design. Diese Techniken ermöglichen die automatisierte Auswahl von Produkten oder Objekten mit Farben und/oder Untertönen, die mit einer existierenden Umgebung oder Oberfläche verträglich sind.
In eine interaktive Einkaufs-App wird beispielsweise ein Bild eines Einkaufenden eingespeist, der geeignete Gesichtskosmetik oder Bekleidung für den Unterton seiner Haut auszuwählen wünscht. Die interaktive App ist zudem mit einer Produktionsbilddatenbank verbunden, die Bilder für verfügbare Produkte, die mit vorher existierenden Farbwerten indexiert sind, beinhaltet. Diese vorher existierenden Farbwerte können optional auf Grundlage von Untertönen bereitgestellt werden, die durch dieselbe maschinell lernende Technik bestimmt werden, die zum Bestimmen des abgeleiteten Untertons der Gesichtsfarbe des Einkaufenden benutzt wird. Die Einkaufs-App kann die Datenbank durchsuchen, und eine Empfehlungs-Engine vergleicht einen Bildfarbwert, so beispielsweise den abgeleiteten Untertonwert oder eine Farbe, die auf diesen Wert abgebildet worden ist, aus dem Eingabebild mit den vorher existierenden Werten aus der Datenbank und empfiehlt ein Produkt oder eine Auswahl von Produkten. Der Einkaufende kann ein Produkt bei der automatischen, chromatischen Untertonbestimmung zuverlässig auswählen, was die Auswahl unter den am stärksten untertonverträglichen Produkten erleichtert.
Implementiert sein kann die vorbeschriebene interaktive Einkaufs-App über das Web mit einem Eingabebild, das von dem Einkaufenden bereitgestellt wird, der eine Webcam oder Kamera nutzt, die in eine interaktive Rechenvorrichtung, so beispielsweise ein Smartphone oder einen Tabletcomputer, eingebaut ist. Eine derartige interaktive Rechenvorrichtung kann hier auch als Rezipientenvorrichtung bezeichnet werden. Die interaktive Einkaufs-App kann alternativ für einen Kiosk bzw. Verkaufsstand oder sogar für einen Desktop-, Notebook- oder Tabletcomputer eingesetzt werden, auf den Einkaufende oder Verkaufspersonal in einer Verkaufseinrichtung Zugriff haben. Beleuchtungscharakteristiken, so beispielsweise die Farbtemperatur des Lichtes, bei dem das Eingabebild aufgenommen worden ist, können für die genaue Bestimmung des abgeleiteten Untertonwertes wesentlich sein. Bei einer webbasierten Anwendung bzw. App kann die automatische Farbtemperaturdetektion benutzt werden, oder es kann der Einkaufende gebeten werden, Informationen über die Beleuchtung, bei der das Bild aufgenommen worden ist (beispielsweise natürliches Licht, weißglühendes Licht, fluoreszentes Licht), einzugeben. Dieselben Techniken können in einer Verkaufseinrichtung benutzt werden, oder es kann eine standardisierte Lichtquelle in der Zone, in der Bilder des Einkaufenden aufgenommen werden, bereitgestellt werden.
Die hier beschriebene maschinell lernende Technik kann benutzt werden, um verlässlich, wiederholbar und effizient chromatische Untertöne aus Bildern, die auf vielen Gebieten und bei vielen Anforderungen benutzt werden, zu identifizieren. Beispiele beinhalten Kosmetika, Textilien, Inneneinrichtungen, Außeneinrichtungen, Böden, Architektur, Industriedesign und Unterhaltung. Untertöne können ohne größere Kosten oder ohne größeren manuellen Aufwand identifiziert und benutzt werden, um Design- oder Produktwahlen informiert zu treffen.
Im Sinne des Vorliegenden ist der Begriff „Unterton“ eine gedämpfte bzw. dezente (subdued) Farbe, die man durch eine andere Farbe hindurch sieht und die diese modifiziert. Beschrieben werden kann ein derartiger Unterton daher als farbbasierter oder chromatischer Eindruck von einer Umgebungsszene oder einem Objekt, wobei der Eindruck von den spezifischen, leicht identifizierten Farben, die in der Szene oder dem Objekt vorhanden sind, unterscheidbar ist. Der Begriff „Unterfarbe“ ist synonym zu dem Begriff „Unterton“. Der Ausdruck „chromatischer Unterton“ ist im Kontext der vorliegenden Offenbarung ebenfalls synonym zu dem Begriff „Unterton“, da das Wort „chromatisch“ nur dafür benutzt wird, den Begriff „Unterton“ im Sinne des Vorliegenden von dem Begriff, wie er bei der Audioverarbeitung oder auf anderen Gebieten benutzt wird, zu unterscheiden.
Der Ausdruck „abgeleiteter Untertonwert“ ist im Sinne des Vorliegenden eine gespeicherte nummerische Darstellung eines Untertons, der aus einem Digitalbild eines Objektes oder einer Umgebung bestimmt wird, wobei das Digitalbild unabhängig von der Steuerung bzw. Regelung oder Kalibrierung des Digitalbildgebungsprozesses für das Rechensystem, das die Untertonbestimmungen, wie sie hier beschrieben werden, vornimmt, aufgenommen worden ist. Ein Unterton, der aus einem Digitalbild bestimmt wird, das von einem Smartphone aufgenommen worden ist, das von einem Kunden einer Online-Einkaufsplattform benutzt wird, kann beispielsweise analysiert werden, um einen abgeleiteten Untertonwert für alles, was in dem Bild aufgenommen ist, zu bestimmen. Der tatsächliche Unterton des Objektes oder der Umgebung, das/die in dem Bild abgebildet ist, kann nicht direkt von dem Rechensystem bestimmt werden, da das Rechensystem keinerlei Kenntnis von allen Variablen hat, die beim Erstellen des Bildes aufgetreten sind. Ein „oberflächenbildtrainiertes maschinell lernendes Modell“ ist ein maschinell lernendes Modell, das mit einer großen Anzahl von Bildern von Oberflächen, die verschiedene Untertöne bei variierenden Beleuchtungsbedingungen aufweisen, trainiert worden ist, um beim Bestimmen eines abgeleiteten Untertonwertes für ein neues Bild benutzt zu werden.
Ein „Produktionsbild“ ist ein Bild eines Produktes oder irgendeiner anderen optionalen Auswahl, das/die als mit einem abgeleiteten Unterton verträglich oder gegebenenfalls verträglich bestimmt sein kann. Wird beispielsweise eine chromatische Untertondetektion, wie sie hier beschrieben wird, benutzt, um verträgliche Produkte, die in einer Online-Einkaufsplattform verfügbar sind, zu präsentieren, so kann auf eine Datenbank von Produktionsbildern der verschiedenen verfügbaren Produkte zugegriffen werden, und es kann ein Teilsatz dieser Bilder oder eine „Produktionsbildauswahl“ bereitgestellt und über eine interaktive Rechenvorrichtung angezeigt werden. Außerhalb der Online-Einkaufsumgebung kann ein „Produktionsbild“ ein Bild einer Ausführung (finish) oder einer Requisite (prop) sein, die für einen Theaterproduktionsdesigner verfügbar sind. Ein „Produktionsbild“ kann ein Bild eines Produktes selbst sein, oder es kann ein Bild sein, das dafür ausgelegt ist darzustellen, wie das Produkt während der Nutzung aussieht. Für Kosmetika kann ein Produktionsbild beispielsweise ein Bild mit einem Model sein, das das Kosmetikprodukt trägt.
1 ist ein Diagramm zur Darstellung eines Beispiels für eine Rechenumgebung 100 zur chromatischen Untertondetektion entsprechend gewissen Ausführungsformen. Gebildet wird die Rechenumgebung 100 von einem Serverrechensystem 101 zur Ausführung einer interaktiven Anwendung bzw. App 102 und einer interaktiven Rechenvorrichtung 138. Die interaktive Rechenvorrichtung 138 beinhaltet eine Präsentationsvorrichtung 108, die wenigstens manchmal auf Grundlage der interaktiven Anwendung 102 gesteuert bzw. geregelt wird, und eine Kamera 140, die benutzt wird, um Bilder aufzunehmen, die als Kamerabilddateien 132 an das Schnittstellenmodul 130 des Serverrechensystems 101 gesendet werden sollen. Bei diesem Beispiel beinhaltet die interaktive Anwendung 102 ein oberflächenbildtrainiertes maschinell lernendes Modell 110, ein Empfehlungsmodul 114 und einen Farbwärmeklassifizierer 122. Der Farbwärmeklassifizierer 122 erzeugt Bildwärmeprofile 112 aus den Bilddateien, und es werden diese Bildwärmeprofile wenigstens vorübergehend gespeichert, damit das Serverrechensystem 101 einen abgeleiteten Untertonwert bestimmt und den abgeleiteten Untertonwert zum Abgeben von Empfehlungen nutzt. Abgeleitete Untertonwerte 111 werden von der interaktiven Anwendung 102 während des Prozesses des Abgebens von Empfehlungen gespeichert. Die Empfehlungen werden bei diesem Beispiel in Form von Produktionsbildauswahlen 136 bereitgestellt, die für die interaktive Rechenvorrichtung 138 unter Nutzung des Schnittstellenmoduls 130 bereitgestellt und auf der Präsentationsvorrichtung 108 angezeigt werden.
Wie ebenfalls in 1 gezeigt ist, sind die Produktionsbilder in den Produktionsbildauswahlen 136 ein Teilsatz der Bilder in der Produktionsbilddatenbank 106, auf die die interaktive Anwendung 102 über das Netzwerk 104 zugreift. Es wird eine Workstation 146 benutzt, um die Bilder in der Produktionsbilddatenbank wie auch vorher existierende Farbwerte 120 für die Objekte oder Szenen, die in den Produktionsbildern dargestellt sind, zu verwalten und zu kuratieren. Gespeichert werden können die vorher existierenden Farbwerte 120 auf dem Serverrechensystem 101 zur effizienten Nutzung durch das Empfehlungsmodul 114 beim Abgeben von Empfehlungen, die in den Produktbildauswahlen 136 beinhaltet sein sollen. Diese vorher existierenden Untertonwerte können immer dann aktualisiert werden, wenn die Produktionsbilddatenbank aktualisiert wird. Das Serverrechensystem kann beispielsweise ein realer oder ein virtueller Webserver sein, der eine Online-Einkaufsplattform implementiert, auf die zugegriffen wird, um ein Einkaufserlebnis durch die interaktive Rechenvorrichtung 138 bereitzustellen. Es können eine Produktionsbildgebung und eine Untertonabbildung von der Workstation 146 ausgeführt werden, wenn neue Objekte hinzugefügt oder bestehende Objekte aus dem Inventar des Händlers entfernt oder verändert werden. Diese Aktivitäten bedingen Aktualisierungen an der Produktionsbilddatenbank 106, was Aktualisierungen an den gespeicherten, vorher existierenden Unterton- und/oder Farbwerten 120 notwendig macht. Das Abbilden wird nachstehend weiter anhand 2 erläutert, und ergibt eine Paarbildung von Untertonwerten und Farbinformationen über gespeicherte Bilder.
2 ist ein Blockdiagramm eines Beispiels für ein System 200 zur chromatischen Untertondetektion entsprechend gewissen Ausführungsformen. Das System 200 beinhaltet zwei prozessuale Vorgehensweisen, die jeweils eine Empfehlung 202, die von dem Empfehlungsmodul 114 implementiert wird, ergeben. Die obere prozessuale Vorgehensweise zeigt bei diesem Beispiel die Verarbeitung eines oder mehrerer aktualisierter Bilder 204 von einer Rechenvorrichtung, die auf die interaktive Anwendung 102 zugreift. Diese Bilder können über eine Website hochgeladen werden oder können alternativ für eine Rechenvorrichtung bereitgestellt („hochgeladen“) werden, die zum lokalen Implementieren des Systems 200 benutzt wird, so beispielsweise ein Tablet, ein Notebook oder ein Desktopcomputer am Kosmetikverkaufsstand eines Kaufhauses oder am Servicetresen eines Farbenladens. Ein bereitgestelltes Bild wird bei Block 206 des Systems 200 einer Bildsegmentierung und einer Farbwärmeklassifizierung unterzogen. Block 206 beinhaltet bei diesem Beispiel ein Segmentierungsnetzwerk und einen Farbwärmeklassifizierer 122. Der Typ der benutzten Bildsegmentierung hängt von der Natur der jeweiligen Bilder, Farben und Untertöne ab, wobei in einigen Fällen gegebenenfalls überhaupt keine Bildsegmentierung benötigt wird.
Wird eine Bildsegmentierung benutzt, so kann ein beliebiger von verschiedenen Typen von KI-Bildsegmentierung oder anderen Nicht-Kl-Typen von Segmentierung benutzt werden. Eine Segmentierung kann beispielsweise mit einem Deep-Learning-Segmentierungsnetzwerk, das in Block 206 beinhaltet ist, durchgeführt werden. Beispiele für Typen von Segmentierung beinhalten eine panoptische Segmentierung und eine semantische Segmentierung. Das Segmentieren eines Bildes kann Objekte, Abschnitte von Objekten oder Abschnitte einer Person isolieren, die bekanntermaßen effektivere Maße für den von Interesse seienden Unterton bereitstellen. Bei einer Kosmetika-Auswahl ist beispielsweise bekannt, dass gewisse Körperteile einfacher unterscheidbare Untertöne für die Gesichtsfarbe einer Person bereitstellen. Die Unterseite des Handgelenks ist bekanntermaßen eine derartige Zone. Die Segmentierung kann dafür benutzt werden, das Handgelenk einer Person aus der Hand der Person, dem Arm der Person und dergleichen selektiv zu identifizieren. Die Farbwärmeklassifizierung bietet eine nummerische Angabe einer Farbwärmekategorie in dem Bild in Form eines Bildwärmeprofils. Für segmentierte Bilder beinhaltet das Bildwärmeprofil Farbwärmewerte, die auf segmentierte Abschnitte des Bildes indexiert sind. Ansonsten kann der Farbwärmewert ein einheitlicher Wert für das gesamte Bild sein. Zusätzliche Details zu einem Beispiel für die Farbwärmeklassifizierung werden nachstehend anhand 5 erläutert.
Wie in 2 gezeigt ist, wird das Bildwärmeprofil in Block 206 als gemeinsames Spektrogramm 208 ausgegeben. Ein gemeinsames Spektrogramm ist eine spezifizierte nummerische Beschreibung der Farbwärme über verschiedene Segmente hinweg für verschiedene Typen von Objekten. „Spezifiziert“ bedeutet in diesem Kontext, dass dieselbe standardisierte Auswahl von Werten über verschiedene Bildsegmente hinweg sowohl für hochgeladene Bilder 204 wie auch Produktionsbilder innerhalb der Umgebung, in der das System 200 benutzt wird, benutzt wird. Diese Werte werden in einer Datei gespeichert, die hier als gemeinsames Spektrogramm bezeichnet wird. Das gemeinsame Spektrogramm 208 wird für einen maschinell lernenden Charakterisierungsblock 210 bereitgestellt, um einen oder mehrere abgeleitete Untertonwerte für die Bilddatei unter Nutzung des oberflächenbildtrainierten maschinell lernenden Modells 110 zu erzeugen.
Um eine genauere Bestimmung bereitzustellen, stellt ein Beleuchtungsfaktormodul 212 einen Beleuchtungsfaktor für das oberflächentrainierte bzw. oberflächenbildtrainierte maschinell lernende Modell bereit. Bei einem Beispiel ist ein Beleuchtungsfaktor eine Lichtquellenfarbcharakteristik. Der Beleuchtungsfaktor kann über eine Eingabe in die interaktive Rechenvorrichtung empfangen werden. Eine derartige Eingabe kann eine Auswahl von verschiedenen Lichtquellentypen, bei denen ein hochgeladenes Bild aufgenommen wird, beinhalten, so beispielsweise Tageslicht, fluoreszentes Licht, weißglühendes Licht und dergleichen. Alternativ kann ein anderer Prozess benutzt werden, um das Bild zu analysieren und den Beleuchtungsfaktor automatisch zu bestimmen, wie dies bei Digitalkameras der Fall ist, die einen automatischen Weißabgleich bereitstellen. Es kann ein KI-System benutzt werden, um die Lichtquellenfarbcharakteristik bereitzustellen. Einige Smartphones beinhalten beispielsweise ein KI-System, bei dem ein trainiertes maschinell lernendes Modell auf mehrere Bilder einer Szene, die im Hintergrund zusammengenommen werden, angewendet wird, und zwar als Teil der Kamerafunktion zum Bestimmen einer Lichtquellenfarbcharakteristik.
Wie ebenfalls in 2 dargestellt ist, wird der abgeleitete Unterton für ein optionales Abbildungsmodul 214 bereitgestellt. Das Abbildungsmodul 214 bildet einen Unterton / Untertöne auf eine Farbe / Farben unter Nutzung einer Abbildung von Werten für Farben, die bekanntermaßen mit gewissen Untertönen verträglich sind, ab. Bei einem Beispiel kann diese Abbildung ältere, von einer Fachkraft stammende / hochgradig zuverlässige Abbildungen unter Nutzung überwachten maschinellen Lernens zur Vorhersage und/oder Beurteilung einsetzen. Wird das System 200 in einer Umgebung, in der Empfehlungen auf Grundlage eines Untertons abgegeben werden, für Untertonvergleiche benutzt, so benötigt man die Abbildungsfunktion nicht. Üblicherweise sind jedoch mehrere direkt identifizierbare Farben vorhanden, die mit einem gewissen Unterton verträglich sind, wobei diese identifizierbaren Farben, wenn sie in Produktionsbildern vorhanden sind, als verfügbare Auswahlen auf einer interaktiven Rechenvorrichtung 138 geeignet sind. Bei einigen Beispielen kann das System ein Merkmal der anpassbaren Filterung aufweisen, um die Anzahl von verträglichen Farben zu beschränken oder zu erweitern, und zwar im Sinne eines Aussiebens vieler Produktionsbilder entsprechend einem großen Inventar an Produkten oder verfügbaren Designoptionen. Das Empfehlungsmodul 114 übernimmt eine Empfehlungsfunktion 202 zum Vergleichen eines vorstehend erzeugten Bildfarbwertes (Farb- oder Unterfarbenwert) mit vorher existierenden Farbwerten entsprechend den Produktionsbildern in der Datenbank 106, und es wird bei diesem Beispiel eine Produktionsbildauswahl als ausgewählte Produktbilder 216 für die interaktive Rechenvorrichtung 138 bereitgestellt. Die Empfehlungsfunktion 202 kann einen maschinell lernenden Empfehlungsalgorithmus nutzen.
Der untere Abschnitt von 2 zeigt denjenigen Teil des Systems 200, der zum Erstellen der Produktionsbilddatenbank 106 aus Produktbildern benutzt wird. Es werden Produktbilder 218 für einen Bildsegmentierungs- und Farbwärmeklassifizierungsblock 220 des Systems 200 bereitgestellt. Der Block 220 beinhaltet einen Farbwärmeklassifizierer und kann auch eine Bildsegmentierung ähnlich zu derjenigen, die vorstehend anhand Block 206 beschrieben worden ist, durchführen. Es wird ein Bildwärmeprofil für jedes Produktbild von Block 220 als gemeinsames Spektrogramm 222 ausgegeben. Das gemeinsame Spektrogramm 222 wird für den maschinell lernenden Charakterisierungsblock 224 bereitgestellt, um einen oder mehrere abgeleitete Untertonwerte für eine Produktbilddatei unter Nutzung eines weiteren oberflächenbildtrainierten maschinell lernenden Modells zu erzeugen. Der abgeleitete Unterton aus einem Produktbild wird von dem maschinell lernenden Charakterisierungsblock 224 an ein Abbildungsmodul 226 ausgegeben, damit die vorher existierenden Farbwerte aus Produktionsbildern mit Bildfarbwerten zur Erzeugung von Empfehlungen verglichen werden können. Das Abbildungsmodul 226 bildet nach Bedarf eine Unterfarbe auf eine Farbe unter Nutzung einer Abbildung von Werten für Farben, wie vorstehend beschrieben worden ist, optional unter Nutzung überwachten maschinellen Lernens, wie vorstehend beschrieben worden ist, ab. Wie bei dem vorbeschriebenen oberen Abschnitt des Systems 200 wird ein Beleuchtungsfaktor 228 für das oberflächentrainierte bzw. oberflächenbildtrainierte maschinell lernende Modell bei Block 224 bereitgestellt. In diesem Fall kann der Beleuchtungsfaktor jedoch ein fester, gespeicherter Wert sein, da Produktbilder 218 üblicherweise in einer besser gesteuerten bzw. geregelten und konsistenteren Umgebung aufgenommen werden können.
3 ist ein Flussdiagramm eines Beispiels für einen Prozess 300 für ein chromatische Untertöne detektierendes System entsprechend einigen Ausführungsformen. Bei diesem Beispiel führt eine Rechenvorrichtung den Prozess aus, indem geeigneter Programmcode ausgeführt wird, so beispielsweise Computerprogrammcode, der zur Bereitstellung einer interaktiven Anwendung, so beispielsweise der interaktiven Anwendung 102, ausführbar ist. Bei Block 302 empfängt die Rechenvorrichtung, die die interaktive Anwendung betreibt, eine Bilddatei von der interaktiven Rechenvorrichtung oder direkt durch ein Schnittstellenmodul. Bei Block 304 erzeugt die Rechenvorrichtung ein Bildwärmeprofil aus der Bilddatei unter Nutzung eines Farbwärmeklassifizierers. Das Bildwärmeprofil kann Bildwärmekategoriewerte für mehrere Segmente oder Merkmale des Eingabebildes beinhalten, oder es kann das Profil einen einheitlichen Wert für das gesamte Bild beinhalten. Bei Block 306 wendet die Rechenvorrichtung das oberflächenbildtrainierte maschinell lernende Modell auf das Bildwärmeprofil an, um einen abgeleiteten Untertonwert entsprechend der Bilddatei zu erzeugen.
Bei Block 308 des Prozesses 300 vergleicht die Rechenvorrichtung unter Nutzung eines Empfehlungsmoduls und des abgeleiteten Untertonwertes einen Bildfarbwert entsprechend dem Eingabebild mit vorher existierenden Farbwerten entsprechend Produktionsbildern in der Datenbank von Produktionsbildern. Bei einigen Beispielen ist der Bildfarbwert der abgeleitete Untertonwert. Bei anderen Beispielen ist der Bildfarbwert eine Farbe, die auf den abgeleiteten Untertonwert abgebildet worden ist, und zwar optional unter Nutzung überwachten maschinellen Lernens, wie vorstehend beschrieben worden ist. Bei Block 310 veranlasst die Rechenvorrichtung in Reaktion auf das Vergleichen, dass interaktiver Content für eine Rezipientenvorrichtung, so beispielsweise eine interaktive Rechenvorrichtung 138, bereitgestellt wird. Der interaktive Content beinhaltet wenigstens eine Produktionsbildauswahl aus der Datenbank von Produktionsbildern. Bei einigen Ausführungsformen, so beispielsweise solchen mit webbasierten Systemen, läuft die interaktive Anwendung 102 auf einer Rechenvorrichtung, die von der interaktiven Rechenvorrichtung getrennt ist. Bei einer anderen Ausführungsform läuft die interaktive Anwendung auf der interaktiven Rechenvorrichtung. Bei einer derartigen Ausführungsform sind die Rechenvorrichtung 101 und die Rechenvorrichtung 138 von 1 dieselbe Rechenvorrichtung.
4 ist ein Blockdiagramm eines Beispiels für ein System 400, das bei der chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen. Das System 400 stellt einen abgeleiteten Unterton auf Grundlage eines Eingabebildes bereit. Zusätzliche Module und/oder Algorithmen werden benutzt, um Auswahlen von Käufen oder anderen Objekten auf Grundlage des abgeleiteten Untertones zu treffen. Sobald ein abgeleiteter Unterton unter Nutzung des Systems 400 bezogen worden ist, kann der abgeleitete Unterton für beliebige Zwecke benutzt werden. Das System 400 beinhaltet einen Bildverarbeitungsalgorithmus 402, der Information über Bilder an das oberflächenbildtrainierte maschinell lernende Modell 404 leitet, das wiederum den abgeleiteten Unterton bereitstellt. Bei diesem Beispiel empfängt das maschinell lernende Modell 404 auch eine Kopie des Eingabebildes selbst.
Ergänzende Informationen im Zusammenhang mit den Bedingungen, unter denen das Eingabebild aufgenommen worden ist, oder dem Subjekt, der Umgebung oder der Oberfläche / den Oberflächen im Zusammenhang mit dem Eingabebild können in das oberflächenbildtrainierte maschinell lernende Modell 404 eingegeben werden, um die Genauigkeit der Detektion des abgeleiteten Untertones zu verbessern. Die Eingabe eines Beleuchtungsfaktors aus einem Beleuchtungsfaktormodul ist bereits erläutert worden. Es können auch standardisierte Fragen in einer Erhebung benutzt werden, um zusätzliche Eingaben zu generieren. In Systemen, die beispielsweise zum Bewerten von Untertönen für Kosmetik- oder Bekleidungsempfehlungen benutzt werden, können Erwiderungen auf Fragen benutzt werden, so beispielsweise dahingehend, welche Farbe vorhanden zu sein scheint, wenn Blutgefäße am Körper einer Person sichtbar sind, und/oder wie die Haut einer Person auf Sonnenlicht reagiert. Diese Informationen werden als zusätzliche Daten zum Vornehmen von Bestimmungen des abgeleiteten Untertones benutzt, um die Genauigkeit zu verbessern. Ein weiteres Beispiel für ergänzende Informationen, die in einer großen Vielzahl von Situationen benutzt werden können, ist eine Angabe dahingehend, welche neutralen Farben (weiß, grau, schwarz) in einem Bild vorhanden sind. Es kann auch Information über die Quelle des Bildes benutzt werden, so beispielsweise dahingehend, ob das Bild als Stillleben aufgenommen worden ist oder ein Frame aus einem Videoclip darstellt.
5 ist ein Blockdiagramm eines Beispiels für den Bildverarbeitungsalgorithmus 402 des Systems 400 von 4, der bei der chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen. Um Information für die Farbwärmeklassifizierung bereitzustellen, wird von dem System eine Farbtemperaturanalyse ausgeführt. Warme Farben weisen üblicherweise Untertöne auf, die orange, gelb oder rot sind, während kühle Farben Untertöne aufweisen, die grün, blau oder purpur sind. Zu diesem Zweck wird das Eingabebild von der gegebenen Darstellung, in der es eingegeben worden ist (üblicherweise RGB-Werte), in farbtongesättigte Werte (Hue Saturated Values HSVs) transformiert. Bei diesem Beispiel wird das Lineartransformationsmodul 502 benutzt, um das Bild von dem RGB-Raum in den HSV-Raum zu transformieren. Der HSV-Raum ist ein Wahrnehmungsraum, in dem Euklidische Abstände zwischen Pixelwerten Unterschieden bzw. Differenzen bei der wahrgenommenen Farbe entsprechen. HSV-Werte werden für ein Abstandsmodul 504 unter Nutzung von Farbtonwerten bereitgestellt (was auch als H-Kanal bezeichnet wird). Die Euklidischen Abstände werden unter Nutzung des Abstandes zwischen den Farbtönen des Eingabebildes und den Farbtönen entsprechend einer gespeicherten Probe des visuellen Spektrums (purpur, blau, grün, gelb, orange, rot) berechnet. Der Farbwärmeklassifizierer 506 stellt die Bildwärme für ein nicht segmentiertes Bild oder das Bildwärmeprofil für ein segmentiertes Bild bereit. Die Bildwärme kann als Bildwärmekategorie für das Bild oder bei einem segmentierten Bild für jedes der Anzahl von Segmenten beschrieben werden. Der HSV-Farbraum charakterisiert Farben auf Grundlage eines Sättigungsniveaus und eines Farbwertes. Es können auch andere Farbräume benutzt werden, die sich anderer deskriptiver Frameworks bedienen.
Die Bildwärme kann von dem Farbwärmeklassifizierer als kontinuierliche Zahl unter Nutzung eines Fließkommawertes ausgedrückt werden, um eine hohe Genauigkeit und Granularität zu erreichen. Gleichwohl kann die Verarbeitungseffizienz auch durch Ausdrücken der Bildwärme als diskrete Werte verbessert werden. Eine derartige Implementierung kann für Systeme angebracht sein, die unter Nutzung kapazitätsschwacher Hardware implementiert sind, was beispielsweise bei Systemen der Fall ist, bei denen die Bildverarbeitung auf einer mobilen Rechenvorrichtung erfolgt. Bei einem Beispiel können diskrete Werte nummerische Designatoren bzw. Kennwerte für warm, sehr warm, neutral, kühl, sehr kühl und dergleichen beinhalten. Das Systemdesign sollte in einem solchen Fall Schwellen beinhalten, bei denen die Farbwärme von einer Kategorie in eine andere übergeht. Das System kann die Farbe und/oder Farbwärme sodann als Bereich entsprechend einer Zahl beim Durchführen gewisser Berechnungen behandeln, was zu größeren Auswahlen von Produktionsbildern führen kann, die ausgegeben werden, wenn keine zusätzliche Filterung benutzt wird.
6 ist ein Blockdiagramm zur Darstellung eines Systems 600, das bei der chromatischen Untertondetektion benutzt wird, entsprechend gewissen Ausführungsformen. Das System 600 trainiert ein maschinell lernendes Modell 602 mit Bildern von verschiedenen Oberflächen („Oberflächenbilder“), um das oberflächenbildtrainierte maschinell lernende Modell 404 zu erzeugen. Ein Trainingssatz von Bildern 604 wird zu Trainingszwecken derart kuratiert, dass das oberflächenbildtrainierte maschinell lernende Modell 404 den Unterton / die Untertöne in dem Eingabebild ableitet. Bei einigen Beispielen wird der Trainingssatz offline an einem bestimmten Punkt vor dem Einsatz der interaktiven Anwendung kuratiert. Aktualisierte, trainierte Modelle können mit wenigstens einigen Softwareversionsaktualisierungen bereitgestellt werden.
Der Trainingssatz beinhaltet Bilder von gängigen Oberflächen. Für jedes der Trainingsbilder in dem Trainingssatz 604 wird das Bild unter Nutzung einer Lineartransformation in dem HSV-Farbraum transformatiert. Es werden HSV-Werte benutzt, um den Euklidischen Abstand zwischen den Farbtönen des Trainingsbildes und den Farbtönen entsprechend derselben gespeicherten Probe des visuellen Spektrums zur Nutzung beim Analysieren neuer Bilder zu berechnen. Der Trainingssatz beinhaltet Bilder von verschiedenen Oberflächen mit verschiedenen Untertönen. Jede Oberfläche ist in einem Bereich von Beleuchtungsbedingungen abgebildet, und jedes Bild ist mit identifiziertem Unterton und Beleuchtungsfaktor abgespeichert. Die Bilder in dem Trainingssatz werden von demselben Bildverarbeitungsalgorithmus verarbeitet, der zum Verarbeiten von Bildern, die in die interaktive Anwendung eingegeben werden, benutzt wird, und es werden Bildwärmefarbvektoren generiert. Der Bildwärmefarbvektoren werden zusammen mit den Beleuchtungsfaktorwerten als Trainingsdaten für das maschinell lernende Modell benutzt.
Ein eingesetztes oberflächenbildtrainiertes maschinell lernendes Modell kann in regelmäßigen Abständen entweder manuell oder automatisch neutrainiert werden. Es können beispielsweise neue kuratierte Bilder eingegeben werden, um das Leistungsvermögen des trainierten Modells zum manuellen Initiieren des Neutrainierens zu verbessern. Alternativ kann eine Rückmeldung im Zusammenhang mit Produktionsbildern, die zur Auswahl über die Rezipientenvorrichtung bereitgestellt werden, über dieselbe oder eine andere interaktive Rechenvorrichtung bezogen und zum automatischen Neutrainieren des Modells über die Zeit benutzt werden, um genauere Bestimmungen von abgeleiteten Untertönen bereitzustellen.
7 ist ein Flussdiagramm eines weiteren Beispiels für einen Prozess 700 für ein chromatische Untertöne detektierendes System entsprechend einigen Ausführungsformen. Bei diesem Beispiel führt eine Rechenvorrichtung den Prozess aus, indem sie geeigneten Programmcode ausführt, so beispielsweise Computerprogrammcode für eine interaktive Anwendung, so beispielsweise die Anwendung 102. Bei Block 702 trainiert die Rechenvorrichtung ein lernendes Modell mit Trainingsbildern von Oberflächen, die einen Bereich von Untertönen bei verschiedenen Beleuchtungsbedingungen beinhalten. Bei Block 704 empfängt die Rechenvorrichtung, die die interaktive Anwendung betreibt, eine Bilddatei von der interaktiven Rechenvorrichtung, so beispielsweise der interaktiven Rechenvorrichtung 138, oder direkt durch ein Schnittstellenmodul, so beispielsweise das Schnittstellenmodul 130. Optional kann die Rechenvorrichtung auch ergänzende Information empfangen. Die Eingabe eines Beleuchtungsfaktors von einem Beleuchtungsfaktormodul ist bereits erläutert worden. Standardisierte Fragen in einer Erhebung können ebenfalls zum Generieren einer zusätzlichen Eingabe benutzt werden, so beispielsweise dahingehend, welche Farbe auf dem Körper einer Person vorhanden zu sein scheint und wie die Haut einer Person auf Sonnenlicht reagiert.
Ein weiteres Beispiel für eine ergänzende Information, die in einer großen Vielzahl von Situationen benutzt werden kann, ist eine Angabe dessen, welche neutralen Farben (weiß, grau, schwarz) in einem Bild vorhanden sind. Optional kann das System für eine verbesserte Untertonerkennung die Bereitstellung eines Bildes, das eine derartige neutrale Farbe beinhaltet, anfordern. Das Bild kann eine Person sein, die ein weißes oder schwarzes Hemd trägt, und es kann diese Information durch eine Erhebung für ergänzende Information, die weitere Aufforderungen zum Sammeln von Information beinhaltet, erhoben werden.
Bei Block 706 von 7 transformiert die Rechenvorrichtung die Bilddatei unter Nutzung des Farbraummoduls in HSVs. Bei Block 708 nutzt die Rechenvorrichtung das Segmentierungsnetzwerk zum Segmentieren der Bilddatei und definiert dabei mehrere Bildsegmente. Bei Block 710 nutzt die Rechenvorrichtung den Farbwärmeklassifizierer zum Erzeugen eines Bildwärmeprofils unter Nutzung der HSVs für Farbwärmekategorien in den Bildsegmenten. Das Bildwärmeprofil wird unter Nutzung eines gemeinsamen Spektrogramms definiert. Bei Block 712 greift die Rechenvorrichtung auf ein Beleuchtungsfaktormodul zu, um den Beleuchtungsfaktor für das Eingabebild zu beziehen, also beispielsweise eine Lichtquellenfarbcharakteristik, die dem Typ des Lichtes in der Bilddatei entspricht.
Wie in 7 gezeigt ist, wird bei Block 714 das oberflächenbildtrainierte maschinell lernende Modell auf das Bildwärmeprofil unter Berücksichtigung des Beleuchtungsfaktors angewendet, um den abgeleiteten Unterton für die Bilddatei zu erzeugen. Die Funktionen, die in Blöcken 706 bis 714 beinhaltet und alle anhand 7 erläutert worden sind, können beim Implementieren eines Schrittes zum Erzeugen eines abgeleiteten Untertonwertes für die Bilddatei benutzt werden. Bei Block 716 bildet die Rechenvorrichtung den abgeleiteten Unterton oder die abgeleitete Unterfarbe auf eine Farbe ab, um einen Bildfarbwert zu erzeugen, und zwar unter Nutzung des Abbildungsmoduls und optional unter Nutzung überwachten maschinellen Lernens, wie es vorstehend beschrieben worden ist. Der Bildfarbwert kann beispielsweise einer oder mehreren potenziellen Farben von Objekten, die in Produktionsbildern dargestellt sind, entsprechen. Bei Block 718 vergleicht das Empfehlungsmodul der Rechenvorrichtung den Bildfarbwert mit vorher existierenden Farbwerten, die den Produktionsbildern in der Datenbank entsprechen.
Bei Block 720 veranlasst die Rechenvorrichtung in Reaktion auf den Vergleich, dass interaktiver Content, der wenigstens eine Produktionsbildauswahl aus der Datenbank beinhaltet, für die interaktive Rechenvorrichtung bereitgestellt wird. Die Funktionen, die in Blöcken 716 bis 720 beinhaltet und alle anhand 7 erläutert worden sind, können beim Implementieren eines Schrittes zum Veranlassen dessen benutzt werden, dass interaktiver Content, der eine Produktionsbildauswahl beinhaltet, für die interaktive Rechenvorrichtung bereitgestellt werden kann. Zusätzlich zu Produktionsbildern kann der Content eine Beschreibung von Objekten in den Produktionsbildern, Prüfinformation, Information über die besten Treffer für den abgeleiteten Unterton und dergleichen mehr beinhalten. Beinhalten kann der interaktive Content beispielsweise auch den Unterton, der von dem System bestimmt wird, eine Ausgaberate und/oder computergenerierte Kommentare im Zusammenhang mit einer Rückmeldung für Produkte entsprechend Produktionsbildern in Bezug auf vorherige Käufe für den bestimmten Unterton. Filterparameter können solche beinhalten, die bestimmen, wie viel oder wie wenig von dieser Information auf der interaktiven Rechenvorrichtung bereitgestellt wird.
Bei Block 722 von 7 wird das oberflächenbildtrainierte maschinell lernende Modell optional unter Nutzung einer Rückmeldung, die der Produktionsbildauswahl entspricht, neutrainiert. Wird beispielsweise eine Eingabe empfangen, die angibt, dass die Produktionsbilder eine niedrige Verträglichkeit mit dem abgeleiteten Unterton aufweisen, so kann dieser Datenpunkt berücksichtigt werden, um das oberflächenbildtrainierte maschinell lernende Modell neu zu trainieren oder das Training desselben zu aktualisieren. Bei einigen Beispielen stellt eine derartige mit der Zeit erfolgende Eingabe eine Rückmeldung bereit, die viele Produktionsbildauswahlen entweder bestätigt oder zurückweist, und es wird diese Rückmeldung benutzt, um das Modell automatisch neu zu trainieren und dessen Leistung mit der Zeit zu verbessern.
8 zeigt ein Rechensystem 800, das die interaktive Anwendung 102, die zur chromatischen Untertondetektion fähig ist, entsprechend hier beschriebenen Ausführungsformen ausführt. Das System 800 beinhaltet eine Verarbeitungsvorrichtung 802, die kommunikationstechnisch mit einer oder mehreren Speicherkomponenten 804 gekoppelt ist. Die Verarbeitungsvorrichtung 802 führt einen computerausführbaren Programmcode, der in der Speicherkomponente 804 gespeichert ist, aus. Beispiele für die Verarbeitungsvorrichtung 802 beinhalten einen Prozessor, einen Mikroprozessor, eine anwendungsspezifische integrierte Schaltung („ASIC“), ein feldprogrammierbares Gate Array („FPGA“) oder eine beliebige andere geeignete Verarbeitungsvorrichtung. Die Verarbeitungsvorrichtung 802 kann eine beliebige Anzahl von Verarbeitungsvorrichtungen beinhalten, darunter auch eine einzige Verarbeitungsvorrichtung. Die Speicherkomponente 804 beinhaltet ein beliebiges geeignetes nichttemporäres computerlesbares Medium zum Speichern von Daten, Programmcode oder beidem. Beinhalten kann ein computerlesbares Medium eine beliebige elektronische, optische, magnetische oder andere Speichervorrichtung, die für einen Prozessor computerlesbare Anweisungen oder anderen Programmcode bereitstellen kann. Nicht beschränkende Beispiele für computerlesbare Medien beinhalten eine magnetische Platte, einen Speicherchip, einen ROM, einen RAM, eine ASIC, einen optischen Speicher, ein Magnetband oder einen anderen magnetischen Speicher oder ein beliebiges anderes Medium, von dem eine Verarbeitungsvorrichtung ausführbare Anweisungen lesen kann. Die ausführbaren Anweisungen können prozessorspezifische Anweisungen beinhalten, die von einem Compiler oder einem Interpreter aus Code generiert werden, der in einer beliebigen geeigneten Computerprogrammiersprache geschrieben ist, darunter beispielsweise C, C++, C#, Visual Basic, Java, Python, Perl, JavaScript und ActionScript.
Wie ebenfalls in 8 gezeigt ist, kann das Rechensystem 800 auch eine Anzahl von externen oder internen Vorrichtungen, so beispielsweise Eingabe- oder Ausgabevorrichtungen, beinhalten. Das Rechensystem 800 ist beispielsweise mit einer oder mehreren I/O-Schnittstellen (Eingabe/Ausgabe I/O) 806 gezeigt. Eine I/O-Schnittstelle 806 kann eine Eingabe von Eingabevorrichtungen, so beispielsweise einer Kamera zum Aufnehmen von Bildern, die als Bilddatei bereitgestellt werden, empfangen oder eine Ausgabe für Ausgabevorrichtungen (nicht gezeigt) ausgeben, um beispielsweise Produktionsbildauswahlen anzuzeigen. Ein oder mehrere Busse 808 sind ebenfalls in dem Rechensystem 800 beinhaltet. Der Bus 808 koppelt eine oder mehrere Komponenten des Rechensystems 800 jeweils kommunikationstechnisch.
Die Verarbeitungsvorrichtung 802 führt Programmcode (ausführbare Anweisungen) aus, der das Rechensystem 800 dafür konfiguriert, einen oder mehrere der hier beschriebenen Vorgänge durchzuführen. Der Programmcode beinhaltet beispielsweise eine interaktive Anwendung 102 oder andere geeignete Anwendungen, die einen oder mehrere der hier beschriebenen Vorgänge durchführen. Der Programmcode kann in der Speicherkomponente 804 oder auf einem beliebigen geeigneten computerlesbaren Medium residieren und von der Verarbeitungsvorrichtung 802 oder einer beliebigen anderen geeigneten Verarbeitungsvorrichtung ausgeführt werden. Bei der Speicherkomponente 804 können während des Betriebs des Rechensystems nach Bedarf ausführbare Abschnitte der interaktiven Anwendung, so beispielsweise das maschinell lernende Modell 110, das Empfehlungsmodul 114, der Farbwärmeklassifizierer 122 und/oder die Bearbeitungsschnittstelle 130, auf Abschnitte zugreifen. Die Speicherkomponente 804 kann auch zum temporären Speichern von abgeleiteten Untertonwerten 111, Bildwärmeprofilen 112 und vorher existierenden Farbwerten 120 wie auch von anderer Information oder anderen Datenstrukturen - seien sie nun in 8 gezeigt oder nicht - benutzt werden. Die Speicherkomponente 804 kann zudem die Produktionsbilddatenbank 106 speichern, wenn die Produktionsbilddatenbank lokal auf dem Rechensystem 800 vorgehalten werden soll.
Das System 800 von 8 beinhaltet zudem eine Netzwerkschnittstellenvorrichtung 812. Die Netzwerkschnittstellenvorrichtung 802 beinhaltet eine beliebige Vorrichtung oder Gruppe von Vorrichtungen, die zum Einrichten einer verdrahteten oder drahtlosen Datenverbindung zu einem oder mehreren Datennetzwerken geeignet ist. Nicht beschränkende Beispiele für die Netzwerkschnittstellenvorrichtung 812 beinhalten einen Ethernet-Netzwerkadapter, einen Drahtlos-Netzwerkadapter und/oder dergleichen. Das System 800 kann mit einer oder mehreren anderen Rechenvorrichtungen (beispielsweise einer nicht gezeigten anderen Rechenvorrichtung, die andere Software ausführt,) über ein Datennetzwerk (nicht gezeigt) unter Nutzung der Netzwerkschnittstellenvorrichtung 812 kommunizieren. Die Netzwerkschnittstellenvorrichtung 812 kann auch dafür benutzt werden, mit einem Netzwerk- oder Cloud-Speicher, der als Archiv für Produktionsbilder zur Nutzung mit der interaktiven Anwendung 102 benutzt wird, zu kommunizieren. Ein derartiger Netzwerk- oder Cloud-Speicher kann auch aktualisierte oder archivierte Versionen der interaktiven Anwendung zur Verteilung und Installation beinhalten.
Wie weiter in 8 gezeigt ist, beinhaltet das Rechensystem 800 bei einigen Ausführungsformen zudem die Präsentationsvorrichtung 815, die in 8 abgebildet ist. Die Präsentationsvorrichtung 815 kann eine beliebige Vorrichtung oder Gruppe von Vorrichtungen beinhalten, die zur Bereitstellung einer visuellen, akustischen oder anderen geeigneten sensorischen Ausgabe geeignet sind. Bei Beispielen zeigt die Präsentationsvorrichtung 815 Produktionsbildauswahlen an. Nicht beschränkende Beispiele für die Präsentationsvorrichtung 815 beinhalten einen berührungsempfindlichen Bildschirm, einen Monitor, eine separate mobile Rechenvorrichtung und dergleichen mehr. Bei einigen Aspekten kann die Präsentationsvorrichtung 815 eine entfernt angeordnete (remote) Client-Rechenvorrichtung beinhalten, die mit dem Rechensystem 800 unter Nutzung eines oder mehrerer Datennetzwerke kommuniziert. Das System 800 kann als einheitliche Rechenvorrichtung, so beispielsweise als Notebook oder Mobilcomputer, implementiert sein. Alternativ können bei einem Beispiel die verschiedenen Vorrichtungen, die in dem System 800 beinhaltet sind, verteilt oder durch Schnittstellen oder ein Netzwerk mit einer zentralen oder Hauptrechenvorrichtung, die einen oder mehrere Prozessoren beinhaltet, verbunden sein.
Es sind hier zahlreiche spezifische Details aufgeführt, um ein eingehendes Verständnis des beanspruchten Erfindungsgegenstandes zu ermöglichen. Einem Fachmann auf dem Gebiet erschließt sich jedoch, dass der beanspruchte Erfindungsgegenstand auch ohne diese spezifischen Details in der Praxis umgesetzt werden kann. In einigen Fällen sind Verfahren, Einrichtungen oder Systeme, die einem Durchschnittsfachmann bekannt sein dürften, nicht detailliert beschrieben, um den beanspruchten Erfindungsgegenstand nicht unklar zu machen.
Es ist, außer es ist spezifisch anders angegeben, davon auszugehen, dass in der vorliegenden Beschreibung Erläuterungen unter Einsatz von Begriffen wie „verarbeiten“, „berechnen“, „bestimmen“ und „identifizieren“ oder dergleichen Handlungen oder Prozesse einer Rechenvorrichtung bezeichnen, so beispielsweise eines oder mehrerer Computer oder einer ähnlichen elektronischen Rechenvorrichtung oder ähnlicher elektronischer Rechenvorrichtungen, die Daten manipulieren oder transformieren, die als physikalische, elektronische oder magnetische Größen innerhalb von Speichern, Registern oder anderen Informationsspeichervorrichtungen, Übertragungsvorrichtungen oder Anzeigevorrichtungen der Rechenplattform dargestellt sind.
Das System oder die Systeme, das/die hier erläutert worden ist/sind, sind nicht auf eine bestimmte Hardwarearchitektur oder Konfiguration beschränkt. Eine Rechenvorrichtung kann eine beliebige geeignete Anordnung von Komponenten beinhalten, die ein Ergebnis, das durch eine oder mehrere Eingaben konditioniert ist, bereitstellen. Geeignete Rechenvorrichtungen beinhalten mehreren Zwecken dienende mikroprozessorbasierte Computersysteme, die auf gespeicherte Software zugreifen, die das Rechensystem programmiert oder von einer Allzweckrechenvorrichtung ausgehend als spezialisierte Rechenvorrichtung konfiguriert, die eine oder mehrere Implementierungen des vorliegenden Erfindungsgegenstandes implementiert. Eine beliebige geeignete Programmierung, ein solches Scripting oder eine andere Art von Sprache oder Kombinationen von Sprachen können benutzt werden, um die hier enthaltenen Lehren in Software zu implementieren, die beim Programmieren oder Konfigurieren einer Rechenvorrichtung benutzt werden soll.
Ausführungsformen der hier offenbarten Verfahren können im Betrieb derartiger Rechenvorrichtungen durchgeführt werden. Die Reihenfolge der Blöcke, die bei den vorstehenden Beispielen präsentiert wird, kann variiert werden; so können Blöcke beispielsweise umgeordnet, kombiniert und/oder in Teilblöcke zerlegt werden. Gewisse Blöcke oder Prozesse können parallel durchgeführt werden.
Die Nutzung von „konfiguriert zu“ oder „auf Grundlage von / basierend auf / beruhend auf“ ist hier in offener und inklusiver Sprache gemeint, die Vorrichtungen, die zur Durchführung zusätzlicher Aufgaben oder Schritte ausgelegt oder konfiguriert sind, nicht ausschließt. Obwohl Vorrichtungen, Systeme, Komponenten oder Module derart beschrieben sind, dass sie zur Durchführung gewisser Vorgänge oder Funktionen konfiguriert sind, kann eine derartige Konfiguration beispielsweise auch erreicht werden, indem elektronische Schaltungen zur Durchführung des Vorganges konzipiert werden, indem programmierbare elektronische Schaltungen (so beispielsweise Mikroprozessoren) zur Durchführung des Vorganges programmiert werden, und zwar beispielsweise durch Ausführen von Computeranweisungen oder Code oder Prozessoren oder Kernen, die programmiert sind, um Code oder Anweisungen mit Speicherung auf einem nichttemporären Speichermedium auszuführen, oder eine beliebige Kombination hieraus. Prozesse können unter Nutzung einer Vielzahl von Techniken kommunizieren, darunter unter anderem herkömmliche Techniken zur Interprozess-Kommunikation, und es können verschiedene Paare von Prozessen verschiedene Techniken nutzen, oder es kann dasselbe Paar von Prozessen verschiedene Techniken zu verschiedenen Zeiten nutzen. Überschriften, Listen und Nummerierungen, die hier beinhaltet sind, dienen der leichteren Erläuterung und sind nicht beschränkend gemeint.
Obwohl der vorliegende Erfindungsgegenstand detailliert anhand seiner spezifischen Ausführungsformen beschrieben worden ist, sollte einsichtig sein, dass ein Fachmann auf dem Gebiet mit Verständnis für das Vorbeschriebene auch ohne Weiteres Abwandlungen an derartigen Ausführungsformen, Variationen derselben und Äquivalente hierzu erzeugen kann. Es sollte entsprechend einsichtig sein, dass die vorliegende Offenbarung zu Zwecken des Beispiels und nicht der Beschränkung präsentiert worden ist und die Einbeziehung derartiger Modifikationen, Variationen und/oder Hinzufügungen zum vorliegenden Erfindungsgegenstand nicht ausschließt, was sich einem Durchschnittsfachmann auf dem Gebiet ohne Weiteres erschließt.

Claims

Verfahren, umfassend: Empfangen einer Bilddatei; unter Nutzung eines Farbwärmeklassifizierers erfolgendes Produzieren bzw. Erzeugen eines Bildwärmeprofils aus der Bilddatei; Anwenden eines oberflächenbildtrainierten maschinell lernenden Modells auf das Bildwärmeprofil zur Erzeugung eines abgeleiteten Untertonwertes für die Bilddatei; unter Nutzung eines Empfehlungsmoduls und des abgeleiteten Untertonwertes erfolgendes Vergleichen eines Bildfarbwertes mit mehreren vorher existierenden Farbwerten entsprechend einer Datenbank von Produktionsbildern; und in Reaktion auf das Vergleichen erfolgendes Veranlassen, dass interaktiver Content, der wenigstens eine Produktionsbildauswahl aus der Datenbank von Produktionsbildern beinhaltet, für eine Rezipientenvorrichtung bereitgestellt wird.
Verfahren nach Anspruch 1, des Weiteren umfassend: unter Nutzung eines Beleuchtungsfaktormoduls erfolgendes Zugreifen auf eine Lichtquellenfarbcharakteristik entsprechend der Bilddatei, wobei die Lichtquellenfarbcharakteristik beim Erzeugen des abgeleiteten Untertonwertes benutzt wird.
Verfahren nach Anspruch 1 oder 2, des Weiteren umfassend: unter Nutzung eines Farbraummoduls erfolgendes Transformieren der Bilddatei in hue- bzw. farbtongesättigte Werte, wobei das Erzeugen des Bildwärmeprofils die farbtongesättigten Werte nutzt.
Verfahren nach einem der Ansprüche 1 bis 3, des Weiteren umfassend: Trainieren eines maschinell lernenden Modells mit Trainingsbildern von Oberflächen, die einen Bereich von Untertönen bei mehreren Beleuchtungsbedingungen beinhalten, zur Erzeugung des oberflächenbildtrainierten maschinell lernenden Modells.
Verfahren nach einem der Ansprüche 1 bis 4, des Weiteren umfassend: Neutrainieren des oberflächenbildtrainierten maschinell lernenden Modells unter Nutzung der Bilddatei und einer Rückmeldung entsprechend der wenigstens einen Produktionsbildauswahl.
Verfahren nach einem der Ansprüche 1 bis 5, des Weiteren umfassend: unter Nutzung eines Segmentierungsnetzwerkes erfolgendes Segmentieren der Bilddatei zum Definieren von mehreren Bildsegmenten, wobei das Bildwärmeprofil Bildwärmekategorien entsprechend den mehreren Bildsegmenten umfasst.
Verfahren nach einem der Ansprüche 1 bis 6, des Weiteren umfassend: unter Nutzung des Farbwärmeklassifizierers erfolgendes Erzeugen eines gemeinsamen Spektrogramms, das das Bildwärmeprofil definiert; und unter Nutzung eines Abbildungsmoduls erfolgendes Abbilden von Unterfarben auf Farben zur Erzeugung des Bildfarbwertes unter Nutzung des abgeleiteten Untertonwertes.
System, umfassend: eine Speicherkomponente; eine Verarbeitungsvorrichtung, die mit der Speicherkomponente gekoppelt ist, zum Durchführen von Vorgängen des Empfangens einer Bilddatei und des Veranlassens, dass interaktiver Content, der wenigstens eine Produktionsbildauswahl beinhaltet, in Reaktion auf das Empfangen der Bilddatei übertragen oder angezeigt wird; einen Farbwärmeklassifizierer, der konfiguriert ist zum Erzeugen eines Bildwärmeprofils aus der Bilddatei; ein oberflächenbildtrainiertes maschinell lernendes Modell, das konfiguriert ist zum Nutzen des Bildwärmeprofils zur Erzeugung eines abgeleiteten Untertonwertes für die Bilddatei unter Nutzung des Bildwärmeprofils; und ein Empfehlungsmodul, das konfiguriert ist zum Produzieren bzw. Erzeugen der wenigstens einen Produktionsbildauswahl auf Grundlage des abgeleiteten Untertonwertes.
System nach Anspruch 8, des Weiteren umfassend: ein Beleuchtungsfaktormodul, das konfiguriert ist zum Bereitstellen einer Lichtquellenfarbcharakteristik entsprechend der Bilddatei, wobei die Lichtquellenfarbcharakteristik beim Erzeugen des abgeleiteten Untertonwertes benutzt wird.
System nach Anspruch 8 oder 9, des Weiteren umfassend: ein Farbraummodul, das konfiguriert ist zum Transformieren der Bilddatei in hue- bzw. farbtongesättigte Werte, wobei das Erzeugen des Bildwärmeprofils die farbtongesättigten Werte nutzt.
System nach einem der Ansprüche 8 bis 10, wobei das oberflächenbildtrainierte maschinell lernende Modell mit Trainingsbildern von Oberflächen, die einen Bereich von Untertönen bei mehreren Beleuchtungsbedingungen beinhalten, konfiguriert ist.
System nach einem der Ansprüche 8 bis 11, des Weiteren umfassend: ein Segmentierungsnetzwerk, das konfiguriert ist zum Segmentieren der Bilddatei zum Definieren von mehreren Bildsegmenten, wobei das Bildwärmeprofil Bildwärmekategorien entsprechend den mehreren Bildsegmenten umfasst.
System nach einem der Ansprüche 8 bis 12, wobei der Farbwärmeklassifizierer konfiguriert ist zum Erzeugen eines gemeinsamen Spektrogramms, das das Bildwärmeprofil definiert.
System nach einem der Ansprüche 8 bis 13, des Weiteren umfassend ein Abbildungsmodul, das konfiguriert ist zum Abbilden von Unterfarben auf Farben zur Erzeugung eines Bildfarbwertes unter Nutzung des abgeleiteten Untertonwertes.
Nichttemporäres computerlesbares Medium, das ausführbare Anweisungen speichert, die bei Ausführung durch eine Verarbeitungsvorrichtung veranlassen, dass die Verarbeitungsvorrichtung Vorgänge durchführt, die umfassen: Empfangen einer Bilddatei unter Nutzung einer interaktiven Rechenvorrichtung; einen Schritt zum Erzeugen eines abgeleiteten Untertonwertes für die Bilddatei; und einen Schritt zum Veranlassen, dass interaktiver Content, der eine Produktionsbildauswahl beinhaltet, für die interaktive Rechenvorrichtung bereitgestellt wird.
Nichttemporäres computerlesbares Medium nach Anspruch 15, wobei der Schritt zum Erzeugen des abgeleiteten Untertonwertes des Weiteren umfasst: Anwenden eines oberflächenbildtrainierten maschinell lernenden Modells auf ein Bildwärmeprofil zur Erzeugung des abgeleiteten Untertonwertes für die Bilddatei.
Nichttemporäres computerlesbares Medium nach Anspruch 16, wobei der Schritt zum Erzeugen des abgeleiteten Untertonwertes des Weiteren umfasst: Segmentieren der Bilddatei zum Definieren von mehreren Bildsegmenten, wobei das Bildwärmeprofil Bildwärmekategorien entsprechend den mehreren Bildsegmenten umfasst.
Nichttemporäres computerlesbares Medium nach Anspruch 16 oder 17, wobei die ausführbaren Anweisungen die Verarbeitungsvorrichtung des Weiteren veranlassen zum: Durchführen des Vorganges des Trainierens eines maschinell lernenden Modells mit Trainingsbildern von Oberflächen, die einen Bereich von Untertönen bei mehreren Beleuchtungsbedingungen beinhalten, zur Erzeugung des oberflächenbildtrainierten maschinell lernenden Modells.
Nichttemporäres computerlesbares Medium nach einem der Ansprüche 16 bis 18, wobei die ausführbaren Anweisungen die Verarbeitungsvorrichtung des Weiteren veranlassen zum: Durchführen des Vorganges des Neutrainierens des oberflächenbildtrainierten maschinell lernenden Modells unter Nutzung der Bilddatei und einer Rückmeldung entsprechend der Produktionsbildauswahl.
Nichttransitorisches bzw. nichttemporäres computerlesbares Medium nach einem der Ansprüche 15 bis 19, wobei der Schritt des Veranlassens, dass interaktiver Content, der eine Produktionsbildauswahl beinhaltet, bereitgestellt wird, des Weiteren umfasst: Abbilden von Unterfarben auf Farben zur Erzeugung eines Bildfarbwertes unter Nutzung des abgeleiteten Untertonwertes.