DE102017009910A1

DE102017009910A1 - Bearbeiten von Digitalbildern unter Nutzung eines neuronalen Netzwerkes mit einer netzwerkinternen Erstellungsschicht

Info

Publication number: DE102017009910A1
Application number: DE102017009910.3A
Authority: DE
Inventors: Mehmet Yumer; Jimei Yang; Guilin Liu; Duygu Ceylan Aksit
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2017-03-02
Filing date: 2017-10-24
Publication date: 2018-09-06
Also published as: AU2017248506B2; GB2560218A; CN108537864B; AU2017248506A1; CN108537864A; US10430978B2; GB2560218B; US20180253869A1; GB201718194D0

Abstract

Die vorliegende Offenbarung beinhaltet Verfahren und Systeme zum Erzeugen von modifizierten Digitalbildern unter Nutzung eines neuronalen Netzwerkes, das eine Erstellungsschicht beinhaltet. Insbesondere können die offenbarten Systeme und Verfahren ein neuronales Netzwerk darauf trainieren, ein Eingabedigitalbild in intrinsische physische bzw. physikalische Eigenschaften (so beispielsweise Material, Beleuchtung und Form) zu zerlegen. Darüber hinaus können die Systeme und Verfahren eine der intrinsischen physischen bzw. physikalischen Eigenschaften durch eine Zieleigenschaft (beispielsweise modifiziertes Material, modifizierte Beleuchtung oder Form) ersetzen. Die Systeme und Verfahren können eine Erstellungsschicht nutzen, die auf das Synthetisieren eines Digitalbildes trainiert ist, um ein modifiziertes Digitalbild auf Grundlage der Zieleigenschaft und der verbleibenden (nicht ersetzten) intrinsischen physischen bzw. physikalischen Eigenschaften zu erzeugen. Die Systeme und Verfahren können die Genauigkeit der modifizierten Digitalbilder erhöhen, indem sie modifizierte Digitalbilder erzeugen, die das Zusammenwirken von intrinsischen physischen bzw. physikalischen Eigenschaften eines Eingabedigitalbildes und von (modifizierten) Zieleigenschaften realistisch wiedergeben bzw. reflektieren.

Description

Hintergrund
In den letzten Jahren hat auf dem Gebiet der Digitalbildverarbeitung eine schnelle Entwicklung stattgefunden. Als Folge von Weiterentwicklungen bei Algorithmen und Hardware sind herkömmliche Digitalbearbeitungssysteme nunmehr fähig, eine Vielzahl von Bildeigenschaften durch einfache Nutzereingaben digital zu modifizieren. Herkömmliche Digitalbearbeitungssysteme können beispielsweise Filter einsetzen, um das Aussehen von Digitalbildern zu modifizieren oder ein in einem ersten Digitalbild abgebildetes Objekt zu einem zweiten Digitalbild hinzuzufügen.
Obwohl herkömmliche Digitalbearbeitungssysteme in den letzten Jahren eine Weiterentwicklung erfahren haben, bestehen weiterhin beträchtliche Unzulänglichkeiten. Herkömmliche Digitalbearbeitungssysteme können beispielsweise Filter einsetzen oder ein Objekt zu einem Digitalbild hinzufügen, scheitern jedoch bei der Erzeugung von modifizierten Digitalbildern, die realistisch aussehende Modelle für eine Vielzahl von verschiedenen Zielbildeigenschaften wiedergeben. Bei einem Darstellungsbeispiel können herkömmliche Digitalbearbeitungssysteme bei einem Digitalbild einen Filter einsetzen, scheitern jedoch beim Modifizieren eines Materials eines in einem Digitalbild abgebildeten Objektes, weshalb das Material die Umgebung des Digitalbildes reflektiert wiedergibt (das neue Material beispielsweise so reflektiert bzw. wiedergibt, als wäre es in die Beleuchtungsumgebung des Ursprungsdigitalbildes eingefügt). Auf ähnliche Weise modifizieren, obwohl herkömmliche Digitalbearbeitungssysteme ein Objekt aus einem Digitalbild hinzufügen oder entfernen können, derartige Systeme ein in einem Digitalbild abgebildetes Objekt nicht genau, weshalb das modifizierte Objekt die Umgebung des Digitalbildes reflektiert bzw. wiedergibt (so sieht das modifizierte Objekt beispielsweise so aus, als wäre es in die Beleuchtungsumgebung des Ursprungsdigitalbildes eingefügt). Darüber hinaus modifizieren derartige Systeme, obwohl herkömmliche digitale Bearbeitungssysteme die Farbe oder das Aussehen eines Digitalbildes modifizieren können, die Beleuchtungsumgebung des Digitalbildes typischerweise nicht, weshalb sich in dem Digitalbild abgebildete Objekte ändern, um die modifizierte Beleuchtungsumgebung genau zu reflektieren bzw. wiederzugeben.
Einige herkömmliche Systeme stellen auf eine Lösung dieser Probleme ab, bringen jedoch jeweils weitere Beschränkungen und Beeinträchtigungen mit sich. Einige Digitalbildzerlegungssysteme stellen beispielsweise darauf ab, physische bzw. physikalische Eigenschaften von in einem Digitalbild abgebildeten Szenen dadurch zu identifizieren und zu modifizieren, dass vereinfachende Annahmen zu dem Digitalbild gemacht werden. Einige Digitalbildzerlegungssysteme machen beispielsweise Annahmen zur Geometrie von in Digitalbildern abgebildeten Objekten, Annahmen zu Materialeigenschaften von in Digitalbildern abgebildeten Objekten (beispielsweise die Annahme diffuser Materialien) oder Annahmen zu Leuchtbedingungen (beispielsweise niederfrequentes Leuchten), um die Komplexität beim Zerlegen der in einem Digitalbild abgebildeten physischen bzw. physikalischen Eigenschaften zu verringern. Derartige vereinfachende Annahmen können zwar durchaus mit gesteigerten Fähigkeiten beim Identifizieren von physischen bzw. physikalischen Eigenschaften und beim Modifizieren eines Digitalbildes einhergehen, bringen jedoch auch Ungenauigkeiten mit sich und begrenzen das Umfeld, in dem derartige Systeme eingesetzt werden können.
Darüber hinaus greifen einige Digitalbildkategorisierungssysteme auf Prozesse des Maschinenlernens zurück, um Digitalbilder zu bearbeiten. Jedoch auch diese Lösungen bringen Unzulänglichkeiten mit sich. So sind beispielsweise Digitalbildbearbeitungssysteme, die Maschinenlernen nutzen, im Allgemeinen nur auf das Modellieren von diffusen Materialien beschränkt (das heißt derartige Systeme können nicht mit spiegelnden Materialien umgehen). Zusätzlich sind Digitalbildbearbeitungssysteme oftmals nicht fähig, mit komplexeren Materialeigenschaften umzugehen, die im Allgemeinen nicht differenzierbar sind, was Schwierigkeiten beim Trainieren von neuronalen Netzwerken mit sich bringt. Auf ähnliche Weise stellen Digitalbildkategorisierungssysteme, die das Maschinenlernen zum Übertragen von Eigenschaften aus einem Digitalbild einsetzen, diese Eigenschaften im Allgemeinen in einem latenten Merkmalsraum des neuronalen Netzwerkes dar. Obwohl derartige Systeme Digitalbilder bearbeiten können, können sie physische bzw. physikalische Eigenschaften nicht ohne Weiteres manipulieren, da derartige Eigenschaften intrinsisch als latente (oder auf andere Weise kombinierte) Merkmale innerhalb von Schichten des neuronalen Netzwerkes dargestellt werden.
Diese und weitere Probleme treten im Zusammenhang mit der Digitalbildbearbeitung auf.
Kurze Zusammenfassung
Eine oder mehrere Ausführungsformen der vorliegenden Offenbarung bieten Vorteile und/oder lösen eines oder mehrere der vorgenannten Probleme oder auch andere Probleme im Stand der Technik bei Systemen und Verfahren, die ein modifiziertes Digitalbild unter Nutzung eines neuronalen Netzwerkes, das eine Rendering- bzw. Erstellungsschicht (Englisch: rendering layer) beinhaltet, erzeugen. Insbesondere nutzen die offenbarten Systeme und Verfahren bei einer oder mehreren Ausführungsformen ein neuronales Netzwerk mit einer Rendering- bzw. Erstellungsschicht, die dafür trainiert ist, auf Grundlage von in einem Eingabedigitalbild abgebildeten physischen bzw. physikalischen Eigenschaften den Bilderstellungsprozess explizit zu modellieren. Bei einer oder mehreren Ausführungsformen stellen die offenbarten Systeme und Verfahren beispielsweise ein Eingabedigitalbild für ein neuronales Netzwerk bereit, das intrinsische Eigenschaften des Digitalbildes (beispielsweise Materialeigenschaften, Beleuchtung und/oder Oberflächenorientierungen) vorhersagt. Die offenbarten Systeme und Verfahren nutzen sodann eine trainierte Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes auf Grundlage dieser intrinsischen Eigenschaften. Insbesondere ersetzen die offenbarten Systeme und Verfahren eine oder mehrere vorhergesagte physische bzw. physikalische Eigenschaften durch eine oder mehrere Zieleigenschaften und nutzen die Erstellungsschicht zur Erzeugung von modifizierten Digitalbildern. Auf diese Weise erzeugen die offenbarten Systeme und Verfahren genaue und realistische modifizierte Digitalbilder, die physische bzw. physikalische Eigenschaften eines Eingabedigitalbildes und eine oder mehrere Zieleigenschaften wiedergeben bzw. reflektieren.
Bei einem Darstellungsbeispiel empfangen die offenbarten Systeme und Verfahren bei einer oder mehreren Ausführungsformen ein Eingabedigitalbild, das ein Objekt innerhalb einer Beleuchtungsumgebung abbildet, wobei das Objekt eine Oberfläche eines Materials, das mit einer Normalenrichtung ausgerichtet ist, abbildet. Die offenbarten Systeme und Verfahren empfangen eine Aufforderung, eine Eigenschaft des Eingabedigitalbildes zu modifizieren (das heißt eine Aufforderung, das Material, die Oberflächenorientierung oder die Beleuchtungsumgebung zu modifizieren). Die offenbarten Systeme und Verfahren sagen intrinsische Eigenschaften des Digitalbildes (beispielsweise einen Materialeigenschaftssatz, eine Oberflächenorientierungsabbildung und/oder eine Beleuchtungsumgebungsabbildung) unter Nutzung des neuronalen Netzwerkes voraus und ersetzen sodann eine oder mehrere der intrinsischen Eigenschaften durch die modifizierte Eigenschaft. Die offenbarten Systeme und Verfahren stellen sodann die modifizierte Eigenschaft zusammen mit den unmodifizierten intrinsischen Eigenschaften für eine Erstellungsschicht des neuronalen Netzwerkes bereit, das ein modifiziertes Digitalbild, das die modifizierten Eigenschaften wiedergibt bzw. reflektiert, erzeugt.
Durch Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht, die den Bilderstellungsprozess modelliert (beispielsweise ein modifiziertes Digitalbild auf Grundlage von vorhergesagten Materialeigenschaften, Oberflächenorientierungen und der Beleuchtung erzeugt), erzeugen die offenbarten Systeme und Verfahren ein genaues modifiziertes Digitalbild, das ein modifiziertes Material, ein modifiziertes Objekt oder eine modifizierte Beleuchtungsumgebung abbildet. Die offenbarten Systeme und Verfahren können beispielsweise das Material eines Objektes von einem matten Metall in ein reflektierendes Metall ändern und dabei weiterhin die Form und Beleuchtungsumgebung, die in dem Eingabedigitalbild abgebildet sind, abbilden. Auf ähnliche Weise können die offenbarten Systeme und Verfahren eine Objektform (beispielsweise ein Auto in einen Lastwagen) und/oder eine Beleuchtungsumgebung (beispielsweise die Beleuchtungsumgebung von Mittag in die Dämmerung) beim Erzeugen eines modifizierten Digitalbildes ändern und dabei weiterhin die anderen physischen bzw. physikalischen Eigenschaften des Eingabedigitalbildes realistisch abbilden.
Des Weiteren erzeugen die offenbarten Systeme und Verfahren modifizierte Digitalbilder, ohne dass sie Annahmen machen würden, die die robuste Anwendung in einer Vielzahl von Umgebungen beschränkt. Die offenbarten Systeme und Verfahren müssen vielmehr keine Annahmen zu bestimmten geometrischen Formen oder Materialien beim Erzeugen eines modifizierten Digitalbildes machen. Da die offenbarten Systeme zudem physische bzw. physikalische Eigenschaften eines Eingabedigitalbildes explizit modellieren, ersetzen und modifizieren die offenbarten Systeme und Verfahren diese physischen bzw. physikalischen Eigenschaften zur Nutzung innerhalb eines neuronalen Netzwerkes, um ein modifiziertes Digitalbild zu erzeugen.
Darüber hinaus berücksichtigen die offenbarten Systeme und Verfahren bei einer oder mehreren Ausführungsformen komplexere Materialeigenschaften (beispielsweise bidirektionale Reflexionsstärkeverteilungsfunktionen bzw. Reflektanzverteilungsfunktionen) durch Nutzung einer parametrischen Materialdarstellung, die in Bezug auf die Lichtrichtung und die Materialeigenschaften (beispielsweise Materialparameter oder Materialkoeffizienten) differenzierbar ist. Diese Herangehensweise ermöglicht, dass die offenbarten Systeme und Verfahren mit einer großen Vielzahl von Materialien, Objekten und Umgebungen umgehen können. Die offenbarten Systeme und Verfahren sind beispielsweise nicht auf diffuse Materialien beschränkt, sondern können auch spiegelnde Materialien modellieren, was zu realistischer aussehenden Modellen führt. Darüber hinaus ermöglicht die Nutzung einer differenzierbaren parametrischen Darstellung, dass die offenbarten Systeme und Verfahren in einer Vielzahl von Netzwerkarchitekturen implementiert werden können, da die parametrische Darstellung während des Trainings Rückverfolgungslösungen (back propagation) zulässt. Entsprechend ermöglichen die offenbarten Systeme und Verfahren ein effizienteres Training genauer neuronaler Netzwerke zur Erzeugung von modifizierten Digitalbildern.
Zusätzliche Merkmale und Vorteile einer oder mehrerer Ausführungsformen der vorliegenden Offenbarung sind in der nachfolgenden Beschreibung niedergelegt, erschließen sich teilweise aus der Beschreibung oder ergeben sich aus der praktischen Umsetzung von exemplarischen Ausführungsformen.
Figurenliste
Die Detailbeschreibung erfolgt anhand der begleitenden Zeichnung, die sich folgendermaßen zusammensetzt.

1 zeigt eine Darstellung von physischen bzw. physikalischen Eigenschaften, die beim Modellieren eines Digitalbildes genutzt werden, entsprechend einer oder mehreren Ausführungsformen.
2 zeigt eine Darstellung der Erzeugung eines modifizierten Digitalbildes unter Nutzung eines neuronalen Netzwerkes, das eine Erstellungsschicht beinhaltet, entsprechend einer oder mehreren Ausführungsformen.
3A und 3B zeigen Darstellungn einer Oberflächenorientierungsabbildung und einer Beleuchtungsumgebung entsprechend einer oder mehreren Ausführungsformen.
4 zeigt eine Darstellung des Trainierens eines neuronalen Netzwerkes, das eine Erstellungsschicht beinhaltet, entsprechend einer oder mehreren Ausführungsformen.
5A bis 5C zeigen Netzwerkarchitekturen zum Vorhersagen von physischen bzw. physikalischen Eigenschaften entsprechend einer oder mehreren Ausführungsformen.
6A und 6B zeigen ein Feld, das mehrere modifizierte Digitalbilder umfasst, die aus mehreren Ursprungsdigitalbildern erzeugt werden, entsprechend einer oder mehreren Ausführungsformen.
7 zeigt das Erzeugen eines modifizierten Digitalbildes, das zwei modifizierte Materialien abbildet, unter Nutzung von zwei Zielmaterialeigenschaftssätzen entsprechend einer oder mehreren Ausführungsformen.
8 zeigt ein schematisches Diagramm zur Darstellung eines Digitalneuronalnetzwerkerstellungssystems entsprechend einer oder mehreren Ausführungsformen.
9 zeigt ein schematisches Diagramm zur Darstellung einer exemplarischen Ausführungsform, in der das Digitalneuronalnetzwerkerstellungssystem implementiert sein kann, entsprechend einer oder mehreren Ausführungsformen.
10 zeigt eine Darstellung von Vorgängen bei einem Schritt zum Erstellen eines modifizierten Digitalbildes, das ein Eingabedigitalbild mit einer modifizierten Eigenschaft wiedergibt, unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht, die darauf trainiert ist, Zieldigitalbilder, die diffuse und spiegelnde Materialien abbilden, zu erzeugen, entsprechend einer oder mehreren Ausführungsformen.
11 zeigt ein Flussdiagramm einer Abfolge von Vorgängen bei einem Verfahren zum Trainieren eines neuronalen Netzwerkes mit einer Erstellungsschicht zur Erzeugung von modifizierten Digitalbildern entsprechend einer oder mehreren Ausführungsformen.
12 zeigt ein weiteres Flussdiagramm einer Abfolge von Vorgängen bei einem Verfahren zum Erzeugen von modifizierten Digitalbildern unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht entsprechend einer oder mehreren Ausführungsformen.
13 zeigt ein Blockdiagramm einer exemplarischen Rechenvorrichtung entsprechend einer oder mehreren Ausführungsformen.

Detailbeschreibung
Eine oder mehrere Ausführungsformen der vorliegenden Offenbarung beinhalten ein Digitalneuronalnetzwerkerstellungssystem, das modifizierte Digitalbilder unter Nutzung eines neuronalen Netzwerkes mit einer Rendering- bzw. Erstellungsschicht erzeugt. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen ein neuronales Netzwerk mit einer Rendering- bzw. Erstellungsschicht, die Bildinformation innerhalb des neuronalen Netzwerkes repliziert. Insbesondere sagt das neuronale Netzwerk physische bzw. physikalische Eigenschaften, die in einem Eingabedigitalbild wiedergegeben werden, bei einer oder mehreren Ausführungsformen vorher, modifiziert eine oder mehrere der physischen bzw. physikalischen Eigenschaften und nutzt die Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes.
Bei einem Darstellungsbeispiel trainieren eine oder mehrere Ausführungsformen ein neuronales Netzwerk mit einer Erstellungsschicht zur Erzeugung von synthetisierten Digitalbildern. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem in Reaktion auf den Empfang eines Eingabedigitalbildes das neuronale Netzwerk zur Vorhersage einer oder mehrerer Eigenschaften des Eingabedigitalbildes (beispielsweise einen Materialeigenschaftssatz, eine Oberflächenorientierungsabbildung oder eine Beleuchtungsumgebungsabbildung des Eingabedigitalbildes). Das Digitalneuronalnetzwerkerstellungssystem ersetzt sodann eine der vorhergesagten Eigenschaften durch eine Zieleigenschaft (beispielsweise den Materialeigenschaftssatz durch einen Zielmaterialeigenschaftssatz). Darüber hinaus nutzt das Digitalneuronalnetzwerkerstellungssystem die Erstellungsschicht des neuronalen Netzwerkes zur Erzeugung eines modifizierten Digitalbildes aus dem Eingabedigitalbild, das die Zieleigenschaft wiedergibt.
Durch Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht, die eine Bilderstellung aus physischen bzw. physikalischen Eigenschaften modelliert, kann das Digitalneuronalnetzwerkerstellungssystem viele Probleme bie herkömmlichen Digitalbearbeitungssystemen beheben. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise modifizierte Digitalbilder, die Zieleigenschaften genau wiedergeben bzw. reflektieren, in Zusammenwirkung mit bestehenden physischen bzw. physikalischen Eigenschaften aus dem Eingabedigitalbild, erzeugen. Bei einem Darstellungsbeispiel kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild erzeugen, das ein modifiziertes Material innerhalb einer bestehenden Beleuchtungsumgebung aus dem Eingabedigitalbild genau wiedergibt bzw. reflektiert. Auf ähnliche Weise kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild erzeugen, das ein neues Objekt in einer Beleuchtungsumgebung aus dem Eingabedigitalbild genau wiedergibt bzw. reflektiert. Des Weiteren kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild erzeugen, das ein bestehendes Objekt aus einem Eingabedigitalbild in einer anderen Beleuchtungsumgebung genau wiedergibt bzw. reflektiert.
Des Weiteren behandelt das Digitalneuronalnetzwerkerstellungssystem im Gegensatz zu herkömmlichen Netzwerke nutzenden Systemen das neuronale Netzwerk nicht als Black Box im Zusammenhang mit physischen bzw. physikalischen Eigenschaften der Digitalbilder. Vielmehr modelliert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen intrinsische physische bzw. physikalische Eigenschaften aus einem Eingabedigitalbild (beispielsweise Materialeigenschaften, Oberflächenorientierungen und/oder eine Beleuchtungsumgebung) explizit. Entsprechend kann das Digitalneuronalnetzwerkerstellungssystem Eigenschaften eines Eingabedigitalbildes genauer modifizieren und die Erstellungsschicht zur Synthetisierung eines modifizierten Digitalbildes nutzen. Daher kann das Digitalneuronalnetzwerkerstellungssystem eine End-to-End-Neuronalnetzwerkarchitektur mit einer Erstellungsschicht bereitstellen, die einen Vorwärtsbilderstellungsprozess replizieren kann, um intrinsische physische bzw. physikalische Eigenschaften eines Bildes zu identifizieren, eine oder mehrere der intrinsischen physischen bzw. physikalischen Eigenschaften zu modifizieren und ein modifiziertes Digitalbild zu erzeugen.
Das Modellieren des Bilderstellungsprozesses unter Nutzung einer Erstellungsschicht kann zudem die Effizienz beim Trainieren von neuronalen Netzwerken verbessern. Bei einer oder mehreren Ausführungsformen trainiert das Digitalneuronalnetzwerkerstellungssystem beispielsweise ein neuronales Netzwerk durch explizites Messen eines Verlustes auf Grundlage von Ungenauigkeiten bei den physischen bzw. physikalischen Eigenschaften, die von dem neuronalen Netzwerk vorhergesagt werden. Darüber hinaus trainiert das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk durch Messen eines Verlustes auf Grundlage von Ungenauigkeiten bei Zielbildern, die von dem neuronalen Netzwerk erzeugt werden. Entsprechend kann das Digitalneuronalnetzwerkerstellungssystem durch explizites Modellieren von physischen bzw. physikalischen Eigenschaften das neuronale Netzwerk effizienter trainieren, um genaue modifizierte Digitalbilder, die Zieleigenschaften wiedergeben bzw. reflektieren, zu erzeugen.
Darüber hinaus berücksichtigt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen zudem komplexere Materialeigenschaften, wodurch das realistische Aussehen der sich ergebenden modifizierten Digitalbilder erhöht wird. Bei einer oder mehreren Ausführungsformen nutzt das Digitalneuronalnetzwerkerstellungssystem beispielsweise eine parametrische Materialdarstellung, die in Bezug auf Lichteingangsrichtungen, Lichtausgangsrichtungen und Materialeigenschaften, die in dem Digitalbild abgebildet sind, differenzierbar ist. Die Nutzung einer parametrischen Materialdarstellung, die differenzierbar ist, ermöglicht, dass das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk leichter trainiert. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise Rückverfolgungstechniken (back propagation techniques) zum Trainieren eines neuronalen Netzwerkes unter Nutzung der parametrischen Materialdarstellung nutzen.
Darüber hinaus ermöglicht das Nutzen von komplexeren Materialeigenschaften zudem, dass das Digitalneuronalnetzwerkerstellungssystem modifizierte Digitalbilder im Zusammenhang mit einer Vielzahl von verschiedenen Materialien erzeugt. Bei einer oder mehreren Ausführungsformen nutzt das Digitalneuronalnetzwerkerstellungssystem beispielsweise eine parametrische Darstellung auf Grundlage von bidirektionalen Reflexionsstärke- bzw. Reflektanzverteilungsfunktionen. Durch Nutzung dieses Lösungsansatzes kann das Digitalneuronalnetzwerkerstellungssystem im Gegensatz zu herkömmlichen Systemen modifizierte Digitalbilder erzeugen, die diffuse und/oder spiegelnde Materialien wiedergeben bzw. reflektieren.
Darüber hinaus bildet das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen die Beleuchtung in modifizierten Digitalbildern durch Nutzen einer Beleuchtungsumgebungsabbildung genauer und realistischer ab. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen eine Beleuchtungsumgebungsabbildung, die die natürliche Beleuchtung einer in einem Digitalbild abgebildeten Szene genauer wiedergibt. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem eine Beleuchtungsumgebungsabbildung, die ein sphärisches Panoramabild umfasst, das zu einer zweidimensionalen Domäne ausgelegt ist, wobei die Position eines jeden Pixels die Eingangslichtrichtung im dreidimensionalen Raum wiedergibt und der Wert eines jeden Pixels die Intensität des aus der entsprechenden Richtung kommenden Lichtes speichert. Eine derartige Beleuchtungsumgebungsabbildung stellt eine komplexere Darstellung der Beleuchtung bereit und ermöglicht, dass das Digitalneuronalnetzwerkerstellungssystem bestehende oder Zielbeleuchtungseigenschaften in modifizierten Digitalbildern genauer modelliert.
Wie vorstehend erwähnt worden ist, trainiert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen ein neuronales Netzwerk, das eine Erstellungsschicht beinhaltet. Insbesondere trainiert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen ein neuronales Netzwerk und eine Erstellungsschicht auf Grundlage von Verlustmaßen, die eine vorhergesagte Ausgabe des neuronalen Netzwerkes mit Ground-Truth-Trainingsdaten vergleicht. Bei einer oder mehreren Ausführungsformen stellt das Digitalneuronalnetzwerkerstellungssystem beispielsweise ein Trainingseingabebild für ein neuronales Netzwerk bereit, und das neuronale Netzwerk sagt intrinsische Eigenschaften des Trainingsbildes (beispielsweise einen Materialeigenschaftssatz, eine Oberflächenorientierungsabbildung und/oder eine Beleuchtungsumgebungsabbildung) vorher. Das Digitalneuronalnetzwerkerstellungssystem bestimmt sodann das Verlustmaß durch Vergleichen der vorhergesagten intrinsischen Eigenschaften mit bekannten Trainingseigenschaften, die dem Trainingseingabebild entsprechen. Darüber hinaus nutzt das Digitalneuronalnetzwerkerstellungssystem das Verlustmaß zum Trainieren des neuronalen Netzwerkes, um intrinsische Eigenschaften (beispielsweise mittels Verlustrückverfolgungstechniken) genauer vorherzusagen.
Darüber hinaus trainiert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen das neuronale Netzwerk mit einer Erstellungsschicht durch Erzeugen eines oder mehrerer synthetisierter Digitalbilder. Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem die Neuronalnetzwerkerstellungsschicht nutzen, um ein synthetisiertes Trainingsbild auf Grundlage der vorhergesagten intrinsischen Eigenschaften des Trainingseingabebildes zu erzeugen. Das Digitalneuronalnetzwerkerstellungssystem bestimmt sodann ein Maß für den Verlust durch Vergleichen des synthetisierten Trainingsbildes, das von der Erstellungsschicht des neuronalen Netzwerkes erzeugt worden ist, mit dem Trainingseingabebild. Das Digitalneuronalnetzwerkerstellungssystem kann das Verlustmaß zudem nutzen, um das neuronale Netzwerk zu trainieren, damit dieses synthetisierte Digitalbilder auf Grundlage von vorhergesagten intrinsischen Eigenschaften genauer erzeugt.
Darüber hinaus trainiert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen das neuronale Netzwerk mit einer Erstellungsschicht, damit dieses ein oder mehrere synthetisierte Zielbilder erzeugt. Insbesondere ersetzt das Digitalneuronalnetzwerkerstellungssystem eine der vorhergesagten intrinsischen Eigenschaften des Trainingseingabebildes durch eine Trainingszieleigenschaft entsprechend einem Trainingszielbild. Das Digitalneuronalnetzwerkerstellungssystem nutzt sodann die Erstellungsschicht zur Erzeugung eines synthetisierten Zielbildes. Zusätzlich kann das Digitalneuronalnetzwerkerstellungssystem das Verlustmaß durch Vergleichen des synthetisierten Zielbildes mit dem Trainingszielbild bestimmen. Darüber hinaus nutzt das Digitalneuronalnetzwerkerstellungssystem das Verlustmaß zum Trainieren des neuronalen Netzwerkes, um modifizierte Digitalbilder auf Grundlage von modifizierten Eigenschaften genauer zu erzeugen.
Beim Trainieren des neuronalen Netzwerkes nutzt das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk zum Erzeugen von modifizierten Digitalbildern. Das Digitalneuronalnetzwerkerstellungssystem kann, wie vorstehend erwähnt worden ist, ein Eingabedigitalbild empfangen und das neuronale Netzwerk zur Vorhersage von intrinsischen Eigenschaften des Eingabedigitalbildes nutzen. Das Digitalneuronalnetzwerkerstellungssystem kann zudem intrinsische Eigenschaften des Eingabedigitalbildes durch Zieleigenschaften ersetzen und die Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes nutzen.
In 1 sind zusätzliche Details im Zusammenhang mit der Modellierung (beispielsweise Zerlegung und/oder Synthetisierung) eines Digitalbildes entsprechend einer oder mehreren Ausführungsformen des Digitalneuronalnetzwerkerstellungssystems dargestellt. Insbesondere zeigt 1 ein Digitalbild 100, das ein Objekt 102 abbildet. Im Sinne des Vorliegenden bezeichnet der Begriff „Digitalbild“ ein beliebiges Digitalsymbol, ein Bild, einen Icon oder eine Darstellung. Der Begriff „Digitalbild“ beinhaltet beispielsweise Digitaldateien mit den folgenden oder auch anderen Dateierweiterungen: JPG, TIFF, BMP, PNG, RAW oder PDF. Der Begriff „Digitalbild“ beinhaltet zudem ein oder mehrere Bilder (beispielsweise Frames) in einem Digitalvideo. Entsprechend sollte, obwohl der Großteil der vorliegenden Beschreibung mit Blick auf Digitalbilder formuliert ist, einsichtig sein, dass die Offenbarung auch bei der Bearbeitung von Digitalvideos unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht anwendbar ist.
Darüber hinaus bezeichnet der Begriff „Objekt“ im Sinne des Vorliegenden eine Person, einen Ort oder eine Sache, die/der jeweils in einem Digitalbild abgebildet sind. Im Zusammenhang mit 1 beinhaltet der Begriff „Objekt“ beispielsweise ein Auto. Es sollte jedoch einsichtig sein, dass der Begriff „Objekt“ eine Vielzahl von anderen Gegenständen beinhalten kann, so beispielsweise Menschen, Tiere oder Strukturen.
Das Digitalbild 100 bildet das Objekt 102 auf Grundlage von Licht ab, das von einer Kamera erfasst wird. Insbesondere bildet das Digitalbild 100 das Objekt 102 als Ergebnis dessen ab, dass verschiedene Oberflächen des Objektes 102 in verschiedenen Richtungen ausgerichtet sind und aus einem oder mehreren Materialien bestehen, die Licht aus einer Beleuchtungsumgebung in einer das Digitalbild 100 erfassenden Kameralinse wiedergeben bzw. reflektieren. Daher kann das Digitalbild 100 als Ansammlung einzelner Lichtstrahlen modelliert werden, die Pixel bilden, deren Aussehen als Ergebnis der Beleuchtungsumgebung (die das Licht erzeugt), der Materialien (die das Licht verschieden reflektieren) und der Oberflächenorientierungen (die das Licht in verschiedenen Richtungen brechen) variiert.
Im Sinne des Vorliegenden bezeichnet der Begriff „Beleuchtungsumgebung“ das Leuchten innerhalb eines Raumes. Insbesondere bezeichnet der Begriff „Beleuchtungsumgebung“ die Darstellung des innerhalb eines dreidimensionalen Raumes gegebenen Leuchtens, das ein oder mehrere Objekte für eine Kamera sichtbar macht. Darüber hinaus bezeichnet der Begriff „Material“ im Sinne des Vorliegenden einen Stoff, aus dem ein Objekt besteht. Das Auto des Objektes 102, das in dem Digitalbild 100 abgebildet ist, umfasst beispielsweise ein metallisches Material. Auf ähnliche Weise bezeichnet der Begriff „Oberflächenorientierung“ im Sinne des Vorliegenden eine Auflage (bearing) zur Beschreibung der Ausrichtung einer Oberfläche. Der Begriff „Oberflächenorientierung“ beinhaltet eine Oberflächennormalenrichtung, die eine Richtung senkrecht zur Ebene einer Oberfläche beschreibt.
Bei einer oder mehreren Ausführungsformen zerlegt das Digitalneuronalnetzwerkerstellungssystem Digitalbilder und/oder synthetisiert Digitalbilder durch Modellieren des Zusammenspiels dieser intrinsischen Eigenschaften. Im Sinne des Vorliegenden bezeichnen die Begriffe „Eigenschaften“, „intrinsische Eigenschaften“ oder „physische bzw. physikalische Eigenschaften“ die Darstellung von natürlichen Gegebenheiten, Eigenheiten, Parametern, Kräften oder Faktoren, die zum Aussehen eines oder mehrerer Pixel in einem Digitalbild beitragen. Insbesondere beinhalten die intrinsischen oder physischen bzw. physikalischen Eigenschaften natürliche Gegebenheiten innerhalb einer Umgebung, die das Aussehen von Licht beeinflussen, das als Pixel in einem Digitalbild wiedergegeben bzw. reflektiert wird. Die physischen bzw. physikalischen Eigenschaften beinhalten beispielsweise eine Beleuchtungsumgebung, Materialien und/oder Oberflächenorientierungen. Wie nachstehend noch detaillierter erläutert wird, können die Eigenschaften auch eine Beleuchtungsumgebungsabbildung, eine Materialeigenschaftssatz und/oder eine Objektorientierungsabbildung beinhalten.
Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem, wie in 1 gezeigt ist, das Digitalbild 100 durch Modellieren mehrerer Lichtstrahlen 104a bis 104n, die den in dem Digitalbild 100 dargestellten Pixeln entsprechen, zerlegen (und/oder erzeugen). Im Zusammenhang mit dem Lichtstrahl 104a kann das Digitalneuronalnetzwerkerstellungssystem beispielsweise ein entsprechendes Pixel in dem Digitalbild 100 auf Grundlage der Eingangsrichtung des Lichtstrahles 104a, auf Grundlage eines Materials 108a, das den Lichtstrahl 104a bricht, auf Grundlage einer Oberflächennormale 106a (das heißt der Richtung senkrecht zur Oberfläche, an der der Lichtstrahl 104a reflektiert wird) sowie auf Grundlage der Ausgangsrichtung des Lichtstrahles 104a modellieren. Auf Grundlage einer Information im Zusammenhang mit den Richtungen der mehreren Lichtstrahlen 104a bis 104n, der Oberflächennormalenrichtungen 106a bis 106n und der Materialien 108a bis 108n kann das Digitalneuronalnetzwerkerstellungssystem das Digitalbild 100 neuerstellen.
Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem, wie vorstehend erwähnt worden ist, zudem die intrinsischen Eigenschaften des Digitalbildes 100 bestimmen. Insbesondere zerlegt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen das Digitalbild 100 durch Vorhersagen der Eingangsrichtungen der mehreren Lichtstrahlen 104a bis 104n, der Oberflächennormalenrichtungen 106a bis 106n und der Materialien 108a bis 108n. Insbesondere kann, wie nachstehend noch detailliert beschrieben wird, das Digitalneuronalnetzwerkerstellungssystem eine Beleuchtungsumgebungsabbildung, eine Oberflächenorientierungsabbildung und einen Materialeigenschaftssatz bestimmen, die die Eingangsrichtungen der mehreren Lichtstrahlen 104a bis 104n, die Oberflächennormalenrichtungen 106a bis 106n und die Materialien 108a bis 108n wiedergeben.
Des Weiteren kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild durch Modifizieren dieser physischen bzw. physikalischen Eigenschaften erzeugen. Das Digitalneuronalnetzwerkerstellungssystem kann die Materialien 108a bis 108n beispielsweise in modifizierte Materialien ändern und ein modifiziertes Objekt innerhalb derselben Beleuchtungsumgebung erzeugen (beispielsweise ein Auto, das aus einem anderen Material besteht, das so aussieht, als würde es in demselben Raum wie das Digitalbild 100 beleuchtet werden). Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem ein neuronales Netzwerk nutzen, um das Digitalbild zu zerlegen (das heißt intrinsische physische bzw. physikalische Eigenschaften eines Eingabedigitalbildes zu identifizieren), und sodann eine Erstellungsschicht des neuronalen Netzwerkes zum Synthetisieren von Eigenschaften beim Erzeugen eines modifizierten Digitalbildes nutzen.
2 zeigt beispielsweise die Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes. 2 zeigt insbesondere ein neuronales Netzwerk 200, ein Eingabedigitalbild 202 und ein modifiziertes Digitalbild 206. Wie gezeigt ist, kann das Digitalneuronalnetzwerkerstellungssystem das Eingabedigitalbild 202 für das neuronale Netzwerk 200 bereitstellen, und es kann das neuronale Netzwerk das modifizierte Digitalbild 206 erzeugen.
Im Sinne des Vorliegenden bezeichnet der Begriff „Eingabedigitalbild“ ein Digitalbild, das für ein neuronales Netzwerk bereitgestellt wird. Insbesondere beinhaltet der Begriff „Eingabedigitalbild“ ein Digitalbild, das für ein neuronales Netzwerk bereitgestellt wird, um ein modifiziertes Digitalbild zu erzeugen. Darüber hinaus bezeichnet der Begriff „neuronales Netzwerk“ im Sinne des Vorliegenden ein Modell des Maschinenlernens, das auf Grundlage von Eingaben zur Näherung von unbekannten Funktionen angepasst (beispielsweise trainiert) werden kann. Insbesondere kann der Begriff „neuronales Netzwerk“ ein Modell von wechselseitig verbundenen Schichten beinhalten, die kommunizieren, Attribute auf verschiedenen Ebenen der Abstraktion analysieren und lernen, komplexe Funktionen zu nähern, und um Ausgaben auf Grundlage von mehreren für das Modell bereitgestellten Eingaben zu erzeugen. Der Begriff „neuronales Netzwerk“ beinhaltet beispielsweise einen oder mehrere Algorithmen des Maschinenlernens. Insbesondere beinhaltet der Begriff „neuronales Netzwerk“ tiefe faltungstechnische neuronale Netzwerke (Deep Convolutional Neural Networks CNNs) und vollständig faltungstechnische neuronale Netzwerke (Fully Convolutional Neural Networsk FCNs). Mit anderen Worten, ein neuronales Netzwerk beinhaltet einen Algorithmus, der Techniken des Tiefenlernens (deep learning) implementiert, das heißt das Maschinenlernen, das einen Satz von Algorithmen bei dem Versuch nutzt, Abstraktionen von Daten auf hoher Ebene zu modellieren. Zusätzliche Details im Zusammenhang mit exemplarischen neuronalen Netzwerken und entsprechenden Netzwerkarchitekturen sind nachstehend angegeben (beispielsweise im Zusammenhang mit 5A bis 5C).
Das neuronale Netzwerk 200 umfasst, wie gezeigt ist, eine Materialeigenschaftsvorhersageeinrichtung 208, eine Oberflächenorientierungsvorhersageeinrichtung 210, eine Beleuchtungsvorhersageeinrichtung 212 und eine Erstellungsschicht 214. In Reaktion auf den Empfang des Eingabedigitalbildes 202 können die Materialeigenschaftsvorhersageeinrichtung 208, die Oberflächenorientierungsvorhersageeinrichtung 210 und die Beleuchtungsvorhersageeinrichtung 212 einen Materialeigenschaftssatz 216, eine Oberflächenorientierungsabbildung 218 beziehungsweise eine Beleuchtungsumgebungsabbildung 220 bestimmen.
Im Sinne des Vorliegenden bezeichnet der Begriff „Erstellungsschicht“ einen Abschnitt eines neuronalen Netzwerkes zur Erzeugung eines Digitalbildes auf Grundlage von physischen bzw. physikalischen Eigenschaften. Insbesondere beinhaltet der Begriff „Erstellungsschicht“ eine oder mehrere Schichten eines neuronalen Netzwerkes zum Synthetisieren von physischen bzw. physikalischen Eigenschaften zur Erzeugung eines Digitalbildes. Darüber hinaus beinhaltet der Begriff „Erstellungsschicht“ einen Abschnitt eines neuronalen Netzwerkes, der den Bilderstellungsprozess auf Grundlage von intrinsischen physischen bzw. physikalischen Eigenschaften eines Digitalbildes modelliert. Eine Erstellungsschicht kann beispielsweise ein Digitalbild auf Grundlage eines Materialeigenschaftssatzes, einer Oberflächenorientierungsabbildung und/oder einer Beleuchtungsumgebungsabbildung erzeugen.
Im Sinne des Vorliegenden bezeichnet der Begriff „Materialeigenschaftssatz“ (oder „Materialeigenschaften“) eine Sammlung von Eigenschaften, die einem Material entsprechen. Insbesondere kann der „Materialeigenschaftssatz“ eine Sammlung von Eigenschaften (beispielsweise Materialparameter oder Materialkoeffizienten) beinhalten, die beeinflussen, wie Lichtstrahlen beim Kontakt mit einem Material gebrochen werden. Ein Materialeigenschaftssatz kann beispielsweise mehrere Materialparameter umfassen, so beispielsweise den Schattenwurf, die Mehrfachstreuung, die gegenseitige Beschattung, die Durchlässigkeit, die Reflexion, die Absorption, die Emission durch Oberflächenelemente, die Facettenorientierungsverteilung und die Facettendichte.
Bei einer oder mehreren Ausführungsformen bestimmt das Digitalneuronalnetzwerkerstellungssystem die Reflexionsstärke bzw. -grad bzw. Reflektanz eines Materials auf Grundlage von bidirektionalen Reflexionsstärke- bzw. Reflektanzverteilungsfunktionen (Bidirectional Reflectance Distribution Functions BRDFs). Wie in 2 gezeigt ist, nutzt das Digitalneuronalnetzwerkerstellungssystem beispielsweise BRDFs zur Erzeugung des Materialeigenschaftssatzes 216 mittels der Materialeigenschaftsvorhersageeinrichtung 208. BRDFs stellen das Verhältnis der reflektierten Strahlungsstärke zur Einfallsstrahlungsstärke eines Materials bei gegebenen Eingangs- und Ausgangslichtrichtungen dar.
Ein Materialeigenschaftssatz kann eine Vielzahl von Anzahlen und Arten von Eigenschaften umfassen. Bei einer oder mehreren Ausführungsformen nutzt das Digitalneuronalnetzwerkerstellungssystem einhundertacht Parameter für ein gegebenes Material. Wie in 2 gezeigt ist, umfasst der Materialeigenschaftssatz 216 beispielsweise einhundertacht Parameter (obwohl der Materialeigenschaftssatz 216 auch mehr oder weniger Parameter beinhalten kann).
Darüber hinaus bezeichnet der Begriff „Oberflächenorientierungsabbildung“ im Sinne des Vorliegenden eine Digitaldarstellung von Oberflächenrichtungen, die in einem Digitalbild abgebildet sind. Insbesondere beinhaltet die Oberflächenorientierungsabbildung eine Digitaldarstellung von Oberflächennormalenrichtungen entsprechend Oberflächen, die durch Pixel in einem Digitalbild abgebildet werden. Eine Oberflächenorientierungsabbildung kann beispielsweise eine Datenbank, eine Matrix oder eine Bilddatei beinhalten, die die dreidimensionale Orientierung von Oberflächen, die durch Pixel in einem Digitalbild dargestellt werden, codiert. Bei einem Darstellungsbeispiel umfasst, wie in 2 dargestellt ist, die Oberflächenorientierungsabbildung 218, die von der Oberflächenorientierungsvorhersageeinrichtung 210 erzeugt wird, eine Drei-Kanal-Oberflächenorientierungsabbildung. Insbesondere umfasst die Oberflächenorientierungsabbildung 218 eine Bilddatei, in der die R-, G- und B-Farbe eines jeden Pixels die x-, y- und z-Dimensionen einer jeden Oberflächennormalenrichtung entsprechend jedem Pixel in dem Eingabedigitalbild 202 codiert.
Darüber hinaus bezeichnet der Begriff „Beleuchtungsumgebungsabbildung“ im Sinne des Vorliegenden eine Digitaldarstellung einer Beleuchtungsumgebung, die in einem Digitalbild abgebildet ist. Insbesondere beinhaltet der Begriff „Beleuchtungsumgebungabbildung“ eine Darstellung von Lichtstrahlrichtungen entsprechend einem Digitalbild. Bei einer oder mehreren Ausführungsformen beinhaltet eine Beleuchtungsumgebungsabbildung beispielsweise eine Darstellung von Richtungen eingehender Lichtstrahlen entsprechend Pixeln eines Digitalbildes. Bei einem Darstellungsbeispiel umfasst, wie in 2 dargestellt ist, die Beleuchtungsumgebungsabbildung 220, die von der Beleuchtungsvorhersageeinrichtung 212 erzeugt wird, eine Bilddatei, in der der Ort eines jeden Pixels in der Bilddatei die Richtung eingehenden Lichtes in Abhängigkeit von Lichtstrahlen, die Pixeln in dem Eingabedigitalbild 202 entsprechen, wiedergibt bzw. reflektiert. Insbesondere umfasst die Beleuchtungsumgebungsabbildung 220 ein sphärisches Panoramadigitalbild, in dem der Ort eines jeden Pixels Richtungen eingehenden Lichtes in einem dreidimensionalen Raum darstellt, der zu einer zweidimensionalen Bilddomäne ausgelegt ist. Der Wert eines jeden Pixels in der Beleuchtungsumgebungsabbildung 220 speichert die Intensität des Lichtes, das aus einer Richtung entsprechend der Position des Pixels kommt. Entsprechend gibt die Beleuchtungsumgebungsabbildung 220 die Intensität und Richtung der eingehenden Lichtstrahlen, die in dem Eingabedigitalbild 202 wiedergegeben bzw. reflektiert werden, wieder und ermöglicht zudem, dass das Digitalneuronalnetzwerkerstellungssystem die Beleuchtungsumgebung, die das Eingabedigitalbild 202 erstellt hat, modelliert.
Wie vorstehend erläutert worden ist, kann das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen eine Zieleigenschaft nutzen, um ein modifiziertes Digitalbild aus einem Eingabedigitalbild zu erzeugen. Im Sinne des Vorliegenden bezeichnet der Begriff „Ziel“ etwas Modifiziertes, Abgewandeltes oder Erwünschtes. Der Begriff „Zieleigenschaft“ bezeichnet also beispielsweise eine modifizierte (oder erwünschte) Eigenschaft im Vergleich zu einer entsprechenden Eigenschaft eines Eingabedigitalbildes. 2 zeigt beispielsweise das Bereitstellen einer Zieleigenschaft 222 für das neuronale Netzwerk 200, um das modifizierte Digitalbild 206 zu erzeugen. Insbesondere ersetzt das Digitalneuronalnetzwerkerstellungssystem eine der Eigenschaften, die von dem neuronalen Netzwerk 200 vorhergesagt werden, durch die Zieleigenschaft 222 (das heißt ersetzt den Materialeigenschaftssatz 216, die Oberflächenorientierungsabbildung 218 oder die Beleuchtungsumgebungsabbildung 220 durch die Zieleigenschaft 222). Darüber hinaus nutzt das Digitalneuronalnetzwerkerstellungssystem sodann die Erstellungsschicht 214 zur Erzeugung des modifizierten Digitalbildes 206 auf Grundlage der Zieleigenschaft 222.
Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise das modifizierte Digitalbild 206 erzeugen, um das Eingabedigitalbild 202 mit einem neuen Material abzubilden. Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem den Materialeigenschaftssatz 216 durch die Zieleigenschaft 222 ersetzen, wobei die Zieleigenschaft 222 einen Zielmaterialeigenschaftssatz beinhaltet. Das Digitalneuronalnetzwerkerstellungssystem kann die Zieleigenschaft 222 (das heißt die Zielmaterialeigenschaft), die Oberflächenorientierungsabbildung 218 und die Beleuchtungsumgebungsabbildung 220 für die Erstellungsschicht 214 bereitstellen. Die Erstellungsschicht 214 kann das modifizierte Digitalbild 206 auf Grundlage der Zieleigenschaft 222 (das heißt der Zielmaterialeigenschaft), der Oberflächenorientierungsabbildung 218 und der Beleuchtungsumgebungsabbildung 220 erzeugen. Auf diese Weise kann das Digitalneuronalnetzwerkerstellungssystem das modifizierte Digitalbild 206 erzeugen, um ein modifiziertes Material an denselben Oberflächen und in derselben Beleuchtungsumgebung, wie sie in dem Eingabedigitalbild 202 abgebildet sind, anzuzeigen.
Zusätzlich zur Ersetzung des Materialeigenschaftssatzes 216 (oder auch alternativ hierzu) kann das Digitalneuronalnetzwerkerstellungssystem auch die Oberflächenorientierungsabbildung 218 und/oder die Beleuchtungsumgebungsabbildung 220 durch die Zieleigenschaft 222 ersetzen. Die Zieleigenschaft 222 kann beispielsweise eine Zieloberflächenorientierungsabbildung beinhalten. Das Digitalneuronalnetzwerkerstellungssystem kann die Zieleigenschaft 222 (das heißt die Zieloberflächenorientierungsabbildung), den Materialeigenschaftssatz 216 und die Beleuchtungsumgebungsabbildung 220 für die Erstellungsschicht 214 bereitstellen, und die Erstellungsschicht 214 kann das modifizierte Digitalbild 206 erzeugen. Bei derartigen Gegebenheiten gibt das modifizierte Digitalbild 206 ein neues Objekt, das aus demselben Material besteht, innerhalb derselben Beleuchtungsumgebung wie in dem Eingabedigitalbild 202 wieder.
Auf ähnliche Weise kann die Zieleigenschaft 222 eine Zielbeleuchtungsumgebungsabbildung umfassen. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise die Zieleigenschaft 222 (das heißt die Zielbeleuchtungsabbildung), den Materialeigenschaftssatz 216 und die Oberflächenorientierungsabbildung 218 für die Erstellungsschicht 214 bereitstellen, und die Erstellungsschicht 214 kann das modifizierte Digitalbild 206 synthetisieren. Bei einer derartigen Ausführungsform gibt das modifizierte Digitalbild 206 dasselbe Material und dasselbe Objekt, wie in dem Eingabedigitalbild 202 dargestellt, jedoch innerhalb einer anderen Beleuchtungsumgebung (beispielsweise ein glänzendes Auto bei Nacht im Gegensatz zu einem glänzenden Auto zu Mittag) wieder.
Das Digitalneuronalnetzwerkerstellungssystem kann eine oder mehrere der von dem neuronalen Netzwerk 200 erzeugten Eigenschaften durch eine oder mehrere Zieleigenschaften ersetzen, um ein modifiziertes Digitalbild zu erzeugen. Obwohl die vorgenannten Beispiele das Ersetzen einer einzigen vorhergesagten Eigenschaft durch eine einzige Zieleigenschaft darstellen, kann das Digitalneuronalnetzwerkerstellungssystem auch mehrere bestimmte Eigenschaften durch mehrere Zieleigenschaften ersetzen. Das Digitalneuronalnetzwerkerstellungssystem kann den Materialeigenschaftssatz 216 und die Beleuchtungsumgebungsabbildung 220 durch einen Zielmaterialeigenschaftssatz und eine Zielbeleuchtungsabbildung ersetzen, um das modifizierte Digitalbild 206 zu erzeugen. Auf diese Weise kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild erzeugen, das dasselbe Objekt, jedoch aus einem anderen Material bestehend, innerhalb einer anderen Beleuchtungsumgebung wiedergibt.
Zusätzlich zur Nutzung von Zieleigenschaften erzeugt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen zudem Zieleigenschaften. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise Zieleigenschaften aus einem zweiten Digitalbild erzeugen. Bei einem Darstellungsbeispiel kann das Digitalneuronalnetzwerkerstellungssystem ein zweites Digitalbild für das neuronale Netzwerk 200 bereitstellen. Das neuronale Netzwerk kann einen zweiten Materialeigenschaftssatz, eine zweite Oberflächenorientierungsabbildung und/oder eine zweite Beleuchtungsumgebungsabbildung entsprechend dem zweiten Digitalbild erzeugen. Das Digitalneuronalnetzwerkerstellungssystem kann sodann den zweiten Materialeigenschaftssatz, die zweite Oberflächenorientierungsabbildung und/oder die zweite Beleuchtungsumgebungsabbildung als Zieleigenschaft 222 nutzen.
Auf diese Weise kann das Digitalneuronalnetzwerkerstellungssystem ermöglichen, dass der Nutzer verschiedene Eigenschaften aus verschiedenen Digitalbildern beim Erzeugen von modifizierten Digitalbildern mischt und abgleicht. Ein Nutzer mag beispielsweise gegebenenfalls die Orientierung oder Anordnung eines Objektes in einem ersten Digitalbild, jedoch das Leuchten aus einem zweiten Digitalbild. Das Digitalneuronalnetzwerkerstellungssystem kann eine Beleuchtungsumgebungsabbildung entsprechend dem ersten Digitalbild durch eine Beleuchtungsumgebungsabbildung entsprechend dem zweiten Digitalbild ersetzen und die Erstellungsschicht 214 nutzen, um ein modifiziertes Digitalbild mit der Orientierung des Objektes aus dem ersten Digitalbild und der Beleuchtungsumgebung aus dem zweiten Digitalbild zu erzeugen.
Des Weiteren ermöglicht das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen zudem, dass Nutzer eine Zieleigenschaft auswählen. Bei einer oder mehreren Ausführungsformen stellt das Digitalneuronalnetzwerkerstellungssystem beispielsweise eine Nutzerschnittstelle zur Anzeige con Nutzerschnittstellenelementen bereit, die verschiedene Zieleigenschaften (oder Digitalbilder zur Wiedergabe von Zieleigenschaften) angeben. In Reaktion auf eine nutzerseitige Auswahl einer oder mehrerer Zieleigenschaften (oder von Digitalbildern zur Wiedergabe der Zieleigenschaften) kann das Digitalneuronalnetzwerkerstellungssystem ein modifiziertes Digitalbild unter Nutzung der Zieleigenschaften erzeugen.
Wie vorstehend erwähnt worden ist, kann das Digitalneuronalnetzwerkerstellungssystem effizient ein neuronales Netzwerk mit einer Erstellungsschicht durch Nutzen von differenzierbaren parametrischen Darstellungen nutzen (und trainieren). Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem differenzierbare parametrische Darstellungen nutzen, um Materialeigenschaftssätze, Beleuchtungsumgebungsabbildungen und Oberflächenorientierungsabbildungen zu lösen. Dies ermöglicht, dass das Digitalneuronalnetzwerkerstellungssystem modifizierte Digitalbilder für einen weiten Bereich von Materialien, Objekten und Beleuchtungsumgebungen genau erzeugt.
Wie vorstehend erwähnt worden ist, nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen beispielsweise komplexere Materialeigenschaften beim Erzeugen von modifizierten Digitalbildern. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen BRDFs zum Modellieren von Materialien. Eine bidirektionale Reflexionsstärkeverteilungsfunktion gibt das Verhältnis der reflektierten Strahlungsstärke zur Einfallsstrahlungsstärke eines Materials bei gegebenen Eingangs- und Ausgangslichtrichtungen an. Zusätzliche Details im Zusammenhang mit bidirektionalen Reflexionsstärkeverteilungsfunktionen finden sich beispielsweise in dem Beitrag „Radiometry, Geometrical Considerations and Nomenclature for Reflectance‟ von F.E. Nicodemus, J.C. Richmond, J.J. Hsia, I.W. Ginsberg und T. Limperis X, 94-145 (Jones and Bartlett Publishers, Inc. 1992). Der Beitrag ist hiermit durch Bezugnahme in Gänze mit aufgenommen.
Verschiedene bidirektionale Reflexionsstärkeverteilungsfunktionen sind jedoch bei verschiedenen Materialien mit verschiedenen Materialeigenschaften einsetzbar. Entsprechend wird eine Sammlung von bidirektionalen Reflexionsstärkeverteilungsfunktionen (das heißt „BRDFs“) benötigt, um eine Vielzahl von verschiedenen Materialien zu modellieren. Das Digitalneuronalnetzwerkerstellungssystem nutzt bei einer oder mehreren Ausführungsformen mehrere bidirektionale Reflexionsstärkeverteilungsfunktionen, die als Daten beispielsweise in einer Nachschlagetabelle, einer Matrix oder einer Datenbank gespeichert sind. Bei einem Darstellungsbeispiel nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen die MERL-BRDF-Datenbank.
Derartige diskrete Funktionen, die in einer Nachschlagetabelle, einer Matrix, einer Datenbank oder einer anderen Struktur gespeichert sind, sind jedoch nicht differenzierbar und können daher nicht effizient genutzt werden, um modifizierte Digitalbilder zu erzeugen oder ein neuronales Netzwerk zu trainieren. Entsprechend erzeugt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen auf Grundlage einer BRDF-Datenbank eine parametrische Funktion, die differenzierbar ist. Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem ein Direktionalstatistik-BRDF-Modell nutzen, das jede BRDF als Kombination von hemisphärischen exponentiellen Potzenfunktionen darstellt. Bei einer oder mehreren Ausführungsformen setzt das Digitalneuronalnetzwerkerstellungssystem das Direktionalstatistik-BRDF-Modell ein, das in dem folgenden Beitrag beschrieben wird: „Directional Statistics BRDF Model‟ von K. Nishino, 2009 IEEE 12th International Conference on Computer Vision, 476-483 (IEEE 2009). Der Beitrag ist hiermit durch Verweisung mit aufgenommen. Diese Näherung stellt jedes Material als Linearkombination einer PCA-Basis dar, die bezüglich der MERL-BRDF-Datenbank berechnet worden ist. Das Digitalneuronalnetzwerkerstellungssystem formuliert dieses Modell zudem derart, dass es in Bezug auf die Eingangsrichtungen von Lichtstrahlen, die Ausgangsrichtungen von Lichtstrahlen und die verschiedenen Materialeigenschaften differenzierbar ist.
Das Digitalneuronalnetzwerkerstellungssystem kann Materialeigenschaftssätze auf Grundlage dieser Verteilungen nähern. So hat man beispielsweise experimentell bestimmt, dass die Nutzung von drei hemisphärischen exponentiellen Potenzfunktionen genaue Näherungen liefert, die insgesamt einhundertacht Parameter pro Material ergeben. Darüber hinaus sind diese Verteilungen, wie eben erwähnt, differenzierbare parametrische Darstellungen, die das Digitalneuronalnetzwerkerstellungssystem zur Identifizierung von Parametern, die einem Material entsprechen (das heißt einem Materialeigenschaftssatz), nutzen kann. Auf diese Weise kann das Digitalneuronalnetzwerkerstellungssystem eine parametrische Darstellung von BRDFs erzeugen, die in Bezug auf Eingangs- und Ausgangslichtrichtungen und in Bezug auf Materialeigenschaften differenzierbar sind (das heißt eine Parametrisierung der Materialdefinition). Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem die parametrische Darstellung in Verbindung mit einem neuronalen Netzwerk implementieren, um einen Materialeigenschaftssatz zu bestimmen, der einem Eingabedigitalbild entspricht, und um modifizierte Digitalbilder zu erzeugen.
Das Digitalneuronalnetzwerkerstellungssystem kann zudem auch andere parametrische Darstellungen unterstützen. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise zudem das Cook-Torrance-Modell (das heißt die Cook-Torrance-BRDF) nutzen. Zudem kann das Digitalneuronalnetzwerkerstellungssystem auch jedes Material als Linearkombination von MERL-BRDFs darstellen. Unabhängig von der bestimmten Form kann das Digitalneuronalnetzwerkerstellungssystem parametrische Darstellungen nutzen, die differenzierbar sind, um modifizierte Digitalbilder zu erzeugen.
Darüber hinaus kann durch Nutzen von BRDFs das Digitalneuronalnetzwerkerstellungssystem sowohl diffuse wie auch spiegelnde Materialien genau modellieren. Im Sinne des Vorliegenden bezeichnet der Begriff „diffuses Material“ ein Material mit rauer Oberfläche, die Licht in vielen verschiedenen Richtungen reflektiert. Insbesondere beinhaltet der Begriff „diffuses Material“ ein Material, das Licht derart reflektiert, dass die wahrzunehmende Helligkeit unabhängig vom Sichtwinkel eines Beobachters gleich ist. Diffuse Materialien beinhalten beispielsweise unbearbeitetes Holz, Beton, Ziegelstein oder Wollstoffe. Der Begriff „spiegelndes Material“ bezeichnet ein Material mit glatter Oberfläche, das Licht in derselben Richtung reflektiert. Der Begriff „spiegelndes Material“ beinhaltet ein Material, das Licht derart reflektiert, dass sich die Helligkeit auf Grundlage des Sichtwinkels eines Beobachters ändert. Ein spiegelndes Material reflektiert Licht beispielsweise derart, dass bei Beleuchtung ein Lichtpunkt an dem Objekt erscheint (beispielsweise ein Lichtpunkt, dessen Position sich in Abhängigkeit vom Sichtwinkel des Beobachters ändert). Spiegelnde Materialien beinhalten bearbeitetes Holz, einen Spiegel oder poliertes Metall.
Unter Nutzung einer parametrischen Materialdarstellung von BRDFs kann das Digitalneuronalnetzwerkerstellungssystem mit diffusen Materialien und/oder spiegelnden Materialien umgehen. Wie in 2 gezeigt ist, kann das Eingabedigitalbild 202 beispielsweise spiegelnde und/oder diffuse Materialien abbilden, und es kann das Digitalneuronalnetzwerkerstellungssystem das modifizierte Digitalbild 206 derart erzeugen, dass es spiegelnde und/oder diffuse Materialien abbildet. Das Digitalneuronalnetzwerkerstellungssystem kann ein diffuses Material in ein spiegelndes Material modifizieren (oder umgekehrt). Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem eine Beleuchtungsumgebung für ein Digitalbild, das ein spiegelndes Material abbildet, derart modifizieren, dass das spiegelnde Material die neue Beleuchtungsumgebung abbildet. Auf ähnliche Weise kann das Digitalneuronalnetzwerkerstellungssystem ein Objekt für ein Digitalbild, das ein spiegelndes Material abbildet, derart modifizieren, dass das neue Objekt das spiegelnde Material abbildet.
3A und 3B zeigen zusätzliche Details im Zusammenhang mit Oberflächenorientierungsabbildungen und Beleuchtungsorientierungsabbildungen entsprechend einer oder mehreren Ausführungsformen des Digitalneuronalnetzwerkerstellungssystems. 3A zeigt insbesondere ein Eingabedigitalbild 300, das ein Objekt 302 abbildet, und eine Oberflächenorientierungsabbildung 310, die dem Eingabedigitalbild 300 entspricht. Wie dargestellt ist, wird das Objekt 302 als mehrere Pixel 304a bis 304n in dem Eingabedigitalbild 300 dargestellt. Zudem entspricht jedes der mehreren Pixel 304a bis 304n mehreren Oberflächen mit verschiedenen Orientierungen.
Wie vorstehend erwähnt worden ist, stellt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen eine Oberflächenorientierungsabbildung als Digitalbild bereit, in dem die Farbe des Digitalbildes der Orientierung der in einem Eingabedigitalbild abgebildeten Oberfläche entspricht. 3A zeigt beispielsweise die Oberflächenorientierungsabbildung 310. Die Oberflächenorientierungsabbildung 310 ist ein Digitalbild, das das Objekt 302 als mehrere Pixel 312a bis 312n abbildet. Jedes der Pixel 312a bis 312n entspricht den Pixeln 304a bis 304n. Insbesondere erzeugt, wie gezeigt ist, das Digitalneuronalnetzwerkerstellungssystem die Oberflächenorientierungsabbildung 310 durch Bestimmen einer Normalenrichtung für jede Oberfläche, die durch die Pixel 304a bis 304n abgebildet wird. Das Digitalneuronalnetzwerkerstellungssystem erzeugt sodann die Farbe eines jeden Pixels 312a bis 312n in der Oberflächenorientierungsabbildung 310 auf Grundlage der Normalenrichtung. Insbesondere belegt, wie in 3A gezeigt ist, das Digitalneuronalnetzwerkerstellungssystem jeden R-, B- und G-Wert für die Pixel 312a bis 312n in der Oberflächenorientierungsabbildung mit den x-, y- und z-Koordinaten der Oberflächennormalenrichtung des entsprechenden Pixels in dem Eingabedigitalbild 300.
Zusätzlich zu einer Oberflächenorientierungsabbildung kann das Digitalneuronalnetzwerkerstellungssystem zudem eine Beleuchtungsumgebungsabbildung zur Erzeugung eines modifizierten Digitalbildes nutzen. Insbesondere kann, wie vorstehend erläutert worden ist, das Digitalneuronalnetzwerkerstellungssystem eine Beleuchtungsumgebungsabbildung nutzen, die ein sphärisches Panoramadigitalbild umfasst, das die Intensität des aus verschiedenen Richtungen eingehenden Lichtes codiert. Im Sinne des Vorliegenden bezeichnet der Begriff „sphärisches Panoramadigitalbild“ ein Digitalbild, das ein vergrößertes Sichtfeld abbildet. Insbesondere bezeichnet der Begriff „sphärisches Panoramadigitalbild“ ein Digitalbild, das ein Sichtfeld beinhaltet, das über das Sichtfeld des menschlichen Auges hinausreicht. Der Begriff „sphärisches Panoramadigitalbild“ beinhaltet beispielsweise ein Panoramadigitalbild, das 360° eines horizontalen Sichtfeldes wiedergibt bzw. reflektiert.
3B zeigt beispielsweise ein Objekt 330, das in einem Digitalbild abgebildet ist, und eine entsprechende Beleuchtungsumgebungsabbildung 340. In Bezug auf die Ausführungsform von 3B gibt die Beleuchtungsumgebungsabbildung 340 eine zweidimensionale Darstellung eines dreidimensionalen sphärischen Panoramadigitalbildes wieder. Insbesondere modelliert das Digitalneuronalnetzwerkerstellungssystem die Beleuchtungsumgebungsabbildung 340 als Kugel 332, die das Objekt 330 umgibt. Wie gezeigt ist, schneidet die Kugel 332 die eingehenden Lichtstrahlen 334a bis 334n. Entsprechend kann, wie dargestellt ist, das Digitalneuronalnetzwerkerstellungssystem die Eingangsrichtung eines jeden der Lichtstrahlen 334a bis 334n als Position an der Kugel 332 modellieren. Die Position an der Kugel gibt die Richtung des Lichtstrahles in Bezug auf das Objekt 330 an. Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem die Intensität eines jeden Lichtstrahles codieren.
Entsprechend kann das Digitalneuronalnetzwerkerstellungssystem die Position eines jeden der Lichtstrahlen 334a bis 334n und dessen Intensität an der Kugel 332 auf ein sphärisches Panoramadigitalbild abbilden. Die Position eines jeden Pixels in dem sphärischen Panoramadigitalbild gibt die Richtung der eingehenden Lichtstrahlen wieder. Darüber hinaus gibt der Wert eines jeden Pixels in dem sphärischen Panoramadigitalbild die Intensität der Lichtstrahlen aus einer bestimmten Richtung wieder.
Wie in 3B gezeigt ist, kann das Digitalneuronalnetzwerkerstellungssystem zudem ein sphärisches Panoramadigitalbild aus einem dreidimensionalen Raum in ein zweidimensionales Bild umwandeln. Die Beleuchtungsumgebungsabbildung 340 gibt die Intensität und Position der Lichtstrahlen 334a bis 334n, die die Kugel 332 schneiden, in einem zweidimensionalen Digitalbild wieder.
Wie vorstehend erwähnt worden ist, stellt die Nutzung einer Beleuchtungsumgebungsabbildung, die eine sphärische Panoramadigitalbilddarstellung von Lichtstrahlen umfasst, eine allgemeinere, robustere und genauere Darstellung der Beleuchtung als bisherige Ansätze bereit. Darüber hinaus stellt die Nutzung einer derartigen Beleuchtungsumgebungsabbildung in einem neuronalen Netzwerk mit einer Erstellungsschicht genauere und realistischere Ergebnisse bei der Zerlegung von Eingabedigitalbildern und der Synthetisierung von modifizieren Digitalbildern bereit.
Wie vorstehend erläutert worden ist, trainiert das Digitalneuronalnetzwerkerstellungssystem ein neuronales Netzwerk mit einer Erstellungsschicht, um ein modifiziertes Digitalbild zu erzeugen. Insbesondere trainiert das Digitalneuronalnetzwerkerstellungssystem ein neuronales Netzwerk sowohl für die Zerlegung eines Eingabebildes in intrinsische Eigenschaften (beispielsweise einen Materialeigenschaftssatz, eine Beleuchtungsumgebungsabbildung und/oder eine Oberflächenorientierungsabbildung) wie auch die Synthetisierung eines Digitalbildes auf Grundlage von intrinsischen Eigenschaften. Bei einem Darstellungsbeispiel stellt das Digitalneuronalnetzwerkerstellungssystem ein Trainingseingabebild für ein neuronales Netzwerk bereit und nutzt das neuronale Netzwerk zur Vorhersage von intrinsischen Eigenschaften (beispielsweise einen Materialeigenschaftssatz, eine Oberflächenorientierungsabbildung und/oder eine Beleuchtungsumgebungsabbildung). Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem eine oder mehrere der intrinsischen Eigenschaften durch eine Trainingszieleigenschaft, die einem Trainingszielbild entspricht, ersetzen. Das Digitalneuronalnetzwerkerstellungssystem kann eine Erstellungsschicht des neuronalen Netzwerkes zur Erzeugung eines synthetisierten Digitaltrainingsbildes (entsprechend dem Eingabetrainingsbild) und/oder eines synthetisierten Zieldigitalbildes (entsprechend dem Trainingszielbild) erzeugen.
Das Digitalneuronalnetzwerkerstellungssystem kann sodann das neuronale Netzwerk durch Bestimmen und Nutzen eines oder mehrerer Verlustmaße (beispielsweise durch Rückverfolgen des neuronalen Netzwerkes mit den Verlustmaßen, damit das neuronale Netzwerk lernt, welche Attribute bei der Erzeugung von intrinsischen Eigenschaften und modifizierten Digitalbildern von Bedeutung sind). Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise ein Materialeigenschaftsverlustmaß durch Vergleichen des vorhergesagten Materialeigenschaftssatzes mit einem Trainingsmaterialeigenschaftssatz, der dem Trainingseingabebild entspricht, erzeugen. Auf ähnliche Weise kann das Digitalneuronalnetzwerkerstellungssystem einen Oberflächenorientierungsverlust durch Vergleichen der vorhergesagten Oberflächenorientierungsabbildung mit einer Trainingsoberflächenorientierungsabbildung, die dem Trainingseingabebild entspricht, erzeugen. Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen einen Beleuchtungsverlust durch Vergleichen der vorhergesagten Beleuchtungsumgebungsabbildung mit einer Trainingsbeleuchtungsumgebungsabbildung identifizieren. Durch Nutzen eines oder mehrerer dieser Verlustmaße kann das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk darauf trainieren, intrinsische Eigenschaften aus einem Eingabedigitalbild genau zu identifizieren.
Des Weiteren kann das Digitalneuronalnetzwerkerstellungssystem einen Eingabebildverlust und einen Zielbildverlust bestimmen. Bei einer oder mehreren Ausführungsformen erzeugt das Digitalneuronalnetzwerkerstellungssystem beispielsweise einen Eingabebildverlust durch Vergleichen des synthetisierten Digitalbildes, das von der Erstellungsschicht erzeugt wird, mit dem Digitaleingabebild. Auf ähnliche Weise kann das Digitalneuronalnetzwerkerstellungssystem einen Zielbildverlust durch Vergleichen eines synthetisierten Zielbildes, das von der Erstellungsschicht erzeugt wird, mit dem Trainingszielbild erzeugen. Durch Nutzung dieser wahrgenommenen Verluste kann das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk darauf trainieren, Digitalbilder aus verschiedenen physischen bzw. physikalischen Eigenschaften genau zu synthetisieren.
Im Sinne des Vorliegenden bezeichnet der Begriff „Trainingseingabebild“ ein Digitalbild, das zum Trainieren eines neuronalen Netzwerkes genutzt wird. Ein Trainingseingabebild beinhaltet beispielsweise ein Digitalbild, das für ein neuronales Netzwerk bereitgestellt und zur Vorhersage von intrinsischen Eigenschaften und/oder zur Erzeugung von synthetisierten Digitaleigenschaften zum Trainieren des neuronalen Netzwerkes genutzt wird. Im Sinne des Vorliegenden bezeichnet der Begriff „Trainingsmaterialeigenschaftssatz“ einen Materialeigenschaftssatz, der einem Trainingseingabebild entspricht, das zum Training eines neuronalen Netzwerkes genutzt wird. Bei einer oder mehreren Ausführungsformen umfasst der Trainingsmaterialeigenschaftssatz beispielsweise eine Ground-Truth-Darstellung von Materialeigenschaften, die in einem Trainingseingabebild abgebildet sind. Auf ähnliche Weise bezeichnet der Begriff „Trainingsoberflächenorientierungsabbildung“ im Sinne des Vorliegenden eine Oberflächenorientierungsabbildung, die einem Trainingseingabebild entspricht, das zum Trainieren eines neuronalen Netzwerkes genutzt wird. Bei einer oder mehreren Ausführungsformen umfasst die Trainingsoberflächenorientierungsabbildung beispielsweise eine Ground-Truth-Darstellung von Oberflächenorientierungen, die in einem Trainingseingabebild abgebildet sind. Darüber hinaus bezeichnet der Begriff „Trainingsbeleuchtungsumgebungsabbildung“ im Sinne des Vorliegenden eine Beleuchtungsumgebungsabbildung, die zum Trainieren eines neuronalen Netzwerkes genutzt wird. Eine Trainingsbeleuchtungsumgebungsabbildung beinhaltet beispielsweise eine Ground-Truth-Darstellung einer Beleuchtungsumgebung, die in einem Trainingseingabebild abgebildet ist.
Darüber hinaus bezeichnet der Begriff „Trainingszielbild“ im Sinne des Vorliegenden ein Digitalbild mit einer modifizierten Eigenschaft. Insbesondere beinhaltet der Begriff „Trainingszielbild“ ein Zieleingabebild, das eine Zieleigenschaft (das heißt eine modifizierte Eigenschaft) beinhaltet, die zum Trainieren eines neuronalen Netzwerkes genutzt wird. Ein Trainingszielbild beinhaltet beispielsweise ein Trainingseingabebild, dass derart modifiziert worden ist, dass es eine Trainingszieleigenschaft wiedergibt. Im Sinne des Vorliegenden bezeichnet der Begriff „Trainingszieleigenschaft“ eine modifizierte Eigenschaft eines Digitalbildes zur Nutzung beim Trainieren eines neuronalen Netzwerkes. Wie vorstehend erwähnt worden ist, beinhaltet die Trainingszieleigenschaft eine modifizierte Eigenschaft eines Trainingseingabebildes, woraus sich ein Trainingszielbild ergibt. Eine Trainingszieleigenschaft kann beispielsweise einen Trainingszielmaterialeigenschaftssatz, eine Trainingszieloberflächenorientierungsabbildung oder eine Trainingszielbeleuchtungsumgebungsabbildung beinhalten.
Im Sinne des Vorliegenden bezeichnet der Begriff „synthetisiertes Bild“ ein Bild, das von einer Erstellungsschicht eines neuronalen Netzwerkes erzeugt wird. Der Begriff „synthetisiertes Bild“ beinhaltet beispielsweise ein Digitalbild, das von einer Erstellungsschicht eines neuronalen Netzwerkes auf Grundlage von physischen bzw. physikalischen Eigenschaften (das heißt auf Grundlage eines Materialeigenschaftssatzes, einer Oberflächenorientierungsabbildung und/oder einer Beleuchtungsumgebungsabbildung) erzeugt wird. Auf ähnliche Weise bezeichnet ein „synthetisiertes Trainingsbild“ im Sinne des Vorliegenden ein synthetisiertes Bild, das einem Trainingseingabebild entspricht. Insbesondere beinhaltet ein synthetisiertes Trainingsbild ein synthetisiertes Bild, das aus den physischen bzw. physikalischen Eigenschaften eines Trainingseingabebildes erzeugt ist. Analog hierzu bezeichnet der Begriff „synthetisiertes Zielbild“ ein synthetisiertes Bild, das einem Trainingszielbild (und/oder einer Trainingszieleigenschaft) entspricht. Insbesondere beinhaltet das synthetisierte Zielbild ein synthetisiertes Bild, das aus den physischen bzw. physikalischen Eigenschaften eines Trainingszielbildes (das heißt einer Trainingszieleigenschaft) erzeugt ist.
Bei einem Darstellungsbeispiel zeigt 4 die Darstellung des Trainings eines neuronalen Netzwerkes entsprechend einer oder mehreren Ausführungsformen. Wie gezeigt ist, trainiert das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk 200 durch Nutzen eines Trainingseingabebildes 402. Insbesondere entspricht das Trainingseingabebild 402 einem Trainingsmaterialeigenschaftssatz 404 (das heißt einem Ground-Truth-Materialeigenschaftssatz für das Trainingseingabebild 402), einer Trainingsoberflächenorientierungsabbildung 406 (das heißt einer Ground-Truth-Oberflächenorientierungsabbildung, die dem Trainingseingabebild 402 entspricht) und einer Trainingsbeleuchtungsumgebungsabbildung 408 (das heißt einer Ground-Truth-Beleuchtungsumgebungsabbildung, die dem Trainingseingabebild 402 entspricht). Wie gezeigt ist, stellt das Digitalneuronalnetzwerkerstellungssystem das Trainingseingabebild 402 für das neuronale Netzwerk 200 bereit.
Darüber hinaus nutzt das neuronale Netzwerk 200, wie in 4 dargestellt ist, die Materialeigenschaftsvorhersageeinrichtung 208, die Oberflächenorientierungsvorhersageeinrichtung 210 und die Beleuchtungsvorhersageeinrichtung 212 zur Vorhersage eines Materialeigenschaftssatzes 410, einer Oberflächenorientierungsabbildung 412 beziehungsweise einer Beleuchtungsumgebungsabbildung 414. Des Weiteren nutzt die Erstellungsschicht 214 den Materialeigenschaftssatz 410, die Oberflächenorientierungsabbildung 412 und die Beleuchtungsumgebungsabbildung 414 zur Erzeugung eines synthetisierten Trainingsbildes 416.
Wie vorstehend erwähnt worden ist, kann das Digitalneuronalnetzwerkerstellungssystem zusätzlich ein synthetisiertes Zielbild erzeugen, das eine Trainingszieleigenschaft wiedergibt. Wie in 4 gezeigt ist, greift das Digitalneuronalnetzwerkerstellungssystem beispielsweise auf eine Trainingszieleigenschaft 418 zu, die einem Trainingszielbild 420 entspricht.
Insbesondere ist das Trainingszielbild 420 ein Digitalbild, das aus dem Trainingseingabebild modifiziert ist, um die Trainingszieleigenschaft wiederzugeben. Insbesondere gibt das Trainingszielbild 420 das Trainingseingabebild 402 mit einer der physischen bzw. physikalischen Eigenschaften des Trainingseingabebildes, die durch die Trainingszieleigenschaft 418 ersetzt worden sind, wieder. Im Zusammenhang mit der Ausführungsform von 4 umfasst die Trainingszieleigenschaft 418 einen Trainingsmaterialeigenschaftssatz (obwohl die Trainingszieleigenschaft 418 bei anderen Ausführungsformen auch eine Trainingsoberflächenorientierungsabbildung und/oder eine Trainingsbeleuchtungsumgebungsabbildung beinhalten kann).
Wie gezeigt ist, stellt das Digitalneuronalnetzwerkerstellungssystem die Trainingszieleigenschaft 418 für die Erstellungsschicht 214 bereit. Darüber hinaus erzeugt die Erstellungsschicht 214 ein synthetisiertes Zielbild 422. Insbesondere erzeugt das Digitalneuronalnetzwerkerstellungssystem das synthetisierte Zielbild 224 durch Ersetzen des Materialeigenschaftssatzes 410 durch die Trainingszieleigenschaft 418. Insbesondere stellt das Digitalneuronalnetzwerkerstellungssystem die Trainingszieleigenschaft 418 (das heißt den Trainingsmaterialeigenschaftssatz), die Oberflächenorientierungsabbildung 412 und die Beleuchtungsumgebungsabbildung 414 für die Erstellungsschicht 214 bereit, und die Erstellungsschicht 214 erzeugt das synthetisierte Zielbild 422.
Wie in 4 gezeigt ist, kann das Digitalneuronalnetzwerkerstellungssystem das neuronale Netzwerk 200 durch Erzeugen eines oder mehrerer Verlustmaße trainieren. Im Sinne des Vorliegenden bezeichnet der Begriff „Verlustmaß“ eine Differenz zwischen einem Ergebnis, das von einem neuronalen Netzwerk erzeugt wird, und Ground Truth. Ein Verlustmaß kann eine Vielzahl von Verlustmaßen beinhalten, darunter einen Kosinusverlust (das heißt einen Kosinusabstand), einen L1-Verlust und/oder einen L2-Normalverlust.
Wie in 4 gezeigt ist, bestimmt das Digitalneuronalnetzwerkerstellungssystem beispielsweise einen Materialeigenschaftsverlust 424. Insbesondere vergleicht das Digitalneuronalnetzwerkerstellungssystem den Materialeigenschaftssatz 410 und den Trainingsmaterialeigenschaftssatz 404 zur Bestimmung des Materialeigenschaftsverlustes 424. Der Materialeigenschaftsverlust 424 gibt sodann die Differenz zwischen dem Materialeigenschaftssatz 410, der von der Materialeigenschaftsvorhersageeinrichtung 208 vorhergesagt wird, und dem Trainingsmaterialeigenschaftssatz 414, der dem Trainingseingabebild 402 entspricht, wieder.
Wie in 4 dargestellt ist, erzeugt das Digitalneuronalnetzwerkerstellungssystem auf ähnliche Weise einen Oberflächenorientierungsverlust 426. Insbesondere umfasst das Digitalneuronalnetzwerkerstellungssystem die Oberflächenorientierungsabbildung 412 und die Trainingsoberflächenorientierungsabbildung 406 zur Bestimmung des Oberflächenorientierungsverlustes 426. Der Oberflächenorientierungsverlust 426 gibt damit die Differenz zwischen dem Oberflächenorientierungsverlust, der von der Oberflächenorientierungsvorhersageeinrichtung 210 vorhergesagt wird, und der Trainingsoberflächenorientierungsabbildung 406, die dem Trainingseingabebild 402 entspricht, wieder.
Darüber hinaus erzeugt das Digitalneuronalnetzwerkerstellungssystem zudem, wie in 4 gezeigt ist, einen Eingabebildverlust 428. Insbesondere vergleicht das Digitalneuronalnetzwerkerstellungssystem das synthetisierte Trainingsbild 416 und das Trainingseingabebild 402 zur Bestimmung des Eingabebildverlustes 428. Der Eingabebildverlust 428 gibt sodann die Differenz zwischen dem synthetisierten Trainingsbild 416, das von der Erstellungsschicht 214 erzeugt wird, und dem Trainingseingabebild 402 wieder.
Des Weiteren bestimmt das Digitalneuronalnetzwerkerstellungssystem zudem einen Zielbildverlust 430. Insbesondere vergleicht das Digitalneuronalnetzwerkerstellungssystem das synthetisierte Zielbild 422 und das Trainingszielbild 420 zur Bestimmung des Zielbildverlustes 430. Der Zielbildverlust 430 gibt damit die Differenz zwischen dem synthetisierten Zielbild 422, das von der Erstellungsschicht 214 erzeugt wird, und dem Trainingszielbild 420 wieder.
Bei der Berechnung eines oder mehrerer Verlustmaße kann das Digitalneuronalnetzwerkerstellungssystem sodann die Verlustmaße zum Trainieren des neuronalen Netzwerkes 200 (beispielsweise mittels einer Rückverfolgung des Verlustes zu dem neuronalen Netzwerk 200, damit das neuronale Netzwerk 200 lernen kann, die Verluste zu minimieren) nutzen. Wie in 4 dargestellt ist, kann das Digitalneuronalnetzwerkerstellungssystem beispielsweise den Materialeigenschaftsverlust 424 und den Oberflächenorientierungsverlust 426 zum Trainieren des neuronalen Netzwerkes 200 nutzen, um Materialeigenschaftssätze und Oberflächenorientierungsabbildungen genauer vorherzusagen. Auf ähnliche Weise kann das Digitalneuronalnetzwerkerstellungssystem den Eingabebildverlust 428 und den Zielbildverlust 430 zum Trainieren des neuronalen Netzwerkes zur genaueren Vorhersage der Beleuchtungsumgebungsabbildungen und zur genaueren Synthetisierung von Digitalbildern und erzeugten modifizierten Digitalbildern nutzen.
Bei einer oder mehreren Ausführungsformen erzeugt das Digitalneuronalnetzwerkerstellungssystem zudem ein kombiniertes Verlustmaß. Wie in 4 dargestellt ist, erzeugt das Digitalneuronalnetzwerkerstellungssystem beispielsweise ein einziges Verlustmaß durch Kombinieren des Materialeigenschaftsverlustes 424, des Oberflächenorientierungsverlustes 426, des Eingabebildverlustes 428 und des Zielbildverlustes 430. Bei einer oder mehreren Ausführungsformen gewichtet das Digitalneuronalnetzwerkerstellungssystem zudem spezielle Verlustmaße beim Erzeugen eines kombinierten Verlustmaßes verschieden stark. Bei einer oder mehreren Ausführungsformen gewichtet das Digitalneuronalnetzwerkerstellungssystem beispielsweise den Eingabebildverlust 428 und den Zielbildverlust 430 weniger stark als den Oberflächenorientierungsverlust 426 und den Eingabebildverlust 428.
5A bis 5C zeigen zusätzliche Details im Zusammenhang mit Vorhersageeinrichtungen, die von dem Digitalneuronalnetzwerkerstellungssystem als Teil eines neuronalen Netzwerkes zur Vorhersage von Eigenschaften eines Digitalbildes genutzt werden. Wie vorstehend beschrieben worden ist, kann ein neuronales Netzwerk mehrere Schichten umfassen, die Attribute auf verschiedenen Abstraktionsebenen zur Vorhersage eines Ergebnisses analysieren. 5A bis 5C zeigen drei exemplarische Architekturen, die verschiedene Schichten zur Vorhersage von Materialeigenschaftssätzen, Oberflächenorientierungsabbildungen und Beleuchtungsumgebungsabbildungen umfassen.
Insbesondere zeigt 5A eine Architektur 500 zur Vorhersage einer Oberflächenorientierung, die in einem Digitalbild dargestellt ist (beispielsweise die Oberflächenorientierungsvorhersageeinrichtung 210). Insbesondere sagt die Architektur 500 Oberflächennormalenrichtungen voraus, die Oberflächen entsprechen, die in einem Eingabedigitalbild abgebildet sind. Wie dargestellt ist, nutzt die Architektur 500 ein Eingabedigitalbildvolumen der Größe 3×256×256 sowie Schichten von verschiedener Dimensionalität (gezeigte Dimensionen), um eine Ausgabevorhersage der Oberflächennormalenrichtungen mit demselben Volumen wie in dem Eingabebild zu erzeugen.
Das Digitalneuronalnetzwerkerstellungssystem nutzt eine Herangehensweise, die im Vergleich zu der im folgenden Beitrag beschriebenen modifiziert ist: „Predicting Depth, Surface Normals and Semantic Labels With a Common Multi-Scale Convolutional Architecture‟ von D. Eigen und R. Fergus, IEEE ICCV, 2650-2658 (2015). Dieser Beitrag ist hiermit in Gänze durch Verweisung mit aufgenommen. Wie dargestellt ist, modifiziert das Digitalneuronalnetzwerkerstellungssystem diese Herangehensweise durch Vorhersagen einer Oberflächenorientierungsabbildung unter Nutzung eines Vier-Skalen-Submodulnetzwerks (im Gegensatz zum ursprünglich vorgeschlagenen Drei-Skalen-Submodulnetzwerk). Das vierte Submodul besteht aus zwei Faltungsschichten, bei denen sowohl die Eingabe- wie auch die Ausgabegröße gleich der Größe des Eingabebildes ist. Das Digitalneuronalnetzwerkerstellungssystem nutzt zudem eine Normierungsschicht zur Vorhersage der Oberflächennormale mit Einheitslänge.
Analog hierzu zeigt 5B eine Architektur 510 zur Vorhersage von Materialeigenschaftssätzen (beispielsweise das Materialeigenschaftsvorhersagemodul). Wie gezeigt ist, nutzt die Architektur 510 ein Eingabedigitalbildvolumen der Größe 3×256×256. Darüber hinaus setzt sich die Architektur 510 aus sieben Faltungsschichten zusammen, in denen die Ausgabe einer jeden Schicht gleich der Hälfte der Größe ihrer Eingabe ist. Auf die Faltungsschichten folgen drei vollständig verbundene Schichten und eine tanh-Schicht. Jede Faltungsschicht und jede vollständig verbundene Schicht geht mit einer Rektifizierer- bzw. Gleichrichterlineareinheit einher. Auf vollständig verbundene Schichten folgen zudem Drop-out-Schichten. Wie vorstehend beschrieben worden ist, nutzt das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen einhundertacht Materialparameter. Man beachte, dass aufgrund dessen, dass jeder der einhundertacht Materialparameter in einer anderen Größenordnung definiert ist, das Digitalneuronalnetzwerkerstellungssystem jeden auf einen Bereich von [-0,95; 0,95] normieren und die Parameter sodann nach der Vorhersage erneut auf die ursprünglichen Größenordnungen rückabbilden kann.
Darüber hinaus zeigt 5C eine Architektur 520 zur Vorhersage von Beleuchtungsumgebungsabbildungen. Wie dargestellt ist, nutzt die Architektur 520 ein Eingabedigitalbildvolumen der Größe 3×256×256 sowie vierzehn Schichten verschiedener Dimensionalität (einschließlich zweier vollständig verbundener Schichten), um eine Ausgabebeleuchtungsumgebungsabbildung der Größe 3×64×128 zu erzeugen. Die Architektur 520 beinhaltet sieben Faltungsschichten, bei denen die Ausgabe einer jeden Schicht gleich der Hälfte der Größe ihrer Eingabe ist. Auf die Faltungsschichten folgen zwei vollständig verbundene Schichten und eine Abfolge von Entfaltungsschichten, um eine Beleuchtungsumgebungsabbildung der Größe 64×128 zu erzeugen. Jede Faltungsschicht und jede vollständig verbundene Schicht geht mit einer Rektifizierer- bzw. Gleichrichterlineareinheit einher. Auf vollständig verbundene Schichten folgen zudem Drop-out-Schichten.
Zusätzlich zur vorstehenden Beschreibung können das Trainieren eines neuronalen Netzwerkes mit einer Erstellungsschicht und das Erzeugen eines modifizierten digitalen Bildes unter Nutzung des neuronalen Netzwerkes auch anhand von Algorithmen oder Pseudocode beschrieben werden, die durch eine oder mehrere Rechenvorrichtungen implementiert sind. Die nachfolgende Beschreibung zeigt beispielsweise Gleichungen und Algorithmen zum Trainieren und Nutzen eines neuronalen Netzwerkes zur Erzeugung eines modifizierten Digitalbildes, das einen Zieleigenschaftssatz wiedergibt, entsprechend einer oder mehreren Ausführungsformen. Zu darstellerischen Zwecken beschreibt die nachfolgende Beschreibung eine Zieleigenschaft, die einen Materialeigenschaftssatz umfasst. Wie vorstehend beschrieben worden ist, kann das Digitalneuronalnetzwerkerstellungssystem eine oder mehrere alternative oder zusätzliche Zieleigenschaften nutzen.
Man betrachte ein Eingabedigitalbild
, das ein Objekt s mit einem Material m, das in einer Beleuchtungsumgebung L erfasst wird, abbildet. Ist ein gewünschter Materialeigenschaftssatz m_t (das heißt eine Zieleigenschaft) gegeben, so besteht das Ziel darin, ein Ausgabebild
zu synthetisieren, das s mit dem Material m_t (oder einer anderen Zieleigenschaft) vom selben Sichtpunkt aus und in derselben Beleuchtungsumgebung darstellt.
Das Digitalneuronalnetzwerkerstellungssystem modelliert den Bilderstellungsprozess mittels einer Erstellungsschicht folgendermaßen. Sind Pro-Pixel-Oberflächennormalenrichtungen n (in Kamerakoordinaten), der Materialeigenschaftssatz m (das heißt Materialkoeffizienten oder Materialeigenschaften) und eine Beleuchtungsumgebung L gegeben, so kann die Ausgangslichtintensität für jedes Pixel p in
als Integral über alle Eingangslichtrichtungen ${\vec{ω}}_{i}$
folgendermaßen geschrieben werden:
Hierbei definiert $L ({\vec{ω}}_{i})$
die Eingangslichtintensität, während $f ({\vec{ω}}_{i}, {\vec{ω}}_{p}, m)$
definiert, wie dieses Licht entlang der Ausgangslichtrichtung ${\vec{ω}}_{p}$
auf Grundlage der Materialeigenschaften m reflektiert wird. Um diesen Ausdruck differenzierbar zu machen, kann das Digitalneuronalnetzwerkerstellungssystem das Integral durch eine Summe über einen diskreten Satz von Eingangslichtrichtungen gemäß Definition durch die Beleuchtung L ersetzen:
Hierbei bezeichnet $d {\vec{ω}}_{i}$
den Beitrag (Gewichtung) eines einzelnen Lichtes ${\vec{ω}}_{i}$
Darstellung der Sichtrichtung. Die Sichtrichtung hängt mit dem Sichtfeld der Kamera, die das Digitalbild erfasst, sowie der Höhe H_I und der Breite W_I des Digitalbildes zusammen. Für ein Pixel p mit dem Reihenindex h_I und dem Spaltenindex w_I lautet die Sichtrichtung folgendermaßen: ${\vec{ω}}_{p} = (- \frac{H_{I} ((2 h_{p} - W_{I})}{V}, - \frac{W_{I} ((H_{I} - 2 w_{p})}{V}, \frac{H_{I} \cdot W_{I}}{V})$
Hierbei gilt: $V = \sqrt{H_{I}^{2} {(2 w_{p} - W_{I})}^{2} + W_{I}^{2} {(H_{I} - 2 h_{p})}^{2} + H_{I}^{2} \cdot W_{I}^{2}}$
Man beachte, dass die Leuchterichtung nur mit den Kameraparametern, der Bildgröße und der Position des Pixels p zusammenhängt. Man beachte zudem, dass die Berechnung der Ableitung nicht notwendig ist und kein Lernparameter während des Trainings vorhanden ist.
Darstellung der Oberflächenorientierung. Ist ein Bild
der Dimension w×h gegeben, so wird n durch eine Drei-Kanal-w×h-Normalabbildung dargestellt, bei der die r-, g- und b-Farbe eines jeden Pixels p die x-, y- und z-Dimensionen der Pro-Pixel-Normalen n_p (wie in 3A dargestellt ist) codiert. Die Normale für jedes Pixel verfügt über drei Kanäle: $n_{p} = (n_{p}^{0}, n_{p}^{1}, n_{p}^{2})$
Darstellung der Beleuchtung. Im Zusammenhang mit dieser Ausführungsform stellt das Digitalneuronalnetzwerkerstellungssystem die Beleuchtung mit einer HDR-Umgebungsabbildung der Dimension 64×128 dar. Die Beleuchtungsumgebungsabbildung ist ein sphärisches Panoramabild, das in eine zweidimensionale Bilddomäne (wie in 3B dargestellt ist) zerlegt ist. Jede Pixelkoordinate in diesem Bild kann auch auf sphärische Koordinaten abgebildet werden und entspricht daher einer Eingangslichtrichtung ${\vec{ω}}_{l}$
in Gleichung 2. Der Pixelwert speichert die Intensität des aus dieser Richtung kommenden Lichtes.
Es seien nunmehr H_L und W_L die Höhe beziehungsweise die Breite der Umgebungsabbildung. Für jedes Pixel i = h * W_L + w, das einen Reihenindex h_L und einen Spaltenindex W_L aufweist, definiert das Digitalneuronalnetzwerkerstellungssystem in der Umgebungabbildung $θ_{i}^{L}$
und $ϕ_{i}^{L}$
folgendermaßen: $θ_{i}^{L} = \frac{h_{L}}{H_{L}} π, ϕ_{i}^{L} = 2 * \frac{w_{L}}{W_{L}} π$
Damit lautet die Leuchtrichtung dieses Pixels folgendermaßen: ${\vec{ω}}_{i} = < cos ϕ_{i}^{L} sin θ_{i}^{L}, cos θ_{i}^{L}, sin ϕ_{i}^{L} sin θ_{i}^{L} >$
Man beachte, dass das Digitalneuronalnetzwerkerstellungssystem die Ableitung von ${\vec{ω}}_{i}$
nicht berechnen muss und kein Lernparameter während des Trainings vorhanden ist. Bei einer oder mehreren Ausführungsformen nutzt das Digitalneuronalnetzwerkerstellungssystem vielmehr eine Umgebungsabbildung fester Größe, die einen Satz von Lichtrichtungen ergibt, die gemäß Definition durch die Umgebungsabbildung konsistent sind.
Darstellung des Materials. Das Digitalneuronalnetzwerkerstellungssystem definiert $f ({\vec{ω}}_{i}, {\vec{ω}}_{p}, m)$
auf Grundlage von BRDFs, die eine physikalisch korrekte Beschreibung von punktweise erfolgenden Lichtreflexionen sowohl für diffuse wie auch spiegelnde Oberflächen bereitstellen. Nichtparametrische Modelle stellen auf die Erfassung des vollständigen Spektrums der BRDFs über Nachschlagetabellen ab. Derartige Nachschlagetabellen sind rechentechnisch aufwändig und nicht differenzierbar. Das Digitalneuronalnetzwerkerstellungssystem verwendet das Direktionalstatistiken-BRDF-Modell, wie vorstehend beschrieben worden ist, das erwiesenermaßen eine große Vielzahl von gemessenen BRDFs genau modelliert. Dieses Modell stellt jede BRDF als Kombination von hemisphärischen exponentiellen Potenzverteilungen dar, wobei die Anzahl der Parameter von der Anzahl der genutzten Verteilungen abhängt. Experimente zeigen, dass die Nutzung von drei Verteilungen genaue Näherungen ergibt, die zu insgesamt einhundertacht Parametern pro Materialdefinition führen.
Das Digitalneuronalnetzwerkerstellungssystem definiert einen Halbvektor folgendermaßen: ${\vec{h}}_{p} = \frac{{\vec{ω}}_{i} + {\vec{ω}}_{p}}{‖ {\vec{ω}}_{i} + {\vec{ω}}_{p} ‖}$
Das Digitalneuronalnetzwerkerstellungssystem bezeichnet sodann den Winkel zwischen dem Halbvektor und der Leuchtrichtung mit θ_d: $θ_{d} = a c o s (m i n (1, m a x (0, {\vec{ω}}_{i} \cdot {\vec{h}}_{p})))$
Der Materialkoeffizient ist über drei Reflektionsstärkekeulen (s ∈ {0, 1, 2}) für jeden Farbkanal k ∈ {0, 1, 2} definiert. Für jede Reflexionsstärkekeule und jeden Farbkanal werden zwei Funktionen m1^(k,s)(θ_d) und m2^(k,1)(θ_d) definiert, wobei jede Funktion sechs Parameter aufweist. Dies ergibt insgesamt $3 (R-,G-,B-Farbkanäle) * 3 (Keulen) * 2 (Funktionen) * 6 = 108 Parameter,$
die durch m dargestellt werden. Zur einfacheren Darstellung werde das Argument θ_d bei den Funktionen m1^(k,s) und m2^(k,s) bei den weiteren Gleichungen weggelassen. Die Funktion $f ({\vec{ω}}_{i}, {\vec{ω}}_{p}, m)$
kann folgendermaßen umgeschrieben werden: $f^{k} ({\vec{ω}}_{i}, {\vec{ω}}_{p}, m) = \sum_{s = 0}^{2} (e x p (m 1^{(k, s)} * m a x {(0, {\vec{h}}_{p} \cdot n_{p})}^{m 2^{(k, s)}}) - 1)$
Hierbei weist $f^{k} ({\vec{ω}}_{i}, {\vec{ω}}_{p}, m)$
nur dann einen Beitrag für das Aussehen des Bildes auf, wenn gilt: $({\vec{h}}_{p} \cdot n_{p}) \geq 0$
Hierbei bezeichnet „·“ das Punktprodukt.
Angesichts dieser Darstellung kann die Bilderstellung folgendermaßen umgeschrieben werden:
Ableitung nach dem Licht. Für das Leuchten muss das Digitalneuronalnetzwerkerstellungssystem lediglich die Ableitung nach den Intensitätswerten von $L^{k} ({\vec{ω}}_{i}),$
k ∈ {0,1,2} berechnen. Das Digitalneuronalnetzwerkerstellungssystem muss die Ableitung in Bezug auf die Leuchtrichtung nicht berechnen, da diese für jedes Pixel fest ist.
Ableitung nach der Normalen. Das Digitalneuronalnetzwerkerstellungssystem berechnet die Ableitung der Normalen für jeden Kanal einzeln. Für die Ableitung der Normalenrichtungskoordinate eines Pixels p auf jedem Kanal c mit c ∈ {0,1,2} gilt:
Hierbei gilt: $Y_{1} = {\begin{array}{r} 0, & n_{p} \cdot {\vec{ω}}_{i} \leq 0 \\ ω_{i}^{c}, & n_{p} \cdot {\vec{ω}}_{i} > 0 \end{array}$
$Y_{2} = {\begin{array}{r} 0, & {\vec{h}}_{p} \cdot n_{p} \leq 0 \\ m 1^{(k, s)} * m 2^{(k, s)} * {({\vec{h}}_{p} \cdot n_{p})}^{m 2^{(k, s)} - 1}, & {\vec{h}}_{p} \cdot n_{p} > 0 \end{array}$
$(ω_{i}^{0}, ω_{i}^{1}, ω_{i}^{2}) = {\vec{ω}}_{i}$
Ableitung nach dem Material. Das Digitalneuronalnetzwerkerstellungssystem berechnet zunächst die Ableitung in Bezug auf die Funktionen m1^(k,s) und m2^(k,s). Das Digitalneuronalnetzwerkerstellungssystem berechnet zudem die Ableitungen von m1^(k,s) und m2^(k,s) in Bezug auf die Materialeigenschaften m (das heißt Materialparameter) und wendet die Kettenregel an, um die Ableitung für das ursprüngliche m zu erhalten.

Hierbei gilt: $Y = {\begin{array}{r} 0, & {\vec{h}}_{p} \cdot n_{p} \leq 0 \\ {({\vec{h}}_{p} \cdot n_{p})}^{m 2^{(k, s)}} * l n ({\vec{h}}_{p} \cdot n_{p}), & {\vec{h}}_{p} \cdot n_{p} > 0 \end{array}$
Die Anwendung der Kettenregel ergibt:
Trainieren. Das Digitalneuronalnetzwerkerstellungssystem trainiert die vorgeschlagene Netzwerkarchitektur durch Definieren einer gemeinsamen Verlustfunktion (joint loss function), die sowohl die Vorhersagen der einzelnen Vorhersageeinrichtungen wie auch die von der Erstellungsschicht synthetisierten Bilder bewertet. Insbesondere definiert das Digitalneuronalnetzwerkerstellungssystem den L2-Normalverlust folgendermaßen: $l_{n o r m a l} = \sum_{p} {(n_{p} - n'_{p})}^{2}$
Hierbei bezeichnen n_p und n'_p die Größe „Ground Truth“ beziehungsweise die vorhergesagte Oberflächennormale für jedes Pixel p (beispielsweise den Oberflächenorientierungsverlust 426). Man beachte, dass aufgrund der Tatsache, dass sowohl Ground Truth wie auch die vorhergesagte Normale Einheitslänge aufweisen, der L2-Normalverlust gleich dem Kosinusähnlichkeitsverlust ist.
Auf ähnliche Weise definiert das Digitalneuronalnetzwerkerstellungssystem einen Materialverlust (beispielsweise den Materialeigenschaftsverlust 424) zur Messung der L2-Norm zwischen der Ground Truth (m) und den vorhergesagten Materialeigenschaften (m'): $l_{m a t e r i a l} = {(m - m')}^{2}$
Das Digitalneuronalnetzwerkerstellungssystem nutzt zudem einen Wahrnehmungsverlust l_perceptual zur Bewertung der Differenz zwischen synthetisierten Bildern
und Ground-Truth-Bildern
(beispielsweise den Eingabebildverlust 428 und den Zieleingabebildverlust 430). Das Digitalneuronalnetzwerkerstellungssystem nutzt das vortrainierte vgg16-Netzwerk zur Messung von l_perceptual so, wie es in folgendem Beitrag beschrieben wird: „Perceptual Losses for Real-Time Style Transfer and Super-Resolution‟ von J. Johnson, A. Alahi und L. Fei-Fei, IEEE ECCV (2016). Dieser Beitrag wird hiermit durch Verweisung gänzlich mit aufgenommen.
Schließlich definiert das Digitalneuronalnetzwerkerstellungssystem den Gesamtverlust l als gewichtete Kombination der einzelnen Verlustfunktionen: $l = w_{n} l_{n o r m a l} + w_{m} l_{m a t e r i a l} + w_{p} l_{p e r c e p t u a l}$
Darüber hinaus legt das Digitalneuronalnetzwerkerstellungssystem empirisch fest: $w_{n} = w_{m} = 1, w_{p} = 0,01$
Wie vorstehend erwähnt worden ist, kann das Digitalneuronalnetzwerkerstellungssystem modifizierte Digitalbilder erzeugen, die verschiedene Zieleigenschaften abbilden, indem die Beleuchtungsumgebung, Materialien und/oder Objekte, die in den Digitalbildern abgebildet sind, modifiziert werden. Bei einer oder mehreren Ausführungsformen nutzt das Digitalneuronalnetzwerkerstellungssystem die Eigenschaften eines ersten Digitalbildes als Zieleigenschaft zur Modifizierung eines zweiten Digitalbildes. Auf diese Weise kann das Digitalneuronalnetzwerkerstellungssystem mehrere modifizierte Digitalbilder aus einem oder mehreren Ursprungsdigitalbildern erstellen.
6A und 6B zeigen mehrere modifizierte Digitalbilder, die aus einem Satz von Ursprungsdigitalbildern erzeugt werden. Insbesondere zeigt 6A ein Feld 610 aus Digitalbildern, die von dem Digitalneuronalnetzwerkerstellungssystem erzeugt werden. Insbesondere beinhaltet das Feld 610 mehrere Ursprungsdigitalbilder 600a bis 600d. Darüber hinaus beinhaltet das Feld 610 mehrere modifizierte Digitalbilder 602a bis 602c, 604a bis 604c, 606a bis 606c, 608a bis 608c.
Das Digitalneuronalnetzwerkerstellungssystem erzeugt die modifizierten Digitalbilder 602a bis 602c, 604a bis 604c, 606a bis 606c, 608a bis 608b durch Kombinieren von verschiedenen Eigenschaften der Ursprungsdigitalbilder 600a bis 600d. Das Digitalneuronalnetzwerkerstellungssystem erzeugt beispielsweise das modifizierte Digitalbild 602a durch Bestimmen eines Materialeigenschaftssatzes, einer Beleuchtungsumgebungsabbildung und einer Oberflächenorientierungsabbildung für das Ursprungsdigitalbild 600a. Das Digitalneuronalnetzwerkerstellungssystem bestimmt zudem einen Materialeigenschaftssatz des Digitalbildes 600b und ersetzt den Materialeigenschaftssatz des Digitalbildes 600a durch den Materialeigenschaftssatz des Digitalbildes 600b. Das Digitalneuronalnetzwerkerstellungssystem nutzt sodann ein neuronales Netzwerk mit einer Erstellungsschicht zur Erzeugung des modifizierten Digitalbildes 602a auf Grundlage der Beleuchtungsumgebungsabbildung und der Oberflächenorientierungsabbildung für das Ursprungsdigitalbild 600a und des Materialeigenschaftssatzes des Digitalbildes 600b.
Auf ähnliche Weise erzeugt das Digitalneuronalnetzwerkerstellungssystem die modifizierten Digitalbilder 602b bis 602c durch Kombinieren von Eigenschaften der Ursprungsdigitalbilder 600a, 600c und 600d. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem die Materialeigenschaftssätze der Ursprungsdigitalbilder 600c, 600d als Zieleigenschaften für das Ursprungsdigitalbild 600a.
Durch Ersetzen von Eigenschaften der Ursprungsdigitalbilder 600a bis 600d durch Zieleigenschaften aus den anderen Ursprungsdigitalbildern erzeugt das Digitalneuronalnetzwerkerstellungssystem das Feld 610. Insbesondere gibt jede Spalte des Feldes dasselbe Material mit verschiedenen Objekten und Beleuchtungsumgebungen aus verschiedenen Ursprungsdigitalbildern wieder. Darüber hinaus gibt jede Reihe des Bildes 610 dasselbe Objekt und dieselbe Beleuchtungsumgebung mit einem anderen Material aus verschiedenen Ursprungsdigitalbildern wieder.
Auf ähnliche Weise zeigt 6B ein Feld 620 von Digitalbildern, die von dem Digitalneuronalnetzwerkerstellungssystem erzeugt werden. Insbesondere beinhaltet das Feld 620 mehrere Ursprungsdigitalbilder 622a bis 622d. Darüber hinaus beinhaltet das Feld 620 mehrere modifizierte Digitalbilder 624a bis 624c, 626a bis 626c, 628a bis 628c, 630a bis 630c.
Das Digitalneuronalnetzwerkerstellungssystem erzeugt die modifizierten Digitalbilder 624a bis 624c, 626a bis 626c, 628a bis 628c, 630a bis 630c durch Kombinieren von verschiedenen Eigenschaften der Ursprungsdigitalbilder 622a bis 622d. Das Digitalneuronalnetzwerkerstellungssystem erzeugt das modifizierte Digitalbild 626a beispielsweise durch Bestimmen einer Oberflächenorientierungsabbildung, eines Materialeigenschaftssatzes und einer Beleuchtungsumgebungsabbildung für das Ursprungsdigitalbild 622a. Das Digitalneuronalnetzwerkerstellungssystem ersetzt die Oberflächenorientierungsabbildung des Ursprungsdigitalbildes 622a durch eine Oberflächenorientierungsabbildung des Digitalbildes 622b. Darüber hinaus nutzt das Digitalneuronalnetzwerkerstellungssystem ein neuronales Netzwerk mit einer Erstellungsschicht zur Erzeugung des modifizierten Digitalbildes 626a auf Grundlage der Oberflächenorientierungsabbildung des Digitalbildes 622b, des Materialeigenschaftssatzes und der Beleuchtungsumgebungsabbildung des Ursprungsdigitalbildes 622a. Damit bildet das modifizierte Digitalbild 626a ein Objekt aus dem Ursprungsdigitalbild 622b mit dem Material und der Beleuchtungsumgebung des Ursprungsdigitalbildes 622a ab.
Auf ähnliche Weise erzeugt das Digitalneuronalnetzwerkerstellungssystem die modifizierten Digitalbilder 628a, 630a durch Kombinieren von Eigenschaften der Ursprungsdigitalbilder 622a, 622c und 622d. Insbesondere nutzt das Digitalneuronalnetzwerkerstellungssystem die Oberflächenorientierungsabbildungen der Ursprungsdigitalbilder 622c, 622d als Zieleigenschaften für das Ursprungsdigitalbild 622a.
Durch Ersetzen von Eigenschaften der Ursprungsdigitalbilder 622a bis 622d durch Zieleigenschaften aus anderen Ursprungsdigitalbildern erzeugt das Digitalneuronalnetzwerkerstellungssystem das Feld 620. Insbesondere gibt jede Spalte des Feldes dasselbe Material und dieselbe Beleuchtungsumgebung mit verschiedenen Objekten aus verschiedenen Ursprungsdigitalbildern wieder. Darüber hinaus gibt jede Reihe des Feldes 620 dasselbe Objekt mit einem anderen Material und einer anderen Beleuchtungsumgebung aus verschiedenen Ursprungsdigitalbildern wieder.
Man beachte, dass das Digitalneuronalnetzwerkerstellungssystem sowohl mit diffusen wie auch spiegelnden Materialien umgehen kann. Wie in den Feldern 610, 620 gezeigt ist, kann das Digitalneuronalnetzwerkerstellungssystem diffuse Materialien, die in einem Digitalbild mit stärker spiegelnden Materialien abgebildet sind, ändern (und umgekehrt). Darüber hinaus kann das Digitalneuronalnetzwerkerstellungssystem Objekte und Beleuchtungsumgebungen im Zusammenhang mit Digitalbildern, die diffuse und/oder spiegelnde Materialien abbilden, modifizieren.
Das Digitalneuronalnetzwerkerstellungssystem kann zudem die Felder 610, 620 bereitstellen, um diese einem oder mehreren Nutzern anzuzeigen. Das Digitalneuronalnetzwerkerstellungssystem kann beispielsweise die Felder 610, 620 zur Anzeige bereitstellen und eine Nutzereingabe im Zusammenhang mit einem oder mehreren Digitalbildern der Felder 610, 620 empfangen. Auf Grundlage einer Nutzerinteraktion mit einem oder mehreren Bildern kann das Digitalneuronalnetzwerkerstellungssystem eine Zieleigenschaft bei einem Ursprungsdigitalbild anwenden und ein modifiziertes Digitalbild erzeugen.
Obwohl 6A und 6B das Erzeugen von modifizierten Digitalbildern durch Ändern eines einzigen in dem Digitalbild abgebildeten Materials erläutern, modifiziert das Digitalneuronalnetzwerkerstellungssystem bei einer oder mehreren Ausführungsformen auch mehrere in einem Digitalbild abgebildete Materialien. 7 erläutert beispielsweise das Modifizieren eines Digitalbildes, das ein erstes Material und ein zweites Material abbildet. Insbesondere zeigt 7 ein Objekt 700, das in einem Digitalbild abgebildet ist. Das Objekt 700 beinhaltet so, wie es abgebildet ist, ein erstes Material 702 und ein zweites Material 704. Wie gezeigt ist, kann das Digitalneuronalnetzwerkerstellungssystem das erste Material 702 und das zweite Material 704 modifizieren, um ein modifiziertes Objekt 706 in einem modifizierten Digitalbild zu erzeugen. Insbesondere gibt das modifizierte Objekt 706 ein drittes Material 708 und ein viertes Material 710 wieder bzw. reflektiert diese. Das Digitalneuronalnetzwerkerstellungssystem erzeugt das modifizierte Objekt 706 durch Ersetzen eines Materialeigenschaftssatzes, der dem ersten Material 702 entspricht, durch einen Materialeigenschaftssatz, der dem dritten Material 708 entspricht, und Ersetzen eines Materialeigenschaftssatzes, der dem zweite Material 704 entspricht, durch einen Materialeigenschaftssatz, der dem vierten Material 710 entspricht.
Insbesondere bestimmt das Digitalneuronalnetzwerkerstellungssystem Flächen des Objektes 700, die aus verschiedenen Materialien zusammengesetzt sind. Das Digitalneuronalnetzwerkerstellungssystem kann eine Vielzahl von Klassifizierern oder Materialdetektionsalgorithmen zur Bestimmung von Segmentierungsmasken, die auf Bereiche eines gleichförmigen Materials deuten, nutzen. Das Digitalneuronalnetzwerkerstellungssystem sagt sodann (beispielsweise unter Nutzung der Materialeigenschaftsvorhersageeinrichtung 208) einen ersten Materialeigenschaftssatz (entsprechend dem ersten Material 702) und einen zweiten Materialeigenschaftssatz (entsprechend dem zweiten Material 704) für jeden Bereich / jedes Material vorher. Das Digitalneuronalnetzwerkerstellungssystem kann zudem eine Oberflächenorientierungsabbildung und eine Beleuchtungsumgebungsabbildung für das gesamte Digitalbild vorhersagen. Das Digitalneuronalnetzwerkerstellungssystem ersetzt den ersten Materialeigenschaftssatz (entsprechend dem ersten Material 702) und den zweiten Materialeigenschaftssatz (entsprechend dem zweiten Material 704) durch einen dritten Materialeigenschaftssatz (entsprechend dem dritten Material 708) und einen vierten Materialeigenschaftssatz (entsprechend dem vierten Material 710). Das Digitalneuronalnetzwerkerstellungssystem stellt die Oberflächenorientierungsabbildung, die Beleuchtungsumgebungsabbildung, den dritten Materialeigenschaftssatz und den vierten Materialeigenschaftssatz für eine Erstellungsschicht bereit, um das modifizierte Digitalbild, das das modifizierte Objekt 706 abbildet, zu erzeugen.
Wie vorstehend erwähnt worden ist, kann das Digitalneuronalnetzwerkerstellungssystem die Genauigkeit beim Erzeugen von modifizierten Digitalbildern verbessern. Insbesondere sind empirische Untersuchungen durchgeführt worden, um die Verbesserung gegenüber bestehenden Herangehensweisen und die Vorteile einer Einbeziehung einer Erstellungsschicht in ein neuronales Netzwerk, wie es vorstehend beschrieben worden ist, zu bestimmen. So wurde beispielsweise ein einzelnes Netzwerk experimentell mit einer großen Menge von synthetischen Daten trainiert, die für die Kategorien „Auto“, „Stuhl“, „Sofa“ und „Bildschirm“ erzeugt worden waren. Man hat experimentell insgesamt zweihundertachtzig 3D-Modelle (130 Autos, 50 Stühle, 50 Sofas und 50 Bildschirme) benutzt, die man von ShapeNet erhalten hat. Bei den Experimenten wurden BRDF-Messungen entsprechend achtzig verschiedenen Materialien benutzt, die in der MERL-Datenbank bereitgestellt werden. Darüber hinaus hat man bei den Experimenten vierzehn HDR-Umgebungsabbildungen zur Darstellung der Beleuchtung benutzt.
Für jedes 3D-Modell, jedes Material und jede Beleuchtungskombination wurden experimentell fünf willkürliche Ansichten aus einem festen Satz von vierundzwanzig vorabgetasteten Sichtpunkten um das Objekt herum in einer festen Höhe erstellt. Die Daten wurden bei den Experimenten derart unterteilt, dass den Trainings- und Testsätzen keine Form und kein Material gemeinsam waren. Insbesondere wurden bei den Experimenten achtzig Autos zum Vortraining und vierzig Formen pro gemeinsame Kategorie zur Feinabstimmung der gemeinsamen Kategorie benutzt, was zehn Formen pro Kategorie zum Testen ergab. Von den achtzig Materialien hat man experimentell zwanzig zum Testen übriggelassen und die verbleibenden für das Vortraining und Training benutzt. Diese Unterteilung ergab die Erzeugung von 336 K von vortrainierten Fällen und 672 K von Fällen der Mehrfachkategoriefeinabstimmung. Insgesamt hat man das Netzwerk experimentell mit über einer Million von eindeutigen Konfigurationen aus Material, Form und Beleuchtung trainiert.
Sodann wurden die Gewichtungen aus einer gleichförmigen Verteilung [-0,08, 0,08] initialisiert, und es wurde ein Adam'scher Optimierer unter Verwendung eines stochastischen Gradientengefälles verwendet, wie im folgenden Beitrag beschrieben ist: „A Method for Stochastic Optimization“ von D. Kingma und J. Ba. Adam, arXiv preprint arXiv:1412.6980 (2014). Der Beitrag ist hiermit in Gänze durch Verweisung mit aufgenommen. Kingma und Adam schlagen Impulsparameter β₁ = 0,9 und β₂ = 0,999 sowie eine Lernrate von 0,001 vor. Man hat experimentell herausgefunden, dass herkömmliche Raten zu hoch sind, weshalb man eine Rate von 1×10^-6 für das Vortraining und 1×10^-8 für das Training verwendet hat. Experimentell hat man zudem die ersten Impulsparameter β₁ auf 0,5 verringert, was zu einem stabileren Training geführt hat. Sobald das Netzwerk konvergiert war, hat man experimentell eine Feinabstimmung der Normalenvorhersageeinrichtung durch folgende Einstellung vorgenommen: w_n = 1,0, w_p = 0,0001.
Zum Testen des Netzwerks hat man bei den Experimenten willkürlich ein Bild, das einer Form, einer Beleuchtungsabbildung und einem Material entspricht, als Eingabe ausgewählt. Bei den Experimenten hat man sodann das Bild und einen Zielmaterialsatz für ein neuronales Netzwerk der in 2 dargestellten Form bereitgestellt. Das neuronale Netzwerk erzeugte ein modifiziertes Digitalbild, das den Zielmaterialeigenschaftssatz wiedergibt bzw. reflektiert. Man hat diese experimentelle Ausgabe mit der Ground Truth unter Verwendung einer L2-Metrik (die den Fehler pixelweise misst) und einer SSIM-Metrik (die die Strukturdifferenz misst) verglichen. Man beachte, dass eine niedrigere Zahl bei der L2-Metrik besser ist, während eine höhere Zahl bei der SSIM-Metrik besser ist. Die experimentellen Ergebnisse sind in Tabelle 1 zusammengefasst.

Tabelle 1 Kategorie „Auto“ Kategorie „Stuhl“ Kategorie „Sofa“ Kategorie „Bildschirm“

L2 475,5 570,6 245,4 530,9

SSIM 0,9442 0,9258 0,9695 0,9293
Man hat bei den Experimenten zudem eine zusätzliche Bewertung von zwei verschiedenen neuronalen Netzwerken durchgeführt, und zwar einem, das mit einem Wahrnehmungsverlust unter Verwendung einer Erstellungsschicht (wie vorstehend beispielsweise anhand 4 beschrieben) trainiert worden ist, und einem anderen eigenständigen Netzwerk, das ohne einen derartigen Wahrnehmungsverlust, jedoch auf Grundlage eines L2-Verlustes eines Materialeigenschaftssatzes trainiert worden ist. Die Ergebnisse, die in 2 dargestellt sind, zeigen, dass ein Verlustmaß auf Grundlage von Materialeigenschaften bei der Erfassung der physischen bzw. physikalischen Materialeigenschaften nicht ausreichend ist, da ein kleiner L2-Fehler zu großen optischen Abweichungen bei der Erstellungsausgabe führen kann. Die Einbeziehung der Erstellungsschicht (und von Wahrnehmungsverlusten) löst dieses Problem jedoch, indem die Materialkoeffizienten entsprechend ihrer wahren physikalischen Bedeutung behandelt werden.

Tabelle 2 L2 SSIM

eigenständig (Material) 2285,2 0,9626

mit Wahrnehmungsverlust 286,9 0,9895
Zusätzlich wurden Experimente zur Bewertung von zwei verschiedenen neuronalen Netzwerken durchgeführt, nämlich einem mit einem Wahrnehmungsverlust unter Nutzung einer Erstellungsschicht und einem anderen, das ohne einen derartigen Wahrnehmungsverlust (jedoch auf Grundlage eines L2-Verlustes einer Oberflächenorientierungsabbildung) trainiert worden ist. Die Ergebnisse, die in Tabelle 3 dargestellt sind, zeigen, dass ein Verlustmaß auf Grundlage einer Oberflächenorientierung zu kleinen Fehlern führt, jedoch einen unscharfe Ausgabe erzeugt. Das Addieren bzw. Hinzufügen eines Wahrnehmungsverlustes trägt dazu bei, scharfe Merkmale beizubehalten, was zu optisch plausibleren Ergebnissen führt.

Tabelle 3 L2 SSIM

eigenständig (Orientierung) 313,2 0,9441

mit Wahrnehmungsverlust 238,5 0,9625
Bei Experimenten wurde zudem die experimentelle Ausführungsform des vorstehend beschriebenen Digitalneuronalnetzwerkerstellungssystems mit dem Lösungsansatz in folgendem Beitrag verglichen: „Reflectance and Natural Illumination From a Single Image‟ von S. Lombardi und K. Nishino, IEEE ECCV, 582-595 (2012). Der Lösungsansatz nach Lombardi nutzt bestimmte Prioritäten (priors) zur Optimierung der Beleuchtung und der Materialeigenschaften in einem einzelnen Bild eines Objektes bei bekannter Geometrie. Der Lösungsansatz nach Lombardi macht Annahmen hinsichtlich der Prioritäten (priors) bzw. vorherige Annahmen, wobei eine PCA-basierte Materialdarstellung Näherungsfehler bezüglich der Lichtschätzung weiterträgt. Tabelle 4 zeigt die Ergebnisse, die belegen, dass das Digitalneuronalnetzwerkerstellungssystem die sich ergebende Genauigkeit merklich verbessert.

Tabelle 4 Lombardi Digitalneuronalnetzwerkerstellungssystem

L2 4417,1 455,6

SSIM 0,8796 0,9422
Insgesamt übertrifft das Digitalneuronalnetzwerkerstellungssystem herkömmliche Systeme dadurch, dass Prioritäten (prios) aus den Daten selbst hergeleitet werden, der Erstellungsprozess explizit modelliert wird und eine genauere Materialdarstellung genutzt wird.
In 8 sind zusätzliche Details im Zusammenhang mit Komponenten und Fähigkeiten einer Ausführungsform des Digitalneuronalnetzwerkerstellungssystems aufgeführt. Insbesondere zeigt 8 eine Ausführungsform eines exemplarischen Digitalneuronalnetzwerkerstellungssystems 800 (beispielsweise des vorgenannten Digitalneuronalnetzwerkerstellungssystems). Beinhalten kann das Digitalneuronalnetzwerkerstellungssystem 800, wie gezeigt ist, unter anderem ein neuronales Netzwerk 802, das eine Digitalbildeigenschaftsvorhersageeinrichtung 804 und eine Erstellungsschicht 806 umfasst; eine Neuronalnetzwerktrainingsengine 808; einen Zieleigenschaftsverwalter 810; einen Digitalbildverwalter 812 und einen Speicherverwalter 814 (umfassend eine BRDF-Datenbank 814a, Digitalbilder 814b, Digitalbildeigenschaften 814c, Trainingsdigitalbilder 814d, Trainingsdigitalbildeigenschaften 814e, modifizierte Digitalbilder 814f und Zieleigenschaften 814g).
Wie eben erwähnt und in 8 dargestellt ist, kann das Digitalneuronalnetzwerkerstellungssystem 800 das Neuronalnetzwerk 802 beinhalten. Wie vorstehend beschrieben worden ist, kann das neuronale Netzwerk 802 ein oder mehrere Eingabebilder empfangen und ein modifiziertes Digitalbild erzeugen. Darüber hinaus kann das neuronale Netzwerk, wie in 8 gezeigt ist, die Digitalbildeigenschaftsvorhersageeinrichtung 804 und die Erstellungsschicht 806 beinhalten.
Die Digitalbildeigenschaftsvorhersageeinrichtung 804 kann eine oder mehrere Eigenschaften eines Digitalbildes bestimmen, identifizieren, zerlegen und/oder vorhersagen. Die Digitalbildeigenschaftsvorhersageeinrichtung 804 kann ein Material (das heißt einen Materialeigenschaftssatz), ein Objekt (das heißt eine Oberflächenorientierungsabbildung) und/oder eine Beleuchtung (das heißt eine Beleuchtungsumgebungsabbildung), die in einem Digitalbild abgebildet sind, vorhersagen. Entsprechend kann die Digitalbildeigenschaftsvorhersageeinrichtung 804 die Materialeigenschaftsvorhersageeinrichtung 208, die Oberflächenorientierungsvorhersageeinrichtung 210 (28) und/oder die Beleuchtungsumgebungsvorhersageeinrichtung 212, die vorstehend beschrieben worden sind, beinhalten.
Wie vorstehend beschrieben worden ist, kann die Digitalbildeigenschaftsvorhersageeinrichtung 804 komplexere Materialeigenschaften, so beispielsweise bidirektionale Reflexionsstärkeverteilungsfunktionen, nutzen. Darüber hinaus erzeugt die Digitalbildeigenschaftsvorhersageeinrichtung eine parametrische Funktion auf Grundlage von bidirektionalen Reflexionsstärkeverteilungsfunktionen (beispielsweise aus der BRDF-Datenbank 814a), die in Bezug auf Eingangs- und Ausgangslichtrichtungen (und Materialeigenschaften) differenzierbar sind. Die Digitalbildeigenschaftsvorhersageeinrichtung 804 kann diese parametrischen Funktionen zur Vorhersage von Materialeigenschaftssätzen nutzen.
Die digitale Bildeigenschaftsvorhersageeinrichtung 804 kann zudem eine Beleuchtungsumgebungsabbildung nutzen, die ein sphärisches Panoramadigitalbild umfasst. Insbesondere kann die Digitalbildeigenschaftsvorhersageeinrichtung eine Beleuchtungsumgebungsabbildung erzeugen, die ein zweidimensionales sphärisches Panoramadigitalbild umfasst, wobei die Position eines jeden Pixels in dem zweidimensionalen sphärischen Panoramadigitalbild einer Eingangsrichtung eines Lichtstrahles entspricht, während der Wert eines jeden Pixels die Intensität des entsprechenden Lichtstrahles wiedergibt.
Darüber hinaus kann das neuronale Netzwerk 802, wie in 8 gezeigt ist, zudem die Erstellungsschicht 806 beinhalten. Die Erstellungsschicht 806 kann ein Digitalbild erzeugen, synthetisieren oder erstellen. Insbesondere kann die Erstellungsschicht 806 ein Digitalbild auf Grundlage von intrinsischen Eigenschaften (beispielsweise eines Materialeigenschaftssatzes, einer Oberflächenorientierungsabbildung und einer Beleuchtungsumgebungsabbildung (die von der Digitalbildeigenschaftsvorhersageeinrichtung 804 erzeugt wird) erzeugen. Darüber hinaus kann die Erstellungsschicht unter Nutzung einer Zieleigenschaft ein modifiziertes Digitalbild erzeugen.
Wie vorstehend diskutiert worden ist, kann die Erstellungsschicht 806 ein modifiziertes Digitalbild unter Nutzung von komplexeren Materialeigenschaften erzeugen. Die Erstellungsschicht 806 kann eine differenzierbare parametrische Funktion auf Grundlage einer Datenbank mit bidirektionalen Reflexionsstärkeverteilungsfunktionen (das heißt der BRDF-Datenbank 814a) nutzen, um ein modifiziertes Digitalbild zu erstellen. Darüber hinaus kann die Erstellungsschicht 806 eine Beleuchtungsumgebungsabbildung in Form eines sphärischen Panoramadigitalbildes nutzen, um ein modifiziertes Digitalbild (beispielsweise die Digitalbildeigenschaften 814c) zu erzeugen.
Wie in 8 dargestellt ist, beinhaltet das Digitalneuronalnetzwerkerstellungssystem 800 zudem die Neuronalnetzwerktrainingsengine 808. Die Neuronalnetzwerktrainingsengine 808 kann ein neuronales Netzwerk (beispielsweise das neuronale Netzwerk 802) lehren, trainieren, anleiten oder informieren, um ein modifiziertes Digitalbild zu erzeugen. Insbesondere kann die Neuronalnetzwerktrainingsengine 808 ein neuronales Netzwerk durch Bereitstellen eines Trainingseingabebildes für das neuronale Netzwerk und Bestimmen eines Verlustmaßes im Zusammenhang mit der Ausgabe des neuronalen Netzwerkes trainieren. Die Neuronalnetzwerktrainingsengine kann beispielsweise ein Verlustmaß dadurch bestimmen, dass eine vorhergesagte Eigenschaft aus dem neuronalen Netzwerk 802 (beispielsweise ein vorhergesagter Materialeigenschaftssatz, eine vorhergesagte Oberflächenorientierungsabbildung und/oder eine Beleuchtungsumgebungsabbildung) mit bekannten Trainingseigenschaften verglichen werden, die dem Trainingseingabebild entsprechen (beispielsweise ein Trainingsmaterialeigenschaftssatz, eine Trainingsoberflächenorientierungsabbildung und/oder eine Trainingsbeleuchtungsumgebungsabbildung).
Die Neuronalnetzwerktrainingsengine 808 kann zudem ein Verlustmaß aus einem oder mehreren synthetisierten Digitalbildern, die von dem neuronalen Netzwerk 802 erzeugt werden, bestimmen. Die Neuronalnetzwerktrainingsengine 808 kann beispielsweise ein synthetisiertes Trainingsbild, das von dem neuronalen Netzwerk 802 erzeugt worden ist, mit einem Trainingseingabebild vergleichen. Auf ähnliche Weise kann die Neuronalnetzwerktrainingsengine 808 ein Trainingszielbild mit einem synthetisierten Zielbild vergleichen, das unter Nutzung einer Trainingszieleigenschaft, die dem Trainingszielbild entspricht, erzeugt wird.
Wie in 8 dargestellt ist, beinhaltet das Digitalneuronalnetzwerkerstellungssystem 800 zudem den Zieleigenschaftsverwalter 810. Der Zieleigenschaftsverwalter 810 kann eine oder mehrere Zieleigenschaften identifizieren, auswählen, bereitstellen und/oder verwalten. Der Zieleigenschaftsverwalter 810 kann beispielsweise einen optischen Hinweis (beispielsweise Nutzerschnittstellenelemente), der einer oder mehreren Zieleigenschaften entspricht, bereitstellen. Darüber hinaus kann der Zieleigenschaftsverwalter 810 eine Nutzereingabe (beispielsweise eine Auswahl) im Zusammenhang mit dem optischen Hinweis empfangen. Auf Grundlage der Nutzereingabe kann der Zieleigenschaftsverwalter 810 eine Zieleigenschaft identifizieren und bei einem Eingabedigitalbild beim Erzeugen eines modifizierten Digitalbildes anwenden.
Der Zieleigenschaftsverwalter 810 kann beispielsweise eine Aufforderung empfangen, eine Beleuchtungsumgebung in eine zweite Beleuchtungsumgebung zu ändern (und das neuronale Netzwerk 802 kann ein modifiziertes Objekt erzeugen, das die zweite Beleuchtungsumgebung reflektiert). Auf ähnliche Weise kann der Zieleigenschaftsverwalter 810 eine Aufforderung empfangen, ein Material in ein zweites Material zu ändern (und das neuronale Netzwerk 802 kann ein modifiziertes Digitalbild erzeugen, das ein modifiziertes Objekt abbildet, das das zweite Material reflektiert).
Darüber hinaus beinhaltet das Digitalneuronalnetzwerkerstellungssystem 80, wie in 8 gezeigt ist, zudem den Digitalbildverwalter 812. Der Digitalbildverwalter 812 kann beispielsweise Digitalbilder bereitstellen, auswählen und/oder verwalten. Der Digitalbildverwalter 812 kann beispielsweise eine Nutzereingabe empfangen und ein oder mehrere Eingabedigitalbilder auswählen, um sie für das neuronale Netzwerk 802 bereitzustellen. Auf ähnliche Weise kann der Digitalbildverwalter 812 ein oder mehrere modifizierte Digitalbilder zur Anzeige für einen Nutzer bereitstellen. Bei einer oder mehreren Ausführungsformen kann der Digitalbildverwalter 812 ein Feld erzeugen, das mehrere Eingabedigitalbilder und modifizierte Digitalbilder (wie anhand 6A und 6B gezeigt ist) umfasst.
Darüber hinaus beinhaltet das Digitalneuronalnetzwerkerstellungssystem 800, wie in 8 gezeigt ist, zudem den Speicherverwalter 814. Der Speicherverwalter 814 hält Daten vor, um die Funktionen des Digitalneuronalnetzwerkerstellungssystems 800 wahrzunehmen. Wie dargestellt ist, beinhaltet der Speicherverwalter 814 die BRDF-Datenbank 814a (das heißt eine Datenbank mit bidirektionalen Reflexionsstärkeverteilungsfunktionen und entsprechenden Materialeigenschaften), Digitalbilder 814b (beispielsweise einen Vorrat von Digitalbildern, die als Eingabedigitalbilder genutzt werden können), Digitalbildeigenschaften 814c (beispielsweise Eigenschaften, die von dem neuronalen Netzwerk 802 für Eingabedigitalbilder bestimmt werden, so beispielsweise Oberflächenorientierungsabbildungen, Beleuchtungsumgebungsabbildungen und/oder Materialeigenschaftssätze), Trainingsdigitalbilder 814d (beispielsweise Trainingseingabebilder und/oder Trainingszielbilder), Trainingsdigitalbildeigenschaften 814e (beispielsweise Ground-Truth-Trainingseigenschaften, so beispielsweise Trainingsoberflächenorientierungsabbildungen, Trainingsbeleuchtungsumgebungsabbildungen, Trainingsmaterialeigenschaftssätze und/oder Trainingszieleigenschaften), modifizierte Digitalbilder 814f und Zieleigenschaften 814g.
Darüber hinaus kann der Speicherverwalter 814 bei einer oder mehreren Ausführungsformen zudem das neuronale Netzwerk 802 beinhalten. Beim Trainieren des neuronalen Netzwerkes 802 kann das Digitalneuronalnetzwerkerstellungssystem 800 beispielsweise das neuronale Netzwerk mittels des Speicherverwalters 814 (beispielsweise mittels eines Servers und/oder einer Clientvorrichtung) zur Nutzung beim Erzeugen von modifizierten Digitalbildern (beispielsweise an dem Server und/oder an der Clientvorrichtung, wie nachstehend anhand 9 detaillierter beschrieben wird) speichern.
Jede der Komponenten 802 bis 814 des Digitalneuronalnetzwerkerstellungssystems 800 kann (wie in 8 gezeigt ist) mit einem weiteren Digitalneuronalnetzwerkerstellungssystem unter Nutzung von beliebigen geeigneten Kommunikationstechnologien verbunden sein. Es sollte einsichtig sein, dass ungeachtet der Tatsache, dass die Komponenten 802 bis 814 des Digitalneuronalnetzwerkerstellungssystems 800 in 8 getrennt gezeigt sind, beliebige Komponenten 802 bis 814 auch zu weniger Komponenten kombiniert sein können, so beispielsweise sogar zu einer einzigen Einrichtung oder einem einzigen Modul, in mehr Komponenten aufgeteilt sein können oder als verschiedene Komponenten, so dies für eine bestimmte Ausführungsform dienlich ist, konfiguriert sein können.
Die Komponenten 802 bis 814 des Digitalneuronalnetzwerkerstellungssystems 800 können Software, Hardware oder beides umfassen. Die Komponenten 802 bis 814 können beispielsweise eine oder mehrere Anweisungen umfassen, die auf einem computerlesbaren Speichermedium gespeichert und durch Prozessoren einer oder mehrerer Rechenvorrichtungen ausführbar sind. Bei Ausführung durch den einen oder die mehreren Prozessoren können die computerausführbaren Anweisungen des Digitalneuronalnetzwerkerstellungssystems 800 veranlassen, dass eine Clientvorrichtung und/oder eine Servervorrichtung die hier beschriebenen Verfahren durchführt. Alternativ können die Komponenten 802 bis 814 und ihre entsprechenden Elemente Hardware beinhalten, so beispielsweise eine Spezialzweckverarbeitungsvorrichtung zur Wahrnehmung einer bestimmten Funktion oder Gruppe von Funktionen. Zusätzlich können die Komponenten 802 bis 814 eine Kombination aus computerausführbaren Anweisungen und Hardware umfassen.
Des Weiteren können die Komponenten 802 bis 814 beispielsweise als ein oder mehrere Betriebssysteme, als eine oder mehrere eigenständige Anwendungen bzw. Apps, als ein oder mehrere Module einer Anwendung bzw. App, als ein oder mehrere Plug-ins, als ein oder mehrere Bibliotheksfunktionen oder Funktionen, die von anderen Anwendungen bzw. Apps aufgerufen werden können, und/oder als Cloudrechenmodell implementiert sein. Die Komponenten 802 bis 814 können daher als eigenständige Anwendung bzw. App, so beispielsweise als Desktop- oder Mobilanwendung bzw. App implementiert sein. Des Weiteren können die Komponenten 802 bis 814 als ein oder mehrere webbasierte Anwendungen bzw. Apps implementiert sein, die von einem Remoteserver gehostet werden. Die Komponenten 802 bis 814 können zudem in einem Paket (suit) von Mobilvorrichtungsanwendungen bzw. Apps implementiert sein. Bei einem Darstellungsbeispiel können die Komponenten 802 bis 814 in einer Anwendung bzw. App implementiert sein, darunter unter anderem der Software ADOBE® PHOTOSHOP® oder ADOBE® ILLUSTRATOR®. „ADOBE“, „PHOTOSHOP“ und „ILLUSTRATOR“ sind entweder eingetragene Marken oder Marken von Adobe Systems Incorporated in den Vereinigten Staaten und/oder anderen Ländern.
9 zeigt ein schematisches Diagramm einer Ausführungsform einer exemplarischen Umgebung 900, in der das Digitalneuronalnetzwerkerstellungssystem 800 arbeiten kann. Bei einer oder mehreren Ausführungsformen beinhaltet die exemplarische Umgebung 900 eine oder mehrere Clientvorrichtungen 902a, 902b, ..., 902n, ein Netzwerk 904 und einen Server / Server 906. Das Netzwerk 904 kann ein beliebiges geeignetes Netzwerk sein, über das die Rechenvorrichtungen kommunizieren können. Exemplarische Netzwerke werden nachstehend detaillierter anhand 13 beschrieben.
Wie in 9 dargestellt ist, kann die Umgebung 900 Clientvorrichtungen 902a bis 902n beinhalten. Die Clientvorrichtungen 902a bis 902n können eine beliebige Rechenvorrichtung umfassen. Bei einer oder mehreren Ausführungsformen umfassen die eine oder die mehreren Clientvorrichtungen 902a bis 902n beispielsweise eine oder mehrere Rechenvorrichtungen, die nachstehend anhand 13 beschrieben werden.
Zusätzlich kann die Umgebung 900 auch den Server / die Server 906 beinhalten. Der Server / die Server 906 kann/können beliebige Datentypen erzeugen, speichern, empfangen und übertragen, darunter die BRDF-Datenbank 814a, die Digitalbilder 814b, die Digitalbildeigenschaften 814c, die Trainingsdigitalbilder 814d, die Trainingsdigitalbildeigenschaften 814e, die modifizierten Digitalbilder 814f und die Zieleigenschaften 814g. Der Server / die Server 906 kann/können Daten an eine Clientvorrichtung, so beispielsweise die Clientvorrichtung 902a, übertragen. Der Server / die Server 906 kann/können zudem elektronische Nachrichten zwischen einem oder mehreren Nutzern der Umgebung 900 übertragen. Bei einer exemplarischen Ausführungsform umfasst/umfassen der Server / die Server 906 einen Contentserver. Der Server / die Server 906 können zudem einen Kommunikationsserver oder einen Webhostingserver umfassen. Zusätzliche Details im Zusammenhang mit dem Server / den Servern 906 werden nachstehend anhand 13 beschrieben.
Wie dargestellt ist, kann/können der Server / die Server 906 bei einer oder mehreren Ausführungsformen das Digitalneuronalnetzwerkerstellungssystem 800 gänzlich oder in Teilen beinhalten. Umfassen kann das Digitalneuronalnetzwerkerstellungssystem 800 insbesondere eine Anwendung bzw. App, die auf dem Server / den Servern 906 läuft, oder auch nur einen Teil einer Softwareanwendung bzw. App, die von dem Server / den Servern 906 heruntergeladen werden kann. Das Digitalneuronalnetzwerkerstellungssystem 800 kann beispielsweise eine Webhostinganwendung bzw. App beinhalten, die ermöglicht, dass die Clientvorrichtungen 902a bis 902n mit Content, der auf dem Server / den Servern 906 gehostet wird, interagieren. Bei einem Darstellungsbeispiel können bei einer oder mehreren Ausführungsformen der exemplarischen Umgebung 900 ein oder mehrere Clientvorrichtungen 902a bis 902n auf eine Webpage zugreifen, die von dem Server / den Servern 906 unterstützt wird. Insbesondere kann die Clientvorrichtung 902a eine Anwendung bzw. App betreiben, die ermöglicht, dass ein Nutzer auf eine Webpage oder Webseite, die auf dem Server / den Servern 906 gehostet wird, zugreift, diese betrachtet und/oder mit dieser interagiert.
Obwohl 9 eine spezielle Anordnung der Clientvorrichtungen 902a bis 902n, des Netzwerks 904 und des Servers / der Server 906 darstellt, sind verschiedene zusätzliche Anordnungen möglich. Während 9 beispielsweise mehrere getrennte Clientvorrichtungen 902a bis 902n zeigt, die mit dem Server / den Servern 906 über das Netzwerk 904 kommunizieren, kann bei einer oder mehreren Ausführungsformen eine einzige Clientvorrichtung direkt mit dem Server / den Servern 906 des Netzwerkes 904 kommunizieren.
Auf ähnliche Weise kann, obwohl die Umgebung 900 von 9 derart dargestellt ist, dass sie verschiedene Komponenten aufweist, die Umgebung 900 auch zusätzliche oder alternative Komponenten aufweisen. So kann das Digitalneuronalnetzwerkerstellungssystem 800 beispielsweise auf einer einzigen Rechenvorrichtung implementiert sein. Insbesondere kann das Digitalneuronalnetzwerkerstellungssystem 800 als Ganzes durch die Clientvorrichtung 902a implementiert sein, oder es kann das Digitalneuronalnetzwerkerstellungssystem 800 als Ganzes durch den Server / die Server 906 implementiert sein. Alternativ kann das Digitalneuronalnetzwerkerstellungssystem 800 über mehrere Vorrichtungen oder Komponenten hinweg (beispielsweise unter Nutzung der Clientvorrichtungen 902a bis 902n und des Servers / der Server 906) implementiert sein.
Die Clientvorrichtung 902a sendet beispielhalber bei einer oder mehreren Ausführungsformen eine Aufforderung an den Server / die Server 906, ein oder mehrere Digitalbilder zu bearbeiten. Der Server / die Server 906 können Anzeigehinweise auf mehrere Digitalbilder und Zieleigenschaften (beispielsweise über den Zieleigenschaftsverwalter 810 und den Digitalbildverwalter 812) für die Clientvorrichtung 902a bereitstellen. Die Clientvorrichtung 902a kann eine Nutzerauswahl eines Digitalbildes und einer Zieleigenschaft (beispielsweise über den Zieleigenschaftsverwalter 810 und den Digitalbildverwalter 812 empfangen) und einen Hinweis auf das ausgewählte Digitalbild und die ausgewählte Zieleigenschaft für den Server / die Server 906 bereitstellen. Der Server / die Server 906 kann/können das ausgewählte Digitalbild als Eingabedigitalbild für ein neuronales Netzwerk mit einer Erstellungsschicht (beispielsweise das neuronale Netzwerk 802) bereitstellen. Das neuronale Netzwerk kann das Eingabedigitalbild in intrinsische Eigenschaften zerlegen und eine der intrinsischen Eigenschaften (beispielsweise mittels der Digitalbildeigenschaftsvorhersageeinrichtung 804) durch die ausgewählte Zieleigenschaften ersetzen. Die Erstellungsschicht des neuronalen Netzwerkes (beispielsweise die Erstellungsschicht 806) kann die verbleibenden intrinsischen Eigenschaften und die Zieleigenschaft nutzen, um ein modifiziertes Digitalbild (beispielsweise ein modifiziertes Digitalbild, das das Eingabedigitalbild mit der Zieleigenschaft wiedergibt bzw. reflektiert) erzeugen. Darüber hinaus kann/können der Server / die Server 906 das modifizierte Digitalbild für die Clientvorrichtung 902a zur Anzeige bereitstellen.
In 10 sind zusätzliche Details im Zusammenhang mit der Erstellung eines modifizierten Digitalbildes angegeben. Insbesondere zeigt 10 eine Abfolge von Vorgängen 1002 bis 1010 bei einem Schritt 1000 zur Erstellung eines modifizierten Digitalbildes (das heißt bei einem Schritt zur Erstellung eines modifizierten Digitalbildes, das das Eingabedigitalbild mit der modifizierten Eigenschaft wiedergibt bzw. reflektiert, unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht, die auf das Erzeugen von Zieldigitalbildern, die diffuse und spiegelnde Materialien abbilden, trainiert ist).
Wie in 10 dargestellt ist, beinhaltet der Schritt 1000 einen Vorgang 1002 des Bereitstellens eines Eingabedigitalbildes. Insbesondere beinhaltet der Vorgang 1002 das Bereitstellen eines Eingabedigitalbildes für ein neuronales Netzwerk. Wie vorstehend (beispielsweise im Zusammenhang mit 2 und 4) beschrieben worden ist, kann das Digitalneuronalnetzwerkerstellungssystem ein Eingabebild für ein neuronales Netzwerk bereitstellen, das auf das Erzeugen von modifizierten Digitalbildern trainiert ist.
Darüber hinaus beinhaltet der Schritt 1000, wie in 10 gezeigt ist, zudem den Vorgang 1004 des Bestimmens von Eigenschaften. Insbesondere kann der Vorgang 1004 das Bestimmen von Eigenschaften unter Nutzung einer Eigenschaftsvorhersageeinrichtung (vorstehend beschrieben) beinhalten. Der Vorgang 1004 kann beispielsweise das Erzeugen eines Materialeigenschaftssatzes, der dem Eingabedigitalbild entspricht, das Erzeugen einer Beleuchtungsumgebungsabbildung und/oder das Erzeugen einer Oberflächenorientierungsabbildung beinhalten (wie vorstehend beispielsweise anhand 2 und 3 beschrieben worden ist).
Zusätzlich beinhaltet der Schritt 1000, wie in 10 dargestellt ist, auch den Vorgang 1006 des Ersetzens einer Eigenschaft durch eine Zieleigenschaft. Insbesondere kann der Vorgang 1006 das Ersetzen des erzeugten Materialeigenschaftssatzes, der erzeugten Beleuchtungsumgebungsabbildung und/oder der erzeugten Oberflächenorientierungsabbildung durch eine entsprechende Zieleigenschaft (wie vorstehend beispielsweise anhand 2 beschrieben worden ist) beinhalten. Der Vorgang 1006 kann beispielsweise das Ersetzen eines erzeugten Materialeigenschaftssatzes durch einen Zielmaterialeigenschaftssatz beinhalten.
Wie in 10 dargestellt ist, beinhaltet der Schritt 1000 zudem den Vorgang 1008 des Bereitstellens der Zieleigenschaft für eine Erstellungsschicht. Insbesondere beinhaltet der Vorgang 1008 das Bereitstellen der Zieleigenschaft und der verbleibenden (das heißt nicht ersetzten) Eigenschaften für eine Erstellungsschicht des neuronalen Netzwerkes (wie beispielsweise anhand 2 beschrieben worden ist). Der Vorgang 1008 kann beispielsweise das Bereitstellen des Zielmaterialeigenschaftssatzes mit der erzeugten Beleuchtungsumgebungsabbildung und der erzeugten Oberflächenorientierungsabbildung beinhalten.
Des Weiteren beinhaltet der Schritt 1000, wie in 10 gezeigt ist, auch den Vorgang 1010 des Nutzens der Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes. Der Vorgang 1010 kann, wie vorstehend beschrieben worden ist, beispielsweise das Nutzen der trainierten Erstellungsschicht zur Synthetisierung eines modifizierten Digitalbildes auf Grundlage der Zieleigenschaft und der verbleibenden (das heißt nicht ersetzten) Eigenschaften beinhalten (wie beispielsweise vorstehend detaillierter beschrieben worden ist). Darüber hinaus kann der Vorgang 1010 das Nutzen der Erstellungsschicht zur Erzeugung eines modifizierten Digitalbildes, das die Zieleigenschaft und die verbleibenden (das heißt nicht ersetzten) Eigenschaften wiedergibt bzw. reflektiert, beinhalten.
Bei einer oder mehreren Ausführungsformen empfängt das Digitalneuronalnetzwerkerstellungssystem ein Eingabedigitalbild, das ein Objekt innerhalb einer Beleuchtungsumgebung abbildet, wobei das Objekt eine Oberfläche eines Materials umfasst und die Oberfläche eine Oberflächennormalenrichtung aufweist. Des Weiteren empfängt das Digitalneuronalnetzwerkerstellungssystem eine Aufforderung, eine intrinsische Eigenschaft des Eingabedigitalbildes zu modifizieren, wobei die intrinsische Eigenschaft wenigstens eines von dem Material, der Oberflächennormalenrichtung oder der Beleuchtungsumgebung umfasst. In Reaktion auf den Empfang einer Aufforderung, die intrinsische Eigenschaft zu ändern, kann das Digitalneuronalnetzwerkerstellungssystem den Schritt 1000 zu Erstellung eines modifizierten Digitalbildes durchführen, das das Eingabedigitalbild mit der modifizierten Eigenschaft reflektiert bzw. wiedergibt, und zwar unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht, die auf das Erzeugen von Zieldigitalbildern, die diffuse und spiegelnde Materialien abbilden, trainiert ist.
Bei einer oder mehreren Ausführungsformen umfasst die Aufforderung, die Eigenschaft zu modifizieren, eine Aufforderung, die Beleuchtungsumgebung in eine zweite Beleuchtungsumgebung zu ändern, wobei das modifizierte Digitalbild ein modifiziertes Objekt abbildet, das die zweite Beleuchtungsumgebung reflektiert. Darüber hinaus umfasst die Aufforderung, die Eigenschaft zu modifizieren, bei einer oder mehreren Ausführungsformen eine Aufforderung, das Material in ein zweites Material zu ändern, wobei das modifizierte Digitalbild ein modifiziertes Objekt abbildet, das das zweite Material reflektiert. Auf ähnliche Weise kann die Aufforderung, die Eigenschaft zu modifizieren, eine Aufforderung umfassen, die Oberflächennormalenrichtung zu ändern, indem das Objekt durch ein zweites Objekt ersetzt wird, das eine zweite Oberfläche eines zweiten Materials mit einer zweiten Normalenrichtung umfasst, wobei das modifizierte Digitalbild die zweite Normalenrichtung des zweiten Objektes mit dem Material des Objektes in der Beleuchtungsumgebung des Eingabedigitalbildes abbilden kann.
Zusätzlich umfasst das Empfangen der Aufforderung, die Eigenschaft zu modifizieren, bei einer oder mehreren Ausführungsformen das Empfangen einer Nutzereingabe eines zweiten Digitalbildes, das die modifizierte Eigenschaft umfasst. Des Weiteren bildet das modifizierte Digitalbild bei einer oder mehreren Ausführungsformen ein spiegelndes Material ab. Auf ähnliche Weise bildet das Eingabedigitalbild bei einer oder mehreren Ausführungsformen ein spiegelndes Material ab.
1 bis 10, der entsprechende Text und die Beispiele zeigen eine Anzahl von verschiedenen Systemen und Vorrichtungen zur Erstellung von Digitalbildern einer virtuellen Umgebung unter Nutzung eines Full-Path-Space-Learnings. Zusätzlich zum Vorbeschriebenen können Ausführungsformen auch anhand von Flussdiagrammen beschrieben werden, die Vorgänge und Schritte bei einem Verfahren zum Erreichen eines bestimmten Ergebnisses umfassen. 11 und 12 zeigen beispielsweise Flussdiagramme von exemplarischen Verfahren entsprechend einer oder mehreren Ausführungsformen. Die anhand 11 und 12 beschriebenen Verfahren können mit weniger oder mehr Schriften/Vorgängen ausgeführt werden, oder es können die Schritte/Vorgänge in anderen Reihenfolgen durchgeführt werden. Zusätzlich können die hier beschriebenen Schritte/Vorgänge wiederholt oder parallel zueinander oder parallel zu anderen Instanzen derselben oder ähnlicher Schritte/Vorgänge durchgeführt werden.
11 zeigt ein Flussdiagramm einer Abfolge von Vorgängen bei einem Verfahren 1100 zum Erzeugen von modifizierten Digitalbildern unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht entsprechend einer oder mehreren Ausführungsformen. Bei einer oder mehreren Ausführungsformen wird das Verfahren 1100 in einer Digitalmedienumgebung, die das Digitalneuronalnetzwerkerstellungssystem 800 beinhaltet, ausgeführt. Das Verfahren 1100 soll für ein oder mehrere Verfahren entsprechend der vorliegenden Offenbarung erläuternd sein, es jedoch nicht auf potenzielle Ausführungsformen beschränken. Alternative Ausführungsformen können zusätzliche, weniger oder auch andere Schritte als die in 11 und 12 dargestellten beinhalten.
Wie in 11 dargestellt ist, beinhaltet das Verfahren 1100 einen Vorgang 1110 des Bereitstellens eines Trainingseingabebildes entsprechend Trainingseigenschaften für ein neuronales Netzwerk. Insbesondere kann der Vorgang 1110 das Bereitstellen eines Trainingseingabebildes für ein neuronales Netzwerk beinhalten, wobei das Trainingseingabebild einem Trainingsmaterialeigenschaftssatz, einer Trainingsoberflächenorientierungsabbildung und einer Trainingsbeleuchtungsumgebungsabbildung entspricht. Bei einer oder mehreren Ausführungsformen umfasst die Beleuchtungsumgebungsabbildung ein sphärisches Panoramadigitalbild, das mehrere Pixel umfasst, wobei die Position eines jeden Pixels der mehreren Pixel des sphärischen Panoramadigitalbildes eine Eingangslichtrichtung, die Lichtstrahlen entspricht, die in dem Eingabedigitalbild abgebildet sind, wiedergibt bzw. reflektiert.
Zusätzlich beinhaltet das Verfahren 1110, wie in 11 dargestellt ist, auch einen Vorgang 1120 des mittels des neuronalen Netzwerkes erfolgenden Vorhersagens von Eigenschaften des Trainingseingabebildes. Insbesondere kann der Vorgang 1120 ein mittels des neuronalen Netzwerkes erfolgendes Vorhersagen eines Materialeigenschaftssatzes, einer Oberflächenorientierungsabbildung und einer Beleuchtungsumgebungsabbildung auf Grundlage des Trainingseingabebildes beinhalten. Bei einer oder mehreren Ausführungsformen kann der Vorgang 1120 beispielsweise das Nutzen einer parametrischen Darstellung, die in Bezug auf Eingangslichtrichtungen, Ausgangslichtrichtungen und Materialeigenschaften (das heißt Materialkoeffizienten oder Materialparameter) differenzierbar ist, beinhalten. Insbesondere umfasst die parametrische Darstellung bei einer oder mehreren Ausführungsformen eine Linearkombination einer Datenbank mit bidirektionalen Reflexionsstärkeverteilungsfunktionen, die bidirektionale Reflexionsstärkeverteilungsfunktionen, die mehreren Materialien entsprechen, beinhaltet.
Darüber hinaus beinhaltet das Verfahren 1100, wie in 11 dargestellt ist, zudem einen Vorgang 1130 des Erzeugens eines synthetisierten Trainingsbildes mittels einer Erstellungsschicht des neuronalen Netzwerkes auf Grundlage der vorhergesagten Eigenschaften. Insbesondere kann der Vorgang 1130 das Erzeugen eines synthetisierten Trainingsbildes mittels einer Erstellungsschicht des neuronalen Netzwerkes auf Grundlage des Materialeigenschaftssatzes, der Oberflächenorientierungsabbildung und der Beleuchtungsumgebungsabbildung beinhalten.
Wie in 11 dargestellt ist, beinhaltet das Verfahren 1100 zudem einen Vorgang 1140 des Bestimmens eines Verlustmaßes durch Vergleichen des synthetisierten Trainingsbildes, des Trainingseingabebildes, der Trainingseigenschaften und der vorhergesagten Eigenschaften. Insbesondere kann der Vorgang 1140 das Bestimmen eines Verlustmaßes durch Vergleichen des synthetisierten Trainingsbildes, des Trainingseingabebildes, des Trainingsmaterialeigenschaftssatzes, des vorhergesagten Materialeigenschaftssatzes, der Trainingsoberflächenorientierungsabbildung und der vorhergesagten Oberflächenorientierungsabbildung beinhalten. Das Verfahren 1100 kann zusätzlich auch ein Zugreifen auf ein Trainingszielbild und eine Trainingszieleigenschaft beinhalten. Insbesondere kann das Trainingszielbild das Trainingseingabebild, das derart modifiziert ist, dass es die Trainingszieleigenschaft abbildet, umfassen. Beinhalten kann das Verfahren 1100 zudem das Bereitstellen der Trainingszieleigenschaft für das neuronale Netzwerk und das Erzeugen eines synthetisierten Zielbildes mittels der Erstellungsschicht des neuronalen Netzwerkes auf Grundlage der Trainingszieleigenschaft und auf Grundlage von wenigstens zweien von dem vorhergesagten Materialeigenschaftssatz, der vorhergesagten Oberflächenorientierungsabbildung und der vorhergesagten Beleuchtungsumgebungsabbildung. Des Weiteren kann der Vorgang 1140 ein Vergleichen des Trainingszielbildes und des synthetisierten Zielbildes beinhalten. Die Trainingszieleigenschaft kann beispielsweise wenigstens eines von einem Zielmaterialeigenschaftssatz, der von dem Trainingsmaterialeigenschaftssatz verschieden ist, einer Zieltrainingsoberflächenorientierungsabbildung, die von der Oberflächenorientierungsabbildung verschieden ist, und einer Zielbeleuchtungsumgebungsabbildung, die von der Trainingsbeleuchtungsumgebungsabbildung verschieden ist, beinhalten.
Des Weiteren kann das Verfahren 1100, wie in 11 dargestellt ist, einen Vorgang 1150 des Trainierens des neuronalen Netzwerkes unter Nutzung des bestimmten Verlustmaßes beinhalten. Insbesondere kann der Vorgang 1150 das Trainieren des neuronalen Netzwerkes unter Nutzung des bestimmten Verlustmaßes zur Erzeugung eines modifizierten Digitalbildes aus einem Eingabedigitalbild beinhalten. Der Vorgang 1150 kann beispielsweise ein Rückverfolgen des Verlustmaßes zu dem neuronalen Netzwerk beinhalten, um das neuronale Netzwerk darauf zu trainieren, ein modifiziertes Digitalbild aus einem Eingabedigitalbild zu erzeugen.
12 zeigt ein Flussdiagramm einer Abfolge von Vorgängen bei einem Verfahren 1200 zum Erzeugen von modifizierten Digitalbildern unter Nutzung eines neuronalen Netzwerkes mit einer Erstellungsschicht entsprechend einer oder mehreren Ausführungsformen. Wie gezeigt ist, beinhaltet das Verfahren 1200 einen Vorgang 1210 des unter Nutzung eines neuronalen Netzwerkes erfolgenden Vorhersagens von Eigenschaften eines Eingabedigitalbildes. Insbesondere kann der Vorgang 1210 das unter Nutzung des neuronalen Netzwerkes erfolgende Vorhersagen von wenigstens zweien von einem Materialeigenschaftssatz, einer Oberflächenorientierungsabbildung oder einer Beleuchtungsumgebungsabbildung auf Grundlage des Eingabedigitalbildes beinhalten. Darüber hinaus umfasst das neuronale Netzwerk bei einer oder mehreren Ausführungsformen eine Erstellungsschicht, die darauf trainiert ist, synthetisierte Digitalbilder aus Eingabedigitalbildern, die diffuse Materialien abbilden, und Eingabedigitalbildern, die spiegelnde Materialien abbilden, zu erzeugen. Bei einer oder mehreren Ausführungsformen beinhaltet der Vorgang 1210 beispielsweise das Vorhersagen der Oberflächenorientierungsabbildung, der Beleuchtungsumgebungsabbildung und des Materialeigenschaftssatzes auf Grundlage des Eingabedigitalbildes.
Darüber hinaus beinhaltet das Verfahren 1200, wie in 12 dargestellt ist, zudem einen Vorgang 1220 des Ersetzens wenigstens einer der Eigenschaften durch eine Zieleigenschaft. Insbesondere kann der Vorgang 1220 das Ersetzen von wenigstens einem von dem Materialeigenschaftssatz, der Oberflächenorientierungsabbildung oder der Beleuchtungsumgebungsabbildung durch einen Zielmaterialeigenschaftssatz, eine Zieloberflächenorientierungsabbildung oder eine Zielbeleuchtungsabbildung beinhalten. Bei einer oder mehreren Ausführungsformen beinhaltet der Vorgang 1220 beispielsweise das Ersetzen des Materialeigenschaftssatzes durch den Zielmaterialeigenschaftssatz. Darüber hinaus kann der Vorgang 1220 auch das unter Nutzung des neuronalen Netzwerkes erfolgende Vorhersagen des Materialeigenschaftssatzes auf Grundlage einer parametrischen Darstellung beinhalten, die in Bezug auf Eingangslichtrichtungen, Ausgangslichtrichtungen und Materialeigenschaften (das heißt Materialkoeffizienten oder Materialparameter) differenzierbar ist. Beinhalten kann der Vorgang 1220 auf ähnliche Weise das unter Nutzung des neuronalen Netzwerkes erfolgende Vorhersagen der Materialoberflächenorientierungsabbildung, wobei die Oberflächenorientierungsabbildung ein RGB-Digitalbild mit mehreren RBG-Pixeln umfasst, wobei der RBG-Wert eines jeden Pixels der mehreren Pixel die x-, y- und z-Dimensionen der Oberflächenorientierung eines jeden Pixels des Objektes, das in dem Digitalbild abgebildet ist, codiert.
Darüber hinaus beinhaltet das Verfahren, wie in 12 gezeigt ist, zudem einen Vorgang 1230 des Nutzens einer Erstellungsschicht des neuronalen Netzwerkes zur Erzeugung eines modifizierten Digitalbildes auf Grundlage der Zieleigenschaft und wenigstens einer der Eigenschaften des Eingabedigitalbildes. Beinhalten kann der Vorgang 1230 insbesondere das Nutzen der Erstellungsschicht des neuronalen Netzwerkes zur Erzeugung eines modifizierten Digitalbildes aus dem Eingabebild auf Grundlage von wenigstens einem von dem Zielmaterialeigenschaftssatz, der Zieloberflächenorientierungsabbildung oder der Zielbeleuchtungsabbildung. Beinhalten kann der Vorgang 1230 beispielsweise das Nutzen der Erstellungsschicht des neuronalen Netzwerkes, um die modifizierte Digitaleigenschaft auf Grundlage der Zielmaterialeigenschaft, der Oberflächenorientierungsabbildung und der Beleuchtungsumgebungsabbildung zu erzeugen. Bei einer oder mehreren Ausführungsformen beinhaltet der Vorgang 1230 darüber hinaus das derartige Erzeugen des modifizierten Digitalbildes, dass das modifizierte Digitalbild ein spiegelndes Material abbildet.
Darüber hinaus bildet das Eingabedigitalbild bei einer oder mehreren Ausführungsformen des Verfahrens 1200 ein erstes Material, das dem Materialeigenschaftssatz entspricht, und ein zweites Material ab. Beinhalten kann das Verfahren 1200 des Weiteren ein unter Nutzung des neuronalen Netzwerkes erfolgendes Vorhersagen des Materialeigenschaftssatzes entsprechend dem ersten Material und eines zweiten Materialeigenschaftssatzes entsprechend dem zweiten Material; ein Ersetzen des Materialeigenschaftssatzes durch den Zielmaterialeigenschaftssatz; ein Ersetzen des zweiten Materialeigenschaftssatzes durch einen zweiten Zielmaterialeigenschaftssatz; und ein Nutzen der Erstellungsschicht des neuronalen Netzwerkes zur Erzeugung des modifizierten Digitalbildes auf Grundlage des Zielmaterialeigenschaftssatzes, des zweiten Zielmaterialeigenschaftssatzes, der Zieloberflächenorientierungsabbildung und der Zielbeleuchtungsabbildung.
Ausführungsformen der vorliegenden Offenbarung können einen Spezialzweck- oder einen Allzweckcomputer umfassen oder nutzen, der Computerhardware, so beispielsweise einen oder mehrere Prozessoren und einen Systemspeicher, was nachstehend noch detaillierter beschrieben wird, beinhaltet. Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung beinhalten zudem physische und andere computerlesbare Medien zum Vorhalten oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen. Insbesondere können einer oder mehrere der hier beschriebenen Prozesse wenigstens teilweise als Anweisungen implementiert sein, die auf einem nichttemporären computerlesbaren Medien verkörpert sind und durch eine oder mehrere Rechenvorrichtungen (beispielsweise eine beliebige Mediencontentzugriffsvorrichtungen der vorliegenden Beschreibung) ausführbar sind. Im Allgemeinen empfängt ein Prozessor (beispielsweise ein Mikroprozessor) Anweisungen von einem nichttemporären computerlesbaren Medium (beispielsweise einem Speicher und dergleichen) und führt diese Anweisungen aus, wodurch ein oder mehrere Prozesse, darunter einer oder mehrere der hier beschriebenen Prozesse, ausgeführt werden.
Computerlesbare Medien können beliebige verfügbare Medien sein, auf die von einem Allzweck- oder Spezialzweckcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerlesbare Anweisungen speichern, sind nichttemporäre computerlesbare Speichermedien (Vorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen vorhalten, sind Übertragungsmedien. Beispiels- und nicht beschränkungshalber können Ausführungsformen der Offenbarung wenigstens zwei eindeutig verschiedene Arten von computerlesbaren Medien umfassen, nämlich nichttemporäre computerlesbare Speichermedien (Vorrichtungen) und Übertragungsmedien.
Nichttemporäre computerlesbare Speichermedien (Vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, SSD (Solid-State-Laufwerke) (beispielsweise auf Grundlage eines RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Arten von Speicher, andere optische Plattenspeicher, magnetische Plattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das zum Speichern von gewünschten Programmcodemitteln in Form computerausführbarer Anweisungen oder Datenstrukturen verwendet werden kann und auf das von einem Allzweck- oder Spezialzweckcomputer zugegriffen werden kann.
Des Weiteren können beim Verwirklichen verschiedener Computersystemkomponenten Programmcodemittel in Form computerausführbarer Anweisungen oder Datenstrukturen automatisch von Übertragungsmedien auf nichttemporäre computerlesbare Speichermedien (Vorrichtungen) (oder umgekehrt) übertragen werden. Computerausführbare Anweisungen oder Datenstrukturen, die über ein Netzwerk oder einen Datenlink empfangen werden, können beispielsweise in einem RAM innerhalb eines Netzwerkschnittstellenmoduls (beispielsweise einem „NIC“) gepuffert werden und sodann gegebenenfalls an einen Computersystem-RAM und/oder an weniger flüchtige Computerspeichermedien (Vorrichtungen) in dem Computersystem übertragen werden. Es sollte daher einsichtig sein, dass nichttemporäre computerlesbare Speichermedien (Vorrichtungen) in Computersystemkomponenten, die zusätzlich (oder sogar hauptsächlich) Übertragungsmedien nutzen, beinhaltet sein können.
Computerausführbare Anweisungen umfassen beispielsweise Anweisungen und Daten, die bei Ausführung auf einem Prozessor veranlassen, dass ein Allzweckcomputer, ein Spezialzweckcomputer oder eine Spezialzweckverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen wahrnehmen. Bei einigen Ausführungsformen werden computerausführbare Anweisungen auf einem Allzweckcomputer ausgeführt, wodurch der Allzweckcomputer in einen Spezialzweckcomputer, der Elemente der Offenbarung implementiert, umgewandelt wird. Die computerausführbaren Anweisungen können beispielsweise Binärdateien bzw. Binärdaten (binaries), Anweisungen in einem Zwischenformat, so beispielsweise Assemblersprache, oder sogar Sourcecode sein. Obwohl der Erfindungsgegenstand in einer Sprache beschrieben worden ist, die für Strukturmerkmale und/oder methodische Vorgänge spezifisch ist, sollte einsichtig sein, dass der in den beigefügten Ansprüchen definierte Erfindungsgegenstand nicht notwendigerweise auf die vorbeschriebenen Merkmale oder Vorgänge beschränkt ist. Vielmehr sind die beschriebenen Merkmale und Vorgänge als exemplarische Formen der Implementierung der Ansprüche offenbart.
Einem Fachmann auf dem einschlägigen Gebiet erschließt sich, dass die Offenbarung in Netzwerkrechenumgebungen mit vielen Typen von Computersystemkonfigurationen praktisch umgesetzt werden kann, darunter PCs, Desktopcomputer, Laptopcomputer, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorensysteme, mikroprozessorbasierte oder programmierbare Geräte der Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframecomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches bzw. Schalter und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen praktisch umgesetzt werden, in denen sowohl lokale wie auch entfernt angeordnete (remote) Computersysteme, die (entweder durch drahtgebundene Datenlinks, drahtlose Datenlinks oder durch eine Kombination aus drahtgebundenen und drahtlosen Datenlinks) durch ein Netzwerk gekoppelt sind, Aufgaben ausführen. In einer verteilten Systemumgebung können Programmmodule sowohl in lokalen wie auch in entfernt angeordneten (remote) Speicherablagevorrichtungen befindlich sein.
Ausführungsformen der vorliegenden Offenbarung können auch in Cloudrechenumgebungen implementiert sein. In der vorliegenden Beschreibung ist „Cloud Computing“ als Modell definiert, das einen bei Bedarf erfolgenden Netzwerkzugriff auf einen gemeinsam genutzten Vorrat (shared pool) von konfigurierbaren Rechenressourcen ermöglicht. Cloud Computing kann beispielsweise auf einem Marktplatz (market place) eingesetzt werden, um einen allverfügbaren und bequemen bei Bedarf erfolgenden Zugriff auf den gemeinsamen Vorrat von konfigurierbaren Rechenressourcen anzubieten. Der gemeinsame Vorrat von konfigurierbaren Rechenressourcen kann über eine Virtualisierung schnell bereitgestellt werden und unter geringem Verwaltungsaufwand oder mit wenigen Eingriffen eines Service-Providers angeboten und sodann entsprechend angepasst werden.
Ein Cloud-Rechenmodell kann verschiedene Eigenschaften umfassen, so beispielsweise On-Demand Self Service, Broad Network Access, Resource Pooling, Rapid Elasticity, Measured Service und dergleichen mehr. Ein Cloud-Rechenmodell kann zudem verschiedene Servicemodelle einsetzen, darunter beispielsweise Software as a Service („SaaS“), Platform as a Service („PaaS“) und Infrastructure as a Service („IaaS“). Ein Cloud-Rechenmodell kann zudem unter Verwendung von verschiedenen Einsatzmodellen eingesetzt werden, so beispielsweise Private Cloud, Community Cloud, Public Cloud, Hybrid Cloud und dergleichen mehr. In der vorliegenden Beschreibung und in den Ansprüchen ist eine „Cloud-Rechenumgebung“ eine Umgebung, in der Cloud Computing eingesetzt wird.
13 zeigt in Form eines Blockdiagramms eine exemplarische Rechenvorrichtung 1300, die dafür konfiguriert sein kann, einen oder mehrere der vorbeschriebenen Prozesse durchzuführen. Es sollte einsichtig sein, dass das Digitalneuronalnetzwerkerstellungssystem 800 Implementierungen der Rechenvorrichtung 1300 umfassen kann. Wie in 13 dargestellt ist, kann die Rechenvorrichtung einen Prozessor 1302, einen Speicher 1304, eine Ablagevorrichtung 1306, eine I/O-Schnittstelle 1308 und eine Kommunikationsschnittstelle 1310 umfassen. Bei bestimmten Ausführungsformen kann die Rechenvorrichtung 1300 weniger oder mehr Komponenten als in 13 beinhalten. Die Komponenten der Rechenvorrichtung 1300, die in 13 gezeigt sind, werden nachstehend eingehender beschrieben.
Bei bestimmten Ausführungsformen beinhaltet/beinhalten der Prozessor / die Prozessoren 1302 Hardware zum Ausführen von Anweisungen, so beispielsweise solche, die ein Computerprogramm bilden. Beispiels- und nicht beschränkungshalber kann/können der Prozessor / die Prozessoren 1302 zur Ausführung von Anweisungen die Anweisungen aus einem internen Register, einem internen Cache, dem Speicher 1304 und der Ablagevorrichtung 1306 abrufen (oder holen) und diese decodieren und ausführen.
Die Rechenvorrichtung 1300 beinhaltet den Speicher 1304, der mit dem Prozessor / den Prozessoren 1302 gekoppelt ist. Der Speicher 1304 kann beispielsweise zum Speichern von Daten, Metadaten und Programmen zur Ausführung durch den Prozessor / die Prozessoren verwendet werden. Der Speicher 1304 kann einen oder mehrere flüchtige und nichtflüchtige Speicher beinhalten, so beispielsweise einen Speicher mit wahlfreiem Zugriff („RAM“), einen Nur-Lese-Speicher („ROM“), ein Solid-State-Laufwerk („SSD“), einen Flash, einen Phasenänderungsspeicher („PCM“) oder andere Typen von Datenspeichern. Der Speicher 1304 kann ein interner oder verteilter Speicher sein.
Die Rechenvorrichtung 1300 beinhaltet eine Ablagevorrichtung 1306 mit einem Speicher, der Daten oder Anweisungen speichert. Beispiels- und nicht beschränkungshalber kann die Ablagevorrichtung 1306 ein nichttemporäres Speichermedium, wie es vorstehend beschrieben worden ist, umfassen. Die Ablagevorrichtung 1306 kann ein Festplattenlaufwerk (HDD), einen Flash-Speicher, ein USB-Laufwerk (Universal Serial Bus USB) oder eine Kombination aus diesen oder anderen Speichervorrichtungen beinhalten.
Die Rechenvorrichtung 1300 beinhaltet zudem eine oder mehrere Eingabe- oder Ausgabevorrichtungen/Schnittstellen („I/O“), die dafür vorgesehen sind, dass ein Nutzer eine Eingabe für die Rechenvorrichtung 1300 (so beispielsweise Nutzerstriche) bereitstellt, eine Ausgabe von dieser empfängt oder auf andere Weise Daten an die Rechenvorrichtung oder von dieser übertragen kann. Die I/O-Vorrichtungen/Schnittstellen 1308 können eine Maus, ein Keypad bzw. Tastenfeld oder eine Tastatur, einen berührungsempfindlichen Bildschirm, eine Kamera, einen optischen Scanner, eine Netzwerkschnittstelle, ein Modem, andere bekannte I/O-Vorrichtungen oder eine Kombination aus den I/O-Vorrichtungen/Schnittstellen 1308 beinhalten. Der berührungsempfindliche Bildschirm kann mit einem Stift oder Finger aktiviert werden.
Die I/O-Vorrichtungen/Schnittstellen 1308 können eine oder mehrere Vorrichtungen beinhalten, die einem Nutzer eine Ausgabe präsentieren, darunter unter anderem eine Grafikengine, eine Anzeige (beispielsweise einen Anzeigebildschirm), einen oder mehrere Ausgabetreiber (beispielsweise Anzeigetreiber), einen oder mehrere Audiolautsprecher und einen oder mehrere Audiotreiber. Bei bestimmten Ausführungsformen sind die Vorrichtungen/Schnittstellen 1308 dafür konfiguriert, grafische Daten für eine Anzeige zur Präsentation für einen Nutzer bereitzustellen. Die grafischen Daten können eine oder mehrere grafische Nutzerschnittstellen und/oder einen beliebigen anderen grafischen Content, so er bei einer bestimmten Implementierung dienlich ist, darstellen.
Die Rechenvorrichtung 1300 kann des Weiteren eine Kommunikationsschnittstelle 1310 beinhalten. Die Kommunikationsschnittstelle 1310 kann Hardware, Software oder beides beinhalten. Die Kommunikationsschnittstelle 1310 kann eine oder mehrere Schnittstellen zur Kommunikation (so beispielsweise für eine paketbasierte Kommunikation) zwischen der Rechenvorrichtung und einer oder mehreren anderen Rechenvorrichtungen 1300 oder einem oder mehreren Netzwerken bereitstellen. Beispiels- und nicht beschränkungshalber kann die Kommunikationsschnittstelle 1310 einen Netzwerkschnittstellencontroller (NIC) oder einen Netzwerkadapter für die Kommunikation mit einem Ethernet oder einem anderen drahtgebundenen Netzwerk oder einen drahtlosen NIC (WNIC) und einen Drahtlosadapter für die Kommunikation mit einem Drahtlosnetzwerk, so beispielsweise WI-FI, beinhalten. Die Rechenvorrichtung 1300 kann des Weiteren einen Bus 1312 beinhalten. Der Bus 1312 kann Hardware, Software oder beides umfassen, wodurch Komponenten der Rechenvorrichtung 1300 miteinander gekoppelt werden.
In der vorstehenden Beschreibung ist die Erfindung anhand spezifischer exemplarischer Ausführungsformen beschrieben worden. Verschiedene Ausführungsformen und Aspekte der Erfindung/Erfindungen sind anhand der hier vorgestellten Details beschrieben worden, wobei die begleitende Zeichnung die verschiedenen Ausführungsformen erläutert. Die obige Beschreibung und die Zeichnung sind für die Erfindung erläuternd und sollen nicht als erfindungsbeschränkend gedeutet werden. Es sind zahlreiche spezifische Details beschrieben worden, um ein eingehendes Verständnis der verschiedenen Ausführungsformen der vorliegenden Erfindung bereitzustellen.
Die vorliegende Erfindung kann auch in anderen spezifischen Formen verkörpert sein, ohne vom Wesen oder den wesentlichen Eigenschaften derselben abzugehen. Die beschriebenen Ausführungsformen sollen in jeder Hinsicht lediglich als erläuternd und nicht als beschränkend verstanden werden. Die hier beschriebenen Verfahren können beispielsweise mit weniger oder mehr Schritten/Vorgängen durchgeführt werden, oder es können die Schritte/Vorgänge in anderen Reihenfolgen durchgeführt werden. Zusätzlich können die hier beschriebenen Schritte/Vorgänge auch wiederholt werden oder parallel zueinander oder parallel zu anderen Instanzen derselben oder ähnlicher Schritte/Vorgänge durchgeführt werden. Der Umfang der Erfindung ist daher durch die beigefügten Ansprüche und nicht durch die vorstehende Beschreibung umrissen. Alle Änderungen, die der Bedeutung und dem Äquivalenzbereich der Ansprüche entsprechen, sollen in diesem Umfang umfasst sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Radiometry, Geometrical Considerations and Nomenclature for Reflectance‟ von F.E. Nicodemus, J.C. Richmond, J.J. Hsia, I.W. Ginsberg und T. Limperis X, 94-145 [0051]
Jones and Bartlett Publishers, Inc. 1992 [0051]
„Directional Statistics BRDF Model‟ von K. Nishino, 2009 IEEE 12th International Conference on Computer Vision, 476-483 (IEEE 2009) [0053]
„Predicting Depth, Surface Normals and Semantic Labels With a Common Multi-Scale Convolutional Architecture‟ von D. Eigen und R. Fergus, IEEE ICCV, 2650-2658 (2015) [0085]
„Perceptual Losses for Real-Time Style Transfer and Super-Resolution‟ von J. Johnson, A. Alahi und L. Fei-Fei, IEEE ECCV (2016) [0106]
„Reflectance and Natural Illumination From a Single Image‟ von S. Lombardi und K. Nishino, IEEE ECCV, 582-595 (2012) [0127]

Claims

System zum Erzeugen von modifizierten Digitalbildern aus Eingabedigitalbildern, umfassend: einen oder mehrere Speicher, die umfassen: ein neuronales Netzwerk, das eine Rendering- bzw. Erstellungsschicht umfasst, die dafür trainiert ist, synthetisierte Digitalbilder aus Eingabedigitalbildern, die diffuse Materialien abbilden, und Eingabedigitalbildern, die spiegelnde Materialien abbilden, zu erzeugen; und ein Eingabedigitalbild; und wenigstens eine Rechenvorrichtung, auf der Anweisungen gespeichert sind, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System veranlassen zum: unter Nutzung des neuronalen Netzwerkes erfolgenden Vorhersagen von wenigstens zweien von einem Materialeigenschaftssatz, einer Oberflächenorientierungsabbildung oder einer Beleuchtungsumgebungsabbildung auf Grundlage des Eingabedigitalbildes; Ersetzen von wenigstens einem von dem Materialeigenschaftssatz, der Oberflächenorientierungsabbildung oder der Beleuchtungsumgebungsabbildung durch einen Zielmaterialeigenschaftssatz, eine Zieloberflächenorientierungsabbildung oder eine Zielbeleuchtungsabbildung; und Nutzen der Rendering- bzw. Erstellungsschicht des neuronalen Netzwerkes zum Erzeugen eines modifizierten Digitalbildes aus dem Eingabebild auf Grundlage von wenigstens einem von dem Zielmaterialeigenschaftssatz, der Zieloberflächenorientierungsabbildung oder der Zielbeleuchtungsabbildung.
System nach Anspruch 1, des Weiteren umfassend Anweisungen, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System veranlassen zum: Vorhersagen der Oberflächenorientierungsabbildung, der Beleuchtungsumgebungsabbildung und des Materialeigenschaftssatzes auf Grundlage des Eingabedigitalbildes; Ersetzen des Materialeigenschaftssatzes durch den Zielmaterialeigenschaftssatz; und Nutzen der Erstellungsschicht des neuronalen Netzwerkes zum Erzeugen der modifizierten Digitaleigenschaft auf Grundlage der Zielmaterialeigenschaft, der Oberflächenorientierungsabbildung und der Beleuchtungsumgebungsabbildung.
System nach Anspruch 1 oder 2, wobei das Eingabedigitalbild ein erstes Material, das dem Materialeigenschaftssatz entspricht, abbildet und ein zweites Material abbildet, und des Weiteren umfassend Anweisungen, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System des Weiteren veranlassen zum: unter Nutzung des neuronalen Netzwerkes erfolgenden Vorhersagen des Materialeigenschaftssatzes, der dem ersten Material entspricht, und eines zweiten Materialeigenschaftssatzes, der dem zweiten Material entspricht; Ersetzen des Materialeigenschaftssatzes durch den Zielmaterialeigenschaftssatz; Ersetzen des zweiten Materialeigenschaftssatzes durch einen zweiten Zielmaterialeigenschaftssatz; und Nutzen der Erstellungsschicht des neuronalen Netzwerkes zum Erzeugen des modifizierten Digitalbildes auf Grundlage des Zielmaterialeigenschaftssatzes, des zweiten Zielmaterialeigenschaftssatzes, der Zieloberflächenorientierungsabbildung und der Zielbeleuchtungsabbildung.
System nach einem der vorhergehenden Ansprüche, des Weiteren umfassend Anweisungen, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System veranlassen zum: unter Nutzung des neuronalen Netzwerkes erfolgenden Vorhersagen des Materialeigenschaftssatzes auf Grundlage einer parametrischen Darstellung, die in Bezug auf Eingangslichtrichtungen, Ausgangslichtrichtungen und Materialeigenschaften differenzierbar ist.
System nach einem der vorhergehenden Ansprüche, des Weiteren umfassend Anweisungen, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System veranlassen, zum: unter Nutzung des neuronalen Netzwerkes erfolgenden Vorhersagen der Materialoberflächenorientierungsabbildung, wobei die Oberflächenorientierungsabbildung ein RGB-Digitalbild umfasst, das mehrere Pixel mit RBG aufweist, wobei der RBG-Wert eines jeden Pixels der mehreren Pixel die x-, y- und z-Dimensionen der Oberflächenorientierung eines jeden Pixels des in dem Digitalbild abgebildeten Objektes codiert.
System nach einem der vorhergehenden Ansprüche, des Weiteren umfassend Anweisungen, die bei Ausführung durch die wenigstens eine Rechenvorrichtung das System veranlassen zum: Erzeugen des modifizierten Digitalbildes derart, dass das modifizierte Digitalbild ein spiegelndes Material abbildet.
Computerimplementiertes Verfahren zum Modifizieren von Digitalbildern in einer Digitalmedienumgebung zur computerbasierten Bearbeitung von Digitalbildern, umfassend: Empfangen eines Eingabedigitalbildes, das ein Objekt innerhalb einer Beleuchtungsumgebung abbildet, wobei das Objekt eine Oberfläche eines Materials umfasst und wobei die Oberfläche eine Oberflächennormalenrichtung aufweist; Empfangen einer Aufforderung zum Modifizieren einer intrinsischen Eigenschaft des Eingabedigitalbildes, wobei die intrinsische Eigenschaft wenigstens eines von dem Material, der Oberflächennormalenrichtung oder der Beleuchtungsumgebung umfasst; und einen Schritt zum Rendern bzw. Erstellen eines modifizierten Digitalbildes, das das eingegebene Digitalbild mit der modifizierten Eigenschaft wiedergibt bzw. reflektiert, unter Nutzung eines neuronalen Netzwerkes mit einer Rendering- bzw. Erstellungsschicht, das darauf trainiert ist, Zieldigitalbilder, die diffuse und spiegelnde Materialien abbilden, zu erzeugen.
Verfahren nach Anspruch 7, wobei die Aufforderung zum Modifizieren der Eigenschaft umfasst: eine Aufforderung zum Ändern der Beleuchtungsumgebung in eine zweite Beleuchtungsumgebung, wobei das modifizierte Digitalbild ein modifiziertes Objekt abbildet, das die zweite Beleuchtungsumgebung wiedergibt bzw. reflektiert.
Verfahren nach Anspruch 7 oder 8, wobei die Aufforderung zum Modifizieren der Eigenschaft umfasst: eine Aufforderung zum Ändern des Materials in ein zweites Material, wobei das modifizierte Digitalbild ein modifiziertes Objekt abbildet, das das zweite Material wiedergibt bzw. reflektiert.
Verfahren nach einem der Ansprüche 7 bis 9, wobei die Aufforderung zum Modifizieren der Eigenschaft umfasst: eine Aufforderung zum Ändern der Oberflächennormalenrichtung durch Ersetzen des Objektes durch ein zweites Objekt, das eine zweite Oberfläche eines zweiten Materials mit einer zweiten Normalenrichtung umfasst, wobei das modifizierte Digitalbild die zweite Normalenrichtung des zweiten Objektes mit dem Material des Objektes in der Beleuchtungsumgebung des Eingabedigitalbildes abbildet.
Verfahren nach einem der Ansprüche 7 bis 10, wobei das Empfangen der Aufforderung zum Modifizieren der Eigenschaft umfasst: Empfangen einer Nutzereingabe eines zweiten Digitalbildes, das die modifizierte Eigenschaft umfasst.
Verfahren nach einem der Ansprüche 7 bis 11, wobei das modifizierte Digitalbild ein spiegelndes Material abbildet.
Verfahren nach einem der Ansprüche 7 bis 12, wobei das Material des Eingabedigitalbildes ein spiegelndes Material abbildet.
Computerimplementiertes Verfahren zum Erzeugen eines trainierten neuronalen Netzwerkes zum Rendern bzw. Erstellen von modifizierten Digitalbildern in einer Digitalmedienumgebung zur computerbasierten Bearbeitung von Digitalbildern, umfassend: Bereitstellen eines Trainingseingabebildes für ein neuronales Netzwerk, wobei das Trainingseingabebild einem Trainingsmaterialeigenschaftssatz, einer Trainingsoberflächenorientierungsabbildung und einer Trainingsbeleuchtungsumgebungsabbildung entspricht; mittels des neuronalen Netzwerkes erfolgendes Vorhersagen eines Materialeigenschaftssatzes, einer Oberflächenorientierungsabbildung und einer Beleuchtungsumgebungsabbildung auf Grundlage des Trainingseingabebildes; mittels einer Rendering- bzw. Erstellungsschicht des neuronalen Netzwerkes erfolgendes Erzeugen eines synthetisierten Trainingsbildes auf Grundlage des Materialeigenschaftssatzes, der Oberflächenorientierungsabbildung und der Beleuchtungsumgebungsabbildung; Bestimmen eines Verlustmaßes durch Vergleichen des synthetisierten Trainingsbildes, des Trainingseingabebildes, des Trainingsmaterialeigenschaftssatzes, des vorhergesagten Materialeigenschaftssatzes, der Trainingsoberflächenorientierungsabbildung und der vorhergesagten Oberflächenorientierungsabbildung; und Trainieren des neuronalen Netzwerkes unter Nutzung des bestimmten Verlustmaßes zum Erzeugen eines modifizierten Digitalbildes aus einem Eingabedigitalbild.
Verfahren nach Anspruch 14, des Weiteren umfassend: Zugreifen auf ein Trainingszielbild und eine Trainingszieleigenschaft, wobei das Trainingszielbild das Trainingseingabebild umfasst, das derart modifiziert ist, dass es die Trainingszieleigenschaft abbildet; Bereitstellen der Trainingszieleigenschaft für das neuronale Netzwerk; und mittels der Erstellungsschicht des neuronalen Netzwerkes erfolgendes Erzeugen eines synthetisierten Zielbildes auf Grundlage der Trainingszieleigenschaft und von wenigstens zweien von dem vorhergesagten Materialeigenschaftssatz, der vorhergesagten Oberflächenorientierungsabbildung und der vorhergesagten Beleuchtungsumgebungsabbildung.
Verfahren nach Anspruch 15, wobei das Bestimmen des Verlustmaßes des Weiteren umfasst: Vergleichen des Trainingszielbildes und des synthetisierten Zielbildes.
Verfahren nach Anspruch 15 oder 16, wobei die Trainingszieleigenschaft wenigstens eines von einem Zielmaterialeigenschaftssatz, der von dem Trainingsmaterialeigenschaftssatz verschieden ist, einer Zieltrainingsoberflächenorientierungsabbildung, die von der Oberflächenorientierungsabbildung verschieden ist, oder einer Zielbeleuchtungsumgebungsabbildung, die von der Trainingsbeleuchtungsumgebungsabbildung verschieden ist, umfasst.
Verfahren nach einem der Ansprüche 15 bis 17, wobei das Vorhersagen des Materialeigenschaftssatzes auf Grundlage des Trainingseingabebildes umfasst: Nutzen einer parametrischen Darstellung, die in Bezug auf Eingangslichtrichtungen, Ausgangslichtrichtungen und Materialeigenschaften differenzierbar ist.
Verfahren nach Anspruch 18, wobei die parametrische Darstellung eine Linearkombination einer Datenbank von bidirektionalen Reflexionsstärkeverteilungsfunktionen bzw. bidirektionalen Reflektanzverteilungsfunktionen umfasst, die bidirektionale Reflexionsstärkeverteilungsfunktionen bzw. bidirektionalen Reflektanzverteilungsfunktionen, die mehreren Materialien entsprechen, umfasst.
Verfahren nach einem der Ansprüche 15 bis 19, wobei die Beleuchtungsumgebungsabbildung ein sphärisches Panoramadigitalbild umfasst, das mehrere Pixel umfasst, und wobei die Position eines jeden Pixels in den mehreren Pixeln des sphärischen Panoramadigitalbildes eine Eingangslichtrichtung wiedergibt bzw. reflektiert, die Lichtstrahlen entspricht, die in dem Eingabedigitalbild abgebildet sind.