DE102016011998A1

DE102016011998A1 - Stilübertragung für Kopfbildporträts

Info

Publication number: DE102016011998A1
Application number: DE102016011998.5A
Authority: DE
Inventors: Ronen Barzel; Sylvain Paris; Robert Bailey; Ian Sachs
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2015-11-19
Filing date: 2016-10-06
Publication date: 2017-05-24
Also published as: CN106780293B; AU2016225946A1; AU2016225946B2; GB2544596B; GB2544596A; CN106780293A; GB201615811D0; US9576351B1

Abstract

Es werden Techniken zum automatischen Übertragen eines Stils von wenigstens zwei Referenzbildern auf ein Eingabebild offenbart. Die resultierende Umwandlung des Eingabebildes wird mit den optischen Stilen der Referenzbilder abgeglichen, ohne die Identität des Objektes des Eingabebildes zu ändern. Jedes Bild wird in Detailniveaus mit entsprechenden Energieniveaus und einem Rest zerlegt. Ein Stilübertragungsvorgang wird bei jedem Energieniveau und Rest unter Verwendung des Referenzbildes mit dem besten Abgleich mit dem Eingabebild bei jedem Energieniveau durchgeführt. Die Umwandlungen eines jeden Detailniveaus und des Restes des Eingabebildes werden zusammengeführt, um ein Ausgabebild mit den Stilen der Referenzbilder zu erzeugen. In einigen Fällen werden die Umwandlungen im Vordergrund des Eingabebildes durchgeführt, und es kann der Hintergrund in einem Ausmaß umgewandelt werden, das proportional zu den zusammengeführten Umwandlungen des Vordergrundes ist.

Description

Gebiet der Offenbarung
Die vorliegende Offenbarung betrifft allgemein das Gebiet der Digitalbildverarbeitung und insbesondere Techniken zum automatischen Übertragen eines Stils wenigstens eines Bildes, so beispielsweise eines Kopfbildporträts, auf ein weiteres Bild.
Hintergrund
Kopfbildporträts sind ein beliebter Gegenstand der Fotografie. Professionelle Fotografen wenden viel Zeit und Mühe auf, um Kopfbildfotos zu bearbeiten und einen überzeugenden Stil zu verwirklichen. Verschiedene Stile legen verschieden Stimmungen offen. So kann beispielsweise ein starke Kontraste aufweisendes Schwarz-Weiß-Porträt Würde verleihen, während ein helles und farbiges Porträt eine beschwingte Atmosphäre vermitteln kann. Der Bearbeitungsprozess zur Erstellung derartiger Wiedergaben erfordert jedoch fortgeschrittene Kenntnisse, da Merkmale wie Augen, Augenbrauen, Haut, Mund und Haar jeweils einer besonderen Behandlung bedürfen. In vielen Fällen beinhaltet das Bearbeiten eines Bildes dafür, ein überzeugendes Ergebnis zu verwirklichen, das Erhalten einer optisch gefälligen Erscheinung, während an dem Ursprungsbild beträchtliche Anpassungen vorgenommen werden. Die Fehlertoleranz ist jedoch niedrig, da auch kleine Anpassungen an einer Fotografie zu unerwünschten Ergebnissen führen können. Daher werden fortgeschrittene Bearbeitungsfähigkeiten über die Fähigkeiten der meisten Gelegenheitsfotografen hinausgehend benötigt, um derartige Wiedergaben herzustellen.
Kurzbeschreibung der Zeichnung
1 zeigt ein exemplarisches System zum automatischen Übertragen eines Porträtstils eines Satzes aus einem oder mehreren Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung.
2 zeigt ein Beispiel für mehrere Bilder und Zerlegungen eines jeden Bildes bei verschiedenen Energieniveaus wie auch den Prozess des Auffindens von Abgleichstreffern bei jedem Niveau entsprechend einer Ausführungsform der vorliegenden Offenbarung.
3 ist eine bildliche Darstellung einer exemplarischen methodischen Vorgehensweise beim Abgleichen und Übertragen eines Porträtstils eines Satzes von Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung.
4 ist eine bildliche Darstellung einer exemplarischen methodischen Vorgehensweise beim Übertragen eines Hintergrundbereichsstils eines Satzes von Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung.
5 ist ein Flussdiagramm einer exemplarischen methodischen Vorgehensweise beim Übertragen eines Porträtstils eines Satzes von Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung.
6 ist ein Blockdiagramm zur Darstellung einer exemplarischen Rechenvorrichtung, die dazu verwendet werden kann, eine beliebige der in dieser Offenbarung an verschiedenen Stellen beschriebenen Techniken durchzuführen, entsprechend einer Ausführungsform der vorliegenden Offenbarung.
Detailbeschreibung
Es gibt Fälle, in denen erwünscht ist, das Porträt einer Person derart zu bearbeiten, dass die stilistische Erscheinung des Bildes derjenigen eines Satzes aus einem oder mehreren Referenzbildern, so beispielsweise eines Satzes von professionell hergestellten Bildern, ähnelt, ohne die Identität der Person zu verändern. Die stilistische Erscheinung kann beispielsweise die Beleuchtung, den Kontrast, die Textur bzw. Oberflächenbeschaffenheit, die Farbe sowie Hintergrundeffekte beinhalten, die in verschiedenen Kombinationen dem Porträt einen künstlerischen Touch verleihen. Aus der technischen Perspektive ist das Bearbeiten von Kopfbildern jedoch eine Herausforderung, da Bearbeitungen typischerweise lokal vorgenommen werden. Haar erhält beispielsweise nicht dieselbe Behandlung wie Haut, und es kann auch Haut an verschiedenen Stellen, so beispielsweise der Stirn, den Wangen und dem Kinn, unterschiedlich behandelt werden. Zudem ist die Beleuchtung für die Erscheinung des Gesichts einer Person kritisch. Punktartige Lichtquellen können beispielsweise eine ganz andere Erscheinung als diffuse Lichtquellen erzeugen. Auf ähnliche Weise kann eine Frontalbeleuchtung eine ganz andere Erscheinung als eine Seitenbeleuchtung erzeugen. Bestehende Algorithmen, die das Bearbeiten von generischen Fotografien automatisieren, liefern bei Kopfbildern oftmals schlechte Ergebnisse, da sie Modifikationen an dem Bild global anwenden oder andernfalls die Besonderheiten einer Kopfbildretuschierung ignorieren, während die Auswirkungen auf lokale Änderungen an dem Bild vernachlässigt werden. Des Weiteren versuchen derartige Algorithmen, ein einziges Referenzbild zu verwenden, um den besten Abgleich bereitzustellen, was zu unerwünschten Kompromissen in Fällen führen kann, in denen das einzige Referenzbild nicht in allen Aspekten abgleichstechnisch passt.
Zu diesem Zweck werden entsprechend einer Ausführungsform der vorliegenden Offenbarung Techniken zum automatischen Übertragen eines Stils von wenigstens zwei Bildern, so beispielsweise von zwei oder mehr Referenzbildern, auf ein weiteres Bild, so beispielsweise ein Eingabebild, offenbart. Die Referenzbilder enthalten ein oder mehrere Stilmerkmale, so beispielsweise Beleuchtungs-, Kontrast-, Farb- und Texturmerkmale, die in dem Eingabebild wiedergegeben werden sollen. Geändert werden kann die optische Erscheinung des Eingabebildes allgemein durch Zerlegen des Eingabebildes in mehrere Stufen (scales), Manipulieren der Zerlegung bei jeder Stufe unter Verwendung der Referenzbilder und sodann erfolgendes Rekombinieren der Zerlegungen zur Erzeugung eines Ausgabebildes. Im Detail bedeutet dies, dass das Eingabebild und jedes der Referenzbilder in verschiedene Stufen, die auch als Detailniveaus bekannt sind, durch Filtern eines jeden Bildes mittels einer Reihe von Tiefpassfiltern zerlegt werden. Bei jedem Detailniveau wird die lokale Energie berechnet. Die lokale Energie bezeichnet eine Schätzung dafür, wie viel das Signal lokal bei einer gegebenen Stufe variiert. Die berechneten Energien bei den verschiedenen Detailniveaus werden in der vorliegenden Offenbarung als Energieniveaus bezeichnet. Jedes Energieniveau stellt die optische Erscheinung oder den Stil des Bildes bei dem entsprechenden Detailniveau dar. Feinere Detailniveaus können beispielsweise die Hauttextur erfassen, während gröbere Detailniveaus Beleuchtung und Schatten erfassen können. Das letzte Niveau der Zerlegung ist eine Restkomponente, die Gesamtstilmerkmale, die bei den weiteren Energieniveaus nicht erfasst worden sind, so beispielsweise die Gesamtfarbe und die Gesamtintensität, darstellen. Als Nächstes wird eine Verstärkungsabbildung aus dem Energieniveau des Eingabebildes und dem Energieniveau von einem der Referenzbilder, das abgleichstechnisch am besten zu dem Eingabebild bei jenem Niveau passt, berechnet. Ein Stilübertragungsvorgang verwendet die Verstärkungsabbildung zur Übertragung der Zerlegung des Eingabebildes derart, dass das Energieniveau des Eingabebildes lokal das Energieniveau des Referenzbildes annähert. Auf diese Weise kann ein erstes Referenzbild, das abgleichstechnisch am besten zu dem Eingabebild bei einem Energieniveau passt, zur Übertragung beispielsweise von feinen Details verwendet werden. Auf gleiche Weise kann ein zweites Referenzbild, das abgleichstechnisch am besten zu dem Eingabebild bei einem weiteren Energieniveau passt, zum Übertragen beispielsweise von gröberen Details verwendet werden. Zusätzlich wird die Restkomponente des Eingabebildes beispielsweise unter Verwendung einer Histogrammübertragung oder einer statistischen Übertragung eines Restes eines Referenzbildes, der abgleichstechnisch am besten zum Rest des Eingabebildes passt, umgewandelt. Die umgewandelte Zerlegung bei jedem Detailniveau und der umgewandelte Rest des Eingabebildes werden sodann zusammengeführt und erzeugen ein Ausgabebild, das verschiedene Stilmerkmale der Referenzbilder aufweist.
Man beachte, dass jedes Referenzbild zum Modifizieren eines anderen Aspektes der optischen Erscheinung des Eingabebildes verwendet werden kann. Der Stilübertragungsvorgang wird bei jedem Detailniveau unter Verwendung des abgleichstechnisch am besten passenden Referenzbildes bei dem jeweiligen Energieniveau durchgeführt, um einem weiten Bereich von Erscheinungen, die ein Gesicht aufweist, von der feinkörnigen Hautstruktur zu durch Augen, Lippen und Nase bewirkten größeren Signalvariationen, gerecht zu werden. Die resultierende Umwandlung des Eingabebildes passt abgleichstechnisch zu den verschiedenen optischen Stilen der Referenzbilder, ohne die Identität der Person des Eingabebildes zu ändern. Das umgewandelte Porträt stellt beispielsweise dieselbe Person wie die Eingabe in derselben Pose und mit demselben Ausdruck dar, während die Farbe, die Texturverteilung und die Gesamtbeleuchtung abgleichstechnisch gut zu denjenigen der Referenzporträts passen. Auf diese Weise kann das resultierende Ausgabebild die am besten passenden Abgleichsmerkmale der mehreren Referenzbilder beinhalten. In einigen Fällen werden die vorbeschriebenen Umwandlungen am Vordergrundbereich des Eingabebildes durchgeführt, das typischerweise die Person des Porträts beinhaltet. In einigen Fällen kann der Hintergrundbereich des Eingabebildes entsprechend einigen Ausführungsformen in einem Ausmaß umgewandelt werden, das proportional zu den zusammengeführten Umwandlungen des Vordergrundbereiches ist.
Ausführungsformen der vorliegenden Offenbarung sind von Techniken zu unterscheiden, die ein einziges Referenzbild zur Übertragung des Stils eines gegebenen Eingabebildes verwenden. Eine Schwierigkeit bei derartigen Techniken mit einem einzigen Referenzbild besteht darin, dass ein gegebenes Referenzbild verschiedene Eigenschaften bei verschiedenen Stufen aufweist, weshalb unwahrscheinlich ist, dass das abgleichstechnisch am besten passende Referenzbild zu allen Eigenschaften des Eingabebildes (beispielsweise Hauttextur, Knochenstruktur, Gesichtshaar, Brille, Haar, Hautton und Beleuchtung) passt. Im Ergebnis erzeugen diese Techniken oftmals inakzeptable Umwandlungen eines Eingabebildes, indem sie versuchen, ein Referenzbild, das bei einigen Aspekten sehr ähnlich, bei einigen weiteren Aspekten jedoch durchaus unähnlich ist, abgleichstechnisch anzupassen. Im Gegensatz zu derartigen Techniken bieten Ausführungsformen der vorliegenden Offenbarung Techniken zum Übertragen der Stile von mehreren verschiedenen Referenzbildern auf das Eingabebild. Die Referenzbilder, die zu einem gegebenen Energieniveau des Eingabebildes abgleichstechnisch am besten passen, werden zum Erzielen verschiedener Stileffekte verwendet. Verschiedene Ausführungsformen der vorliegenden Offenbarung übertragen beispielsweise niederfrequente Beleuchtungseffekte eines Referenzbildes auf das Eingabebild und hochfrequente Textureffekte eines anderen Referenzbildes auf das Eingabebild, und zwar auf Basis dessen, wie gut ein gegebenes Energieniveau des jeweiligen Referenzbildes abgleichstechnisch zu dem entsprechenden Energieniveau des Eingabebildes passt. Da jeder Abgleich zwischen dem Eingabebild und einem der Referenzbilder auf ein bestimmtes Energieniveau beschränkt ist, ist viel wahrscheinlicher, dass ein guter Abgleich für einen bestimmten Stilaspekt gefunden wird, als wenn ein einziges Referenzbild für alle Stilaspekte verwendet wird, wodurch gefälligere Ergebnisse erzeugt werden. Verschiedene Ausführungsformen der vorliegenden Offenbarung unterscheiden sich zudem von Techniken dahingehend, wie die Rest- und Hintergrundabschnitte des Eingabebildes übertragen werden, was nachstehend noch detaillierter beschrieben wird. Zahlreiche Ausgestaltungen und Abwandlungen erschließen sich im Lichte der vorliegenden Offenbarung.
Exemplarisches System
1 zeigt ein exemplarisches System 100 zum automatischen Übertragen eines Stils von wenigstens zwei Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung. Das System 100 beinhaltet eine Rechenvorrichtung 110, die dafür ausgelegt ist, eine Stilübertragungsanwendung 120 auszuführen. Die Stilübertragungsanwendung 120 beinhaltet ein Posenberechnungs- und Bildzerlegungsmodul 122, ein Signaturberechnungsmodul 124 und ein Bildabgleichs- und Stilübertragungsmodul 126. Die Stilübertragungsanwendung 120 ist dafür ausgelegt, Daten zur Darstellung eines Eingabebildes 130 und von zwei oder mehr Referenzbildern 132 zu empfangen und Daten zur Darstellung eines Ausgabebildes 134 zu erzeugen. Das Eingabebild 130, jedes der Referenzbilder 132 und das Ausgabebild 134 können beispielsweise jeweils Bilddaten zur Darstellung eines Kopfbildporträts einer Person mit einem Vordergrundbereich und einem Hintergrundbereich beinhalten, wobei das Gesicht der Person den Vordergrund bildet. Das Eingabebild 130, jedes der Referenzbilder 132 und das Ausgabebild 134 sind alle voneinander verschieden. Das Eingabebild 130 kann beispielsweise ein von einem Anwender aufgenommenes Porträt einer Person beinhalten, während jedes der Referenzbilder 132 Porträts von weiteren Personen beinhalten kann, die von jemand anderem als dem Anwender aufgenommenen oder bearbeitet worden sind, so beispielsweise von einem professionellen Fotografen oder einem Künstler, der das Bild modifiziert hat. Jedes der Referenzbilder 132 kann ein oder mehrere stilistische Merkmale im Zusammenhang mit Beleuchtung, Kontrast, Textur, Farbe, Hintergrund oder weiteren optischen Effekten beinhalten, die das Bild von einem ursprünglichen unretuschierten Zustand ausgehend ändern. Das Ausgabebild 132 kann beispielsweise Daten zur Darstellung des Eingabebildes gemäß Umwandlung durch die aus den Referenzbildern extrahierten stilistischen Merkmale beinhalten, sodass das Ausgabebild dieselbe Person wie das Eingabebild zeigt, jedoch modifiziert ist, um an verschiedenen Stellen wenigstens einige der stilistischen Merkmale der Referenzbilder (beispielsweise einen vergrößerten Kontrast, geänderte Farben, eine schwächere Beleuchtung, glattere Texturen oder Kombinationen von Merkmalen) wiederzugeben.
Bei einigen Ausführungsformen beinhaltet das System 100 ein Datenkommunikationsnetzwerk 160 (beispielsweise das Internet oder ein Intranet) und einen Dateiserver 150, der mit der Rechenvorrichtung 110 über das Netzwerk 160 kommuniziert. Der Dateiserver 150 kann Host einer Datenbank zum Speichern von vorberechneten Referenzbilddaten 152 (beispielsweise Energieniveaus, Reste, kanonische Poseninformation und Signaturvektoren) sein, was nachstehend noch detaillierter beschrieben wird. Bei einigen Ausführungsformen ist die Rechenvorrichtung 110 dafür ausgelegt, die vorberechneten Referenzbilddaten 152 von dem Dateiserver 150 über das Netzwerk 160 abzurufen. Die vorberechneten Referenzbilddaten 152 können anstelle der Referenzbilder 132 oder zusätzlich zu diesen verwendet werden. Bei einigen Ausführungsformen beinhaltet das System 100 einen Server 170, der eine Stilübertragungsanwendung 120 gemäß vorliegender Beschreibung aufweist. Bei derartigen Ausführungsformen kann die Rechenvorrichtung 110 eine Client-Anwender-Schnittstelle beinhalten, die über das Netzwerk 160 mit dem Server 170 verbunden ist, wobei wenigstens ein Teil der Berechnungen auf dem Server 170 (beispielsweise von der Stilübertragungsanwendung 120) durchgeführt werden kann und Bilder und weitere Daten zwischen der Rechenvorrichtung 110 und dem Server 170 hin und herübertragen werden.
2 zeigt ein Beispiel für ein Eingabebild 130, einen Satz von Referenzbildern 132 und verschiedene Energieniveaus der Zerlegung 202 hiervon entsprechend einer Ausführungsform der vorliegenden Offenbarung. Jedes der Referenzbilder 132 kann zu einem Satz von Bildern gehören, die ein oder mehrere bestimmte Stilmerkmale darstellen. Die Referenzbilder 132 in einem derartigen Satz können beispielsweise ähnliche Beleuchtungs-, Kontrast- oder Texturmerkmale aufweisen, obwohl die Bilder verschieden sind. Das Posenberechnungs- und Bildzerlegungsmodul 122 von 1 ist dafür ausgelegt, das Eingabebild 130 und jedes der Referenzbilder 132 in Daten 140 zu zerlegen, die eine mehrstufige Zerlegung der Bilder in mehrere Detailniveaus entsprechend Energieniveaus und einem Rest, wie allgemein mit 202 bezeichnet ist, darstellen. Es sollte einsichtig sein, dass die Bilder in Detailniveaus und entsprechende Energieniveaus beliebiger Anzahl (beispielsweise zwei Niveaus, drei Niveaus, vier Niveaus, fünf Niveaus und so weiter) zerlegt werden können. Wie in 2 gezeigt ist, kann jedes der Bilder beispielsweise unter Verwendung eines zweidimensionalen normierten Gauß'schen Kernels der Standardabweichung σ auf folgende Weise zerlegt werden:
Hierbei bezeichnet L_l[I] die Zerlegungsniveaus des Eingabebildes 130, wobei G eine Gauß'sche Funktion ist, I das Energieniveau (Stufe) darstellt und R[I] den Rest darstellt. Die Energieniveaus können für jedes Niveau der zerlegten Eingabe 130 und der Referenzbilder 132 unabhängig beispielsweise mittels Durchschnittsbildung des Quadrates der Energieniveaukoeffizienten berechnet werden. Dies liefert allgemein eine Schätzung dafür, wie viel das Signal bei jedem Energieniveau lokal variiert. Das Energieniveau eines gegebenen Bildes kann beispielsweise folgendermaßen berechnet werden: S_l[I] = L 2 / l[I] ⊗ G(2^l+1)
Hierbei bezeichnet S_l[I] das Energieniveau beim Niveau I. Diese Gleichungen können zudem zur Berechnung der Zerlegung und der Energieniveaus eines jeden von den Referenzbildern 132 und dem Ausgabebild 134 verwendet werden.
Wie in 1 und 2 gezeigt ist, ist das Signaturberechnungsmodul 124 dafür ausgelegt, kanonische Merkmalsposen des Eingabebildes 130 auf die Referenzbilder 132 so, wie sie von dem Posenberechnungs- und Bildzerlegungsmodul 122 aufgenommen werden, auszurichten und lokale Energiesignaturen 142, die auch als Signaturvektoren bezeichnet werden, für jedes von der ausgerichteten Eingabe 130 und den Referenzbildern 132 zu berechnen. Die Referenzbilder 132, die ein bestimmtes Stilmerkmal definieren, können mit einer vordefinierten kanonischen Merkmalspose verknüpft sein. Jede Merkmalspose stellt den Ort einer Gesichtsbesonderheit, so beispielsweise von Augen, Nase, Mund und Kinn, dar. Die kanonische Merkmalspose kann mittels Durchschnittsbildung der Merkmalspose aller Referenzbilder 132 berechnet werden. Das Signaturberechnungsmodul kann die Besonderheiten eines Bildes mit der kanonischen Pose durch Berechnen eines Bildmorphs ausrichten, das den Ort einer jeden Besonderheit auf den kanonischen Ort abbildet. Das Bildmorph kann bei den Energieniveaus durchgeführt werden, um die Energieniveaus entsprechend auszurichten. Sobald die Besonderheiten ausgerichtet sind, kann ein Signaturvektor für jedes Energieniveau oder den Rest durch Verketten der Daten zu einem einzigen linearen Vektor erstellt werden.
Bei einigen Ausführungsformen können die Daten für die Referenzbilder 132, so beispielsweise die Energieniveaus, Reste, die kanonische Pose und die Signaturvektoren, vorberechnet sein, um einen Datensatz (beispielsweise die vorberechneten Daten 152 von 1) zu erzeugen, der die Charakteristiken eines bestimmten Stils darstellt. Der Datensatz kann beispielsweise lokal in einer Datenbank oder auf einem über ein Netzwerk angeschlossenen Dateiserver (beispielsweise dem Dateiserver 150 von 1) zum anschließenden Abruf gespeichert werden. Auf diese Weise müssen die Referenzbilddaten nicht immer dann berechnet werden, wenn der Datensatz für einen Stilübertragungsvorgang verwendet wird. Bei einigen Ausführungsformen können verschiedene Datensätze zur Darstellung von Referenzbildern mit mehreren verschiedenen Porträtstilen in verschiedenen Kombinationen mit dem Eingabebild 130 verwendet werden, sodass ein Anwender verschiedene mögliche Stile sehen kann.
3 zeigt ein bildliches Beispiel einer methodischen Vorgehensweise beim Abgleichen der Referenzbilder 132 mit dem Vordergrundbereich des Eingabebildes 130 und zum Übertragen des Stils der Referenzbilder auf das Eingabebild, wodurch das Ausgabebild 134 erzeugt wird, entsprechend einer Ausführungsform. Die obere Reihe von 3 zeigt das Eingabebild 130 sowie vier Energieniveaus und den Rest 202 aus der Zerlegung des Eingabebildes. Die nächsten fünf Reihen zeigen Beispiele für den gewünschten Stil, der am besten zu dem Eingabebild 130 bei dem Energieniveau und dem Rest 202 abgleichstechnisch passt. Die untere Reihe zeigt Verstärkungsabbildungen und einen neuen Rest, die bei den Zerlegungsdetailniveaus und dem Rest des Eingabebildes 130 angewendet und zusammengeführt werden, um das Ausgabebild 134 zu erhalten. Das resultierende Ausgabebild 134 weist diejenigen Stilmerkmale auf, die von den jeweiligen Energieniveaus der Referenzbilder 132 übertragen worden sind.
Das Bildabgleichs- und Stilübertragungsmodul 126 von 1 ist dafür ausgelegt, ein oder mehrere Stilmerkmale der Referenzbilder 132 auf das Eingabebild 130 unter Verwendung der Signaturen 142 der ausgerichteten Bilder aus der Erzeugung des Signaturberechnungsmoduls 124 zu übertragen. Obwohl die Signaturen mit Ausrichtung auf die allgemeine Pose der Referenzbilder 132 berechnet und abgleichstechnisch angepasst werden, kann die Stilübertragung durch Ausrichten der Energieniveaus der Referenzbilder 132 auf die Pose der Eingabe 130 unter Erhaltung der Integrität der Eingabe ausgerichtet werden. Das Ergebnis der Übertragung ist das Ausgabebild 134, das das Eingabebild 130 ist, das durch den optischen Stil oder die optischen Stile der Referenzbilder 132 umgewandelt wird, ohne die Identität der Person in dem Eingabebild zu ändern. Mit anderen Worten, das Ausgabebild 134 stellt dieselbe Person wie das Eingabebild 130 in derselben Pose und mit demselben Ausdruck dar, wobei jedoch die Farb- und Texturverteilung sowie die Gesamtbeleuchtung an eines oder mehrere der Referenzbilder 132 abgleichstechnisch angepasst ist.
Wie in 3 gezeigt ist, können die Vorgänge des Bildabgleichs- und Stilübertragungsmoduls 126 bei jedem der Energieniveaus durchgeführt werden, um einem weiten Bereich von Erscheinungen, die ein Gesicht aufweist, von der feinkörnigen Hauttextur zu den von Augen, Lippen und Nase bewirkten größeren Signalvariationen, gerecht zu werden. Des Weiteren kann, wie in 3 gezeigt ist, der Stilübertragungsvorgang verschiedene Referenzbilder 132 bei jedem Energieniveau (beispielsweise Niveau 0, Beispiel für Niveau 0, Niveau 1, Beispiel für Niveau 1 und dergleichen mehr) wie auch für den Rest verwenden. Man beachte, dass in einigen Fällen dasselbe Referenzbild 132 für verschiedene Energieniveaus (beispielsweise sind die Niveau 1 und Niveau 2 zu eigenen Beispiele von 3 beide Zerlegungen desselben Referenzbildes) verwendet werden kann. Der Übertragungsvorgang für ein gegebenes Detailniveau eines gegebenen Bildes (beispielsweise das Eingabebild 130 und die Referenzbilder 132) kann beispielsweise folgendermaßen berechnet werden:
Hierbei ist ε eine kleine Zahl dafür, eine Division durch Null zu vermeiden (beispielsweise 0,01²). Jede Übertragung kann in der Pose des Eingabebildes 130 unabhängig durchgeführt werden, wobei die Energieniveausignaturen der Referenzbilder 132 zur Pose des Eingabebildes 130 gemorpht werden. Eine Maske kann bei dem Eingabebild 130 angewandt werden, um die Übertragungsvorgänge auf die Vordergrundbereiche zu begrenzen, die beispielsweise das Gesicht der Person enthalten, damit der Hintergrundbereich bei dieser Stufe in dem Prozess nicht modifiziert wird.
Für den Rest-L-Kanal (Intensität) kann eine Histogrammübertragung durchgeführt werden. Das Histogramm der Intensitätswerte erfasst die Gesamtbeleuchtung, die Gesamtdunkelheit und den Gesamtkontrast in einem Bild. Das Histogramm des Referenzbildrestes wird berechnet, und es wird ein Histogrammabgleichsalgorithmus bei dem Eingabebildrest eingesetzt, damit das Histogramm des Eingabebildrestes abgleichstechnisch zu dem Histogramm des Referenzbildrestes passt. Der Histogrammabgleich führt in dem Eingabebild dazu, dass die Gesamtbeleuchtung und der Gesamtkontrast hiervon derart angepasst werden, dass sie abgleichstechnisch zu dem Referenzbild passen, wobei der räumliche Ort der hellen Stellen (highlights) und Schatten in dem Eingabebild unberührt bleibt.
Für die Rest-a, b-Kanäle (Farbe) wird eine statistische Übertragung durchgeführt. Das Mittel und die Standardabweichung der a- und b-Kanäle des Referenzbildrestes werden berechnet, und es wird eine lineare affine Umwandlung an den a- und b-Kanälen des Eingabebildrestes durchgeführt, damit die a- und b-Kanäle des Eingabebildrestes dasselbe Mittel und dieselbe Standardabweichung wie die a- und b-Kanäle des Referenzbildrestes aufweisen. Dies führt dazu, dass das Eingabebild dieselbe Durchschnittsfarbe und denselben Durchschnittsbereich der Farbvariation wie das Beispiel aufweist, die räumliche Verteilung der Farben jedoch unberührt bleibt. Es sollte einsichtig sein, dass die an verschiedenen Stellen im Zusammenhang mit den Bildabgleichs- und Stilübertragungsvorgängen beschriebenen Techniken bloße Beispiele sind und dass andere Techniken zum Abgleichen von Bildern und Übertragen der Stilmerkmale verwendet werden können.
4 zeigt ein bildliches Beispiel einer methodischen Vorgehensweise beim Übertragen des Hintergrundbereiches der Referenzbilder 132 auf das Eingabebild 130 entsprechend einer Ausführungsform. Zusammengefasst bedeutet dies, dass für ein gegebenes Eingabebild der Stil eines oder mehrerer Referenzbilder auf den Vordergrundbereich des Ausgabebildes 134 übertragen werden kann, wie vorstehend anhand 1 bis 3 beschrieben worden ist. Für den Hintergrundbereich des Eingabebildes 130 ist das Bildabgleichs- und Stilübertragungsmodul 126 von 1 dafür ausgelegt, den Hintergrundbereich von dem Vordergrundbereich des Eingabebildes 130 zu trennen, die statistische Nettoänderung (das heißt die Änderung bei Mittel und Standardabweichung) zwischen dem Vordergrundbereich des Eingabebildes 130 und dem Vordergrundbereich des Ausgabebildes 134 zu berechnen und eine lineare affine Umwandlung an dem Hintergrundbereich des Eingabebildes 130 derart vorzunehmen, dass sich das Mittel und die Standardabweichung der Hintergrundänderungen um denselben Faktor wie das Mittel und die Standardabweichung des Vordergrundes ändern. Auf diese Weise bleiben die ursprüngliche Hintergrundtextur und das Detail erhalten, wobei jedoch die Gesamtfarbe und Gesamtbeleuchtung dem umgewandelten Vordergrund entsprechen. Bei einigen Ausführungsformen wird dem Anwender die Option geboten, den Hintergrund eines beliebigen der Referenzbilder 132, den ursprünglichen Hintergrund des Eingabebildes 130, den umgewandelten Hintergrund des Ausgabebildes 134, eine feste bzw. konstante (solid) Durchschnittsfarbe von beliebigen hiervon oder eine beliebige Mischung oder eine andere Kombination dieser Optionen zu verwenden.
Exemplarische methodische Vorgehensweise bei der Stilübertragung
5 ist ein Flussdiagramm einer exemplarischen methodischen Vorgehensweise 500 zum Übertragen eines Stils von wenigstens zwei Bildern auf ein weiteres Bild entsprechend einer Ausführungsform der vorliegenden Offenbarung. Verschiedene Aspekte des Verfahrens 500 können beispielsweise in der Rechenvorrichtung 110 von 1 implementiert sein. Das Verfahren 500 beginnt mit einem Empfangen 502 von Eingabedaten zur Darstellung eines Eingabebildes (beispielsweise des Eingabebildes 130 von 1), eines ersten Referenzbildes und eines zweiten Referenzbildes (beispielsweise der Referenzbilder 132 von 1). Es sollte einsichtig sein, dass eine beliebige Anzahl von Referenzbildern empfangen und genutzt werden kann. Die Referenzbilder können beispielsweise einen Satz bilden, der einen bestimmten Stil oder einen Satz von Stilmerkmalen, von denen der Anwender die Übertragung auf das Eingabebild wünscht, darstellt. Das Eingabebild und jedes der Referenzbilder können voneinander verschieden sein, wie vorstehend anhand 2 und 3 beschrieben worden ist. Fortgesetzt wird das Verfahren 500 mit dem Zerlegen 506 eines jeden der Bilder (beispielsweise des Eingabebildes, des ersten Referenzbildes, des zweiten Referenzbildes und beliebiger zusätzlicher Referenzbilder) in wenigstens ein erstes Zerlegungsniveau (Detailniveau), ein zweites Zerlegungsniveau und ein entsprechendes erstes Energieniveau und zweites Energieniveau sowie einen Rest (beispielsweise das Detailniveau, das Energieniveau und die Restdaten 140 von 1). Es sollte einsichtig sein, dass die Bilder in eine beliebige Anzahl von Detailniveaus und Energieniveaus, wie beispielsweise in 2 gezeigt ist, (beispielsweise zwei Niveaus, drei Niveaus, vier Niveaus, fünf Niveaus und so weiter), zerlegt werden können. Bei einigen Ausführungsformen können Daten zur Darstellung der zerlegten Referenzbilder (beispielsweise Energieniveaus, Reste, kanonische Pose und Signaturvektoren) vorberechnet und in einem Datensatz gespeichert werden. Bei derartigen Ausführungsformen kann das Verfahren die vorberechneten Referenzbilddaten anstelle der Berechnung derselben für jedes Eingabebild nutzen.
Bei einigen Ausführungsformen beinhaltet das Verfahren 500 ein Berechnen 508 einer ersten Energiesignatur für das erste Energieniveau des Eingabebildes, des ersten Referenzbildes und des zweiten Referenzbildes wie auch für beliebige zusätzliche Referenzbilder (beispielsweise die Energieniveaudaten 142 von 1). Auf ähnliche Weise können eine zweite Energiesignatur für das zweite Energieniveau, eine dritte Energiesignatur für ein drittes Energieniveau (falls vorhanden) und so weiter für jedes der Energieniveaus in jedem der zerlegten Bilder wie auch für die Reste eines jeden Bildes berechnet werden. Wie vorstehend erwähnt worden ist, können bei einigen Ausführungsformen die Signaturen für die Referenzbilder vorberechnet sein. Das Verfahren 500 kann des Weiteren ein Bestimmen 510 dessen beinhalten, ob die erste Energiesignatur des Eingabebildes ähnlicher zu der ersten Energiesignatur des ersten Referenzbildes im Vergleich zu der ersten Energiesignatur des zweiten Referenzbildes ist, sowie zudem ein Bestimmen dessen, ob die zweite Energiesignatur des Eingabebildes ähnlicher zu der zweiten Energiesignatur des zweiten Referenzbildes im Vergleich zu der zweiten Energiesignatur des ersten Referenzbildes ist, was für jedes der Energieniveaus und jeden der Reste fortgesetzt wird. Auf diese Weise kann dasjenige Referenzbild, das zu dem Eingabebild bei jedem Energieniveau und Rest am ähnlichsten ist, genutzt werden, da verschiedene Referenzbilder ähnlichere Signaturen zu dem Eingabebild bei einigen Energieniveaus als bei anderen Energieniveaus im Vergleich zu weiteren Referenzbildern aufweisen können. Wie beispielsweise in 3 gezeigt ist, kann ein Referenzbild (Niveau 0 Beispiel) am ähnlichsten zu dem Eingabebild bei Niveau 0 sein, während ein weiteres Referenzbild am ähnlichsten zu dem Eingabebild bei Niveaus 1 und 2 (Niveau 1 Beispiel und Niveau 2 Beispiel) sein kann.
Sobald die Signaturähnlichkeiten bestimmt worden sind, wird das Verfahren 500 fortgesetzt durch Umwandeln 512 des ersten Zerlegungsniveaus des Eingabebildes auf Grundlage der ersten Energie bzw. des ersten Energieniveaus des Eingabebildes und des ersten Energieniveaus des ersten Referenzbildes und Umwandeln des zweiten Zerlegungsniveaus des Eingabebildes auf Grundlage des zweiten Energieniveaus des Eingabebildes und des zweiten Energieniveaus des zweiten Referenzbildes. Sind zusätzliche Energieniveaus vorhanden, so ist der Prozess zu einem Umwandeln eines jeden entsprechenden Niveaus des Eingabebildes ähnlich. Bei einigen Ausführungsformen wird jedes Niveau des Eingabebildes unabhängig von einem oder mehreren weiteren Energieniveaus in dem Eingabebild umgewandelt. Bei einigen Ausführungsformen beinhaltet das Umwandeln 512 des Eingabebildes ein Berechnen einer Verstärkungsabbildung für jedes der Energieniveaus des Eingabebildes auf Grundlage der lokalen Signalvariation für die jeweiligen Niveaus, wobei das Umwandeln der Zerlegungsniveaus des Eingabebildes eine Funktion der Verstärkungsabbildung gemäß vorstehender Beschreibung ist. Fortgesetzt wird das Verfahren 500 durch Umwandeln 514 des Restes des Eingabebildes auf Grundlage des Restes eines dritten Referenzbildes, das dasselbe wie das erste und zweite Referenzbild oder auch ein anderes sein kann, und zwar abhängig von den Restsignaturähnlichkeiten. Bei einigen Ausführungsformen beinhaltet das Umwandeln 514 des Eingabebildes ein Umwandeln wenigstens eines Abschnittes des Restes in dem Eingabebild unter Verwendung eines Histogrammabgleichs (beispielsweise für den Intensitätskanal), einer linearen affinen Umwandlung (beispielsweise für die a-, b-Farbkanäle) oder beides.
Fortgesetzt wird das Verfahren 500 durch Erzeugen 516 von Ausgabedaten (beispielsweise des Ausgabebildes 134 von 1) zur Darstellung eines Ausgabebildes durch Zusammenführen des umgewandelten ersten Zerlegungsniveaus des Eingabebildes und des umgewandelten zweiten Zerlegungsniveaus des Ausgabebildes wie auch von beliebigen zusätzlichen Zerlegungsniveaus des Eingabebildes. Bei einigen Ausführungsformen beinhaltet das Verfahren 500 ein Umwandeln 518 eines Hintergrundbereiches des Ausgabebildes durch Trennen eines Vordergrundbereiches des Eingabebildes von dem Hintergrundbereich des Eingabebildes, ein Berechnen eines Mittels und einer Standardabweichung einer Änderung in dem Vordergrundbereich (beispielsweise einer Änderung zwischen dem ursprünglichen Eingabebild und dem umgewandelten Ausgabebild) und ein Umwandeln des Hintergrundbereiches des Ausgabebildes durch das Mittel und die Standardabweichung der Änderung in dem Vordergrundbereich.
Exemplarische Rechenvorrichtung
6 ist ein Blockdiagramm zur Darstellung einer exemplarischen Rechenvorrichtung 1000, die zum Durchführen einer beliebigen der vorstehend in dieser Offenbarung an verschiedenen Stellen beschriebenen Techniken verwendet werden kann. Das System 100 von 1 oder beliebige Abschnitte hiervon sowie die methodischen Vorgehensweisen von 5 oder beliebige Abschnitte hiervon können beispielsweise in der Rechenvorrichtung 1000 implementiert sein. Die Rechenvorrichtung 1000 kann beispielsweise ein beliebiges Computersystem sein, so beispielsweise eine Workstation, ein Desktopcomputer, ein Server, ein Laptop, ein Handcomputer, ein Tabletcomputer (beispielsweise der Tabletcomputer iPad^TM), eine mobile Rechen- oder Kommunikationsvorrichtung (beispielsweise die Mobilkommunikationsvorrichtung iPhone^TM, die Mobilkommunikationsvorrichtung Android^TM und dergleichen) oder eine andere Form von Rechen- oder Telekommunikationsvorrichtung, die zu einer Kommunikation fähig ist und die eine ausreichende Prozessorleistung und Speicherkapazität zur Durchführung der in der vorliegenden Offenbarung beschriebenen Vorgänge aufweist. Ein verteiltes rechentechnisches System, das eine Mehrzahl von derartigen Rechenvorrichtungen umfasst, kann vorgesehen sein.
Die Rechenvorrichtung 1000 beinhaltet eine oder mehrere Speichervorrichtungen 1010 und/oder nichttemporäre computerlesbare Medien 1020, auf denen eine oder mehrere computerlesbare Anweisungen oder Software zum Implementieren von Techniken, die vorstehend in der vorliegenden Offenbarung an verschiedenen Stellen beschrieben worden sind, codiert sind. Die Speichervorrichtungen 1010 können einen Computersystemspeicher oder einen Speicher mit wahlfreiem Zugriff beinhalten, so beispielsweise einen Plattendauerspeicher (der beliebige geeignete optische oder magnetische Dauerspeichervorrichtungen beinhalten kann, so beispielsweise RAM, ROM, Flash, USB-Laufwerk oder ein beliebiges anderes halbleiterbasiertes Speichermedium), ein Festplattenlaufwerk, CD-ROM oder andere computerlesbare Medien, zum Speichern von Daten und computerlesbaren Anweisungen und/oder Software, die verschiedene Ausführungsformen gemäß der Lehre der vorliegenden Offenbarung implementieren. Die Speichervorrichtung 1010 kann auch andere Typen von Speicher oder Kombinationen hieraus beinhalten. Die Speichervorrichtung 1010 kann auf der Rechenvorrichtung 1000 oder auch getrennt oder entfernt von der Rechenvorrichtung 1000 vorgesehen sein. Die nichttemporären computerlesbaren Medien 1020 können unter anderem einen oder mehrere Typen von Hardwarespeicher, nichttemporäre physische Medien (beispielsweise ein oder mehrere magnetische Speicherplatten, ein oder mehrere optische Platten, ein oder mehrere USB-Flash-Drives) und dergleichen mehr beinhalten. Die nichttemporären computerlesbaren Medien 1020, die in der Rechenvorrichtung 1000 beinhaltet sind, können computerlesbare und computerausführbare Anweisungen oder Software zum Implementieren von verschiedenen Ausführungsformen speichern. Die computerlesbaren Medien 1020 können auf der Rechenvorrichtung 1000 oder auch getrennt oder entfernt von der Rechenvorrichtung 1000 vorgesehen sein.
Die Rechenvorrichtung 1000 beinhaltet zudem wenigstens einen Prozessor 1030 zum Ausführen von computerlesbaren und computerausführbaren Anweisungen oder Software, die in der Speichervorrichtung 1010 und/oder den nichttemporären computerlesbaren Medien 1020 und anderen Programmen zur Steuerung bzw. Regelung von Systemhardware gespeichert sind. Eine Virtualisierung kann in der Rechenvorrichtung 1000 derart eingesetzt werden, dass Infrastruktur und Ressourcen in der Rechenvorrichtung 1000 dynamisch gemeinsam genutzt (shared) werden können. Es kann beispielsweise eine virtuelle Maschine vorgesehen sein, um einen Prozess zu bewerkstelligen, der auf mehreren Prozessoren auf eine Art läuft, dass der Prozess dem Anschein nach nur auf einer Ressource und nicht auf mehreren Rechenressourcen läuft. Mehrere virtuelle Maschinen können zudem mit einem Prozessor verwendet werden.
Ein Anwender kann mit der Rechenvorrichtung 1000 durch eine Ausgabevorrichtung 1040 interagieren, so beispielsweise durch einen Schirm oder Monitor, der ein oder mehrere Anwenderschnittstellen anzeigen kann, die entsprechend einigen Ausführungsformen vorgesehen sind. Die Ausgabevorrichtung 1040 kann zudem weitere Aspekte, Elemente und/oder Information oder Daten im Zusammenhang mit einigen Ausführungsformen anzeigen. Die Rechenvorrichtung 1000 kann andere I/O-Vorrichtungen 1050 zum Empfangen einer Eingabe von einem Anwender beinhalten, so beispielsweise eine Tastatur, einen Joystick, einen Gamecontroller, eine Zeigevorrichtung (beispielsweise eine Maus oder einen Anwenderfinger, der direkt mit einer Anzeigevorrichtung eine Schnittstelle bildet) oder eine beliebige andere geeignete Anwenderschnittstelle. Die Rechenvorrichtung 1000 kann andere geeignete herkömmliche I/O-Peripheriegeräte beinhalten. Die Rechenvorrichtung 1000 kann verschiedene geeignete Vorrichtungen zur Durchführung eines oder mehrerer der Aspekte, wie sie in der vorliegenden Offenbarung an verschiedenen Stellen beschrieben worden sind, so beispielsweise Digitalkameras zum Aufnehmen von Digitalbildern und Videoanzeigen zum Anzeigen von Digitalbildern, beinhalten und/oder operativ mit diesen gekoppelt sein.
Die Rechenvorrichtung 100 kann auf einem beliebigen Betriebssystem laufen, so beispielsweise einer beliebigen der Versionen der Betriebssysteme Microsoft^® Windows^®, einer beliebigen der verschiedenen Versionen der Betriebssysteme Unix und Linux, einer beliebigen Version von MacOS^® für Macintosh-Computer, einem beliebigen eingebetteten Betriebssystem, einem Echtzeitbetriebssystem, einem beliebigen Open-Source-Betriebssystem, einem beliebigen proprietären Betriebssystem, beliebigen Betriebssystemen für mobile Rechenvorrichtungen und einem beliebigen anderen Betriebssystem, das dazu in der Lage ist, auf der Rechenvorrichtung 100 zu laufen und die in der vorliegenden Offenbarung beschriebenen Vorgänge durchzuführen. Bei einer Ausführungsform kann das Betriebssystem auf einer oder mehreren Cloud-Maschineninstanzen laufen.
Bei einigen Ausführungsformen können die funktionellen Komponenten/Module mit Hardware implementiert sein, so beispielsweise durch eine Gate-Level-Logik (beispielsweise FPGA) oder einen zweckgebundenen Halbleiter (beispielsweise ASIC). Andere Ausführungsformen können mit einem Mikrocontroller implementiert sein, der eine Anzahl von Eingabe-/Ausgabeports zum Empfangen und Ausgeben von Daten und eine Anzahl von eingebetteten Routinen zum Ausführen der in der vorliegenden Offenbarung beschriebenen Funktionalität implementiert. Allgemeiner gesagt, kann eine beliebige Kombination aus Hardware, Software und Firmware, wie offensichtlich ist, verwendet werden.
Wie im Lichte der vorliegenden Offenbarung ersichtlich ist, können die verschiedenen Module und Komponenten des Systems, so beispielsweise die Stilübertragungsanwendung 120, das Posenberechnungs- und Bildzerlegungsmodul 122, das Signaturberechnungsmodul 124, das Bildabgleichs- und Stilübertragungsmodul 126 oder eine beliebige Kombination hieraus, in Software implementiert sein, so beispielsweise als Satz von Anweisungen (beispielsweise HTML, XML, C, C++, objektorientiertes C, JavaScript, Java, Basic und dergleichen mehr), die auf einem beliebigen computerlesbaren Medium oder Computerprogrammerzeugnis (beispielsweise einer Festplatte, einem Server, einer Diskette bzw. Platte oder einem anderen geeigneten nichttemporären Speicher oder Satz von Speichern) codiert sein können und die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, veranlassen, dass verschiedene methodische Vorgehensweisen, die in der vorliegenden Offenbarung bereitgestellt werden, ausgeführt werden. Es sollte einsichtig sein, dass bei einigen Ausführungsformen verschiedene Funktionen und Datenumwandlungen, die von dem Anwenderrechensystem gemäß Beschreibung in der vorliegenden Offenbarung durchgeführt werden, durch ähnliche Prozessoren und/oder Datenbanken in verschiedenen Ausgestaltungen und Anordnungen durchgeführt werden können, wobei die beschriebenen Ausführungsformen nicht beschränkend gedacht sind. Verschiedene Komponenten der exemplarischen Ausführungsform, darunter die Rechenvorrichtung 1000, können beispielsweise in einem/einer oder mehreren Desktop- oder Laptopcomputern, Workstations, Tablets, Smartphones, Spielekonsolen, Set-Top-Boxen oder anderen derartigen Rechenvorrichtungen integriert sein. Andere Komponententeile und Module, die für ein Rechensystem typisch sind, so beispielsweise Prozessoren (beispielsweise eine zentrale Verarbeitungseinheit und ein Coprozessor, ein Grafikprozessor und dergleichen mehr), Eingabevorrichtungen (beispielsweise eine Tastatur, eine Maus, ein Touchpad bzw. ein berührungsempfindliches Feld, ein Touchscreen bzw. ein berührungsempfindlicher Schirm und dergleichen) und ein Betriebssystem, sind nicht gezeigt, jedoch ohne Weiteres offensichtlich.
Zahlreiche Ausführungsformen erschließen sich im Lichte der vorliegenden Offenbarung, wobei die hier beschriebenen Merkmale in Ausgestaltungen beliebiger Anzahl kombiniert werden können. Eine exemplarische Ausführungsform stellt ein computerimplementiertes Verfahren zum Übertragen eines Stils von wenigstens zwei Bildern auf ein weiteres Bild bereit. Das Verfahren beinhaltet ein durch einen Computerprozessor erfolgendes Empfangen von Eingabedaten zur Darstellung eines Eingabebildes, eines ersten Referenzbildes und eines zweiten Referenzbildes; ein durch den Computerprozessor auf Grundlage der Eingabedaten erfolgendes Zerlegen des Eingabebildes in Daten zur Darstellung eines ersten Detailniveaus und eines zweiten Detailniveaus und eines entsprechenden ersten Energieniveaus und zweiten Energieniveaus; ein durch den Computerprozessor erfolgendes Umwandeln des ersten Detailniveaus des Eingabebildes auf Grundlage eines vorberechneten ersten Energieniveaus des ersten Referenzbildes; ein durch den Computerprozessor erfolgendes Umwandeln des zweiten Detailniveaus des Eingabebildes auf Grundlage eines vorberechneten zweiten Energieniveaus des zweiten Referenzbildes; und ein durch den Computerprozessor erfolgendes Erzeugen von Ausgabedaten zur Darstellung eines Ausgabebildes durch Zusammenführen der umgewandelten ersten Detailniveaus des Eingabebildes und des umgewandelten zweiten Detailniveaus des Eingabebildes. Das Eingabebild, das erste Referenzbild und das zweite Referenzbild können voneinander verschieden sein. In einigen Fällen werden die ersten und zweiten Detailniveaus und Energieniveaus der ersten und zweiten Referenzbilder auf Grundlage von Zerlegungen jener Bilder, die vorberechnet sein können, berechnet. In einigen Fällen wird das erste Detailniveau des Eingabebildes unabhängig von dem zweiten Detailniveau des Eingabebildes umgewandelt. In einigen Fällen beinhaltet das Verfahren ein durch den Computerprozessor erfolgendes Berechnen einer ersten Energiesignatur für das erste Energieniveau des Eingabebildes; und ein durch den Computerprozessor erfolgendes Berechnen einer zweiten Energiesignatur für das zweite Energieniveau des Eingabebildes. In einigen dieser Fälle beinhaltet das Verfahren ein durch den Computerprozessor vor dem Erzeugen der Ausgabedaten erfolgendes Bestimmen, dass die erste Energiesignatur des Eingabebildes ähnlicher zu einer vorberechneten ersten Energiesignatur des ersten Referenzbildes im Vergleich zu einer vorberechneten ersten Energiesignatur des zweiten Referenzbildes ist. In einigen weiteren dieser Fälle beinhaltet das Verfahren ein durch den Computerprozessor vor dem Erzeugen der Ausgabedaten erfolgendes Bestimmen, dass die zweite Energiesignatur des Eingabebildes ähnlicher zu einer vorberechneten zweiten Energiesignatur des zweiten Referenzbildes im Vergleich zu einer vorbestimmten zweiten Energiesignatur des ersten Referenzbildes ist. In einigen Fällen beinhalten das Umwandeln des ersten Detailniveaus des Eingabebildes und das Umwandeln des zweiten Detailniveaus des Eingabebildes jeweils des Weiteren ein durch den Computerprozessor erfolgendes Berechnen von Energieniveaus auf Grundlage einer lokalen Signalvariation innerhalb eines jeden der Detailniveaus eines jeden von dem Eingabebild, dem ersten Referenzbild und dem zweiten Referenzbild; und ein durch den Computerprozessor erfolgendes Berechnen einer Verstärkungsabbildung für jedes von den ersten und zweiten Detailniveaus des Eingabebildes auf Grundlage der Energieniveaus für die jeweiligen Niveaus, wobei das Umwandeln der ersten und zweiten Detailniveaus des Eingabebildes eine Funktion der Verstärkungsabbildung ist. In einigen Fällen beinhaltet das Verfahren ein durch einen Computerprozessor erfolgendes Empfangen von weiteren Eingabedaten zur Darstellung eines dritten Referenzbildes; ein durch den Computerprozessor erfolgendes Zerlegen eines jeden von dem Eingabebild und dem dritten Referenzbild in einen Rest auf Grundlage der weiteren Eingabedaten; und ein durch den Computerprozessor erfolgendes Umwandeln wenigstens eines Abschnittes des Restes in dem Eingabebild auf Grundlage des Restes in dem dritten Referenzbild, wobei das Erzeugen der Ausgabedaten des Weiteren ein Zusammenführen des umgewandelten Restes des Eingabebildes umfasst. In einigen Fällen verwendet das Umwandeln wenigstens des Abschnittes des Restes in dem Eingabebild einen Histogrammabgleich oder eine lineare affine Umwandlung. In einigen Fällen beinhaltet das Verfahren ein durch den Computerprozessor erfolgendes Trennen eines Vordergrundbereiches des Eingabebildes und eines Hintergrundbereiches des Eingabebildes auf Grundlage der Eingabedaten; ein durch den Computerprozessor erfolgendes Berechnen eines Mittels und einer Standardabweichung einer Änderung in dem Vordergrundbereich auf Grundlage der Ausgabedaten; und ein durch den Computerprozessor erfolgendes Umwandeln des Hintergrundbereiches durch das Mittel und die Standardabweichung der Änderung in dem Vordergrundbereich.
Eine weitere Ausführungsform stellt ein System bereit, das einen Speicher und einen Computerprozessor, der operativ mit dem Speicher gekoppelt ist, beinhaltet. Der Computerprozessor ist dafür ausgelegt, in dem Speicher gespeicherte Anweisungen auszuführen, die bei Ausführung veranlassen, dass der Computerprozessor einen Prozess ausführt. Der Prozess beinhaltet ein Empfangen von Eingabedaten zur Darstellung eines jeden von einem Eingabebild, einem ersten Referenzbild und einem zweiten Referenzbild, wobei das Eingabebild, das erste Referenzbild und das zweite Referenzbild voneinander verschieden sind; ein auf Grundlage der Eingabedaten erfolgendes Zerlegen eines jeden von dem Eingabebild, dem ersten Referenzbild und dem zweiten Referenzbild in Daten zur Darstellung eines ersten Energieniveaus und eines zweiten Energieniveaus und eines entsprechenden ersten Energieniveaus und zweiten Energieniveaus; ein Umwandeln des ersten Detailniveaus des Eingabebildes auf Grundlage des ersten Energieniveaus des ersten Referenzbildes; ein Umwandeln des zweiten Detailniveaus des Eingabebildes auf Grundlage des zweiten Energieniveaus des zweiten Referenzbildes; und ein Erzeugen von Ausgabedaten zur Darstellung eines Ausgabebildes durch Zusammenführen des umgewandelten ersten Detailniveaus des Eingabebildes und des umgewandelten zweiten Detailniveaus des Eingabebildes. In einigen Fällen wird das erste Detailniveau des Eingabebildes unabhängig von dem zweiten Detailniveau des Eingabebildes umgewandelt. In einigen Fällen beinhaltet der Prozess ein Berechnen einer ersten Energiesignatur für jedes von dem ersten Energieniveau des Eingabebildes, dem ersten Energieniveau des ersten Referenzbildes und dem ersten Energieniveau des zweiten Referenzbildes; und ein Berechnen einer zweiten Energiesignatur für jedes von dem zweiten Energieniveau des Eingabebildes, dem zweiten Energieniveau des ersten Referenzbildes und dem zweiten Energieniveau des zweiten Referenzbildes. In einigen derartigen Fällen beinhaltet der Prozess ein vor dem Erzeugen der Ausgabedaten erfolgendes Bestimmen, dass die erste Energiesignatur des Eingabebildes ähnlicher zu der ersten Energiesignatur des ersten Referenzbildes im Vergleich zu der ersten Energiesignatur des zweiten Referenzbildes ist. In einigen weiteren dieser Fälle beinhaltet der Prozess ein vor dem Erzeugen der Ausgabedaten erfolgendes Bestimmen, dass die zweite Energiesignatur des Eingabebildes ähnlicher zu der zweiten Energiesignatur des zweiten Referenzbildes im Vergleich zu der zweiten Energiesignatur des ersten Referenzbildes ist. In einigen Fällen beinhalten das Umwandeln des ersten Energieniveaus des Eingabebildes und das Umwandeln des zweiten Energieniveaus des Eingabebildes jeweils des Weiteren ein Berechnen der ersten und zweiten Energieniveaus auf Grundlage einer lokalen Signalvariation innerhalb eines jeden der Detailniveaus eines jeden von dem Eingabebild, dem ersten Referenzbild und dem zweiten Referenzbild; und ein Berechnen einer Verstärkungsabbildung für jedes von den ersten und zweiten Detailniveaus des Eingabebildes auf Grundlage der jeweiligen ersten und zweiten Energieniveaus, wobei das Umwandeln der ersten und zweiten Detailniveaus des Eingabebildes eine Funktion der Verstärkungsabbildung ist. In einigen Fällen beinhaltet der Prozess ein Empfangen von weiteren Eingabedaten zur Darstellung eines dritten Referenzbildes; ein Zerlegen eines jeden von dem Eingabebild und dem dritten Referenzbild in einen Rest auf Grundlage der weiteren Eingabedaten; und ein Umwandeln wenigstens eines Abschnittes des Restes in dem Eingabebild auf Grundlage des Restes in dem dritten Referenzbild, wobei das Erzeugen der Ausgabedaten des Weiteren ein Zusammenführen des umgewandelten Restes des Eingabebildes umfasst. In einigen derartigen Fällen verwendet die Umwandlung wenigstens des Abschnittes des Restes in dem Eingabebild einen Histogrammabgleich oder eine lineare affine Umwandlung. In einigen Fällen beinhaltet der Prozess ein Trennen eines Vordergrundbereiches des Eingabebildes und eines Hintergrundbereiches des Eingabebildes auf Grundlage der Eingabedaten; ein Berechnen eines Mittels und einer Standardabweichung einer Änderung in dem Vordergrund auf Grundlage der Ausgabedaten; und ein Umwandeln des Hintergrundbereiches durch das Mittel und die Standardabweichung der Änderung in dem Vordergrundbereich. Eine weitere exemplarische Ausführungsform stellt ein nichttemporäres Computerprogrammerzeugnis bereit, auf dem Anweisungen codiert sind, die bei Ausführung durch einen oder mehrere Prozessoren veranlassen, dass ein Prozess zum Durchführen eines oder mehrerer der an verschiedenen Stellen im vorliegenden Absatz beschriebenen Aspekte durchgeführt wird.
Die vorstehende Beschreibung und die Zeichnung der verschiedenen Ausführungsformen sind rein beispielhalber angegeben. Die Beispiele sollen nicht so gedeutet werden, dass sie erschöpfend sind oder die Erfindung genau auf das Offenbarte beschränken. Abwandlungen, Modifikationen und Variationen erschließen sich im Lichte der vorliegenden Offenbarung und sollen im Umfang der Erfindung so, wie sie in den Ansprüchen niedergelegt ist, enthalten sein.

Claims

Computerimplementiertes Verfahren zum Übertragen eines Stils von wenigstens zwei Bildern auf ein weiteres Bild, wobei das Verfahren umfasst: durch einen Computerprozessor (1030) erfolgendes Empfangen von Eingabedaten zur Darstellung eines jeden von einem Eingabebild (130), einem ersten Referenzbild (132) und einem zweiten Referenzbild (132), wobei das erste Referenzbild (132) und das zweite Referenzbild (132) voneinander verschieden sind; durch den Computerprozessor (1030) auf Grundlage der Eingabedaten erfolgendes Zerlegen des Eingabebildes (130) in Daten zur Darstellung eines ersten Detailniveaus und eines zweiten Detailniveaus und eines entsprechenden ersten Energieniveaus und zweiten Energieniveaus; durch den Computerprozessor (1030) erfolgendes Umwandeln des ersten Detailniveaus des Eingabebildes (130) auf Grundlage eines vorberechneten ersten Energieniveaus des ersten Referenzbildes (132); durch den Computerprozessor (1030) erfolgendes Umwandeln des zweiten Detailniveaus des Eingabebildes (130) auf Grundlage eines vorberechneten zweiten Energieniveaus des zweiten Referenzbildes (132); und durch den Computerprozessor (1030) erfolgendes Erzeugen von Ausgabedaten (134) zur Darstellung eines Ausgabebildes (134) durch Zusammenführen der umgewandelten ersten Detailniveaus des Eingabebildes (130) und des umgewandelten zweiten Detailniveaus des Eingabebildes (130).
Verfahren nach Anspruch 1, wobei das erste Detailniveau des Eingabebildes (130) unabhängig von dem zweiten Detailniveau des Eingabebildes (130) umgewandelt wird.
Verfahren nach einem der Ansprüche 1 oder 2, des Weiteren umfassend: durch den Computerprozessor (1030) erfolgendes Berechnen einer ersten Energiesignatur für das erste Energieniveau des Eingabebildes (130); und durch den Computerprozessor (1030) erfolgendes Berechnen einer zweiten Energiesignatur für das zweite Energieniveau des Eingabebildes (130).
Verfahren nach Anspruch 3, des Weiteren umfassend: durch den Computerprozessor (1030) vor dem Erzeugen der Ausgabedaten (134) erfolgendes Bestimmen, dass die erste Energiesignatur des Eingabebildes (130) ähnlicher zu einer vorberechneten ersten Energiesignatur des ersten Referenzbildes (132) im Vergleich zu einer vorberechneten ersten Energiesignatur des zweiten Referenzbildes (132) ist.
Verfahren nach einem der Ansprüche 3 oder 4, des Weiteren umfassend: durch den Computerprozessor (1030) vor dem Erzeugen der Ausgabedaten (134) erfolgendes Bestimmen, dass die zweite Energiesignatur des Eingabebildes (130) ähnlicher zu einer vorberechneten zweiten Energiesignatur des zweiten Referenzbildes (132) im Vergleich zu einer vorberechneten zweiten Energiesignatur des ersten Referenzbildes (132) ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Umwandeln des ersten Detailniveaus des Eingabebildes (130) und das Umwandeln des zweiten Detailniveaus des Eingabebildes (130) jeweils des Weiteren umfassen: durch den Computerprozessor (1030) erfolgendes Berechnen von Energieniveaus auf Grundlage einer lokalen Signalvariation innerhalb eines jeden der Detailniveaus eines jeden von dem Eingabebild (130), dem ersten Referenzbild (132) und dem zweiten Referenzbild (132); und durch den Computerprozessor (1030) erfolgendes Berechnen einer Verstärkungsabbildung für jedes von den ersten und zweiten Detailniveaus des Eingabebildes (130) auf Grundlage der Energieniveaus für die jeweiligen Niveaus, wobei das Umwandeln der ersten und zweiten Detailniveaus des Eingabebildes (130) eine Funktion der Verstärkungsabbildung ist.
Verfahren nach einem der vorhergehenden Ansprüche, des Weiteren umfassend: durch einen Computerprozessor (1030) erfolgendes Empfangen von weiteren Eingabedaten zur Darstellung eines dritten Referenzbildes (132); durch den Computerprozessor (1030) erfolgendes Zerlegen eines jeden von dem Eingabebild (130) und dem dritten Referenzbild (132) in einen Rest auf Grundlage der weiteren Eingabedaten; und durch den Computerprozessor (1030) erfolgendes Umwandeln wenigstens eines Abschnittes des Restes in dem Eingabebild (130) auf Grundlage des Restes in dem dritten Referenzbild (132), wobei das Erzeugen der Ausgabedaten (134) des Weiteren ein Zusammenführen des umgewandelten Restes des Eingabebildes (130) umfasst.
Verfahren nach Anspruch 7, wobei das Umwandeln wenigstens des Abschnittes des Restes in dem Eingabebild (130) wenigstens eines von einem Histogrammabgleich und einer linearen affinen Umwandlung verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, des Weiteren umfassend: durch den Computerprozessor (1030) erfolgendes Trennen eines Vordergrundbereiches des Eingabebildes (130) und eines Hintergrundbereiches des Eingabebildes (130) auf Grundlage der Eingabedaten; durch den Computerprozessor (1030) erfolgendes Berechnen eines Mittels und einer Standardabweichung einer Änderung in dem Vordergrundbereich auf Grundlage der Ausgabedaten (134); und durch den Computerprozessor (1030) erfolgendes Umwandeln des Hintergrundbereiches durch das Mittel und die Standardabweichung der Änderung in dem Vordergrundbereich.
System in einer Digitalbildverarbeitungsumgebung, umfassend: einen Speicher; und einen Computerprozessor (1030), der operativ mit dem Speicher gekoppelt ist, wobei der Computerprozessor (1030) zum Ausführen von in dem Speicher gespeicherten Anweisungen ausgelegt ist, die bei Ausführung veranlassen, dass der Computerprozessor (1030) einen Prozess auszuführt, der umfasst: Empfangen von Eingabedaten zur Darstellung eines jeden von einem Eingabebild (130), einem ersten Referenzbild (132) und einem zweiten Referenzbild (132), wobei das erste Referenzbild (132) und das zweite Referenzbild (132) voneinander verschieden sind; auf Grundlage der Eingabedaten erfolgendes Zerlegen eines jeden von dem Eingabebild (130), dem ersten Referenzbild (132) und dem zweiten Referenzbild (132) in Daten zur Darstellung eines ersten Energieniveaus und eines zweiten Energieniveaus und eines entsprechenden ersten Energieniveaus und zweiten Energieniveaus; Umwandeln des ersten Detailniveaus des Eingabebildes (130) auf Grundlage des ersten Energieniveaus des ersten Referenzbildes (132); Umwandeln des zweiten Detailniveaus des Eingabebildes (130) auf Grundlage des zweiten Energieniveaus des zweiten Referenzbildes (132); und Erzeugen von Ausgabedaten (134) zur Darstellung eines Ausgabebildes (134) durch Zusammenführen des umgewandelten ersten Detailniveaus des Eingabebildes (130) und des umgewandelten zweiten Detailniveaus des Eingabebildes (130).
System nach Anspruch 10, wobei das erste Detailniveau des Eingabebildes (130) unabhängig von dem zweiten Detailniveau des Eingabebildes (130) umgewandelt wird.
System nach einem der Ansprüche 10 oder 11, wobei der Prozess des Weiteren umfasst: Berechnen einer ersten Energiesignatur für jedes von dem ersten Energieniveau des Eingabebildes (130), dem ersten Energieniveau des ersten Referenzbildes (132) und dem ersten Energieniveau des zweiten Referenzbildes (132); und Berechnen einer zweiten Energiesignatur für jedes von dem zweiten Energieniveau des Eingabebildes (130), dem zweiten Energieniveau des ersten Referenzbildes (132) und dem zweiten Energieniveau des zweiten Referenzbildes (132).
System nach Anspruch 12, wobei der Prozess des Weiteren umfasst: vor dem Erzeugen der Ausgabedaten (134) erfolgendes Bestimmen, dass die erste Energiesignatur des Eingabebildes (130) ähnlicher zu der ersten Energiesignatur des ersten Referenzbildes (132) im Vergleich zu der ersten Energiesignatur des zweiten Referenzbildes (132) ist.
System nach einem der Ansprüche 12 oder 13, wobei der Prozess des Weiteren umfasst: vor dem Erzeugen der Ausgabedaten (134) erfolgendes Bestimmen, dass die zweite Energiesignatur des Eingabebildes (130) ähnlicher zu der zweiten Energiesignatur des zweiten Referenzbildes (132) im Vergleich zu der zweiten Energiesignatur des ersten Referenzbildes (132) ist.
System nach einem der Ansprüche 10 bis 14, wobei das Umwandeln des ersten Energieniveaus des Eingabebildes (130) und das Umwandeln des zweiten Energieniveaus des Eingabebildes (130) jeweils des Weiteren umfassen: Berechnen der ersten und zweiten Energieniveaus auf Grundlage einer lokalen Signalvariation innerhalb eines jeden der Detailniveaus eines jeden von dem Eingabebild (130), dem ersten Referenzbild (132) und dem zweiten Referenzbild (132); und Berechnen einer Verstärkungsabbildung für jedes von den ersten und zweiten Detailniveaus des Eingabebildes (130) auf Grundlage der jeweiligen ersten und zweiten Energieniveaus, wobei das Umwandeln der ersten und zweiten Detailniveaus des Eingabebildes (130) eine Funktion der Verstärkungsabbildung ist.
System nach einem der Ansprüche 10 bis 15, wobei der Prozess des Weiteren umfasst: Empfangen von weiteren Eingabedaten zur Darstellung eines dritten Referenzbildes (132); Zerlegen eines jeden von dem Eingabebild (130) und dem dritten Referenzbild (132) in einen Rest auf Grundlage der weiteren Eingabedaten; und Umwandeln wenigstens eines Abschnittes des Restes in dem Eingabebild (130) auf Grundlage des Restes in dem dritten Referenzbild (132), wobei das Erzeugen der Ausgabedaten (134) des Weiteren ein Zusammenführen des umgewandelten Restes des Eingabebildes (130) umfasst.
System nach Anspruch 16, wobei das Umwandeln wenigstens des Abschnittes des Restes in dem Eingabebild (130) wenigstens eines von einem Histogrammabgleich und einer linearen affinen Umwandlung verwendet.
System nach einem der Ansprüche 10 bis 17, wobei der Prozess des Weiteren umfasst: Trennen eines Vordergrundbereiches des Eingabebildes (130) und eines Hintergrundbereiches des Eingabebildes (130) auf Grundlage der Eingabedaten; Berechnen eines Mittels und einer Standardabweichung einer Änderung in dem Vordergrundbereich auf Grundlage der Ausgabedaten (134); und Umwandeln des Hintergrundbereiches durch das Mittel und die Standardabweichung der Änderung in dem Vordergrundbereich.
Nichttemporäres Computerprogrammerzeugnis, auf dem Anweisungen codiert sind, die bei Ausführung durch einen oder mehrere Computerprozessoren (1030) veranlassen, dass der eine oder die mehreren Computerprozessoren (1030) einen Prozess durchführen, der umfasst: Empfangen von Eingabedaten zur Darstellung eines jeden von einem Eingabebild (130), einem ersten Referenzbild (132) und einem zweiten Referenzbild (132), wobei das erste Referenzbild (132) und das zweite Referenzbild (132) voneinander verschieden sind; auf Grundlage der Eingabedaten erfolgendes Zerlegen eines jeden von dem Eingabebild (130), dem ersten Referenzbild (132) und dem zweiten Referenzbild (132) in ein erstes Detailniveau und ein zweites Detailniveau und ein entsprechendes erstes Energieniveau und zweites Energieniveau; Umwandeln des ersten Detailniveaus des Eingabebildes (130) auf Grundlage des ersten Energieniveaus des ersten Referenzbildes (132); Umwandeln des zweiten Detailniveaus des Eingabebildes (130) auf Grundlage des zweiten Energieniveaus des zweiten Referenzbildes (132); und Erzeugen von Ausgabedaten (134) zur Darstellung eines Eingabebildes (134) durch Zusammenführen des umgewandelten ersten Detailniveaus des Eingabebildes (130) und des umgewandelten zweiten Detailniveaus des Eingabebildes (130).
Nichttemporäres Computerprogrammerzeugnis nach Anspruch 19, wobei das Umwandeln des ersten Detailniveaus des Eingabebildes (130) und das Umwandeln des zweiten Detailniveaus des Eingabebildes (130) jeweils des Weiteren umfassen: durch den Computerprozessor (1030) erfolgendes Berechnen der ersten und zweiten Energieniveaus auf Grundlage einer lokalen Signalvariation innerhalb eines jeden von den Detailniveaus eines jeden von dem Eingabebild (130), dem ersten Referenzbild (132) und dem zweiten Referenzbild (132); und durch den Computerprozessor (1030) erfolgendes Berechnen einer Verstärkungsabbildung für jedes von den ersten und zweiten Detailniveaus des Eingabebildes (130) auf Grundlage der Energieniveaus für die jeweiligen Niveaus, wobei das Umwandeln der ersten und zweiten Detailniveaus des Eingabebildes (130) eine Funktion der Verstärkungsabbildung ist.