DE112019003984T5

DE112019003984T5 - Auf eine benutzervorrichtung angewandte superauflösung mittels natürlicher handbewegung

Info

Publication number: DE112019003984T5
Application number: DE112019003984.9T
Authority: DE
Inventors: Yi Hung CHEN; Chia-Kai Liang; Bartlomiej Maciej Wronski; Peyman Milanfar; Ignacio Garcia Dorado
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2018-08-09
Filing date: 2019-08-06
Publication date: 2021-06-02
Also published as: KR20230027316A; US20210304359A1; WO2020033432A1; KR20210029248A; KR102555317B1; CN112384945A; JP7223117B2; JP2021533496A; JP2023058558A; KR102500779B1; JP7490100B2

Abstract

(57) Zusammenfassung: Die vorliegende Offenbarung beschreibt Systeme und Techniken zur Erzeugung eines Superauflösungsbildes (122) von einer Szene, die von einer Benutzervorrichtung (102) erfasst wurde. Eine natürliche Handbewegung (110) führt über mehrere Frames (204,206, 208) eines Bildes einer Szene Sub-Pixel-Offsets ein, welche die Verwendung von Superauflösungsberechnungen (210) zum Bilden von Farbebenen (212, 214, 216) ermöglichen, die akkumuliert (218) und kombiniert (220) werden, um ein Superauflösungsbild (122) der Szene zu erzeugen.

Description

ALLGEMEINER STAND DER TECHNIK
In Verbindung mit dem Erfassen einer Szene erzeugt eine Benutzervorrichtung, wie z. B. ein Mobiltelefon, ein Bild der Szene, das oft eine geringere Auflösung aufweist als ein Bild der Szene, das von anderen Vorrichtungen, wie z. B. einer digitalen SpiegelreflexKamera (DSLR-Kamera), erfasst und gerendert wird. Bilder, die durch diese Benutzervorrichtungen erfasst werden, können auch verrauscht sein und einen geringeren Dynamikbereich aufweisen, da die relativ kleine physische Sensorgröße, die diese Vorrichtungen zulassen, die räumliche Auflösung der Kamera der Benutzervorrichtung begrenzt. Der Bildsensor der Benutzervorrichtung kann auch kleinere Blenden aufweisen, wodurch die Lichtsammelfähigkeit der Kamera der Benutzervorrichtung eingeschränkt wird, und kleinere Pixel, wodurch das Signal-Rausch-Verhältnis reduziert wird, welches das Smartphone zum Verarbeiten eines erfassten Bildes verwendet.
Des Weiteren umfasst der Bildsensor der Kamera der Benutzervorrichtung oft ein Farbfilterarray (CFA), das traditionell eine digitale Bildverarbeitungshardware der Benutzervorrichtung erfordert, um Demosaicing-Techniken zu verwenden, während ein erfasstes Bild einer Szene gerendert wird. Demosaicing-Techniken sind im Allgemeinen nachteilig für Superauflösungsrendern. Effekte von Demosaicing-Techniken können chromatisches Aliasing, falsche Farbverläufe und Moire-Muster umfassen, die dazu führen, dass die Benutzervorrichtung das erfasste Bild der Szene bei einer schlechten Auflösung und mit unerwünschten Artefakten rendert.
KURZDARSTELLUNG
Die vorliegende Offenbarung beschreibt Systeme und Techniken zur Erzeugung eines Superauflösungsbildes von einer Szene, die von einer Benutzervorrichtung erfasst wurde. Eine natürliche Handbewegung führt über mehrere Frames eines Bildes einer Szene Sub-Pixel-Offsets ein, welche die Verwendung von Superauflösungsberechnungstechniken zum Bilden von Farbebenen ermöglichen, die akkumuliert und zusammengeführt werden, um ein Superauflösungsbild der Szene zu erzeugen. Diese Systeme und Techniken bieten Vorteile gegenüber anderen Systemen und Techniken, die auf Demosaicing beruhen, da sie das Superauflösungsbild der Szene ohne nachteilige Artefakte, wie z. B. chromatisches Aliasing, falsche Farbverläufe und Moire-Muster, bereitstellen.
Bei einigen Aspekten wird ein Verfahren beschrieben, das von einer Benutzervorrichtung ausgeführt wird, um ein Superauflösungsbild einer Szene zu rendern. Das Verfahren umfasst das Erfassen, in einer Burst-Sequenz, von mehreren Frames eines Bildes einer Szene, wobei die mehreren Frames aufgrund einer Bewegung der Benutzervorrichtung während der Erfassung der mehreren Frames entsprechende relative Sub-Pixel-Offsets des Bildes aufweisen. Das Verfahren umfasst das Verwenden der erfassten mehreren Frames zum Ausführen von Superauflösungsberechnungen, die das Berechnen von Gauß'schen RBF-Kernen und das Berechnen eines Robustheitsmodells umfassen. Das Verfahren umfasst ferner das Akkumulieren von Farbebenen basierend auf den Superauflösungsberechnungen, das Kombinieren der akkumulierten Farbebenen zum Erzeugen des Superauflösungsbildes der Szene und das Rendern des Superauflösungsbildes der Szene.
Bei anderen Aspekten wird ein Verfahren zur Bereitstellung von Farbebenen an eine Vorrichtung beschrieben. Das Verfahren umfasst das Berechnen von Gauß'schen Radialbasisfunktionskernen, wobei das Berechnen der Gauß'schen Radialbasisfunktionskerne (i) das Berechnen eines Bezugsframes und (ii) das Berechnen einer Kernkovarianzmatrix basierend auf dem Analysieren lokaler Gradientenstrukturtensoren umfasst, wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind.
Das Verfahren umfasst zudem das Berechnen eines Robustheitsmodells, wobei das Berechnen des Robustheitsmodells ein statistisches Nachbarschaftsmodell verwendet, um eine mittlere und räumliche Farbstandardabweichung zu berechnen. Basierend auf den berechneten Gauß'schen RBF-Kernen und dem berechneten Robustheitsmodell umfasst das Verfahren das Bestimmen des Beitrags von Pixeln zu Farbebenen und das Akkumulieren der Farbebenen. Die Farbebenen werden dann an die Vorrichtung bereitgestellt.
Bei noch anderen Aspekten wird eine Benutzervorrichtung beschrieben. Die Benutzervorrichtung umfasst einen oder mehrere Prozessoren, einen oder mehrere Bildsensoren und eine Anzeige. Die Vorrichtung umfasst zudem ein computerlesbares Medium, auf dem Befehle eines Superauflösungsmanagers gespeichert sind, der bei Ausführung von dem einen oder den mehreren Prozessoren die Vorrichtung anweist, in einer Burst-Sequenz mehrere Frames eines Bildes einer Szene zu erfassen, wobei die mehreren Frames relative Offsets des Bildes aufweisen. Der Superauflösungsmanager weist zudem die Benutzervorrichtung an, die erfassten mehreren Frames zu verwenden, um Superauflösungsberechnungen auszuführen und basierend auf den Superauflösungsberechnungen Ebenen zu akkumulieren, die akkumulierten Ebenen zu kombinieren, um das Superauflösungsbild der Szene zu erzeugen, und das Superauflösungsbild der Szene zu rendern.
Die Details einer oder mehrerer Implementierungen sind in den begleitenden Zeichnungen und der folgenden Beschreibung dargelegt. Weitere Merkmale und Vorteile ergeben sich aus der Beschreibung und den Zeichnungen sowie den Ansprüchen. Diese Kurzdarstellung dient zur Einführung in den Gegenstand, der unter Ausführliche Beschreibung und in den Zeichnungen näher beschrieben wird. Dementsprechend sollte ein Leser die Kurzdarstellung nicht als Beschreibung wesentlicher Merkmale betrachten noch den Umfang des beanspruchten Gegenstands einschränken.
Figurenliste
Diese vorliegende Offenbarung beschreibt Details zu einem oder mehreren Aspekten, die mit der Erzeugung eines Superauflösungsbildes einer Szene, die von einer Benutzervorrichtung erfasst wurde, verbunden sind.

1 veranschaulicht eine beispielhafte Betriebsumgebung, in der verschiedene Superauflösungsaspekte unter Verwendung einer auf eine Benutzervorrichtung angewendete natürliche Handbewegung ausgeführt werden.
2 veranschaulicht beispielhafte Aspekte von mehreren Frames mit Sub-Pixel-Offsets.
3 veranschaulicht beispielhafte Aspekte der Verwendung von mehreren Frames mit Sub-Pixel-Offsets zum Ausführen von Berechnungen, Akkumulieren von Farbebenen und Kombinieren von Farbebenen.
4 veranschaulicht beispielhafte Aspekte der Ausrichtung mehrerer Frames mit Sub-Pixel-Offsets mit einem Bezugsframe.
5. veranschaulicht ein beispielhaftes Verfahren zum Rendern eines Superauflösungs bil des.
6. veranschaulicht ein beispielhaftes Verfahren zum Akkumulieren von Farbebenen für ein Superauflösungsbild.

AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Offenbarung beschreibt Techniken und Systeme zum Erzeugen eines Superauflösungsbildes einer Szene. Während Merkmale und Konzepte der beschriebenen Systeme und Verfahren für Superauflösung unter Verwendung natürlicher Handbewegungen, die auf eine Benutzervorrichtung angewendet werden, in irgendeiner Anzahl an verschiedenen Umgebungen, Systemen, Vorrichtungen und/oder verschiedener Konfigurationen implementiert werden können, werden Aspekte im Zusammenhang mit den folgenden beispielhaften Vorrichtungen, Systemen und Konfigurationen beschrieben.
Beispielhafte Betriebsumgebung
1 veranschaulicht eine beispielhafte Betriebsumgebung 100, in der verschiedene Superauflösungsaspekte unter Verwendung einer auf eine Benutzervorrichtung 102 angewendete natürliche Handbewegung 110 ausgeführt werden. Wie veranschaulicht, erfasst eine Benutzervorrichtung 102 Variationen (104, 106 und 108) eines Bildes einer Szene auf, die mehreren Frames des Bildes der Szene entsprechen. Obwohl sie als Smartphone veranschaulicht ist, kann die Benutzervorrichtung 102 eine andere Vorrichtung mit Bilderfassungsfunktionen sein, wie z. B. ein Tablet oder eine zugeordnete Kamera.
Die Variationen 104 bis 108 des Bildes der Szene, die von der Benutzervorrichtung 102 in einer Burst-Sequenz erfasst werden, umfassen Sub-Pixel-Offsets, die das Ergebnis einer natürlichen Handbewegung 110 sind, die auf die Benutzervorrichtung 102 angewendet wird, während die Benutzervorrichtung 102 das Bild der Szene erfasst. Die natürliche Handbewegung 110 kann z. B. durch ein Handzittern eines Benutzers der Benutzervorrichtung 102 verursacht sein, der eine Bewegung in der Ebene, eine Bewegung aus der Ebene heraus, eine Neigung, eine Gierbewegung oder ein Rollen an der Benutzervorrichtung 102 auslöst, während die Benutzervorrichtung 102 die Variationen 104 bis 108 des Bildes der Szene erfasst.
In einigen Fällen und als Alternative zu den Sub-Pixel-Offsets, die sich aus der natürlichen Handbewegung 110 ergeben, können die Sub-Pixel-Offsets von einer anderen Bewegung resultieren, die auf die Benutzervorrichtung 102 angewendet wird, wie z. B. eine haptische Bewegung, die durch einen Vibrationsmechanismus bewirkt wird, der mit der Benutzervorrichtung 102 in Kontakt ist (oder darin integriert ist), oder eine Vibration, die bewirkt wird, während die Benutzervorrichtung 102 innerhalb der Betriebsumgebung 100 transportiert wird (z. B. kann die Benutzervorrichtung 102 in einem Fahrzeug in Bewegung sein, das von dem Benutzer gefahren wird, usw.).
Die Benutzervorrichtung 102 umfasst eine Kombination aus einem oder mehreren Bildsensoren 112 zum Erfassen eines Bildes. Der Bildsensor 112 kann einen Komplementär-Metalloxid-Halbleiter-Bildsensor (CMOS-Bildsensor) oder einen ladungsgekoppelten Halbleitervorrichtungs-Bildsensor (CCD-Bildsensor) umfassen. In einigen Fällen kann der Bildsensor 112 einen Farbfilterarray (CFA) umfassen, der die Pixel des Bildsensors 112 überlagert und die Intensitäten des durch die Pixel aufgezeichneten Lichts in Zusammenhang mit den Farbwellenlängen begrenzt. Ein Beispiel eines solchen CFA ist ein Bayer CFA, der Licht gemäß einer roten Wellenlänge, einer blauen Wellenlänge und einer grünen Wellenlänge filtert. In einem Fall von Vielfachen des Bildsensors 112 (z. B., einer Kombination von mehr als einem Bildsensor, wie z. B. einem Doppelbildsensor), können die Vielfachen des Bildsensors 112 Kombinationen von Pixeldichten (z. B. 40 Megapixel (MP), 32 MP, 16 MP, 8 MP) sowie verschiedene CFA-Konfigurationen zur Unterstützung unterschiedlicher Bildverarbeitungsanforderungen (z. B. Einbindung eines Bayer CFA zur Unterstützung von Rot-Grün-Blau-Bildverarbeitung (RGB-Bildverarbeitung), Ausschluss eines CFA zur Unterstützung von monochromatischer Bildverarbeitung). Licht von Bildern kann ein Bild erzeugen, das als Bayer-Bild oder Bayer-Frame bezeichnet werden kann, wenn es durch den Bayer CFA gefiltert wird.
Die Benutzervorrichtung 102 umfasst zudem eine Anzeige 114 zum Rendern des Bildes. In einigen Fällen kann die Anzeige 114 eine Touchscreen-Anzeige sein. Die Benutzervorrichtung 102 umfasst zudem eine Kombination aus einem oder mehreren Prozessoren 116. Der Prozessor 116 kann ein Einkernprozessor oder ein Mehrkernprozessor sein, der aus einer Vielzahl von Materialien wie Silizium, Polysilizium, High-K-Dielektrikum, Kupfer usw. besteht. In einem Fall von Vielfachen des Prozessors 116 (z. B., einer Kombination von mehr als einem Prozessor) können die Vielfachen des Prozessors 116 eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP) oder eine Bildverarbeitungseinheit (IPU) umfassen. Des Weiteren und in einem solchen Fall können die Vielfachen des Prozessors 116 zwei oder mehr Rechenoperationen mittels Pipelineverarbeitung ausführen.
Die Benutzervorrichtung 102 umfasst zudem ein computerlesbares Speichermedium (CRM) 118, das ausführbare Befehle in Form eines Superauflösungsmanagers 120 umfasst. Das hierin beschriebene CRM 118 schließt Ausbreitungssignale aus. Das CRM 118 kann jede geeignete Memory- oder Speichervorrichtung umfassen, wie z. B. RAM (Random Access Memory), statischer RAM (SRAM), dynamischer RAM (DRAM), nicht-flüchtiger RAM (NVRAM), Nur-Lese-Speicher (ROM) oder Flash-Speicher, die zum Speichern des Superauflösungsmanagers 120 verwendet werden kann.
Code oder Befehle des Superauflösungsmanagers 120 können unter Verwendung des Prozessors 116 ausgeführt werden, um die Benutzervorrichtung 102 zum Ausführen von Operationen zu veranlassen, die auf das Erzeugen (und Rendern) eines Superauflösungsbildes 122 der Szene gerichtet sind. Solche Operationen können das Erfassen, unter Verwendung des Bildsensors 112, mehrerer Frames eines Bildes einer Szene (z. B. die Variationen (104, 106 und 108) des Bildes der Szene) unter Verwendung des Bildsensors 112 umfassen. Die Operationen können ferner umfassen, dass die Benutzervorrichtung 102 (z. B. der Prozessor 116) Superauflösungsberechnungen ausführt, Farbebenen akkumuliert, die akkumulierten Farbebenen kombiniert, um ein Superauflösungsbild 122 der Szene zu erzeugen, und das Superauflösungsbild 122 der Szene rendert (z. B. über den Bildschirm 114). Das Superauflösungsbild 122 der Szene weist im Allgemeinen eine höhere Auflösung auf als eine andere Auflösung der mehreren Frames des Bildes der Szene.
2 veranschaulicht beispielhafte Aspekte von mehreren Frames mit Sub-Pixel-Offsets. In einigen Fällen können die mehreren Frames, die Sub-Pixel-Offsets aufweisen, durch eine Bewegung eingeführt werden, die auf die Benutzervorrichtung 102 in 1 angewandt wird. In einigen Fällen entspricht die Bewegung der Benutzervorrichtung 102 der natürlichen Handbewegung 110, die ein Benutzer der Benutzervorrichtung 102 während der Burst-Sequenz ausgeführt hat.
Wie in 2 veranschaulicht, weisen die mehreren Frames 202 entsprechende, relative Sub-Pixel-Offsets eines Bildes auf und umfassen Bild 204, Bild 206 und Bild 208 (die Frames 204 bis 208 entsprechen den Variationen 104 bis 108 von 1). Die mehreren Frames 202 dienen als Basis zum Berechnen und Bilden des Superauflösungsbildes 122. Die Benutzervorrichtung 102 kann die mehreren Frames 202 während der Burst-Sequenz unter Verwendung einer Auflösung erfassen, die niedriger ist als eine andere Auflösung des Superauflösungsbildes 122 der Szene.
Die Burst-Sequenz kann das Erfassen der mehreren Frames 202 in einem festgelegten Zeitintervall umfassen, das z. B. von einer Millisekunde bis drei Millisekunden, von einer Millisekunde bis fünf Millisekunden oder von einer halben Millisekunde bis zehn Millisekunden reichen kann. Des Weiteren, und in einigen Fällen, kann das Zeitintervall der Burst-Sequenz basierend auf einer Bewegung der Benutzervorrichtung variabel sein (z. B. kann ein Zeitintervall während einer Bewegung der Benutzervorrichtung 102 mit hoher Geschwindigkeit „kürzer“ sein als ein anderes Zeitintervall während einer Bewegung der Benutzervorrichtung 102 mit niedriger Geschwindigkeit, um die Offsets bei weniger als einem Pixel zu halten).
Wie veranschaulicht, ist das Bild von Bild 206 relativ zu dem Bild von Bild 204 entsprechend um ein halbes Pixel horizontal und ein halbes Pixel vertikal versetzt. Des Weiteren ist das Bild von Frame 208 relativ zu dem Bild von Frame 204 wie veranschaulicht um ein viertel Pixel horizontal versetzt. Entsprechend können relative Sub-Pixel-Offsets verschiedene Größen und Kombinationen von Sub-Pixel-Offsets umfassen (z. B. ein Sub-Pixel-Versatz, der mit einem Frame verbunden ist, könnte horizontal ein viertel Pixel und vertikal ein dreiviertel Pixel betragen, während ein anderer Sub-Pixel-Offset, der mit einem anderen Frame verbunden ist, horizontal null Pixel und vertikal ein halbes Pixel betragen könnte). Im Allgemeinen können die in dieser vorliegenden Offenbarung beschriebenen Techniken und Systeme Sub-Pixel-Offsets berücksichtigen, die zufälliger sind als die Veranschaulichungen und Beschreibungen der Frames 204 bis 208, einschließlich Sub-Pixel-Offsets, die nicht-linear sind.
3 veranschaulicht beispielhaft die Aspekte 300 der Verwendung von mehreren Frames mit Sub-Pixel-Offsets zum Ausführen von Berechnungen, Akkumulieren von Farbebenen und Kombinieren von Farbebenen gemäß einem oder mehreren Aspekten. Die beispielhaften Aspekte 300 können Elemente von 1 und 2 verwenden, wobei das Ausführen von Berechnungen, Akkumulieren der Farbebenen und Kombinieren der Farbebenen durch die Benutzervorrichtung 102 von 1 ausgeführt werden und die mehreren Frames, welche die Sub-Pixel-Offsets aufweisen, die mehreren Frames 202 von 2 sind.
Wie in 3 veranschaulicht, werden die mehreren Frames 202 in Superauflösungsberechnungen 302 eingegeben. Die Superauflösungsberechnungen 302 umfassen Gauß'sche Radialbasisfunktionskernberechnungen (RBF-Kernberechnungen) (inspiriert durch Flüssigkeitspartikelrendern) und Robustheitsmodellberechnungen. Algorithmen, welche die Superauflösungsberechnungen 302 unterstützen, können sich im Superauflösungsmanager 120 der Benutzervorrichtung 102 befinden. Des Weiteren kann die Benutzervorrichtung 102 (z. B. Vielfache des Prozessors 116) Teile der Superauflösungsberechnungen 302 unter Verwendung von Pipelineverarbeitung ausführen. Die Kombination der Gauß'schen RBF-Kernberechnungen (z. B. eine Kernregressionstechnik) stellt zusammen mit einer Gewichtung von den Robustheitsberechnungen ein Mittel zum Bestimmen von Beiträgen von Pixeln zu Farbebenen bereit.
Zur Unterstützung der Gauß'schen RBF-Kernberechnungen filtert die Benutzervorrichtung 102 die Pixelsignale aus jedem Frame der mehreren Frames 202, um entsprechende farbspezifische Bildebenen zu erzeugen, die Farbkanälen entsprechen. Die Benutzervorrichtung 102 richtet dann die entsprechenden farbspezifischen Bildebenen mit einem Bezugsframe aus. In einigen Fällen kann der Bezugsframe durch Erzeugen von Rot/Grün/Blau-Pixeln (RGB-Pixeln), die Bayer-Quads entsprechen, gebildet werden, indem Rot- und Blauwerte direkt genommen und Grünwerte gemittelt werden.
Die Benutzervorrichtung 102 berechnet dann eine Kovarianzmatrix. Das Berechnen der Kovarianzmatrix kann das Analysieren lokaler Gradientenstrukturtensoren für den Inhalt des Bezugsframes umfassen (z. B. kann sich ein lokaler Tensor lokal an einer Kante, einem Eckpunkt oder einem texturierten Bereich innerhalb des Bezugsframes befinden). Unter Verwendung der Kovarianzmatrix kann die Benutzervorrichtung 102 die Gauß'schen RBF-Kerne berechnen.
Das Berechnen der Kovarianzmatrix kann auf der folgenden mathematischen Beziehung beruhen: $Ω= [e_{1} e_{2}] [\begin{matrix} k_{1} & 0 \\ 0 & k_{2} \end{matrix}]$
In der mathematischen Beziehung (1) stellt Ω eine Kernkovarianzmatrix dar, e₁ und e₂ stellen orthogonale Richtungsvektoren und zwei zugehörige Eigenwerte λ₁ und λ₂ dar und k₁ und k₂ steuern eine gewünschte Kernvarianz.
Das Berechnen der lokalen Gradientenstrukturtensoren kann auf der folgenden mathematischen Beziehung beruhen: $\hat{Ω} = [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]$
In der mathematischen Beziehung (2) stellen I_x und I_y lokale Bildgradienten entsprechend in horizontaler und vertikaler Richtung dar.
In Unterstützung der erwähnten Robustheitsmodellberechnungen kann die Benutzervorrichtung 102 ein statistisches Nachbarschaftsmodell verwenden, um Wahrscheinlichkeiten von Pixeln zu formulieren, die zu einem Superauflösungsbild beitragen (z. B. Pixel von den mehreren Frames 202, die zu dem Superauflösungsbild 122 der Szene beitragen. Das statistische Nachbarschaftsmodell kann lokale Statistiken, wie z. B. einen Mittelwert, eine Varianz oder eine lokale Bayer-Muster-Quad-Grünkanal-Ungleichheitsdifferenz analysieren, um ein Modell zu bilden, das Aliasing vorhersagt (z. B. Pixelsignalisierung mit einem Frequenzinhalt über der Hälfte einer Samplerate, die sich nach dem Sampling als eine niedrigere Frequenz manifestiert).
Die Robustheitsmodellberechnungen können in einigen Fällen Rauschunterdrückungsberechnungen umfassen, um Farbunterschiede zu kompensieren. Die Rauschunterdrückungsberechnungen können in einigen Fällen auf einer räumlichen Farbstandardabweichung oder einer mittleren Differenz zwischen Frames beruhen.
Zusätzliche oder alternative Techniken können auch in den Superauflösungsberechnungen 302 umfasst sein. Die Superauflösungsberechnungen 302 können beispielsweise das Analysieren von Verkleinerungsoperationen zum Finden von Regionen eines Bildes, die nicht korrekt ausgerichtet werden können, umfassen. Als ein weiteres Beispiel können die Superauflösungsberechnungen 302 das Detektieren charakteristischer Muster zum Abschwächen von Fehlausrichtungsartefakten umfassen. In einem solchen Fall kann die Signalgradientenmusteranalyse Artefakte wie z. B. „Schachbrett“-Artefakte detektieren.
Die Superauflösungsberechnungen 302 sind effektiv, um für jedes der mehreren Frames 202 (z. B. für Bild 204, 206 und 208) den Beitrag von Pixeln zu Farbkanälen abzuschätzen, die mit entsprechenden Farbebenen verbunden sind, wie z. B. eine erste Farbebene 304 (die eine rote Farbebene sein kann und mit einem roten Farbkanal verbunden ist), eine zweite Farbebene 306 (die eine blaue Farbebene sein kann und mit einem blauen Farbkanal verbunden ist) und eine dritte Farbebene 308 (die eine grüne Farbebene sein kann und mit einem grünen Farbkanal verbunden ist). Die Superauflösungsberechnungen 302 behandeln die Pixel als separate Signale und akkumulieren die Farbebenen gleichzeitig.
Außerdem, und wie in 3 veranschaulicht, akkumuliert eine Farbebenenakkumulationsoperation 310 die Farbebenen 304 bis 308. Die Akkumulation der Farbebenen 304 bis 308 kann Normalisierungsberechnungen umfassen, die auf der folgenden mathematischen Beziehung beruhen: $C (x, y) = \frac{\sum_{n} {\sum_{i} c}_{n, i} \cdot w_{n, i} \cdot {\hat{R}}_{n}}{\sum_{n} \sum_{i} w_{n, i} \cdot {\hat{R}}_{n}}$
In der mathematischen Beziehung (3) stellen x und y Pixelkoordinaten dar, die Summe Σ_n arbeitet über beitragende Frames (oder ist eine Summe davon), die Summe Σ_i ist eine Summe von Samples innerhalb einer lokalen Nachbarschaft, c_n,i stellt einen Wert eines Bayer-Pixels bei einem gegebenen Frame n und einem Sample i dar, w_n,i stellt eine lokale Samplegewichtung dar und R̂_n stellt eine lokale Robustheit dar.
3 veranschaulicht auch eine Kombinieroperation 312, die das Superauflösungsbild 122 der Szene erzeugt. Die Benutzervorrichtung 102 kann dann das Superauflösungsbild 122 der Szene auf der Anzeige 114 der Benutzervorrichtung 102 (wie veranschaulicht) rendern oder alternativ das Superauflösungsbild 122 der Szene in dem CRM 118 der Benutzervorrichtung 102 speichern. Wie vorstehend beschrieben, und als Teil der Superauflösungsberechnungen 302, filtert die Benutzervorrichtung 102 die Pixelsignale von jedem Bild der mehreren Frames 202, um farbspezifische Bildebenen entsprechend den Farbkanälen zu erzeugen. Jede farbspezifische Bildebene kann eine Darstellung des Bildes sein, die bezüglich eines bestimmten Farbkanals gefiltert ist (z. B. eine rote Bildebene, eine blaue Bildebene und eine grüne Bildebene). Die Benutzervorrichtung 102 richtet dann die entsprechenden farbspezifischen Bildebenen mit einem Bezugsframe aus.
4 veranschaulicht beispielhafte Aspekte 400, die mit der Ausrichtung mehrerer Frames, die Sub-Pixel-Offsets aufweisen, mit einem Bezugsframe verbunden sind. Wie in 4 veranschaulicht, besteht jedes der mehreren Frames 202 (z. B. Bild 204, 206 und 208) aus mehreren Pixeln (z. B. entsprechend die repräsentativen Pixel 402, 404 und 406). Jedes Pixel entspricht dem Inhalt 408 des Bildes (z. B. eine Kante, eine Ecke oder ein texturierter Inhaltsbereich des Bildes).
In Bezug auf 4 und bei 410 umfasst das Ausrichten der mehreren Frames 202, die Sub-Pixel-Offsets aufweisen, mit einem Bezugsframe das Ausrichten farbspezifischer Bildebenen (z. B. die mehreren Frames 202, die gemäß einer roten, blauen oder grünen Wellenlänge gefiltert sind), sodass der entsprechende Inhalt 408 jedes Pixels der mehreren Frames 202 mit dem entsprechenden Inhalt von Pixel 412 des Bezugsframes ausgerichtet wird. (Anmerkung: 4 ist nicht maßstabsgetreu gezeichnet und zu Beschreibungszwecken vereinfacht; in Wirklichkeit und abhängig von den Auflösungsfähigkeiten der Benutzervorrichtung 102 kann der entsprechende Inhalt 408 ein ganzes Pixel oder fast ein ganzes Pixel verbrauchen). Für jedes Pixel 402 bis 406 kann der Beitrag des Inhalts 408 zu einem Farbkanal mittels Tensoranalyse quantifiziert werden (z. B. quantifiziert das Analysieren eines lokalen Gradientenstrukturtensors den Beitrag des Inhalts 408 jedes Pixels 402 bis 406 zu jedem Farbkanal).
Die durch die 1 bis 4 beschriebenen Elemente unterstützen das Erzeugen des Superauflösungsbildes der Szene, während mehrere Fotografieaspekte adressiert werden. Zusätzlich zum Bereitstellen des Superauflösungsbildes der Szene ohne die zuvor erwähnten nachteiligen Artefakte von Demosaicing (z. B. niedrige Bildauflösung, chromatisches Aliasing, falsche Farbverläufe und Moire-Muster) beschreiben die 1 bis 4 Elemente, die mit einem einzigen Auslöserdruck kompatibel sind (z. B. ein einziger Bilderfassungsbefehl), die ohne Stativ oder absichtliche Bewegung verwendet werden können und die das Superauflösungsbild mit niedriger Latenzzeit (z. B. innerhalb von höchstens einigen Sekunden) erzeugen. Des Weiteren sind die Elemente robust gegenüber einer Bewegung innerhalb einer Szene, Szenenwechseln und schlechten Lichtverhältnissen.
Beispielhafte Verfahren
Die beispielhaften Verfahren 500 und 600 werden unter Bezugnahme auf die die 5 und 6 gemäß einem oder mehreren Aspekten beschrieben, die mit der Erzeugung eines Superauflösungsbildes einer Szene verbunden sind, die von einer Benutzervorrichtung erfasst wurde. Im Allgemeinen kann jede bzw. jedes der hierin beschriebenen Komponenten, Module, Verfahren und Operationen unter Verwendung von Software, Firmware, Hardware (z. B. Festlogikschaltung), manueller Verarbeitung oder irgendeiner Kombination davon implementiert werden. Einige Operationen der beispielhaften Verfahren können im allgemeinen Kontext ausführbarer Befehle beschrieben sein, die in einem computerlesbaren Speicher gespeichert sind, der sich lokal und/oder entfernt von einem Computerverarbeitungssystem befindet, und Implementierungen können Softwareanwendungen, Programme, Funktionen und dergleichen umfassen. Alternativ oder zusätzlich kann jede der hierin beschriebenen Funktionen mindestens teilweise von einer oder mehreren Hardwarelogikkomponenten ausgeführt werden, wie z. B. und ohne Einschränkung feldprogrammierbare Gate Arrays (FPGAs), anwendungsspezifische integrierte Schaltungen (ASICs), anwendungsspezifische Standardprodukte (ASSPs), System-auf-einem-Chip-Systeme (SoCs) oder komplexe programmierbare Logikbausteine(CPLDs).
5 veranschaulicht beispielhafte Aspekte eines Verfahrens 500, das als Teil der Erzeugung eines Superauflösungsbildes einer Szene verwendet wird. Das Verfahren 500 wird in Form eines Satzes von Blöcken 502 bis 510 beschrieben, welche die Operationen spezifizieren, die ausgeführt werden können. Die Operationen sind jedoch nicht notwendigerweise auf die in 5 gezeigte oder hierin beschriebene Reihenfolge beschränkt, denn die Operationen können in alternativen Reihenfolgen, auf vollständig oder teilweise überlappende Weise oder in iterativer Weise implementiert werden. Obwohl die durch das Verfahren 500 dargestellten Operationen im Zusammenhang mit dem Ausführen durch die Benutzervorrichtung 102 von 1 beschrieben werden, können die Operationen (oder Teile der Operationen) durch eine oder mehrere andere Vorrichtungen mit Rechenfähigkeiten ausgeführt werden, wie z. B. einem Server oder einer Cloud-Computing-Vorrichtung, einschließlich Befehlen (oder Teile von Befehlen) des Superauflösungsmanagers 120.
Bei Block 502 erfasst die Benutzervorrichtung 102 (z. B. der Bildsensor 112) in einer Burst-Sequenz mehrere Frames 202 eines Bildes einer Szene, wobei die mehreren Frames 202 aufgrund einer Bewegung der Benutzervorrichtung während der Erfassung der mehreren Frames entsprechende relative Sub-Pixel-Offsets des Bildes aufweisen. In einigen Fällen kann die Bewegung der Benutzervorrichtung einer natürlichen Handbewegung 110 entsprechen, die ein Benutzer der Benutzervorrichtung ausgeführt hat. In anderen Fällen kann die Bewegung der Benutzervorrichtung einer Verschiebung entsprechen, die durch einen Vibrationsmechanismus bewirkt wird, der in Kontakt mit der Benutzervorrichtung 102 oder einem Teil davon steht.
Bei Block 504 führt die Benutzervorrichtung (z. B. der Prozessor 116, der die Befehle des Superauflösungsmanagers 120 ausführt) die Superauflösungsberechnungen 302 aus. Die Ausführung der Superauflösungsberechnungen 302 verwendet die erfassten mehreren Frames, um Gauß'sche Radialbasisfunktionskerne und ein Robustheitsmodell zu berechnen. Das Berechnen der Gauß'schen Radialbasisfunktionskerne kann mehrere Aspekte einschließlich des Filterns von Pixelsignalen von jedem der mehreren Frames, um farbspezifische Bildebenen für die entsprechenden Farbkanäle zu erzeugen und des Ausrichtens der farbspezifischen Bildebenen mit einem Bezugsframe umfassen. Zusätzlich zu den Farbkanälen Rot, Grün und Blau können die farbspezifischen Bildebenen auch chromatischen Farbkanälen (z. B. Schwarz-, Weiß- und Grautönen) oder anderen Farbkanälen wie Cyan, Violett usw. entsprechen.
Das Berechnen der Gauß'schen Radialbasisfunktionskerne kann auch das Berechnen einer Kernkovarianzmatrix (z. B. mathematische Beziehung (1)) basierend auf dem Analysieren lokaler Gradientenstrukturtensoren (z. B. mathematische Beziehung (2)) umfassen, die durch Ausrichten der farbspezifischen Bildebenen mit dem Bezugsframe erzeugt sind. In solchen Fällen können die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind. Des Weiteren, und ebenfalls als Teil von Block 504, kann das Berechnen der Robustheit das Verwenden eines statistischen Nachbarschaftsmodells umfassen, um für jedes Pixel eine mittlere und räumliche Farbstandardabweichung zu berechnen.
Bei Block 506 akkumuliert die Benutzervorrichtung 102 (z. B. der Prozessor 116, der die Befehle des Superauflösungsmanagers 120 ausführt) Farbebenen basierend auf den Superauflösungsberechnungen 302 des Blocks 504. Das Akkumulieren der Farbebenen kann umfassen, dass die Benutzervorrichtung Berechnungen ausführt (z. B. mathematische Beziehung (1)), die für jeden Farbkanal die Pixelbeiträge normalisieren (z. B. Beiträge jedes Pixels der in Block 502 erfassten mehreren Frames zu jedem Farbkanal normalisieren).
Bei Block 508 kombiniert die Benutzervorrichtung 102 die akkumulierten Farbebenen, um das Superauflösungsbild 122 der Szene zu erzeugen. Bei Block 510 rendert die Benutzervorrichtung 102 (z. B. die Anzeige 114) das Superauflösungsbild 122 der Szene.
Obwohl das beispielhafte Verfahren 500 von 5 im Zusammenhang mit dem Ausführen durch die Benutzervorrichtung 102 von 1 beschrieben ist, können Operationen innerhalb des beispielhaften Verfahrens 500 (oder Teile der Operationen) durch eine oder mehrere andere Vorrichtungen mit Rechenfähigkeiten ausgeführt werden, wie z. B. einen Server oder eine Cloud-Computing-Vorrichtung, die Befehle (oder Teile von Befehlen) des Superauflösungsmanagers 120 umfassen. Die Benutzervorrichtung 102 kann z. B. die mehreren Frames des Bildes der Szene (z. B. Block 502) erfassen und die mehreren Frames übertragen oder mit einem Server oder einer Cloud-Computing-Vorrichtung gemeinsam nutzen. Solch ein Server oder solch eine Cloud-Computing-Vorrichtung kann die Superauflösungsberechnungen (z. B. die Blöcke 504 und 506) Ausführen, die Farbebenen akkumulieren (z. B. Block 508) und das Superauflösungsbild der Szene zurück an die Benutzervorrichtung 102 übertragen.
6 veranschaulicht beispielhafte Aspekte eines Verfahrens 600 zur Bereitstellung von Farbebenen an eine Vorrichtung. Das Verfahren 600 wird in Form eines Satzes von Blöcken 602 beschrieben 610 beschrieben, welche die Operationen spezifizieren, die ausgeführt werden können. Die Operationen sind jedoch nicht notwendigerweise auf die in 6 gezeigte oder hierin beschriebene Reihenfolge beschränkt, denn die Operationen können in alternativen Reihenfolgen, auf vollständig oder teilweise überlappende Weise oder in iterativer Weise implementiert werden. Des Weiteren können die Operationen des Verfahrens 600 durch die Benutzervorrichtung 102 von 1 ausgeführt werden.
Bei Block 602 berechnet die Benutzervorrichtung 102 (z. B. der Prozessor 116, der die Befehle des Superauflösungsmanagers 120 ausführt) Gauß'sche Radialbasisfunktionskerne (RBF-Kerne). Die Berechnung der Gauß'schen RBF-Kerne umfasst mehrere Aspekte, einschließlich des Auswählens eines Bezugsframes und der Berechnung einer Kovarianzmatrix.
Die Berechnung der Kernkovarianzmatrix (z. B. die mathematische Beziehung (1)) basiert auf dem Analysieren lokaler Gradientenstrukturtensoren (z. B. die mathematische Beziehung (2)), wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind.
In einigen Fällen können bei Block 602 die mehreren Frames des Bildes der Szene 202 aufgrund einer Bewegung einer Bilderfassungsvorrichtung während der Erfassung der mehreren Frames 202 entsprechende, relative Sub-Pixel-Offsets des Bildes über die mehreren Frames hinweg aufweisen. Des Weiteren, und in einigen Fällen, kann die Bewegung der Bilderfassungsvorrichtung einer Bewegung entsprechen, die von einem Benutzer der Bilderfassungsvorrichtung ausgeführt wurde. Die Bewegung kann in einigen Fällen einer natürlichen Handbewegung.
Bei Block 604 berechnet die Benutzervorrichtung 102 ein Robustheitsmodell. Das Berechnen des Robustheitsmodells umfasst das Verwenden eines statistischen Nachbarschaftsmodells für eine mittlere und räumliche Farbstandardabweichung.
Bei Block 606 bestimmt die Benutzervorrichtung 102 Farbebenen. Die Benutzervorrichtung 102 kann die Bestimmung basierend auf den berechneten Gauß'schen Radialbasisfunktionskernen und dem berechneten Robustheitsmodell vornehmen, um den Beitrag jedes Pixels zu den Farbebenen zu bestimmen.
Bei Block 608 akkumuliert die Benutzervorrichtung 102 die Farbebenen. Das Akkumulieren der Farbebenen kann Normalisierungsberechnungen umfassen (z. B. unter Verwendung der mathematischen Beziehung (1)).
Bei Block 610 stellt die Benutzervorrichtung 102 die Farbebenen an die Vorrichtung bereit. In einigen Fällen umfasst das Bereitstellen der Farbebenen an die Vorrichtung auch das Bereitstellen der Farbebenen an die Vorrichtung zur Speicherung (z. B. Speicherung in einem computerlesbaren Medium der Vorrichtung). In anderen Fällen umfasst das Bereitstellen der Farbebenen an die Vorrichtung auch das Bereitstellen der Farbebenen an die Vorrichtung zum Kombinieren und Rendern der Farbebenen.
Obwohl Superauflösungssysteme und -verfahren unter Verwendung von Handbewegungen, die auf eine Benutzervorrichtung angewandt werden, in einer für Merkmale und/oder Verfahren spezifischen Sprache beschrieben wurden, versteht es sich, dass der Gegenstand der angefügten Ansprüche nicht zwangsläufig auf die beschriebenen spezifischen Merkmale oder Verfahren beschränkt ist. Vielmehr werden die spezifischen Merkmale und Verfahren als beispielhafte Möglichkeiten offenbart, wie eine Superauflösung unter Verwendung einer Handbewegung, die auf eine Benutzervorrichtung angewandt wird, implementiert werden kann.
Es gibt viele Variationen von Superauflösungssystemen und -Verfahren unter Verwendung einer Handbewegung, die wie beschrieben auf eine Benutzervorrichtung angewendet wird. Als eine erste Beispielvariante können Superauflösungsberechnungen Tiefenkarten oder andere Ebenen erzeugen (und akkumulieren), die nicht mit einer bestimmten Farbe verbunden sind. Als zweite Beispielvariante können Superauflösungsberechnungen auf anderen Sampling-Mustern als den Gauß'schen RBF-Sampling-Mustern beruhen. Als dritte Beispielvariante können Superauflösungsberechnungen auf Offsets beruhen, die Verschiebungsfeldern anstelle von Sub-Pixel-Offsets entsprechen. Und als vierte Beispielvariante können Superauflösungsberechnungen auf einer Bewegung beruhen, die nicht durch Handbewegungen bewirkt ist (z. B. können beispielsweise kleine Bewegungen eines Bildes notwendige Sub-Pixel-Offsets oder -Verschiebungen erzeugen, um die Superauflösungsberechnungen auszuführen).
Zusätzlich zu den vorstehenden Beschreibungen können einem Benutzer Bedienelemente bereitgestellt werden, die es ihm ermöglichen, eine Entscheidung darüber zu treffen, ob und wann hierin beschriebene Systeme, Programme oder Merkmale die Sammlung von Benutzerinformationen (z. B. von einem Benutzer erfasste Bilder, von einem System berechnete Superauflösungsbilder, Informationen über das soziale Netzwerk eines Benutzers, soziale Aktionen oder Aktivitäten, den Beruf, die Vorlieben eines Benutzers oder den aktuellen Standort eines Benutzers) ermöglichen, und ob dem Benutzer Inhalt oder Kommunikationen von einem Server gesendet werden. Außerdem können bestimmte Daten auf eine oder mehrere Arten behandelt werden, bevor sie gespeichert oder verwendet werden, sodass personenbezogene Informationen entfernt sind. Eine Benutzeridentität kann beispielsweise so behandelt werden, dass keine persönlichen identifizierbaren Informationen für den Benutzer bestimmt werden können, oder ein Standort des Benutzers kann verallgemeinert werden, wobei Standortinformationen entnommen werden (wie beispielsweise eine Stadt, Postleitzahl oder Bundesland), sodass ein bestimmter Standort eines Benutzers nicht festgestellt werden kann. Daher kann der Benutzer Kontrolle darüber haben, welche Informationen über den Benutzer gesammelt werden, wie diese Informationen verwendet werden und welche Informationen an den Benutzer bereitgestellt werden.
Im Folgenden werden einige Beispiele beschrieben.
Beispiel 1: Ein Verfahren zum Rendern eines Superauflösungsbildes einer Szene, wobei das Verfahren von einer Benutzervorrichtung ausgeführt wird und umfasst: Erfassen, in einer Burst-Sequenz, mehrerer Frames eines Bildes einer Szene, wobei die mehreren Frames aufgrund einer Bewegung der Benutzervorrichtung während des Erfassens der mehreren Frames entsprechende relative Sub-Pixel-Offsets des Bildes aufweisen; Ausführen von Superauflösungsberechnungen unter Verwendung der erfassten mehreren Frames, wobei die Superauflösungsberechnungen umfassen: Berechnen von Gauß'schen Radialbasisfunktionskernen; und Berechnen eines Robustheitsmodells; Akkumulieren von Farbebenen, basierend auf den Superauflösungsberechnungen; Kombinieren der akkumulierten Farbebenen, um das Superauflösungsbild der Szene zu erzeugen; und Rendern des Superauflösungsbildes der Szene.
Beispiel 2: Das Verfahren nach Beispiel 1, wobei das Ausführen der Superauflösungsberechnungen Beiträge von Pixeln der mehreren Frames des Bildes der Szene zu den Farbebenen bestimmt.
Beispiel 3: Das Verfahren nach Beispiel 1 oder 2, wobei die Bewegung der Benutzervorrichtung einer natürlichen Handbewegung entspricht, die ein Benutzer der Benutzervorrichtung während der Burst-Sequenz ausgeführt hat.
Beispiel 4: Das Verfahren nach den Beispielen 1 bis 3, wobei das Ausführen der Superauflösungsberechnungen das Filtern von Pixelsignalen von jedem der mehreren Frames, um farbspezifische Bildebenen für entsprechende Farbkanäle zu erzeugen, umfasst.
Beispiel 5: Das Verfahren nach Beispiel 4, wobei das Ausführen der Superauflösungsberechnungen das Ausrichten der farbspezifischen Bildebenen mit einem Bezugsframe umfasst.
Beispiel 6: Das Verfahren nach einem der Beispiele 4 bis 5, wobei die entsprechenden Farbkanäle einem roten Farbkanal, einem blauen Farbkanal und einem grünen Farbkanal entsprechen.
Beispiel 7: Das Verfahren nach einem der Beispiele 5 bis 6, wobei das Berechnen der Gauß'schen Radialbasisfunktionskerne das Berechnen einer Kernkovarianzmatrix basierend auf dem Analysieren lokaler Gradientenstrukturtensoren von farbspezifischen Bildebenen, die mit dem Bezugsframe ausgerichtet sind, umfasst.
Beispiel 8: Das Verfahren nach einem der Beispiele 1 bis 7, wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind.
Beispiel 9: Das Verfahren nach den Beispielen 1 bis 8, wobei für das Berechnen des Robustheitsmodells ein statistisches Nachbarschaftsmodell verwendet wird, um eine räumliche Farbstandardabweichung oder eine mittlere Differenz zu berechnen.
Beispiel 10: Ein Verfahren zum Bereitstellen von Farbebenen an eine Vorrichtung, wobei das Verfahren umfasst: Berechnen von Gauß'schen Radialbasisfunktionskernen, wobei das Berechnen der Gauß'schen Radialbasisfunktionskerne umfasst: Auswählen eines Bezugsframes; und Berechnen einer Kernkovarianzmatrix basierend auf dem Analysieren lokaler Gradientenstrukturtensoren, wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind; und Berechnen eines Robustheitsmodells, wobei das Berechnen des Robustheitsmodells die Verwendung eines statistischen Nachbarschaftsmodells umfasst, um eine mittlere und räumliche Farbstandardabweichung zu berechnen; Bestimmen, basierend auf den berechneten Gauß'schen Radialbasisfunktionskernen und dem berechneten Robustheitsmodell, von Beiträgen von Pixeln zu Farbebenen; Akkumulieren der Farbebenen; und Bereitstellen der akkumulierten Farbebenen an die Vorrichtung.
Beispiel 11: Das Verfahren nach Beispiel 10, wobei das Bereitstellen der akkumulierten Farbebenen das Bereitstellen der akkumulierten Ebenen an die Vorrichtung zum Speichern umfasst.
Beispiel 12: Das Verfahren nach Beispiel 10 oder 11, wobei das Bereitstellen der akkumulierten Farbebenen an die Vorrichtung das Bereitstellen der akkumulierten Farbebenen an die Vorrichtung, um ein Superauflösungsbild zu kombinieren und zu rendern, umfasst.
Beispiel 13: Eine Benutzervorrichtung, wobei die Benutzervorrichtung umfasst: einen oder mehrere Bildsensoren; einen oder mehrere Prozessoren; eine Anzeige; und ein computerlesbares Medium, das Befehle einer Superauflösungsmanageranwendung umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt wird, die Benutzervorrichtung anweist zum: Erfassen, in einer Burst-Sequenz unter Verwendung des einen oder der mehreren Bildsensoren, mehrerer Frames eines Bildes einer Szene, wobei die mehreren Frames entsprechende relative Offsets des Bildes über die mehreren Frames hinweg aufweisen; Ausführen, unter Verwendung des einen oder der mehreren Prozessoren, von Superauflösungsberechnungen unter Verwendung der erfassten mehreren Frames des Bildes der Szene; Akkumulieren von Ebenen unter Verwendung des einen oder der mehreren Prozessoren und basierend auf den Superauflösungsberechnungen; Kombinieren, unter Verwendung des einen oder der mehreren Prozessoren, der akkumulierten Ebenen, um ein Superauflösungsbild der Szene zu erzeugen; und Rendern, unter Verwendung der Anzeige, des Superauflösungsbildes der Szene.
Beispiel 14: Die Benutzervorrichtung nach Beispiel 13, wobei der eine oder die mehreren Prozessoren mehrere, unterschiedliche Prozessoren sind und eine Zentraleinheit, eine Bildverarbeitungseinheit, einen Digitalsignalprozessor oder eine Grafikverarbeitungseinheit umfassen.
Beispiel 15: Die Benutzervorrichtung nach Beispiel 13 oder 14, wobei der eine oder die mehreren Prozessoren, welche die mehreren unterschiedlichen Prozessoren sind, die Superauflösungsberechnungen unter Verwendung von Pipelineverarbeitung ausführen.
Beispiel 16: Ein System, das ein Mittel zum Ausführen eines der in den Beispielen 1 bis 9 beschriebenen Verfahren umfasst.
Beispiel 17: Ein System, das ein Mittel zum Ausführen eines der in den Beispielen 10 bis 12 beschriebenen Verfahren umfasst.
Beispiel 19: Ein computerlesbares Speichermedium, das Befehle umfasst, die bei Ausführung einen Prozessor konfigurieren, eines der in den Beispielen 1 bis 9 beschriebenen Verfahren auszuführen.
Beispiel 20: Ein computerlesbares Speichermedium, das Befehle umfasst, die bei Ausführung einen Prozessor konfigurieren, eines der in den Beispielen 10 bis 12 beschriebenen Verfahren auszuführen.
Beispiel 21: Eine Benutzervorrichtung, die konfiguriert ist, das Verfahren nach einem der Beispiele 1 bis 9 auszuführen.
Beispiel 22: Eine Benutzervorrichtung, die konfiguriert ist, das Verfahren nach einem der Beispiele 10 bis 12 auszuführen.

Claims

Verfahren zum Rendern eines Superauflösungsbildes einer Szene, wobei das Verfahren von einer Benutzervorrichtung ausgeführt wird und umfasst: Erfassen, in einer Burst-Sequenz, von mehreren Frames eines Bildes einer Szene, wobei die mehreren Frames entsprechende relative Sub-Pixel-Offsets des Bildes aufgrund einer Bewegung der Benutzervorrichtung während des Erfassens der mehreren Frames aufweisen; Ausführen von Superauflösungsberechnungen unter Verwendung der erfassten mehreren Frames, wobei die Superauflösungsberechnungen umfassen: Berechnen von Gauß'schen Radialbasisfunktionskernen; und Berechnen eines Robustheitsmodells; Akkumulieren von Farbebenen basierend auf den Superauflösungsberechnungen; Kombinieren der akkumulierten Farbebenen, um das Superauflösungsbild der Szene zu erzeugen; und Rendern des Superauflösungsbildes der Szene.
Verfahren nach Anspruch 1, wobei das Ausführen der Superauflösungsberechnungen Beiträge von Pixeln der mehreren Frames des Bildes der Szene zu den Farbebenen bestimmt.
Verfahren nach Anspruch 1, wobei die Bewegung der Benutzervorrichtung einer natürlichen Handbewegung entspricht, die ein Benutzer der Benutzervorrichtung während der Burst-Sequenz ausgeführt hat.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Ausführen der Superauflösungsberechnungen das Filtern von Pixelsignalen von jedem der mehreren Frames umfasst, um farbspezifische Bildebenen für entsprechende Farbkanäle zu erzeugen.
Verfahren nach Anspruch 4, wobei das Ausführen der Superauflösungsberechnungen das Ausrichten der farbspezifischen Bildebenen mit einem Bezugsframe umfasst.
Verfahren nach einem der Ansprüche 4 bis 5, wobei die entsprechenden Farbkanäle einem roten Farbkanal, einem blauen Farbkanal und einem grünen Farbkanal entsprechen.
Verfahren nach einem der Ansprüche 5 bis 6, wobei das Berechnen der Gauß'schen Radialbasisfunktionskerne das Berechnen einer Kernkovarianzmatrix basierend auf dem Analysieren lokaler Gradientenstrukturtensoren von farbspezifischen Bildebenen, die mit dem Bezugsframe ausgerichtet sind, umfasst.
Verfahren nach Anspruch 7, wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind.
Verfahren nach einem der Ansprüche 1 bis 8, wobei für das Berechnen des Robustheitsmodells ein statistisches Nachbarschaftsmodell verwendet wird, um eine räumliche Farbstandardabweichung oder eine mittlere Differenz zu berechnen.
Verfahren zum Bereitstellen von Farbebenen an eine Vorrichtung, wobei das Verfahren umfasst: Berechnen von Gauß'schen Radialbasisfunktionskernen, wobei das Berechnen der Gauß'schen Radialbasisfunktionskerne umfasst: Berechnen eines Bezugsframes; und Berechnen einer Kernkovarianzmatrix basierend auf dem Analysieren lokaler Gradientenstrukturtensoren, wobei die lokalen Gradientenstrukturtensoren Kanten, Ecken oder texturierten Inhaltsbereichen entsprechen, die in dem Bezugsframe umfasst sind; und Berechnen eines Robustheitsmodells, wobei das Berechnen des Robustheitsmodells das Verwenden eines statistischen Nachbarschaftsmodells umfasst, um eine mittlere und räumliche Farbstandardabweichung zu berechnen; Bestimmen, basierend auf den berechneten Gauß'schen Radialbasisfunktionskernen und dem berechneten Robustheitsmodell, von Beiträgen von Pixeln zu Farbebenen; Akkumulieren der Farbebenen; und Bereitstellen der akkumulierten Farbebenen an die Vorrichtung.
Verfahren nach Anspruch 10, wobei das Bereitstellen der akkumulierten Farbebenen das Bereitstellen der akkumulierten Ebenen an die Vorrichtung zum Speichern umfasst.
Verfahren nach Anspruch 10 oder 11, wobei das Bereitstellen der akkumulierten Farbebenen an die Vorrichtung das Bereitstellen der akkumulierten Farbebenen an die Vorrichtung, um ein Superauflösungsbild zu kombinieren und zu rendern, umfasst.
Benutzervorrichtung, wobei die Benutzervorrichtung umfasst: einen oder mehrere Bildsensoren; einen oder mehrere Prozessoren; eine Anzeige; und ein computerlesbares Medium, das Befehle einer Superauflösungsmanageranwendung umfasst, die bei Ausführung durch den einen oder die mehreren Prozessoren, die Benutzervorrichtung anweisen zum: Erfassen, in einer Burst-Sequenz unter Verwendung des einen oder der mehreren Bildsensoren, von mehreren Frames eines Bildes einer Szene, wobei die mehreren Frames entsprechende relative Offsets des Bildes über die mehreren Frames hinweg aufweisen; Ausführen, unter Verwendung des einen oder der mehreren Prozessoren, von Superauflösungsberechnungen unter Verwendung der erfassten mehreren Frames des Bildes der Szene; Akkumulieren von Ebenen unter Verwendung des einen oder der mehreren Prozessoren und basierend auf den Superauflösungsberechnungen; Kombinieren, unter Verwendung des einen oder der mehreren Prozessoren, der akkumulierten Ebenen, um ein Superauflösungsbild der Szene zu erzeugen; und Rendern, unter Verwendung der Anzeige, des Superauflösungsbildes der Szene.
Benutzervorrichtung nach Anspruch 13, wobei der eine oder die mehreren Prozessoren mehrere, unterschiedliche Prozessoren sind und eine Zentraleinheit, eine Bildverarbeitungseinheit, einen Digitalsignalprozessor oder eine Grafikverarbeitungseinheit umfassen.
Benutzervorrichtung nach Anspruch 13 oder 14, wobei der eine oder die mehreren Prozessoren, welche die mehreren unterschiedlichen Prozessoren sind, die Superauflösungsberechnungen unter Verwendung von Pipelineverarbeitung ausführen.