DE112017000500T5 - Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung - Google Patents

Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung Download PDF

Info

Publication number
DE112017000500T5
DE112017000500T5 DE112017000500.0T DE112017000500T DE112017000500T5 DE 112017000500 T5 DE112017000500 T5 DE 112017000500T5 DE 112017000500 T DE112017000500 T DE 112017000500T DE 112017000500 T5 DE112017000500 T5 DE 112017000500T5
Authority
DE
Germany
Prior art keywords
noise
image
value
input image
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112017000500.0T
Other languages
English (en)
Inventor
Jun Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE112017000500T5 publication Critical patent/DE112017000500T5/de
Granted legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

Es werden Techniken erörtert, die in Beziehung zur zeitlichen Rauschunterdrückung von Bildern stehen. Solche Techniken können beinhalten, einen Rauschfluss zu erzeugen, der einem Eingangsbild entspricht, und den Rauschfluss mit einem Referenzbild, das dem Eingangsbild entspricht, und einem räumlich rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu rekombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.

Description

  • PRIORITÄTSANSPRUCH
  • Diese Anmeldung beansprucht die Priorität zur US-Patentanmeldung mit der Serien-Nr. 15/078,735, eingereicht am 23. März 2016 mit dem Titel „MOTION ADAPTIVE STREAM PROCESSING FOR TEMPORAL NOISE REDUCTION“, die unter Bezugnahme in ihrer Gesamtheit aufgenommen wird.
  • HINTERGRUND
  • In den Kontexten der Bildverarbeitung, speziell bei schlechten Lichtbedingungen, reduziert die räumliche Rauschreduzierung möglicherweise nicht exakt das Rauschen, weil es schwierig ist, Detail und Rauschen zu unterscheiden. Die Verwendung von starker räumlicher Rauschunterdrückung (SPNR, Spatial Noise Reduction) kann entweder zu einem verschwommenen Bild mit Detailverlust oder zu einem verrauschten Bild führen. Unter solchen Bedingungen kann die zeitliche Rauschunterdrückung (TNR, Temporal Noise Reduction) eine höhere Bild- und/oder Videoqualität bereitstellen.
  • Allerdings kann die zeitliche Rauschunterdrückung Schwierigkeiten haben, Rauschen für sich schnell bewegende Objekte und/oder für verdeckte Bereiche (z. B. Bildbereiche, die in einem vorherigen Bild verstellt gewesen sind und in einem aktuellen Bild freigelegt werden) zu unterdrücken. Solche sich schnelle bewegenden Objekte und/oder verdeckten Bereiche weisen möglicherweise keine guten Entsprechungen im Referenzbild auf, was für Schwierigkeiten beim Anwenden von zeitlicher Rauschunterdrückung sorgt.
  • Es kann von Vorteil sein, verbesserte zeitliche Rauschunterdrückung für Bilder durchzuführen, was die Bildqualität verbessern kann, indem das Rauschen in statischen Bereichen (z. B. in denjenigen Bildbereichen, die sich im aktuellen Bild gegenüber dem/den vorherigen Bild(ern) nicht ändern), in bewegten Bereichen (z. B. in denjenigen Bildbereichen, die sich im aktuellen Bild gegenüber dem/den vorherigen Bild(ern) bewegen) und in verdeckten Bereichen (z. B. in Bildbereichen, die in einem vorherigen Bild verstellt waren und in einem aktuellen Bild freigelegt sind) unterdrückt wird, ohne den Detail-Level zu opfern. Im Hinblick auf diese und andere Erwägungen ergibt sich, dass die vorliegenden Verbesserungen benötigt wurden. Solche Verbesserungen können entscheidend werden, da der Wunsch zum Bereitstellen von Bildern hoher Qualität sich weiter verbreitet.
  • Figurenliste
  • Das vorliegend beschriebene Material ist in den beigefügten Figuren beispielhaft und nicht beschränkend veranschaulicht. Aus Gründen der Einfachheit und Klarheit der Darstellung sind Elemente, die in den Figuren veranschaulicht werden, nicht notwendigerweise maßstabsgetreu gezeichnet. Beispielsweise können die Abmessungen einiger Elemente relativ zu anderen Elementen der Klarheit halber übertrieben sein. Ferner werden, wo es als angebracht angesehen wird, Bezugskennzeichnungen unter den Figuren wiederholt, um entsprechende oder analoge Elemente anzuzeigen. In den Figuren:
    • 1 veranschaulicht ein beispielhaftes System zum Bereitstellen von zeitlicher Rauschunterdrückung;
    • 2 veranschaulicht beispielhafte Bilder zur Anwendung von zeitlicher Rauschunterdrückung;
    • 3 veranschaulicht eine beispielhafte Rauschentzerrungskomponente;
    • 4 veranschaulicht eine andere beispielhafte Rauschentzerrungskomponente;
    • 5 veranschaulicht beispielhafte Bewegungsinformationen;
    • 6 veranschaulicht einen beispielhaften Prozess zum Kombinieren eines Rauschflusses auf Basis von Bewegungsinformationen;
    • 7 veranschaulicht einen beispielhaften Prozess zum Bereitstellen von zeitlicher Rauschunterdrückung;
    • 8 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Bereitstellen von zeitlicher Rauschunterdrückung veranschaulicht;
    • 9 ist ein veranschaulichendes Diagramm für ein beispielhaftes System zum Bereitstellen von zeitlicher Rauschunterdrückung;
    • 10 ist ein veranschaulichendes Diagramm eines Beispielsystems; und
    • 11 veranschaulicht eine Beispieleinrichtung mit kleinem Formfaktor, gänzlich gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Ein oder mehrere Ausführungsformen oder Implementierungen werden nun unter Bezugnahme auf die angefügten Figuren beschrieben. Obgleich spezifische Konfigurationen und Anordnungen erörtert werden, versteht sich, dass dies lediglich veranschaulichenden Zwecken dient. Fachleute auf dem Gebiet werden erkennen, dass andere Konfigurationen und Anordnungen eingesetzt werden können, ohne vom Wesen und Schutzumfang der Beschreibung abzuweichen. Es wird Fachleuten auf dem Gebiet einleuchten, dass hier beschriebene Techniken und/oder Anordnungen auch in einer Vielzahl anderer als den hier beschriebenen Systemen und Anwendungen eingesetzt werden können.
  • Obgleich die folgende Beschreibung verschiedene Implementierungen darlegt, die in Architekturen manifestiert sein können, wie beispielsweise etwa System-auf-einem Chip-Architekturen bzw. SoC-Architekturen (SoC - System-on-a-Chip), sind Implementierungen der hier beschriebenen Techniken und/oder Anordnungen nicht auf bestimmte Architekturen und/oder Computingsysteme beschränkt und können durch eine beliebige Architektur und/oder ein beliebiges Computingsystem für ähnliche Zwecke implementiert werden. Beispielsweise können verschiedene Architekturen, die beispielsweise mehrere Integrierte-Schaltung(IC)-Chips und/oder -Packages einsetzen, und/oder verschiedene Computingeinrichtungen und/oder Unterhaltungselektronik(CE)-Geräte (CE - Consumer Electronics) einsetzen, wie etwa Multifunktionseinrichtungen, Tablets, Smartphones usw., die hier beschriebenen Techniken und/oder Anordnungen implementieren. Obgleich die folgende Beschreibung möglicherweise zahlreiche spezifische Details, wie etwa Logikimplementierungen, Arten und Zusammenhänge von Systemkomponenten, Logikpartitionierung/Integrationsauswahlen usw. darlegt, kann der beanspruchte Gegenstand des Weiteren ohne derartige spezifische Details ausgeübt werden. In anderen Fällen wird einiges Material, wie zum Beispiel Steuerungsstrukturen und vollständige Software-Befehlsabfolgen, möglicherweise nicht im Detail gezeigt, um das hier offenbarte Material nicht zu verschleiern.
  • Das hier offenbarte Material kann in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert sein. Das hier offenbarte Material kann auch als auf einem maschinenlesbaren Medium gespeicherte Befehle implementiert sein, die durch einen oder mehr Prozessoren gelesen und ausgeführt werden können. Ein maschinenlesbares Medium kann ein beliebiges Medium und/oder einen beliebigen Mechanismus zum Speichern oder Übertragen von Informationen in einer durch eine Maschine (z. B. eine Datenverarbeitungseinrichtung) lesbaren Form enthalten. Beispielsweise kann ein maschinenlesbares Medium Nur-Lese-Speicher (ROM - Read Only Memory), Direktzugriffsspeicher (RAM), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speicher-Einrichtungen, elektrische, optische, akustische oder andere Formen von sich ausbreitenden Signalen (z. B. Trägerwellen, Infrarotsignale, digitale Signale usw.) und anderes enthalten.
  • Bezugnahmen in der Patentschrift auf „genau eine Implementierung“, „eine Implementierung“, „eine Beispielimplementierung“ (oder „Ausführungsformen“, „Beispiele“ oder Ähnliches) usw. geben an, dass die beschriebene Implementierung ein besonderes Merkmal, eine besondere Struktur oder ein Charakteristikum enthalten kann, wobei allerdings möglicherweise nicht notwendigerweise jede Ausführungsform das besondere Merkmal, die besondere Struktur oder das Charakteristikum enthält. Darüber hinaus beziehen sich derartige Phrasen nicht notwendigerweise auf dieselbe Implementierung. Wenn ein besonderes Merkmal, eine besondere Struktur oder ein Charakteristikum in Verbindung mit einer Ausführungsform beschrieben wird, wird außerdem unterstellt, dass es im Kenntnisbereich einer Fachperson liegt, ein derartiges Merkmal, eine derartige Struktur oder ein derartiges Charakteristikum in Verbindung mit anderen Implementierungen zustande zu bringen, ob es hier nun explizit beschrieben wurde oder nicht.
  • Verfahren, Einrichtungen, Vorrichtungen, Computingplattformen und Gegenstände werden hier beschrieben, die sich auf bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung und insbesondere auf das Erzeugen und adaptive Anwenden eines Rauschflusses zur verbesserten zeitlichen Rauschunterdrückung beziehen.
  • Wie oben beschrieben wird, kann in Kontexten der Bildverarbeitung, speziell bei schlechten Lichtbedingungen, die zeitliche Rauschunterdrückung für verbesserte Bildqualität sorgen. Wie erörtert wird, können die hier erörterten Techniken für verbesserte zeitliche Rauschunterdrückung basierend auf dem Erzeugen und adaptiven Anwenden eines Rauschflusses sorgen. Solche Techniken können die Bildqualität verbessern, indem das Rauschen in statischen Bereichen (z. B. in denjenigen Bildbereichen, die sich im aktuellen Bild gegenüber dem/den vorherigen Bild(ern) nicht ändern), in bewegten Bereichen (z. B. in denjenigen Bildbereichen, die sich im aktuellen Bild gegenüber dem/den vorherigen Bild(ern) bewegen) und in verdeckten Bereichen (z. B. in Bildbereichen, die in einem vorherigen Bild verstellt waren und in einem aktuellen Bild freigelegt sind) unterdrückt wird, ohne den Detail-Level zu opfern.
  • In einigen Ausführungsformen kann ein Eingangsbild empfangen werden, und ein rauschunterdrücktes Bild kann basierend auf einer Rauschunterdrückung eines Eingangsbildes erzeugt werden. Das Eingangsbild kann ein beliebiges geeignetes Eingangsbild sein (z. B. ein Bild, ein Video-Frame oder Ähnliches), das demosaikiert worden ist oder das in einer Farbfilter-Array-Domäne ist (das z. B. nicht demosaikiert worden ist). Zum Beispiel kann das Eingangsbild ein RGB-Bild, ein YUV-Bild, ein Bild in einem beliebigen YUV-Variantenfarbraum oder Ähnliches sein. Die Rauschunterdrückung des Eingangsbildes kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken der räumlichen Rauschunterdrückung durchgeführt werden. Ein Rauschfluss, der dem Eingangsbild entspricht, kann basierend auf dem Eingangsbild und dem rauschunterdrückten Bild erzeugt werden. Zum Beispiel kann der Rauschfluss die Differenz zwischen dem rauschunterdrückten Bild und dem Eingangsbild sein. Der Rauschfluss kann eine beliebige geeignete Datenstruktur aufweisen. Zum Beispiel kann der Rauschfluss für jede Pixelposition entsprechend dem Eingangsbild Rauschwerte bereitstellen. Der Rauschfluss kann auf einen Luma-Kanal oder einen beliebigen Chroma-Kanal angewendet werden, wie hier erörtert wird.
  • Der Rauschfluss kann adaptiv mit einem Eingangsbild, einem Referenzbild entsprechend dem Eingangsbild (z. B. einem vorher zeitlich rauschunterdrückten Bild), dem rauschunterdrückten Bild und/oder einem räumlich rauschunterdrückten Bild, das auf Basis einer räumlichen Rauschunterdrückung des rauschunterdrückten Bildes erzeugt worden ist, kombiniert werden. Zum Beispiel können der Rauschfluss, das Referenzbild, das rauschunterdrückte Bild und das weiter rauschunterdrückte Bild unter Verwendung von gegenüber Bewegungsinformationen adaptiven Pixel-Blending-Techniken kombiniert werden, wie zum Beispiel lokale Bewegung oder Ähnliches entsprechend dem Eingangsbild. Solche Bewegungsinformationen können unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. Zum Beispiel kann der Rauschfluss gerade auf solche Bereiche angewendet werden, die wenig oder keine Bewegung zeigen, und der Rauschfluss kann zu denjenigen Bereichen abgeschwächt (oder überhaupt nicht angewendet) werden, die schnelle Bewegung oder keine Bewegungsentsprechung zeigen. Solche Techniken können vorteilhafterweise für geringes Rauschen (z. B. größere räumliche Rauschunterdrückung) für diejenigen Bereiche sorgen, die sich schnell bewegen oder die vorher verdeckt gewesen sind, weil der Rauschfluss für diese Bereiche und größeres Rauschen (z. B. mehr wahrgenommene Details) für diese Bereiche, die statisch sind, nicht wieder hinzugerechnet wird. Des Weiteren können solche Techniken dafür sorgen, dass stärkere räumliche Rauschunterdrückung vor der zeitlichen Rauschunterdrückung angewendet wird (z. B. vor der zeitlichen Rauschunterdrückungskomponente), um Rauschen in den sich bewegenden Bereichen zu unterdrücken, weil die verlorengegangenen Details für die statischen Bereiche wieder hinzugerechnet werden können.
  • Vor dem Kombinieren des Rauschflusses kann der Rauschfluss des Weiteren auf Basis einer oder mehrerer der Folgenden, einer lokalen Luminanz, die dem Eingangsbild entspricht, einer lokalen Chrominanz, die dem Eingangsbild entspricht, detektiertem Content, der dem Eingangsbild entspricht, einer Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes und/oder einer Nutzerpräferenz entzerrt und/oder angepasst werden. Zum Beispiel kann der Rauschfluss in Flächen geringerer Luminanz (z. B. kann das Rauschen in helleren Bereichen geringer als in dunklen Bereichen sein, und das Rauschen kann in dunklen Bereichen abgeschwächt werden) oder in Flächen geringerer Chrominanz, in kontrastärmeren Flächen (z. B. Flächen mit geringem detektiertem Content Level) und bei größeren Distanzen vom optischen Mittelpunkt des Eingangsbildes abgeschwächt werden, und der Rauschfluss kann in Flächen höherer Luminanz, in Bereichen höherer Chrominanz, in Texturflächen (z. B. Flächen mit hohem detektiertem Content Level) und bei geringeren Distanzen zum optischen Mittelpunkt des Eingangsbildes unverändert belassen oder verstärkt werden. Des Weiteren kann der Rauschfluss auf Basis einer Nutzerpräferenz abgeschwächt, unverändert belassen oder verstärkt werden.
  • Die hier erörterten Techniken können einen Rauschfluss einführen (z. B. ein Differenzsignal zwischen einem Eingang und Ausgang der räumlichen Rauschunterdrückung), der adaptiv zum lokalen Bewegungs-Level, zum Detail-Level, zu den Rauschcharakteristika (z. B. der Abhängigkeit des Rauschpegels von der lokalen Luminanz, Chrominanz und/oder der Radialdistanz vom optischen Mittelpunkt) und/oder zur Nutzerpräferenz wieder zum Bild hinzugerechnet werden kann. Solche Techniken können besonders unter schlechten oder extrem schlechten Lichtbedingungen von Vorteil sein. Die Charakteristika solcher schlechten oder extrem schlechten Lichtbedingungen können von den optischen Fähigkeiten der Bilderfassungseinrichtung abhängig sein, und zu ihnen können Lichtbedingungen unter 0,1 Lux, unter 1,0 Lux, unter 20 Lux oder Ähnliches zählen.
  • Die 1 veranschaulicht ein beispielhaftes System 100 zum Bereitstellen von zeitlicher Rauschunterdrückung, das gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Wie in der 1 gezeigt wird, kann das System 100 Folgendes enthalten: ein Rauschunterdrückungsmodul 101, ein Demosaikierungsmodul 102 und ein Modul 103 zur zeitlichen Rauschunterdrückung, das ein Content-Detektionsmodul 131, ein Modul 132 zur lokalen Bewegungsschätzung, ein Trajektorienabbruchmodul 133, ein Rauschentzerrungsmodul 134, ein Pixel-Blending-Modul 135 und ein Modul 136 zur räumlichen Rauschunterdrückung enthält. Das System 100 kann über eine beliebige geeignete Einrichtung implementiert werden, wie zum Beispiel einen Personal Computer, einen Laptop, ein Tablet, ein Phablet, ein Smartphone, eine Digitalkamera, eine Gaming-Console, eine tragbaren Einrichtung, eine Anzeigeeinrichtung, eine All-in-One-Einrichtung, eine Two-in-One-Einrichtung, eine Überwachungseinrichtung oder Ähnliches, oder über eine Plattform, wie zum Beispiel eine mobile Plattform oder Ähnliches. Wie hier verwendet, können ein System, eine Einrichtung, ein Computer oder eine Computingeinrichtung eine beliebige solche Einrichtung oder Plattform enthalten.
  • Das System 100 kann, wie ebenfalls gezeigt wird, das Eingangsrohbild 111 (z. B. über das Rauschunterdrückungsmodul 101) empfangen, und das System 100 kann ein Ausgangsbild 113 (z. B. über das Pixel-Blending-Modul 135 des Moduls 103 zur zeitlichen Rauschunterdrückung) bereitstellen, das als ein zeitlich rauschunterdrücktes Ausgangsbild oder Ähnliches charakterisiert werden kann. Das Rauschunterdrückungsmodul 101 kann ein einzelnes Luma-Rauschunterdrückungsmodul, ein Luma-Rauschunterdrückungsmodul und eines oder mehrere Chroma-Unterdrückungsmodule oder eines oder mehrere Chroma-Unterdrückungsmodule enthalten, abhängig vom Format des Eingangsrohbildes 111 und vom Kanal oder der Domäne, in der die Rauschunterdrückung implementiert wird (z. B. einem reinen Luma-Kanal, einem Luma-Kanal und einem oder mehreren Chroma-Kanälen oder einem oder mehreren Chroma-Kanälen). Das Eingangsrohbild 111 kann beliebige geeignete Bilddaten, Video-Frame-Daten oder Ähnliches in einer beliebigen geeigneten Domäne enthalten. Zum Beispiel kann das Eingangsrohbild 111 Daten aus einem Bildsensor oder aus einem Bildpräprozessor, der einen besonderen Farbwert für jede Pixelposition enthält, enthalten, so dass das Eingangsrohbild 111 in einer Farbfilter-Array-Domäne sein kann. Zum Beispiel kann das Eingangsrohbild 111 einen Rot-, Grün- oder Blauwert für jede Pixelposition gemäß einer Struktur eines Farbfilterraums enthalten. Obwohl es in Bezug darauf veranschaulicht wird, dass das Eingangsrohbild 111 ein Eingangsbild in einem Farbfilter-Array-Raum ist, kann das Eingangsrohbild 111 beliebige geeignete Bilddaten sein, wie zum Beispiel demosaikierte Bilddaten, Bilddaten im Rot-Grün-Blau- (RGB-) Farbraum, Bilddaten in einem Luma-Chrominanz-Farbraum, wie zum Beispiel dem YUV-Farbraum, einem YUV-Variantenfarbraum oder Ähnlichem. In einer Ausführungsform kann das Demosaikierungsmodul 102 vor dem Rauschunterdrückungsmodul 101 angewendet werden. In verschiedenen Beispielen kann das Eingangsrohbild 111 aus einer Kamera, einem Kamera-Array, einem Bildpräprozessor oder Ähnlichem empfangen werden.
  • Wie gezeigt wird, kann ein rauschunterdrücktes Bild (NRI, Noise Reduced Image) 141 auf Basis einer Rauschunterdrückung des Eingangsrohbildes 111 erzeugt werden. Die Rauschunterdrückung des Eingangsrohbildes 111 kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken durchgeführt werden. Zum Beispiel kann die Rauschunterdrückung des Eingangsrohbildes 111 auf Basis von Filtertechniken (z. B. lineares oder nichtlineares Filtern), anisotropen Diffusionstechniken, nichtlokalen Mittelwertbildungstechniken oder einer Kombination daraus durchgeführt werden. Wie ebenfalls gezeigt wird, kann auf Basis einer Differenz zwischen dem rauschunterdrückten Bild 141 und dem Eingangsrohbild 111, wie sie vom Differenzierer 104 bestimmt wird, ein Rauschfluss (NS, Noise Stream) 142 erzeugt werden. Der Rauschfluss 142 kann beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten. In einer Ausführungsform kann der Rauschfluss 142 einen Rauschwert für jede Pixelposition des Eingangsrohbildes 111, für Bereiche des Eingangsrohbildes 111 oder Ähnliches bereitstellen. In einer Ausführungsform kann der Rauschfluss 142 einen Rauschwert für jeden Farbkanal für jede Pixelposition eines Eingangsbildes bereitstellen. Der Rauschfluss 142 kann ein Hochfrequenzsignal enthalten, das Rausch- und Detailinformationen des Eingangsrohbildes 111 umfasst. Indem der Rauschfluss 142 bereitgestellt wird, kann das Rauschunterdrückungsmodul 101 das rauschunterdrückte Bild 141 mit weniger Rauschen bereitstellen, was für weniger unerwünschte Artefakte und/oder robustere Ergebnisse bei der späteren Verarbeitung sorgen kann, wie zum Beispiel dem Demosaikieren über das Demosaikierungsmodul 102, der lokalen Bewegungsschätzung über das Modul 132 zur lokalen Bewegungsschätzung und so weiter. Wie hier des Weiteren erörtert wird, können Details, die im Rauschfluss 142 enthalten sind, in späteren Stufen adaptiv wieder hinzugerechnet werden, um Details wiederzugeben, ohne die Verarbeitung über dazwischenliegende Module zu verschlechtern. Wie des Weiteren hier erörtert wird, kann der Rauschfluss 142 mit zeitlicher Rauschunterdrückung verwendet werden, um Rauschen in sich bewegenden oder verdeckten Bereichen zu reduzieren und die Details in statischen Bereichen zu verstärken, indem der Rauschfluss 142 adaptiv auf Basis der lokalen Bewegung des Eingangsrohbildes 111 angewendet wird.
  • Die 2 veranschaulicht beispielhafte Bilder 200 für die Anwendung von zeitlicher Rauschunterdrückung, die gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet sind. Wie erörtert wird, können die Bilder 200 beliebige geeignete Bilder, Fotos oder Video-Frames oder Ähnliches oder beliebige geeignete Daten, die Bilder, Fotos oder Video-Frames repräsentieren, enthalten. Zum Beispiel können die Bilder 200 ein beliebiges geeignetes Bild oder beliebige geeignete bildgebende Daten enthalten. Die Eingangsbilder 200 können in einem beliebigen geeigneten Format und/oder Farbraum sein. In dem veranschaulichten Beispiel können die Bilder 200 Bilder einer Innenraumumgebung enthalten; allerdings enthalten die Bilder 200 Bilder eines beliebigen geeigneten Motivs, einschließlich beliebiger geeigneter Gegenstände. Wie gezeigt wird, können die Bilder 200 ein Bild 201 und ein Bild 202 enthalten, so dass das Bild 202 auf das Bild 201 folgt. Die Bilder 201, 202 können ein sich bewegendes Objekt 211 und einen statischen Bereich 213 enthalten (z. B. die Bereiche außerhalb des sich bewegenden Objekts 211). Wie ebenfalls in Bezug auf das Bild 202 gezeigt wird, kann die Bewegung des sich bewegenden Objekts 211 (das sich z. B. nach oben und nach rechts bewegt hat) einen verdeckten Bereich bereitstellen, so dass der verdeckte Bereich 212 im Bild 201 durch das sich bewegende Objekt 211 verdeckt und im Bild 202 freigelegt wird.
  • Unter Verwendung der hier erörterten Techniken kann ein Rauschfluss (z. B. der Rauschfluss 142) adaptiv durch Pixel-Blending kombiniert werden, um ein Ausgangsbild von höherer Qualität zu erzeugen. Zum Beispiel kann Rauschen in Bezug auf das Bild 202 vorteilhafterweise in größerem Ausmaß auf den statischen Bereich 213 angewendet werden (z. B. diejenigen Bereiche mit minimaler oder ohne Bewegung). Das Bereitstellen von Rauschen im statischen Bereich 213, in dem, seit er statisch ist, zeitliche Rauschunterdrückung über mehrere Frames eingerichtet worden ist, kann Details bereitstellen. Weil zum Beispiel starke zeitliche Rauschunterdrückung in statischen Bereichen angewendet werden kann, wird mit mehr Rauschen zu einer Verbesserung des Detail-Levels in solchen Bereichen beigetragen. Des Weiteren kann Rauschen vorteilhafterweise in den Bereichen abgeschwächt werden (oder gar nicht angewendet werden), die dem sich bewegenden Objekt 211 im Bild 202 und im verdeckten Bereich 212 entsprechen, so dass räumliche Rauschunterdrückung (wie sie über andere Module der zeitlichen Rauschunterdrückung angewendet wird) für Glätten des Rauschens in diesen Bereichen sorgen kann.
  • Des Weiteren kann der Rauschfluss auf Basis der Merkmale des Bildes 202 entzerrt und/oder angepasst werden. Zum Beispiel kann der Rauschfluss in Flächen geringer lokaler Luminanz (wie sie durch lokale Luminanzmittelwertbildung bestimmt werden), in Flächen geringer lokaler Chrominanz (wie sie durch lokale Chrominanzmittelwertbildung bestimmt werden), in kontrastarmen Flächen (wie sie durch Content-Detektion bestimmt werden) und an Positionen in Radialdistanz von einem Mittelpunkt des Bildes 202 abgeschwächt werden. Solche Abschwächung kann von Vorteil sein, um Rauschen in dunklen Flächen (in denen das Rauschen häufig deutlicher hervortritt), in kontrastarmen Flächen (wo das Rauschen unerwünschte Artefakte bereitstellen kann) und in Flächen in Radialdistanz zu einem Bildmittelpunkt (in denen das Rauschen aufgrund von Linsen-Shading-Korrekturen deutlicher hervortreten kann) zu reduzieren. Gleichermaßen kann der Rauschfluss in Flächen hoher lokaler Luminanz (wie sie durch lokale Luminanzmittelwertbildung bestimmt werden, wobei Rauschen möglicherweise nicht so deutlich hervortritt), in Flächen hoher lokaler Chrominanz (wie sie durch lokale Chrominanzmittelwertbildung bestimmt werden), Texturflächen (wie sie durch Content-Detektion bestimmt werden, so dass mehr Details aufgrund von Rauschen bereitgestellt oder wahrgenommen werden können) und an Positionen in radialer Nähe zu einem Mittelpunkt des Bildes 202 (an denen Rauschen möglicherweise nicht so sehr durch Linsen-Shading-Korrektur beeinflusst wird) unverändert bleiben (oder verbessert werden).
  • Zurück zur 1: Wie erörtert wird, kann der Rauschfluss 142 in einem Farbfilter-Array-Raum oder in einem beliebigen anderen Farbraum sein. Zum Beispiel kann das Rauschunterdrückungsmodul 101 in einer frühen Stufe einer Bildverarbeitungs-Pipeline bereitgestellt werden (z. B. vor dem Demosaikierungsmodul 102), und das System 100 kann die Ergebnisse einer solchen Rauschunterdrückung nutzen, um den Rauschfluss 142 zu erzeugen. In anderen Beispielen kann das Demosaikieren vor der Rauschunterdrückung und der Differenzbildung durchgeführt werden, um den Rauschfluss 142 zu erzeugen. Wie erörtert wird, kann das Eingangsrohbild in einem beliebigen geeigneten Farbraum oder einer beliebigen geeigneten Farbdomäne sein. Des Weiteren kann, wie gezeigt wird, der Rauschfluss 142 als die Differenz von Rauschunterdrückungseingang und -ausgang bestimmt werden (z. B. einer Differenz zwischen dem Eingangsrohbild 111 und dem Rauschunterdrückungsbild 142). Der Rauschfluss kann in einem beliebigen geeigneten Farbraum oder in einer beliebigen geeigneten Farbdomäne sein. Der Rauschfluss kann rein in einem Luma-Kanal, in einem Luma-Kanal und einem oder mehreren Chroma-Kanälen oder in einem oder mehreren Chroma-Kanälen sein. Der Rauschfluss 142 kann dem Rauschentzerrungsmodul 134 bereitgestellt werden, das den Rauschfluss 142 entzerren oder anpassen kann, um einen entzerrten Rauschfluss 148 zu erzeugen, wie hier des Weiteren erörtert wird. Zum Beispiel kann das Rauschentzerrungsmodul 134 Abhängigkeiten im Rauschfluss 142 kompensieren. Des Weiteren kann das Pixel-Blending-Modul 135 adaptiv den rauschentzerrten Rauschfluss 148 mit dem Eingangssignal des Eingangsrohbildes 111 auf Basis der Bewegungsinformationen, wie sie durch das Modul 132 zur lokalen Bewegungsschätzung und/oder das Trajektorienabbruch-Detektionsmodul 133 bereitgestellt werden, rekombinieren, wie hier des Weiteren erörtert wird. Solches Rekombinieren des rauschentzerrten Rauschflusses 148 kann für einen Luma-Kanal des Eingangssignals des Eingangsbildes 111 und/oder einen Chroma-Kanal des Eingangssignals des Eingangsbildes 111 bereitgestellt werden. Zum Beispiel kann das System 100 ein Modul für räumliche Rauschunterdrückung für Luma und/oder eine räumliche Rauschunterdrückung für Chroma enthalten (z. B. über das Rauschunterdrückungsmodul 101). In einigen Ausführungsformen kann ein Chroma-Rauschfluss aus einem Eingang und dem Ausgang der räumlichen Rauschunterdrückung für Chroma genommen werden, wie in Bezug auf das Rauschunterdrückungsmodul 101 und den Differenzierer 104 erörtert wird. Die Luma- und Chroma-Rauschflüsse können separat verwendet werden, oder sie können zur Anwendung über das Pixel-Blending-Modul 135 nach der optionalen Verarbeitung durch das Rauschentzerrungsmodul 134 kombiniert werden.
  • Wie gezeigt wird, kann das rauschunterdrückte Bild 141 dem Demosaikierungsmodul 102 bereitgestellt werden. Das Demosaikierungsmodul 102 kann das rauschunterdrückte Bild 141 demosaikieren, um das Eingangsbild (II, Input Image) 143 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken zu erzeugen. Zum Beispiel kann das Demosaikierungsmodul 102 Farbwerte für jedes Pixel, dem ein besonderer Farbwert im rauschunterdrückten Bild 141 fehlt, interpolieren. Zum Beispiel können für diejenigen Pixel, die Blauwerte haben, bei denen jedoch ein Rot- und ein Grünwert fehlen, solche Rot- und Grünwerte bestimmt werden, für diejenigen Pixel, die Rotwerte haben, bei denen jedoch ein Blau- und ein Grünwert fehlen, können solche Blau- und Grünwerte bestimmt werden, und für diejenigen Pixel, die Grünwerte haben, bei denen jedoch ein Rot- und ein Blauwert fehlen, können solche Rot- und Blauwerte bestimmt werden. Des Weiteren kann das Demosaikierungsmodul 102 oder andere Module des Systems 100 Gamma-Korrektur, Farbkorrektur, Bildverbesserung oder Ähnliches bereitstellen, um das Eingangsbild 143 zu erzeugen. In einigen Ausführungsformen kann das Eingangsbild 143 zur weiteren Verarbeitung in einem anderen Farbraum bereitgestellt werden oder in einen anderen Farbraum konvertiert werden, wie zum Beispiel den YUV-Farbraum. Zum Beispiel kann das Eingangsbild 143 eine Luma- und Chrominanz-Komponenten enthalten. Wie erörtert wird, kann das Demosaikieren in einigen Ausführungsformen vor der Rauschunterdrückung durchgeführt werden, so dass das Rauschsignal 142 auf Basis eines demosaikierten und optional gammakorrigierten, farbkorrigierten und /oder bildverbesserten Bildes erzeugt werden kann.
  • Das Content-Detektionsmodul 131 kann das Eingangsbild 143 empfangen, und das Content-Detektionsmodul 131 kann Content-Detektion auf Basis des Eingangsbildes 143 durchführen, um den Detail-Level 144 zu erzeugen. Das Content-Detektionsmodul 131 kann Content-Detektion unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken durchführen, und der Detail-Level 144 kann beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten, die repräsentativ für den Content oder die Details des Eingangsbildes 111 sind. Zum Beispiel kann der Detail-Level 144 einen Wert für jede Pixelposition des Eingangsbildes 143 enthalten, der einen Detail-Level angibt, wobei hohe Werte Textur oder Kantenpixel oder -bereiche darstellen und niedrige Werte kontrastarme Bereiche darstellen. Wie erörtert wird, kann der Detail-Level 144 auf einer Basis Pixel für Pixel bereitgestellt werden. In einigen Beispielen kann der Detail-Level 144 auf einer Basis Bereich für Bereich bereitgestellt werden, so dass Bereiche des Eingangsbildes 143 durch einen einzigen Detail-Level-Wert dargestellt werden. Wie erörtert wird, kann der Detail-Level 144 beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten. In einigen Beispielen kann der Detail-Level 144 als Detailwerte, Content-Level-Werte, eine Content-Level-Zuordnung oder Ähnliches charakterisiert werden. Wie gezeigt wird, kann der Detail-Level 144 für das Rauschentzerrungsmodul 134 bereitgestellt werden, um den Rauschfluss 142 anzupassen, wie hier erörtert wird.
  • Das Modul 132 zur lokalen Bewegungsschätzung kann das Eingangsbild 143 und ein Referenzbild 112 (z. B. ein vorher rauschunterdrücktes Ausgangsbild, wie gezeigt wird) empfangen. Das Modul 132 zur lokalen Bewegungsschätzung kann die lokale Bewegung 145 auf Basis des Eingangsbildes 143 und des Referenzbildes 112 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugen. Zum Beispiel kann die lokale Bewegung 145 auf Basis von Blockentsprechungs-Techniken oder Ähnlichem erzeugt werden. Die lokale Bewegung 145 kann beliebige Daten oder Datenstrukturen enthalten, die für die lokale Bewegung im Eingangsbild 143 in Bezug auf das Referenzbild 112 repräsentativ sind. In einer Ausführungsform kann die lokale Bewegung 145 ein Bewegungsvektorfeld enthalten, das einen angenäherten Bewegungsvektor (der z. B. eine horizontale und eine vertikale Komponente aufweist) für jedes Pixel des Eingangsbildes 143 oder für Bereiche des Eingangsbildes 143 enthält. In einer Ausführungsform kann die lokale Bewegung 145 Bewegungswerte für Pixel oder Bereiche des Eingangsbildes 143 enthalten, die einen Schätzwert dafür darstellen, ob Bewegung im Eingangsbild 143 in Bezug auf das Referenzbild 112 vorhanden ist.
  • Wie gezeigt wird, kann die lokale Bewegung 145 (und, nach Bedarf, das Referenzbild 112 und das Eingangsbild 143) dem Pixel-Blending-Modul 135 und dem Trajektorienabbruch-Detektionsmodul 133 bereitgestellt werden, die die Bewegungsinformationen 146 erzeugen können. In einer Ausführungsform kann das Trajektorienabbruch-Detektionsmodul 133 Bewegung über Bilder verfolgen (z. B. über mehrere Eingangsbildinstanzen), um zu bestimmen, ob lokale Bewegung 145 bei speziellen Pixeln tatsächliche Bewegung oder fälschlich geschätzte Bewegung bereitstellt. Zum Beispiel kann das Modul 132 zur lokalen Bewegungsschätzung für ein spezielles Pixel oder einen speziellen Bereich einen Bewegungsvertrauenswert oder Ähnliches bereitstellen, der repräsentativ für das Vertrauensniveau ist, dass das Eingangsbild 143 und das Referenzbild 112 einander nach der Anwendung der lokalen Bewegung 145 ähnlich sind. Zum Beispiel kann in einigen Fällen eine beste Schätzung oder eine ähnlichste Entsprechung des Bewegungsvektors der lokalen Bewegung 145 eine fehlerhafte Entsprechung sein. Das Trajektorienabbruch-Detektionsmodul 133 kann, wie erörtert wird, Bewegung über Bilder verfolgen, und das Trajektorienabbruch-Detektionsmodul 133 kann eine beliebige Bewegung, die kein glattes Verfolgen über der Zeit aufweist (z. B. eine abgebrochene Bewegung), herausnullen oder anpassen, um solche Fehlentsprechungen zu beseitigen oder zu reduzieren. Zum Beispiel kann das Trajektorienabbruch-Detektionsmodul 133 die Detektion von verdeckten Bereichen im Eingangsbild 143 unterstützen. In Ausführungsformen, bei denen keine lokale Bewegung 145 verfügbar ist, können die Bewegungsinformationen 146 Werte bereitstellen, die ein Vertrauensniveau angeben, dass das Eingangsbild und das Referenzbild 112 einander ähnlich sind, ohne lokale Bewegung anzuwenden. In solchen Kontexten können die Bewegungsinformationen 146 hohe Werte für Positionen bereitstellen, an denen keine Bewegung vorhanden ist, und niedrigere Werte für Positionen, an denen Bewegung vorhanden ist.
  • Die Bewegungsinformationen 146 können beliebige Daten oder Datenstrukturen enthalten, die für die lokale Bewegung im Eingangsbild 143 in Bezug auf das Referenzbild 112 repräsentativ sind. Zum Beispiel können die Bewegungsinformationen 146 Bewegungsvertrauenswerte enthalten, die auf dem Eingangsbild 143 und dem Referenzbild 112 basieren, wie erörtert wird. In einigen Beispielen können die lokale Bewegung 145 und/oder die Bewegungsinformationen 146 als Bewegungsvektoren, ein Bewegungsvektorfeld, Bewegungswerte, lokale Bewegungsinformationen, eine Bewegungszuordnung, Bewegungsvertrauenswerte, lokale Bewegungsvertrauenszuordnungen oder Ähnliches charakterisiert werden. Wie gezeigt wird, können die lokale Bewegung 145 und/oder die Bewegungsinformationen 146 dem Pixel-Blending-Modul 135 zur adaptiven Anwendung des entzerrten Rauschflusses 148 bereitgestellt werden, wie hier erörtert wird.
  • Das Modul 136 zur räumlichen Rauschunterdrückung kann ebenfalls das Eingangsbild 143 empfangen, und das Modul 136 zur räumlichen Rauschunterdrückung kann die räumliche Rauschunterdrückung unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken bereitstellen, um das rauschunterdrückte Bild 147 bereitzustellen. Zum Beispiel kann die Rauschunterdrückung des Eingangsbildes 143 Filtertechniken (z. B. lineares oder nichtlineares Filtern), anisotrope Diffusionstechniken, nichtlokale Mittelwertbildungstechniken oder Ähnliches beinhalten. Solche räumliche Rauschunterdrückung des Eingangsbildes 143 im Modul 103 zur zeitlichen Rauschunterdrückung kann zusätzliches Glätten oder Rauschunterdrückung für sich schnell bewegende Bereiche oder verdeckte Bereiche bereitstellen. Des Weiteren kann der Rauschfluss 142 in statischen Bereichen erneut angewendet oder kombiniert werden, wie hier erörtert wird.
  • Wie erörtert wird, kann es von Vorteil sein, den Rauschfluss 142 zu entzerren und/oder anzupassen, um den entzerrten Rauschfluss 148 über das Rauschentzerrungsmodul 134 des Moduls 103 zur zeitlichen Rauschunterdrückung zu erzeugen. Solches Entzerren und/oder Anpassen des Rauschflusses 142 kann auf der lokalen Luminanz, der lokalen Chrominanz, dem detektierten Content, einer Radialdistanz von einem optischen Mittelpunkt, einer Nutzerpräferenz oder Ähnlichem basieren.
  • Die 3 veranschaulicht eine beispielhafte Rauschentzerrungskomponente 300, die gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Zum Beispiel kann die Rauschentzerrungskomponente 300 über das Rauschentzerrungsmodul 134 des Systems 100 implementiert werden. Wie gezeigt wird, kann die Rauschentzerrungskomponente 300 den Rauschfluss 142, das Eingangsbild 143 und den Detail-Level 144 empfangen, und die Rauschentzerrungskomponente 300 kann den entzerrten Rauschfluss 148 erzeugen.
  • Wie gezeigt wird, kann der Rauschfluss 142 durch das Luma-Konvertierungsmodul 301 empfangen werden, das einen Rauschfluss 142 in eine Luma-Domäne oder -Komponente konvertieren kann, um den Luma-Rauschfluss 311 zu generieren. Wie erörtert wird, kann der Rauschfluss 142 in einer Farbfilter-Array-Domäne, einer Farbdomäne oder Ähnlichem sein, und das Luma-Konvertierungsmodul 301 kann den Rauschfluss 142 in eine Luma-Domäne oder -Komponente konvertieren. In Beispielen, in denen der Rauschfluss 142 in der Luma-Domäne oder als eine Luma-Komponente bereitgestellt wird, kann das Luma-Konvertierungsmodul 301 übersprungen werden. Des Weiteren kann in Beispielen, in denen der Rauschfluss 142 in einer Chroma-Domäne implementiert wird, das Luma-Konvertierungsmodul 301 übersprungen werden. Das Luma-Konvertierungsmodul 301 kann den Rauschfluss 142 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken in einen Luma-Rauschfluss 311 konvertieren. In einer Ausführungsform kann das Luma-Konvertierungsmodul 301 ein Tiefpassfilter sein.
  • Wie ebenfalls gezeigt wird, kann das Eingangsbild 143 durch das Modul 302 zur lokalen Mittelwertbildung empfangen werden, das lokale Mittelwertbildung einer Luma-Komponente des Eingangsbildes 143 durchführen kann, um eine lokale Luma-Zuordnung 312 zu erzeugen. Wie erörtert wird, kann das Eingangsbild 143 in einer beliebigen geeigneten Farbdomäne sein. In einigen Beispielen kann das Eingangsbild 143 eine Luma-Komponente enthalten, und in anderen Beispielen kann das Eingangsbild 143 in eine Domäne konvertiert werden, die eine Luma-Komponente aufweist, oder eine Luma-Komponente kann extrahiert werden. Das Modul 302 zur lokalen Mittelwertbildung kann die lokale Luminanzzuordnung 312 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugen. Zum Beispiel kann das Modul 302 zur lokalen Mittelwertbildung eine lokale Mittelwertbildung in einem Fenster (z. B. ein Fenster von 2x2-Pixeln, so dass der lokale Mittelwert oder das lokale Mittel als µ2×2 charakterisiert werden kann) um jedes Pixel des Eingangsbildes 143 bereitstellen, um die lokale Luminanzzuordnung 312 zu erzeugen. In einer Ausführungsform ist das Modul 302 zur lokalen Mittelwertbildung möglicherweise nicht enthalten, und das Eingangsbild 143 kann als lokale Luminanzzuordnung 312 verwendet werden. Solche Ausführungsformen können vorteilhafterweise Rechenkomplexität und -kosten einsparen. Die lokale Luminanzzuordnung 312 kann beliebige Daten oder eine beliebige Datenstruktur enthalten, die repräsentativ für die lokale Luminanz des Eingangsbildes 143 sind, wie zum Beispiel einen lokalen mittleren Luminanzwert für jede Pixelposition des Eingangsbildes 143.
  • Die Luminanzzuordnung 312 kann dem Modul 322 zur lokalen Luminanzverstärkung bereitgestellt werden, das durch Anwenden einer lokalen Luminanz auf die Zuordnung 332 der lokalen Luminanzverstärkung die lokalen Luminanzverstärkungswerte (Gy) 342 erzeugen kann. Zum Beispiel kann das Modul 322 zur lokalen Luminanzverstärkung für jeden Pixelwert der lokalen Luminanzzuordnung 312 einen von der lokalen Luminanz abhängigen Verstärkungswert der lokalen Luminanzverstärkungswerte 342 durch Anwenden der Zuordnung 332 der lokalen Luminanzverstärkung erzeugen. Wie gezeigt wird, kann die Zuordnung 332 der lokalen Luminanzverstärkung für höhere Verstärkungswerte für Flächen höherer Luminanz (die z. B. niedrigere Luminanzwerte aufweisen, was höhere Luminanz angibt) und für niedrigere Verstärkungswerte für Flächen geringer Luminanz (die z. B. höhere Luminanzwerte aufweisen, was geringere Luminanz angibt) auf Basis einer konvexen Kurve sorgen, so dass der Rauschfluss 142 in Flächen geringerer Luminanz des Eingangsbildes 143 abgeschwächt werden kann (wo Rauschen z. B. schlechte Bildqualität bewirken kann). Die Zuordnung 332 der lokalen Luminanzverstärkung kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken angewendet werden, wie zum Beispiel einer Lookup-Tabelle, eines Bestimmungsschritts auf Basis einer Funktion oder Ähnlichem.
  • In Beispielen, in denen der Rauschfluss 142 einen Chroma-Rauschfluss enthält (z. B. zusätzlich oder alternativ zu einem Luma-Rauschfluss), kann das Eingangsbild 143 durch ein Modul zur lokalen Chroma-Mittelwertbildung (nicht dargestellt) empfangen werden, das lokale Mittelwertbildung einer Chroma-Komponente des Eingangsbildes 143 durchführen kann, um eine lokale Chrominanzzuordnung (nicht dargestellt) zu erzeugen, oder das Eingangsbild 143 kann als eine lokale Chrominanzzuordnung verwendet werden. Die lokale Chrominanzzuordnung kann beliebige Daten oder eine beliebige Datenstruktur enthalten, die repräsentativ für die lokale Chrominanz des Eingangsbildes 143 sind. Analog zur lokalen Luminanzzuordnung 312, dem Modul 322 zur lokalen Luminanzverstärkung und der Zuordnung 322 für die lokale Luminanzverstärkung kann die lokale Chrominanzzuordnung einem Modul zur lokalen Chrominanzverstärkung (nicht dargestellt) bereitgestellt werden, das durch Anwenden einer lokalen Chrominanzzuordnung (nicht dargestellt) die lokalen Chrominanzverstärkungswerte (nicht dargestellt) erzeugen kann. Zum Beispiel kann für jeden Pixelwert der lokalen Chrominanzzuordnung ein von der lokalen Chrominanz abhängiger Verstärkungswert bestimmt werden. Die Zuordnung der lokalen Luminanzverstärkung kann für niedrigere Verstärkungswerte für Flächen geringerer Chrominanz und für höhere Verstärkungswerte für Flächen höherer Chrominanz auf Basis einer konvexen Kurve sorgen, wie in Bezug auf die Zuordnung 332 der lokalen Luminanzverstärkung gezeigt wird, so dass der Rauschfluss 142 in Flächen geringerer Chrominanz des Eingangsbildes 143 abgeschwächt werden kann (wo Rauschen z. B. schlechte Bildqualität bewirken kann).
  • Des Weiteren kann der Detail-Level 144 über das Content-Detektionsmodul 131 empfangen werden (vergleiche 1). In einigen Beispielen kann die Rauschentzerrungskomponente 300 das Content-Detektionsmodul 131 oder Ähnliches implementieren, das den Detail-Level 144 oder die Content-Level-Zuordnung 313 erzeugen kann, wie hier erörtert wird. Wie gezeigt wird, kann der Detail-Level 144 in einigen Beispielen als Content-Level-Zuordnung 313 charakterisiert werden. In anderen Beispielen kann der Detail-Level 144 zum Erzeugen der Content-Level-Zuordnung 313 konvertiert werden. Die Content-Level-Zuordnung 313 kann beliebige Daten oder eine beliebige Datenstruktur enthalten, die repräsentativ für die Content Levels des Eingangsbildes 143 sind, wie zum Beispiel einen Wert des Detail- oder Content-Levels für jede Pixelposition des Eingangsbildes 143, so dass höhere Werte Textur, Kanten oder Ähnliches und niedrigere Werte kontrastarme Bereiche angeben.
  • Die Content-Level-Zuordnung 313 kann dem Modul 323 zur Content-Level-Verstärkung bereitgestellt werden, das durch Anwenden eines Content Levels auf die Zuordnung 333 zur Content-Level-Verstärkung die Content-Level-Verstärkungswerte (GCL ) 343 erzeugen kann. Zum Beispiel kann das Modul 323 zur Content-Level-Verstärkung für jeden Pixelwert der Content-Level-Zuordnung 313 einen vom Content Level abhängigen Verstärkungswert der Content-Level-Verstärkungswerte 343 durch Anwenden der Zuordnung 333 zur Content-Level-Verstärkung erzeugen. Wie gezeigt wird, kann die Zuordnung 333 der Content-Level-Verstärkung für höhere Verstärkungswerte für höhere Content-Level-Werte und für niedrigere Verstärkungswerte für niedrigere Content-Level-Werte auf Basis einer konkaven Kurve sorgen, die einen ebenen Abschnitt für niedrigere Content-Level-Werte aufweist, so dass der Rauschfluss 142 in Flächen geringerer Content Level des Eingangsbildes 143 (wo das Rauschen z. B. Artefakte bewirken kann) abgeschwächt werden und in Flächen höherer Content Level des Eingangsbildes 143 (wo z. B. Rauschen Details bereitstellen kann) unverändert gelassen oder verstärkt werden kann. Die Zuordnung 333 für die Content-Level-Verstärkung kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken angewendet werden, wie zum Beispiel einer Lookup-Tabelle, eines Bestimmungsschritts auf Basis einer Funktion oder Ähnlichem.
  • Auch kann das Radiusbestimmungsmodul 303 eine Radialdistanzzuordnung 314 erzeugen, die für eine Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes 143 sorgen kann. Das Radiusbestimmungsmodul 303 kann die Radialdistanzzuordnung 314 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugen. Zum Beispiel kann das Radiusbestimmungsmodul 303 die Radialdistanzzuordnung 314 auf Basis der optischen Systeme, die zum Erzeugen des Eingangsbildes 143 verwendet werden, oder Ähnlichem erzeugen. Die Radialdistanzzuordnung 314 kann beliebige Daten oder eine beliebige Datenstruktur enthalten, die repräsentativ für die Radialdistanz sind, wie zum Beispiel einen Distanzwert vom optischen Mittelpunkt für jede Pixelposition des Eingangsbildes 143.
  • Die Radialdistanzzuordnung 314 kann dem Radialdistanzverstärkungsmodul 324 bereitgestellt werden, das durch Anwenden einer Radialdistanz auf die Radialdistanzverstärkungszuordnung 334 die Radialdistanzverstärkungswerte (GR ) 344 erzeugen kann. Zum Beispiel kann das Radialdistanzverstärkungsmodul 324 für jeden Pixelwert der Radialdistanzzuordnung 314 einen von der Radialdistanz abhängigen Verstärkungswert der Radialdistanzverstärkungswerte 344 durch Anwenden der Radialdistanzverstärkungszuordnung 334 erzeugen. Wie gezeigt wird, kann die Radialdistanzverstärkungszuordnung 334 für höhere Verstärkungswerte für niedrigere Radialdistanzwerte und für niedrigere Verstärkungswerte für höhere Radialdistanzwerte sorgen, basierend auf einer flachen konkaven Kurve, so dass der Rauschfluss 142 bei Distanzen, die sich weiter vom optischen Mittelpunkt des Eingangsbildes 143 befinden, abgeschwächt werden kann (wo z. B. das Rauschen durch Linsen-Shading-Korrektur bewirkt werden kann). Die Radialdistanzverstärkungszuordnung 334 kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken angewendet werden, wie zum Beispiel einer Lookup-Tabelle, eines Bestimmungsschritts auf Basis einer Funktion oder Ähnlichem.
  • Wie gezeigt wird, können die Luminanzverstärkungswerte 342 und/oder die Chrominanzverstärkungswerte, die Content-Level-Verstärkungswerte 343 und die Radialdistanzverstärkungswerte 344 durch die Multiplizierer 361 und 362 kombiniert werden, um die abschließenden Verstärkungswerte (G) 351 zu erzeugen. Die Luminanzverstärkungswerte 342 und/oder die Chrominanzverstärkungswerte, die Content-Level-Verstärkungswerte 343 können unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken kombiniert werden, wie zum Beispiel Multiplikation, wie gezeigt wird, oder anderen Techniken. Die abschließenden Verstärkungswerte 351 können beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten, wie zum Beispiel einen Verstärkungswert für jedes Pixel des Eingangsbildes 143. Des Weiteren können die abschließenden Verstärkungswerte 351 durch den Multiplizierer 363 auf den Luma-Rauschfluss 311 und/oder den Chroma-Rauschfluss angewendet werden. Die abschließenden Verstärkungswerte 351 können auf den Luma-Rauschfluss 311 und/oder einen Chroma-Rauschfluss unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken angewendet werden, wie zum Beispiel Multiplikation, wie gezeigt wird, oder anderer Techniken, um den entzerrten Rauschfluss 148 bereitzustellen. Der entzerrte Rauschfluss 148 kann einen Rauschwert für jedes Pixel des Eingangsbildes 143 enthalten. Obwohl dies in der 3 nicht gezeigt wird, kann des Weiteren über eine Zuordnung der Nutzerpräferenz und/oder einen Multiplizierer eine Verstärkung nach Nutzerpräferenz (z. B. eines Anwendungsnutzers oder eines Anwendungsentwicklers) auf den Rauschfluss 142 angewendet werden. Zum Beispiel kann eine Nutzerpräferenz auf jede Pixelposition angewendet werden, um Rauschen weiter abzuschwächen oder Ähnliches. Des Weiteren können die Nutzerpräferenzen durch Anpassen eines beliebigen der Folgenden, der Zuordnung 332 der lokalen Luminanzverstärkung, der Zuordnung 333 der Content-Level-Verstärkung, der Radialdistanzverstärkungszuordnung 334 oder Ähnlichem bereitgestellt werden.
  • Die 4 veranschaulicht eine andere beispielhafte Rauschentzerrungskomponente 400, die gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Zum Beispiel kann die Rauschentzerrungskomponente 400 über das Rauschentzerrungsmodul 134 des Systems 100 implementiert werden. Wie gezeigt wird, kann die Rauschentzerrungskomponente 400 den Rauschfluss 142, das Eingangsbild 143 und den Detail-Level 144 empfangen, und die Rauschentzerrungskomponente 400 kann den entzerrten Rauschfluss 148 erzeugen. Des Weiteren kann die Rauschentzerrungskomponente 400 das Modul 302 zur lokalen Mittelwertbildung, das Modul 322 zur lokalen Luminanzverstärkung, ein Modul zur lokalen Chrominanzmittelwertbildung (nicht dargestellt), ein Modul zur lokalen Chrominanzverstärkung (nicht dargestellt), das Modul 323 zur Content-Level-Verstärkung (und ein Content-Detektionsmodul oder eine Konvertierung zum Content-Level-Zuordnungsmodul, nach Bedarf), das Radiusbestimmungsmodul 303 und das Radialdistanzverstärkungsmodul 324 implementieren, die arbeiten können, wie hier in Bezug auf die 3 erörtert worden ist, um die Luminanzverstärkungswerte 342, die Chrominanzverstärkungswerte (nicht dargestellt), die Content-Level-Verstärkungswerte 343 und die Radialdistanz-Verstärkungswerte 344 zu erzeugen. Der Betrieb solcher Module wird der Kürze halber nicht wiederholt.
  • Des Weiteren kann, wie erörtert wird, der Rauschfluss 142 in einer Farbfilter-Array-Domäne sein. Wie gezeigt wird, kann das Beschneidungs-/Entkernungsmodul 401 den Rauschfluss 142 empfangen und Beschneiden und/oder Entkernen des Rauschflusses 142 bereitstellen und den sich ergebenden Fluss dem Modul 402 zur lokalen Mittelwertbildung bereitstellen, das einen lokalen Grünkanalmittelwert (LAG ) und einen lokalen Blaukanalmittelwert (LAB ) 411 erzeugen kann. Das Modul 402 zur lokalen Mittelwertbildung kann lokale Grünkanalmittelwerte und lokale Blaukanalmittelwerte 411 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugen. Zum Beispiel kann das Modul 302 zur lokalen Mittelwertbildung eine lokale Mittelwertbildung in einem Fenster (z. B. einem Fenster von 5x5-Pixeln, so dass der lokale Mittelwert oder das lokale Mittel als µ5×5 charakterisiert werden kann) um jede Position eines blauen Pixels des Rauschflusses 142 bereitstellen. Wie gezeigt wird, können die lokalen Grünkanalmittelwerte und die lokalen Blaukanalmittelwerte 411 dem Verstärkungserzeugungsmodul 403 bereitgestellt werden, das Blaukanalverstärkungswerte (GB ) 412 auf Basis der lokalen Grünkanalmittelwerte und der lokalen Blaukanalmittelwerte 411 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugen kann. In einer Ausführungsform können die Blaukanalverstärkungswerte (GB ) 412 auf Basis eines Verhältnisses der lokalen Grünkanalmittelwerte plus einem Konvertierungsfaktor zu den lokalen Blaukanalwerten plus dem Konvertierungsfaktor erzeugt werden (z. B. GB = (µG + ε) / (µB + ε), wobei µG und µB die lokalen Grün- bzw. Blaukanalmittelwerte sein können und ε der Konvertierungsfaktor sein kann). Zum Beispiel können die Blaukanalverstärkungswerte 412 den Rauschfluss 142 zu einem Blaukanal des Rauschflusses entzerren oder normalisieren.
  • Wie gezeigt wird, können die Blaukanalverstärkungswerte 412, die Luminanzverstärkungswerte 342, die Chrominanzverstärkungswerte (nicht dargestellt), die Content-Level-Verstärkungswerte 343 und die Radialdistanzverstärkungswerte 344 durch die Multiplizierer 461, 462 und 463 kombiniert werden, um die abschließenden Verstärkungswerte (G) 451 zu erzeugen. Die Blaukanalverstärkungswerte 412, die Luminanzverstärkungswerte 342, die Content-Level-Verstärkungswerte 343 und die Radialdistanzverstärkungswerte können unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken kombiniert werden, wie zum Beispiel Multiplikation, wie gezeigt wird, oder anderen Techniken. Die abschließenden Verstärkungswerte 451 können beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten, wie zum Beispiel einen Verstärkungswert für jedes Pixel des Eingangsbildes 143. Des Weiteren können die abschließenden Verstärkungswerte 451 durch den Multiplizierer 464 auf den Rauschfluss 142 angewendet werden. Die abschließenden Verstärkungswerte 451 können auf den Rauschfluss 142 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken angewendet werden, wie zum Beispiel Multiplikation, wie gezeigt wird, oder anderer Techniken, um den entzerrten Rauschfluss 148 bereitzustellen. Wie oben erörtert wird, kann der entzerrte Rauschfluss 148 einen Rauschwert für jedes Pixel des Eingangsbildes 143 enthalten. Obwohl dies in der 4 nicht gezeigt wird, kann des Weiteren über eine Zuordnung der Nutzerpräferenz und/oder einen Multiplizierer eine Verstärkung nach Nutzerpräferenz (z. B. eines Anwendungsnutzers oder eines Anwendungsentwicklers) auf den Rauschfluss 142 angewendet werden. Zum Beispiel kann eine Nutzerpräferenz auf jede Pixelposition angewendet werden, um Rauschen weiter abzuschwächen oder Ähnliches. Des Weiteren können die Nutzerpräferenzen durch Anpassen eines beliebigen der Folgenden, der Zuordnung 332 der lokalen Luminanzverstärkung, der Zuordnung 333 der Content-Level-Verstärkung, der Radialdistanzverstärkungszuordnung 334, oder Ähnlichem bereitgestellt werden.
  • Zurück zur 1: Wie gezeigt wird, kann das Pixel-Blending-Modul 135 den entzerrten Rauschfluss 148, das Eingangsbild 143, das Referenzbild 112, das rauschunterdrückte Bild 147, die lokale Bewegung 145 und die Bewegungsinformationen 146 empfangen. Das Pixel-Blending-Modul 135 kann den entzerrten Rauschfluss 148, das Eingangsbild 143, das Referenzbild 112 und/oder das rauschunterdrückte Bild 147 auf Basis der lokalen Bewegung 145 und/oder der Bewegungsinformationen 146 überlagern, um das Ausgangsbild 113 zu erzeugen, das als ein Ausgang des Systems 100 bereitgestellt und als ein Referenzbild für ein anschließendes Bild verwendet werden kann, das über das Eingangsrohbild 111 (falls überhaupt vorhanden) empfangen wird. Das Pixel-Blending-Modul 135 kann den entzerrten Rauschfluss 148, das Eingangsbild 143, das Referenzbild 112 und/oder das rauschunterdrückte Bild 147 auf Basis der lokalen Bewegung 145 und/oder der Bewegungsinformationen 146 unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken überlagern.
  • Zum Beispiel können, wie erörtert wird, die lokale Bewegung 145 und/oder die Bewegungsinformationen 146 Bewegungsinformationen auf einer Basis Pixel für Pixel oder Bereich für Bereich für das Eingangsbild 143 enthalten. Für diejenigen Pixel oder Bereiche, die geringe Bewegung (z. B. weniger als ein Schwellenwert) oder keine Bewegung aufweisen, kann der entzerrte Rauschfluss 148 mit einer vollen Gewichtung oder einer starken Gewichtung kombiniert werden. Für diejenigen Pixel oder Bereiche, die große Bewegung (z. B. größer als ein Schwellenwert) aufweisen, kann der entzerrte Rauschfluss 148 abgeschwächt oder gar nicht angewendet werden. Solche Techniken können einen Bewegungsschwellenwert anwenden und können den entzerrten Rauschfluss 148 auf Basis davon anwenden, ob ein Pixel oder ein Bereich oberhalb oder unterhalb des Schwellenwerts liegt. In anderen Beispielen kann der entzerrte Rauschfluss 148 abgeschwächt werden, wenn sich die Bewegung vergrößert, oder mehrere Schwellenwerte können angewendet werden.
  • Des Weiteren kann das Pixel-Blending-Modul 135 die Gewichtung zwischen dem Eingangsbild 143, dem Referenzbild 112 und dem rauschunterdrückten Bild 147 auswählen, zusätzlich zur Gewichtung oder Auswahl des entzerrten Rauschflusses 148. Zum Beispiel kann das Pixel-Blending-Modul 135 das Referenzbild 112 für Bereiche, in denen wenig oder keine Bewegung bestimmt wird, stärker gewichten und um das Referenzbild 112 für Bereiche abzuschwächen oder es gar nicht anzuwenden, in denen Bewegung vorhanden ist. Des Weiteren kann das Gewichten des Eingangsbildes 143 und des rauschunterdrückten Bildes 147 unabhängig von den Bewegungsinformationen 146 oder abhängig von den Bewegungsinformationen 146 bereitgestellt werden, so dass bei Bereichen mit großer Bewegung das rauschunterdrückte Bild 147 stärker gewichtet werden kann.
  • Wie erörtert wird, kann das Pixel-Blending-Modul 135 steuern, wie viel Rauschen (z. B. über den entzerrten Rauschfluss 148) dem Eingangsbild 143 wieder hinzugerechnet wird, um das Ausgangsbild 113 zu erzeugen. Zum Beispiel kann mehr Rauschen oder das gesamte verfügbare Rauschsignal auf statische Bereiche angewendet werden, und kein Rauschen oder eine abgeschwächte Menge des Rauschsignals kann auf sich schnell bewegende Bereiche und/oder verdeckte Bereiche angewendet werden.
  • Die 5 veranschaulicht beispielhafte Bewegungsinformationen 500, die gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet sind. Wie gezeigt wird, können die Bewegungsinformationen 500 statische Bereiche 501 (wie in der 5 durch Grau angegeben ist) und Bereiche mit großer Bewegung oder verdeckte Bereiche 502, 503 (wie in der 5 durch Schwarz angegeben ist) enthalten. Zum Beispiel können die Bereiche mit großer Bewegung oder die verdeckten Bereiche 502, 503 diejenigen Bereiche, für die kein Bewegungsvektor ermittelt werden konnte, diejenigen Bereiche, für die ein großer Bewegungsvektor, und diejenigen Bereiche, für die eine hohe Bewegungswahrscheinlichkeit bestimmt wurde, oder Ähnliches enthalten. Solche Bereiche ohne Bewegungsvektor können auf eine Verdeckung (z. B. konnte keine Entsprechung ermittelt werden, weil der Bereich neu freigelegt worden ist) oder auf schnelle Bewegung, bei der kein Bewegungsvektor innerhalb der Suchgrenzwerte ermittelt werden konnte, die durch die lokale Bewegungssuche bereitgestellt worden sind, zurückzuführen sein. Unter Bezugnahme auf die 1: Der entzerrte Rauschfluss 148 kann nicht auf die Bereiche mit großer Bewegung oder die verdeckten Bereiche 502, 503 angewendet werden (oder die Anwendung kann abgeschwächt werden), und der entzerrte Rauschfluss 148 kann auf die statischen Bereiche 501 angewendet werden.
  • Die 6 veranschaulicht einen beispielhaften Prozess 600 zum Kombinieren eines Rauschflusses auf Basis von Bewegungsinformationen, der gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Der Prozess 600 kann, wie in der 6 veranschaulicht wird, eine oder mehrere Operationen 601 - 609 beinhalten. Der Prozess 600 kann durch ein System (z. B. das System 100 oder beliebige andere Einrichtungen oder Systeme, die hier erörtert werden) durchgeführt werden, oder Teile des Prozesses 600 können durch ein System durchgeführt werden, um einen Rauschfluss mit einem Eingangsbild zu kombinieren, um ein Ausgangsbild zu erzeugen. Der Prozess 600 oder Teile davon können für eine beliebige Anzahl von Eingangsbildern, Video-Frames, Rauschflüsse oder Ähnliches wiederholt werden. Zum Beispiel kann der Prozess 600 ein zeitlich rauschunterdrücktes Ausgangsbild bereitstellen.
  • Wie gezeigt wird, kann der Prozess 600 mit der Operation 601 beginnen, wo der Prozess 600 mit dem Blending an einem speziellen Pixel oder einem speziellen Bereich beginnen oder fortfahren kann. Die Verarbeitung kann mit der Entscheidungsoperation 602 fortfahren, wo eine Bestimmung erfolgen kann, ob die lokale Bewegung für ein spezielles Pixel oder einen speziellen Bereich über einem Schwellenwert liegt. Der Schwellenwert kann ein beliebiger geeigneter vorbestimmter Schwellenwert oder ein heuristisch bestimmter Schwellenwert oder Ähnliches sein.
  • Falls die Menge an lokaler Bewegung größer als der Schwellenwert ist (oder in einigen Beispielen gleich dem Schwellenwert), kann die Verarbeitung mit der Operation 603 fortfahren, wo ein rauschunterdrücktes Bild beim Pixel-Blending stärker gewichtet werden kann. Zum Beispiel kann für Pixel oder Bereiche mit großer Bewegung ein räumlich rauschunterdrücktes Bild, das durch die zeitliche Rauschunterdrückungsverarbeitung erzeugt worden ist, stärker gewichtet werden, so dass solche Pixel oder Bereiche mehr Glättung und weniger Rauschen aufweisen können. Des Weiteren kann ein Referenzbild (z. B. das vorher zeitlich rauschunterdrückte Bild) in solchen Bereichen gar nicht verwendet werden, weil es dort keine Entsprechung zwischen dem aktuellen Bild und dem Referenzbild gibt.
  • Die Verarbeitung kann mit der Operation 604 fortfahren, wo ein Rauschfluss abgeschwächt oder auf null reduziert werden kann. Zum Beispiel kann für Pixel oder Bereiche mit großer Bewegung ein erzeugter Rauschfluss oder ein entzerrter Rauschfluss gering angewendet werden oder gar nicht angewendet werden, so dass für solche Pixel oder Bereiche mit großer Bewegung ein glatteres Bild und weniger Rauschen bereitgestellt werden kann.
  • Zurück zur Entscheidungsoperation 602: Falls die Menge an lokaler Bewegung geringer als der Schwellenwert ist (oder in einigen Beispielen gleich dem Schwellenwert), kann die Verarbeitung mit der Operation 605 fortfahren, wo ein Referenzbild (z. B. das vorher zeitlich rauschunterdrückte Bild) beim Pixel-Blending stärker gewichtet werden kann. Zum Beispiel kann die zeitliche Rauschunterdrückung über Bilder hinweg für Pixel oder Bereiche ohne Bewegung (z. B. statische Bereiche) Bildgebung mit höherer Qualität als das Bild bereitstellen, dass aktuell verarbeitet wird.
  • Die Verarbeitung kann mit der Operation 606 fortfahren, wo für das Pixel-Blending ein Rauschfluss voll angewendet oder nur leicht abgeschwächt werden kann. Für Pixel oder Bereiche ohne Bewegung (z. B. statische Bereiche) kann zum Beispiel ein erzeugter Rauschfluss oder ein entzerrter Rauschfluss maximal oder so angewendet werden, dass für solche Pixel oder Bereiche mit geringer oder ohne Bewegung mehr Details bereitgestellt werden können (z. B. kann Rauschen in solchen Kontexten Details bereitstellen oder kann von einem menschlichen Betrachter als Detail wahrgenommen werden).
  • Die Verarbeitung kann ab der Operation 604 oder der Operation 606 zur Operation 607 fortfahren, wo Pixel-Blending auf Basis der in den Operationen 603, 604 oder den Operationen 605, 606 bestimmten Parameter, wie erörtert worden ist, ebenso wie anderer Pixel-Blending-Parameter durchgeführt werden kann, um Ausgangspixel oder -bereiche zu erzeugen. Zum Beispiel kann das Pixel-Blending auf Basis eines oder mehrerer von Folgenden, einem Referenzbild (z. B. Referenzbild 112), einem Eingangsbild (z. B. Eingangsbild 143), einem rauschunterdrückten Bild (z. B. das rauschunterdrückte Bild 117) und einem Rauschfluss (z. B. dem Rauschfluss 142 oder dem entzerrten Rauschfluss 148), zum Teil als Reaktion auf Bewegungsinformationen (z. B. die Bewegungsinformationen 146) durchgeführt werden, um die Ausgangspixel (z. B. des Ausgangsbildes 113) zu erzeugen. Ein solches Pixel-Blending kann auf Gewichtungsfaktoren basieren, die auf jedes Bild und den Rauschfluss angewendet werden, wobei diese Faktoren bestimmt oder angepasst werden, indem die in Bezug auf die Entscheidungsoperation 602 und die Operationen 603 - 606 erörterten Techniken und andere Faktoren oder Parameter verwendet werden.
  • Die Verarbeitung kann mit der Entscheidungsoperation 608 fortfahren, wo eine Bestimmung erfolgen kann, ob das aktuelle Pixel oder der aktuelle Bereich das letzte zu verarbeitende Pixel oder der letzte zu verarbeitende Bereich ist. Falls nicht, kann die Verarbeitung mit der Operation 601 fortfahren, wie oben erörtert worden ist. Falls doch, kann die Verarbeitung mit der Endeoperation 609 fortfahren, wo die Ausgangspixel als ein Ausgangsbild bereitgestellt werden können und die Verarbeitung enden kann.
  • Zurück zur 1: Wie gezeigt wird, kann das Ausgangsbild 113 durch Pixel-Blending 135 zur Verwendung als ein Referenzbild für an anschließendes Eingangsrohbild (falls überhaupt vorhanden) bereitgestellt werden. Des Weiteren kann das Ausgangsbild 113 einem anderen Modul des Systems 100, einem Speicher des Systems 100, einer Anzeige des Systems 100 oder Ähnlichem bereitgestellt werden. Zum Beispiel kann das Ausgangsbild 113 durch andere Module zur weiteren Verarbeitung verwendet werden, im Speicher zur Verwendung durch einen Nutzer gespeichert werden, einem Nutzer angezeigt werden oder Ähnliches. Das Ausgangsbild 113 kann beliebige geeignete Daten oder ein beliebiges geeignetes Datenformat enthalten und kann als ein Ausgangsbild, ein Ausgangs-Video-Frame, ein zeitlich rauschunterdrücktes Ausgangsbild oder Video-Frame oder Ähnliches charakterisiert sein.
  • Wie erörtert wird, kann ein Rauschfluss bei der zeitlichen Rauschunterdrückung wirksam eingesetzt werden, um geringeres Rauschen für sich bewegende und/oder verdeckte Bereiche bereitzustellen. Unter Verwendung solcher Techniken kann die starke Anwendung von räumlicher Rauschunterdrückung in solchen Bereichen vermieden werden, was die Details in solchen Bereichen bewahren kann. Des Weiteren können größere Beibehaltung von Details und höherer Kontrast bereitgestellt werden, indem der Rauschfluss (z. B. sehr hochfrequente Signale) wieder zu statischen Bereichen hinzugerechnet wird. Solche Techniken können Detailwiederherstellung in solchen Bereichen bereitstellen. Des Weiteren kann durch das Fließenlassen des Rauschens (z. B. eines Differenzsignals zwischen einem Eingang und einem Ausgang einer Komponente zur räumlichen Rauschunterdrückung, die vor der Komponente zur zeitlichen Rauschunterdrückung platziert ist) die räumliche Rauschunterdrückung vor der zeitlichen Rauschunterdrückung mehr Glättung bereitstellen, was vorteilhafterweise weniger Rauschen für die zeitliche Rauschunterdrückung bereitstellt, so dass die zeitliche Rauschunterdrückung robustere Verarbeitung bereitstellen kann.
  • Die 7 veranschaulicht einen beispielhaften Prozess 700 zum Bereitstellen von zeitlicher Rauschunterdrückung, der gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Der Prozess 700 kann, wie in 7 veranschaulicht ist, eine oder mehrere Operationen 701 - 709 beinhalten. Der Prozess 700 kann von einem System (z. B. dem System 100 oder beliebigen anderen hier erörterten Einrichtungen oder Systemen) durchgeführt werden, oder Teile des Prozesses 700 können durch ein System durchgeführt werden, um zeitliche Rauschunterdrückung bereitzustellen. Der Prozess 700 oder Teile davon können für eine beliebige Anzahl von Eingangsbildern, Video-Frames oder Ähnliches wiederholt werden. Zum Beispiel kann der Prozess 700 ein zeitlich rauschunterdrücktes Ausgangsbild bereitstellen.
  • Wie gezeigt wird, kann der Prozess 700 mit der Operation 701 beginnen, wo Rauschunterdrückung an einem Eingangsbild, wie zum Beispiel einem Rohbild, durchgeführt werden kann, um ein rauschunterdrücktes Bild zu erzeugen. Das Eingangsbild kann aus einem Bildsensor stammen und in einer Farbfilter-Array-Domäne sein (z. B. nicht demosaikiert), oder das Eingangsbild kann in einer beliebigen geeigneten Domäne sein, wie zum Beispiel einer RGB-Domäne, einer YUV-Domäne oder Ähnlichem.
  • Die Verarbeitung kann mit der Operation 702 fortfahren, wo ein Rauschfluss auf Basis des Eingangsbildes und des rauschunterdrückten Bildes erzeugt werden kann. Der Rauschfluss kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform kann der Rauschfluss durch Differenzbildung des rauschunterdrückten Bildes vom Eingangsbild erzeugt werden. Zum Beispiel kann der Rauschfluss in einer Farbfilter-Array-Domäne oder einer beliebigen geeigneten Domäne sein, wie zum Beispiel einer RGB-Domäne, einer YUV-Domäne oder Ähnlichem, basierend auf der Domäne des Eingangsbildes. Der Rauschfluss kann beliebige geeignete Daten oder eine beliebige geeignete Datenstruktur enthalten, wie zum Beispiel einen Rauschwert für alle oder einige Pixel des Eingangsbildes. Der Rauschfluss kann einem Luma-Kanal und/oder einem oder mehreren Chroma-Kanälen entsprechen.
  • Die Verarbeitung kann mit der Operation 703 fortfahren, wo der Rauschfluss in die Luma-Domäne konvertiert werden kann, um einen Luma-Rauschfluss oder Ähnliches zu erzeugen. Die Konvertierung des Rauschflusses in die Luma-Domäne kann das Konvertieren aus der Farbfilter-Array-Domäne, der RGB-Domäne oder der YUV-Domäne oder Ähnliches beinhalten. Solche Konvertierung kann beinhalten, Farbkanalabhängigkeiten im Rauschfluss zu entfernen, wie in Bezug auf die 4 und anderweitig hier erörtert wird. Wie erörtert wird, kann der Rauschfluss in einigen Beispielen in einem oder mehreren Chroma-Kanälen oder -Domänen implementiert werden. In solchen Beispielen kann die Operation 703 übersprungen werden.
  • Die Verarbeitung kann mit der Operation 704 fortgesetzt werden, wo der Rauschfluss auf Basis der lokalen Luminanz eines Eingangsbildes entzerrt oder angepasst werden kann. Der Rauschfluss kann auf Basis der lokalen Luminanz unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken entzerrt oder angepasst werden. In einer Ausführungsform kann die lokale Luminanz eines Eingangsbildes (z. B. des Eingangsbildes der Operation 701 oder des rauschunterdrückten Bildes, das in der Operation 701 erzeugt wird) auf Basis lokaler Mittelwertbildung der Luminanzwerte um Pixelpositionen des Eingangsbildes erzeugt werden. Eine beliebige Fenstergröße kann für solch eine Mittelwertbildung verwendet werden, wie zum Beispiel ein Fenster von 2x2 Pixeln oder Ähnliches. Auf Basis der lokalen Luminanzzuordnung (z. B. Luminanzwerte für jede Pixelposition) kann eine lokale Luminanzzuordnung angewendet werden, um einen lokalen Luminanzverstärkungswert für jede Pixelposition zu erzeugen. Die lokale Luminanzzuordnung kann für höhere Verstärkungswerte für Flächen höherer Luminanz (z. B. niedrigere Werte) und für niedrigere Verstärkungswerte für Flächen geringer Luminanz (z. B. höhere Werte) sorgen, wie hier erörtert wird. Der Rauschfluss kann auf Basis der Verstärkungswerte durch Multiplizieren des Rauschflusswertes für eine Pixelposition und des Verstärkungswertes für eine Pixelposition entzerrt oder angepasst werden, um einen Rauschfluss zu erzeugen, der auf Basis der lokalen Luminanz entzerrt oder angepasst ist. Wie erörtert wird, kann der Rauschfluss in einigen Beispielen zusätzlich oder alternativ dazu, dass er in einer Luma-Domäne bereitgestellt wird, in einem oder mehreren Chroma-Kanälen oder -Domänen implementiert werden. In solchen Beispielen kann die Operation 704 übersprungen werden, oder eine zusätzliche Operation kann bereitgestellt werden, um den Rauschfluss auf Basis der lokalen Chrominanz zu entzerren oder anzupassen, wie hier erörtert wird.
  • Die Verarbeitung kann mit der Operation 705 fortgesetzt werden, wo der Rauschfluss auf Basis des Contents eines Eingangsbildes entzerrt oder angepasst werden kann. Der Rauschfluss kann auf Basis der Content-Detektion des Eingangsbildes unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken entzerrt oder angepasst werden. In einer Ausführungsform können die Content Level eines Eingangsbildes (z. B. des Eingangsbildes der Operation 701 oder des rauschunterdrückten Bildes, das in der Operation 701 erzeugt wird) auf Basis der Content-Detektion, die auf dem Eingangsbild durchgeführt wird, erzeugt werden. Beliebige geeignete Content-Detektionstechniken, wie zum Beispiel Kantendetektion, Texturdetektion oder Ähnliches, können verwendet werden. Auf Basis der Content-Level-Zuordnung (z. B. der Content-Level-Werte für jede Pixelposition) kann eine Content-Level-Zuordnung angewendet werden, um einen Content-Level-Verstärkungswert für jede Pixelposition zu erzeugen. Die Content-Level-Zuordnung kann für höhere Verstärkungswerte für höhere Content-Level-Werte und für niedrigere Verstärkungswerte für niedrigere Content-Level-Werte sorgen, wie hier erörtert wird. Der Rauschfluss kann auf Basis der Verstärkungswerte durch Multiplizieren des Rauschflusswertes für eine Pixelposition und des Verstärkungswertes für eine Pixelposition entzerrt oder angepasst werden, um einen Rauschfluss zu erzeugen, der auf Basis der lokalen Luminanz entzerrt oder angepasst ist.
  • Die Verarbeitung kann mit der Operation 706 fortgesetzt werden, wo der Rauschfluss auf Basis von Radialdistanzen von einem optischen Mittelpunkt eines Eingangsbildes entzerrt oder angepasst werden kann. Der Rauschfluss kann auf Basis der Radialdistanzen von einem optischen Mittelpunkt des Eingangsbildes unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken entzerrt oder angepasst werden. In einer Ausführungsform können die Radialdistanzen eines Eingangsbildes (z. B. des Eingangsbildes der Operation 701 oder des rauschunterdrückten Bildes, das in der Operation 701 erzeugt wird) unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform können die Radialdistanzen von einem optischen Mittelpunkt bekannt sein oder gespeichert worden sein, bevor das Eingangsbild erzeugt wird. Auf Basis der Radialdistanzzuordnung (z. B. der Radialdistanzwerte für jede Pixelposition) kann eine Radialdistanzzuordnung angewendet werden, um einen Radialdistanz-Verstärkungswert für jede Pixelposition zu erzeugen. Die Radialdistanzzuordnung kann für höhere Verstärkungswerte für niedrigere Radialdistanzwerte und für niedrigere Verstärkungswerte für höhere Radialdistanzwerte sorgen, wie hier erörtert wird. Der Rauschfluss kann auf Basis der Verstärkungswerte durch Multiplizieren des Rauschflusswertes für eine Pixelposition und des Verstärkungswertes für eine Pixelposition entzerrt oder angepasst werden, um einen Rauschfluss zu erzeugen, der auf Basis der lokalen Luminanz entzerrt oder angepasst ist.
  • Die Verarbeitung kann mit der Operation 707 fortgesetzt werden, wo der Rauschfluss auf Basis der Nutzerpräferenz entzerrt oder angepasst werden kann. Zum Beispiel kann ein Nutzer oder Entwickler oder Ähnliches die Verstärkung des Rauschflusses auf Basis einer Nutzerpräferenzzuordnung, eines auf den gesamten Rauschfluss angewendeten Verstärkungswertes oder Ähnlichem anpassen. Obwohl er mit der Rauschflussentzerrung oder -anpassung auf Basis der lokalen Luminanz, der Content-Detektion, der Radialdistanz von einem optischen Mittelpunkt und der Nutzerpräferenz veranschaulicht wird, kann der Prozess 700 eine oder mehrere solcher Rauschflussentzerrungen oder -anpassungen überspringen. Solch eine Rauschflussentzerrung oder -anpassung kann einen entzerrten Rauschfluss erzeugen, wie hier erörtert wird.
  • Die Verarbeitung kann mit der Operation 708 fortfahren, wo die Bewegungsinformationen auf Basis eines Eingangsbildes und eines Referenzbildes (z. B. eines vorher verarbeiteten Bildes) erzeugt werden können. Die Bewegungsinformationen können unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform kann die lokale Bewegungsschätzung auf Basis eines Eingangsbildes (z. B. des Eingangsbildes der Operation 701 oder des rauschunterdrückten Bildes, das in der Operation 701 erzeugt wird) und eines Referenzbildes durchgeführt werden, und das resultierende Bewegungsvektorfeld kann hinsichtlich abgebrochener Trajektorien analysiert werden. Solche abgebrochenen Trajektorien können in den Bewegungsinformationen unter Verwendung eines Wertes angegeben werden, der für Bewegung außerhalb des Bereichs der Bewegungssuche und abgebrochene Trajektorien und Ähnliches zweckgebunden ist. In anderen Beispielen wird die lokale Bewegungsschätzung möglicherweise nicht bereitgestellt, und Bewegungsvertrauenswerte können bestimmt werden, die repräsentativ dafür sind, ob Bewegung detektiert wird. Zum Beispiel können Bewegungsvertrauenswerte basierend auf dem Vergleichen eines Eingangsbildes mit einem Referenzbild erzeugt werden, so dass denjenigen Flächen, die sich entsprechen, niedrige Bewegungswerte oder Bewegungsvertrauenswerte bereitgestellt werden und dass denjenigen Flächen, die sich nicht entsprechen, hohe Bewegungswerte oder Bewegungsvertrauenswerte bereitgestellt werden. Die resultierenden Bewegungsinformationen können Bewegungsvektoren, Indikatoren für lokale Bewegung, Bewegungswerte, Bewegungsvertrauenswerte oder Ähnliches enthalten.
  • Die Verarbeitung kann mit der Operation 709 fortfahren, wo Pixel-Blending auf Basis des entzerrten Rauschflusses, des Referenzbildes, des Eingangsbildes und des rauschunterdrückten Bildes, das auf den Bewegungsinformationen basiert, die in der Operation 708 erzeugt werden, durchgeführt werden kann. Das Pixel-Blending kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken durchgeführt werden. Wie erörtert wird, kann das Pixel-Blending das volle Anwenden des entzerrten Rauschflusses auf Bildbereiche beinhalten, die geringer oder keiner Bewegung entsprechen, und das Abschwächen oder Nicht-Anwenden des entzerrten Rauschflusses auf Bildbereiche beinhalten, die schneller Bewegung oder verdeckten Bereichen entsprechen, wie durch die Bewegungsinformationen angegeben wird.
  • Der Prozess 700 kann eine beliebige Anzahl von Malen, entweder nacheinander oder parallel, für eine beliebige Anzahl von Bildern, Video-Frames oder Ähnlichem wiederholt werden. Wie erörtert wird, kann der Prozess 700 für zeitliche Rauschunterdrückung der Bilder, Video-Frames oder Ähnlichem sorgen.
  • Die 8 ist ein Flussdiagramm, das einen beispielhaften Prozess 800 zum Bereitstellen von zeitlicher Rauschunterdrückung veranschaulicht, der gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Der Prozess 800 kann, wie in der 8 veranschaulicht wird, eine oder mehrere Operationen 801 - 803 beinhalten. Der Prozess 800 kann mindestens einen Teil des Prozesses zur zeitlichen Rauschunterdrückung bilden. Als nicht einschränkendes Beispiel: Der Prozess 800 kann mindestens einen Teil einer zeitlichen Rauschunterdrückung bilden, wie sie durch das System 100, wie hier erörtert wird, durchgeführt wird. Des Weiteren wird der Prozess 800 hier unter Bezugnahme auf das System 900 von 9 beschrieben.
  • Die 9 ist ein veranschaulichendes Diagramm eines beispielhaften Systems 900 zum Bereitstellen von zeitlicher Rauschunterdrückung, das gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Wie in 9 gezeigt, kann das System 900 einen Zentralprozessor 901, einen Bildprozessor 902, einen Speicher 903, eine Kamera 904 und eine Anzeige 905 enthalten. Wie erörtert wird, enthält das System 900 in einigen Ausführungsformen möglicherweise keine Kamera 904 und/oder Anzeige 905. Wie ebenfalls gezeigt wird, kann der Zentralprozessor 901 das Rauschunterdrückungsmodul 101, das Demosaikierungsmodul 102, das Content-Detektionsmodul 131, das Modul 132 zur lokalen Bewegungsschätzung, das Trajektorienabbruchmodul 133, das Rauschentzerrungsmodul 134, das Pixel-Blending-Modul 135 und das Modul 136 zur räumlichen Rauschunterdrückung enthalten oder implementieren. In einer Ausführungsform können das Content-Detektionsmodul 131, das Modul 132 zur lokalen Bewegungsschätzung, das Trajektorienabbruchmodul 133, das Rauschentzerrungsmodul 134, das Pixel-Blending-Modul 135 und das Modul 136 zur räumlichen Rauschunterdrückung durch ein Modul oder eine Komponente zur zeitlichen Rauschunterdrückung implementiert werden. In einer Ausführungsform wird das Demosaikierungsmodul 102 möglicherweise nicht implementiert. In solchen Beispielen kann der Bildprozessor 902 dem Rauschunterdrückungsmodul 101, dem Content-Detektionsmodul 131, dem Modul 132 zur lokalen Bewegungsschätzung, dem Trajektorienabbruch-Detektionsmodul 133, dem Rauschentzerrungsmodul 134, dem Pixel-Blending-Modul 135 und/oder dem Modul 136 zur räumlichen Rauschunterdrückung ein demosaikiertes Bild bereitstellen (z. B. im YUV-, RGB- oder einem anderen beliebigen geeigneten Farbraum). In einer Ausführungsform können das Content-Detektionsmodul 131, das Modul 132 zur lokalen Bewegungsschätzung, das Trajektorienabbruch-Detektionsmodul 133, das Rauschentzerrungsmodul 134, das Pixel-Blending-Modul 135 und/oder das Modul 136 zur räumlichen Rauschunterdrückung als ein Modul oder eine Komponente zur zeitlichen Rauschunterdrückung oder Ähnliches charakterisiert werden. In einer Ausführungsform kann das Modul oder die Komponente zur zeitlichen Rauschunterdrückung zur Nachbearbeitung in Bezug auf einen Bildprozessor oder eine Bildverarbeitungs-Pipeline bereitgestellt werden. Im Beispiel für das System 900 kann der Speicher 903 Bilddaten, Video-Frame-Daten, Rauschunterdrückungs-Bilddaten, Referenzbilddaten, Detail-Level-Daten, Content-Level-Daten, lokale Bewegungsdaten, Bewegungsinformationsdaten, Rauschflussdaten, entzerrte Rauschflussdaten, Parameter, Schwellenwerte oder beliebige andere Daten speichern, die hier erörtert werden.
  • Wie gezeigt wird, können in einigen Beispielen das Rauschunterdrückungsmodul 101, das Demosaikierungsmodul 102, das Content-Detektionsmodul 131, das Modul 132 zur lokalen Bewegungsschätzung, das Trajektorienabbruchmodul 133, das Rauschentzerrungsmodul 134, das Pixel-Blending-Modul 135 und das Modul 136 zur räumlichen Rauschunterdrückung über den Zentralprozessor 901 implementiert werden. In anderen Beispielen können einer oder mehrere Teile des Rauschunterdrückungsmoduls 101, des Demosaikierungsmoduls 102, des Content-Detektionsmoduls 131, des Moduls 132 zur lokalen Bewegungsschätzung, des Trajektorienabbruchmoduls 133, des Rauschentzerrungsmoduls 134, des Pixel-Blending-Moduls 135 und des Moduls 136 zur räumlichen Rauschunterdrückung über den Bildprozessor 902, eine Bildverarbeitungseinheit, eine Bildverarbeitungs-Pipeline oder Ähnliches implementiert werden. In einigen Beispielen können das Rauschunterdrückungsmodul 101, das Demosaikierungsmodul 102, das Content-Detektionsmodul 131, das Modul 132 zur lokalen Bewegungsschätzung, das Trajektorienabbruchmodul 133, das Rauschentzerrungsmodul 134, das Pixel-Blending-Modul 135 und das Modul 136 zur räumlichen Rauschunterdrückung in Hardware als ein System-on-Chip (SoC) implementiert werden.
  • Der Bildprozessor 902 kann eine beliebige Anzahl und Art von Bild- oder Grafikverarbeitungseinheiten enthalten, die die Operationen, wie sie hier erörtert werden, bereitstellen können. Solche Operationen können über Software oder Hardware oder eine Kombination daraus implementiert werden. Zum Beispiel kann der Bildprozessor 902 Schaltungsanordnungen enthalten, die für das Manipulieren und/oder Analysieren von Bildern zweckgebunden ist, die aus dem Speicher 903 bezogen werden. Der Zentralprozessor 901 kann eine beliebige Anzahl und Art von Verarbeitungseinheiten oder -modulen enthalten, die Steuerung und andere Funktionen auf hohem Niveau für das System 900 bereitstellen können und/oder beliebige Operationen bereitstellen, wie hier erörtert ist. Der Speicher 903 kann eine beliebige Art von Speicher sein, wie zum Beispiel flüchtiger Speicher (z. B. statischer Direktzugriffspeicher (SRAM), dynamischer Direktzugriffsspeicher (DRAM) usw.) oder nichtflüchtiger Speicher (z. B. Flash-Speicher usw.) und so weiter. In einem nicht einschränkenden Beispiel kann der Speicher 903 durch Cache-Speicher implementiert werden. In einer Ausführungsform können ein oder mehrere Teile des Rauschunterdrückungsmoduls 101, des Demosaikierungsmoduls 102, des Content-Detektionsmoduls 131, des Moduls 132 zur lokalen Bewegungsschätzung, des Trajektorienabbruchmoduls 133, des Rauschentzerrungsmoduls 134, des Pixel-Blending-Moduls 135 und des Moduls 136 zur räumlichen Rauschunterdrückung über eine Ausführungseinheit (EU) des Bildprozessors 902 implementiert werden. Die EU kann zum Beispiel programmierbare Logik oder Schaltungsanordnungen enthalten, wie zum Beispiel einen Logikkern oder Logikkerne, der/die ein weites Feld an programmierbaren Logikfunktionen bereitstellen kann/können. In einer Ausführungsform können ein oder mehrere Teile des Rauschunterdrückungsmoduls 101, des Demosaikierungsmoduls 102, des Content-Detektionsmoduls 131, des Moduls 132 zur lokalen Bewegungsschätzung, des Trajektorienabbruchmoduls 133, des Rauschentzerrungsmoduls 134, des Pixel-Blending-Moduls 135 und des Moduls 136 zur räumlichen Rauschunterdrückung über eine zweckgebundene Hardware, wie zum Beispiel Festfunktionsschaltungsanordnungen oder Ähnliches, implementiert werden. Festfunktionsschaltungsanordnungen können dedizierte Logik oder Schaltungsanordnungen enthalten und einen Satz von Festfunktionszugangspunkten bereitstellen, der für einen festen Zweck oder eine feste Funktion auf die zweckgebundene Logik abgebildet sein kann.
  • Zurück zur Erörterung der 8: Der Prozess 800 kann mit der Operation 801 beginnen, wo ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes erzeugt werden kann. Das rauschunterdrückte Bild kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform kann das Rauschunterdrückungsmodul 101, wie es über den Zentralprozessor 901 implementiert wird, das rauschunterdrückte Bild auf Basis von räumlicher Rauschunterdrückung des Eingangsbildes erzeugen. Das Eingangsbild kann ein beliebiges geeignetes Bild in einem beliebigen geeigneten Farbraum sein. In einer Ausführungsform kann das Eingangsbild ein demosaikiertes Eingangsbild sein. In einer Ausführungsform kann das Eingangsbild in einer Farbfilter-Array-Domäne sein. In solch einer Ausführungsform kann das rauschunterdrückte Bild demosaikiert werden, um ein Eingangsbild zur zeitlichen Rauschunterdrückungsverarbeitung zu erzeugen.
  • Die Verarbeitung kann mit der Operation 802 fortfahren, wo ein Rauschfluss, der dem Eingangsbild entspricht, auf Basis des rauschunterdrückten Bildes und des rauschunterdrückten Bildes erzeugt werden kann. Der Rauschfluss kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform kann ein Differenzierer, wie er über den Zentralprozessor 901 implementiert wird, den Rauschfluss als eine Differenz zwischen dem rauschunterdrückten Bild und dem rauschunterdrückten Bild erzeugen. Der Rauschfluss kann in einem beliebigen geeigneten Farbraum sein. In einer Ausführungsform kann der Rauschfluss eine Luma-Komponente und Chroma-Komponenten enthalten. In einer Ausführungsform kann der Rauschfluss Farbkanäle enthalten. In einer Ausführungsform kann der Rauschfluss in einer Farbfilter-Array-Domäne sein.
  • Die Verarbeitung kann mit der Operation 803 fortfahren, wo mindestens ein Teil des Rauschflusses adaptiv mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, kombiniert werden kann, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen. Der Rauschfluss kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken adaptiv mit den Bildern kombiniert werden. In einer Ausführungsform können das Rauschentzerrungsmodul 134 und/oder das Pixel-Blending-Modul 135, wie sie über den Zentralprozessor 901 implementiert werden, den Rauschfluss mit den Bildern adaptiv kombinieren. In einer Ausführungsform kann das rauschunterdrückte Bild, das in der Operation 801 erzeugt worden ist, das zweite rauschunterdrückte Bild sein. In einer Ausführungsform kann das rauschunterdrückte Bild, das in der Operation 801 erzeugt worden ist, weiterer räumlicher Unterdrückung unterzogen werden, um das zweite rauschunterdrückte Bild zu erzeugen. Zum Beispiel kann das Modul 136 zur räumlichen Rauschunterdrückung, wie es über den Zentralprozessor 901 implementiert wird, das zweite rauschunterdrückte Bild auf Basis des rauschunterdrückten Bildes erzeugen. Das Referenzbild kann unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken erzeugt werden. In einer Ausführungsform kann das Referenzbild ein vorher verarbeitetes sein (z. B. ein vorher zeitlich rauschunterdrücktes Ausgangsbild, das über den Prozess 800 erzeugt worden ist).
  • Wie erörtert wird, kann der Rauschfluss adaptiv mit einem Referenzbild und einem rauschunterdrückten Bild unter Verwendung einer beliebigen geeigneten Technik oder beliebiger geeigneter Techniken, wie zum Beispiel Pixel-Blending-Techniken, kombiniert werden. In einer Ausführungsform kann der Rauschfluss adaptiv mit dem Referenzbild, dem rauschunterdrückten Bild, das in der Operation 801 erzeugt worden ist, und dem zweiten rauschunterdrückten Bild auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, kombiniert werden. Zum Beispiel kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis der Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden. In einer Ausführungsform können die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert und eine zweite Position mit einem zweiten Bewegungswert, der größer als der erste Bewegungswert ist, enthalten, und das Anwenden des Rauschflusses kann beinhalten, den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden. In einer Ausführungsform können die lokalen Bewegungswertinformationen eine erste Position mit einem ersten Bewegungswert, der kleiner als ein Schwellenwert ist, und eine zweite Position mit einem zweiten Bewegungswert, der größer als der Schwellenwert ist, enthalten, und das Anwenden des Rauschflusses kann beinhalten, den Rauschfluss an der ersten Position anzuwenden und den Rauschfluss an der zweiten Position nicht anzuwenden.
  • In einer Ausführungsform kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis eines oder mehrerer von Folgenden anzupassen, der lokalen Luminanz, die dem Eingangsbild entspricht, dem detektierten Content, der dem Eingangsbild entspricht, oder einer Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes.
  • In einer Ausführungsform kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird. Zum Beispiel kann der Rauschfluss für Flächen mit geringer Luminanz (z. B. dunkle Flächen) abgeschwächt und für Flächen mit hoher Luminanz (z. B. helle Flächen) nicht abgeschwächt werden. Zum Beispiel kann die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweisen, und die von der lokalen Luminanz abhängige Verstärkung kann einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellen.
  • In einer Ausführungsform kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis einer lokalen Chrominanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Chrominanz abhängige Verstärkung auf den Rauschfluss angewendet wird. Zum Beispiel kann der Rauschfluss für Flächen mit geringer Chrominanz abgeschwächt und für Flächen mit hoher Chrominanz nicht abgeschwächt werden. Zum Beispiel kann die lokale Chrominanzzuordnung einen ersten lokalen Chrominanzwert an einer ersten Position und einen zweiten lokalen Chrominanzwert, der kleiner als der erste lokale Chrominanzwert ist, an einer zweiten Position aufweisen, und die von der lokalen Chrominanz abhängige Verstärkung kann einen ersten Chrominanzverstärkungswert für die erste Position und einen zweiten lokalen Chrominanzverstärkungswert, der größer als der erste lokale Chrominanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Chrominanzzuordnung bereitstellen.
  • In einer Ausführungsform kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird. Zum Beispiel kann die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweisen, und die vom Content Level abhängige Verstärkung kann einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der vom ersten Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellen.
  • In einer Ausführungsform kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird. Zum Beispiel kann ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position sein, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  • Wie erörtert wird, kann der Rauschfluss vor dem oder als Teil des adaptiven Kombinierens des Rauschflusses mit den erörterten Bildern angepasst oder entzerrt werden. In einer Ausführungsform kann der Rauschfluss vor einem solchen Anpassen, Entzerren oder adaptiven Kombinieren des Rauschflusses mit den Bildern in einen Luma-Fluss konvertiert werden.
  • Wie erörtert wird, kann der Prozess 800 des Weiteren beinhalten, den Rauschfluss mit dem Referenzbild adaptiv zu kombinieren, und das zweite rauschunterdrückte Bild umfasst Pixel-Blending des Rauschflusses, des Referenzbildes, des zweiten rauschunterdrückten Bildes und des rauschunterdrückten Bildes auf Basis der Bewegungsinformationen, die dem Eingangsbild entsprechen. In einer Ausführungsform kann die Content-Detektion auf Basis des rauschunterdrückten Bildes durchgeführt werden, um eine Content-Level-Zuordnung zu erzeugen, die lokale Bewegungsschätzung kann auf Basis des rauschunterdrückten Bildes und des Referenzbildes durchgeführt werden, um eine lokale Bewegungszuordnung zu erzeugen, die Trajektorienabbruchdetektion kann an der lokalen Bewegungszuordnung durchgeführt werden, um eine lokale Bewegungsvertrauenszuordnung zu erzeugen, eine lokale Luminanzzuordnung kann auf Basis des rauschunterdrückten Bildes erzeugt werden, und der Rauschfluss kann auf Basis der Content-Level-Zuordnung und der lokalen Luminanzzuordnung angepasst werden. Zum Beispiel kann das adaptive Kombinieren des Teils des Rauschflusses beinhalten, den Rauschfluss auf Basis der abschließenden lokalen Bewegungszuordnung und der lokalen Bewegungsvertrauenszuordnung anzuwenden.
  • Der Prozess 800 kann eine beliebige Anzahl von Malen, entweder nacheinander oder parallel, für eine beliebige Anzahl von Bildern, Video-Frames oder Ähnlichem wiederholt werden. Wie erörtert wird, kann der Prozess 800 für zeitliche Rauschunterdrückung der Bilder, Video-Frames oder Ähnlichem sorgen.
  • Verschiedene Komponenten des hier beschriebenen Systems können in Software, Firmware und/oder Hardware und/oder einer beliebigen Kombination davon implementiert sein. Zum Beispiel können verschiedene Komponente der Einrichtungen oder Systeme, die hier erörtert werden, mindestens zum Teil durch Hardware eines Computing-System-on-Chip (SoC) bereitgestellt werden, wie es in einem Computingsystem, wie zum Beispiel einem Smartphone, zu finden ist. Fachleute werden erkennen, dass hier beschriebene Systeme zusätzliche Komponenten enthalten können, die nicht in den entsprechenden Figuren abgebildet wurden. Zum Beispiel können die hier erörterten Systeme zusätzliche Komponenten enthalten, die der Klarheit halber nicht abgebildet sind.
  • Obgleich eine Implementierung der hier erörterten Beispielprozesse das Vornehmen aller gezeigten Operationen in der veranschaulichten Reihenfolge beinhalten kann, ist die vorliegende Offenbarung in dieser Hinsicht nicht beschränkt, und in verschiedenen Beispielen kann die Implementierung der Beispielprozesse hier möglicherweise nur eine Untermenge der gezeigten Operationen, in einer anderen als der veranschaulichten Reihenfolge durchgeführte Operationen oder zusätzliche Operationen beinhalten.
  • Zusätzlich können eine beliebige oder mehrere der hier erörterten Operationen als Reaktion auf von einem oder mehreren Computerprogrammprodukten bereitgestellte Befehle vorgenommen werden. Derartige Programmprodukte können signalführende Medien enthalten, die Befehle bereitstellen, die, wenn sie zum Beispiel von einem Prozessor ausgeführt werden, die hier beschriebene Funktionalität bereitstellen können. Die Computerprogrammprodukte können in einer beliebigen Form von einem oder mehreren maschinenlesbaren Medien bereitgestellt sein. Somit kann zum Beispiel ein Prozessor, der eine oder mehrere Grafikverarbeitungseinheit(en) oder Prozessorkern(e) enthält, einen oder mehrere der Blöcke der beispielhaften Prozesse hier, als Reaktion auf Programmcode und/oder Befehle oder Befehlssätze, die dem Prozessor durch eines oder mehrere maschinenlesbare Medien zugetragen werden, ausführen. Im Allgemeinen kann ein maschinenlesbares Medium Software in der Form von Programmcode und/oder Befehlen oder Befehlssätzen zutragen, die bewirken können, dass beliebige der hier beschriebenen Einrichtungen und/oder Systeme mindestens Teile der Einrichtungen oder Systeme oder eines beliebigen anderen Moduls oder einer beliebigen anderen Komponente implementieren, wie hier erörtert wird.
  • Wie in einer beliebigen hier beschriebenen Implementierung verwendet, bezieht sich der Begriff „Modul“ auf eine beliebige Kombination von Software-Logik, Firmware-Logik, Hardware-Logik und/oder von Schaltungsanordnungen, die dazu ausgelegt sind, die hier beschriebene Funktionalität bereitzustellen. Die Software kann als ein Software-Package, Code und/oder Befehlssatz oder Befehle ausgeführt werden, und „Hardware“, so wie sie in jeder hier beschriebenen Implementierung verwendet wird, kann zum Beispiel einzeln oder in beliebiger Kombination hartverdrahtete Schaltungsanordnungen, programmierbare Schaltungsanordnungen, Zustandsmaschinenschaltungsanordnungen, Festfunktionsschaltungsanordnungen, Ausführungseinheitsschaltungsanordnungen und/oder Firmware enthalten, die Befehle speichert, die durch programmierbare Schaltungsanordnungen ausgeführt werden. Die Module können zusammengenommen oder einzeln als Schaltungsanordnung ausgeführt sein, die einen Teil eines größeren Systems bildet, zum Beispiel einer integrierten Schaltung (IC), eines System-on-Chip (SoC) und so weiter.
  • Die 10 ist ein veranschaulichendes Diagramm eines beispielhaften Systems 1000, das gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. In verschiedenen Implementierungen kann das System 1000 ein Mobileinrichtungssystem sein, obgleich das System 1000 nicht auf diesen Kontext beschränkt ist. Zum Beispiel kann das System 1000 in einen Personal Computer (PC), einen Laptop-Computer, einen Ultra-Laptop-Computer, ein Tablet, ein Touchpad, einen portablen Computer, einen Handheld-Computer, einen Palmtop-Computer, einen persönlichen digitalen Assistenten (PDA), ein Mobiltelefon, ein kombiniertes Mobiltelefon/PDA, einen Fernseher, eine Smart-Einrichtung (z. B. ein Smartphone, ein Smart-Tablet oder ein Smart-Fernseher), eine mobile Interneteinrichtung (MID), eine Messaging-Einrichtung, eine Datenkommunikationseinrichtung, Kameras (z. B. Kompaktkameras, Super-Zoom-Kameras, digitale Spiegelreflex- (DSLR-) Kameras), eine Überwachungskamera, ein Überwachungssystem, das eine Kamera enthält, und so weiter eingebunden sein.
  • In verschiedenen Implementierungen enthält das System 1000 eine Plattform 1002, die mit einer Anzeige 1020 gekoppelt ist. Die Plattform 1002 kann Content aus einer Content-Einrichtung empfangen, wie zum Beispiel aus einer Content-Diensteeinrichtung oder -einrichtungen 1030 oder einer Content-Verteilungseinrichtung oder -einrichtungen 1040 oder anderen Content-Quellen, wie zum Beispiel Bildsensoren 1019. Zum Beispiel kann die Plattform 1002 Bilddaten, wie hier erörtert wird, von Bildsensoren 1019 oder einer beliebigen anderen Content-Quelle empfangen. Eine Navigationssteuerung 1050, die eines oder mehrerer Navigationsmerkmale enthält, kann zum Interagieren zum Beispiel mit der Plattform 1002 und/oder der Anzeige 1020 verwendet werden. Jede dieser Komponenten wird nachfolgend ausführlicher beschrieben.
  • In verschiedenen Implementierungen kann die Plattform 1002 eine beliebige Kombination aus einem Chipsatz 1005, einem Prozessor 1010, einem Speicher 1011, einer Antenne 1013, einem Speicher 1014, einem Grafiksubsystem 1015, von Anwendungen 1016, einem Bildsignalprozessor 1017 und/oder Funk 1018 enthalten. Der Chipsatz 1005 kann Interkommunikation zwischen dem Prozessor 1010, dem Speicher 1011, dem Speicher 1014, dem Grafiksubsystem 1015, den Anwendungen 1017, dem Bildsignalprozessor 1017 und/oder dem Funk 1018 bereitstellen. Beispielsweise kann der Chipsatz 1005 einen (nicht abgebildeten) Speicheradapter enthalten, der in der Lage ist, Interkommunikation mit dem Speicher 1014 bereitzustellen.
  • Der Prozessor 1010 kann als ein Complex Instruction Set Computer(CISC)- oder als ein Reduced Instruction Set Computer(RISC)-Prozessor, mit x86 Befehlssatz kompatible Prozessoren, Mehrkern- oder als ein beliebiger anderer Mikroprozessor oder Zentralverarbeitungseinheit (CPU) implementiert sein. In verschiedenen Implementierungen kann der Prozessor 1010 ein Dual-Core-Prozessor bzw. -Prozessoren, ein Dual-Core-Mobil-Prozessor bzw. -Prozessoren und so weiter sein.
  • Der Speicher 1011 kann als eine flüchtige Speichereinrichtung, wie zum Beispiel, aber nicht darauf beschränkt, ein Direktzugriffsspeicher (RAM), ein dynamischer Direktzugriffsspeicher (DRAM) oder ein statisches RAM (SRAM) implementiert sein.
  • Der Speicher 1014 kann als eine nichtflüchtige Speichereinrichtung implementiert sein, wie zum Beispiel, aber nicht darauf beschränkt, ein Magnetplattenlaufwerk, ein optisches Plattenlaufwerk, ein Bandlaufwerk, eine interne Speichereinrichtung, eine angeschlossene Speichereinrichtung, ein Flash-Speicher, ein batteriegestützes SDRAM (synchrones DRAM) und/oder eine vom Netz zugriffsfähige Speichereinrichtung. In verschiedenen Implementierungen kann der Speicher 1014 Technologie enthalten, um den Schutz mit verbesserter Speicher-Performance für wertvolle digitale Medien zu erhöhen, wenn zum Beispiel mehrere Festplatten enthalten sind.
  • Der Bildsignalprozessor 1017 kann als ein spezieller Digital-Signal-Prozessor oder Ähnliches implementiert sein, der für die Bildverarbeitung verwendet wird. In einigen Beispielen kann der Bildsignalprozessor 1017 auf Basis einer Single Instruction, Multiple Data- oder einer Multiple Instruction, Multiple Data-Architektur oder Ähnlichem implementiert sein. In einigen Beispielen kann der Bildsignalprozessor 1017 als ein Medienprozessor charakterisiert werden. Wie hier erörtert wird, kann der Bildsignalprozessor 1017 auf Basis einer System-on-Chip-Architektur und/oder auf Basis einer Mehrkernarchitektur implementiert sein.
  • Das Grafiksubsystem 1015 kann das Verarbeiten von Bildern, wie zum Beispiel von Stand- oder Videobildern für die Anzeige durchführen. Das Grafiksubsystem 1015 kann zum Beispiel eine Grafikverarbeitungseinheit (GPU) oder eine visuelle Verarbeitungseinheit (VPU) sein. Eine Analog- oder Digitalschnittstelle kann verwendet werden, um das Grafiksubsystem 1015 und die Anzeige 1020 kommunikativ zu koppeln. Die Schnittstelle kann zum Beispiel eines von Folgenden sein, eine High-Definition Multimedia Interface (HDMI), ein Anzeige-Port, eine drahtlose HDMI und/oder mit drahtlosem HD konforme Techniken. Das Grafiksubsystem 1015 kann im Prozessor 1010 oder dem Chipsatz 1005 integriert sein. In einigen Implementierungen kann das Grafiksubsystem 1015 eine eigenständige Einrichtung sein, die mit dem Chipsatz 1005 kommunikativ gekoppelt ist.
  • Die hier beschriebenen Grafik- und/oder Videoverarbeitungstechniken können in verschiedenen Hardware-Architekturen implementiert sein. Zum Beispiel können Grafik- und/oder Videofunktionalität in einem Chipsatz integriert sein. Alternativ kann ein diskreter Grafik- und/oder Videoprozessor verwendet werden. Als noch eine andere Implementierung können die Grafik- und/oder Videofunktionen durch einen Allzweckprozessor, der einen Mehrkernprozessor enthält, bereitgestellt werden. Bei weiteren Ausführungsformen können die Funktionen in einem Unterhaltungselektronikgerät implementiert sein.
  • Der Funk 1018 kann eine oder mehrere Funkeinrichtungen enthalten, die zum Übertragen und Empfangen von Signalen unter Verwendung verschiedener geeigneter drahtloser Kommunikationstechniken in der Lage sind. Derartige Techniken können Kommunikationen über ein oder mehrere drahtlose Netzwerke hinweg beinhalten. Zu beispielhaften drahtlosen Netzwerken zählen (ohne darauf beschränkt zu sein) Wireless Local Area Networks (WLANs), Wireless Personal Area Networks (WPANs), Wireless Metropolitan Area Networks (WMANs), Mobilfunknetzwerke und Satellitennetzwerke. Beim Kommunizieren über derartige Netzwerke hinweg kann der Funk 1018 gemäß einem oder mehreren anwendbaren Standards in beliebiger Version arbeiten.
  • In verschiedenen Implementierungen kann die Anzeige 1020 eine beliebige Art eines Monitors nach Art eines Fernsehers oder einer Anzeige enthalten. Die Anzeige 1020 kann beispielsweise einen Computeranzeigebildschirm, eine Touchscreenanzeige, einen Videomonitor, eine Einrichtung nach Art eines Fernsehers und/oder einen Fernseher enthalten. Die Anzeige 1020 kann digital und/oder analog sein. In verschiedenen Implementierungen kann die Anzeige 1020 eine holografische Anzeige sein. Auch kann die Anzeige 1020 eine transparente Oberfläche sein, die eine visuelle Projektion empfangen kann. Derartige Projektionen können verschiedene Formen von Information, Bildern und/oder Objekten transportieren. Beispielsweise können solche Projektionen visuelle Überlagerungen für eine Anwendung von mobiler Augmented Reality (MAR) sein. Unter der Steuerung einer oder mehrerer Software-Anwendungen 1016 kann die Plattform 1002 eine Nutzerschnittstelle 1022 auf der Anzeige 1020 anzeigen.
  • In verschiedenen Implementierungen kann/können die Content-Diensteeinrichtung(en) 1030 von einem beliebigen nationalen, internationalen und/oder unabhängigen Dienst gehostet werden und sind somit für die Plattform 1002 zum Beispiel über das Internet zugänglich. Die Content-Diensteeinrichtung(en) 1030 können mit der Plattform 1002 und/oder der Anzeige 1020 gekoppelt sein. Die Plattform 1002 und/oder die Content-Diensteeinrichtung(en) 1030 können mit einem Netzwerk 1060 gekoppelt sein, um Medieninformationen zu und aus einem Netzwerk 1060 zu kommunizieren (z. B. zu senden und/oder zu empfangen). Die Content-Verteilungseinrichtung(en) 1040 können ebenfalls mit der Plattform 1002 und/oder der Anzeige 1020 gekoppelt sein.
  • Zu den Bildsensoren 1019 können beliebige geeignete Bildsensoren zählen, die Bilddaten bereitstellen können, die auf einer Szene basieren. Zum Beispiel kann zu den Bildsensoren 1019 ein Sensor auf Basis eines Semiconductor Charge Coupled Device (CCD), ein Sensor auf Basis eines Complementary Metal-Oxide-Semiconductor (CMOS), ein Sensor auf Basis eines N-Typ-Metal-Oxide Semiconductor (NMOS) oder Ähnliches zählen. Zum Beispiel können zu den Bildsensoren 1019 beliebige Einrichtungen zählen, die Informationen einer Szene detektieren können, um Bilddaten zu erzeugen.
  • In verschiedenen Implementierungen können zu den Content-Diensteeinrichtung(en) 1030 eine Kabelfernsehbox, ein Personal Computer, ein Netzwerk, ein Telefon, internetfähige Einrichtungen oder Geräte, die fähig sind, digitale Informationen und/oder Content zu verteilen, und eine beliebige andere ähnliche Einrichtung, die in der Lage ist, unidirektional oder bidirektional Content zwischen Content-Anbietern und der Plattform 1002 und/oder der Anzeige 1020 über das Netzwerk 1060 oder direkt zu kommunizieren, zählen. Es versteht sich, dass der Content unidirektional und/oder bidirektional zu und von einer beliebigen der Komponenten im System 1000 und einem Content-Anbieter über das Netzwerk 1060 kommuniziert werden kann. Zu Beispielen für den Content können beliebige Medieninformationen zählen, einschließlich zum Beispiel Video-, Musik-, medizinische und Gaming-Informationen und so weiter.
  • Die Content-Diensteeinrichtung(en) 1030 können Content empfangen, wie zum Beispiel Kabelfernsehprogramme, einschließlich Medieninformationen, digitalen Informationen und/oder anderem Content. Zu Beispielen für Content-Anbieter können beliebige Kabel- oder Satelliten-Fernseh- oder -Radio- oder Internet-Content-Anbieter zählen. Die bereitgestellten Beispiele sind nicht dafür gedacht, Implementierungen gemäß der vorliegenden Offenbarung in irgendeiner Weise zu beschränken.
  • In verschiedenen Implementierungen kann die Plattform 1002 Steuersignale von der Navigationssteuerung 1050 empfangen, die ein oder mehrere Navigationsmerkmale aufweisen. Die Navigationsmerkmale der Navigationssteuerung 1050 können zum Beispiel verwendet werden, um mit der Nutzerschnittstelle 1022 zu interagieren. In verschiedenen Ausführungsformen kann die Navigationssteuerung 1050 eine Zeigeeinrichtung sein, die eine Computer-Hardware-Komponente (insbesondere ein Human Interface Device) sein kann, die es einem Nutzer erlaubt, räumliche (z. B. kontinuierliche und mehrdimensionale) Daten in einen Computer einzugeben. Viele Systeme, wie zum Beispiel grafische Nutzerschnittstellen (GUI) und Fernsehgeräte und Monitore erlauben es dem Nutzer, unter Verwendung physischer Gesten Daten zu steuern und dem Computer oder Fernseher bereitzustellen.
  • Bewegungen der Navigationsmerkmale der Navigationssteuerung 1050 können auf einer Anzeige (z. B. der Anzeige 1020) durch Bewegungen eines Zeigers, eines Cursors, eines Fokusrings oder anderer, auf der Anzeige angezeigter visueller Indikatoren repliziert werden. Zum Beispiel können unter der Steuerung der Software-Anwendungen 1016 die in der Navigationssteuerung 1050 befindlichen Navigationsmerkmale auf virtuelle Navigationsmerkmale abgebildet werden, die zum Beispiel auf der Nutzerschnittstelle 1022 angezeigt werden. In verschiedenen Ausführungsformen ist die Navigationssteuerung 1050 möglicherweise keine separate Komponente, sondern kann in der Plattform 1002 und/oder der Anzeige 1020 integriert sein. Die vorliegende Offenbarung ist allerdings nicht auf die hier gezeigten oder beschriebenen Elemente oder im Kontext beschränkt.
  • In verschiedenen Implementierungen können (nicht gezeigte) Treiber Technologie enthalten, um Nutzer in die Lage zu versetzen, die Plattform 1002 wie einen Fernseher mit dem Berühren einer Taste nach anfänglichem Booten unverzüglich ein- und auszuschalten, wenn dies freigeschaltet ist. Programmlogik kann es der Plattform 1002 erlauben, Content zu Medienadaptern oder anderen Content-Diensteeinrichtung(en) 1030 oder Content-Verteilungseinrichtung(en) 1040 zu streamen, selbst wenn die Plattform „aus“ geschaltet ist. Zusätzlich kann der Chipsatz 1005 zum Beispiel Hardware- und/oder Softwareunterstützung für 5.1-Surround Sound Audio und/oder Hochdefinition 7.1 Surround Sound Audio enthalten. Treiber können einen Grafiktreiber für integrierte Grafikplattformen enthalten. In verschiedenen Ausführungsformen kann der Grafiktreiber eine Peripheral Component Interconnect (PCI-) Express-Grafikkarte umfassen.
  • In verschiedenen Implementierungen können eine beliebige oder mehrere der im System 1000 gezeigten Komponenten integriert sein. Zum Beispiel können die Plattform 1002 und die Content-Diensteeinrichtung(en) 1030 integriert sein, oder die Plattform 1002 und die Content-Verteilungseinrichtung(en) 1040 können integriert sein, oder die Plattform 1002, die Content-Diensteeinrichtung(en) 1030 und die Content-Verteilungseinrichtung(en) 1040 können zum Beispiel integriert sein. In verschiedenen Ausführungsformen können die Plattform 1002 und die Anzeige 1020 eine integrierte Einheit sein. Die Anzeige 1020 und die Content-Diensteeinrichtung(en) 1030 können integriert sein, oder die Anzeige 1020 und die Content-Verteilungseinrichtung(en) 1040 können zum Beispiel integriert sein. Diese Beispiele sind nicht zum Beschränken der vorliegenden Offenbarung gedacht.
  • In verschiedenen Ausführungsformen kann das System 1000 als ein drahtloses System, ein drahtgebundenes System oder als eine Kombination von beiden implementiert sein. Wenn es als ein drahtloses System implementiert ist, kann das System 1000 Komponenten und Schnittstellen enthalten, die geeignet sind, über ein drahtloses gemeinsames Medium zu kommunizieren, wie zum Beispiel eine oder mehrere Antennen, Transmitter, Empfänger, Transceiver, Verstärker, Filter, Steuerlogik und so weiter. Ein Beispiel für drahtlose gemeinsam genutzte Medien kann Teile eines drahtlosen Spektrums enthalten, wie zum Beispiel das HF-Spektrum und so weiter. Wenn es als ein drahtgebundenes System implementiert ist, kann das System 1000 Komponenten und Schnittstellen enthalten, die geeignet sind, über drahtgebundene Kommunikationsmedien zu kommunizieren, wie zum Beispiel Eingangs-/Ausgangs(E/A)-Adapter, physische Verbinder zum Verbinden des E/A-Adapters mit einem entsprechenden drahtgebundenen Kommunikationsmedium, eine Netzwerkschnittstellenkarte (NIC), eine Plattensteuerung, eine Videosteuerung, eine Audiosteuerung und Ähnliches. Zu Beispielen für drahtgebundene Kommunikationsmedien können ein Draht, ein Kabel, Metallleitungen, eine Leiterplatte (PCB), eine Mutterplatine, ein Schaltnetz, Halbleitermaterial, paarweise verdrillter Draht, Koaxialkabel, Glasfasern und so weiter zählen.
  • Die Plattform 1002 kann einen oder mehrere logische oder physische Kanäle zum Kommunizieren von Informationen einrichten. Zu den Informationen können Medieninformationen und Steuerinformationen zählen. Medieninformationen können sich auf beliebige Daten beziehen, die für einen Nutzer bestimmten Content repräsentieren. Zu Beispielen für Content können zum Beispiel Daten aus einer Sprachkonversation, einer Videokonferenz, einem Streaming-Video, elektronischer Post(„E-Mail“)-Nachricht, Voicemail-Nachricht, alphanumerische Symbole, Grafik, Bild, Video, Text und so weiter zählen. Daten aus einer Sprachkonversation können zum Beispiel Sprachinformationen, Ruheperioden, Hintergrundgeräusche, Komfortgeräusche, Töne und so weiter sein. Steuerinformationen können sich auf beliebige Daten beziehen, die Anweisungen, Befehle oder Steuerwörter repräsentieren, die für ein automatisiertes System gedacht sind. Zum Beispiel können Steuerinformationen verwendet werden, um Medieninformationen durch ein System zu leiten oder um einen Knoten dazu anzuweisen, die Medieninformationen auf eine vorbestimmte Weise zu verarbeiten. Die Ausführungsformen sind allerdings nicht auf die Elemente oder auf das in 10 gezeigte oder beschriebene Umfeld beschränkt.
  • Wie oben beschrieben, kann das System 1000 in variierenden physischen Stilen oder Formfaktoren ausgeführt sein. Die 11 veranschaulicht eine beispielhafte Einrichtung 1100 mit kleinem Formfaktor, die gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. In einigen Beispielen kann das System 1000 über die Einrichtung 1100 implementiert sein. In anderen Beispielen kann die Einrichtung 100 oder Teile davon über die Einrichtung 1100 implementiert sein. In verschiedenen Ausführungsformen kann die Einrichtung 1100 zum Beispiel als eine mobile Computingeinrichtung mit drahtlosen Fähigkeiten implementiert sein. Eine mobile Datenverarbeitungseinrichtung kann sich auf eine beliebige Einrichtung beziehen, die ein Verarbeitungssystem und eine mobile Leistungsquelle oder -versorgung aufweist, wie zum Beispiel eine oder mehrere Batterien.
  • Zu Beispielen für eine mobile Computingeinrichtung können ein Personal Computer (PC), ein Laptop-Computer, ein Ultra-Laptop-Computer, ein Tablet, ein Touchpad, ein portabler Computer, ein Handheld-Computer, ein Palmtop-Computer, ein persönlicher digitaler Assistent (PDA), ein Mobiltelefon, ein kombiniertes Mobiltelefon/PDA, eine Smart-Einrichtung (z. B. ein Smartphone, ein Smart-Tablet oder ein Smart-Fernseher), eine mobile Interneteinrichtung (MID), eine Messaging-Einrichtung, eine Datenkommunikationseinrichtung, Kameras und so weiter zählen.
  • Zu Beispielen für eine mobile Computingeinrichtung können auch Computer zählen, die dazu ausgelegt sind, von einer Person getragen zu werden, wie etwa Handgelenks-Computer, Finger-Computer, Ring-Computer, Brillen-Computer, Gürtelschnallen-Computer, Armband-Computer, Schuh-Computer, Bekleidungs-Computer und andere Wearable-Computer. Bei verschiedenen Ausführungsformen kann eine mobile Datenverarbeitungseinrichtung beispielsweise als ein Smartphone implementiert sein, das in der Lage ist, Computeranwendungen sowie Sprachkommunikationen und/oder Datenkommunikationen auszuführen. Obgleich einige Ausführungsformen beispielhaft mit einer mobilen Computingeinrichtung, die als ein Smartphone implementiert ist, beschrieben sein können, versteht es sich, dass auch andere Ausführungsformen unter Verwendung anderer drahtloser mobiler Computingeinrichtungen implementiert werden können. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
  • Wie in der 11 gezeigt wird, kann die Einrichtung 1100 ein Gehäuse mit einer Vorderseite 1101 und einer Rückseite 1102 enthalten. Die Einrichtung 1100 enthält eine Anzeige 1104, eine Eingabe-/Ausgabe(E/A)-Einrichtung 1106 und eine integrierte Antenne 1108. Die Einrichtung 1100 kann auch Navigationsmerkmale 1111 enthalten. Die E/A-Einrichtung 1106 kann eine beliebige geeignete E/A-Einrichtung zum Eingeben von Informationen in eine mobile Computingeinrichtung enthalten. Zu Beispielen für die E/A-Einrichtung 1106 können eine alphanumerische Tastatur, ein numerisches Tastenfeld, ein Touchpad, Eingabetasten, Knöpfe, Schalter, Mikrofone, Lautsprecher, eine Spracherkennungseinrichtung und Software und so weiter zählen. Informationen können auch mittels eines (nicht dargestellten) Mikrofons in die Einrichtung 1100 eingegeben werden oder können durch eine Spracherkennungseinrichtung digitalisiert werden. Wie gezeigt wird, kann die Einrichtung 1100 eine Kamera 1105 (die z. B. ein Objektiv, eine Öffnung und einen Bildsensor enthält) und einen Blitz 1110, der in die Rückseite 1102 (oder anderswo) der Einrichtung 1100 integriert ist, enthalten. In anderen Beispielen können die Kamera 1105 und/oder der Blitz 1110 in die Vorderseite 1101 von Einrichtung 1100 integriert sein, und/oder zusätzliche Kameras (z. B. so dass die Einrichtung 1100 Vorder- und Rückkameras aufweist) können bereitgestellt werden.
  • Verschiedene Ausführungsformen können unter Verwendung von Hardware-Elementen, Software-Elementen oder einer Kombination beider implementiert werden. Zu Beispielen für Hardware-Elemente können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktivitäten und so weiter), integrierte Schaltungen, anwendungsspezifische integrierte Schaltungen (ASIC), programmierbare Logikeinrichtungen (PLD), digitale Signalprozessoren (DSP), ein feldprogrammierbares Gate-Array (FPGA), Logik-Gatter, Register, eine Halbleitereinrichtung, Chips, Mikrochips, Chipsätze und so weiter zählen. Zu Beispielen für Software können Software-Komponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystemsoftware, Middleware, Firmware, Software-Module, Routinen, Subroutinen, Funktionen, Verfahren, Prozeduren, Software-Schnittstellen, Anwendungsprogrammschnittstellen (API), Befehlssätze, Datenverarbeitungscode, Computercode, Codesegmente, Computercodesegmente, Wörter, Werte, Symbole oder eine beliebige Kombination daraus zählen. Das Bestimmen, ob eine Ausführungsform unter Verwendung von Hardware-Elementen und/oder Software-Elementen implementiert wird, kann gemäß einer beliebigen Anzahl von Faktoren variieren, wie zum Beispiel der gewünschten Rechengeschwindigkeit, den Leistungspegeln, den Wärmetoleranzen, dem Verarbeitungszyklusbudget, den Eingangsdatenraten, den Ausgangsdatenraten, den Speicherressourcen, den Datenbusgeschwindigkeiten und anderen Design- oder Performance-Vorgaben.
  • Einer oder mehrere Aspekte von mindestens einer Ausführungsform können durch repräsentative Befehle, die auf einem maschinenlesbaren Medium gespeichert sind, das verschiedene Logik innerhalb des Prozessors repräsentiert, implementiert sein, die, wenn sie von einer Maschine gelesen werden, bewirken, dass die Maschine Logik zum Durchführen der hier beschriebenen Techniken herstellt. Solche Repräsentationen, bekannt als IP-Kerne, können auf einem dinghaften maschinenlesbaren Medium gespeichert sein und an verschiedene Kunden oder Herstellungseinrichtungen geliefert werden, um auf die Herstellungsmaschinen geladen zu werden, die die Logik oder den Prozessor tatsächlich herstellen.
  • Obgleich gewisse hier dargelegte Merkmale unter Bezugnahme auf verschiedene Implementierungen beschrieben wurden, ist diese Beschreibung nicht dafür gedacht, in einem beschränkenden Sinne aufgefasst zu werden. Folglich werden verschiedene Modifikationen der hier beschriebenen Implementierungen sowie andere Implementierungen, die Fachleuten im Fachgebiet, zu dem die vorliegende Offenbarung gehört, offensichtlich erscheinen, als innerhalb des Wesens und des Schutzumfangs der vorliegenden Offenbarung liegend erachtet.
  • Die folgenden Beispiele betreffen weitere Ausführungsformen.
  • In einer oder mehreren ersten Ausführungsformen umfasst ein Verfahren zum Bereitstellen von zeitlicher Rauschunterdrückung, ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes zu erzeugen, einen Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes zu erzeugen und mindestens einen Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der erste Bewegungswert ist, umfassen und wobei das Anwenden des Rauschflusses umfasst, den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, der kleiner als ein Schwellenwert ist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der Schwellenwert ist, umfassen und wobei das Anwenden des Rauschflusses umfasst, den Rauschfluss an der ersten Position anzuwenden und den Rauschfluss an der zweiten Position nicht anzuwenden.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Rauschflusses mit dem Referenzbild und dem zweiten rauschunterdrückten Bild umfasst Pixel-Blending des Rauschflusses, des Referenzbildes, des zweiten rauschunterdrückten Bildes und des rauschunterdrückten Bildes auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis mindestens eines von Folgenden anzupassen, der lokalen Luminanz, die dem Eingangsbild entspricht, der lokalen Chrominanz, die dem Eingangsbild entspricht, dem detektierten Content, der dem Eingangsbild entspricht, oder einer Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  • Des Weiteren zu den ersten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  • Des Weiteren zu den ersten Ausführungsformen: Das Eingangsbild und der Rauschfluss sind in einer Farbfilter-Array-Domäne, und das Verfahren umfasst des Weiteren, das rauschunterdrückte Bild zu demosaikieren, um ein demosaikiertes Bild zu erzeugen, die räumliche Rauschunterdrückung auf das demosaikierte Bild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen, und den Rauschfluss in einen Luma-Rauschfluss zu konvertieren, bevor der Rauschfluss mit dem Referenzbild und dem zweiten rauschunterdrückten Bild adaptiv kombiniert wird.
  • Des Weiteren zu den ersten Ausführungsformen: Das Eingangsbild umfasst ein demosaikiertes Eingangsbild, und das Verfahren umfasst des Weiteren, eine zweite räumliche Rauschunterdrückung auf das Eingangsbild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen.
  • Des Weiteren zu den ersten Ausführungsformen: Das Verfahren umfasst des Weiteren, Content-Detektion auf Basis des rauschunterdrückten Bildes durchzuführen, um eine Content-Level-Zuordnung zu erzeugen, lokale Bewegungsschätzung auf Basis des rauschunterdrückten Bildes und des Referenzbildes durchzuführen, um eine lokale Bewegungszuordnung zu erzeugen, Trajektorienabbruchdetektion auf der lokalen Bewegungszuordnung durchzuführen, um eine lokale Bewegungsvertrauenszuordnung zu erzeugen, eine lokale Luminanzzuordnung auf Basis des rauschunterdrückten Bildes zu erzeugen und den Rauschfluss auf Basis der Content-Level-Zuordnung und der Luminanzzuordnung anzupassen, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis der lokalen Bewegungszuordnung und der lokalen Bewegungsvertrauenszuordnung anzuwenden.
  • In einer oder mehreren zweiten Ausführungsformen umfasst ein System zum Bereitstellen von zeitlicher Rauschunterdrückung einen Speicher, der dazu ausgelegt ist, ein Eingangsbild zu speichern, und einen Bildprozessor, der mit dem Speicher gekoppelt ist, wobei der Bildprozessor dazu dient, ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung des Eingangsbildes zu erzeugen, einen Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes zu erzeugen und mindestens einen Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anwendet.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anwendet, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der erste Bewegungswert ist, umfassen und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anwendet, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, der kleiner als ein Schwellenwert ist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der Schwellenwert ist, umfassen und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, den Rauschfluss an der ersten Position anzuwenden und an der zweiten Position nicht anzuwenden.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis von Bewegungsinformationen anwendet, die dem Eingangsbild entsprechen, wobei die Bewegungsinformationen eine erste Position umfassen, die einen ersten Bewegungswert aufweist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der erste Bewegungswert ist, und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, dass der Bildprozessor den Rauschfluss an der ersten Position auf einem höheren Level anwendet als an der zweiten Position, und/oder wobei die Bewegungsinformationen eine erste Position, die einen Bewegungswert aufweist, der kleiner als ein Schwellenwert ist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der Schwellenwert ist, umfassen, und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, dass der Bildprozessor den Rauschfluss an der ersten Position anwendet und den Rauschfluss an der zweiten Position nicht anwendet.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Rauschfluss adaptiv mit dem Referenzbild und dem zweiten rauschunterdrückten Bild kombiniert, umfasst, dass der Bildprozessor den Rauschfluss, das Referenzbild, das zweite rauschunterdrückte Bild und das rauschunterdrückte Bild auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, pixelweise überlagert.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis mindestens eines von Folgenden anpasst, der lokalen Luminanz, die dem Eingangsbild entspricht, der lokalen Chrominanz, die dem Eingangsbild entspricht, dem detektierten Content, der dem Eingangsbild entspricht, oder einer Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anpasst, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anpasst, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  • Des Weiteren zu den zweiten Ausführungsformen: Dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anpasst, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  • Des Weiteren zu den zweiten Ausführungsformen: Das Eingangsbild und der Rauschfluss sind in einer Farbfilter-Array-Domäne, und der Bildprozessor dient des Weiteren dazu, das rauschunterdrückte Bild zu demosaikieren, um ein demosaikiertes Bild zu erzeugen, die räumliche Rauschunterdrückung auf das demosaikierte Bild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen, und den Rauschfluss in einen Luma-Rauschfluss zu konvertieren, bevor der Rauschfluss mit dem Referenzbild und dem zweiten rauschunterdrückten Bild adaptiv kombiniert wird.
  • Des Weiteren zu den zweiten Ausführungsformen: Das Eingangsbild umfasst ein demosaikiertes Eingangsbild, und der Bildprozessor dient des Weiteren dazu, eine zweite räumliche Rauschunterdrückung auf das Eingangsbild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen.
  • In einer oder mehreren dritten Ausführungsformen umfasst ein System zum Erzeugen eines rauschunterdrückten Bildes auf Basis einer Rauschunterdrückung eines Eingangsbildes Mittel zum Erzeugen eines Rauschflusses, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes und Mittel, um mindestens einen Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der erste Bewegungswert ist, umfassen und wobei die Mittel, um den Rauschfluss anzuwenden, Mittel umfassen, um den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden, wobei die Bewegungsinformationen eine erste Position, die einen ersten Bewegungswert aufweist, der kleiner als ein Schwellenwert ist, und eine zweite Position, die einen zweiten Bewegungswert aufweist, der größer als der Schwellenwert ist, umfassen und wobei die Mittel, um den Rauschfluss anzuwenden, umfassen, den Rauschfluss an der ersten Position anzuwenden und den Rauschfluss an der zweiten Position nicht anzuwenden.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  • Des Weiteren zu den dritten Ausführungsformen: Die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses umfassen Mittel, um den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  • In einer oder mehreren vierten Ausführungsformen umfasst mindestens ein maschinenlesbares Medium mehrere Befehle, die als Reaktion darauf, dass sie von einer Einrichtung ausgeführt werden, bewirken, dass die Einrichtung zeitliche Rauschunterdrückung bereitstellt, indem ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes erzeugt wird, ein Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes erzeugt wird und mindestens ein Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv kombiniert wird, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  • Des Weiteren zu den vierten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  • Des Weiteren zu den vierten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  • Des Weiteren zu den vierten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  • Des Weiteren zu den vierten Ausführungsformen: Das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  • Des Weiteren zu den vierten Ausführungsformen: Das maschinenlesbare Medium umfasst des Weiteren Befehle, die als Reaktion darauf, dass sie auf der Einrichtung ausgeführt werden, bewirken, dass die Einrichtung zeitliche Rauschunterdrückung bereitstellt, indem sie Content-Detektion auf Basis des rauschunterdrückten Bildes durchführt, um eine Content-Level-Zuordnung zu erzeugen, lokale Bewegungsschätzung auf Basis des rauschunterdrückten Bildes und des Referenzbildes durchführt, um eine lokale Bewegungszuordnung zu erzeugen, Trajektorienabbruchdetektion auf der lokalen Bewegungszuordnung durchführt, um eine abschließende lokale Bewegungsschätzungszuordnung zu erzeugen, eine lokale Luminanzzuordnung auf Basis des rauschunterdrückten Bildes erzeugt und den Rauschfluss auf Basis der Content-Level-Zuordnung und der Luminanzzuordnung anpasst, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis der abschließenden lokalen Bewegungszuordnung anzuwenden.
  • In einer oder mehreren fünften Ausführungsformen kann mindestens ein maschinenlesbares Medium mehrere Befehle enthalten, die als Reaktion darauf, dass sie auf einer Computingeinrichtung ausgeführt werden, bewirken, dass die Computingeinrichtung ein Verfahren gemäß einer der oben genannten Ausführungsformen durchführt.
  • Bei einer oder mehreren sechsten Ausführungsformen kann eine Vorrichtung Mittel zum Durchführen eines Verfahrens gemäß einer der oben genannten Ausführungsformen enthalten.
  • Es versteht sich, dass die Ausführungsformen nicht auf die derart beschriebenen Ausführungsformen beschränkt sind, sondern mit Modifikation und Abänderung ausgeübt werden können, ohne vom Schutzumfang der angehängten Ansprüche abzuweichen. Zum Beispiel können die oben genannten Ausführungsformen spezifische Kombinationen von Merkmalen enthalten. Allerdings sind die oben genannten Ausführungsformen in dieser Hinsicht nicht beschränkt, und die oben genannten Ausführungsformen können das Durchführen lediglich einer Untermenge derartiger Merkmale, das Durchführen einer anderen Reihenfolge derartiger Merkmale, das Durchführen einer anderen Kombination derartiger Merkmale und/oder das Durchführen zusätzlicher Merkmale als den explizit aufgelisteten Merkmalen beinhalten. Der Schutzumfang der Ausführungsformen sollte daher unter Bezugnahme auf die beigefügten Ansprüche zusammen mit dem vollen Umfang von Äquivalenten, zu denen diese Ansprüche berechtigt sind, bestimmt werden.

Claims (33)

  1. Beansprucht wird:
  2. Verfahren zum Bereitstellen von zeitlicher Rauschunterdrückung, das Folgendes umfasst: ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes zu erzeugen; einen Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes zu erzeugen; und mindestens einen Teil des Rauschflusses adaptiv mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  3. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  4. Verfahren nach Anspruch 2, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert und eine zweite Position mit einem zweiten Bewegungswert, der größer als der erste Bewegungswert ist, umfassen und wobei das Anwenden des Rauschflusses umfasst, den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden.
  5. Verfahren nach Anspruch 2, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert, der kleiner als ein Schwellenwert ist, und eine zweite Position mit einem zweiten Bewegungswert, der größer als der Schwellenwert ist, umfassen und wobei das Anwenden des Rauschflusses umfasst, den Rauschfluss an der ersten Position anzuwenden und den Rauschfluss an der zweiten Position nicht anzuwenden.
  6. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Rauschflusses mit dem Referenzbild und dem zweiten rauschunterdrückten Bild Pixel-Blending des Rauschflusses, des Referenzbildes, des zweiten rauschunterdrückten Bildes und des rauschunterdrückten Bildes auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, umfasst.
  7. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis mindestens eines von Folgenden anzupassen, der lokalen Luminanz, die dem Eingangsbild entspricht, der lokalen Chrominanz, die dem Eingangsbild entspricht, dem detektierten Content, der dem Eingangsbild entspricht, oder einer Radialdistanz von einem optischen Mittelpunkt des Eingangsbildes.
  8. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  9. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  10. Verfahren nach Anspruch 1, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  11. Verfahren nach Anspruch 1, wobei das Eingangsbild und der Rauschfluss in einer Farbfilter-Array-Domäne sind und das Verfahren des Weiteren Folgendes umfasst: das rauschunterdrückte Bild zu demosaikieren, um ein demosaikiertes Bild zu erzeugen; räumliche Rauschunterdrückung auf das demosaikierte Bild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen; und den Rauschfluss in einen Luma-Rauschfluss zu konvertieren, bevor der Rauschfluss adaptiv mit dem Referenzbild und dem zweiten rauschunterdrückten Bild kombiniert wird.
  12. Verfahren nach Anspruch 1, wobei das Eingangsbild ein demosaikiertes Eingangsbild umfasst und das Verfahren des Weiteren Folgendes umfasst: eine zweite räumliche Rauschunterdrückung auf das Eingangsbild anzuwenden, um das zweite rauschunterdrückte Bild zu erzeugen.
  13. Verfahren nach Anspruch 1, das des Weiteren Folgendes umfasst: Content-Detektion auf Basis des rauschunterdrückten Bildes durchzuführen, um eine Content-Level-Zuordnung zu erzeugen; lokale Bewegungsschätzung auf Basis des rauschunterdrückten Bildes und des Referenzbildes durchzuführen, um eine lokale Bewegungszuordnung zu erzeugen; Trajektorienabbruchdetektion an der lokalen Bewegungszuordnung durchzuführen, um eine lokale Bewegungsvertrauenszuordnung zu erzeugen; eine lokale Luminanzzuordnung auf Basis des rauschunterdrückten Bildes zu erzeugen; und den Rauschfluss auf Basis der Content-Level-Zuordnung und der lokalen Luminanzzuordnung anzupassen, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis der lokalen Bewegungszuordnung und der lokalen Bewegungsvertrauenszuordnung anzuwenden.
  14. System zum Bereitstellen von zeitlicher Rauschunterdrückung, das Folgendes umfasst: einen Speicher, der dazu ausgelegt ist, ein Eingangsbild zu speichern; und einen Bildprozessor, der mit dem Speicher gekoppelt ist. wobei der Bildprozessor dazu dient, ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung des Eingangsbildes zu erzeugen, einen Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes zu erzeugen und mindestens einen Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  15. System nach Anspruch 13, wobei, dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anwendet.
  16. System nach Anspruch 14, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert und eine zweite Position mit einem zweiten Bewegungswert, der größer als der erste Bewegungswert ist, umfassen und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, dass der Bildprozessor den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anwendet.
  17. System nach Anspruch 14, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert, der kleiner als ein Schwellenwert ist, und eine zweite Position mit einem zweiten Bewegungswert, der größer als der Schwellenwert ist, umfassen und wobei, dass der Bildprozessor den Rauschfluss anwendet, umfasst, dass der Bildprozessor den Rauschfluss an der ersten Position anwendet und den Rauschfluss an der zweiten Position nicht anwendet.
  18. System nach Anspruch 13, wobei, dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anpasst, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokale Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  19. System nach Anspruch 13, wobei, dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anpasst, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  20. System nach Anspruch 13, wobei, dass der Bildprozessor den Teil des Rauschflusses adaptiv kombiniert, umfasst, dass der Bildprozessor den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anpasst, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  21. System, das Folgendes umfasst: Mittel, um ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes zu erzeugen; Mittel, um einen Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes zu erzeugen; und Mittel, um mindestens einen Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv zu kombinieren, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  22. System nach Anspruch 20, wobei die Mittel zum adaptiven Kombinieren des Teils des Rauschflusses Mittel umfassen, um den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  23. System nach Anspruch 21, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert und eine zweite Position mit einem zweiten Bewegungswert, der größer als der erste Bewegungswert ist, umfassen und wobei die Mittel, um den Rauschfluss anzuwenden, Mittel umfassen, um den Rauschfluss an der ersten Position auf einem höheren Level als an der zweiten Position anzuwenden.
  24. System nach Anspruch 21, wobei die Bewegungsinformationen eine erste Position mit einem ersten Bewegungswert, der kleiner als ein Schwellenwert ist, und eine zweite Position mit einem zweiten Bewegungswert, der größer als der Schwellenwert ist, umfassen und wobei die Mittel, um den Rauschfluss anzuwenden, Mittel umfassen, um den Rauschfluss an der ersten Position anzuwenden und den Rauschfluss an der zweiten Position nicht anzuwenden.
  25. System nach Anspruch 20, wobei die Mittel, um den Teil des Rauschflusses adaptiv zu kombinieren, Mittel umfassen, um den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  26. System nach Anspruch 20, wobei die Mittel, um den Teil des Rauschflusses adaptiv zu kombinieren, Mittel umfassen, um den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  27. System nach Anspruch 20, wobei die Mittel, um den Teil des Rauschflusses adaptiv zu kombinieren, Mittel umfassen, um den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  28. Mindestens ein maschinenlesbares Medium, das eine Vielzahl von Instruktionen umfasst, die als Reaktion darauf, dass sie auf einer Einrichtung ausgeführt werden, bewirken, dass die Einrichtung zeitliche Rauschunterdrückung bereitstellt, indem: ein rauschunterdrücktes Bild auf Basis einer Rauschunterdrückung eines Eingangsbildes erzeugt wird; ein Rauschfluss, der dem Eingangsbild entspricht, auf Basis des Eingangsbildes und des rauschunterdrückten Bildes erzeugt wird; und mindestens ein Teil des Rauschflusses mit einem Referenzbild, das dem Eingangsbild entspricht, und einem zweiten rauschunterdrückten Bild, das dem Eingangsbild entspricht, adaptiv kombiniert wird, um ein zeitlich rauschunterdrücktes Ausgangsbild zu erzeugen.
  29. Maschinenlesbares Medium nach Anspruch 27, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis von Bewegungsinformationen, die dem Eingangsbild entsprechen, anzuwenden.
  30. Maschinenlesbares Medium nach Anspruch 27, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer lokalen Luminanzzuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine von der lokalen Luminanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die lokale Luminanzzuordnung einen ersten lokalen Luminanzwert an einer ersten Position und einen zweiten lokalen Luminanzwert, der kleiner als der erste lokale Luminanzwert ist, an einer zweiten Position aufweist und wobei die von der lokalen Luminanz abhängige Verstärkung einen ersten lokalen Luminanzverstärkungswert für die erste Position und einen zweiten lokalen Luminanzverstärkungswert, der größer als der erste lokale Luminanzverstärkungswert ist, für die zweite Position als Reaktion auf die lokale Luminanzzuordnung bereitstellt.
  31. Maschinenlesbares Medium nach Anspruch 27, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Content-Level-Zuordnung, die dem Eingangsbild entspricht, anzupassen, indem eine vom Content Level abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei die Content-Level-Zuordnung einen ersten Content-Detektionswert an einer ersten Position und einen zweiten Content-Detektionswert, der kleiner als der erste Content-Detektionswert ist, an einer zweiten Position aufweist und wobei die vom Content Level abhängige Verstärkung einen ersten Content-Level-Verstärkungswert für die erste Position und einen zweiten Content-Level-Verstärkungswert, der kleiner als der erste vom Level abhängige Verstärkungswert ist, für die zweite Position als Reaktion auf die Content-Level-Zuordnung bereitstellt.
  32. Maschinenlesbares Medium nach Anspruch 27, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis einer Radialdistanz von einem optischen Mittelpunkt anzupassen, indem eine von der Radialdistanz abhängige Verstärkung auf den Rauschfluss angewendet wird, wobei ein erster, an die Radialdistanz adaptiver Verstärkungswert für eine erste Position kleiner als ein zweiter, an die Radialdistanz adaptiver Verstärkungswert für eine zweite Position ist, als Reaktion darauf, dass die erste Position eine größere Distanz vom optischen Mittelpunkt als die zweite Position hat.
  33. Maschinenlesbares Medium nach Anspruch 27, wobei das maschinenlesbare Medium weitere Instruktionen umfasst, die als Reaktion darauf, dass sie in der Einrichtung durchgeführt werden, bewirken, dass die Einrichtung zeitliche Rauschunterdrückung bereitstellt, indem: Content-Detektion auf Basis des rauschunterdrückten Bildes durchgeführt wird, um eine Content-Level-Zuordnung zu erzeugen; lokale Bewegungsschätzung auf Basis des rauschunterdrückten Bildes und des Referenzbildes durchgeführt wird, um eine lokale Bewegungszuordnung zu erzeugen; Trajektorienabbruchdetektion an der lokalen Bewegungszuordnung durchgeführt wird, um eine abschließende lokale Bewegungszuordnung zu erzeugen; eine lokale Luminanzzuordnung auf Basis des rauschunterdrückten Bildes erzeugt wird; und der Rauschfluss auf Basis der Content-Level-Zuordnung und der lokalen Luminanzzuordnung angepasst wird, wobei das adaptive Kombinieren des Teils des Rauschflusses umfasst, den Rauschfluss auf Basis der abschließenden lokalen Bewegungszuordnung anzuwenden.
DE112017000500.0T 2016-03-23 2017-02-16 Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung Granted DE112017000500T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/078,735 2016-03-23
US15/078,735 US10559073B2 (en) 2016-03-23 2016-03-23 Motion adaptive stream processing for temporal noise reduction
PCT/US2017/018072 WO2017165022A2 (en) 2016-03-23 2017-02-16 Motion adaptive stream processing for temporal noise reduction

Publications (1)

Publication Number Publication Date
DE112017000500T5 true DE112017000500T5 (de) 2018-12-06

Family

ID=59896455

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017000500.0T Granted DE112017000500T5 (de) 2016-03-23 2017-02-16 Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung

Country Status (5)

Country Link
US (1) US10559073B2 (de)
KR (1) KR102626115B1 (de)
CN (1) CN108885785B (de)
DE (1) DE112017000500T5 (de)
WO (1) WO2017165022A2 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
EP3671530A1 (de) * 2018-12-17 2020-06-24 Koninklijke Philips N.V. Vorrichtung, system und verfahren zur objekterkennung
ES2793800B2 (es) * 2019-05-13 2021-03-30 Seat Sa Sistema y metodo de retencion para toma de corriente de enchufe en el interior de un vehiculo
CN110210383B (zh) * 2019-05-31 2021-08-17 北京工业大学 一种融合运动模式和关键视觉信息的篮球视频语义事件识别方法
DE102019217220A1 (de) * 2019-11-07 2021-05-12 Siemens Healthcare Gmbh Computerimplementiertes Verfahren zur Bereitstellung eines Ausgangsdatensatzes
JP7437921B2 (ja) * 2019-11-22 2024-02-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11418766B2 (en) * 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion
US11538136B2 (en) * 2020-10-28 2022-12-27 Qualcomm Incorporated System and method to process images of a video stream
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
US11798135B2 (en) * 2021-02-24 2023-10-24 Gn Audio A/S Method and system for three-dimensional noise reduction and contrast enhancement of images
EP4356345A1 (de) * 2021-06-18 2024-04-24 Subtle Medical, Inc. Systeme und verfahren zur echtzeit-videorauschunterdrückung

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038388A (en) * 1989-05-15 1991-08-06 Polaroid Corporation Method for adaptively sharpening electronic images
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
US5867606A (en) * 1997-08-12 1999-02-02 Hewlett-Packard Company Apparatus and method for determining the appropriate amount of sharpening for an image
KR100429804B1 (ko) * 2001-12-29 2004-05-03 삼성전자주식회사 적응적 영상 노이즈 감쇄 장치 및 그 방법
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
JP5102374B2 (ja) * 2008-06-19 2012-12-19 パナソニック株式会社 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
WO2010036250A1 (en) * 2008-09-24 2010-04-01 Nikon Corporation Method and device for image noise compensation with image enhancement
US8374457B1 (en) * 2008-12-08 2013-02-12 Adobe Systems Incorporated System and method for interactive image-noise separation
WO2010073251A2 (en) * 2008-12-25 2010-07-01 Medic Vision - Brain Technologies Ltd. Denoising medical images
US8767127B2 (en) * 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
US8963949B2 (en) * 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8830359B2 (en) * 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium
CN103069432A (zh) * 2010-06-30 2013-04-24 梅迪奇视觉成像解决方案有限公司 医学图像的非线性分辨率降低方法
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
US8471932B2 (en) * 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
US8639050B2 (en) * 2010-10-19 2014-01-28 Texas Instruments Incorporated Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
US20120200754A1 (en) * 2011-02-09 2012-08-09 Samsung Electronics Co., Ltd. Image Noise Reducing Systems And Methods Thereof
CN103002195B (zh) 2011-09-09 2016-03-30 中磊电子（苏州）有限公司 运动检测方法及运动检测装置
JP2013090034A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
US8811757B2 (en) * 2012-01-05 2014-08-19 Texas Instruments Incorporated Multi-pass video noise filtering
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
KR101306242B1 (ko) 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
US9374506B2 (en) * 2013-01-04 2016-06-21 Qualcomm Incorporated Method and apparatus of reducing random noise in digital video streams
US9165345B2 (en) 2013-03-14 2015-10-20 Drs Network & Imaging Systems, Llc Method and system for noise reduction in video systems
US8976298B2 (en) * 2013-04-05 2015-03-10 Altera Corporation Efficient 2D adaptive noise thresholding for video processing
EP2992504B1 (de) * 2013-04-29 2017-10-25 Koninklijke Philips N.V. Randverbesserung von entrauschten rekonstruierten bilddaten
WO2014188799A1 (ja) 2013-05-22 2014-11-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP3005288A4 (de) * 2013-05-24 2016-11-30 Intel Corp Auf den hautton abgestimmte bildverbesserung
JP2015046678A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP2016025439A (ja) * 2014-07-18 2016-02-08 ソニー株式会社 信号処理装置
US9514525B2 (en) * 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
JP6510039B2 (ja) * 2014-10-02 2019-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション ジャダー可視性制御のためのデュアルエンドメタデータ
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
US20170109867A1 (en) * 2015-10-16 2017-04-20 Motorola Mobility Llc Camera array for performing non-local means image processing over multiple sequential images

Also Published As

Publication number Publication date
CN108885785A (zh) 2018-11-23
WO2017165022A3 (en) 2018-07-26
KR102626115B1 (ko) 2024-01-16
KR20180119157A (ko) 2018-11-01
US10559073B2 (en) 2020-02-11
CN108885785B (zh) 2023-08-15
WO2017165022A2 (en) 2017-09-28
US20170278225A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
DE112017000500T5 (de) Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung
US10885384B2 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US9495582B2 (en) Digital makeup
US9984446B2 (en) Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
EP3087730B1 (de) Verfahren zur umkehrung von dynamikkompression eines bildes
CN107431770B (zh) 用于自适应线性亮度域视频流水线架构的方法、系统、设备和介质
DE102020200310A1 (de) Verfahren und System zur Dunstreduzierung für die Bildverarbeitung
DE102018119625A1 (de) Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung
US10002408B2 (en) Restoring color and infrared images from mosaic data
DE102020123396A1 (de) Verfahren und system für inhaltsadaptives entrauschen zum videocodieren
CN107038680A (zh) 自适应光照的美颜方法及系统
TW201433168A (zh) 影像處理方法
Xu et al. A new approach for very dark video denoising and enhancement
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
US20130329135A1 (en) Real time denoising of video
WO2015187250A1 (en) Image refocusing for camera arrays
US10924682B2 (en) Self-adaptive color based haze removal for video
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
CN104380727A (zh) 图像处理装置和图像处理方法
WO2019090580A1 (en) System and method for image dynamic range adjusting
US10051252B1 (en) Method of decaying chrominance in images
JP2013041565A (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体
US20170069068A1 (en) Wide dynamic range imaging method
CN115239570A (zh) 图像处理方法、图像处理装置及存储介质
CN113132562B (zh) 镜头阴影校正方法、装置及电子设备

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HGF EUROPE LLP, DE

Representative=s name: HGF EUROPE LP, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division