DE102014015353B4

DE102014015353B4 - Dynamikkompression

Info

Publication number: DE102014015353B4
Application number: DE102014015353.3A
Authority: DE
Inventors: Victor Valdes Lopez; Michael c/o Imagination Technolog. Ltd. Bishop
Original assignee: Imagination Technologies Ltd
Current assignee: Imagination Technologies Ltd
Priority date: 2013-10-17
Filing date: 2014-10-16
Publication date: 2022-12-29
Anticipated expiration: 2034-10-17
Also published as: GB201318410D0; CN104574291A; DE102014015352A1; CN104574290B; US20150110399A1; GB2520406B; CN104574291B; GB2519336A; GB2519336B; US20150109321A1; GB2520406A; CN104574290A; US9984445B2; DE102014015353A1; DE102014015352B4; GB201417096D0; US9454810B2

Abstract

Verfahren zur Anwendung von Dynamikkompression auf einen Block von Pixelwerten, der eine Mehrzahl von Zeilen von Pixelwerten umfasst, wobei das Verfahren in jeder einer Mehrzahl von Iterationen umfasst: Empfangen einer aktuellen Zeile von Pixelwerten des Blocks; Abrufen von gespeicherten Informationen in Bezug auf Pixelwerte wenigstens einer vorangegangenen Zeile des Blocks, die in wenigstens einer vorangegangenen Iteration verarbeitet wurden, nicht aber der Pixelwerte der wenigstens einen vorangegangenen Zeile des Blocks; Verwenden der abgerufenen Informationen, um: (i) aktualisierte Informationen zu bestimmen, die in Abhängigkeit von den Pixelwerten der aktuellen Zeile aktualisiert werden, und (ii) eine oder mehrere Dynamikkompressionsbeziehungen zur Verwendung bei einer Abbildung der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte zu bestimmen; Abbilden der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte unter Verwendung der bestimmten einen oder mehreren Dynamikkompressionsbeziehungen; und Speichern der aktualisierten Informationen ohne die Pixelwerte der aktuellen Zeile zur Verwendung bei einer Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration.

Description

Hintergrund
Dynamikkompression (Tone Mapping) ist ein Verfahren, das bei der Bildverarbeitung und bei der Verarbeitung von Computergrafiken eingesetzt wird, um einen Satz von Pixelwerten (z.B. Luminanz- und/oder Chrominanzwerte) auf einen anderen Satz von Pixelwerten abzubilden, um den Eindruck eines größeren Dynamikbereichs zu erzeugen als tatsächlich verfügbar ist. Ein Bereich von Pixelwerten eines Originalbilds wird auf einen anderen Bereich von dynamikkomprimierten Pixelwerten abgebildet, damit das Bild „besser“ aussieht, beispielsweise in dem Sinne, dass der Kontrast erhöht wird, das Bild detailreicher gemacht wird oder der Dynamikbereich erweitert wird usw.
Ein Ansatz zur Anwendung von Dynamikkompression ist die Berechnung einer globalen Dynamikkompressionskurve für ein Bild, das die Entsprechung zwischen den Eingangs- und Ausgangspixelintensitätswerten für alle Pixel im Bild definiert. Wenn die Dynamikkompression beispielsweise auf Bilder angewandt werden soll, die von einer Kamera erfasst wurden, kann die globale Dynamikkompressionskurve festgelegt werden, sobald ein bestimmter Kameramodus eingestellt wurde, und wird üblicherweise während der Verarbeitung einer Bilderfolge (z.B. bei der Aufnahme eines Videos) nicht aktualisiert. Das Verfahren zur Extraktion der globalen Dynamikkompressionskurve kann sich in verschiedenen Systemen unterscheiden, aber das grundlegende Ziel der globalen Dynamikkompression ist es, den am häufigsten vorkommenden Pixelwerten des Originalbilds einen größeren Bereich an Ausgangspixelwerten zuzuordnen. In Shimoyama, S., et al.: Local adaptive tone mapping with composite multiple gamma functions. In: Proc. 16th IEEE Int. Conf. On Image Processing, 2009, S. 3153 - 3156 ist ein Verfahren beschrieben, wonach aktive Operationen für Schatten-, Mittel- und Spitzentöne in den lokalen Gebieten von Bilder durchgeführt werden können.
1 zeigt ein beispielhaftes System zur Anwendung von globaler Dynamikkompression auf ein Originalbild 102, das ursprüngliche Luminanzwerte 104 und ursprüngliche Chrominanzwerte 106 umfasst, um so ein dynamikkomprimiertes Bild 108 zu bestimmen, das dynamikkomprimierte Luminanzwerte 110 und korrigierte Chrominanzwerte 112 umfasst. Ein Histogramm 114 der Luminanzwerte wird bestimmt. Das Histogramm zeigt die
Verteilung der Luminanzwerte über den Bereich an verfügbaren Luminanzwerten (z.B. von 0 bis 255, wobei die Luminanzwerte jeweils 8 Bits umfassen). Das Histogramm 114 wird verwendet, um eine Dynamikkompressionskurve 116 zu bestimmen, die eine geeignete Dynamikkompression zur Abbildung der Luminanzwerte des Bildes auf dynamikkomprimierte Luminanzwerte beschreibt. Die Dynamikkompressionskurve 116 weist die ursprünglichen Luminanzwerte entlang der x-Achse und die dynamikkomprimierten Luminanzwerte auf der y-Achse auf. Die Dynamikkompressionskurve 116 kann beispielsweise durch Integration des Histogramms 114 bestimmt werden. Ein Abbildungsmodul 118 verwendet dann die Dynamikkompressionskurve 116, um die ursprünglichen Luminanzwerte 104 auf die dynamikkomprimierten Luminanzwerte 110 abzubilden. Ein Chrominanzverarbeitungsmodul 120 verwendet die dynamikkomprimierten Luminanzwerte 110, um die ursprünglichen Chrominanzwerte 106 zu korrigieren und so die korrigierten Chrominanzwerte 112 des dynamikkomprimierten Bildes 108 zu bestimmen.
Die Anwendung einer einzelnen globalen Dynamikkompressionskurve für das ganze Bild wie oben beschrieben kann das Aussehen des Bildes allgemein verbessern, aber alle Pixel des Bildes mit demselben Pixelwert müssen auf denselben Ausgangswert abgebildet werden, unabhängig von den Pixelwerten des umliegenden Bereichs. Daher stellt die Verwendung einer globalen Kompressionskurve eine eingeschränkte Lösung in Bezug auf eine lokale Verbesserung von Bildbereichen mit speziellen Eigenschaften bereit.
Kurzfassung
Diese Kurzfassung ist bereitgestellt, um eine Auswahl von Konzepten in vereinfachter Form einzuführen, die in der ausführlichen Beschreibung weiter unten genauer beschrieben sind. Diese Kurzfassung dient nicht dazu, Schlüsselmerkmale oder wesentliche Merkmale des beanspruchten Gegenstands zu identifizieren oder den Schutzbereich des beanspruchen Gegenstands einzuschränken.
Eine Dynamikkompressionseinheit wendet Dynamikkompression auf einen Block von Pixelwerten an. In jeder aus einer Mehrzahl von Iterationen werden ein oder mehrere Zeilen von Pixelwerten basierend auf Informationen verarbeitet, die sich auf Pixelwerte aus wenigstens einer vorangegangenen Zeile des Blocks beziehen, der in wenigstens einer vorangegangenen Iteration verarbeitet wurde. Die Informationen werden verwendet, um eine oder mehrere Dynamikkompressionsbeziehungen zu bestimmen, die verwendet wird/werden, um die Pixelwerte der aktuellen Zeile dynamikkomprimierten Pixelwerten abzubilden. Außerdem werden die Informationen basierend auf den Pixelwerten der aktuellen Zeile aktualisiert und zur Verwendung bei der Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration gespeichert.
Bereitgestellt wird ein Verfahren zur Anwendung von Dynamikkompression auf einen Block von Pixelwerten, der eine Mehrzahl von Zeilen von Pixelwerten umfasst, wobei das Verfahren in jeder einer Mehrzahl von Iterationen umfasst: Empfangen einer aktuellen Zeile von Pixelwerten des Blocks; Abrufen von gespeicherten Informationen in Bezug auf Pixelwerte wenigstens einer vorangegangenen Zeile des Blocks, die in wenigstens einer vorangegangenen Iteration verarbeitet wurden; Verwenden der abgerufenen Informationen, um: (i) aktualisierte Informationen zu bestimmen, die in Abhängigkeit von den Pixelwerten der aktuellen Zeile aktualisiert werden, und (ii) eine oder mehrere Dynamikkompressionsbeziehungen zur Verwendung bei einer Abbildung der Pixelwerte der aktuellen Zeile zu dynamikkomprimierten Pixelwerten zu bestimmen; Abbilden der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte unter Verwendung der bestimmten einen oder mehreren Dynamikkompressionsbeziehungen; und Speichern der aktualisierten Informationen zur Verwendung bei einer Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration.
Außerdem wird ein Verfahren zur Korrektur von Chrominanzeingangswerten von Pixeln bereitgestellt, um korrigierte Chrominanzwerte für die Pixel basierend auf dynamikkomprimierten Luminanzwerten zu bestimmen, die durch Anwendung von Dynamikkompression auf Luminanzeingangswerte der Pixel bestimmt wurden, wobei das Verfahren umfasst: Bestimmen von möglichen korrigierten Chrominanzwerten für die Pixel basierend auf den Chrominanzeingangswerten, den Luminanzeingangswerten und den dynamikkomprimierten Luminanzwerten, sodass für jedes der Pixel eine erste Sättigung, die aus dem Luminanzeingangswert und dem Chrominanzeingangswert bestimmt wurde, eine vorbestimmte Beziehung zu einer zweiten Sättigung aufweist, die aus dem dynamikkomprimierten Luminanzwert und dem möglichen korrigierten Chrominanzwert bestimmt wurde; Bestimmen von Vertrauensgewichtungen, die Vertrauen in die jeweiligen möglichen korrigierten Chrominanzwerte angeben, wobei die Vertrauensgewichtungen in Abhängigkeit von den Luminanzeingangswerten der jeweiligen Pixel bestimmt werden; und Verwenden der bestimmten Vertrauensgewichtungen, um für jedes der Pixel eine gewichtete Kombination des jeweiligen möglichen korrigierten Chrominanzwerts und des jeweiligen Chrominanzeingangswerts durchzuführen, um so die korrigierten Chrominanzwerte für die Pixel zu bestimmen.
Außerdem wird eine Dynamikkompressionseinheit bereitgestellt, die ausgelegt ist, Dynamikkompression auf einen Block von Pixelwerten anzuwenden, der eine Mehrzahl von Zeilen von Pixelwerten umfasst, wobei die Dynamikkompressionseinheit ein Verarbeitungsmodul umfasst, das ausgelegt ist, in jeder einer Mehrzahl von Iterationen: eine aktuelle Zeile von Pixelwerten des Blocks zu empfangen; gespeicherte Informationen in Bezug auf Pixelwerte wenigstens einer vorangegangenen Zeile des Blocks abzurufen, die in wenigstens einer vorangegangenen Iteration verarbeitet wurden; die abgerufenen Informationen zu verwenden, um: (i) aktualisierte Informationen zu bestimmen, die in Abhängigkeit von den Pixelwerten der aktuellen Zeile aktualisiert werden, und (ii) eine oder mehrere Dynamikkompressionsbeziehungen zur Verwendung bei einer Abbildung der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte zu bestimmen; die Pixelwerte der aktuellen Zeile unter Verwendung der bestimmten einen oder mehreren Dynamikkompressionsbeziehungen auf dynamikkomprimierte Pixelwerte abzubilden; und zu bewirken, dass die aktualisierten Informationen zur Verwendung bei einer Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration gespeichert werden.
Außerdem wird ein Chrominanzverarbeitungsmodul bereitgestellt, das ausgelegt ist, Chrominanzeingangswerte von Pixeln zu korrigieren, um korrigierte Chrominanzwerte für die Pixel basierend auf dynamikkomprimierten Luminanzwerten zu bestimmen, die durch Anwendung von Dynamikkompression auf Luminanzeingangswerte der Pixel bestimmt wurden, wobei das Chrominanzverarbeitungsmodul ausgelegt ist: mögliche korrigierte Chrominanzwerte für die Pixel basierend auf den Chrominanzeingangswerten, den Luminanzeingangswerten und den dynamikkomprimierten Luminanzwerten zu bestimmen, sodass für jedes der Pixel eine erste Sättigung, die aus dem Luminanzeingangswert und dem Chrominanzeingangswert bestimmt wurde, eine vorbestimmte Beziehung zu einer zweiten Sättigung aufweist, die aus dem dynamikkomprimierten Luminanzwert und dem möglichen korrigierten Chrominanzwert bestimmt wurde; Vertrauensgewichtungen in Abhängigkeit von den Luminanzeingangswerten der jeweiligen Pixel zu bestimmen, wobei die Vertrauensgewichtungen Vertrauen in die jeweiligen möglichen korrigierten Chrominanzwerte angeben; und die bestimmten Vertrauensgewichtungen zu verwenden, um für jedes der Pixel eine gewichtete Kombination des jeweiligen möglichen korrigierten Chrominanzwerts und des jeweiligen Chrominanzeingangswerts durchzuführen, um so die korrigierten Chrominanzwerte für die Pixel zu bestimmen.
Außerdem werden ein computerlesbarer Code und ein computerlesbares Speichermedium, auf dem ein computerlesbarer Code kodiert ist, bereitgestellt, die ausgelegt sind, die Schritte eines beliebigen der hier beschriebenen Verfahren auszuführen, wenn der Code auf einem Computer laufen gelassen wird.
Die obigen Merkmale können je nach Bedarf kombiniert werden, wie für Fachleute offensichtlich ist, und sie können mit jedem beliebigen der in den Beispielen hier beschriebenen Aspekte kombiniert werden.
Figurenliste
Nachstehend werden Beispiele im Detail unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, wobei:

1 ein System nach dem Stand der Technik zur Anwendung von globaler Dynamikkompression auf ein Originalbild zeigt;
2 ein System zur Bestimmung von lokalen Dynamikkompressionskurven zeigt;
3 die Anwendung von lokalen Dynamikkompressionskurven zur Bestimmung eines dynamikkomprimierten Pixelwerts zeigt;
4 eine schematische Darstellung eines Bildverarbeitungssystems ist;
5 eine schematische Darstellung einer Dynamikkompressionseinheit ist;
6 ein Flussdiagramm eines Verfahrens zur Anwendung von Dynamikkompression auf einen Block von Pixelwerten ist;
7 Klassen eines Histogramms zeigt, das sich über einen Bereich von Pixelwerten erstreckt;
8a und 8b Zeilen von Pixeln in einer bestimmten Spalte von zwei Beispielen zeigen;
9 die Anwendung von Dynamikkompressionskurven aus verschiedenen Spalten zur Bestimmung eines dynamikkomprimierten Pixelwerts zeigt;
10 eine Gewichtung zeigt, die auf eine Dynamikkompressionskurve angewandt wird, wenn ein dynamikkomprimierter Pixelwert unter Verwendung der Dynamikkompressionskurve bestimmt wird;
11a bis 11c Gewichtungen zeigen, die auf drei Dynamikkompressionskurven angewandt werden, wenn ein dynamikkomprimierter Pixelwert unter Verwendung der drei Dynamikkompressionskurven bestimmt wird;
12 eine parallele Verarbeitung von mehreren Zeilen in jeder Iteration zeigt;
13 ein Flussdiagramm eines Verfahrens zur Anwendung einer Korrektur auf Chrominanzeingangswerte ist;
14a ein Diagramm zeigt, das eine Vertrauensgewichtung eines möglichen korrigierten Chrominanzwerts als Funktion des Luminanzeingangswerts in einem ersten Beispiel zeigt; und
14b ein Diagramm zeigt, das eine Vertrauensgewichtung eines möglichen korrigierten Chrominanzwerts als Funktion des Luminanzeingangswerts in einem zweiten Beispiel zeigt.

Die beiliegenden Zeichnungen zeigen verschiedene Beispiele. Der Fachmann wird erkennen, dass die gezeigten Elementbegrenzungen (z.B. Zellen, Gruppen von Zellen oder andere Formen) in den Zeichnungen ein Beispiel für die Begrenzungen darstellen. Es kann vorkommen, dass in manchen Beispielen ein Element als mehrere Elemente ausgelegt ist, oder dass mehrere Elemente als ein Element ausgelegt sind. Gleiche Bezugszahlen werden in den Zeichnungen durchweg zur Bezeichnung von ähnlichen Merkmalen verwendet, sofern angemessen.
Ausführliche Beschreibung
Im Gegensatz zu dem in 1 gezeigten System, bei dem eine globale Dynamikkompressionskurve zur Abbildung aller Luminanzwerte zu dynamikkomprimierten Luminanzwerten verwendet wird, kann ein Block von Pixelwerten (die ein Bild darstellen) in eine Mehrzahl von Subblöcken unterteilt sein, wobei jeder Subblock analysiert werden kann, um ein entsprechendes Histogramm und eine lokale Dynamikkompressionskurve für den Subblock zu bestimmen. Solch ein System ist in 2 in einem Beispiel dargestellt, bei dem die Bilder Einzelbilder einer Einzelbildabfolge sind (z.B. Einzelbilder einer Videosequenz). Wie in 2 dargestellt, werden die Luminanzwerte 202 des gesamten vorangegangenen Einzelbilds verwendet, um ein Histogramm 204 zu bestimmen, das dann zur Bestimmung einer globalen Dynamikkompressionskurve 206 verwendet wird, auf dem in 1 gezeigten entsprechendem Wege. 2 zeigt jedoch auch die Luminanzwerte des aktuellen Einzelbilds 208, und in 2 ist zu erkennen, dass das aktuelle Einzelbild 208 in eine Mehrzahl von Subblöcken (in 2 durch die strichlierten Linien angezeigt) unterteilt ist. Im in 2 dargestellten Beispiel ist das Bild 208 in eine 5x4-Anordnung von Subblöcken unterteilt. Für jeden Subblock des Bilds 208 wird ein Histogramm, das die Verteilung von Pixelwerten im Subblock darstellt, bestimmt und dann verwendet, um eine lokale Dynamikkompressionskurve für den Subblock zu bestimmen. Der Klarheit halber zeigt 2 das Histogramm und die lokalen Dynamikkompressionskurven (mit 210 für den oberen linken Subblock des Bilds 208 gekennzeichnet) für nur drei der Subblöcke des Bilds 208, aber entsprechende Histogramme und lokale Dynamikkompressionskurven werden für jeden der Subblöcke im Bild 208 bestimmt. Für jeden der Subblöcke wird die lokale Dynamikkompressionskurve mit der globalen Dynamikkompressionskurve 206 kombiniert, um eine entsprechende Dynamikkompressionskurve zu bestimmen, z.B. um die kombinierte Kurve 212₁ für den oberen linken Subblock zu bestimmen. Eine Anordnung 214 der kombinierten Kurven für die Subblöcke wird bestimmt.
3 zeigt, wie die Dynamikkompressionskurven 212 für die Subblöcke im Block 214 für die Bestimmung eines dynamikkomprimierten Pixelwerts für ein Pixel 302 verwendet werden können. Die vier Subblöcke, die dem Pixel 302 am nächsten sind, weisen entsprechende Dynamikkompressionskurven 212₁, 212₂, 212₃ und 212₄ auf. Der dynamikkomprimierte Wert für Pixel 302 kann bestimmt werden, indem entsprechende dynamikkomprimierte Pixelwerte für das Pixel unter Verwendung der verschiedenen Dynamikkompressionskurven 212₁, 212₂, 212₃ und 212₄ bestimmt werden und dann eine zweidimensionale Interpolation der vier verschiedenen dynamikkomprimierten Pixelwerte gemäß der Position des Pixels 302 durchgeführt wird.
Das in Bezug auf 2 und 3 beschriebene System, bei dem lokale Dynamikkompressionskurven eingesetzt werden, überwindet die oben genannten Probleme in Bezug auf die Verwendung einer globalen Dynamikkompressionskurve (wie in Bezug auf 1 beschrieben), indem die lokalen Dynamikkompressionskurven die Anwendung von verschiedenen Abbildungen in unterschiedlichen Regionen des Bilds ermöglichen, wodurch eine lokale Verbesserung von Bildbereichen mit bestimmten Eigenschaften ermöglicht wird. Das in Bezug auf 2 und 3 beschriebene System ist gut für die Implementierung in Software geeignet, die beliebig auf unterschiedliche Regionen des Bilds zugreifen kann, z.B. um alle Pixelwerte eines bestimmten Subblocks zur Verwendung bei der Bestimmung des Histogramms und der lokalen Dynamikkompressionskurve für einen bestimmten Subblock zu bestimmen.
Die Implementierung des in Bezug auf 2 und 3 beschriebenen lokalen Dynamikkompressionssystems kann jedoch problematisch sein, falls kein beliebiger Zugriff zu verschiedenen Teilen des Bilds gegeben ist. Falls beispielsweise die Dynamikkompression in einem Hardware-Block einer Kamerapipeline angewandt wird, die Zeilen von Pixeldaten so verarbeitet, wie sie von einem Bildsensor empfangen werden, dann kann dem Hardware-Block bei der Anwendung der Dynamikkompression kein beliebiger Zugriff auf unterschiedliche Bereiche des Bilds gegeben sein.
Nachstehend werden Ausführungsformen lediglich beispielhaft beschrieben, die zur Anwendung von lokaler Dynamikkompression auf Bilder verwendet werden können, auch falls kein beliebiger Zugriff auf verschiedene Bereiche eines Bilds gegeben ist.
4 zeigt ein Bildverarbeitungssystem 400, das einen Bildsensor 402 und eine Kameraverarbeitungspipeline 404 umfasst. Das Bildverarbeitungssystem 400 kann in einer Vorrichtung, wie z.B. einer Kamera, implementiert sein. Der Bildsensor 402 ist ausgelegt, um Bilddaten einzufangen und Pixeldaten in Bezug auf eine Anordnung von Pixeln, die ein Bild darstellen, an die Kameraverarbeitungspipeline 404 bereitzustellen. Der Bildsensor 402 kann eine Abfolge von Bildern einfangen, die dann verwendet werden können, um Einzelbilder einer Videosequenz darzustellen. Die Pixeldaten können in einem von vielen verschiedenen möglichen Formaten vorliegen, z.B. können die Daten für ein Pixel Rot-, Grün- und Blau- (RGB-) Werte zur Darstellung der Intensität der entsprechenden drei Farbkanäle an der Pixelposition umfassen. Alternativ dazu können die Daten für ein Pixel einen Luminanzwert (z.B. mit „Y“ bezeichnet) und einen oder mehrere Chrominanzwerte (z.B. mit „U“ und „V“ bezeichnet oder mit „C_r“ und „C_b“ bezeichnet) umfassen. Die Kameraverabeitungspipeline 404 umfasst eine Reihe von Verarbeitungseinheiten zur Verarbeitung der Pixeldaten, einschließlich einer Dynamikkompressionseinheit 406. Verarbeitete Pixeldaten werden von der Kameraverarbeitungspipeline 404 ausgegeben und können auf jede beliebige geeignete Weise verwendet werden, z.B. als Ausgabe an eine Anzeige, in einem Speicher gespeichert usw. Die Dynamikkompressionseinheit 406 ist ausgelegt, Pixeldaten zu verarbeiten, die in einem Format vorliegen, das Luminanz- und Chrominanzwerte umfasst, sodass, falls die Pixeldaten, die an der Kameraverarbeitungspipeline 404 empfangen werden, nicht in einem Format vorliegen, das Luminanz- und Chrominanzwerte umfasst, die Kameraverarbeitungspipeline 404 eine Abbildungseinheit umfasst, um das Format der Pixeldaten in Luminanz- und Chrominanzwerte umzuwandeln, bevor die Pixeldaten von der Dynamikkompressionseinheit 406 verarbeitet werden.
Pixelwerte bezüglich Linien von Pixeln werden in der Kameraverarbeitungspipeline 404 so verarbeitet wie sie vom Bildsensor 402 empfangen werden, z.B. in Zeilenabtastungsreihenfolge, Zeile für Zeile. Wie nachstehend genauer beschrieben ist, kann die Kameraverarbeitungspipeline 404 mehrere Zeilen von Pixeldaten gleichzeitig parallel verarbeiten.
5 zeigt eine schematische Darstellung der Dynamikkompressionseinheit 406, die ausgelegt ist, Zeilen von Pixeldaten zu empfangen. Wie oben beschrieben, umfassen die Pixeldaten, die an der Dynamikkompressionseinheit 406 empfangen werden, Luminanzeingangswerte und Chrominanzeingangswerte für die Pixel. Die Dynamikkompressionseinheit 406 umfasst ein Luminanzverarbeitungsmodul 502, das ausgelegt ist, dynamikkomprimierte Luminanzwerte zu bestimmen. Die Dynamikkompressionseinheit 406 umfasst außerdem ein Chrominanzverarbeitungsmodul 504, das ausgelegt ist, um korrigierte Chrominanzwerte basierend auf der Dynamikkompression zu bestimmen, die auf die Luminanzwerte angewandt wurde. Das Luminanzverarbeitungsmodul 502 umfasst ein globales Abbildungsbestimmungsmodul 506 und ein Verarbeitungsmodul 508. Das Verarbeitungsmodul 508 umfasst ein globales Abbildungsmodul 510, ein lokales Abbildungsmodul 512, einen Speicher 514, einen ersten Multiplikator 516, einen zweiten Multiplikator 518 und einen Addierer 520.
Das Chrominanzverarbeitungsmodul 504, das globale Abbildungsbestimmungsmodul 506 und das Verarbeitungsmodul 508 (insbesondere das globale Abbildungsmodul 510) sind ausgelegt, die Zeilen von Pixeleingangswerten zu empfangen. Es kann vorkommen, dass nur die Luminanzwerte der empfangenen Zeilen von Pixeldaten an die Module des Luminanzverarbeitungsmoduls 502 bereitgestellt werden, aber die Luminanzwerte und die Chrominanzwerte der empfangenen Zeilen von Pixeldaten werden an das Chrominanzverarbeitungsmodul 504 bereitgestellt. Ein Ausgang des globalen Abbildungsbestimmungsmoduls 506 ist mit einem Eingang des globalen Abbildungsmoduls 510 gekoppelt. Ein Ausgang des globalen Abbildungsmoduls 510 ist mit entsprechenden Eingängen des lokalen Abbildungsmoduls 512 und des Multiplikators 518 gekoppelt. Das lokale Abbildungsmodul 512 ist mit dem Speicher 514 gekoppelt. Ein Ausgang des lokalen Abbildungsmoduls 512 ist mit einem Eingang des Multiplikators 516 gekoppelt. Ein Ausgang des Multiplikators 518 ist mit einem ersten Eingang des Addierers 520 gekoppelt. Ein Ausgang des Multiplikators 516 ist mit einem zweiten Eingang des Addierers 520 gekoppelt. Ein Ausgang des Addierers 520 ist mit einem Eingang des Chrominanzverarbeitungsmoduls 504 gekoppelt und als Ausgang der Dynamikkompressionseinheit 406 bereitgestellt, um dynamikkomprimierte Luminanzwerte bereitzustellen. Ein Ausgang des Chrominanzverarbeitungsmoduls 504 ist als Ausgang der Dynamikkompressionseinheit 406 bereitgestellt, um korrigierte Chrominanzwerte bereitzustellen. Es gilt anzumerken, dass der Speicher 514 in 5 als im Verarbeitungsmodul 508 positioniert dargestellt ist, aber in anderen Beispielen kann der Speicher 514 außerhalb des Verarbeitungsmoduls 508 und/oder außerhalb des Luminanzverarbeitungsmoduls 502 und/oder außerhalb der Dynamikkompressionseinheit 406 implementiert sein. In Beispielen, die hier im Detail beschrieben sind, sind die Module innerhalb des Verarbeitungsmoduls 508 und des Chrominanzverarbeitungsmoduls 504 in Hardware implementiert, während das globale Abbildungsbestimmungsmodul 506 in Software implementiert ist. Allgemeiner können die Module der Dynamikkompressionseinheit 406 jedoch in Hardware, Software oder einer Kombination davon implementiert sein.
Da die Pixeldaten an der Dynamikkompressionseinheit 406 in Zeilenabtastreihenfolge (d.h. in Zeilen von Pixelwerten) empfangen werden, kann es unmöglich sein, die lokale Dynamikkompression wie oben in Bezug auf 2 und 3 beschrieben anzuwenden. In einem einfachen Beispiel verarbeitet die Dynamikkompressionseinheit 406 eine Zeile von Pixelwerten nach der anderen und wiederholt das Verfahren dann, um andere Zeilen von Pixelwerten zu verarbeiten (obwohl in komplexeren Beispielen mehrere Zeilen von Pixelwerten parallel in jeder Iteration verarbeitet werden können, wie weiter unten genauer beschrieben ist). Um die von der Dynamikkompressionseinheit 406 genutzte Datenspeichermenge zu reduzieren, werden Pixelwerte von vorher verarbeiteten Zeilen nicht in der Dynamikkompressionseinheit 406 gespeichert. Außerdem sind, wenn die Dynamikkompressionseinheit 406 eine aktuelle Zeile von Pixelwerten verarbeitet, die Pixelwerte für nachfolgende Zeilen (d.h. noch nicht verarbeitete Zeilen) des Bilds an der Dynamikkompressionseinheit 406 nicht bekannt.
Daher nutzt, anstatt lokale Dynamikkompressionskurven für Subblöcke wie in Bezug auf 2 und 3 beschrieben zu bestimmen, die Dynamikkompressionseinheit 406 die Idee von „rollenden Informationen“, wobei es sich um ein rollendes Histogramm oder eine rollende Dynamikkompressionskurve handeln kann, um den lokalen Dynamikkompressionskurvenmechanismus zu approximieren, indem nur eine geringe Menge an Informationen (d.h. wesentlich weniger Informationen als bei der Speicherung der Pixelwerte selbst) in Bezug auf die Pixelwerte von vorher verarbeiteten Zeilen gespeichert wird. In einem Beispiel wird der Block von Pixelwerten, die das Bild darstellen, in eine vordefinierte Anzahl von Spalten unterteilt, und ein Histogramm pro Spalte wird berechnet, während jede einzelne Reihe von Pixelwerten verarbeitet wird. In diesem Beispiel werden für jede neue Zeile (d.h. Reihe) die Histogramme für die Pixelspalten jeweils als gewichtete Kombination aus den vorangegangenen Histogrammwerten und den Histogrammwerten, die der neuen Zeile entsprechen, aktualisiert. Dynamikkompressionskurven können von den resultierenden Histogrammen für jede neue Zeile abgeleitet werden. Auf diese Weise kann die Dynamikkompressionseinheit 406 jede Zeile von Pixelwerten, wenn sie empfangen wird, basierend auf Informationen in Bezug auf Pixelwerte von vorangegangenen Zeilen verarbeiten. Die aktualisierten Informationen werden zur Verwendung bei der Verarbeitung von nachfolgenden Zeilen gespeichert.
Die Luminanzwerte der Pixeleingangsdaten werden im Luminanzverarbeitungsmodul 502 verarbeitet, um dynamikkomprimierte Luminanzwerte zu bestimmen (z.B. unabhängig von den Chrominanzeingangswerten). Der Betrieb des Luminanzverarbeitungsmoduls 502 wird in Bezug auf das in 6 gezeigte Flussdiagramm beschrieben. Wie zuvor erläutert, werden die in 6 gezeigten Verfahrensschritte auf jede empfangene Zeile von Pixelwerten angewandt.
In einem hier im Detail beschriebenen Beispiel beziehen sich die Pixeleingangsdaten, die an der Dynamikkompressionseinheit 406 empfangen werden, auf eine Abfolge von Einzelbildern (z.B. einer Videosequenz). Das globale Abbildungsbestimmungsmodul 506 verwendet die Pixelwerte eines Einzelbilds, um auf der oben in Bezug auf 1 entsprechenden Weise eine globale Kompressionskurve zu bestimmen. Die globale Kompressionskurve wird bestimmt, nachdem alle Pixelwerte des Einzelbildes an der Dynamikkompressionseinheit 406 empfangen wurden. Wenn also die Pixelwerte eines aktuellen Einzelbildes an der Dynamikkompressionseinheit 406 empfangen werden, kann das globale Abbildungsbestimmungsmodul 506 eine globale Kompressionskurve basierend auf den Pixelwerten eines vorangegangenen Einzelbildes (z.B. des direkt vorangegangenen Einzelbildes der Abfolge von Einzelbildern) bestimmen. Es wird davon ausgegangen, dass die Verteilung von Pixelwerten für das aktuelle Einzelbild der Verteilung von Pixelwerten des vorangegangenen Einzelbilds (z.B. des direkt vorangegangenen Einzelbilds) ausreichend ähnlich ist, sodass die globale Kompressionskurve, die basierend auf den Pixelwerten des vorangegangenen Einzelbilds bestimmt wird, zur Verwendung bei der Verarbeitung der Pixelwerte des aktuellen Einzelbildes geeignet ist. Die globale Kompressionskurve, die vom globalen Abbildungsbestimmungsmodul 506 bestimmt wird, wird dem globalen Abbildungsmodul 510 bereitgestellt. In anderen Beispielen kann die globale Kompressionskurve für einen bestimmten Sensor oder für einen bestimmten Kamera-Szenenmodus vorabgestimmt sein, in welchem Fall das globale Abbildungsbestimmungsmodul 506 keine Pixeldaten empfangen würde und keine globale Kompressionskurve basierend auf Pixeldaten von einem vorangegangenen Einzelbild bestimmen würde. Auf diese Weise kann die globale Kompressionskurve fix auf vordefinierte Werte eingestellt sein. In anderen Beispielen kann auch gar keine globale Kompressionskurve verwendet werden, aber normalerweise führt die Verwendung einer globalen Kompressionskurve zu besseren Ergebnissen bei den endgültigen dynamikkomprimierten Pixelwerten.
In Schritt S602 wird eine Zeile von Pixelwerten am Verarbeitungsmodul 508 empfangen. Genauer gesagt wird die Zeile von Pixelwerten am globalen Abbildungsmodul 510 empfangen. Wie zu erkennen ist, wird das in 6 gezeigte Verfahren für eine Mehrzahl von Zeilen eines Blocks von Pixelwerten, die ein Bild darstellen, iteriert. Die Zeile von Pixelwerten, die in einer aktuellen Iteration verarbeitet wird, kann als „aktuelle Zeile“ von Pixelwerten bezeichnet werden. Wie oben beschrieben sind die Pixelwerte, die im Luminanzverarbeitungsmodul 502 verarbeitet werden, Luminanzwerte.
In Schritt S604 verwendet das globale Abbildungsmodul 510 die globale Dynamikkompressionskurve, die vom globalen Abbildungsbestimmungsmodul 506 empfangen wird, um global dynamikkomprimierte Pixelwerte für die Pixelwerte der aktuellen Zeile zu bestimmen. Die vom globalen Abbildungsmodul 510 durchgeführte Operation kann durch die Gleichung: ${GM}_{i,j} = T [L_{i,j}]$
beschrieben werden, wobei L_i,j der Luminanzeingangswert an der Pixelposition i,j im Bild ist, T die globale Kompressionsfunktion ist (d.h. die globale Kompressionskurve, die vom globalen Abbildungsbestimmungsmodul 506 bestimmt wird) und GM_i,j der resultierende global dynamikkomprimierte Pixelwert an der Pixelposition i,j ist. Im in 5 gezeigten Beispiel wird der Rest der Verarbeitung im Verarbeitungsmodul 508 unter Verwendung der global komprimierten Pixelausgangswerte vom globalen Abbildungsmodul 510 durchgeführt.
In anderen Beispielen kann die globale Dynamikkompression an den empfangenen Pixelwerten getrennt von der lokalen Dynamikkompression durchgeführt werden, sodass der Rest der Verarbeitung im Verarbeitungsmodul 508 unter Verwendung der empfangenen Pixelwerte durchgeführt wird (ohne dass eine globale Kompression an ihnen durchgeführt wurde). In diesen anderen Beispielen wird die globale Dynamikkompression parallel zur lokalen Dynamikkompression laufen gelassen (anstelle von vor der lokalen Dynamikkompression), und die Ergebnisse der getrennten globalen und lokalen Dynamikkompression werden anschließend kombiniert. D.h. die globale und lokale Dynamikkompression verwenden die empfangenen Pixelwerte als ihre Eingänge anstelle des lokalen Dynamikkompressionmoduls 512, das die Ergebnisse der globalen Dynamikkompression vom globalen Dynamikkompressionmodul 510 empfängt. In weiteren Beispielen kann die globale Dynamikkompression gar nicht an den empfangenen Pixelwerte durchgeführt werden, in welchem Fall die lokale Dynamikkompression direkt auf die empfangenen Pixelwerte angewandt wird, und die Ergebnisse der lokalen Dynamikkompression werden mit den empfangenen Pixelwerten kombiniert, um die endgültigen dynamikkomprimierten Pixelwerte zu erhalten. Versuche haben jedoch gezeigt, dass bessere Ergebnisse erzielt werden können, wenn die lokale und die globale Dynamikkompression kombiniert werden.
In den hier im Detail beschriebenen Beispielen umfasst der Bildblock eine Mehrzahl von Spalten von Pixelwerten, z.B. 16 Spalten von Pixelwerten, und für jede Spalte wird, wie nachstehend beschrieben, ein Element rollender Informationen bestimmt (z.B. ein rollendes Histogramm oder eine rollende Dynamikkompressionskurve). In anderen Beispielen kann der Bildblock jedoch nicht in mehrere Spalten unterteilt sein, und die rollenden Informationen können sich dann auf Pixelwerte beziehen, welche die gesamte Breite des Bildblocks abdecken.
Die global dynamikkomprimierten Pixelwerte werden an das lokale Abbildungsmodul 512 weitergeleitet. In Schritt S606 bestimmt das lokale Abbildungsmodul 512 für jede Spalte ein Histogramm, das die Verteilung von Pixelwerten in der aktuellen Zeile darstellt. Der Bereich von möglichen Pixelwerten (z.B. 0 bis 255, wenn acht Bit für die Pixelwerte verwendet werden) wird in M Klassen unterteilt, und die Pixelwerte der aktuellen Zeile werden der passenden Klasse des passenden Histogramms zugeordnet, um somit die Werte der Histogramme zu bestimmen.
Die Anzahl an Klassen, M, in jedem der Histogramme, kann sich in verschiedenen Beispielen unterscheiden und kann beispielsweise eine Potenz von 2 sein, um Berechnungen zu vereinfachen, die die Histogramme verwenden. 7 zeigt ein Beispiel, bei dem jede Klasse acht der möglichen Pixelwerte umfasst, und drei Klassen (Klasse N-1, Klasse N und Klasse N+1) sind in 7 dargestellt. Ein Pixelwert der aktuellen Zeile ist so gezeigt, dass er innerhalb von Klasse N liegt. Es gilt anzumerken, dass plötzliche Änderungen in Kompressionskurven aufgrund von großen Unterschieden zwischen benachbarten Klassen eines Histogramms zu unerwünschten Auswirkungen in den dynamikkomprimierten Pixelwerten führen können. Daher kann es, um solche unerwünschten Auswirkungen zu vermeiden, nützlich sein, die Histogramme zu glätten, bevor sie zur Bestimmung von Dynamikkompressionskurven verwendet werden (wie nachstehend beschrieben). Eine Art, die Histogramme zu glätten, ist die Bestimmung der Histogramme so, dass jeder Pixelwert der aktuellen Zeile zu einer Mehrzahl der Klassen eines Histogramms beiträgt. So bestimmt das lokale Abbildungsmodul 512 für jeden Pixelwert, welche der M Klassen des Histogramms dem Pixelwert entspricht und berechnet dann einen Beitrag zur ausgewählten Klasse und zu den beiden benachbarten Klassen des Histogramms. Der in 7 gezeigte Pixelwert stellt beispielsweise einen Beitrag zu Klasse N-1, Klasse N und Klasse N+1 im passenden Histogramm für die Spalte, in welcher der Pixelwert vorhanden ist, bereit. Der Pixelwert trägt zu den drei unterschiedlichen Klassen auf gewichtete Weise gemäß der Position des Pixelwerts im Bereich von möglichen Pixelwerten bei. Beispielsweise können 50 % des Pixelbeitrags der Klasse N zugeordnet werden, wo der Pixelwert liegt, während die restlichen 50 % zwischen den beiden benachbarten Klassen (Klasse N-1 und Klasse N+1) gemäß den Abständen (in 7 als d1 und d2 bezeichnet) des Pixelwerts von den beiden benachbarten Klassen aufgeteilt werden. Der Beitrag zu Klasse N-1 kann beispielsweise durch $(1 - \frac{d 1}{d 1 + d 2}) 50 %$
angegeben sein, was im in 7 gezeigten Beispiel $\frac{5}{14}$
ergibt; und der Beitrag zu Klasse N+1 kann durch $(1 - \frac{d 1}{d 1 + d 2}) 50 %$
angegeben sein, was im in 7 gezeigten Beispiel $\frac{2}{14}$
ergibt. Wie oben beschrieben ist der Beitrag des Pixelwerts zu Klasse $N \frac{1}{2} .$
2
Wenn alle Beiträge zu den Histogrammen der Pixelwerte aus der aktuellen Zeile berücksichtigt wurden, können die Histogramme normalisiert werden, um nachfolgende Operationen zu vereinfachen, welche die Histogramme verwenden. Jedes Histogramm wird so normalisiert, dass die Summe der Werte im Histogramm eins ergibt. Die Normalisierung der Histogramme kann während der Histogrammberechnung erfolgen, indem der Beitrag jedes Pixels zu den Histogrammklassen gemäß der gesamten Anzahl an gezählten Pixeln angepasst wird, oder danach, indem jede Histogrammklasse durch die Summe aller Werte im Histogramm dividiert wird.
In Schritt S608 flacht das lokale Abbildungsmodul 512 eines oder mehrere der Histogramme ab. Die Histogramme werden abgeflacht, um überschüssige Korrektur für Bildbereiche zu vermeiden, die konstante (oder fast konstante) Pixelwerte aufweisen, die z.B. große Bereiche mit ähnlich gefärbten Pixeln im Bild darstellen. Bildbereiche, die konstante (oder fast konstante) Pixelwerte aufweisen, werden eine hohe Konzentration von Pixelwerten in nur einigen wenigen Klassen des Histogramms aufweisen. Ein Abflachungsfaktor w_F kann auf die Histogrammwerte angewandt werden, um die Histogramme abzuflachen. Der Abflachungsfaktor w_F für ein Histogramm kann in Bezug auf eine bestimmte Säule bestimmt werden, sodass er von dem Ausmaß abhängt, in dem die Pixelwerte der aktuellen Zeile innerhalb der jeweiligen Spalte variieren. Der Abflachungsfaktor w_F könnte beispielsweise als Summe von Werten in einem Histogramm, die über einer bestimmten Schwelle, Th_F, liegen, gemäß der Gleichung: $w_{F} = \frac{\sum_{i = 1}^{M} max (0, tH (i) - {Th}_{f})}{(1 - {Th}_{f})}$
berechnet werden, wobei M die Anzahl an Klassen im Histogramm ist und tH(i) der Wert des Histogramms in der i. Klasse ist. Die Schwelle Th_F kann in unterschiedlichen Beispielen auf verschiedene Werte eingestellt sein und kann in unterschiedlichen Beispielen fix oder variabel sein. Wenn die Histogramme normalisiert werden, könnte die Schwelle beispielsweise auf 0,25 eingestellt werden. Das Ergebnis ist ein Wert für w_F im Bereich von 0 ≤ w_F ≤ 1, wobei ein höherer Wert von w_F anzeigt, dass ein größeres Ausmaß an Abflachung angewandt wird. Bei gleichmäßig über den Bereich von möglichen Pixelwerten verstreuten Pixelwerten ist es wahrscheinlich, dass keine der Klassen des Histogramms einen Wert über der Schwelle Th_F aufweist, in welchem Fall der Abflachungsfaktor w_F mit null bestimmt wird. In diesem Fall wird eine Standardabflachung auf das Histogramm angewandt, wie nachtstehend beschrieben ist. Falls die Pixelwerte jedoch in einigen wenigen der Histogrammklassen konzentriert sind, dann ist es wahrscheinlicher, dass die Klassenwerte über der Schwelle Th_F liegen, in welchem Fall der Abflachungsfaktor w_F als nicht null bestimmt wird, was dazu führt, dass eine gewisse Abflachung auf das Histogramm angewandt wird. Mit anderen Worten, je konzentrierter die Pixelwerte in Histogrammklassen sind, desto größer wird der Abflachungsfaktor w_F bestimmt.
Der Abflachungsfaktor w_F für jede der Spalten wird verwendet, um die Abflachung auf die M Klassen des jeweiligen Histogramms für die Säule anzuwenden, wobei der Wert in der i. Klasse des Histogramms für Spalte c als tH_c(i) bezeichnet wird, um somit ein abgeflachtes Histogramm H_c für die aktuelle Zeile und für die Spalte zu bestimmen. Die i. Klasse des abgeflachten Histogramms H_c(i) kann gemäß der Gleichung: $H_{c} (i) = (\frac{1}{M} - {tH}_{c} (i)) \cdot max (w_{F}, {dw}_{f}) + {tH}_{c} (i)$
bestimmt werden, wobei dw_F für die Standardabflachung des Histogramms steht. Wenn der Abflachungsfaktor w_F, der wie oben beschrieben bestimmt wird, sehr klein ist, dann kann es erwünscht sein, mehr Abflachung auf das Histogramm anzuwenden als durch die simple Anwendung des Abflachungsfaktors w_F angewandt würde. Daher wird in diesen Fällen eher der Standardabflachungsfaktor dw_F verwendet als der Abflachungsfaktor w_F. Das hilft, das Ausmaß an lokaler Kontrastverstärkung, die angewandt wird, zu beschränken, was sonst abträgliche Auswirkungen auf das Endbild haben könnte. Der Standardabflachungsfaktor dw_F kann in unterschiedlichen Beispielen auf verschiedene Werte eingestellt sein und ist typischerweise niedrig (z.B. im Bereich 0 ≤ dw_F ≤ 0,1), sodass er nur angewandt wird, wenn der Abflachungsfaktor w_F sehr niedrig wird, d.h. niedriger als der Standardabflachungsfaktor dw_F, weil dies der Punkt ist, an dem sich die lokale Kontrastverstärkung abträglich auf das Endbild auswirken kann.
An diesem Punkt hat jede Spalte im Bild ein zugeordnetes Histogramm (das geglättet und abgeflacht sein kann), das für die Berechnung und Aktualisierung der Dynamikkompressionskurven jeder Spalte berechnet ist.
In Schritt S610 bestimmt das lokale Abbildungsmodul 512 eine Dynamikkompressionskurve für jede der Spalten unter Verwendung des jeweiligen Histogramms für die Spalte, z.B. durch Integrieren des jeweiligen Histogramms für die Spalte. Wenn die Dynamikkompressionskurven durch Integrieren der jeweiligen Histogramme bestimmt werden, dann sind die Dynamikkompressionskurven monoton steigende Kurven. Das Integrieren der Histogramme ist nur ein Beispiel dafür, wie die Dynamikkompressionskurven unter Verwendung der Histogramme bestimmt werden können. Die Dynamikkompressionskurven können als Übertragungsfunktionen betrachtet werden, da sie eine Beziehung zwischen den Pixeleingangswerten und den dynamikkomprimierten Pixelwerten definieren. Die Dynamikkompressionskurve für eine Spalte c, die von den Pixelwerten der aktuellen Zeile abgeleitet ist, ist als tT_c bezeichnet und weist M Werte auf, die einer Integration der M Klassen des jeweiligen Histogramms entsprechen. D.h. der erste Wert der Dynamikkompressionskurve, tT_c(1) = 0. Für nachfolgende Werte der Dynamikkompressionskurve gilt: ${tT}_{c} (n) = {tT}_{c} (n - 1) + H_{c} (n - 1)$
für 2 ≤ n ≤ M, wobei M die Anzahl an Klassen im Histogramm ist. Die hier beschriebene Integration ist ein sehr einfaches Verfahren zur Bestimmung der Dynamikkompressionskurve tT_c für die Spalte c unter Verwendung des Histogramms H_c für die Spalte, was vorteilhaft ist, wenn die Dynamikkompressionseinheit 406 innerhalb einer Kameraverarbeitungspipeline 404 implementiert ist, wie oben beschrieben ist, weil die Dynamikkompressionseinheit 406 die Pixelwerte in Echtzeit verarbeitet, wenn sie empfangen werden, um Verzögerungen in der Kameraverarbeitungspipeline 404 zu vermeiden. In anderen Beispielen (z.B. wenn die Dynamikkompressionseinheit nicht in einem System implementiert ist, in dem Pixelwerte in Echtzeit als Teil einer Kameraverarbeitungspipeline verarbeitet werden müssen), können, je nach Bedarf, komplexere Verfahren zur Bestimmung der Dynamikkompressionskurve tT_c für die Spalte c unter Verwendung des Histogramms H_c für die Spalte verwendet werden.
Die Werte der Dynamikkompressionskurve tT_c, die gemäß der obigen Gleichung 4 bestimmt wurde, liegen im Bereich von 0 bis 1, weil die Histogramme H_c normalisiert wurden. Die Dynamikkompressionskurve kann dann skaliert werden, um eine skalierte Dynamikkompressionskurve tT'_c, die mit dem Bereich von möglichen Luminanzausgangswerten übereinstimmt, gemäß der Gleichung: ${tT'}_{c} = {tT}_{c} \cdot (OMaxL - OMinL)$
zu bestimmen, wobei OMinL und OMaxL dem minimalen bzw. maximalen Luminanzausgangswert entsprechen. Beispielsweise kann OMinL gleich 0 sein, und OMaxL kann gleich 255 sein. Im Schritt des Abbildens der Pixelwerte auf dynamikkomprimierte Pixelwerte (nachstehend bei Schritt S616 beschrieben) wird das Ergebnis verschoben, indem OMinL addiert wird, sodass der Bereich der dynamikkomprimierten Pixelwerte zwischen OMinL und OMaxL liegt.
Die Dynamikkompressionskurve tT'_c ist die Kurve, die basierend auf den Pixelwerten der aktuellen Zeile für Spalte c bestimmt wird. Für die Abbildung der Pixeleingangswerte auf dynamikkomprimierte Pixelwerte wäre es jedoch nützlich, eine Dynamikkompressionskurve zu haben, die Pixelwerte von vorangegangenen Zeilen berücksichtigt. Daher wird eine rollende Dynamikkompressionskurve für Spalte T_c für jede neue Zeile von Pixelwerten (d.h. bei jeder Iteration des Verfahrens) basierend auf der Dynamikkompressionskurve tT'_c, die für die aktuelle Zeile und Spalte bestimmte wurde, und der rollenden Dynamikkompressionskurve, die in der vorangegangenen Iteration bestimmt wurde, aktualisiert. Daher ruft in Schritt S612 das lokale Abbildungsmodul 512 die rollenden Dynamikkompressionskurven für die Spalten ab, die in vorangegangenen Iterationen (d.h. basierend auf vorangegangenen Zeilen) bestimmt wurden. Die rollenden Dynamikkompressionskurven können im Speicher 514 zwischen Iterationen des Verfahrens gespeichert werden, sodass der Schritt des Abrufens der rollenden Dynamikkompressionskurven ihr Abrufen vom Speicher 514 umfassen kann.
In Schritt S614 bestimmt das lokale Abbildungsmodul 512 bei der k. Iteration (d.h. für die k. Zeile von Pixelwerten) die rollende Dynamikkompressionskurve T_c(k) durch Durchführung einer gewichteten Kombination der Dynamikkompressionskurve, die für die aktuelle Zeile bestimmt wurde, tT'_c, und der rollenden Dynamikkompressionskurve, die in der vorangegangenen Iteration bestimmt wurde, T_c(k- 1), z.B. gemäß der Gleichung: $T_{c} (k) = T_{c} (k - 1) \cdot (1 - w_{r}) + tT' c \cdot w_{T}$
wobei w_T ein Aktualisierungsgewichtungsfaktor ist, der im Bereich 0 ≤ w_T ≤ 1 liegt und der in unterschiedlichen Beispielen verschieden festgelegt sein kann, um den Beitrag der aktuellen Zeile zu den rollenden Dynamikkompressionskurven zu steuern. Das Festlegen von w_T kann steuern, wie „reaktiv‟ die rollende Dynamikkompressionskurve auf die aktuelle Zeile von Pixelwerten ist. Der Wert von w_T ist üblicherweise für jede der Spalten gleich. Der Aktualisierungsgewichtungsfaktor steuert das Ausmaß, in dem Pixelwerte von vorangegangenen Zeilen sich auf die Dynamikkompression auswirken, die auf die Pixelwerte der aktuellen Zeile angewandt wird. Ein größerer Wert von w_T bedeutet, dass die aktuelle Zeile mehr zur rollenden Dynamikkompressionskurve T_c beiträgt, und der Beitrag von vorangegangenen Zeilen nimmt um einen Faktor (1 - w_T) für jede vorangegangene Zeile ab. Wie zu erkennen ist, wird die rollende Dynamikkompressionskurve verwendet, sodass Informationen in Bezug auf Pixelwerte von vorangegangenen Zeilen zur Anwendung von lokaler Dynamikkompression auf die aktuelle Zeile verwendet werden können, ohne dass die Pixelwerte der vorangegangenen Zeilen in der Dynamikkompressionseinheit 406 gespeichert werden müssen. Im oben in Bezug auf 2 und 3 beschriebenen Beispiel berücksichtigt die lokale Dynamikkompression einen quadratischen Subblock von Pixelwerten vom Bild. Als Beispiel kann also der Wert von w_T so festgelegt sein, dass ein etwa quadratischer Bereich von Pixelwerten berücksichtigt wird, indem die rollende Dynamikkompressionskurve verwendet wird. Somit kann der Wert von w_T von der Breite der Spalten abhängen. Ein Blick weiter zurück auf vorangegangene Zeilen von Pixelwerten zeigt, dass der Beitrag der Pixelwerte zur rollenden Dynamikkompressionskurve für die aktuelle Zeile abnimmt. Es kann davon ausgegangen werden, dass, falls der Beitrag einer vorangegangenen Zeile zu einer aktuellen rollenden Dynamikkompressionskurve T_c weniger als 1 % des Beitrags der aktuellen Zeile zur aktuellen rollenden Dynamikkompressionskurve T_c ausmacht, die vorangegangene Zeile nicht wesentlich zur aktuellen rollenden Dynamikkompressionskurve T_c beiträgt. Auf diese Weise kann eine effektive Höhe eines Bereichs, die wesentlich zur aktuellen rollenden Dynamikkompressionskurve T_c beiträgt, als jene Zeilen bestimmt werden, deren Beitrag zur aktuellen rollenden Dynamikkompressionskurve ≥1 % des Beitrags der aktuellen Zeilen zur aktuellen rollenden Dynamikkompressionskurve ist.
8a zeigt eine Spalte von Pixelwerten, wobei es acht Pixel (wovon der erste in 8a als 802₁ bezeichnet ist) in einer Zeile der Spalte gibt. D.h. die Breite der Spalte ist 8 Pixel. Im in 8a gezeigten Beispiel ist w_T = 0,5. Die aktuelle Zeile ist in 8a als „Zeile k“ bezeichnet. Gemäß Gleichung 6 ist der Beitrag der Pixelwerte der Zeile k zur rollenden Dynamikkompressionskurve für die Zeile k, T_c(k), = 0,5. Für eine Zeile, die eine Anzahl von Zeilen x vor der aktuellen Zeile liegt, d.h. für Zeile k-x, beträgt der Beitrag der Pixelwerte der Zeile k-x zur rollenden Dynamikkompressionskurve für Zeile k, T_c(k), = 0,5^x+1. Somit weisen die Zeilen k-1 bis k-6 Beiträge auf, die mehr als 1 % des Beitrags der Zeile k ausmachen, aber Zeile k-7 und alle Zeilen vor Zeile k-7 weisen Beiträge auf, die weniger als 1 % des Beitrags der Zeile k ausmachen. Somit kann davon ausgegangen werden, dass der schraffierte Bereich 804 von Pixelwerten (d.h. 7 Zeilen von Pixelwerten) wesentlich zur rollenden Dynamikkompressionskurve für die Zeile k, T_c(k), beiträgt. Daher kann w_T = 0,5 eine gute Wahl für eine 8 Pixel breite Spalte sein, weil der Bereich 804 in etwa quadratisch ist.
8b zeigt die Auswirkung der Reduktion von w_T auf 0,3. Gemäß Gleichung 6 ist der Beitrag der Pixelwerte der Zeile k zur rollenden Dynamikkompressionskurve für die Zeile k, T_c(k), = 0,3. Für eine Zeile, die eine Anzahl von Zeilen x vor der aktuellen Zeile liegt, d.h. für die Zeile k-x, ist der Beitrag der Pixelwerte der Line k-x zur rollenden Dynamikkompressionskurve für Zeile k, T_c(k), = 0,3 × 0,7^x. Somit weisen die Zeilen k-1 bis k-12 Beiträge auf, die mehr als 1 % des Beitrags der Zeile k betragen, aber Zeile k-13 und alle Zeilen vor Zeile k-13 weisen Beiträge auf, die weniger als 1 % des Beitrags der Zeile k ausmachen. Somit kann davon ausgegangen werden, dass der schraffierte Bereich 806 von Pixelwerten (d.h. 13 Zeilen von Pixelwerten) wesentlich zur rollenden Dynamikkompressionskurve für Zeile k, T_c(k), beiträgt. Somit kann w_T = 0,3 als zu klein für eine 8 Pixel breite Spalte erachtet werden, weil der Bereich 806 länger als breit ist. Die Wahl w_T = 0,3 kann besser zur Verwendung mit Spalten geeignet sein, die breiter als 8 Pixel sind. Es gilt anzumerken, dass es in manchen anderen Beispielen nicht das Ziel sein kann, die Bereiche 804 oder 806 in etwa quadratisch zu halten. In diesen anderen Beispielen können lange und dünne oder kurze und breite Bereiche verwendet werden, indem der Wert von w_T entsprechend festgelegt wird.
Nach Schritt S614 sind die rollenden Dynamikkompressionskurven für die Spalten der aktuellen Zeile bestimmt. Dann ordnet in Schritt S616 das lokale Abbildungsmodul 512 die Pixelwerte der aktuellen Zeile unter Verwendung der bestimmten Dynamikkompressionskurven dynamikkomprimierten Pixelwerten zu. Als Beispiel, das in 9 dargestellt ist, werden für jeden Pixelwert der aktuellen Zeile (z.B. für Pixel 906) mehr als eine der rollenden Dynamikkompressionskurven, die in Schritt S614 für die verschiedenen Spalten bestimmt wurden (z.B. die rollenden Dynamikkompressionskurven 904₁, 904₂ und 904₃) und die globale Dynamikkompressionskurve 902, die vom globalen Abbildungsbestimmungsmodul 506 empfangen wurde, zur Bestimmung eines dynamikkomprimierten Pixelwertes verwendet. Die Abbildung der Pixelwerte auf dynamikkomprimierte Pixelwerte wird nachstehend in Bezug auf 10 und 11a bis 11c erläutert.
Um einen fließenden Übergang zwischen Spalten zu erreichen, wird für jeden Pixelwert der aktuellen Zeile eine Mehrzahl von möglichen dynamikkomprimierten Pixelwerten unter Verwendung einer entsprechenden Mehrzahl von lokalen Dynamikkompressionsbeziehungen (z.B. 904₁, 904₂ und 904₃) bestimmt. Die verschiedenen möglichen dynamikkomprimierten Pixelwerte für ein bestimmtes Pixel an Position (i,j) kann dann interpoliert werden, um zu einem lokal dynamikkomprimierten Pixelwert zu kommen, der hier als LM_i,j bezeichnet wird. Die Interpolation wird so durchgeführt, dass der Abstand der Position des Pixels zu den verschiedenen Spalten sich auf den Einfluss auswirkt, den die möglichen dynamikkomprimierten Pixelwerte, die unter Verwendung der Dynamikkompressionskurven für die verschiedenen Spalten bestimmt werden, auf den lokal dynamikkomprimierten Pixelwert LM_i,j haben.
10 zeigt beispielsweise den Einfluss (oder die „Interpolationsgewichtung“), den der mögliche Pixelwert, der unter Verwendung der Dynamikkompressionskurve für Spalte c bestimmt wird, auf LM_i,j hat, als Funktion der Position des Pixels. Wie in 10 dargestellt wird für in Spalte C liegende Pixel der mögliche dynamikkomprimierte Pixelwert, der unter Verwendung der Dynamikkompressionskurve für Spalte c bestimmt wird, einen Einfluss von 50 % auf LM_i,j haben. Die restlichen 50 % sind jedoch zwischen den beiden benachbarten Spalten aufgeteilt (d.h. Spalte c-1 und Spalte c+1), wie in 10 dargestellt ist.
11a bis 11c zeigen, wie die Interpolationsgewichtungen für eine gegebene Pixelposition in Spalte c berechnet werden, wie in 11a bis 11c durch die gestrichelte Linie angezeigt ist. 11a zeigt das Interpolationsgewicht, das für den möglichen dynamikkomprimierten Pixelwert verwendet wird, der unter Verwendung der Dynamikkompressionskurve für Spalte c-1 bestimmt wurde, was an der angegebenen Pixelposition 37,5 % ist. 11b zeigt das Interpolationsgewicht, das für den möglichen dynamikkomprimierten Pixelwert verwendet wird, der unter Verwendung der Dynamikkompressionskurve für Spalte c bestimmt wurde, was an der angegebenen Pixelposition 50 % ist, weil die Pixelposition innerhalb der Spalte c liegt. 11c zeigt das Interpolationsgewicht, das für den möglichen dynamikkomprimierten Pixelwert verwendet wird, der unter Verwendung der Dynamikkompressionskurve für Spalte c+1 bestimmt wurde, was an der angegebenen Pixelposition 12,5 % ist. Die Interpolationsgewichtungen der verschiedenen Spalten hängen nur von der Pixelposition ab und können für die verschiedenen Pixelpositionen vorberechnet werden. Es gilt anzumerken, dass die Interpolation in diesem Beispiel eine eindimensionale Interpolation ist, während die Interpolation in dem in 3 dargestellten System eine zweidimensionale Interpolation ist. Eine eindimensionale Interpolation ist einfacher zu implementieren als eine zweidimensionale Interpolation und ist daher rascher und braucht weniger Verarbeitungsenergie zur Implementierung.
Das Obige zusammengefasst wird der lokal dynamikkomprimierte Pixelwert LM_i,j für ein Pixel an Position (i,j) (d.h. in Zeile i und Spalte j) basierend auf dem global dynamikkomprimierten Pixelwert GM_i,j (bestimmt vom globalen Abbildungsmodul 510) berechnet und ist eine Interpolation von mehreren möglichen dynamikkomprimierten Pixelwerten, die basierend auf den Dynamikkompressionskurven T der jeweiligen Spalten bestimmt wurden, sodass der lokal dynamikkomprimierte Pixelwert LM_i,j durch die Gleichung: $L M_{i, j} = T_{c - 1} [{GM}_{i,j}] \cdot w_{c - 1} + T_{c} [{GM}_{i,j}] \cdot w_{c} + T_{c + 1} [{GM}_{i,j}] \cdot w_{c + 1}$
gegeben ist, wobei w_c-1 das Interpolationsgewicht für Spalte c-1 (z.B. 37,5 % im in 11a gezeigten Beispiel) ist, w_c das Interpolationsgewicht für Spalte c (z.B. 50 % im in 11b gezeigten Beispiel) ist und w_c+1 das Interpolationsgewicht für Spalte c+1 (z.B. 12,5 % im in 11c gezeigten Beispiel) ist.
Die endgültigen dynamikkomprimierten Pixelwerte, die für die aktuelle Zeile bestimmt werden, können durch Ausführung einer gewichteten Kombination der lokal dynamikkomprimierten Pixelwerte LM und der global dynamikkomprimierten Pixelwerte GM bestimmt werden. Beispielsweise kann der endgültige dynamikkomprimierte Pixelwert (als M_i,j bezeichnet) für das Pixel an Position (i, j) als gewichtete Kombination des global dynamikkomprimierten Pixelwerts GM_i,j und des lokal dynamikkomprimierten Pixelwerts LM_i,j gemäß der Gleichung: $M_{i, j} = OMinL + {GM}_{i, j} \cdot (1 - w_{LM}) + {LM}_{i,j} \cdot w_{LM}$
bestimmt werden, wobei w_LM ein Gewichtungsfaktor ist, welcher dem Beitragsausmaß entspricht, das der lokalen Dynamikkompression zugeordnet ist. w_LM ist ein konfigurierbarer Parameter. Sowohl der lokale als auch der globale Dynamikkompressionswert LM_i,j und GM_i,j liegen im Bereich von 0 bis (OMaxL - OMinL), sodass die Addition von OMinL in Gleichung 8 den endgültigen dynamikkomprimierten Pixelwert M_i,j innerhalb des Bereichs von OMinL bis OMaxL positioniert. Im in 5 dargestellten Beispiel wird die gewichtete Kombination des global dynamikkomprimierten Pixelwerts GM_i,j und des lokal dynamikkomprimierten Pixelwerts LM_i,j gemäß Gleichung 8 durch die Kombination der Multiplikatoren 516 und 518 und des Addierers 520 durchgeführt. D.h. der Multiplikator 516 multipliziert den lokal dynamikkomprimierten Pixelwert LM_i,j mit w_LM, der Multiplikator 518 multipliziert den global dynamikkomprimierten Pixelwert GM_i,j mit (1 - w_LM) und dann addiert der Addierer 520 die Ausgaben von den Multiplikatoren 516 und 518 mit OMinL, um so den endgültigen dynamikkomprimierten Pixelwert M_i,j zu bestimmen.
In Schritt S618 werden die aktualisierten rollenden Dynamikkompressionskurven T_c(k) für die aktuelle Zeile (Zeile k) im Speicher 514 gespeichert. Die vorher gespeicherten rollenden Dynamikkompressionskurven T_c(k - 1) sind nicht länger erforderlich und können aus dem Speicher 514 entfernt oder überschrieben werden, wenn die aktualisierten rollenden Dynamikkompressionskurven T_c(k) für die aktuelle Zeile (Zeile k) im Speicher 514 gespeichert werden. Die aktualisierten rollenden Dynamikkompressionskurven können in einer nachfolgenden Iteration des Verfahrens aus dem Speicher abgerufen werden, um bei der Verarbeitung der Pixelwerte einer nachfolgenden Zeile verwendet zu werden.
Nach Schritt S618 geht das Verfahren zurück zu Schritt S602 und wiederholt sich für die nächste Iteration, d.h. für die nächste Zeile von Pixelwerten. Das Verfahren fährt fort zu iterieren, bis alle Zeilen des Blocks verarbeitet sind.
In den oben beschriebenen Beispielen werden Dynamikkompressionskurven verwendet, um die Beziehung zwischen den Pixeleingangswerten und den dynamikkomprimierten Pixelwerten darzustellen. In anderen Beispielen kann diese Beziehung durch etwas anders als eine Kurve, z.B. eine Verweistabelle, dargestellt sein.
Darüber hinaus werden in den oben beschriebenen Beispielen die abgerufenen rollenden Dynamikkompressionskurven basierend auf den Pixelwerten der aktuellen Zeile aktualisiert, und dann wird die Dynamikkompression unter Verwendung der aktualisierten rollenden Dynamikkompressionskurven auf die Pixelwerte angewandt. Es wäre jedoch auch möglich, die Dynamikkompression unter Verwendung der abgerufenen rollenden Dynamikkompressionskurven (die auf vorangegangenen Zeilen von Pixelwerten basieren) anzuwenden und dann die rollenden Dynamikkompressionskurven zu aktualisieren. Dies würde keine so genaue Dynamikkompression bereitstellen (obwohl der Unterschied sehr gering ist), weil die Pixelwerte der aktuellen Zeile in der lokalen Dynamikkompression nicht berücksichtigt würden (nur Pixelwerte der vorangegangenen Zeilen würden berücksichtigt werden), aber dies ist trotzdem eine mögliche Option, die zu annehmbaren Ergebnissen führt und kann einfacher zu implementieren sein.
In den oben im Detail beschriebenen Beispielen sind die rollenden Dynamikkompressionskurven die Informationen, die bei jeder Iteration gespeichert und wieder abgerufen werden, um ein Verarbeiten der aktuellen Zeile zu ermöglichen, um die Pixelwerte der vorangegangenen Zeilen miteinzubeziehen, ohne dabei die eigentlichen Pixelwerte der vorangegangenen Zeilen in der Dynamikkompressionseinheit 406 speichern zu müssen. In anderen Beispielen können es die Histogramme der Spalten sein, die die Informationen darstellen, die bei jeder Iteration gespeichert und wieder abgerufen werden, um das Verarbeiten der aktuellen Zeile zu ermöglichen, um die Pixelwerte der vorangegangenen Zeilen miteinzubeziehen. In diesem Fall würden die Histogramme bei jeder Iteration wieder abgerufen werden und können basierend auf den Pixelwerten der aktuellen Zeile aktualisiert werden, bevor sie dazu verwendet werden, die Dynamikkompressionskurven wie oben für die Verwendung bei einer Anwendung der Dynamikkompression auf die Pixelwerte der aktuellen Zeile beschrieben, zu bestimmen. Im Hinblick auf die Einfachheit der Ausführung gibt es keinen großen Unterschied zwischen rollenden Dynamikkompressionskurven, wie oben beschrieben, (sodass es die Dynamikkompressionskurven sind, die zwischen Iterationen des Verfahrens gespeichert und wieder abgerufen werden) und einem Verwenden von rollenden Histogrammen (sodass es die Histogramme sind, die zwischen Iterationen des Verfahrens gespeichert und wieder abgerufen werden). In allen beiden dieser Beispiele können rollende Informationen, die Pixelwerte von vorangegangenen Zeilen betreffen, bei einer aktuellen Iteration wieder abgerufen und verwendet werden, um Dynamikkompressionskurven zur Verwendung beim Abbilden der Pixelwerten der aktuellen Zeile auf dynamikkomprimierte Pixelwerte zu bestimmen. Die rollenden Informationen werden basierend auf den Pixelwerten der aktuellen Zeile aktualisiert und so gespeichert, dass sie bei einer anschließenden Iteration verwendet werden können, um eine darauffolgende Zeile von Pixelwerten zu verarbeiten. Auf diese Art kann die Dynamikkompressionseinheit 406 Zeilen von Pixelwerten in Echtzeit, sobald diese empfangen werden, verarbeiten, ohne dass dafür ein Speichern der Pixelwerte zur Verwendung beim Verarbeiten von darauffolgenden Zeilen erforderlich ist.
In den oben beschriebenen Beispielen wird bei jeder Iteration eine Zeile von Pixelwerten verarbeitet. Die Kameraverarbeitungspipeline 404 kann jedoch in der Lage sein, mehrere Zeilen von Pixelwerten parallel zu verarbeiten. Folglich kann es für die Dynamikkompressionseinheit 406 nützlich sein, in der Lage zu sein, in jeder Iteration einen Block von Zeilen parallel zu verarbeiten. In anderen Beispielen kann daher in jeder Iteration ein Block von mehr als einer Zeile von der Dynamikkompressionseinheit 406 verarbeitet werden. D.h. in jeder von einer Mehrzahl von Iterationen wird ein Subsatz von zwei oder mehr Zeilen von Pixelwerten des Blocks empfangen und parallel verarbeitet, um so die empfangenen Pixelwerte des Subsatzes von Zeilen in dynamikkomprimierte Pixelwerte umzuwandeln. In diesem Fall wird am Ende einer aktuellen Iteration ein temporäres Histogramm basierend auf den Pixelwerten aller Zeilen im Subsatz von Zeilen (d.h. im Zeilenblock) bestimmt, die in der aktuellen Iteration verarbeitet werden, das dann in der nachfolgenden Iteration verwendet werden kann, um geeignete Dynamikkompressionskurven für den nachfolgenden Zeilenblock zu bestimmen.
Wie in 12 dargestellt kann beispielsweise bei jeder Iteration ein Zeilenblock, der vier Zeilen von Pixelwerten umfasst, parallel verarbeitet werden. 12 zeigt den Zeilenblock N-2 1202, der zwei Iterationen vor einer aktuellen Iteration (N) verarbeitet wurde. 12 zeigt außerdem den Zeilenblock N-1 1204, der eine Iteration vor einer aktuellen Iteration (N) verarbeitet wurde, wobei der Zeilenblock N-1 Zeilen n-4, n-3, n-2 und n-1 umfasst. 12 zeigt außerdem den aktuellen Zeilenblock N 1206, der Zeilen n, n+1, n+2 und n+3 umfasst, die in der aktuellen Iteration verarbeitet werden sollen. Am Ende der vorangegangenen Iteration ist eine rollende Dynamikkompressionskurve T_c 1208 bestimmt, welche die Pixelwerte aller Zeilen bis zu den und einschließlich der Zeilen in Zeilenblock N-2 berücksichtigt, und im Speicher 514 gespeichert hat. Außerdem ist am Ende der vorangegangenen Iteration ein temporäres Histogramm 1210 bestimmt, das die Verteilung der Pixelwerte in Zeilenblock N-1 darstellt. Bei der aktuellen Iteration werden die Pixelwerte der Zeilen n, n+1, n+2 und n+3 in einem aktuellen Zeilenblock 1204 parallel verarbeitet, um dynamikkomprimierte Pixelwerte für diese Zeilen zu bestimmen. Das temporäre Histogramm 1210 wird abgerufen, und eine Kompressionskurve 1212 wird basierend auf dem temporären Histogramm 1210 bestimmt, das aus den Pixelwerten im Zeilenblock N-1 bestimmt wurde. Nachdem die Kompressionskurve 1212 bestimmt wurde, wird das temporäre Histogramm zurückgesetzt (d.h. gelöscht), sodass ein temporäres Histogramm 1218 bestimmt werden kann, um die Verteilung der Pixelwerte des aktuellen Zeilenblocks 1206 darzustellen.
In Block 1214 wird die rollende Kurve 1208 unter Verwendung der Kompressionskurve tT'_c 1212 aktualisiert, die aus den Pixelwerten des Zeilenblocks N-1 bestimmt wurde. Die rollende Kurve 1208 wird auf der oben in Bezug auf Gleichung 6 beschriebenen entsprechende Weise aktualisiert, d.h.: $T_{c} (B l o c k N - 1) = T_{c} (B l o c k N - 2) \cdot (1 - w_{T}) + tT'_{c} \cdot w_{T}$
wobei w_T ein Aktualisierungsgewichtungsfaktor ist, der im Bereich 0 ≤ w_T ≤ 1 liegt. In manchen Beispielen wird in der aktuellen Iteration eine einzelne Aktualisierung der rollenden Kurve durchgeführt, und dann wird die aktualisierte rollende Kurve verwendet, um die Dynamikkompression auf die Pixelwerte in jeder der Zeilen im aktuellen Zeilenblock 1206 anzuwenden. Dies ist ein einfacher Weg, um die Aktualisierung der rollenden Dynamikkompressionskurve zu implementieren, aber es kann zu plötzlichen Veränderungen in der rollenden Dynamikkompressionskurve führen, die für die Anwendung der Dynamikkompression auf die Zeilen von Pixeln im Block 1206 verwendet wird. D.h. die Dynamikkompressionskurve, die auf die Pixelwerte der Zeile n-1 angewendet wird, würde die Pixelwerte in den Zeilen n-2, n-3 oder n-4 nicht berücksichtigen, und dann würde plötzlich die auf die Pixelwerte der Zeile n angewandte Dynamikkompressionskurve alle Pixelwerte in den Zeilen n-4 bis n-1 voll berücksichtigen. Eine plötzliche Veränderung in der Dynamikkompressionskurve, die zwischen Zeile n-1 und Zeile n verwendet wird, kann zu nachteiligen Auswirkungen auf die Wahrnehmung des dynamikkomprimierten Bilds führen. Daher kann es besser sein, die Dynamikkompressionskurve allmählich über die Zeilen des aktuellen Zeilenblocks 1206 von Zeile n bis Zeile n+3 zu aktualisieren. Das Ziel ist es, den Einfluss der aus Block N-1 gewonnenen Statistik so zu verteilen, dass eine fließende Veränderung in der rollenden Dynamikkompressionskurve vorhanden ist, die auf jede Zeile im Block N angewandt wird. Da Dynamikkompression auf alle Zeilen des aktuellen Zeilenblocks 1206 parallel angewandt wird, ist die allmähliche Veränderung der rollenden Dynamikkompressionskurve in dem Sinne „allmählich“, dass sie sich über die Zeilen n bis n+3 ändern und nicht im Laufe der Zeit. Dies kann erreicht werden, indem ein anderer Aktualisierungsgewichtungsfaktor w_T auf die rollende Dynamikkompressionskurve angewandt wird, um mit den jeweiligen Zeilen des aktuellen Zeilenblocks 1206 verwendet zu werden. Für die letzte Zeile im aktuellen Zeilenblock 1206 wird der Aktualisierungsgewichtungsfaktor w_T so eingestellt, dass die rollende Dynamikkompressionskurve T_c bis zum Ende des Zeilenblocks N-1 voll aktualisiert wird. Diese voll aktualisierte rollende Dynamikkompressionskurve T_c wird in 12 mit 1216 bezeichnet und wird zur Verwendung in einer nachfolgenden Iteration gespeichert. Für die Zeilen vor der Zeile n+3 im aktuellen Zeilenblock 1206 wird der Aktualisierungsgewichtungsfaktor w_T im Vergleich zu dem für Zeile n+3 verwendeten reduziert, sodass die rollende Dynamikkompressionskurve im aktuellen Zeilenblock 1206 von Zeile n bis Zeile n+3 allmählich in größerem Ausmaß mit der Kompressionskurve 1212 über die Zeilen aktualisiert wird.
In einem Beispiel werden in der aktuellen Iteration für jede Zeile des aktuellen Zeilenblocks 1206 die folgenden Schritte durchgeführt:

- das temporäre Histogramm wird mit Daten aus der Zeile aktualisiert, sodass das temporäre Histogramm Daten umfasst, welche die Verteilung von Pixelwerten in der Zeile darstellen;
- die rollende Dynamikkompressionskurve T_c wird wie oben beschrieben unter Verwendung eines geeigneten Aktualisierungsgewichtungsfaktors w_T für die Zeile mit der Dynamikkompressionskurve tT'_c aktualisiert; und
- die aktualisierte Dynamikkompressionskurve wird wie oben beschrieben auf die Pixelwerte der Zeile angewandt.

Es gilt anzumerken, dass die Pixelwerte der Zeilen im aktuellen Zeilenblock 1206 nicht verwendet werden, um die Dynamikkompressionskurve zu aktualisieren, bevor die Dynamikkompressionskurve verwendet wird, um eine Dynamikkompression auf die Pixelwerte des aktuellen Zeilenblocks 1206 anzuwenden. Wie oben beschrieben ergibt dies annehmbare Ergebnisse und in diesem Fall ist es einfacher zu implementieren als eine Aktualisierung der Dynamikkompressionskurven mit den Pixelwerten der Zeile des aktuellen Zeilenblocks 1206, bevor die Dynamikkompressionskurve auf die Pixelwerte des aktuellen Zeilenblocks 1206 angewandt wird.
Wie oben beschrieben wird die rollende Dynamikkompressionskurve T_c basierend auf der Dynamikkompressionskurve 1212 aktualisiert, die unter Verwendung der Pixelwerte des vorangegangenen Blocks (Block N-1) bestimmt wurde, d.h. bis zur Zeile n-1. Folglich besteht ein Unterschied darin, wie „neu“ die Kompressionskurveninformationen sind, die zur Anwendung einer Dynamikkompression auf die Pixelwerte der unterschiedlichen Zeilen im aktuellen Zeilenblock 1206 verwendet werden. Zeile n weist beispielsweise Informationen auf, die unter Verwendung von Informationen aus der vorangegangenen Zeile von Pixelwerten (Zeile n-1) aktualisiert werden. Im Gegensatz dazu weist Zeile n+3 Informationen auf, die unter Verwendung von Informationen aus vier Zeilen vorher (Zeile n-1) aktualisiert werden. Dies kann zu Problemen führen. Die oben beschriebene allmähliche Veränderung der rollenden Dynamikkompressionskurven (unter Verwendung von unterschiedlichen Aktualisierungsgewichtungsfaktoren für die unterschiedlichen Zeilen im aktuellen Zeilenblock 1206) trägt zur Reduktion von abträglichen Auswirkungen bei, die sie haben kann, kann aber immer noch zu Problemen führen, und je größer die Anzahl an Zeilen in den Zeilenblöcken, desto größer können diese Probleme sein. Es wurden jedoch Versuche durchgeführt, um sicherzustellen, dass die Auswirkungen der parallelen Verarbeitung mehrerer Zeilen zusammen annehmbar sind. Es wurde bestimmt, dass die Verwendung von Zeilenblöcken, die vier Zeilen von Pixelwerten umfassen, annehmbar sein kann. Es gilt abzuwägen zwischen: (i) dem Vorteil einer Erhöhung der Geschwindigkeit, mit der die Zeilen von Pixelwerten verarbeitet werden (indem sie parallel verarbeitet werden), und (ii) dem Nachteil einer geringen Ungenauigkeit in den Dynamikkompressionskurven, die für die Verarbeitung von manchen der Zeilen verwendet werden. Wenn die Dynamikkompressionseinheit 406 in einer Kameraverarbeitungspipeline 404 implementiert wird, in der Pixeldaten in Echtzeit verarbeitet werden, kann sich die Abwägung in Richtung einer parallelen Verarbeitung von mehreren Zeilen von Pixelwerten bewegen (z.B. von vier Zeilen von Pixelwerten wie in 12 dargestellt). Falls die Dynamikkompressionseinheit 406 jedoch nicht in einer Kameraverarbeitungspipeline implementiert ist, sodass die Pixeldaten nicht in Echtzeit verarbeitet werden müssen, dann kann sich die Abwägung in Richtung einer sequenziellen Verarbeitung der Zeilen bewegen, d.h. eine nach der anderen und nicht parallel.
Dynamikkompression wird in der aktuellen Iteration parallel auf die Zeilen des aktuellen Zeilenblocks 1206 angewandt, und am Ende der aktuellen Iteration wird die rollende Dynamikkompressionskurve 1216 bis zum Ende des Zeilenblocks 1204 aktualisiert, und das temporäre Histogramm (in 12 mit 1218 bezeichnet) stellt die Verteilung der Pixelwerte in den Zeilen des aktuellen Zeilenblocks 1206 dar. Diese Informationselemente werden zur Verwendung in der nächsten Iteration gespeichert, um Dynamikkompression auf die Zeilen des nächsten Zeilenblocks anzuwenden (d.h. ein Zeilenblock, der die Zeilen n+4 bis n+7 umfasst).
Oben wurde die Verarbeitung des Luminanzverarbeitungsmoduls 502 beschrieben, das dynamikkomprimierte Luminanzwerte aus den Luminanzeingangswerten bestimmt. Veränderungen der Luminanzwerte aufgrund der Dynamikkompression können zu Veränderungen im Aussehen der entsprechenden Chrominanzwerte führen. Daher ist es nützlich, die Chrominanzwerte gemäß der Dynamikkompression, die auf die Luminanzwerte angewandt wurde, zu korrigieren. In Bezug auf das in 13 dargestellte Flussdiagramm wird nun die Verarbeitung des Chrominanzverarbeitungsmoduls 504 beschrieben, das korrigierte Chrominanzwerte basierend auf den Chrominanzeingangswerten gemäß der Dynamikkompression, die vom Luminanzverarbeitungsmodul 502 auf die Luminanzeingangswerte angewandt wurde, bestimmt.
Die Chrominanzkorrektur wird vom Chrominanzverarbeitungsmodul 504 durchgeführt, nachdem die dynamikkomprimierten Luminanzwerte vom Luminanzverarbeitungsmodul 502 bestimmt wurden. In Schritt S1302 werden die Luminanzeingangswerte und die Chrominanzeingangswerte am Chrominanzverarbeitungsmodul 504 vom Eingang zur Dynamikkompressionseinheit 406 empfangen. Außerdem werden in Schritt S1302 die dynamikkomprimierten Luminanzwerte am Chrominanzverarbeitungsmodul 504 vom Luminanzverarbeitungsmodul 502 empfangen.
In Schritt S1304 werden mögliche korrigierte Chrominanzwerte für die Pixel basierend auf den Chrominanzeingangswerten, den Luminanzeingangswerten und den dynamikkomprimierten Luminanzwerten bestimmt. Die möglichen korrigierten Chrominanzwerte werden bestimmt, um die ursprüngliche Farbsättigung jedes Pixels zu erhalten, unabhängig von den Veränderungen in den Luminanzwerten, die aus der Dynamikkompression resultieren. Es gibt zwei Chrominanzwerte für ein Pixel (z.B. Cb und Cr), und dieselbe Korrektur wird auf beide Chrominanzwerte angewandt. In diesem Zusammenhang wird hier nur die Korrektur beschrieben, die auf einen Chrominanzeingangswert ChromaEIN_i,j für ein Pixel an Position (i,j) angewandt wird, es versteht sich jedoch, dass ChromaEIN_i,j jeden der beiden Chrominanzeingangswerte darstellen kann.
Der Luminanzeingangswert und der dynamikkomprimierte Luminanzwert für ein Pixel an Position (i,j) sind hier mit L_i,j bzw. M_i,j bezeichnet. In dem hier beschriebenen Beispiel sind die Luminanzwerte so normalisiert, dass L_i,j und M_i,j innerhalb desselben Bereichs liegen. Außerdem sind die Chrominanzeingangswerte so verschoben, dass der neutrale Chromatizitätswert null entspricht. Es gilt anzumerken, dass, da der neutrale Chromatizitätswert null entspricht, manche der Chrominanzwerte negativ sind.
Der erste Schritt der Berechnung ist die Berechnung der Pixeleingangssättigung SättIN_i,j nach ${S \ddot{a} ttIN}_{i,j} = \frac{{ChromaEIN}_{i,j} + c}{L_{i,j} + c}$
was in etwa das Verhältnis zwischen dem Chrominanzeingangswert und dem Luminanzeingangswert für ein Pixel darstellt. Der Term c ist ein willkürlicher kleiner Wert, sodass er die gemäß Gleichung 9 berechnete Sättigung nicht wesentlich beeinflusst, während numerische Instabilitäten vermieden werden, wenn der Nennerwert L_i,j auf null zu geht.
Eine zweite Sättigung, cSätt_i,j, wird bestimmt, welche die Beziehung zwischen dem dynamikkomprimierten Luminanzwert und dem möglichen korrigierten Chrominanzwert beschreibt, sodass der mögliche korrigierte Chrominanzwert mög_ChromaAUS_i,j für das Pixel an Position (i, j) durch: $mog {.ChromasAUS}_{i,j} = c S \ddot{a} t t_{i, j} \cdot M_{i,j}$
gegeben ist. Die zweite Sättigung, cSätt_i,j, weist eine vorbestimmte Beziehung mit der ersten Sättigung, SättIN_i,j, auf, die durch einen Sättigungsskalierungsfaktor w_s, wie z.B.: ${cS \ddot{a} tt}_{i,j} = w_{s} \cdot {S \ddot{a} ttIN}_{i,j} .$
definiert ist.
Der Sättigungsskalierungsfaktor w_s kann so gesteuert (d.h. angepasst) werden, dass die Sättigungskorrektur gesteuert wird, für den Fall, dass es erwünscht ist, die Sättigungskorrektur zu erhöhen oder zu senken. Der Sättigungsskalierungsfaktor kann gleich 1 sein, sodass cSätt_i,j = SättIN_i,j ist. In anderen Beispielen kann der Sättigungsskalierungsfaktor nicht gleich 1 sein, sodass cSätt_i,j ≠ SättIN_i,j ist.
Für Pixel, die Luminanzeingangswerte im mittleren Bereich haben (d.h. nicht nahe beim Maximalwert oder Minimalwert des Bereichs von verfügbaren Luminanzwerten), können die möglichen korrigierten Chrominanzwerte mög_ChromaAUS_i,j eine gute Chrominanzkorrektur bereitstellen und können als die korrigierten Chrominanzausgangswerte vom Chrominanzverarbeitungsmodul 504 verwendet werden. Es ist jedoch möglich, dass Chrominanzrestwerte, die in Pixeln mit sehr hohen oder sehr niedrigen Luminanzwerten vorhanden sind, erkennbar werden (unerwünschterweise), falls die Dynamikkompression, die vom Luminanzverarbeitungsmodul 502 angewandt wird, die zugeordneten Luminanzwerte signifikant verändert, und die Chrominanzwerte werden gemäß den Veränderungen der Luminanzwerte skaliert. Daher umfasst das Chrominanzverarbeitungsverfahren Mechanismen zur Beschränkung möglicher ,Fehler'situationen, die durch eine übermäßige Modifikation der Chrominanzwerte verursacht werden, wenn große Veränderungen in den Luminanzwerten auftreten.
D.h. in Schritt S1306 werden Vertrauensgewichtungen Vertr_i,j für die Pixel in Abhängigkeit von den Luminanzeingangswerten L_i,j der jeweiligen Pixel bestimmt.
Die Vertrauensgewichtungen geben Vertrauen in die jeweiligen möglichen korrigierten Chrominanzwerte mög_ChromaAUS_i,j an. Die Vertrauensgewichtungen Vertr_i,j werden so bestimmt, dass, falls der Luminanzeingangswert eines Pixels L_i,j nahe bei einem Maximalwert oder einem Minimalwert eines Bereichs von verfügbaren Luminanzwerten liegt, dann die Vertrauensgewichtung für das Pixel Vertr_i,j geringer ist, als wenn der Luminanzeingangswert für das Pixel L_i,j nicht nahe beim Maximalwert oder Minimalwert des Bereichs von verfügbaren Luminanzwerten liegt.
Beispielsweise kann die Vertrauensgewichtung Vertr_i,j für ein Pixel an Position (i,j) durch: $V e r t r_{i, j} = min (1, ω_{c} \cdot (1 - 2 \cdot | 0, 5 - n L_{i, j} |))$
gegeben sein, wobei nL_i,j der Luminanzeingangswert des Pixels an Position (i, j) ist, so normalisiert, dass er im Bereich von 0 bis 1 liegt, und wobei ω_c ein Vertrauensskalierungsfaktor ist.
Die Vertrauensgewichtung Vertr_i,j nimmt einen Wert im Bereich von 0 und 1 an und neigt zu 0 für sehr niedrige oder sehr hohe Luminanzeingangswerte und neigt zu 1 für Luminanzeingangswerte im mittleren Bereich. Der Vertrauensskalierungsfaktor w_c ist so auslegbar, dass das Vertrauen in die möglichen korrigierten Chrominanzwerte in unterschiedlichen Beispielen verschieden ausgelegt werden kann. Die Funktion ,min' in Gleichung 12 bedeutet, dass der Wert von Vertr_i,j so beschnitten werden kann, dass er nicht über 1 liegt.
14a zeigt eine Zeile 1402, die einen Wert von Vertr_i,j als Funktion des Luminanzeingangswerts L_i,j darstellt, der mit dem Vertrauensskalierungsfaktor w_c = 1 erhalten wird. In diesem Beispiel erreicht Vertr_i,j einen Maximalwert von 1 wenn nL_i,j = 0,5 ist, d.h. für einen Luminanzwert in der Mitte des möglichen Bereichs, der dem höchsten Vertrauen in den möglichen korrigierten Chrominanzwert mög_ChromaAUS_i,j entspricht.
14b zeigt eine Zeile 1406, die den Wert von Vertr_i,j als Funktion des Luminanzeingangswerts L_i,j zeigt, der mit dem Vertrauensskalierungsfaktor w_c = 3 erhalten wird. 14b zeigt außerdem eine strichlierte Linie 1404, die den Wert darstellt, den Vertr_i,j aufweisen würde, falls er nicht bei 1 beschnitten würde. Das Beschneiden macht die Zeile 1406 zu einem Trapezoid mit einem großen Bereich von Luminanzeingangswerten, die der maximalen möglichen Vertrauensgewichtung (Vertr_i,j = 1) entsprechen, und kleineren Bereichen (in 14b als schraffierte Bereiche 1408₁ und 1408₂ dargestellt) nahe beim maximalen und minimalen Luminanzeingangswert, wo die Vertrauensgewichtung unter 1 fällt und auf null zugeht.
In Schritt S1308 werden die bestimmten Vertrauensgewichtungen Vertr_i,j verwendet, um für die jeweiligen Pixel eine gewichtete Kombination des jeweiligen möglichen korrigierten Chrominanzwerts mög_ChromaAUS_i,j und des jeweiligen Chrominanzeingangswerts ChromaEIN_i,_j durchzuführen, wodurch korrigierte Chrominanzwerte ChromaAUS_i,j für die Pixel bestimmt werden, die vom Chrominanzverarbeitungsmodul 504 ausgegeben werden können.
Die Vertrauensgewichtungen Vertr_i,j werden für beide verwendet, wobei gewichtet wird, wie stark die Chrominanzeingangswerte korrigiert werden und um die Sättigung der Pixel maßstäblich zu verringern, falls die normalisierten Luminanzeingangswerte sehr nahe bei 0 oder 1 liegen. Der korrigierte Chrominanzwert ChromaAUS_i,j für das Pixel an Position (i,j) kann gemäß der Gleichung: ${ChromaAUS}_{i,j} = {mog_ChromaAUS}_{i,j} \cdot V e r t r_{i, j} + {ChromaEIN}_{i,j} \cdot (1 - V e r t r_{i, j}) .$
berechnet werden.
Es gilt anzumerken, dass die Bereiche der Chrominanzeingangs- und -ausgangswerte (aufgrund verschiedener Bittiefen) unterschiedlich und vorzeichenbehaftet oder vorzeichenlos sein können. Folglich können die zuvor beschriebenen Operationen in den hier beschriebenen Beispielen unter Berücksichtigung der folgenden Überlegungen durchgeführt werden:

- Für die Berechnung der ersten Sättigung SättIN_i,j werden markierte Luminanzeingangswerte verwendet, und die Chrominanzeingangswerte sind auf null zentriert (d.h. neutrale Chromatizität = 0). Folglich bekommt die erhaltene Sättigung SättIN_i,j ein entsprechendes Vorzeichen.
- Differenzen zwischen den Bereichen von L_i,j und M_i,j können bei der Berechnung der korrigierten Chrominanzwerte ChromaAUS_i,j berücksichtigt werden. Beispielsweise kann der Wert L_i,j so skaliert werden, dass er dem Bereich von M_i,j entspricht.
- Die korrigierten Chrominanzwerte ChromaAUS_i,j können so skaliert werden, dass sie ein(e) passende(s) Bittiefe und Vorzeichen aufweisen.

Die dynamikkomprimierten Luminanzausgangswerte aus dem Luminanzverarbeitungsmodul 502 und die korrigierten Chrominanzausgangswerte aus dem Chrominanzverarbeitungsmodul 504 werden aus der Dynamikkompressionseinheit 406 ausgegeben und können danach in beliebiger geeigneter Weise verwendet werden, z.B. in weiteren Verarbeitungsmodulen der Kameraverarbeitungspipeline 404.
Die in 6 und 13 gezeigten Verfahrensschritte könnten in Hardwaremodulen oder Softwaremodulen oder einer Kombination davon an der Dynamikkompressionseinheit 406 implementiert werden.
In den oben beschriebenen Beispielen werden die Pixeldaten von einem Bildsensor 402 empfangen und beziehen sich auf Pixel eines Bilds, das vom Bildsensor 402 erfasst wurde. In anderen Beispielen können die Zeilen von Pixeln aus anderen Blöcken von Pixeln stammen. Beispielsweise können sich die Pixeldaten auf Pixel von jedem beliebigen Bilddtyp beziehen, der von einem Bildsensor empfangen werden kann (wie in den obigen Beispielen beschrieben ist) oder von einer Grafikverarbeitungseinheit (GPU) oder von einem Speicher empfangen werden kann. Die Pixeldaten können sich auf ein Bild beziehen, das von einem Bildsensor (wie in den obigen Beispielen beschrieben ist) erfasst wurde, oder die Pixeldaten können sich auf ein computergeneriertes Bild beziehen, das beispielsweise von einer GPU generiert wurde. Mit anderen Worten kann die Dynamikkompressionseinheit 406 je nach Bedarf implementiert sein, wo immer eine Dynamikkompression von Pixeln aus einem Block von Pixeln implementiert werden soll.
Im Allgemeinen kann jede(s) beliebige der oben beschriebenen Funktionen, Verfahren, Techniken oder Bauteile in Modulen unter Verwendung von Software, Firmware, Hardware (z.B. fixe Logikschaltung) oder einer beliebigen Kombination dieser Implementierungen implementiert sein. Die Bezeichnungen „Modul“, „Funktionalität“, „Bauteile“, „Block“, „Einheit“ und „Logik“ werden hier zur allgemeinen Darstellung von Software, Firmware, Hardware oder einer beliebigen Kombination davon verwendet.
Im Falle einer Softwareimplementierung stellt das Modul, die Funktionalität, das Bauteil, die Einheit oder die Logik einen Programmcode dar, der spezielle Aufgaben ausführt, wenn er auf einem Prozessor (z.B. einer oder mehreren CPUs) ausgeführt wird. In einem Beispiel können die beschriebenen Verfahren von einem Computer ausgeführt werden, der mit Software in maschinenlesbarer Form, die auf einem computerlesbaren Medium gespeichert ist, konfiguriert ist. Eine solche Konfiguration eines computerlesbaren Mediums ist ein signaltragendes Medium und ist daher ausgelegt, die Anweisungen (z.B. als Trägerwelle) zur Rechenvorrichtung zu übertragen, beispielsweise über ein Netz. Das computerlesbare Medium kann auch als nichtflüchtiges computerlesbares Speichermedium ausgelegt sein und ist folglich kein signaltragendes Medium. Beispiele für ein computerlesbares Speichermedium umfassen einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), eine optische Platte, einen Flash-Speicher, einen Festplattenspeicher und andere Speichervorrichtungen, die magnetische, optische und andere Verfahren verwenden können, um Anweisungen oder andere Daten zu speichern und auf die ein Gerät zugreifen kann.
Die Software kann in Form eines Computerprogramms vorliegen, das einen Computerprogrammcode umfasst, um einen Computer auszulegen, die Teilbestandteile der beschriebenen Verfahren auszuführen, oder in Form eines Computerprogramms, das Computerprogrammcodemittel umfasst, die ausgelegt sind, alle Schritte eines beliebigen der hier beschriebenen Verfahren auszuführen, wenn das Programm auf einem Computer laufen gelassen wird, und wobei das Computerprogramm auf einem computerlesbaren Medium ausgeführt sein kann. Der Programmcode kann in einem oder mehreren computerlesbaren Medien gespeichert sein. Die Merkmale der hier beschriebenen Techniken sind plattformunabhängig, was bedeutet, dass die Techniken auf verschiedenen Rechenplattformen mit unterschiedlichen Prozessoren implementiert werden können.
Fachleute werden auch erkennen, dass alle oder ein Teil der Funktionalitäten, Techniken oder Verfahren von einer zugewiesenen Schaltung, einer anwendungsspezifischen integrierten Schaltung, einer programmierbaren Logikanordnung, einer feldprogrammierbaren Gatteranordnung oder dergleichen ausgeführt werden können. Beispielsweise können das Modul, die Funktionalität, das Bauteil oder die Logik Hardware in Form von Schaltungen umfassen. Solche Schaltungen können Transistoren und/oder andere Hardwareelemente umfassen, die in einem Herstellungsprozess verfügbar sind. Solche Transistoren und/oder anderen Elemente können verwendet werden, um Schaltungen oder Strukturen zu formen, die einen Speicher implementieren und/oder enthalten, wie z.B. Register, bistabile Kippglieder, Latches, logische Operatoren, wie z.B. Boolesche Operationen, mathematische Operatoren, wie z.B. Addierer, Multiplikatoren oder Schieber, und Zwischenverbindungen, um einige Beispiele zu nennen. Solche Elemente können als kundenspezifischer Schaltkreis oder Standardzellbibliotheken, Makros oder auf anderer Abstraktionsebene bereitgestellt werden. Solche Elemente können in einer speziellen Anordnung miteinander verbunden sein. Das Modul, die Funktionalität, das Bauteil oder die Logik kann Schaltungen umfassen, die eine fixe Funktion aufweisen, und Schaltungen, die programmiert werden können, um eine Funktion oder Funktionen auszuführen; solch eine Programmierung kann aus einem Firmware- oder Software-Aktualisierungs- oder -Steuermechanismus bereitgestellt sein. In einem Beispiel weist eine Hardwarelogik Schaltungen auf, die eine(n) fixe(n) Funktionsoperation, Zustandsmaschine oder Prozess implementieren.
Es ist auch vorgesehen, dass Software eingeschlossen ist, welche die Konfiguration der Hardware, die ein Modul, eine Funktionalität, eine Einheit, ein Bauteil oder eine Logik wie oben beschrieben implementiert, „beschreibt“ oder definiert, z.B. HDL(Hardwarebeschreibungssprache)-Software, wie sie für den Entwurf von integrierten Schaltungen verwendet wird, oder zur Konfiguration von programmierbaren Chips, um gewünschte Funktionen auszuführen. D.h. es kann ein computerlesbares Speichermedium bereitgestellt sein, auf dem ein computerlesbarer Programmcode kodiert ist, um eine Verarbeitungseinheit zu erzeugen, die ausgelegt ist, ein beliebiges der hier beschriebenen Verfahren auszuführen, oder um einen Verarbeitungseinheit zu erzeugen, die eine beliebige hier beschriebene Vorrichtung umfasst.
Die Bezeichnung „Prozessor‟ und „Computer‟ werden hier verwendet, um sich auf eine beliebige Vorrichtung oder einen Teil davon mit Verarbeitungsfähigkeit, sodass sie/es Anweisungen ausführen kann, oder eine zugewiesene Schaltung, die in der Lage ist, alle oder einen Teil der Funktionalitäten oder Verfahren auszuführen, oder eine beliebige Kombination davon zu beziehen.
Obwohl der Gegenstand in einer Sprache speziell für Strukturmerkmale und/oder methodologische Maßnahmen beschrieben wurde, versteht sich, dass der in den beiliegenden Ansprüchen beschriebene Gegenstand nicht notwendigerweise auf die oben beschriebenen speziellen Merkmale oder Maßnahmen beschränkt ist. Die oben beschriebenen speziellen Merkmale und Maßnahmen sind vielmehr als Beispielformen zur Implementierung der Ansprüche beschrieben. Es versteht sich, dass sich der Nutzen und die Vorteile, die oben beschrieben sind, auf ein Beispiel oder auf mehrere Beispiele beziehen können.
Jeder hier angegebene Bereich oder Wert kann erweitert oder verändert werden, ohne die gewünschte Wirkung zu verlieren, wie für den Fachmann offensichtlich sein wird. Die hier beschriebenen Schritte der Verfahren können in jeder beliebigen geeigneten Reihenfolge oder gegebenenfalls gleichzeitig ausgeführt werden. Aspekte beliebiger der oben beschriebenen Beispiele können mit Aspekten beliebiger der anderen beschriebenen Beispiele kombiniert werden, um weitere Beispiele zu bilden, ohne dass die gewünschte Wirkung verloren geht.

Claims

Verfahren zur Anwendung von Dynamikkompression auf einen Block von Pixelwerten, der eine Mehrzahl von Zeilen von Pixelwerten umfasst, wobei das Verfahren in jeder einer Mehrzahl von Iterationen umfasst: Empfangen einer aktuellen Zeile von Pixelwerten des Blocks; Abrufen von gespeicherten Informationen in Bezug auf Pixelwerte wenigstens einer vorangegangenen Zeile des Blocks, die in wenigstens einer vorangegangenen Iteration verarbeitet wurden, nicht aber der Pixelwerte der wenigstens einen vorangegangenen Zeile des Blocks; Verwenden der abgerufenen Informationen, um: (i) aktualisierte Informationen zu bestimmen, die in Abhängigkeit von den Pixelwerten der aktuellen Zeile aktualisiert werden, und (ii) eine oder mehrere Dynamikkompressionsbeziehungen zur Verwendung bei einer Abbildung der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte zu bestimmen; Abbilden der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte unter Verwendung der bestimmten einen oder mehreren Dynamikkompressionsbeziehungen; und Speichern der aktualisierten Informationen ohne die Pixelwerte der aktuellen Zeile zur Verwendung bei einer Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration.
Verfahren nach Anspruch 1, wobei das Bestimmen von aktualisierten Informationen ein Durchführen einer gewichteten Kombination (i) der Informationen in Bezug auf Pixelwerte der wenigstens einen vorangegangenen Zeile und (ii) Informationen in Bezug auf Pixelwerte der aktuellen Zeile umfasst.
Verfahren nach Anspruch 1 oder 2, wobei die Informationen ein oder mehrere Histogramme umfassen, wobei jedes Histogramm eine Verteilung von Pixelwerten darstellt.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die Informationen eine oder mehrere Dynamikkompressionsbeziehungen zur Abbildung von Pixelwerten auf dynamikkomprimierte Pixelwerte umfassen.
Verfahren nach einem der vorangegangenen Ansprüche, wobei der Block eine Mehrzahl von Spalten von Pixelwerten umfasst, und wobei die Informationen eine Mehrzahl von Informationselementen in Bezug auf Pixelwerte der jeweiligen Mehrzahl von Spalten aus der wenigstens einen vorangegangenen Zeile des Blocks umfassen.
Verfahren nach Anspruch 5, wobei eine Mehrzahl von Dynamikkompressionsbeziehungen für die jeweilige Mehrzahl von Spalten bestimmt wird, und wobei die Abbildung der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte umfasst: für jeden der Pixelwerte der aktuellen Zeile, Bestimmen einer Mehrzahl von möglichen dynamikkomprimierten Pixelwerten unter Verwendung einer jeweiligen Mehrzahl der Dynamikkompressionsbeziehungen und Interpolieren der möglichen dynamikkomprimierten Pixelwerte.
Verfahren nach einem der vorangegangenen Ansprüche, wobei der Block von Pixelwerten ein Einzelbild einer Abfolge von Einzelbildern ist, und wobei das Verfahren ferner umfasst: Bestimmen einer globalen Dynamikkompressionsbeziehung unter Verwendung von Informationen in Bezug auf Pixelwerte eines vorangegangenen Einzelbilds in der Abfolge von Einzelbildern; und Verwenden der globalen Dynamikkompressionsbeziehungen, um global dynamikkomprimierte Pixelwerte für die Pixelwerte der aktuellen Zeile zu bestimmen, wobei das Abbilden der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte ein Durchführen einer gewichteten Kombination von: (i) dynamikkomprimierten Pixelwerten, die basierend auf der bestimmten einen oder den bestimmten mehreren Dynamikkompressionsbeziehungen bestimmt wurden, und (ii) den global dynamikkomprimierten Pixelwerten umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, wobei das Bestimmen von aktualisierten Informationen ein Bestimmen eines oder mehrerer Histogramme der Verteilung der Pixelwerte in der aktuellen Zeile umfasst, wobei jeder Pixelwert der aktuellen Zeile zu einer Mehrzahl von Klassen eines Histogramms beiträgt, sodass die Histogramme geglättete Verteilungen von Pixelwerten darstellen.
Verfahren nach Anspruch 8, wobei das Bestimmen von aktualisierten Informationen ferner ein Abflachen wenigstens eines des einen oder der mehreren Histogramme umfasst.
Verfahren nach Anspruch 8 oder 9, wenn von Anspruch 4 abhängig, wobei das Bestimmen von aktualisierten Informationen ferner ein Bestimmen einer oder mehrerer Dynamikkompressionsbeziehungen durch integrieren des/r jeweiligen einen oder mehreren Histogramme umfasst.
Verfahren nach Anspruch 10, wobei das Bestimmen von aktualisierten Informationen ein Durchführen einer gewichteten Kombination: (i) der einen oder mehreren Dynamikkompressionsbeziehungen, die für die aktuelle Zeile bestimmt wurden, und (ii) der jeweiligen einen oder mehreren Dynamikkompressionsbeziehungen, die aus Pixelwerten der wenigstens einen vorangegangenen Zeile bestimmt wurden, umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, wobei entweder: (i) die aktualisierten Informationen verwendet werden, um die eine oder mehreren Dynamikkompressionsbeziehungen zu bestimmen, oder (ii) die abgerufenen Informationen, und nicht die aktualisierten Informationen, verwendet werden, um die eine oder mehreren Dynamikkompressionsbeziehungen zu bestimmen.
Verfahren nach einem der vorangegangenen Ansprüche, wobei in jeder der Mehrzahl von Iterationen ein Subsatz von zwei oder mehr der Zeilen von Pixelwerten des Blocks empfangen und parallel verarbeitet wird, um so die empfangenen Pixelwerte des Subsatzes von Zeilen in dynamikkomprimierte Pixelwerte umzuwandeln, und wobei das Bestimmen von aktualisierten Informationen ein Aktualisieren der abgerufenen Informationen in Abhängigkeit von den empfangenen Pixelwerten aus dem Subsatz von Zeilen zur Verwendung bei einer Verarbeitung von Pixelwerten eines nachfolgenden Subsatzes einer oder mehrerer Zeilen von Pixelwerten des Blocks in einer nachfolgenden Iteration umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die Pixelwerte Luminanzwerte sind.
Verfahren nach einem der vorangegangenen Ansprüche, wobei das Verfahren in einer Kameraverarbeitungspipeline implementiert wird.
Dynamikkompressionseinheit, die ausgelegt ist, Dynamikkompression auf einen Block von Pixelwerten anzuwenden, der eine Mehrzahl von Zeilen von Pixelwerten umfasst, wobei die Dynamikkompressionseinheit ein Verarbeitungsmodul umfasst, das ausgelegt ist, in jeder einer Mehrzahl von Iterationen: eine aktuelle Zeile von Pixelwerten des Blocks zu empfangen; gespeicherte Informationen in Bezug auf Pixelwerte wenigstens einer vorangegangenen Zeile des Blocks, aber nicht die Pixelwerte der wenigstens einen vorangegangenen Zeile des Blocks abzurufen, die in wenigstens einer vorangegangenen Iteration verarbeitet wurden; die abgerufenen Informationen zu verwenden, um: (i) aktualisierte Informationen zu bestimmen, die in Abhängigkeit von den Pixelwerten der aktuellen Zeile aktualisiert werden, und (ii) eine oder mehrere Dynamikkompressionsbeziehungen zur Verwendung bei einer Abbildung der Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte zu bestimmen; die Pixelwerte der aktuellen Zeile unter Verwendung der bestimmten einen oder mehreren Dynamikkompressionsbeziehungen auf dynamikkomprimierte Pixelwerte abzubilden; und zu bewirken, dass die aktualisierten Informationen ohne die Pixelwerte der aktuellen Zeile zur Verwendung bei einer Verarbeitung von Pixelwerten einer nachfolgenden Zeile von Pixelwerten des Blocks in einer nachfolgenden Iteration gespeichert werden.
Dynamikkompressionseinheit nach Anspruch 16, wobei der Block von Pixelwerten ein Einzelbild einer Abfolge von Einzelbildern ist, und wobei die Dynamikkompressionseinheit ferner umfasst: ein globales Abbildungsbestimmungsmodul, das ausgelegt ist, eine globale Dynamikkompressionsbeziehung unter Verwendung von Informationen in Bezug auf Pixelwerte eines vorangegangenen Einzelbilds der Abfolge von Einzelbildern zu bestimmen; wobei das Verarbeitungsmodul ein globales Abbildungsmodul umfasst, das ausgelegt ist, die globale Dynamikkompressionsbeziehung zu verwenden, um global dynamikkomprimierte Pixelwerte für die Pixelwerte der aktuellen Zeile zu bestimmen, und wobei das Verarbeitungsmodul ausgelegt ist, die Pixelwerte der aktuellen Zeile auf dynamikkomprimierte Pixelwerte abzubilden, indem eine gewichtete Kombination: (i) von dynamikkomprimierten Pixelwerten, die basierend auf der/den bestimmten einen oder mehreren Dynamikkompressionsbeziehungen bestimmt wurden, und (ii) global dynamikkomprimierten Pixelwerten, die vom globalen Abbildungsmodul bestimmt wurden, durchgeführt wird.
Dynamikkompressionseinheit nach Anspruch 16 oder 17, wobei das Verarbeitungsmodul ausgelegt ist, in jeder der Mehrzahl von Iterationen einen Subsatz von zwei oder mehr der Zeilen von Pixelwerten des Blocks zu empfangen und den empfangenen Subsatz von zwei oder mehr der Zeilen von Pixelwerten parallel zu verarbeiten, um so die empfangenen Pixelwerte des Subsatzes von Zeilen auf dynamikkomprimierte Pixelwerte abzubilden, und wobei das Verarbeitungsmodul ausgelegt ist, die Informationen in Abhängigkeit von den empfangenen Pixelwerten aus dem Subsatz von Zeilen zur Verwendung bei einer Verarbeitung von Pixelwerten eines nachfolgenden Subsatzes einer oder mehrerer Zeilen von Pixelwerten des Blocks in einer nachfolgenden Iteration zu aktualisieren.
Dynamikkompressionseinheit nach einem der Ansprüche 16 bis 18, wobei die Dynamikkompressionseinheit in einer Kameraverarbeitungspipeline implementiert ist.
Computerlesbares Speichermedium, auf dem entweder: (i) ein computerlesbarer Code, der zur Ausführung der Schritte eines Verfahrens nach einem der Ansprüche 1 bis 15 ausgelegt ist, wenn der Code auf einem Computer laufen gelassen wird, oder (ii) ein computerlesbarer Code zur Generierung einer Dynamikkompressionseinheit nach einem der Ansprüche 16 bis 19 kodiert ist.