DE102021103958A1

DE102021103958A1 - Bildsignalprozessor beinhaltendes Bildsystem und Betriebsverfahren für einen Bildsignalprozessor

Info

Publication number: DE102021103958A1
Application number: DE102021103958.4A
Authority: DE
Inventors: Hyuncheol Kim
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2020-03-30
Filing date: 2021-02-19
Publication date: 2021-09-30
Also published as: KR20210121508A; DE102021103958A9; CN113473099A; US20210304366A1; US11741576B2

Abstract

Bereitgestellt wird ein Betriebsverfahren für einen Bildsignalprozessor (ISP), der konfiguriert ist, um eine Signalverarbeitung an einem Rohbild durchzuführen, das von einer Bildvorrichtung empfangen wird, wobei das Betriebsverfahren ein Erzeugen einer Mehrzahl von multiskalaren Bildern basierend auf einem Eingabebild, wobei die Mehrzahl von multiskalaren Bildern voneinander unterschiedliche Auflösungen aufweisen, ein iteratives Durchführen einer Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) an jedem von der Mehrzahl von multiskalaren Bildern, um eine endgültige Helligkeitsabbildung zu erzeugen; und ein Ausgeben eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild beinhaltet.

Description

HINTERGRUND
Beispielhafte Ausführungsformen der vorliegenden Offenbarung beziehen sich auf eine Bildvorrichtung und insbesondere auf ein Bildsystem, das einen Bildsignalprozessor beinhaltet, sowie auf ein Betriebsverfahren für den Bildsignalprozessor.
Ein in einem Smartphone, einem Tablet-PC (PC) oder einer Digitalkamera beinhalteter Bildsensor erhält Bildinformationen über ein externes Objekt durch Umwandeln eines von dem externen Objekt reflektierten Lichts in ein elektrisches Signal. Es werden verschiedene Bildsignalverarbeitungsoperationen durchgeführt, um ein elektrisches Signal, das von dem Bildsensor erhalten wird, in durch eine Person tatsächlich wahrnehmbare Bildinformationen umzuwandeln, oder um eine Bildqualität zu verbessern.
KURZFASSUNG
Eine oder mehrere beispielhafte Ausführungsformen stellen ein Bildsystem, das eine Bildsignalverarbeitungseinheit beinhaltet, und ein Betriebsverfahren für den Bildsignalprozessor bereit.
Gemäß einem Aspekt einer beispielhaften Ausführungsform wird ein Betriebsverfahren für einen Bildsignalprozessor (ISP) bereitgestellt, der so konfiguriert ist, dass er eine Signalverarbeitung an einem Rohbild durchführt, das von einer Bildvorrichtung empfangen wird, wobei das Betriebsverfahren ein Erzeugen einer Mehrzahl von multiskalaren Bildern basierend auf einem Eingabebild, wobei die Mehrzahl von multiskalaren Bildern voneinander unterschiedliche Auflösungen aufweist, ein iteratives Durchführen einer Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) an jedem von der Mehrzahl von multiskalaren Bildern, um eine endgültige Helligkeitsabbildung zu erzeugen; und ein Ausgeben eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild beinhaltet.
Gemäß einem Aspekt einer beispielhaften Ausführungsform wird ein Bildsystem bereitgestellt, das einen Bildsensor, der zum Ausgeben eines Rohbilds basierend auf einem von einem externen Objekt reflektierten Licht konfiguriert ist; und einen Bildsignalprozessor beinhaltet, der konfiguriert ist zum Durchführen einer Vorverarbeitung an dem Rohbild, um ein Eingabebild zu erzeugen, Extrahieren einer endgültigen Helligkeitsabbildung basierend auf dem Eingabebild durch eine Extraktionsoperation auf Multiskalen-Basis, und Erzeugen eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild, wobei die Extraktionsoperation auf Multiskalen-Basis ein Erzeugen einer Mehrzahl von multiskalaren Bildern mit unterschiedlichen Auflösungen basierend auf dem Eingabebild, ein iteratives Durchführen einer Helligkeitsabbildungs-Extraktionsoperation an der Mehrzahl von multiskalaren Bildern, und ein Ausgeben der endgültigen Helligkeitsabbildung als ein Ergebnis des iterativen Durchführens der Helligkeitsabbildungs-Extraktionsoperation beinhaltet.
Gemäß noch eines weiteren Aspekts einer beispielhaften Ausführungsform wird ein Bildkontrastverbesserungsverfahren für einen Bildsignalprozessor bereitgestellt, wobei das Verfahren ein Erzeugen einer ursprünglichen Helligkeitsabbildung basierend auf einem Eingabebild, ein n-maliges iteratives Herunterskalieren der ursprünglichen Helligkeitsabbildung, um eine Mehrzahl von multiskalaren Bildern zu erzeugen, wobei n eine positive Ganzzahl größer 1 ist, ein Durchführen einer ersten Berechnung basierend auf einem ersten Bild, das von der Mehrzahl von multiskalaren Bildern eine geringste Auflösung aufweist, ein Durchführen einer zweiten Berechnung basierend auf einem Ergebnis der ersten Berechnung und einem zweiten Bild, das von der Mehrzahl von multiskalaren Bildern eine zweitgeringste Auflösung aufweist, ein Durchführen einer dritten Berechnung basierend auf einem Ergebnis der zweiten Berechnung und einem dritten Bild, das von der Mehrzahl von multiskalaren Bildern eine höchste Auflösung aufweist, ein Erzeugen eines Ergebnisses der dritten Berechnung als eine endgültige Helligkeitsabbildung und ein Erzeugen eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild beinhaltet, wobei die erste Berechnung, die zweite Berechnung und die dritte Berechnung auf schnellen, globalen, gewichteten kleinsten Quadraten (FGWLS) basieren.
In einer Ausführungsform, dem Bildsystem nach Anspruch 14, wird die Helligkeitsabbildungs-Extraktionsoperation durchgeführt basierend auf: $\begin{matrix} L^{i} (x, y) = \end{matrix} {\begin{array}{l} FGWLS (↑_{n} (L^{i + 1} (x, y)), G^{i} (x, y), λ^{i}, T^{i}) & i = 0, \dots, l - 1, \\ FGWLS ({\hat{L}}^{i} (x, y), G^{i} (x, y), λ^{i}, T^{i}) & i = l \end{array}$
wobei (x,y) eine Pixelposition ist, FGWLS eine Funktion für eine Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) ist, Lⁱ ein Berechnungsergebnis der FGWLS ist, ↑_n eine Funktion zum n-maligen Heraufskalieren einer Eingabe ist, L̂ⁱ eine Helligkeitsabbildung ist, die erhalten wird, indem die ursprüngliche Helligkeitsabbildung n¹-mal herunterskaliert wird, Gⁱ ein Orientierungsbild ist, λⁱ ein Glättungswert ist, der in der Funktion der FGWLS-basierten Operation verwendet wird, und Tⁱ eine Anzahl einer Häufigkeit ist, mit der eine zeilenbasierende Berechnung und eine spaltenbasierte Berechnung in der Funktion für die FGWLS-basierte Operation verwendet werden, und wobei die Helligkeitsabbildungs-Extraktionsoperation basierend auf dem i durchgeführt wird, das sich schrittweise von 1 in 0 verändert.
Figurenliste
Die vorstehenden und/oder weiteren Aspekte werden unter Bezugnahme auf die beigefügte Zeichnung durch ausführliche Beschreibung von beispielhaften Ausführungsformen näher erläutert. Es zeigen:

1 ein Blockdiagram, das ein Bildsystem gemäß einer beispielhaften Ausführungsform darstellt;
2 ein Blockdiagramm, das eine Bildsignalverarbeitungseinheit von 1 darstellt;
3 ein Flussdiagramm, das einen Betrieb eines Verbesserungsmoduls von 2 darstellt;
4 ein Blockdiagramm, das ein Verbesserungsmodul von 2 darstellt;
5 ein Flussdiagramm, das einen Betrieb einer Helligkeitsabbildungs-Extraktionseinheit von 4 darstellt;
6 ein Blockdiagramm, das eine Helligkeitsabbildungs-Extraktionseinheit von 4 darstellt.
7 ein Flussdiagramm, das den Verfahrensschritt S123 von 5 darstellt.
8A u. 8B Blockdiagramme, die ein multiskalares FGWLS von 6 darstellen;
9 ein Diagramm zur Beschreibung eines beispielhaften Effekts gemäß eines Betriebs einer Helligkeitsabbildungs-Extraktionseinheit von 6 bis 8B:
10 ein Blockdiagramm, das eine Verbesserungseinheit von 4 darstellt;
11 ein Blockdiagramm, das eine Farbwiederherstellungseinheit von 4 darstellt;
12A u. 12B Diagramme zur Beschreibung eines beispielhaften Effekts gemäß einer beispielhaften Ausführungsform;
13 ein Blockdiagramm, das eine Bildsensorvorrichtung gemäß einer beispielhaften Ausführungsform darstellt; und
14 ein Blockdiagramm, das eine elektronische Vorrichtung gemäß einer beispielhaften Ausführungsform darstellt.

AUSFÜHRLICHE BESCHREIBUNG
Beispielhafte Ausführungsformen können nachstehend in einem solchen Maß ausführlich und eindeutig beschrieben sein, dass ein Durchschnittsfachmann in der Lage ist, die beispielhaften Ausführungsformen zu implementieren.
Nachstehend können die in der ausführlichen Beschreibung unter Bezugnahme die Begriffe „Teil“, „Einheit“, „Modul“, „Schicht“ etc. beschriebenen Komponenten sowie die Funktionsblöcke, die in der Zeichnung dargestellt sind, in Form einer Software, Hardware oder einer Kombination aus denselben implementiert sein. Die Software kann z. B. ein Maschinencode, eine Firmware, ein eingebetteter Code und eine Anwendungssoftware sein. Die Hardware kann z. B. eine elektrische Schaltung, eine elektronische Schaltung, einen Prozessor, einen Computer, eine integrierte Schaltung, integrierte Schaltungskerne, einen Drucksensor, einen Trägheitssensor, ein mikro-elektromechanisches System (MEMS), ein passives Element oder eine Kombination aus denselben beinhalten.
1 ist ein Blockdiagramm, das ein Bildsystem gemäß einer beispielhaften Ausführungsform darstellt. Bezugnehmend auf 1 kann ein Bilderzeugungssystem 10 einen Bildsensor 11 und einen Bildsignalprozessor 12 beinhalten. Das Bilderzeugungssystem 10 kann zumindest eines von verschiedenen elektronischen Systemen sein, die so konfiguriert sind, dass sie ein Video oder ein Bild erhalten, das einem externen Objekt, wie z. B. einem Smartphone, einem Tablet, einer Blackbox und einer elektronischen Vorrichtung für ein Fahrzeug, zugeordnet ist, oder es kann darin enthalten sein.
Der Bildsensor 11 kann ein Licht empfangen, das von dem externen Objekt reflektiert wird, und kann ein Bild, Bildinformationen oder Bilddaten, die dem externen Objekt basierend auf dem empfangenen Licht zugeordnet sind, erhalten. Der Bildsensor 11 kann z. B. zumindest einen von verschiedenen Bildsensoren beinhalten, wie z. B. einen Complementary-metal-oxide-semiconductor- (CMOS-) Bildsensor, einen Charge-coupled-device- (CCD-) Bildsensor und einen Dynamic-vision-sensor- (DVS-) Bildsensor. Der Bildsensor 11 kann ein Bild, das basierend auf dem von dem externen Objekt reflektierten Licht erzeugt wird, als ein Rohbild RAW ausgeben. In einer beispielhaften Ausführungsform kann das Rohbild RAW Bilddaten anzeigen, die durch den Bildsensor 11 erhalten werden. Das heißt, dass das Rohbild RAW das Original der Bilddaten sein kann, die keiner separaten Bildverarbeitung unterzogen worden sind. Das Rohbild RAW kann ein Bild sein, das einer Bildverarbeitung ausgesetzt ist, z. B. einer High-dynamic-range- (HDR-) oder einer Wide-dynamic-range- (WDR-) Bildverarbeitung, die in dem Bildsensor 1 durchgeführt wird.
Der Bildsignalprozessor 12 kann das Rohbild RAW von dem Bildsensor 11 empfangen und eine Bildsignalverarbeitung an dem empfangenen Rohbild RAW durchführen. Der Bildsignalprozessor 12 kann als ein Ergebnis der Bildsignalverarbeitung ein Ausgabebild IMG out ausgeben. In einer beispielhaften Ausführungsform kann das Ausgabebild IMG_out eine verbesserte Bildqualität gegenüber dem Rohbild RAW aufweisen. Das Ausgabebild IMG_out kann einer externen Vorrichtung bereitgestellt werden, z. B. einem Anwendungsprozessor (AP), einem Graphikprozessor (GPU) oder einer Anzeigevorrichtung.
2 ist ein Blockdiagramm, das einen Bildsignalprozessor von 1 darstellt. Unter Bezugnahme auf 1 und 2 kann der Bildsignalprozessor 12 verschiedene Bildsignalverarbeitungen an dem von dem Bildsensor 11 empfangenen Rohbild RAW durchführen und kann das Ausgabebild IMG out mit einer verbesserten Qualität erzeugen oder ausgeben. Der Bildsignalprozessor 12 kann z. B. ein Rauschunterdrückungsmodul 12a, ein Weißabgleichsmodul 12b, ein Farbfilterarray-Interpolationsmodul 12c, ein Korrekturmodul 12d, ein Verbesserungsmodul 100 und eine Speichervorrichtung 12e beinhalten.
Das Rauschunterdrückungsmodul 12a kann eine Bildsignalverarbeitung, z. B. eine Rauschunterdrückung zum Unterdrücken eines Rauschens des von dem Bildsensor 11 empfangenen Rohbildes RAW durchführen. Das Weißabgleichsmodul 12b kann eine Bildsignalverarbeitung, z. B. einen Weißabgleich an einer Ausgabe des Rauschunterdrückungsmoduls 12a, durchführen. Das Farbfilterarray-Interpolationsmodul 12c kann eine Bildsignalverarbeitung, z. B. eine Farbinterpolation, basierend auf einem Farbfilterarray des Bildsensors 11 an einer Ausgabe des Weißabgleichmoduls 12b durchführen. Das Korrekturmodul 12d kann eine Bildsignalverarbeitung, z. B. eine Korrektur basierend auf verschiedenen Faktoren, wie z. B. einer Farbe und einer Gamma-Charakteristik, an einer Ausgabe des Farbfilterarray-Interpolationsmoduls 12c durchführen.
Das Verbesserungsmodul 100 kann eine Bildsignalverarbeitung, z. B. eine Verbesserungsoperation zum Verbessern einer Bildqualität, wie z. B. einer Schärfe, eines Kontrasts und einer Farbe, an einer Ausgabe des Korrekturmoduls 12d durchführen. Eine Ausgabe des Verbesserungsmoduls 100 kann als das Ausgabebild IMG_out ausgegeben werden. Die Speichervorrichtung 12e kann so konfiguriert sein, das sie Ausgaben oder Zwischenergebnisse des Rauschunterdrückungsmoduls 12, des Weißabgleichmoduls 12b, des CFA-Interpolationsmoduls 12, des Korrekturmoduls 12d und des Verbesserungsmoduls 100, das in dem Bildsignalprozessor 12 enthalten ist, speichert.
Wie vorstehend beschrieben, kann der Bildsignalprozessor 12 das Ausgabebild IMG_out mit einer verbesserten Qualität erzeugen, indem verschiedene Bildsignalverarbeitungen an dem Rohbild RAW von dem Bildsensor 11 durchgeführt werden. In einer beispielhaften Ausführungsform ist die Konfiguration oder die Bildsignalverarbeitungsoperation des Bildsignalprozessors 12, der in 2 dargestellt ist, rein beispielhaft, wobei die Ausführungsformen nicht darauf beschränkt sind. Der Bildsignalprozessor 12 kann z. B. eine Bildsignalverarbeitung an dem Rohbild RAW basierend auf einer Konfiguration durchführen, die sich von der in 2 dargestellten Konfiguration unterscheidet.
In einer beispielhaften Ausführungsform kann das Verbesserungsmodul 100 des Bildsignalprozessors 12 so konfiguriert sein, dass es eine Kontrastverbesserung an einem Bild durchführen kann. Die Bildsignalverarbeitung des Verbesserungsmoduls 100 in dem Bildsignalprozessor 12, und eine Bildsignalverarbeitung zur Kontrastverbesserung im Besonderen, werden nachstehend ausführlicher erläutert. Eine beispielhafte Ausführungsform wird z. B. so beschrieben, dass der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 eine Bildsignalverarbeitung zur Kontrastverbesserung an einem Eingabebild durchführt, wobei die Ausführungsformen jedoch nicht darauf beschränkt sind.
In dem Fall, wo ein Bild in einer von hinten beleuchteten Umgebung oder einer Umgebung mit geringer Helligkeit erhalten wird, kann die Notwendigkeit bestehen, die Bildsignalverarbeitung zur Kontrastverbesserung an einem Eingabebild durchzuführen. In dem Fall, wo der Bildsensor 11 z. B. ein Bild in einer Fotoumgebung erhält, die z. B. von hinten beleuchtet ist oder eine geringe Helligkeit aufweist, weil die Helligkeit eines Teilbereichs des erhaltenen Bildes relativ gering ist, kann ein in dem Teilbereich enthaltenes Objekt nicht identifiziert werden. Zur Identifizierung des Objekts in dem Teilbereich kann die Helligkeit des Gesamtbildes verbessert werden. Da jedoch die Helligkeit in einem anderen Bereich, z. B. einem relativ hellen Bereich des Bildes, damit einhergehend verbessert wird, kann ein in dem anderen Bereich enthaltenes Objekt nicht identifiziert werden.
Dementsprechend ist es zur Verbesserung einer Qualität eines Bildes, das in einer Fotoumgebung erhalten wird, die z. B. von hinten beleuchtet ist oder eine geringe Helligkeit aufweist, von Bedeutung, einen Bildfehler, wie z. B. einen Lichthof oder ein Fading, zu minimieren sowie eine effiziente Verbesserung eines lokalen Kontrasts des Bildes zu erhalten. Ein Schema zur Verbesserung einer Qualität, z. B. eines Kontrasts eines Bildes, kann ein histogrammbasiertes Schema, ein enttrübungsbasiertes Schema, ein filterungsbasiertes Schema, eine retinexbasiertes Schema etc. beinhalten. Von den vorstehend angeführten Schemata wird im retinexbasierten Schema berücksichtigt, dass ein Eingabebild durch Helligkeit und Reflexionsgrad definiert ist, wie durch Gleichung 1 unten ausgedrückt ist. $F (x, y) = R (x, y) \cdot L (x, y)$
Bezugnehmend auf die vorstehende Gleichung 1 oben zeigt F ein Eingabebild an, zeigt R Reflexionsgradinformationen über das Eingabebild an, zeigt L Helligkeitsinformationen über das Eingabebild an, und zeigt (x,y) Koordinaten in dem Eingabebild an. Wie anhand der vorstehenden Gleichung 1 zu verstehen ist, kann das Eingabebild F basierend auf L ausgedrückt werden, wobei L eine Helligkeitskomponente und R eine Reflexionsgradkomponente ist.
Zur Verbesserung eines Kontrasts des Eingabebildes ist es notwendig, Helligkeitsinformation oder eine Helligkeitsabbildung, die dem Eingabebild zugeordnet ist, zu extrahieren. Die Helligkeit des Eingabebildes kann abhängig von der Gesamtverteilung der Helligkeit in dem Eingabebild bestimmt werden, während der Reflexionsgrad durch eine eindeutige Charakteristik eines Objekts in dem Eingabebild bestimmt werden kann. Die Helligkeitskomponente des Eingabebildes kann z. B. überwiegend eine Niederfrequenzkomponente beinhalten, wobei die Reflexionsgradkomponente des Eingabebildes überwiegend eine Hochfrequenzkomponente beinhalten kann. Dementsprechend können die Helligkeitsinformationen oder eine Helligkeitsabbildung durch Anwenden eines Tiefpassfilterns auf das Eingabebild extrahiert werden, wie nachstehend durch die Gleichung 2 ausgedrückt ist, wobei der Reflexionsgrad durch Beseitigen von Informationen über die Helligkeitsabbildung aus dem Eingabebild extrahiert werden kann, wie durch Gleichung 3 unten ausgedrückt ist. $L (x, y) = LPF (F (x, y))$
$ln R (x, y) = ln F (x, y) - ln L (x, y)$
In Gleichung 2 und Gleichung 3 zeigt LPF eine Funktion entsprechend einer Tiefpassfilterung an, und weil die verbliebenen Bezugszeichen unter Bezugnahme auf Gleichung 1 oben beschrieben sind. In dem Fall, wo die Helligkeitsinformationen basierend auf Gleichung 2 und Gleichung 3 extrahiert werden, weil eine Hochfrequenzkomponente gefiltert wird, kann eine Schärfe, z. B. eine Hochfrequenzkomponente, nicht in den extrahierten Helligkeitsinformationen oder der Helligkeitsabbildung beibehalten werden. Wenn die Schärfe in den Helligkeitsinformationen nicht beibehalten wird, kann in einem endgültigen Bild ein Bildfehler, wie z. B. ein Lichthofphänomen, entstehen.
Zur Lösung des vorstehend geschilderten Problems kann ein Schema zum Extrahieren einer Helligkeitsabbildung basierend auf gewichteten, kleinsten Quadraten (WLS) verwendet werden. Das WLS-basierte Extraktionsschema zeigt ein Schema an, in dem eine Helligkeitsabbildung durch Erhalten einer optimalen Lösung einer Matrix extrahiert wird, die aus einem Datenterm und einem Einschränkungsterm besteht. Das WLS-basierte Extraktionsschema kann ähnliche Helligkeitsbereiche in deutlichem Maße glätten, während es gleichzeitig eine Schärfe eines Eingabebildes beibehält. In diesem Fall kann das WLS-basierte Extraktionsschema eine optimale Lösung einer Matrix erhalten, indem eine umgekehrte Matrix von einer Laplace'schen Streumatrix berechnet wird. In diesem Fall kann ein Element der Laplace'schen Streumatrix eine Ähnlichkeit zwischen Pixeln anzeigen Das WLS-basierte Extraktionsschema ist dahingehend vorteilhaft, dass eine Glättungsintensität hoch ist, während eine Schärfe beibehalten wird. Weil das WLS-basierte Extraktionsschema jedoch eine sehr umfangreiche Matrix berechnen muss, werden große Mengen an Hardwareressourcen verwendet, wobei eine Berechnungsgeschwindigkeit sehr gering ist und es schwierig sein kann, das WLS-basierte Extraktionsschema auf eine mobile Anwendung mit einer begrenzten Hardwareressource anzuwenden.
Ein Extraktionsschema auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) kann als eine verbesserte Version des Helligkeitsabbildungs-Extraktionsschemas basierend auf WLS verwendet werden. Das FGWLS-basierte Extraktionsschema oder die FGWLS-basierte Operation kann den Umfang einer verwendeten Hardwareressource sowie eine Betriebszeit durch Vereinfachen einer auf WLS basierten optimalen Lösung reduzieren. Das FGWLS-basierte Extraktionsschema kann z. B. eine zur Berechnung notwendige Hardwareressource sowie eine Betriebszeit reduzieren, indem, anstatt eine Berechnung an der gesamten Matrix durchzuführen, eine zeilen- und spaltenbasierte Berechnung iterativ durchgeführt wird. In dem Fall aber, wo eine Größe oder eine Auflösung eines Eingabebildes umfassend bzw. hoch ist, kann in einer Helligkeitsabbildung, die durch das FGWLS-basierte Extraktionsschema extrahiert wird, ein blockierender Bildfehler in einer Helligkeitsabbildung entstehen, wobei der Bildfehler eine Qualitätsminderung des Ausgabebildes IMG_out bewirken kann.
Gemäß einer beispielhaften Ausführungsform kann der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 verhindern, dass ein blockierender Bildfehler in einer extrahierten Helligkeitsabbildung entsteht, indem multiskalare Bilder in Bezug auf ein Eingabebild erzeugt werden und eine FGWLS-basierte Extraktionsoperation an den erzeugten multiskalaren Bildern durch Durchführen einer Extraktionsoperation auf Multiskalenbasis iterativ durchgeführt wird. Gemäß einer beispielhaften Ausführungsform wird nachstehend genau erläutert, wie der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 ein Bildsignal zur Verbesserung eines Kontrasts verarbeitet.
3 ist ein Flussdiagramm, das einen Betrieb eines Verbesserungsmoduls 100 von 2 darstellt. Die Durchführung von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) kann bedeuten, dass die FGWLS-basierte Extraktion oder die Berechnung eines spezifischen Bildes einmalig oder während eines Zyklus durchgeführt wird. In diesem Fall kann eine Helligkeitsabbildungs-Extraktionsoperation auf Multiskalenbasis gemäß einer beispielhaften Ausführungsform durchgeführt werden, indem die FGWLS auf multiskalaren Bildern iterativ durchgeführt werden. Die Durchführung der FGWLS kann z. B. die Durchführung der FGWLS-basierten Extraktionsoperation an einem spezifischen Bild oder einem von multiskalaren Bildern beinhalten, und die Durchführung der Helligkeitsabbildungs-Extraktionsoperation auf Multiskalenbasis kann die iterative Durchführung der FGWLS-basierten Extraktionsoperation an einer Mehrzahl von Bildern beinhalten. Jedoch sind die Ausführungsformen nicht darauf beschränkt.
Bezugnehmend auf 2 und 3 kann in Verfahrensschritt S110 das Verbesserungsmodul 100 ein Eingabebild IMG_in empfangen. Ein Bild, das in das Verbesserungsmodul 100 des Bildsignalprozessors 12 eingegeben wird, wird als das Eingabebild IMG_in bezeichnet. Das Eingabebild IMG_in kann in der beispielhaften Ausführungsfonn von 2 ein Bild sein, das von dem Korrekturmodul 12d ausgegeben wird. Das Eingabebild IMG_in kann ein Bild sein, das von einem vor dem Verbesserungsmodul 100 angeordneten Modul ausgegeben wird. Das Eingabebild IMG_in kann ein Bild sein, z. B. ein farbverbessertes Bild oder ein gamma-verbessertes Bild, das durch Verarbeitung des Eingabebildes IMG_in an dem Verbesserungsmodul 100 erzeugt wird. Das Eingabebild IMG_in kann z. B. ein Bild, das einer Bildsignalverarbeitung zur Kontrastverbesserung unterzogen worden ist, oder ein vorverarbeitetes Bild sein.
In Verfahrensschritt S120 kann das Verbesserungsmodul 100 die Extraktionsoperation auf Multiskalenbasis an dem Eingabebild IMG_in durchführen, um eine endgültige Helligkeitsabbildung LM_fin zu erzeugen. Das Verbesserungsmodul 100 kann z. B. multiskalare Bilder basierend auf dem Eingabebild IMG_in erzeugen. Die multiskalaren Bilder können eine Mehrzahl von Bildern beinhalten, wobei die Mehrzahl von Bildern unterschiedliche Auflösungen aufweisen kann. Das Verbesserungsmodul 100 kann ein erstes FGWLS an einem ersten Bild von der Mehrzahl von Bildern durchführen, die in den multiskalaren Bildern enthalten sind, und kann ein zweites FGWLS basierend auf einem Ergebnis des ersten FGWLS und einem zweiten Bild von der Mehrzahl von Bildern durchführen. Das heißt, dass das Verbesserungsmodul 100 die Extraktionsoperation auf Multiskalenbasis durch iteratives Durchführen des FGWLS bei gleichzeitigem Übertragen eines Ergebnisses eines aktuellen FGWLS auf ein nächstes FGWLS durchführen kann. Das Verbesserungsmodul 100 kann ein Ergebnis der Extraktionsoperation auf Multiskalenbasis, ein Ergebnis des iterativen Durchführens der FGWLSs, als die endgültige Helligkeitsabbildung LMfin ausgeben. Der Verfahrensschritt S120 wird unter Bezugnahme auf die nachstehende Beschreibung ausführlicher beschrieben.
In Verfahrensschritt S130 kann das Verbesserungsmodul 100 ein Graubild GR basierend auf dem Eingabebild IMG_in erzeugen. Das Verbesserungsmodul 100 kann z. B. das Graubild GR, das dem Eingabebild IMG_in zugeordnet ist, durch einen Graufilter erzeugen.
In Verfahrensschritt S140 kann das Verbesserungsmodul 100 eine Kontrastverbesserung basierend auf dem Graubild GR und der endgültigen Helligkeitsabbildung LM_fin durchführen und kann ein verbessertes Graubild GR_enh erzeugen.
In Verfahrensschritt S150 kann das Verbesserungsmodul 100 ein verbessertes Bild IMG_enh basierend auf dem verbesserten Graubild GR_enh und dem Eingabebild IMG_in ausgeben.
4 ist ein Blockdiagramm, das ein Verbesserungsmodul 100 von 2 darstellt. Ein Verfahrensschritt gemäß dem Flussdiagramm von 3, d. h. eine Bildsignalverarbeitung für eine Kontrastverbesserung, wird unter Bezugnahme auf 4 beschrieben. Bezugnehmend auf 2 bis 4 kann das Verbesserungsmodul 100 eine Helligkeitsabbildungs-Extrahierungseinheit 110, eine Graubild-Erzeugungseinheit 120, eine Verbesserungseinheit 130 und eine Farbwiederherstellungseinheit 140 beinhalten.
Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann die endgültige Helligkeitsabbildung LM_fin basierend auf dem Eingabebild IMG in erzeugen. Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann z. B. eine ursprüngliche Helligkeitsabbildung erzeugen, die dem Eingabebild IMG in zugeordnet ist. Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann ein multiskalares Bild basierend auf der ursprünglichen Helligkeitsabbildung erzeugen. Die multiskalaren Bilder können eine Mehrzahl von Bildern beinhalten, wobei die Mehrzahl von Bildern unterschiedliche Auflösungen aufweisen kann.
Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann ein erstes FGWLS an einem ersten Bild mit der kleinsten Auflösung aus der Mehrzahl von Bildern durchführen, die in dem multiskalaren Bild enthalten sind. Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann ein Ergebnis des ersten FGWLS heraufskalieren und ein zweites FGWLS auf dem heraufskalierten Ergebnis durchführen. In diesem Fall kann die Helligkeitsabbildungs-Extrahierungseinheit 110 als ein Orientierungsbild des zweiten FGWLS ein zweites Bild mit einer nächstkleinsten Auflösung aus der Mehrzahl von Bildern verwenden. In einer beispielhaften Ausführungsform kann das Orientierungsbild als ein Bild oder als Informationen zur Beibehaltung einer Schärfe verwendet werden, wenn das FGWLS durchgeführt wird.
Wie vorstehend beschrieben, kann die Helligkeitsabbildungs-Extrahierungseinheit 110 die endgültige Helligkeitsabbildung LM_fin als ein Ergebnis des iterativen Durchführens des FGWLS an der Mehrzahl von Bildern ausgeben. Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann die Extraktionsoperation auf Multiskalenbasis durchführen. Eine Konfiguration und eine Extraktionsoperation der Helligkeitsabbildungs-Extrahierungseinheit 110 auf Multiskalenbasis werden unter Bezugnahme auf 5 bis 9 ausführlicher beschrieben.
Die Graubild-Erzeugungseinheit 120 kann das dem Eingabebild IMG_in zugeordnete Graubild GR erzeugen. Die Graubild-Erzeugungseinheit 120 kann z. B. das dem Eingabebild IMG in zugeordnete Graubild GR durch Verwendung eines Graufilters erzeugen.
Die Verbesserungseinheit 130 kann ein verbessertes Graubild GR_enh basierend auf der endgültigen Helligkeitsabbildung LM_fin und dem Graubild GR erzeugen. Die Verbesserungseinheit 130 kann z. B. einen Reflexionsgrades basierend auf dem Graubild GR und der endgültigen Helligkeitsabbildung LM_fin extrahieren. Die Verbesserungseinheit 130 kann eine Berechnung zur Verbesserung eines globalen Kontrasts eines Bildes basierend auf der endgültigen Helligkeitsabbildung LM fin durchführen und kann eine Berechnung zur Verbesserung eines lokalen Kontrasts des Bildes basierend auf dem Reflexionsgrad durchführen. Die Verbesserungseinheit 130 kann das verbesserte Graubild GR_enh basierend auf einem Ergebnis der Berechnung ausgeben. Eine Konfiguration und ein Betrieb der Verbesserungseinheit 130 werden nachstehend unter Bezugnahme auf 10 eingehender beschrieben.
Die Farbwiederherstellungseinheit 140 kann ein verbessertes Bild IMG_enh durch Wiederherstellen einer Farbe des verbesserten Graubildes GR enh basierend auf dem verbesserten Graubild GR_enh, dem Eingabebild IMG in und dem Graubild GR ausgeben. Eine Konfiguration und ein Betrieb der Farbwiederherstellungseinheit 140 werden unter Bezugnahme auf 11 eingehender beschrieben.
Wie vorstehend beschrieben kann der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 des Bildsignalprozessors 12 gemäß einer beispielhaften Ausführungsform eine Helligkeitsabbildung oder eine endgültige Helligkeitsabbildung des Eingabebildes IMG In basierend auf der Extraktionsoperation auf Multiskalenbasis extrahieren. In diesem Fall kann die endgültige Helligkeitsabbildung LM fin mit einem beabsichtigten Glättungswert extrahiert werden, selbst wenn ein in dem FGWLS verwendeter Glättungswert abnimmt, weil der FGWLS an jedem der multiskalaren Bilder, die aus einem Eingabebild erzeugt werden, durchgeführt wird, und ein Ergebnis eines aktuellen FGWLS als eine Eingabe eines nächsten FGWLS übertragen wird. Zudem kann aufgrund dessen, dass ein Glättungswert des FGWLS relativ niedrig ist, ein blockierender Bildfehler verhindert werden, der in einem herkömmlichen FGWLS, einem FGWLS für ein einzelnes Bild, entsteht. Dementsprechend kann eine Qualität eines endgültig ausgegebenen Bildes verbessert werden.
5 ist ein Flussdiagramm, das einen Betrieb einer Helligkeitsabbildungs-Extrahierungseinheit von 3 darstellt. 6 ist ein Blockdiagramm, das eine Helligkeitsabbildungs-Extrahierungseinheit von 4 darstellt. Bezugnehmend auf 4 bis 6 kann in Verfahrensschritt S121 die Helligkeitsabbildungs-Extrahierungseinheit 110 eine ursprüngliche Helligkeitsabbildung LM_int basierend auf dem Eingabebild IMG_in erzeugen. Wie z. B. in 6 dargestellt, kann ein ursprünglicher Helligkeitsabbildungsgenerator 111 der Helligkeitsabbildungs-Extrahierungseinheit 110 die ursprüngliche Helligkeitsabbildung LM int der ursprünglichen Helligkeitsabbildung LM int basierend auf der Gleichung 4 unten erzeugen. $\hat{L} (x, y) = max [r (x, y), g (x, y), b (x, y)]$
Bezugnehmend auf 4 zeigt L die ursprüngliche Helligkeitsabbildung LM_int an, und r, g und b zeigen Werte von roten, grünen und blauen Pixeln an, die an Koordinaten von (x,y) in dem Eingabebild IMG_in angeordnet sind. In einer beispielhaften Ausführungsform wird angenommen, dass Gleichung 4 oben einen Wert eines Farbtons-, Sättigungs- und Werte- (HSV-) Farbraum anzeigt, wobei die Helligkeit größer oder gleich einem maximalen Wert von roten, grünen und blauen Werten ist. In einer beispielhaften Ausführungsform kann die ursprüngliche Helligkeitsabbildung LM_int basierend auf zumindest einem der Schemata erzeugt werden, die sich von einem Schema von Gleichung 4 unterscheiden, z. B. verschiedene Helligkeitsabbildungs-Extraktionsschemata, wie z. B. ein Tiefpassfilter, ein Bilateralfilter, ein Gauß-Filter und ein WLS.
In Verfahrensschritt S122 kann die Helligkeitsabbildungs-Extrahierungseinheit 110 multiskalare Bilder img_ms basierend auf der ursprünglichen Helligkeitsabbildung LM int erzeugen. Wie in 6 dargestellt, kann z. B. der multiskalare Bildgenerator 112 die multiskalaren Bilder img_ms basierend auf der ursprünglichen Helligkeitsabbildung LM_int erzeugen. Die multiskalaren Bilder img_ms können eine Mehrzahl von Bildern img_0 bis img_l beinhalten.
Die Mehrzahl von Bildern img_0 bis img_l kann unterschiedliche Auflösungen aufweisen. Das 0. Bild img_0 kann beispielsweise des gleiche Bild wie die ursprüngliche Helligkeitsabbildung LM_int sein. Eine Auflösung des 0. Bildes img_0 kann mit einer Auflösung der ursprünglichen Helligkeitsabbildung LM_int oder einer Auflösung des Eingabebildes IMG_in identisch sein. Das erste Bild img_1 kann ein Bild sein, das durch n-maliges (wobei n eine positive Ganzzahl größer 1 oder eine positive reelle Zahl größer 1 ist) Herunterskalieren oder Heraufskalieren des 0. Bildes img_0 erhalten wird. Das erste Bild img_1 kann geringere Abmessungen aufweisen als das 0. Bild img_0. Eine Auflösung des ersten Bildes img_1 kann niedriger sein als eine Auflösung des 0. Bildes img_0. Das l. Bild img / kann ein Bild sein, das durch n¹-maliges Herunterskalieren oder Downsampling bzw. Heruntertaktung des 0. Bildes img_0 erhalten wird. In einer beispielhaften Ausführungsform kann das l. Bild img_l der multiskalaren Bilder img_ms ein Bild mit der geringsten Auflösung oder den kleinsten Abmessungen sein. Der multiskalare Bildgenerator 112 kann das multiskalare Bild img ms durch n-maliges iteratives Herunterskalieren der ursprünglichen Helligkeitsabbildung LM_int erzeugen.
In Verfahrensschritt S123 kann die Helligkeitsabbildungs-Extrahierungseinheit 110 das FGWLS basierend auf den multiskalaren Bildern img_ms iterativ durchführen. Die Helligkeitsabbildungs-Extrahierungseinheit 110 kann die Helligkeitsabbildung-Extraktionsoperation auf Multiskalen-Basis durchführen. Wie in 6 dargestellt, kann z. B. ein Multiskalenextraktor 113 das FGWLS an der Mehrzahl von Bildern img_0 bis img_1, die in dem Multiskalenbild img_ms enthalten sind, iterativ durchführen. Der Verfahrensschritt S123 wird unter Bezugnahme auf 7 bis 8B ausführlicher beschrieben.
In Verfahrensschritt S124 kann die Helligkeitsabbildungs-Extrahierungseinheit 110 die endgültige Helligkeitsabbildung LM fin als ein Ergebnis des iterativen Durchführens des FGWLS, einem Ergebnis der Helligkeitsabbildungs-Extraktionsoperation auf Multiskalen-Basis, ausgeben.
Ein herkömmliches FGWLS kann eine endgültige Helligkeitsabbildung durch Verarbeitung eines einzelnen Bildes mit einer einzigen Auflösung erzeugen. In diesem Fall kann ein blockierender Bildfehler in einer endgültigen Helligkeitsabbildung entstehen, wenn ein Glättungswert zur Berechnung einen spezifischen Wert überschreitet oder wenn Abmessungen eines einzelnen Bildes groß sind.
Demgegenüber können, wie oben beschrieben, der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 gemäß einer beispielhaften Ausführungsform die endgültige Helligkeitsabbildung LM fin erzeugen, indem das FGWLS an einer Mehrzahl von unterschiedliche Auflösungen aufweisenden Bildern, den multiskalaren Bildern img_ms, iterativ durchgeführt wird. In diesem Fall kann das Verbesserungsmodul 100 die Entstehung eines blockierenden Bildfehlers in der endgültigen Helligkeitsabbildung LM_fin durch Verwendung eines relativ geringen Glättungswertes verhindern. Darüber hinaus kann, selbst bei Verwendung eines relativ geringen Glättungswerts, eine gewünschte Glättungsintensität von der endgültigen Helligkeitsabbildung LM_fin erhalten werden, da ein Ergebnis der Durchführung des FGWLS an einem Bild mit einer niedrigen Auflösung als eine Eingabe von einem nächsten FGWLS verwendet wird.
7 ist ein Flussdiagramm, das einen Verfahrensschritt S123 von 5 darstellt. Bezugnehmend auf 5 bis 7 kann ein Verfahrensschritt S123 Verfahrensschritt S123a bis Verfahrensschritt S123g beinhalten.
In Verfahrensschritt S123a wird eine Variable i auf l gesetzt. In einer beispielhaften Ausführungsform dient die Variable i nur zur Erläuterung einer iterativen Operation des multiskalaren FGWLS, wobei Ausführungsformen nicht darauf beschränkt sind. Hier kann / ein Bezugszeichen sein, das einem Bild mit der kleinsten Auflösung aus der Mehrzahl von Bildern img_0 bis img_l entspricht, die in dem multiskalaren Bild img_ms enthalten sind. In einer beispielhaften Ausführungsform kann / eine Ganzzahl größer 2 sein. Zum Beispiel kann l „3“ sein.
In Verfahrensschritt S123b kann der multiskalare Extraktor 113 ein i. FGWLS basierend auf einem i. multiskalaren Bild durchführen. Der Multiskalenextraktor 113 kann ein l. Bild img / mit der kleinsten Auflösung aus der Mehrzahl von Bildern img_0 bis img_l, die in dem multiskalaren Bild img_ms enthalten sind, verarbeiten. In einer beispielhaften Ausführungsform kann in einer l. FGWLS-Operation das l. Bild img_l als ein Orientierungsbild verwendet werden. In einer ersten FGWLS-Operation kann in einer i. FGWLS-Operation das l. Bild img_l als ein Eingabebild und als ein Orientierungsbild verwendet werden.
In einem Verfahrensschritt S123c kann der Multiskalenextraktor 113 ein Ergebnis eines Verfahrensschritts 123b, ein Ergebnis des i. FGWLS, heraufskalieren oder vergrößern. In diesem Fall kann der Multiskalenextraktor 113 das Ergebnis von Verfahrensschritt 123b, das Ergebnis des i. FGWLS, n-mal vergrößern. In einer beispielhaften Ausführungsform kann n einem Reduktionsverhältnis entsprechen, das zum Erzeugen der multiskalaren Bilder img_ms verwendet wird.
In Verfahrensschritt 123d wird die Variable i auf i-1 gesetzt.
In Verfahrensschritt S123e kann der Multiskalenextraktor 113 das i. FGWLS basierend auf dem heraufskalierten Ergebnis, einem Ergebnis des Verfahrensschritts S123c, und einem i. multiskalaren Bild img_i durchführen. Der Multiskalenextraktor 113 kann z. B. das i. FGWLS durch Verwendung des heraufskalierten Ergebnisses, einem Ergebnis von Verfahrensschritt S123c, als eine Eingabe und des i. multiskalaren Bildes img i als ein Orientierungsbild durchführen.
In Verfahrensschritt S123f wird bestimmt, ob die Variable i 0 ist. Wenn bestimmt wird, dass die Variable i nicht 0 ist, führt der Multiskalenextraktor 113 erneut den Verfahrensschritt 123c durch. Das heißt, dass der Multiskalenextraktor 113 die FGWLS-Operation an einem Bild mit einer nächsten Auflösung, einer Auflösung, die niedriger ist als eine Auflösung eines (l-1). Bildes img_l-1, durchführen kann. In anderen Worten kann ein Ergebnis des FGWLS, das einer aktuellen Auflösung zugeordnet ist, als eine Eingabe des FGWLS übertragen oder verwendet werden, die einer nächsten Auflösung zugeordnet ist, bei der es sich um eine niedrigere Auflösung handelt.
Wenn bestimmt wird, dass die Variable 0 ist, kann in Verfahrensschritt S123g der Multiskalenextraktor 113 die endgültige Helligkeitsabbildung LM_fin als ein Ergebnis des iterativen Durchführens des FGWLS ausgeben.
Wie vorstehend beschrieben, kann die Helligkeitsabbildungs-Extrahierungseinheit 110 gemäß einer beispielhaften Ausführungsform die endgültige Helligkeitsabbildung LM fin durch Durchführen der FGWLS-Operation an jedem der unterschiedliche Auflösungen aufweisenden multiskalaren Bilder extrahieren.
In einer beispielhaften Ausführungsform können die gewichteten, kleinsten Quadrate (WLS), basierend auf der Gleichung 5 unten, an einem spezifischen Bild durchgeführt werden. $J (L) = \sum_{p} {({\hat{L}}_{p} - L_{p})}^{2} + λ_{a} (\sum_{q \in N (p)} w_{p, q} (G) {(L_{p} - L_{q})}^{2})$
Bezugnehmend auf Gleichung 5 oben zeigt p= (x,y) eine Position eines Pixels eines spezifischen Bildes an, wobei (p) Pixel benachbart zu einem p Pixel anzeigt. W_p,q(G) ist eine Funktion zur Berechnung einer Ähnlichkeitsgewichtung zwischen zwei Pixeln p und q von einem Orientierungsbild. λ_a ist eine Gewichtung, die auf eine Pixelähnlichkeitsbedingung L_p angewendet werden soll. Wie vorstehend beschrieben, kann das schnelle, globale, gewichtete kleinste Quadrat (FGWLS) eine Möglichkeit zur Berechnung anzeigen, indem eine auf Gleichung 5 oben basierende optimale Lösung des WLS vereinfacht wird, wobei es ein spezifisches Bild durch iteratives Durchführen einer Berechnung auf der Laplace'sehen Streumatrix in Einheiten von einer Zeile und in Einheiten von einer Spalte glätten kann. Die multiskalare FGWLS-Operation gemäß dem Flussdiagramm von 7 des Erfindungsgedankens kann basierend auf der Gleichung 6 unten durchgeführt werden. $L^{i} (x, y) = {\begin{array}{l} FGWLS (↑_{n} (L^{i + 1} (x, y)), G^{i} (x, y), λ^{i}, T^{i}) & i = 0, \dots, l - 1 \\ FGWLS ({\hat{L}}^{i} (x, y), G^{i} (x, y), λ^{i}, T^{i}) & i = l \end{array}$
Bezugnehmend auf Gleichung 6 oben zeigt das FGWLS eine Operationsfunktion zur Vereinfachung und Berechnung einer optimalen Lösung des WLS an, die auf Gleichung 5 oben basiert, wobei ↑_n eine Funktion zum n-maligen Heraufskalieren oder Vergrößern eines Eingabebildes anzeigt, Lⁱ ein Ergebnis eines i. FGWLS anzeigt, Gⁱ ein Orientierungsbild anzeigt, das in dem i. FGWLS verwendet wird, λⁱ einen Glättungswert anzeigt, der in dem i. FGWLS verwendet wird, und Tⁱ die Häufigkeit anzeigt, mit der eine Berechnung für jede Zeile und jede Spalte, die in dem i. FGWLS verwendet werden, wiederholt wird. Die restlichen Bezugszeichen sind vorstehend beschrieben.
Ein Orientierungsbild von Gⁱ kann einem von einer Mehrzahl von Bildern entsprechen, die in dem multiskalaren Bild img_ms enthalten sind. Das heißt, dass ein 0. Orientierungsbild von G⁰ dem 0. Bild img_0 oder der ursprünglichen Helligkeitsabbildung LM_int entsprechen kann. Ein erstes Orientierungsbild von G¹ kann dem ersten Bild img_1 entsprechen, das durch n-maliges Herunterskalieren des 0. Bildes img_0 erhalten wird. Das heißt, dass ein i. Orientierungsbild von Gⁱ und ein Eingabebild von $\hat{L^{l}}$
durch nⁱ-maliges Herunterskalieren oder Reduzieren der ursprünglichen Helligkeitsabbildung LM_int (d. h. $\hat{L^{0}}$
oder des 0. Bildes img_0 bestimmt werden kann.
Wie in 7 dargestellt, kann die multiskalare FGWLS-Operation von dem l. Bild img_l mit der niedrigsten Auflösung bis zu dem 0. Bild img_0 mit der höchsten Auflösung nacheinander durchgeführt werden. Ein Ergebnis eines aktuellen FGWLS kann als eine Eingabe eines nächsten FGWLS verwendet oder übertragen werden. Dementsprechend kann, selbst bei Verwendung eines relativ geringen Glättungswerts von λⁱ, ein gewünschtes Ergebnis von der endgültigen Helligkeitsabbildung LM_fin erhalten werden. Zudem kann die Entstehung eines blockierenden Bildfehlers in der endgültigen Helligkeitsabbildung LM_fin verhindert werden, weil ein Glättungswert von λⁱ verwendet wird, der relativ gering ist. Zudem kann sich ein Vorteil in Bezug auf eine Dynamikkompression (DRC) und eine Farbtonwiedergabe ergeben, weil die Verarbeitungsergebnisse von Bildern verschiedener Auflösungen kombiniert werden.
In einer beispielhaften Ausführungsform kann es zur Durchführung der Extraktionsoperation auf Multiskalenbasis gemäß einer beispielhaften Ausführungsform notwendig sein, w_p,q zu definieren, wobei es sich um eine Funktion zum Berechnen einer Ähnlichkeitsgewichtung zwischen zwei Pixeln handelt. In der Extraktionsoperation auf Multiskalenbasis gemäß einer beispielhaften Ausführungsform kann w_p,q basierend auf einem Gradienten eines Orientierungsbildes definiert sein, wie nachstehend durch Gleichung 7 ausgedrückt wird. $w_{p, q} (G) = {({| G_{p} - G_{q} |}^{α} + β)}^{- 1}$
Bezugnehmend auf Gleichung 7 oben, sind α und β Variablen zur Anpassung einer Größenordnung einer Ähnlichkeit gemäß einem Gradienten eines Orientierungsbildes. Die übrigen Bezugszeichen sind vorstehend beschrieben. In einer beispielhaften Ausführungsform können α und β jeweils auf 1,32 und 0,001 gesetzt sein. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Zum Beispiel können α und β experimentell bestimmte Variablen sein, und können abhängig von einer Möglichkeit zur Implementierung eines Bildsignalprozessors und einer Bildqualität auf verschiedene Werte gesetzt werden.
8A und 8B sind Blockdiagramme, die ein multiskalares FGWLS von 6 darstellen. Bezugnehmend auf 6 und 8A, kann der Multiskalenextraktor 113 eine Mehrzahl von FGWLS-Maschinen FGWLS_0 bis FGWLS_l, eine Mehrzahl von Heraufskalierungsmaschinen SU_1 bis SU_l und eine Mehrzahl von Variablenmaschinen VAR_0 bis VAR_l beinhalten.
Die l. FGWLS-Maschine FGWLS_1 aus der Mehrzahl von FGWLS-Maschinen FGWLS_0 bis FGWLS_l kann das l. Bild img_l, z. B. ein Bild mit der niedrigsten Auflösung von den multiskalaren Bilder img_ms, als eine Eingabe INPUT und ein Orientierungsbild GUID empfangen und kann entsprechende Variablen von der l. Vaschine VAR_1 empfangen. Die l. FGWLS-Maschine FGWLS_l kann die FGWLS-Operation basierend auf Gleichung 6 oben durchführen. In diesem Fall können $\hat{L^{l}}$
und Gⁱ jeweils das l. Bild img_1 sein, und λⁱ und Tⁱ können durch die l. Variablenmaschine VAR_l gesetzt werden, weil die Variable i / ist. Ein Ergebnis, eine Ausgabe OUT, der l. FGWLS-Maschine FGWLS_l wird der l. Heraufskalierungsmaschine SU_l bereitgestellt.
Die l. Heraufskalierungsmaschine SU_l kann die Ausgabe OUT der l. FGWLS-Maschine FGWLS_l n-mal vergrößern oder heraufskalieren. In diesem Fall kann n einem Reduktionsverhältnis der multiskalaren Bilder img_ms entsprechen. Eine Ausgabe, das heraufskalierte Ergebnis, der l. Heraufskalierungsmaschine SU_l wird der (l-1). FGWLS-Maschine FGWLS_l-1 bereitgestellt.
Die (l-1). FGWLS-Maschine FGWLS_l-1 kann die Ausgabe, das heraufskalierte Ergebnis, der l. Heraufskalierungsmaschine SU_l als eine Eingabe INPUT empfangen und kann das (l-1). Bild img_l-1 der multiskalaren Bilder img ms als das Orientierungsbild GUID empfangen. In diesem Fall kann eine Auflösung der Ausgabe, das heraufskalierte Ergebnis, der l. Heraufskalierungsmaschine SU_l mit einer Auflösung des (l-1). Bildes img_l-1 identisch sein. Die (l-1). FGWLS-Maschine FGWLS_l-1 kann entsprechende Variablen von der (l-1). Variablenmaschine VAR_l-1 empfangen.
Die (l-1). FGWLS-Maschine FGWLS_l-1 kann die FGWLS-Operation basierend auf Gleichung 6 oben durchführen. In diesem Fall kann Lⁱ⁺¹ eine Ausgabe OUT der l. FGWLS-Maschine FGWLS_l sein, weil die Variable i l-1 ist. Das heißt, dass ↑_n(Lⁱ⁺¹) eine Ausgabe der l. Heraufskalierungsmaschine SU_l sein kann. Gⁱ kann das (l-1). Bild img_l-1 sein, und λⁱ und Tⁱ können durch die (l-1). Variablenmaschine VAR_l gesetzt werden. Somit wird eine Ausgabe OUT der (l-1). FGWLS-Maschine FGWLS_l-1 der (l-1). Heraufskalierungsmaschine SU_l-1 bereitgestellt.
Die (l-1). Heraufskalierungsmaschine SU_l-1 kann die Ausgabe OUT der (l-1). FGWLS-Maschine FGWLS_l-1 n-mal vergrößern oder heraufskalieren, wobei das heraufskalierte Ergebnis einer nächsten FGWLS-Maschine (z. B. der (l-2). FGWLS-Maschine) bereitgestellt werden kann.
Jede von der Mehrzahl von FGWLS-Maschinen FGWLS_0 bis FGWLS_l kann die vorstehende FGWLS-Operation durchführen, wobei jede von der Mehrzahl von Heraufskalierungsmaschinen SU_0 bis SU_l die vorstehende Heraufskalierungsoperation durchführen kann. Die 0. FGWLS-Maschine FGWLS 0 von der Mehrzahl der FGWLS-Maschinen FGWLS_0 bis FGWLS_l kann ein heraufskaliertes Ergebnis von der ersten Heraufskalierungsmaschine SU_1 als die Eingabe INPUT empfangen, kann das 0. Bild img 0 der multiskalaren Bilder img_ms als das Orientierungsbild GUID empfangen und kann Variableninformationen von der 0. Variablenmaschine VAR_0 empfangen. Wie der vorstehenden Beschreibung zu entnehmen ist, kann die 0. FGWLS-Maschine FGWLS_0 die FGWLS-Operation basierend auf Gleichung 6 oben durchführen, wobei ein Ergebnis der 0. FGWLS-Maschine FGWLS_0 als die endgültige Helligkeitsabbildung LM_fin ausgegeben werden kann.
Bezugnehmend auf 6 und 8B, kann der Multiskalenextraktor 113 eine FGWLS-Maschine FGWLS, eine Variablenmaschine VAR und eine Heraufskalierungsmaschine SU beinhalten. Die FGWLS-Maschine FGWLS kann die Extraktionsoperation auf Multiskalenbasis basierend auf Gleichung 6 oben durchführen. Wie der vorstehenden Beschreibung zu entnehmen ist, kann die FGWLS-Maschine FGWLS z. B. das l. Bild img_l als die Eingabe INPUT empfangen, kann ein entsprechendes Bild, das l. Bild img_l, von den multiskalaren Bildern img_ms als das Orientierungsbild GUID empfangen und kann eine entsprechende Variable von der Variablenmaschine VAR empfangen. Die FGWLS-Maschine FGWLS kann die auf Gleichung 6 oben basierende FGWLS-Operation durchführen, indem Teile der empfangenen Informationen verwendet werden. Ein Ergebnis der FGWLS-Maschine FGWLS kann der Heraufskalierungsmaschine SU bereitgestellt werden, wobei die Heraufskalierungsmaschine SU das Eingabeergebnis heraufskalieren kann und das heraufskalierte Ergebnis als die Eingabe INPUT von der FGWLS-Maschine FGWLS bereitstellen kann.
Anschließend kann die FGWLS-Maschine FGWLS die FGWLS-Operation an dem heraufskalierten Ergebnis und dem multiskalaren Bild img ms basierend auf Gleichung 6 oben durchführen. Ein Ergebnis zur Durchführung der FGWLS-Operation an dem 0. Bild img_0 mit der höchsten Auflösung aus den multiskalaren Bildern img_ms kann als die endgültige Helligkeitsabbildung LM fin ausgegeben werden.
Wie vorstehend unter Bezugnahme auf 8A beschrieben, kann der Multiskalenextraktor 113 gemäß einer beispielhaften Ausführungsform eine Pipelinestruktur aufweisen, in der eine Mehrzahl von FGWLS-Operationen nacheinander durchgeführt wird. Wie vorstehend unter Bezugnahme auf 8b beschrieben, kann der Multiskalenextraktor 113 gemäß einer beispielhaften Ausführungsform eine Feedback-Struktur aufweisen, in der ein Ergebnis der FGWLS-Operation als eine Eingabe rückgemeldet wird. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Das multiskalare FGWLS gemäß einer beispielhaften Ausführungsform kann z. B. unterschiedlich verändert oder modifiziert werden.
Wie vorstehend beschrieben, kann ein Helligkeitsabbildungs-Extraktionsschema, im Vergleich zu einem einer einzigen Auflösung zugeordneten, herkömmlichen FGWLS-Schema, unter Verwendung des multiskalaren FGWLS gemäß einer beispielhaften Ausführungsform einen blockierenden Bildfehler verhindern. Weil zudem das FGWLS durch eine Mehrzahl von Schritten durchgeführt wird und ein aktuelles FGWLS auf eine nächste FGWLS-Eingabe übertragen wird, kann sich ein Vorteil in Bezug auf eine Dynamikkompression (DRC) und eine Farbtonwiedergabe ergeben.
9 ist ein Diagramm zur Beschreibung eines beispielhaften Effekts gemäß eines Betriebs einer Helligkeitsabbildungs-Extrahierungseinheit von 6 bis 8B. Bezugnehmend auf 9 können eine erste Helligkeitsabbildung LM_a, eine zweite Helligkeitsabbildung LM_b und eine dritte Helligkeitsabbildung LM_c Helligkeitsabbildungen sein, die durch ein herkömmliches FGWLS für ein einziges Bild extrahiert worden sind, wobei die endgültige Helligkeitsabbildung LM_fin eine Helligkeitsabbildung sein kann, die durch die Helligkeitsabbildungs-Extrahierungseinheit 110 gemäß einer beispielhaften Ausführungsform extrahiert worden ist.
Die erste Helligkeitsabbildung LM_a kann eine Helligkeitsabbildung sein, die durch das herkömmliche FGWLS extrahiert wird, in dem ein Glättungswert λ auf a gesetzt ist, und die zweite Helligkeitsabbildung LM_b kann eine Helligkeitsabbildung sein, die durch das herkömmliche FGWLS extrahiert wird, in dem der Glättungswert λ auf b gesetzt ist (wobei b größer a ist), und die dritte Helligkeitsabbildung LM_c kann eine Helligkeitsabbildung sein, die durch das herkömmliche FGWLS extrahiert wird, in dem der Glättungswert λ auf c gesetzt ist (wobei c größer b ist). Wie in 9 dargestellt, kann gemäß dem herkömmlichen FGWLS mit einem Anstieg des Glättungswerts λ eine Glättungsintensität in einer Helligkeitsabbildung zunehmen. Wie die erste Helligkeitsabbildung LM_a kann jedoch in dem Fall, in dem der Glättungswert λ relativ gering ist, eine gewünschte Glättungsintensität nicht als die extrahierte Helligkeitsabbildung auftreten. Zudem kann, wie bei der dritten Helligkeitsabbildung LM_c in dem Fall, wo der Glättungswert λ relativ hoch ist, in einem spezifischen Bereich ein blockierender Bildfehler auftreten.
Demgegenüber kann eine gewünschte Glättungsintensität an der endgültigen Helligkeitsabbildung LM_fin, die durch die Extraktionsoperation auf Multiskalenbasis gemäß einer beispielhaften Ausführungsform extrahiert wird, selbst dann auftreten, wenn der Glättungswert λ_i von einem jeweiligen FGWLS auf d gesetzt ist (zum Beispiel d=a), wobei d ein relativ geringer Wert ist. Zudem kann die Entstehung eines blockierenden Bildfehlers in der endgültigen Helligkeitsabbildung LM_fin verhindert werden, weil der Glättungswert λ_i relativ gering ist.
10 ist ein Blockdiagramm, das eine Verbesserungseinheit von 4 darstellt. Bezugnehmend auf 4 und 10 kann die Verbesserungseinheit 130 eine Signalverarbeitung basierend auf dem Graubild GR und der endgültigen Helligkeitsabbildung LM fin durchführen und kann das verbesserte Graubild GR_enh erzeugen. Die Verbesserungseinheit 130 kann z.B. einen Reflexionsgradextraktor 131, eine Helligkeitsverbesserungseinrichtung 132, eine Reflexionsgrad-Verbesserungseinrichtung 133 und einen Kombiniereinrichtung 134 beinhalten.
Der Reflexionsgradextraktor 131 kann einen Reflexionsgrad RFL von dem Graubild GR basierend auf der endgültigen Helligkeitsabbildung LM_fin extrahieren. Wie vorstehend unter Bezugnahme auf Gleichung 1 oben beschrieben, kann ein spezifisches Bild durch den Reflexionsgrad und die Helligkeit ausgedrückt werden. In dem Fall, wo Informationen, z. B. das Graubild, über das spezifische Bild, und Informationen, z. B. die endgültige Helligkeitsabbildung LM_fin, über die Helligkeit erhalten werden, kann der Reflexionsgrad RFL basierend auf Gleichung 1 oben extrahiert werden. Die endgültige Helligkeitsabbildung LM fin kann der Helligkeitsverbesserungseinrichtung 132 bereitgestellt werden, und der Reflexionsgrad RFL kann der Reflexionsgrad-Verbesserungseinrichtung 133 bereitgestellt werden.
Die Helligkeitsverbesserungseinrichtung 132 kann einen Kontrast der endgültigen Helligkeitsabbildung LM_fin verbessern. Die Helligkeitsverbesserungseinrichtung 132 kann z. B. den Kontrast der endgültigen Helligkeitsabbildung LM_fin basierend auf einer Gammafunktion verbessern. Die Gammafunktion kann durch Gleichung 8 unten ausgedrückt werden. $L^{e n h} = L^{γ}$
Bezugnehmend auf Gleichung 8 oben, kann L^enh die verbesserte Helligkeitsabbildung LM_enh anzeigen, die Informationen darstellt, die durch Verbessern der Helligkeit und des Kontrasts der endgültigen Helligkeitsabbildung LM_fin erhalten werden, wobei λ einen Gammawert anzeigen kann. Die Helligkeit eines dunklen Abschnitts der endgültigen Helligkeitsabbildung LM_fin kann abhängig von λ angepasst werden.
Die Helligkeitsverbesserungseinrichtung 132 kann den Kontrast der endgültigen Helligkeitsabbildung LM_fin basierend auf einer gefensterten Sigmoid-Umkehr- (WIS-) Funktion verbessern. Die WIS-Funktion kann eine Funktion sein, die zum Sichern eines dynamischen Bereichs eines Ergebniswertes verwendet wird, indem die Helligkeit eines dunklen Abschnitts der endgültigen Helligkeitsabbildung LM_fin verbessert wird und gleichzeitig die Helligkeit eines hellen Abschnitts der endgültigen Helligkeitsabbildung LM_fin reduziert wird. Die WIS-Funktion kann durch Gleichung 9 unten ausgedrückt werden. $\begin{array}{l} f (v) = \frac{1}{1 + e^{- a v}} \\ L_{n} = \frac{L}{255} \\ L_{n}^{'} = L_{n} [f (v_{m a x}) - f (v_{m i n})] + f (v_{m i n}) \\ L_{n}^{''} = \frac{1}{a} ln (\frac{1}{L_{n}^{'}} - 1) \\ L^{e n h} = 255 (\frac{L_{n}^{''} - v_{m i n}}{v_{m a x} - v_{m i n}}) \end{array}$
Bezugnehmend auf 9 oben kann f eine Sigmoidfunktion anzeigen, kann L die endgültige Helligkeitsabbildung LM_fin anzeigen, können v_max und v_min Variablen zur Festlegung einer Form der WIS sein. Das Helligkeitsinkrement des dunklen Abschnitts der verbesserten Helligkeitsabbildung LM_enh und das Helligkeitsdekrement des hellen Abschnitts der verbesserten Helligkeitsabbildung LM_enh können abhängig von v_max und v_min angepasst werden.
In einer beispielhaften Ausführungsform wird unter Bezugnahme auf Gleichung 8 oder Gleichung 9 oben beschrieben, wie die Helligkeitsverbesserungseinrichtung 132 einen Kontrast einer Helligkeitsabbildung verbessert, wobei aber Ausführungsformen nicht darauf beschränkt sind. Die Helligkeitsverbesserungseinrichtung 132 kann z. B. verschiedene Funktionsmodelle oder verschiedene Bildsignalverarbeitungstechniken für den Zweck der Verbesserung eines globalen Kontrasts eines Eingabebildes verwenden.
Die Reflexionsgrad-Verbesserungseinrichtung 133 kann den verbesserten Reflexionsgrad RFL_enh durch Verbessern eines Kontrasts, z. B. eines lokalen Kontrasts des Reflexionsgrads RFL, ausgeben. Die endgültige Helligkeitsabbildung LM_fin kann in der Hauptsache eine Niederfrequenzkomponente beinhalten und nur einen Abschnitt einer Hochfrequenzkomponente entsprechend dem Reflexionsgrad RFL beinhalten. In diesem Fall kann dann, wenn eine Berechnung für eine Kontrastverbesserung an der endgültigen Helligkeitsabbildung LM_fin durchgeführt wird, ein Wert der Hochfrequenzkomponente oder eine Reflexionsgradkomponente, die in der endgültigen Helligkeitsabbildung LM fin enthalten ist, durch eine nichtlineare Umwandlung verändert werden, wodurch die Gesamtdefinition eines Bildes gemindert wird. Zur Vermeidung dieser Problematik kann die Reflexionsgrad-Verbesserungseinrichtung 133 verhindern, dass die Definition eines endgültigen Bildes gemindert wird, indem ein lokaler Kontrast des Reflexionsgrades RFL verbessert wird. Die Reflexionsgrad-Verbesserungseinrichtung 133 kann z. B. den Kontrast des Reflexionsgrades RFL basierend auf Gleichung 10 unten verbessern. $\begin{array}{l} R = \frac{F (x, y)}{L (x, y)} \\ F (x, y) = \frac{1}{3} (r (x, y) + g (x, y) + b (x, y)) \\ R^{e n h} = R^{P} (x, y) = {(\frac{F (x, y)}{L (x, y)})}^{P} \end{array}$
Bezugnehmend auf Gleichung 10 oben, kann R den extrahierten Reflexionsgrad RFL anzeigen, kann F die endgültige Helligkeitsabbildung LM_fin anzeigen, kann R^enh den verbesserten Reflexionsgrad RFL enh anzeigen und kann P eine Variable zur Verbesserung eines lokalen Kontrasts sein. Hier wird davon ausgegangen, dass P eine Zahl größer 1 ist. In dem Fall, wo F(x,y), bei dem es sich um einen Wert eines mittleren Pixels handelt, größer ist als L(x,y), bei dem es sich um einen Mittelwert von Werten von umgebenden Pixeln handelt, kann R^enh größer werden als R, falls nicht, dann kann R^enh kleiner werden als R. Das heißt, dass ein lokaler Kontrast verbessert werden kann, indem der Wert des mittleren Pixels heller gemacht wird, wenn das mittlere Pixel relativ hell ist, und indem der Wert des mittleren Pixels dunkler gemacht wird, wenn das mittlere Pixel relativ dunkel ist. In einer beispielhaften Ausführungsform kann L in Gleichung 10 durch die verbesserte Helligkeitsabbildung LM_enh ersetzt werden.
Die Kombiniereinrichtung 134 kann das verbesserte Graubild GR_enh basierend auf der verbesserten Helligkeitsabbildung LM enh und dem verbesserten Reflexionsgrad RFL_enh ausgeben. Wie vorstehend unter Bezugnahme auf Gleichung 1 oben beschrieben, kann ein spezifisches Bild z. B. durch Informationen über die Helligkeit und Informationen über den Reflexionsgrad ausgedrückt werden. Das heißt, dass die Kombiniereinrichtung 134 das verbesserte Graubild GR_enh durch Kombinieren der verbesserten Helligkeitsabbildung LM enh und des verbesserten Reflexionsgrads RFL enh basierend auf Gleichung 1 oben erzeugen kann.
In einer beispielhaften Ausführungsform kann die Kombiniereinrichtung 134 so konfiguriert sein, dass sie ein Rauschen des verbesserten Graubildes GR_enh unterdrückt. In dem Fall, wo z. B. die Helligkeit oder der Kontrast eines dunklen Bereichs in einem Bild verbessert wird, kann ein in dem dunklen Bereich vorhandenes Rauschen insgesamt verstärkt werden. Zur Unterdrückung des vorstehenden Rauschens kann die Kombiniereinrichtung 134 die verbesserte Helligkeitsabbildung LM_enh und den verbesserten Reflexionsgrad RFL_enh basierend auf Gleichung 11 unten kombinieren. $F^{e n h} = (R^{e n h} (x, y) \times L_{n}^{e n h} (x, y)) + (R_{d} (x, y) \times (1 - L_{n}^{e n h} (x, y)))$
Bezugnehmend auf Gleichung 11 oben, kann R^enh den verbesserten Reflexionsgrad RFL_enh anzeigen, und L_n ^enh kann ein Ergebnis einer Normalisierung von L^enh, bei dem es sich um den verbesserten Reflexionsgrad RFL_enh handelt, mit einem Wert von [0,1] sein. R_d kann ein Ergebnis zur Glättung von R^enh durch das FGWLS anzeigen. In einer beispielhaften Ausführungsform kann das FGWLS, das an R^enh durchgeführt wird, basierend auf dem multiskalaren FGWLS durchgeführt werden, das unter Bezugnahme auf 6 bis 9 beschrieben ist. Das FGWLS, das an dem R^enh durchgeführt wird, kann basierend auf einem herkömmlichen FGWLS durchgeführt werden.
Wie durch Gleichung 11 ausgedrückt, wird die Suppression oder Unterdrückung eines Rauschens in einem dunklen Bereich abhängig von einer linearen Kombination von R_d und R^enh unter Bezugnahme auf L_n ^enh durchgeführt. Der Grund dafür ist, dass eine Größenordnung eines Rauschens im Gesamtbereich eines Bildes nicht einheitlich ist und abhängig von einem Helligkeitswert adaptiv verarbeitet wird. Im Fall eines hellen Bereichs eines Bildes wird ein Pixelwert basierend auf R^enh bestimmt, und im Fall eines dunklen Bereichs des Bildes wird ein Pixelwert basierend auf Informationen bestimmt, die durch Glätten eines Rauschens von R_d erhalten werden. Wie vorstehend beschrieben, kann ein verbessertes Graubild GR_enh ausgegeben werden, in dem ein Rauschen, das in einem spezifischen Bereich, z. B. einem dunklen Bereich eines Bildes, verstärkt ist, durch Gleichung 11 oben unterdrückt wird.
11 ist ein Blockdiagramm, das eine Farbwiederherstellungseinheit von 4 darstellt. Bezugnehmend auf 11 kann die Farbwiederherstellungseinheit 140 das verbesserte Graubild GR_enh basierend auf dem Eingabebild IMG_in und dem verbesserten Graubild GR_enh erzeugen. Die Farbwiederherstellungseinheit 140 kann z. B. erste bis dritte Farbkanalmaschinen 141a bis 141c und eine verbesserte Bildgeneratormaschine 142 beinhalten.
Die erste Farbkanalmaschine 141a, die zweite Farbkanalmaschine 141b und die dritte Farbkanalmaschine 141c können jeweils verbesserte Farbinformationen r_eng, g_enh und b_enh basierend auf entsprechenden Farbinformationen r, g und b von dem Eingabebild IMG_in und entsprechende Informationen des verbesserten Graubildes GR_enh erzeugen. Die erste Farbkanalmaschine 141a, die zweite Farbkanalmaschine 141b und die dritte Farbkanalmaschine 141c können jeweils die verbesserten Farbinformationen r_eng, g_enh und b enh basierend auf Gleichung 12 unten erzeugen. $\begin{array}{l} r^{e n h} = \frac{F^{e n h}}{F} r \\ g^{e n h} = \frac{F^{e n h}}{F} g \\ b^{e n h} = \frac{F^{e n h}}{F} b \end{array}$
Bezugnehmend auf Gleichung 12 oben, zeigen r, g und b Farbinformationen an, die von dem Eingabebild IMG_in erhalten werden, zeigt F^enh Informationen entsprechend dem verbesserten Graubild GR enh an, zeigt F Informationen entsprechend dem durch den in 4 gezeigten Graubildgenerator 120 erzeugten Graubild GR, einem Bild vor einer Kontrastverbesserung an, und zeigen r^enh , g^enh und b^enh jeweils verbesserte Farbinformationen über rote, grüne und blaue Farben an.
Die verbesserte Bildgeneratormaschine 142 kann die basierend auf Gleichung 12 oben erzeugten, verbesserten Farbinformationen r_enh, g_enh und b_enh kombinieren und das verbesserte Bild IMG enh erzeugen.
Wie vorstehend beschrieben, kann gemäß einer beispielhaften Ausführungsform der Bildsignalprozessor 12 oder das Verbesserungsmodul 100 des Bildsignalprozessors 12 multiskalare Bilder erzeugen, die einem Eingabebild zugeordnet sind, und kann eine multiskalare FGWLS-Operation an den multiskalaren Bildern vornehmen. In diesem Fall kann ein in einem herkömmlichen FGWLS auftretender blockierender Bildfehler verhindert werden. Dementsprechend ist eine Verbesserung einer Bildqualität möglich. Und von daher wird der eine verbesserte Betriebssicherheit und eine verbesserte Leistungsfähigkeit aufweisende Bildsignalprozessor 12 bereitgestellt.
12A und 12B sind Diagramme zur Erläuterung eines beispielhaften Effekts gemäß einer beispielhaften Ausführungsform. Eine Helligkeitsabbildung und ein Ausgabebild, die durch Durchführen eines herkömmlichen FGWLS für ein einziges Bild an einem Eingabebild INPUT erhalten werden, werden unter Bezugnahme auf 12A beschrieben, und eine Helligkeitsabbildung und ein Ausgabebild, die durch Durchführen eines MSFGWLS, eines FGWLS für ein multiskalares Bild, gemäß einer beispielhaften Ausführungsform an einem Eingabebild INMPUT erhalten werden, werden unter Bezugnahme auf 12B erläutert.
Eine Helligkeitsabbildung LM_FGWLS, die durch Durchführen des herkömmlichen FGWLS an dem Eingabebild INPUT erhalten wird, ist in 12A dargestellt. Wie anhand der Helligkeitsabbildung LM_FGWLS von 12A zu verstehen ist, kann in einigen Bereichen ein blockierender Bildfehler auftreten. Demgegenüber ist eine Helligkeitsabbildung LM_MSFGWLS, die durch Durchführen des MSFGWLS gemäß einer beispielhaften Ausführungsform an dem Eingabebild INPUT erhalten wird, in 12B dargestellt, wobei die in der Helligkeitsabbildung LM_FGWLS von 12A auftretenden blockierenden Bildfehler reduziert werden können.
Unter Bezugnahme auf die Helligkeitsabbildung LM FGWLS, die der herkömmlichen FGWLS unterzogen worden ist, können z. B. blockierende Bildfehler in Bereichen des Eingabebildes INPUT auftreten, in dem z. B. rote Rosen angeordnet sind. Demgegenüber können unter Bezugnahme auf die Helligkeitsabbildung LM MSFGWLS, die dem MSFGWLS gemäß einer beispielhaften Ausführungsform ausgesetzt wird, blockierende Bildfehler nicht auftreten oder in denselben Bereichen reduziert werden.
Wie in 12A und 12B dargestellt ist, kann demzufolge ein Ausgabebild OUTPUT_MSFGWLS, das basierend auf der Helligkeitsabbildung LM_MSFGWLS erzeugt wird, die dem MSFGWLS gemäß einer beispielhaften Ausführungsform unterzogen worden ist, eine bessere Bildqualität aufweisen als das endgültige Bild OUPUT FGWLS, das basierend auf der Helligkeitsabbildung LM_FGWLS gemäß dem herkömmlichen FGWLS erzeugt wird.
13 ist ein Blockdiagramm, das einen Bildsensor gemäß einer beispielhaften Ausführungsform darstellt. Bezugnehmend auf 13 kann ein Bildsensor 1000 ein Pixelarray 1100, eine Peripherieschaltung 1200 und einen ein Verbesserungsmodul 1300 enthaltenden Prozessor beinhalten.
Das Pixelarray 1100 kann eine Mehrzahl von Pixeln beinhalten. Die Peripherieschaltung 1200 kann konfiguriert sein, um Informationen zu verarbeiten, die von der Mehrzahl von Pixeln des Pixelarrays 1100 erhalten werden. In einer beispielhaften Ausführungsform kann die Peripherieschaltung 1200 verschiedene Komponenten beinhalten, die zum Erzeugen von Bilddaten an dem Bildsensor 1000 notwendig sind, wie z. B. einen Zeilentreiber, einen Analog-Digital-Wandler (ADC), einen Speicher und einen Rampengenerator.
Das Verbesserungsmodul 1300, das in dem Prozessor enthalten ist, kann eine Bildsignalverarbeitung an Bilddaten durchführen, die durch die Peripherieschaltung 1200 erhalten werden, und kann das verbesserte Bild IMG enh ausgeben. Beispielhafte Ausführungsformen, in denen ein Bildsignalprozessor unabhängig von einem Bildsensor implementiert ist, sind beispielsweise oben beschrieben, jedoch sind Ausführungsformen nicht darauf beschränkt. Wie in 13 dargestellt, können z. B. alle oder zumindest ein Teil der Komponenten des Bildsignalprozessors in dem Bildsensor 1000 enthalten sein.
14 ist ein Blockdiagramm, das eine elektronische Vorrichtung gemäß einer beispielhaften Ausführungsform darstellt. Unter Bezugnahme auf 14 kann eine elektronische Vorrichtung 2000 einen Hauptprozessor 2100, eine Berührungstafel 2200, eine integrierte Berührungstreiberschaltung 2202, eine Anzeigetafel 2300, eine integrierte Anzeigetreiberschaltung 2302, einen Systemspeicher 2400, eine Speichervorrichtung 2500, einen Audioprozessor 2600, einen Kommunikationsblock 2700 und einen Bildprozessor 2800 beinhalten. In einer beispielhaften Ausführungsform kann die elektronische Vorrichtung 2000 eine von verschiedenen elektronischen Vorrichtungen sein, wie z. B. ein tragbares Kommunikationsendgerät, ein persönlicher digitaler Assistent (PDA), ein tragbares Medienabspielgerät (PMP), eine digitale Kamera, ein Smartphone, ein Tabletcomputer, ein Laptopcomputer und eine tragbare Vorrichtung.
Der Hauptprozessor 2100 kann betriebsübergreifende Operationen der elektronischen Vorrichtung 2000 steuern. Der Hauptprozessor 2100 kann Operationen der Komponenten der elektronischen Vorrichtung 2000 steuern/verwalten. Der Hauptprozessor 2100 kann verschiedene Operationen für den Zweck des Betreibens der elektronischen Vorrichtung 2000 verarbeiten.
Die Berührungstafel 2200 kann so konfiguriert sein, dass sie eine von einem Benutzer eingegebene Berührung unter der Steuerung der integrierten Berührungstreiberschaltung 2202 erfassen kann. Die Anzeigetafel 2300 kann konfiguriert sein, um Bildinformationen unter der Steuerung der integrierten Anzeigetreiberschaltung 2302 anzuzeigen.
Der Systemspeicher 2400 kann Daten speichern, die für eine Operation der elektronischen Vorrichtung 2000 verwendet werden. Der Systemspeicher 2400 kann z. B. einen flüchtigen Speicher, wie z. B. einen statischen Direktzugriffspeicher (SRAM), einen dynamischen RAM (DRAM) oder einen synchronen DRAM (SDRAM), und/oder einen nichtflüchtigen Speicher beinhalten, wie z. B. einen Phase-Change-RAM (PRAM), einen Magnetoresistive-RAM (MRAM), einen Resistive-RAM (ReRAM) oder einen ferroelektrischen RAM (FRAM).
Die Speichervorrichtung 2500 kann Daten ungeachtet dessen speichern, ob eine Leistung zugeführt wird. Die Speichervorrichtung 2500 kann z. B. zumindest einen von verschiedenen nichtflüchtigen Speichern, wie z. B. einen Flashmemory, einen PRAM, einen MRAM, einen ReRAM und einen FRAM, beinhalten. Die Speichervorrichtung 2500 kann z. B. einen eingebetteten Speicher und/oder einen entfernbaren Speicher der elektronischen Vorrichtung 2000 beinhalten.
Der Audioprozessor 2600 kann ein Audiosignal durch Verwendung eines Audiosignalprozessors 2610 verarbeiten. Der Audioprozessor 2600 kann eine Audioeingabe durch ein Mikrofon 2620 empfangen oder kann eine Audioausgabe durch einen Lautsprecher 2630 bereitstellen.
Der Kommunikationsblock 2700 kann Signale mit einer/m externen Vorrichtung/System durch eine Antenne 2710 austauschen. Ein Sendeempfänger 2720 und ein Modulator/Demodulator (MODEM) 2730 des Kommunikationsblocks 2700 können Signale, die mit der/m externen Vorrichtung/System ausgetauscht werden, basierend auf zumindest einem von verschiedenen drahtlosen Kommunikationsprotokollen verarbeiten: Long-Term-Evolution (LTE), Worldwide-Interoperability-for-Microwave-Access (WiMax), Global-System-for-Mobile-Comuniation (GSM), Code-Division-Multiple-Access (CDMA), Bluetooth, Near-Field-Communication (NFC), Wireless-Fidelity (Wi-Fi) und Radio-Frequency-Identification (RFID).
Der Bildprozessor 2800 kann ein Licht durch eine Linse 2810 empfangen. Eine Bildvorrichtung 2820 und ein Bildsignalprozessor 2830, die in dem Bildprozessor 2800 enthalten sind, können Bildinformationen über ein externes Objekt basierend auf einem empfangenen Licht erzeugen. In einer beispielhaften Ausführungsform kann der Bildsignalprozessor 2830 ein Verbesserungsmodul implementieren, das unter Bezugnahme auf 1 bis 13 beschrieben ist. Der Bildsignalprozessor 2830 kann z. B. konfiguriert sein, um eine den Bilddaten von der Bildvorrichtung 2820 zugeordnete Helligkeitsabbildungsabbildung durch die unter Bezugnahme auf 1 bis 13 beschriebene Extraktionsoperation auf Multiskalen-Basis zu extrahieren. In einer beispielhaften Ausführungsform kann der Bildsignalprozessor 2830 in dem Hauptprozessor 2100 enthalten sein, wobei der Bildsignalprozessor 2830 den Systemspeicher 2400 als einen Speicher für die Bildsignalverarbeitung verwenden kann.
Gemäß den beispielhaften Ausführungsformen kann ein Bildsignalprozessor eine Helligkeitsabbildung, die einem Eingabebild zugeordnet ist, durch iteratives Durchführen einer Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) an Bildern mit unterschiedlichen Auflösungen extrahieren, die in einem multiskalaren Bild enthalten sind. Von daher kann ein blockierender Bildfehler der extrahierten Helligkeitsabbildung verhindert werden. Dementsprechend ist eine Verbesserung einer Qualität eines durch den Bildsignalprozessor erzeugten endgültigen Bildes möglich.
Wenngleich beispielhafte Ausführungsformen unter Bezugnahme auf die Zeichnung beschrieben worden sind, wird Fachleuten offenbar, dass verschiedene Veränderungen und Modifikationen daran vorgenommen werden können, ohne vom Geist und dem Schutzbereich des Erfindungsgedankens abzuweichen, wie er in den nachstehenden Ansprüchen aufgeführt ist.

Claims

Betriebsverfahren für einen Bildsignalprozessor (ISP), der konfiguriert ist, um eine Signalverarbeitung an einem von einer Bildvorrichtung empfangenen Rohbild durchzuführen, wobei das Betriebsverfahren folgende Schritte beinhaltet: Erzeugen einer Mehrzahl von multiskalaren Bildern basierend auf einem Eingabebild, wobei die Mehrzahl von multiskalaren Bildern voneinander unterschiedliche Auflösungen aufweist; iteratives Durchführen einer Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) an jedem von der Mehrzahl von multiskalaren Bildern, um eine endgültige Helligkeitsabbildung zu erzeugen; und Ausgeben eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild.
Betriebsverfahren nach Anspruch 1, wobei ein Ergebnis einer FGWLS-basierten Operation auf eine Eingabe einer nächsten FGWLS-basierten Operation während des iterativen Durchführens der FGWLS-basierten Operation übertragen wird.
Betriebsverfahren nach Anspruch 1, wobei das Erzeugen der Mehrzahl von multiskalaren Bildern folgende Schritte beinhaltet: Erzeugen einer ursprünglichen Helligkeitsabbildung basierend auf dem Eingabebild; und n-maliges iteratives Herunterskalieren einer Größe der ursprünglichen Helligkeitsabbildung, um die Mehrzahl von multiskalaren Bildern zu erzeugen, wobei n eine positive reelle Zahl ist.
Betriebsverfahren nach Anspruch 3, wobei das iterative Durchführen der FGWLS-basierten Operation basierend auf der Mehrzahl von multiskalaren Bildern, um die endgültige Helligkeitsabbildung zu erzeugen, folgende Schritte beinhaltet: Durchführen einer ersten FGWLS-basierten Operation durch Verwendung eines ersten Bildes, das aus der Mehrzahl von multiskalaren Bildern eine kleinste Auflösung aufweist, als ein Eingabebild und ein Orientierungsbild; n-maliges Heraufskalieren eines Ergebnisses der ersten FGWLS-basierten Operation, um ein erstes Heraufskalierungsergebnis zu erzeugen; Durchführen einer zweiten FGWLS-basierten Operation durch Verwendung des ersten Heraufskalierungsergebnisses als ein Eingabebild, und Verwenden, als ein Orientierungsbild, eines zweiten Bildes, das eine Auflösung aufweist, die mit einer Auflösung des ersten Heraufskalierungsergebnisses identisch ist, aus der Mehrzahl von multiskalaren Bildern; n-maliges Heraufskalieren eines Ergebnisses der zweiten FGWLS-basierten Operation, um ein zweites Heraufskalierungsergebnis zu erzeugen; Durchführen einer dritten FGWLS-basierten Operation durch Verwendung des zweiten Heraufskalierungsergebnisses als ein Eingabebild, und Verwenden, als ein Orientierungsbild, eines dritten Bildes, das eine Auflösung aufweist, die mit einer Auflösung des zweiten Heraufskalierungsergebnisses identisch ist, aus der Mehrzahl von multiskalaren Bildern; und Ausgeben eines Ergebnisses der dritten FGWLS-basierten Operation als die endgültige Helligkeitsabbildung.
Betriebsverfahren nach Anspruch 4, wobei das dritte Bild der ursprünglichen Helligkeitsabbildung entspricht.
Betriebsverfahren nach Anspruch 1, wobei das Ausgeben des verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild folgende Schritte beinhaltet: Erzeugen eines Graubildes basierend auf dem Eingabebild; Extrahieren eines Reflexionsgrades aus dem Graubild basierend auf der endgültigen Helligkeitsabbildung; Verbessern eines globalen Kontrasts der endgültigen Helligkeitsabbildung, um eine verbesserte Helligkeitsabbildung zu erzeugen; Verbessern eines lokalen Kontrasts des Reflexionsgrades, um einen verbesserten Reflexionsgrad zu erzeugen; und Kombinieren der verbesserten Helligkeitsabbildung und des verbesserten Reflexionsgrades, um das verbesserte Bild auszugeben.
Betriebsverfahren nach Anspruch 6, wobei das Verbessern des globalen Kontrasts der endgültigen Helligkeitsabbildung basierend auf einer gefensterten Sigmoid-Umkehr- (WIS-) Funktion durchgeführt wird.
Betriebsverfahren nach Anspruch 6, wobei das Kombinieren der verbesserten Helligkeitsabbildung und des verbesserten Reflexionsgrades, um das verbesserte Bild auszugeben, folgende Schritte beinhaltet: Glätten des verbesserten Reflexionsgrades, um einen geglätteten Reflexionsgrad zu erzeugen; Normalisieren der verbesserten Helligkeitsabbildung, um eine normalisierte Helligkeitsabbildung zu erzeugen; und Erzeugen eines verbesserten Graubildes durch eine lineare Kombination des Reflexionsgrads und des abgeflachten Reflexionsgrades basierend auf der normalisierten Helligkeitsabbildung.
Betriebsverfahren nach Anspruch 8, wobei das Glätten des verbesserten Reflexionsgrades ein Durchführen einer FGWLS-basierten Operation an dem verbesserten Reflexionsgrad beinhaltet.
Betriebsverfahren nach Anspruch 8, wobei das Ausgeben des verbesserten Bildes ferner beinhaltet: Ausgeben des verbesserten Bildes basierend auf dem verbesserten Graubild, dem Eingabebild und dem Graubild.
Betriebsverfahren nach Anspruch 1, das ferner folgende Schritte beinhaltet: Empfangen des Rohbildes von der Bildvorrichtung; und Durchführen einer Vorverarbeitung an dem Rohbild, um das Eingabebild zu erzeugen.
Betriebsverfahren nach Anspruch 11, wobei das Durchführen der Vorverarbeitung folgende Schritte beinhaltet: Reduzieren eines Rauschens des Rohbildes; Durchführen eines Weißabgleichs an einem Ergebnis der Reduzierung des Rauschens; Durchführen einer Farbfilteranordnungs-Interpolation an einem Ergebnis des Weißabgleichs; und Durchführen einer Korrektur an einem Ergebnis der Farbfilteranordnungs-Interpolation, um das Eingabebild zu erzeugen.
Bildsystem, aufweisend: einen Bildsensor, der konfiguriert ist, um ein Rohbild basierend auf einem von einem externen Objekt reflektierten Licht auszugeben; und einen Bildsignalprozessor, der konfiguriert ist zum: Durchführen einer Vorverarbeitung an dem Rohbild, um ein Eingabebild zu erzeugen, Extrahieren einer endgültigen Helligkeitsabbildung aus dem Eingabebild durch eine Extraktionsoperation auf Multiskalen-Basis, und Erzeugen eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und den Eingabebild, wobei die Extraktionsoperation auf Multiskalen-Basis folgende Schritte beinhaltet: Erzeugen einer Mehrzahl von multiskalaren Bildern mit unterschiedlichen Auflösungen basierend auf dem Eingabebild; iteratives Durchführen einer Helligkeitsabbildungs-Extraktionsoperation an der Mehrzahl von multiskalaren Bildern; und Ausgeben der endgültigen Helligkeitsabbildung als ein Ergebnis des iterativen Durchführens der Helligkeitsabbildungs-Extraktionsoperation.
Bildsystem nach Anspruch 13, wobei die Mehrzahl von multiskalaren Bildern erzeugt wird durch n-maliges iteratives Herunterskalieren einer ursprünglichen Helligkeitsabbildung, die basierend auf dem Eingabebild erzeugt wird, so dass sie unterschiedliche Auflösungen aufweisen, wobei n eine positive Ganzzahl größer ist.
Bildsystem nach Anspruch 14, wobei die Helligkeitsabbildungs-Extraktionsoperation durchgeführt wird basierend auf: $\begin{matrix} L^{i} (x, y) = \end{matrix} {\begin{array}{l} FGWLS (↑_{n} (L^{i + 1} (x, y)), G^{i} (x, y), λ^{i}, T^{i}) & i = 0, \dots, l - 1, \\ FGWLS ({\hat{L}}^{i} (x, y), G^{i} (x, y), λ^{i}, T^{i}) & i = l \end{array}$
wobei (x,y) eine Pixelposition ist, FGWLS eine Funktion für eine Operation auf Basis von schnellen, globalen, gewichteten, kleinsten Quadraten (FGWLS) ist, Lⁱ ein Berechnungsergebnis der FGWLS ist, ↑_n eine Funktion zum n-maligen Heraufskalieren einer Eingabe ist, L̂ⁱ eine Helligkeitsabbildung ist, die erhalten wird, indem die ursprüngliche Helligkeitsabbildung n¹-mal herunterskaliert wird, Gⁱ ein Orientierungsbild ist, λⁱ ein Glättungswert ist, der in der Funktion der FGWLS-basierten Operation verwendet wird, und Tⁱ eine Anzahl einer Häufigkeit einer zeilenbasierend Berechnung und einer spaltenbasierten Berechnung ist, die in der Funktion für die FGWLS-basierte Operation verwendet werden, und wobei die Helligkeitsabbildungs-Extraktionsoperation basierend auf dem i durchgeführt wird, das sich schrittweise von 1 in 0 verändert.
Bildsystem nach Anspruch 15, wobei das Orientierungsbild ein entsprechendes Bild von der Mehrzahl von multiskalaren Bildern ist.
Bildkontrastverbesserungsverfahren für einen Bildsignalprozessor, wobei das Bildkontrastverbesserungsverfahren folgende Schritte beinhaltet: Erzeugen einer ursprünglichen Helligkeitsabbildung basierend auf einem Eingabebild; n-maliges iteratives Herunterskalieren der ursprünglichen Helligkeitsabbildung, um eine Mehrzahl von multiskalaren Bildern zu erzeugen, wobei n eine positive Ganzzahl größer 1 ist; Durchführen einer ersten Berechnung basierend auf einem ersten Bild, das von der Mehrzahl von multiskalaren Bildern eine geringste Auflösung aufweist; Durchführen einer zweiten Berechnung basierend auf einem Ergebnis der ersten Berechnung und einem zweiten Bild, das von der Mehrzahl von multiskalaren Bildern eine zweitgeringste Auflösung aufweist; Durchführen einer dritten Berechnung basierend auf einem Ergebnis der zweiten Berechnung und einem dritten Bild, das von der Mehrzahl von multiskalaren Bildern eine höchste Auflösung aufweist; Erzeugen eines Ergebnisses der dritten Berechnung als eine endgültige Helligkeitsabbildung; und Erzeugen eines verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild, wobei die erste Berechnung, die zweite Berechnung und die dritte Berechnung auf schnellen, globalen, gewichteten kleinsten Quadraten (FGWLS) basieren.
Bildkontrastverbesserungsverfahren nach Anspruch 17, wobei die erste Berechnung basierend auf einer ersten Eingabe, einem ersten Orientierungsbild, einem ersten Glättungswert und einem ersten Iterationszählwert durchgeführt wird, wobei die zweite Berechnung basierend auf einer zweiten Eingabe, einem zweiten Orientierungsbild, einem zweiten ersten Glättungswert und einem zweiten Iterationszählwert durchgeführt wird, wobei die dritte Berechnung basierend auf einer dritten Eingabe, einem dritten Orientierungsbild, einem dritten Glättungswert und einem dritten Iterationszählwert durchgeführt wird, wobei die erste Eingabe das erste Bild ist, wobei die zweite Eingabe ein Bild ist, das durch n-maliges Vergrößern des Ergebnisses der ersten Berechnung erhalten wird, wobei die dritte Eingabe ein Bild ist, das durch n-maliges Vergrößern des Ergebnisses der zweiten Berechnung erhalten wird, wobei das erste Orientierungsbild das erste Bild ist, wobei das zweite Orientierungsbild des zweite Bild ist, und wobei das dritte Orientierungsbild das dritte Bild ist.
Bildkontrastverbesserungsverfahren nach Anspruch 17, wobei das Erzeugen des verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und des Eingabebildes folgende Schritte beinhaltet: Extrahieren eines Reflexionsgrades aus einem Graubild entsprechend dem Eingabebild basierend auf der endgültigen Helligkeitsabbildung; Verbessern eines globalen Kontrasts der endgültigen Helligkeitsabbildung, um eine verbesserte Helligkeitsabbildung zu erzeugen; Verbessern eines lokalen Kontrasts des Reflexionsgrades, um einen verbesserten Reflexionsgrad zu erzeugen; und Kombinieren der verbesserten Helligkeitsabbildung und des verbesserten Reflexionsgrades, um ein verbessertes Graubild auszugeben.
Bildkontrastverbesserungsverfahren nach Anspruch 19, wobei das Erzeugen des verbesserten Bildes basierend auf der endgültigen Helligkeitsabbildung und dem Eingabebild ferner folgende Schritte beinhaltet: Wiederherstellen einer Farbe des verbesserten Graubildes basierend auf dem Eingabebild, um das verbesserte Bild zu erzeugen.