-
Gebiet der Erfindung
-
Die vorliegende Erfindung bezieht sich im Allgemeinen auf Bildverarbeitung und im Besonderen auf ein Verfahren und ein System zur Transformation eines digitalen Bildes von einem Bild mit niedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR).
-
Hintergrund der Erfindung
-
Eine sich entwickelnde Technologie im Gebiet der digitalen Fotografie ist das sogenannte High Dynamic Range Imaging (HDRI). HDRI bietet die Aufnahme eines Großteils der Leuchtdichte der wirklichen Welt, wodurch es möglich gemacht wird, ein Bild so nah wie möglich an der Realität zu reproduzieren, wenn geeignete Anzeigen dafür verwendet werden. High Dynamic Range Imaging bietet daher eine Wiedergabe von Szenen mit Werten, die den Lichtebenen der realen Welt entsprechen. Die reale Welt produziert eine Lichtintensitätsvariation in einem Bereich von zwölf Größenordnungen, was viel größer ist als die drei Größenordnungen, die in der gegenwärtigen digitalen Bildverarbeitung gebräuchlich sind. Der Umfang der Werte, die jeder Pixel gegenwärtig in einem digitalen Bild repräsentieren kann, ist typischerweise 256 Werte pro Farbkanal (mit einem Maximum von 65536 Werten), was nicht passend für die Darstellung vieler Szenen ist. Mit HDR-Bildern können Szenen mit einem Lichtintensitätumfang aufgenommen werden, der repräsentativ für die Szene und den Umfang der Werte ist, der eher an die Grenzen des menschlichen Sehvermögens angepasst ist als an irgendeine Anzeigevorrichtung. Bilder, die für die Anzeige mit gegenwärtigen Anzeigetechnologien passend sind, werden Low Dynamic Range(LDR)-Bilder genannt. Die visuelle Qualität von High Dynamic Range-Bildern ist viel besser als die von konventionellen Low Dynamic Range-Bildern. HDR-Bilder unterscheiden sich von LDR-Bildern im Hinblick auf die Aufnahme, Speicherung, Verarbeitung und Anzeige solcher Bilder und gewinnen zügig hohe Akzeptanz in der Fotografie.
-
Da sich die Nutzung von HDRI im Gebiet der digitalen Fotografie verbreitet, gibt es ein wachsendes Bedürfnis für HDRI-Anzeigen, die dazu ausgebildet sind, sowohl Standbilder als auch Videos anzuzeigen. Dies stellt eine signifikante Änderung der Anzeigenqualität gegenüber traditionellen Anzeigen dar. Da allerdings die existierenden Medien keinen hohen Dynamikumfang haben, ist die Nutzbarkeit der HDRI-Anzeigen begrenzt auf neu aufgenommene HDRI-Bilder unter Verwendung von HDRI-Sensoren. Existierende Lösungen, um existierende Bilder mit niedrigerem Dynamikumfang (Low Dynamic Range, LDR) in äquivalente HDR-Bilder zu konvertieren, sind gegenwärtig als „Reverse Tone Mapping” bekannt. Reverse Tone Mapping erfordert im Allgemeinen zwei Phasen. Eine erste Phase wird durchgeführt, um die Leuchtdichte eines Eingangs-LDR-Bildes in eine HDR-Leuchtdichte (auch HDR-Lichtausstrahlung bezeichnet) abzubilden. Wegen der Bildquantisierung resultiert diese Phase in einem Verlust von Details und fügt ein Rauschen in der Region hoher Leuchtdichte hinzu. Die zweite Phase beseitigt diesen Defekt durch Glättung solcher Regionen, während es auch ermöglicht wird, unter Umständen den Dynamikumfang weiter zu erhöhen.
-
Eine bekannte Lösung zur Durchführung der ersten Phase ist der Ansatz, der in dem Artikel von Rempel A. G., Trentacoste M., Seetzen H., Young H. D., Heidrich W., Whitehead L., und Ward G., mit dem Titel ”Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs”, ACM SIGGRAPH 2007 Papers (San Diego, Kalifornien, 5.–9. August, 2007) gewählt wurde und auf einem schnellen inversen Verfahren aufbaut, das für Echtzeit-Videobearbeitung geeignet ist. Nach diesem Ansatz wird ein inverses Gamma-Mapping durchgeführt, und dann wird der Dynamikumfang auf 5000 erhöht. Ferner werden Glättefilter durchgeführt, um den Quantisierungseffekt zu verringern.
-
Eine andere Lösung zur Durchführung der ersten Phase des Reverse Tone Mappings wird in dem Artikel mit dem Titel „Inverse Tone Mapping” beschrieben, Proceedings of the 4th international Conference an Computer Graphics and interactive Techniques in Australasien und Südostasien (Kuala Lumpur, Malaysia, 29. November–2. Dezember, 2006), GRAPHITE'06, ACM, New York, NY, 349–356 von Banterle F., Ledda P., Debattista K., und Chalmers A.. Diese Lösung nutzt eine inverse Mapping-Funktion, die auf einem globalen Tone-Mapping-Operator basiert, der zuvor durch Reinhard E., Stark M., Shirley P., und Ferwerda J. in einem Artikel mit dem Titel ”Photographic tone reproduction for digital images”, ACM Trans. Graph. 21, 3 (Jul. 2002), 267–276, beschrieben wurde. Durch Lösen einer quadratischen Gleichung erhält man inverse Werte, wodurch ein wesentlich größerer Dynamikumfang erzeugt wird und der Umfang selektiv bei bestimmten Pixeln verkleinert wird. Allerdings bieten diese existierenden Lösungen eine inverse Tone Mapping-Funktion für die erste Phase, die nicht genau genug ist. Die erhaltene Lichtausstrahlung stimmt wegen der „generischen” inversen Mapping-Funktion nicht mit der Lichtausstrahlung der realen Welt überein. Dies nähert die Lichtausstrahlungswerte der realen Welt grob an.
-
Es existieren zwei verschiedene Ansätze zur Durchführung der zweiten Phase des Reverse Tone Mappings. Der erste Ansatz, der durch Rempel et al. in dem Artikel mit dem Titel ”Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs”, ACM SIGGRAPH 2007 Papers (San Diego, Kalifornien, 5.–9. August, 2007) beschrieben wurde, erzeugt eine Gauß-Maske über Pixel, die einen hohen Wert übertreffen. Vielmehr verwendet dieser Ansatz eine Edge-Stopping-Funktion, um lokale Kontraste an den Kanten zu verbessern. Die resultierende Helligkeitsfunktion wird dazu verwendet, die Ausleuchtung wesentlich zu erweitern. Eine komplexere Technik ist die in Bantele et al., Proceedings of the 4th international Conference an Computer Graphics and interactive Techniques in Australasien und Südostasien (Kuala Lumpur, Malaysia, 29. November–2. Dezember, 2006), GRAPHITE'06, ACM, New York, NY, 349–356, beschrieben. Dieser zweite Ansatz umfasst die Segmentierung des Eingangbildes mit Regionen gleicher Lichtintensitäten unter Verwendung eines Medianschnittalgorithmus (Debevec P., ”A median cut algorithm for light probe sampling”, in ACM SIGGRAPH 2006 Courses (Boston, Massachusetts, 30. Juli–3. August, 2006), SIGGRAPH'06, ACM, New York, NY, 6). Die Schwerpunkte dieser Regionen werden dazu verwendet, Lichtdichten zu schätzen und eine „Expandierungs” karte zu konstruieren. Die Karte wird dann dazu benutzt, das finale HDR-Bild durch Leiten einer Interpolierungsoperation zwischen dem Eingabe-LDR und dem inversen LDR-Bild zu erzeugen. Diese Lösungen für die zweite Phase des Reverse Tone Mappings bauen auf dem Finden von Pixeln mit hohen Leuchtdichtwerten auf und nutzen dieses, um den dynamischen Bereich dieser Pixel zu erweitern. Allerdings geschieht eine solche Extrapolierung nur um die Leuchtdichte der Hotspots (Highlights) und den naheliegenden Regionen zu erweitern und verringert nie die Leuchtdichte in dunklen Regionen (Schatten). Demnach führen sie effektiv eine einseitige Erweiterung des dynamischen Umfanges unter Verwendung lokaler Operationen durch (die Schatten werden global erweitert), wodurch sie die Qualität der Schattenregionen in dem resultierenden HDR-Bild beeinflussen. Die
WO 2008/066 840 A2 offenbart ein Verfahren zur Erhöhung des dynamischen Bereichs von originalen Bilddaten, die ein Bild darstellen, wobei das Verfahren Folgendes umfasst: in einer beliebigen Reihenfolge: Anwenden einer Expansionsfunktion, um aus den originalen Bilddaten expandierte Daten zu generieren, die im Hinblick auf mögliche Pixelwerte einen dynamischen Bereich aufweisen, der größer ist als der der originalen Bilddaten; und Erhalten einer Expandierungskarte, die Daten umfasst, die einen Leuchtdichtegrad von Regionen anzeigt, die Pixeln in dem Bild zugeordnet sind; und Kombinieren der originalen Bilddaten und der expandierten Daten gemäß der Expandierungskarte, um optimierte Bilddaten zu erhalten. Die
WO 2008/066 840 A2 ferner offenbart eine Vorrichtung zum Erweitern des dynamischen Bereichs von originalen Bild-Daten, wobei die Vorrichtung Folgendes umfasst: einen Expandierer des dynamischen Bereichs, der so angeschlossen ist, dass er originale Bilddaten und ausgegebene expandierte Daten empfängt, die im Hinblick auf mögliche Pixelwerte einen dynamischen Bereich aufweisen, der größer ist als der der originalen Bilddaten; einen Leuchtdichteverteilungsanalysator, der dafür konfiguriert ist, eine Expandierungskarte zu generieren, welche die Leuchtdichte von Regionen anzeigt, die Pixeln in dem Bild der originalen Bilddaten zugeordnet sind; einen Bildkombinierer, der dafür konfiguriert ist, die originalen Bilddaten mit den expandierten Daten aus dem Expandierer des dynamischen Bereichs entsprechend der Expandierungskarte zu kombinieren, um optimierte Bilddaten zu erhalten.
-
Die Veröffentlichung „Expanding low dynamic range vdeos for high dynamic range applications” offenbart ein Algorithmus und dazugehörige Verfahren, die den Kontrastumfang von LDR-Videos erweitern um die fehlende HDR-Daten wiederherzustellen. Die Erweiterung ist mittels Invertierung eines bewiesen Tone Mapping-Operators implementiert (BANTERLE, F. et al.: „Expanding Low Dynamic Range Videos for High Dynamic Range”. In: ACM Conference an Computer Graphics, 21.04.2008, S. 1–8). Die Veröffentlichung „Bit-Depth Scalable Video Coding” offenbart ein Verfahren zur Umwandlung von Videodaten mit unterschiedlichen Bitumfang.
-
Zusammenfassung der Erfindung
-
Um diese und andere Probleme zu adressieren, wird ein Verfahren nach dem angehängten unabhängigen Anspruch 1, ein Computerprogramm, ein computerlesbares Medium und ein System jeweils nach den angehängten Ansprüchen 9, 10 und 11 bereitgestellt. Bevorzugte Ausführungsformen sind in den angehängten abhängigen Ansprüchen definiert.
-
Im Allgemeinen bietet die vorliegende Erfindung ein verbessertes Reverse Tone Mapping für die Transformierung eines LDR-Bildes in ein HDR-Bild.
-
Nach einem Aspekt der Erfindung wird die Ansprechkurve der Kamera dazu verwendet, die Lichtausstrahlungskarte des Bildes zu rekonstruieren anstatt eine inverse Gamma- oder eine übliche festgelegte inverse Funktion, wie sie in den Lösungen aus dem Stand der Technik angegeben wurden, durchzuführen.
-
Ein anderer Aspekt der Erfindung baut auf Kontrastausgleichs- und Nachbelichtungsoperationen auf, um selektiv jeweils die Leuchtdichte zu erhöhen oder die Leuchtdichte eines Bildes zu verringern. Die Erfindung wendet eine Operation in der HDR-Domain an, die dem Abwedeln und Nachbelichten ähnelt, um den dynamischen Bereich eines Bildes zu vergrößern. Dies erweitert im Allgemeinen auch den lokalen Kontrast, wodurch mehr sichtbare Details ermöglicht werden, die in dem LDR-Bild nicht sichtbar sind. Zusätzlich dazu ermöglicht die Anwendung einer Operation, die dem Abwedeln und Aufhellen ähnelt, in der HDR-Domain die Durchführung einer Glättung, wodurch die Quantisierungseffekte verringert werden.
-
Bestimmte Vorteile der vorliegenden Erfindung umfassen die folgenden:
- 1. Eine vereinfachte Technik, um HDR-Werte aus einem einzigen LDR-Bild wiederherzustellen; diese Technik ist leichter als die Rekonstruierung von Bildern aus einer Sequenz von verschieden belichteten Bildern wie im Stand der Technik.
- 2. Erweiterung des dynamischen Umfangs von beiden Enden des Leuchtdichtenkanals (hohe und niedrige Teile), wohingegen die Lösungen aus dem Stand der Technik den hohen Teil erweitern.
- 3. Erhöhtes Niveau der sichtbaren Details über die mittleren/Schattenteile des Bildes.
- 4. Eine realistischere Lichtausstrahlungskarte des Bildes unter Verwendung der Ansprechkurve der Kamera.
- 5. Verbesserte atheistische Qualität des resultierenden Bildes unter Verwendung einer getesteten fotografischen Technik.
- 6. Eine neue HDR-Anzeige zur Darstellung existierender LDR-Bilder für wichtige Anwendungen, wie zum Beispiel medizinische Bildgebung, kann verwendet werden.
- 7. Verbesserte Qualität der Ausgabe von LDR-Kameras durch Verwendung des Reverse Tone Mappings, um ein HDR-Bild mit höherer Qualität zu erzeugen, das durch Forward Tone Mapping zurück in LDR gemappt werden kann, wobei eine signifikante Verbesserung im sichtbaren Kontrast erreicht wird.
- 8. Leichtere Detektierung von Kanten für weitere Bildverarbeitungsoperationen.
- 9. Anwendung als eine Erweiterungsoperation auf digitale Bilder, wo weitere Bildverarbeitung besser in der HDR-Domain funktioniert wie zum Beispiel für eine Kantendetektierungsoperation in dem Gebiet von medizinischer Bildgebung.
-
Weitere Vorteile der vorliegenden Erfindung werden dem Fachmann bei Studium der Zeichnungen und der detaillierten Beschreibung klar. Es ist die Intention, dass irgendwelche zusätzlichen Vorteile hierein mitaufgenommen werden.
-
Kurze Beschreibung der Zeichnungen
-
Ausführungsformen der vorliegenden Erfindung werden nun lediglich als Beispiel mit Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen gleiche Bezugszeichen ähnliche Elemente bezeichnen und in denen:
-
1 ein Systemblockdiagramm für die Erzeugung eines Bildes mit hohem Dynamikumfang (High Dynamic Range, HDR) aus einem Bild mit geringem Dynamikumfang (Low Dynamic Range, LDR) nach Ausführungsformen der Erfindung ist,
-
2 ein Flussdiagramm auf hoher Ebene ist, das die Erzeugung eines Bildes mit hohem Dynamikumfang (HDR) aus einem Bild mit niedrigem Dynamikumfang (LDR) nach Ausführungsformen der vorliegenden Erfindung beschreibt;
-
3 eine beispielhafte Ansprechkurve einer Kamera zeigt;
-
4 die inverse Ansprechkurve darstellt, die aus der Ansprechkurve der Kamera aus 3 nach Ausführungsformen der vorliegenden Erfindung erhalten wurde;
-
5 ein Flussdiagramm zeigt, das die Abwedel- und Nachbelichtungsoperation in der HDR-Domain beschreibt;
-
6 ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes für die erste Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung darstellt;
-
7 ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes für das Reverse Tone Mapping der ersten Phase und der zweiten Phase nach Ausführungsformen der vorliegenden Erfindung darstellt;
-
8 ein Flussdiagramm ist, das die Bilderzeugung nach Ausführungsformen der vorliegenden Erfindung darstellt;
-
9 eine Tabelle zeigt, die beispielhafte Werte der Summen von Blau/Grün-Pixeln indiziert, die durch den Vergleich von Bildern erhalten wurden; und
-
10 ein Diagramm ist, das die Werte repräsentiert, die von der Tabelle aus 8 umfasst sind;
-
11 ein Computersystem darstellt, das für die Transformation eines LDR-Bildes in ein HDR-Bild nach Ausführungsformen der vorliegenden Erfindung genutzt wird.
-
Die Zeichnungen sollen lediglich typische Ausführungsformen der Erfindung darstellen und sollten deshalb nicht als den Schutzbereich der Erfindung begrenzend betrachtet werden.
-
Detaillierte Beschreibung
-
Die vorliegende Erfindung bietet ein Reverse Tone Mapping-Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mit einem niedrigen dynamischen Umfang (Low Dynamic Range, LDR) in ein Bild mit einem hohen dynamischen Umfang (High Dynamic Range, HDR). Die Reverse Tone Mapping-Lösung nach der Erfindung ist für Prozessoren jeglichen Types geeignet, die zur Ausführung digitaler Berechnungen und damit in Verbindung stehender Logiken geeignet sind.
-
1 zeigt ein System 100 zur Erzeugung eines HDR-Bildes aus einem Eingabe-LDR-Bild. 1 zeigt den Datenfluss zwischen Systemkomponenten, wobei jede Komponente durch einen Namen bezeichnet wird, hier mit dem Buchstaben „C”, dem eine Zahl folgt. Auf diese Systemkomponenten wird weiter unten durch die Verwendung der Bezeichnung C1, C2, ..., C5 Bezug genommen. Im Betrieb wird dem System zunächst ein LDR-Bild eingegeben und dem Farbraumkonverter C1 zugeführt, wo das Bild in den Farbton-, Farbsättigungs- und Helligkeitsfarbraum (Hue, Saturation and Brightness, HSB) konvertiert wird, wodurch drei entsprechende Felder erzeugt werden. Das Helligkeitsfeld und die Ansprechkurve der Kamera werden dem inversen Mapper C2 hinzugefügt. Der Mapper verwendet dann die zur Verfügung gestellte Ansprechkurve, um das Helligkeitsfeld in ein Lichtausstrahlungsfeld invers zu mappen. Der lokale Kontrast Engine C3 berechnet den lokalen Kontrast für das Lichtausstrahlungsfeld durch Erzeugung eines lokalen Leuchtdichten-Durchschnittsfelds (Local Luminance Average, LLA). Der Abwedel-/Nachbelichtungsengine C4 nutzt das LLA-Feld, um das Lichtausstrahlungsfeld abzuwedeln/nachzubelichten, wodurch ein erweitertes Lichtausstrahlungsfeld erzeugt wird.
-
Das erzeugte Feld mit den Farbsättigkeits- und Farbtonfeldern wird dann dem Farbraumkonverter C5 zugeführt, wo das Bild in den ursprünglichen Eingabe-LDR-Farbraum (zum Beispiel RGB) konvertiert wird, wodurch das Ausgabe-HDR-Bild erzeugt wird.
-
Um das Reverse Tone Mapping während einer ersten Phase auf ein LDR-Bild anzuwenden, wird die Leuchtdichte eines Eingabe-LDR-Bildes invers in eine erweiterte HDR-Leuchtdichte gemappt. Dieser initiale Schritt umfasst den Verlust von Details und fügt ein Rauschen in der Region mit hoher Leuchtdichte hinzu, welches während einer zweiten Phase, die diese Regionen glättet, ausgeräumt wird.
-
Nach den Ausführungsformen der vorliegenden Erfindung wird die erste Phase des Reverse Tone Mappings unter Verwendung der Informationen des Aufnahmesensors/-vorrichtung durchgeführt. Die Sensoridentifizierung kann in den meisten Bildern, die sowohl mit Digitalkameras als auch mit Filmkameras aufgenommen wurden, jederzeit ausgelesen werden. Diese erste Phase konstruiert eine initiale Lichtausstrahlungskarte durch ein inverses Tone Mapping des Eingabebildes unter Verwendung der Ansprechkurve der Kamera.
-
2 zeigt ein Flussdiagramm von einer hohen Ebene, das diese erste Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung beschreibt.
-
Zunächst gibt Schritt 20 ein LDR-Bild ein und speichert dann das LDR-Bild im Speicher. Solch ein LDR-Bild könnte in einer Vielzahl von Farbräumen dargestellt sein. Ein Standard-Farbraum ist der RGB-Raum, in dem die Farbe jedes Pixels durch drei Komponenten, nämlich rot (R), grün (G) und blau (B) dargestellt wird. Ein anderer Farbraum ist Luv, wobei L die Leuchtdichtekomponente und u und v jeder eine Chrominanzkomponente sind. Das Reverse Tone Mapping wird auf dem Leuchtdichtenkanal angewandt.
-
Schritt 21 erhält die Belichtungspixel-Ansprechkurve für die gegebene Kamera. Die Belichtungspixel-Ansprechkurve ist für jede Kamera intrinsisch und könnte direkt von einem Sensordatenblatt erhalten werden. Alternativ kann die Belichtungspixel-Ansprechkurve durch eine Analyse einer Sequenz verschiedener belichteter Bilder der gleichen Szene bestimmt werden. Die Belichtungs-Ansprechkurve kann gemessen, berechnet, geschätzt oder sogar von einem nichtlokalen Ort empfangenen werden. Die Kurve ist im Wesentlichen pro Kamera konstant, wodurch daher kein Bedürfnis zur Wiederholung der Rekonstruktion der Ansprechfunktion für weitere Bilder, die durch dieselbe Kamera erzeugt wurden, besteht. In der folgenden Beschreibung wird die Belichtungspixel-Ansprechkurve als eine Funktion „f(x)” bezeichnet, wobei x einen gegebenen Belichtungswert bezeichnet. y = f(x) stellt dann den Pixel-Leuchtdichtenwert für die angegebene Belichtung x dar. Die Belichtungspixel-Ansprechkurve stellt Lichtausstrahlungswerte der realen Welt für die Bilder zur Verfügung. Diese Werte sind genauer als die unter Verwendung der einfachen inversen Gammaverfahren des Standes der Technik erhaltenen.
-
In Schritt 22 wird das LDR-Eingabebild in HSB-Farbraumfelder konvertiert, wobei H den Farbton darstellt, S die Farbsättigung und B die Helligkeit darstellt. HSB (auch bekannt als HSL-Darstellung) ist eine Darstellung von Punkten in einem RGB-Farbmodell, die perzeptuelle Farbbeziehungen genauer beschreiben als RGB. In der folgenden Beschreibung wird das Farbtonfeld durch „Farbton []” dargestellt, das Farbsättigungsfeld wird durch „Sättigung []” dargestellt und die Helligkeit wird durch „Helligkeit []” dargestellt.
-
In Schritt 23 wird für jedes Pixel in dem Helligkeitsfeld (Feld Helligkeit []) sein Wert invers unter Verwendung der Ansprechkurve gemappt und die erhaltene Belichtung wird in Lichtausstrahlung [i] gespeichert. Unter Verwendung der Notation „f–1(y)”, um die Umkehrfunktion der Belichtungspixel-Ansprechfunktion f(x) zu bezeichnen, gibt dann f–1(y) für einen Eingabepixelwert y den Belichtungswert x aus. Demnach ist die Lichtausstrahlung für einen Kanaliterator i wie folgt definiert: Lichtausstrahlung [i] = f–1 (Helligkeit[i]), wobei das Feld Lichtausstrahlung [] die erhaltene Lichtausstrahlungskarte ist.
-
In Schritt 24 wird daher die erhaltene Lichtausstrahlungskarte im Speicher gespeichert. Durch Rekonstruktion der Lichtausstrahlungskarte des Bildes unter Verwendung der Belichtungspixel-Ansprechkurve der Kamera stellt die Erfindung eine realistischere Lichtausstrahlungskarte zur Verfügung als die durch die Lösungen aus dem Stand der Technik erhaltenen, die auf einer inversen Gammafunktion oder einer standardmäßigen festen inversen Funktion fußen.
-
3 zeigt eine beispielhafte Ansprechkurve einer Kamera. Die x-Achse mit dem Titel „Belichtung” stellt die Belichtungswerte der realen Welt dar und die y-Achse mit dem Titel „Pixelhelligkeitswert” stellt die entsprechenden Pixelausstrahlungswerte dar, die durch die Kamera aufgenommen wurden. „Belichtung” wird als Strahlungsstärke, die der Sensor empfängt, multipliziert mit der Belichtungszeit definiert. Die Einheit ist Wattsekunden pro Quadratmeter. Die Pixel-Lichtausstrahlungswerte nehmen ganzzahlige Werte von 0 bis 255 an, wobei die Belichtungswerte reale Zahlen sind.
-
4 zeigt die inverse Ansprechkurve für die beispielhafte Ansprechkurve der Kamera, die in 2 dargestellt war. Die Pixelachse mit dem Titel „Pixelhelligkeitswert” bezeichnet die Pixel-Lichtausstrahlungswerte und die y-Achse mit dem Titel „Belichtung” bezeichnet die entsprechende Belichtung der realen Welt.
-
Die Ansprechkurve ahmt die Realität so nah wie möglich nach. An dieser Stelle könnte das Lichtausstrahlungsfeld „Lichtausstrahlung []”, das in Schritt 24 erhalten wurde, mit dem Farbtonfeld „Farbton []” und mit dem Sättigungsfeld „Sättigung []” kombiniert werden, um sie mit einem Bild zu assoziieren und dann das Bild in den Farbraum des ursprünglichen Bildes zu konvertieren, um das HDR-Bild bereitzustellen. Allerdings könnte die Kamerakurve selber keinen ausreichenden hohen Dynamikumfang erzeugen und auch Quantisierungsartefakte hinzufügen. Die zweite Phase des Reverse Tone Mappings nach der Erfindung kompensiert die Unzulänglichkeiten des Glättungsmappings und Artefakte, die durch die Verwendung der Ansprechkurve der Kamera hinzugefügt wurden.
-
5 stellt die zweite Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung dar. Während der zweiten Phase wird ein dem Abwedeln und Nachbelichten ähnlicher Vorgang verwendet, um selektiv jeweils die Leuchtdichte zu erhöhen oder die Leuchtdichte eines Bildes zu verringern. Der Abwedelvorgang erhöht die Leuchtdichte, wohingegen der Nachbelichtungsvorgang die Leuchtdichte eines Pixels verringert. Die Erfindung wendet dem Abwedeln und Nachbelichten ähnliche Operationen in der HDR-Domain an, um den dynamischen Bereich eines Bildes zu erweitern. Für Highlights würde eine Abwedeloperation den dynamischen Bereich für Regionen mit niedrigen lokalen Kontrasten weiter erweitern. Für Schatten würde eine Nachbelichtungsoperation den dynamischen Umfang des Verbliebenen weiter erweitern, wodurch die minimale Leuchtdichte von Pixeln verringert würde (was ferner den dynamischen Umfang des Bildes erweitert). Dies erweitert im Allgemeinen auch den lokalen Kontrast, wodurch mehr sichtbare Details ermöglicht werden, die in dem LDR-Bild nicht sichtbar sind. Zusätzlich dazu ermöglicht die Verwendung einer dem Abwedeln und Nachbelichten ähnlichen Operation in der HDR-Domain die Durchführung einer Glättung, wodurch die Quantisierungseffekte verringert werden.
-
In Schritt 50 wird für jeden Pixel (u, v) in dem Feld Lichtausstrahlung [] der lokale Lichtausstrahlungs-Durchschnitt lokaler_Lichtausstrahlungs_Durchschnitt [u, v] berechnet. Der lokale Lichtausstrahlungs-Durchschnitt beim Pixel (u, v) kann wie folgt aus dem in ”Photographic tone reproduction for digital images”, ACM Trans. Graph. 21, 3 (Jul. 2002), 267–276, von Reinhard E., Stark M., Shirley P., und Ferwerda J. entwickelten Ansatz berechnet werden.
-
Die Faltungskernel werden als Kernel; [] = Gauß-Kernel (ri)[] gesetzt, wobei ri der Radius des Gauß-Kernels ist und i den lokalen Kontrast-Skalierungsindex bezeichnet. Die Werte von ri variieren. In einer bestimmten Ausführungsform der Erfindung wird dieser Wert auf 1/(2·Sqrt(2))·1.6i gesetzt. Die Werte von i variieren von 0 bis 8.
-
Der lokale Leuchtdichtenindex beim Pixel (u, v) für den Wert i wird als lokaler Leuchtdichte_Durchschnitti[u, v] = Kerneli Lichtausstrahlung [] berechnet.
-
Dann wird der Minimalwert M des Parameters i berechnet, so dass: Abs(lokaler_Leuchtdichte_Durchschnitti[u, v]-lokaler_Leuchtdichte_Durchschnitti+1[u, v]) < ε wobei ε den Schwellwert bezeichnet und die Werte von i zwischen 0 und 7 variieren.
-
Lokaler_Leuchtdichten_Durchschnitt [u, v] wird letztendlich auf lokaler Leuchtdichten-Durchschnittm [u, v] gesetzt, welcher den lokalen Leuchtdichten-Durchschnitt beim Pixel (u, v) ausgibt.
-
In Schritt 51 wird die Leuchtdichte jedes Pixels durch Verwendung des lokalen Leuchtdichten-Durchschnittes lokaler_Leuchtdichten_Durchschnitt [u, v] eingestellt. Der neue Lichtausstrahlungswert „Lichtausstrahlung'[u, v]” wird wie folgt definiert: Lichtausstrahlung'[u, v] = Lichtausstrahlung[u, v]·Lichtausstrahlung[u, v]/lokaler_Leuchtdichten_Durchschnitt[u, v]
-
Nach der Erfindung wird diese Operation in der HDR-Domain durchgeführt. In der Tat wurde vom Anmelder beobachtet, dass, wenn die (u, v) umgebenden Pixel heller als der Ursprungspixel (u, v) ist, die Lichtausstrahlung des (u, v)-Pixels verringert wird, wodurch der lokale Kontrast erhöht wird. In ähnlicher Weise wurde beobachtet, dass, wenn die umgebenden Pixel dunkler sind als der Ursprungspixel, die Lichtausstrahlung des Ursprungspixels (u, v) vergrößert wird, wodurch der lokale Kontrast erhöht wird. Sowohl die Verringerung als auch die Vergrößerung der Lichtausstrahlung werden durch das folgende Verhältnis bestimmt: Lichtausstrahlung[u, v]/lokaler_Leuchtdichten_Durchschnitt[u, v]
-
Dieses Verhältnis verhält sich als ein Lichtausstrahlungs-Skalierungsfaktor, der eine arbiträre Skalierung ohne Komprimierung erlaubt.
-
Diese zweite Phase des Reverse Tone Mappings nach bestimmten Ausführungsformen der Erfindung erhöht daher den dynamischen Umfang der Lichtausstrahlung, während der lokale Kontrast des Bildes durch Abwedeln und Nachbelichten vergrößert wird. Als solche verwendet die Erfindung das fotografische Konzept des Abwedelns/Nachbelichtens, um ein HDR-Bild mit Fotografiequalität zu erzeugen.
-
In Schritt 52 wird das Lichtausstrahlungsfeld „Lichtausstrahlung []” mit dem Farbtonfeld „Farbton []” und mit dem Farbsättigungsfeld „Sättigung []” kombiniert, sodass sie nun mit einem Bild assoziiert sind und dann das Bild in den ursprünglichen Bildfarbraum in Schritt 53 konvertiert wird. Für die Verwendung von Standardprogramm-Bibliothekroutinen (wie zum Beispiel die get_RGBtoHSV () in der cimg-Programmbibliothek cimg.sourceforg.org) wird die Bildverarbeitung unter Verwendung der folgenden Gleichung berechnet, wobei Convert () das Bild zurück in den ursprünglichen Bildfarbraum konvertiert: Convert(Farbton[], Sättigung[], Lichtausstrahlung[]/max(Lichtausstrahlung[]))·max(Lichtausstrahlung)
-
Der Divisionsteil dieser Gleichung „Lichtausstrahlung[]/max(Lichtausstrahlung[]” wird verwendet, weil die Pixelwerte normalerweise normalisiert werden, sodass sie von 0 bis 1 variieren können.
-
6 zeigt ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes, welches unter Verwendung nur der ersten Phase des Reverse Tone Mappings nach den Ausführungsformen der Erfindung erhalten wird. Das Lichtausstrahlungsfeld wird aus einem Eingabe-LDR-Bild erzeugt. Die x-Achse des Histogramms bezeichnet die log2-Belichtungswerte und die y-Achse bezeichnet die Häufigkeit. Wie gezeigt, ist die maximale log2-Belichtung 8,3 und die minimale ist –9,38, wodurch sich ein dynamischer Bereich von 210,381 (5 Größenordnungen) ergibt. Dies ist ein typischer Wert in normalen Szenen des wirklichen Lebens.
-
7 zeigt das Histogramm nach der zweiten Phase des Reverse Tone Mappings nach den Ausführungsformen der Erfindung. Die maximale log2-Belichtung ist nun 8,71 und die minimale ist –15,52, was einen dynamischen Bereich von 1,98·107 ergibt. Daher hat die zweite Phase den dynamischen Umfang um 2 Größenordnungen erhöht. Es ist also zu beachten, dass das Histogramm glatter und an beiden Seiten weitreichender Ist mit mehr Betonung auf den Schatten.
-
Zur Beurteilung der Qualität des erzeugten HDR-Bildes kann die MPI-HDR-Metrik verwendet werden (MPI ist die Abkürzung für Max-Planck-Institut der Informatik). Diese Metrik wurde definiert in dem Artikel mit dem Titel ”Dynamic range independent image quality assessment”, ACM SIGGRAPH 2008 Papers (Los Angeles, Kalifornien, 11.–15. August, 2008). SIGGRAPH'08. ACM, New York, NY, 1–10”, von Aydin T. O., Mantiuk R., Myszkowski K., und Seidel H.. Diese Bildqualitätsmetrik wird auf ein Bildpaar angewendet, wo beide Bilder arbiträre dynamische Bereiche haben. Nach dieser Metrik wird ein Zusammenfassungsbild mit blauen, grünen und roten Pixeln erzeugt. Die Farbe wird für jedes Pixel abhängig von dem höchsten Beitrag bestimmt. Blaue Pixel indizieren Pixel mit verbessertem Kontrast (nicht sichtbar auf dem Eingabebild und sichtbar auf dem Ausgabebild), grüne Pixel indizieren einen Verlust von Kontrast und rote Pixel initiieren eine Umkehrung des Kontrasts. Die Werte jeder Farbe repräsentieren die Wahrscheinlichkeit, dass der Defekt sichtbar wird. Die Erfinder haben beobachtet, dass die blauen und grünen Parameter der Metrik besonders signifikant zur Beurteilung der Bildqualität zu sein scheinen. In der Tat schien es so, dass, wenn grün verringert wird und blau so viel wie möglich erhöht wird, der Kontrast verbessert werden kann und sichtbare Details nicht verloren gehen. Als ein Ergebnis wird eine Ausweitung der Bildqualitätsbeurteilung dadurch erreicht, dass die Summierung der normalisierten nominierenden Farbe für jedes Pixel berichtet wird.
-
8 zeigt ein Flussdiagramm, das die Schritte darstellt, die zur Beurteilung der Qualität des HDR-Bildes basierend auf dem Vergleich einer Anzahl von Bildern durchgeführt wurden. Um das Verständnis der folgenden Experimente zu vereinfachen, werden die folgenden Definitionen bestimmter Bezeichnungen weiter unten zur Identifizierung der Bilder verwendet:
- 1. „Real-HDR” bezeichnet ein Bild, das unter Verwendung einer großen Sequenz von verschieden belichteten Bildern erhalten wurde; in anderen Worten ist dies ein reales HDR-Bild;
- 2. „Eingabe-LDR” bezeichnet ein bezeichnet ein Eingabe-LDR-Bild;
- 3. „ERZ-HDR” bezeichnet das erzeugte HDR-Bild, das durch Umkehrung des Eingabe-LDR-Bildes erhalten wurde;
- 4. „ERZ-LDR” bezeichnet das Tone gemappte ERZ-HDR-Bild, das unter Verwendung des Mapping-Operators nach Reinhardt et al. erhalten wurde (Erik Reinhard, Michael Stark, Peter Shirley, und James Ferwerda. Photographic tone reproduction for digital images, SIGGRAPH'02: Proceedings of the 29th annual conference an Computer Graphics and Interactive Techniques, Seiten 267–276, New York, NY, USA, 2002. ACM Press);
- 5. „ERZ-HDR-RAD” bezeichnet das erzeugte HDR-Bild unter Verwendung lediglich der ersten Phase des Reverse Tone Mappings nach der Erfindung.
-
Die folgende Beschreibung von 8 wird in Zusammenhang mit Bezugnahme auf 9 und 10 durchgeführt, die die Werte der Summe von blau und grünen Pixeln darstellen, die durch Vergleich der Bilder 1–5 wie oben definiert erhalten wurden. 9 ist eine Tabelle, die in den letzten beiden Spalten die blauen und grünen Werte für jeden Vergleich indizieren und 10 ist ein Diagramm, das den Kontrastgewinn pro Pixel für jeden Vergleich darstellt (normalisierte blaue Pixelsumme). Um den Effekt jeder Reverse Tone Mapping-Phase auf die Qualität des erzeugten HDR-Bildes nach Ausführungsformen der Erfindung zu beurteilen, vergleicht Schritt 80 zunächst ERZ-HDR und Real-HDR. Dieser erste Vergleich beurteilt den Effekt der Verwendung der ersten Phase des Reverse Tone Mappings nach der Erfindung. Das erhaltene Ergebnis A ist in den 9 und 10 dargestellt. Dieses Ergebnis indiziert, dass es einen signifikanten Kontrastgewinn pro Pixel von 40% und einen vernachlässigbaren Kontrastverlust von 0,1% gibt.
-
Um den Effekt der Verwendung der zweiten Phase des Reverse Tone Mappings nach der Erfindung zu beurteilen, vergleicht Schritt 81 ERZ-HDR gegenüber Real-HDR. Das erhaltene Resultat B, dargestellt in den 9 und 10, zeigt pro Pixel eine sehr beachtliche Verbesserung im Kontrastgewinn von 77,4% und einen vernachlässigbaren Kontrast von nahezu 0,0%. Dies indiziert, dass die zweite Phase effektiv 37% dem Kontrastgewinn hinzufügt.
-
Da eine der typische Verwendungen von HDR-Bildern die Verbesserung der Qualität von LDR-Bildern ist, testet Schritt 82 den Effekt durch Vergleich von ERZ-LDR und Eingabe-LDR. Das erhaltene Ergebnis C, dargestellt in den 9 und 10, zeigt eine beachtliche Verbesserung im Kontrastgewinn, welcher nun 47,2% ist ohne einen Verlust im Kontrast. Demnach wird kein Detail verloren aus dem originalen Bild, wenn es in HDR umgewandelt wird. Vielmehr umfasst das erzeugte HDR-Bild Details, die nicht im Ursprungsbild sichtbar waren. Das beste Ergebnis könnte bei Bilderweiterungsanwendungen möglicherweise helfen, zum Beispiel medizinische Bildsegmentierung.
-
Die Erfindung könnte auf eine Vielzahl von Bildverarbeitungsanwendungen angewendet werden, wie zum Beispiel Anwendungen, die existierende LDR-Videos und Bildbibliotheken in HDR-Videos und Bilder für die Verwendung mit neuen HDR-Anzeigen konvertieren. Die Erfindung kann auch für eine LDR-Bilderweiterung verwendet werden, wo ein LDR-Bild zunächst in ein HDR-Bild konvertiert wird und dann Standardbildverarbeitungsschritte (wie zum Beispiel Glätten, Kantendetektion, usw.) angewandt werden, bevor das HDR-Bild zurück nach LDR unter Verwendung der Tone Mapping-Techniken konvertiert wird (wie zum Beispiel Reinhards Tone Mapping Operator).
-
Die Erfindung bietet also eine effiziente Technik zur Wiederherstellung von HDR-Werten aus einem einzelnen LDR-Bild.
-
Mit der Erfindung wird der dynamische Bereich von beiden Enden des Leuchtdichtenkanals (hohe und niedrige Teile) erweitert, während die Lösung aus dem Stand der Technik nur den hohen Teil erweitert. Dies vergrößert die Anzahl der sichtbaren Details über die mittleren/Schattenteile des Bildes. Dies vergrößert ferner den dynamischen Umfang des Bildes gegenüber dem Stand der Technik.
-
Die Verwendung der Belichtungspixelkurve der Kamera in der ersten Phase des Reverse Tone Mappings bietet eine realistischere Lichtausstrahlungskarte des Bildes und verbessert die atheistische Qualität des resultierenden Bildes.
-
Mit der Erfindung können neue HDR-Anzeigen zur Betrachtung existierender LDR-Bilder in vielen Anwendungen wie zum Beispiel der medizinischen Bildgebung verwendet werden.
-
Ferner kann die Qualität der Ausgabe von LDR-Kameras durch Verwendung des Reverse Tone Mappings nach den Ausführungsformen der Erfindung verbessert werden, um ein HDR-Bild mit höherer Qualität zu erzeugen, das durch Forward Tone Mapping zurück nach LDR gemappt werden könnte, wodurch eine signifikante Verbesserung des sichtbaren Kontrastes erreicht würde. Als ein Ergebnis kann die Detektion von Kanten für weitere Bildverarbeitungsoperationen vereinfacht werden.
-
Die Erfindung hat viele Anwendungsformen. Zum Beispiel kann sie als eine Erweiterungsoperation für digitale Bilder verwendet werden, wo weitere Bildverarbeitungsschritte besser in der HDR-Domain durchgeführt werden, wie zum Beispiel Kantendetektion und medizinische Bildgebung.
-
Noch allgemeiner kann die Erfindung auf jegliches digitales Signal angewendet werden, um zum Beispiel den dynamischen Umfang von Audiosignalen mit niedriger Qualität zu verbessern.
-
11 stellt ein Computersystem 90 dar, das zur Transformierung eines Videobildes von einem LDR-Bild zu einem HDR-Bild nach Ausführungsformen der vorliegenden Erfindung verwendet wird. Das Computersystem 90 umfasst einen Prozessor 91, ein Eingabegerät 92, das mit dem Prozessor 91 verbunden ist, ein Ausgabegerät 93, das mit dem Prozessor 91 verbunden ist, und Speichervorrichtungen 94 und 95, die jeweils mit dem Prozessor 91 verbunden sind. Der Prozessor 91 ist eine Verarbeitungseinheit wie zum Beispiel eine zentrale Verarbeitungseinheit (Central Processing Unit, CPU). Das Eingabegerät 92 kann unter anderem eine Tastatur, eine Maus, usw. sein. Das Ausgabegerät 93 kann unter anderem ein Drucker, ein Plotter, eine Anzeigevorrichtung (zum Beispiel ein Computerbildschirm), ein Magnetband, eine entfernbare Festplatte, eine Floppy Diskette und so weiter sein. Die Anzeigevorrichtung kann das Anzeigegebiet 10 aus 1 umfassen. Die Speichervorrichtungen 94 und 95 können unter anderem eine Festplatte, eine Floppy Diskette, ein Magnetband, ein optischer Speicher, wie zum Beispiel eine Compact Disc (CD) oder eine digitale Video Disc (DVD), ein dynamischer Zufallsspeicher (Dynamic Random Access Memory, DRAM), ein Lesespeicher (ROM) usw. sein. Die Speichervorrichtung 95 umfasst einen Computercode 97, der ein Computerprogramm ist, das computerausführbare Instruktionen umfasst. Der Computercode 97 umfasst einen Algorithmus zur Transformierung eines Videobildes von einem LDR-Bild in ein HDR-Bild. Der Prozessor 91 führt den Computercode 97 aus. Die Speichervorrichtung 94 umfasst Eingabedaten 96. Die Eingabedaten 96 umfassen Eingaben, die durch den Computercode 97 benötigt werden. Das Ausgabegerät 93 zeigt die Ausgabe des Computercodes 97 an. Eine oder beide der Speichervorrichtungen 94 und 95 (oder eine mehrere zusätzliche Speichervorrichtungen, die in 13 nicht gezeigt sind), können als ein computerverwendbares Speichermedium (oder Programmspeichervorrichtung) mit einem computerlesbaren Programm, das darauf verkörpert ist, und/oder mit anderen darauf gespeicherten Daten verwendet werden, wobei das computerlesbare Programm den Computercode 97 umfasst. Im Allgemeinen kann ein Computerprogrammprodukt (oder alternativ eine Vorrichtung) des Computersystems 90 besagtes Computer nutzbares Speichermittel (oder die besagte Programmspeichervorrichtung) umfassen.
-
Während 11 das Computersystem 90 als eine bestimmte Konfiguration von Hardware und Software zeigt, kann jegliche Konfiguration von Hardware oder Software, wie sie einem Fachmann bekannt wäre, für die oben genannten Zwecke in Verbindung mit dem bestimmten Computersystem 90 von 11 verwendet werden. Zum Beispiel können die Speichervorrichtungen 94 und 95 eher Teil einer einzelnen Speichervorrichtung als separate Speichervorrichtungen sein.
-
Während bestimmte Ausführungsformen der vorliegenden Erfindung hier zum Zwecke der Darstellung beschrieben wurden, können viele Modifizierungen und Veränderungen für den Fachmann offensichtlich sein.