DE112010003988B4 - Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR) - Google Patents

Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR) Download PDF

Info

Publication number
DE112010003988B4
DE112010003988B4 DE112010003988.7T DE112010003988T DE112010003988B4 DE 112010003988 B4 DE112010003988 B4 DE 112010003988B4 DE 112010003988 T DE112010003988 T DE 112010003988T DE 112010003988 B4 DE112010003988 B4 DE 112010003988B4
Authority
DE
Germany
Prior art keywords
image
light emission
field
pixel
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112010003988.7T
Other languages
English (en)
Other versions
DE112010003988T5 (de
Inventor
Ahmed El-Mahdy
Hisham El-Shishiny
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112010003988T5 publication Critical patent/DE112010003988T5/de
Application granted granted Critical
Publication of DE112010003988B4 publication Critical patent/DE112010003988B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

Verfahren zur Transformierung eines digitalen Bildes von einem Bild mit geringem dynamischen Umfang (LDR), das mit einer gegebenen Kamera aufgenommen wurde, in ein Bild mit einem hohen dynamischen Umfang (HDR), wobei das Verfahren Folgendes umfasst: Erfassen der Belichtungspixel-Ansprechkurve für die gegebene Kamera (21); Konvertierung des LDR-Bildes in HSB-Farbraumfelder, wobei die HSB-Farbraumfelder ein Farbtonfeld, ein Sättigungsfeld und ein Helligkeitsfeld umfassen (22); Bestimmung eines Lichtausstrahlungsfeldes durch inverses Mapping jedes Pixels in dem Helligkeitsfeld unter Verwendung der Umkehrfunktion der Belichtungspixel-Ansprechkurve (23, 24); Bestimmen für jeden Pixel (u, v) in dem Lichtausstrahlungsfeld den lokalen Leuchtdichten-Durchschnitt (50) von i Faltungskerneln, die folgendermaßen definiert sind: Kerneli[] = Gauß-Kernel(ri)[],wobei das Bestimmen für jeden Pixel (u, v) in dem Lichtausstrahlungsfeld den lokalen Leuchtdichten-Durchschnitt folgendermaßen durchgeführt wird: ...

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich im Allgemeinen auf Bildverarbeitung und im Besonderen auf ein Verfahren und ein System zur Transformation eines digitalen Bildes von einem Bild mit niedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR).
  • Hintergrund der Erfindung
  • Eine sich entwickelnde Technologie im Gebiet der digitalen Fotografie ist das sogenannte High Dynamic Range Imaging (HDRI). HDRI bietet die Aufnahme eines Großteils der Leuchtdichte der wirklichen Welt, wodurch es möglich gemacht wird, ein Bild so nah wie möglich an der Realität zu reproduzieren, wenn geeignete Anzeigen dafür verwendet werden. High Dynamic Range Imaging bietet daher eine Wiedergabe von Szenen mit Werten, die den Lichtebenen der realen Welt entsprechen. Die reale Welt produziert eine Lichtintensitätsvariation in einem Bereich von zwölf Größenordnungen, was viel größer ist als die drei Größenordnungen, die in der gegenwärtigen digitalen Bildverarbeitung gebräuchlich sind. Der Umfang der Werte, die jeder Pixel gegenwärtig in einem digitalen Bild repräsentieren kann, ist typischerweise 256 Werte pro Farbkanal (mit einem Maximum von 65536 Werten), was nicht passend für die Darstellung vieler Szenen ist. Mit HDR-Bildern können Szenen mit einem Lichtintensitätumfang aufgenommen werden, der repräsentativ für die Szene und den Umfang der Werte ist, der eher an die Grenzen des menschlichen Sehvermögens angepasst ist als an irgendeine Anzeigevorrichtung. Bilder, die für die Anzeige mit gegenwärtigen Anzeigetechnologien passend sind, werden Low Dynamic Range(LDR)-Bilder genannt. Die visuelle Qualität von High Dynamic Range-Bildern ist viel besser als die von konventionellen Low Dynamic Range-Bildern. HDR-Bilder unterscheiden sich von LDR-Bildern im Hinblick auf die Aufnahme, Speicherung, Verarbeitung und Anzeige solcher Bilder und gewinnen zügig hohe Akzeptanz in der Fotografie.
  • Da sich die Nutzung von HDRI im Gebiet der digitalen Fotografie verbreitet, gibt es ein wachsendes Bedürfnis für HDRI-Anzeigen, die dazu ausgebildet sind, sowohl Standbilder als auch Videos anzuzeigen. Dies stellt eine signifikante Änderung der Anzeigenqualität gegenüber traditionellen Anzeigen dar. Da allerdings die existierenden Medien keinen hohen Dynamikumfang haben, ist die Nutzbarkeit der HDRI-Anzeigen begrenzt auf neu aufgenommene HDRI-Bilder unter Verwendung von HDRI-Sensoren. Existierende Lösungen, um existierende Bilder mit niedrigerem Dynamikumfang (Low Dynamic Range, LDR) in äquivalente HDR-Bilder zu konvertieren, sind gegenwärtig als „Reverse Tone Mapping” bekannt. Reverse Tone Mapping erfordert im Allgemeinen zwei Phasen. Eine erste Phase wird durchgeführt, um die Leuchtdichte eines Eingangs-LDR-Bildes in eine HDR-Leuchtdichte (auch HDR-Lichtausstrahlung bezeichnet) abzubilden. Wegen der Bildquantisierung resultiert diese Phase in einem Verlust von Details und fügt ein Rauschen in der Region hoher Leuchtdichte hinzu. Die zweite Phase beseitigt diesen Defekt durch Glättung solcher Regionen, während es auch ermöglicht wird, unter Umständen den Dynamikumfang weiter zu erhöhen.
  • Eine bekannte Lösung zur Durchführung der ersten Phase ist der Ansatz, der in dem Artikel von Rempel A. G., Trentacoste M., Seetzen H., Young H. D., Heidrich W., Whitehead L., und Ward G., mit dem Titel ”Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs”, ACM SIGGRAPH 2007 Papers (San Diego, Kalifornien, 5.–9. August, 2007) gewählt wurde und auf einem schnellen inversen Verfahren aufbaut, das für Echtzeit-Videobearbeitung geeignet ist. Nach diesem Ansatz wird ein inverses Gamma-Mapping durchgeführt, und dann wird der Dynamikumfang auf 5000 erhöht. Ferner werden Glättefilter durchgeführt, um den Quantisierungseffekt zu verringern.
  • Eine andere Lösung zur Durchführung der ersten Phase des Reverse Tone Mappings wird in dem Artikel mit dem Titel „Inverse Tone Mapping” beschrieben, Proceedings of the 4th international Conference an Computer Graphics and interactive Techniques in Australasien und Südostasien (Kuala Lumpur, Malaysia, 29. November–2. Dezember, 2006), GRAPHITE'06, ACM, New York, NY, 349–356 von Banterle F., Ledda P., Debattista K., und Chalmers A.. Diese Lösung nutzt eine inverse Mapping-Funktion, die auf einem globalen Tone-Mapping-Operator basiert, der zuvor durch Reinhard E., Stark M., Shirley P., und Ferwerda J. in einem Artikel mit dem Titel ”Photographic tone reproduction for digital images”, ACM Trans. Graph. 21, 3 (Jul. 2002), 267–276, beschrieben wurde. Durch Lösen einer quadratischen Gleichung erhält man inverse Werte, wodurch ein wesentlich größerer Dynamikumfang erzeugt wird und der Umfang selektiv bei bestimmten Pixeln verkleinert wird. Allerdings bieten diese existierenden Lösungen eine inverse Tone Mapping-Funktion für die erste Phase, die nicht genau genug ist. Die erhaltene Lichtausstrahlung stimmt wegen der „generischen” inversen Mapping-Funktion nicht mit der Lichtausstrahlung der realen Welt überein. Dies nähert die Lichtausstrahlungswerte der realen Welt grob an.
  • Es existieren zwei verschiedene Ansätze zur Durchführung der zweiten Phase des Reverse Tone Mappings. Der erste Ansatz, der durch Rempel et al. in dem Artikel mit dem Titel ”Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs”, ACM SIGGRAPH 2007 Papers (San Diego, Kalifornien, 5.–9. August, 2007) beschrieben wurde, erzeugt eine Gauß-Maske über Pixel, die einen hohen Wert übertreffen. Vielmehr verwendet dieser Ansatz eine Edge-Stopping-Funktion, um lokale Kontraste an den Kanten zu verbessern. Die resultierende Helligkeitsfunktion wird dazu verwendet, die Ausleuchtung wesentlich zu erweitern. Eine komplexere Technik ist die in Bantele et al., Proceedings of the 4th international Conference an Computer Graphics and interactive Techniques in Australasien und Südostasien (Kuala Lumpur, Malaysia, 29. November–2. Dezember, 2006), GRAPHITE'06, ACM, New York, NY, 349–356, beschrieben. Dieser zweite Ansatz umfasst die Segmentierung des Eingangbildes mit Regionen gleicher Lichtintensitäten unter Verwendung eines Medianschnittalgorithmus (Debevec P., ”A median cut algorithm for light probe sampling”, in ACM SIGGRAPH 2006 Courses (Boston, Massachusetts, 30. Juli–3. August, 2006), SIGGRAPH'06, ACM, New York, NY, 6). Die Schwerpunkte dieser Regionen werden dazu verwendet, Lichtdichten zu schätzen und eine „Expandierungs” karte zu konstruieren. Die Karte wird dann dazu benutzt, das finale HDR-Bild durch Leiten einer Interpolierungsoperation zwischen dem Eingabe-LDR und dem inversen LDR-Bild zu erzeugen. Diese Lösungen für die zweite Phase des Reverse Tone Mappings bauen auf dem Finden von Pixeln mit hohen Leuchtdichtwerten auf und nutzen dieses, um den dynamischen Bereich dieser Pixel zu erweitern. Allerdings geschieht eine solche Extrapolierung nur um die Leuchtdichte der Hotspots (Highlights) und den naheliegenden Regionen zu erweitern und verringert nie die Leuchtdichte in dunklen Regionen (Schatten). Demnach führen sie effektiv eine einseitige Erweiterung des dynamischen Umfanges unter Verwendung lokaler Operationen durch (die Schatten werden global erweitert), wodurch sie die Qualität der Schattenregionen in dem resultierenden HDR-Bild beeinflussen. Die WO 2008/066 840 A2 offenbart ein Verfahren zur Erhöhung des dynamischen Bereichs von originalen Bilddaten, die ein Bild darstellen, wobei das Verfahren Folgendes umfasst: in einer beliebigen Reihenfolge: Anwenden einer Expansionsfunktion, um aus den originalen Bilddaten expandierte Daten zu generieren, die im Hinblick auf mögliche Pixelwerte einen dynamischen Bereich aufweisen, der größer ist als der der originalen Bilddaten; und Erhalten einer Expandierungskarte, die Daten umfasst, die einen Leuchtdichtegrad von Regionen anzeigt, die Pixeln in dem Bild zugeordnet sind; und Kombinieren der originalen Bilddaten und der expandierten Daten gemäß der Expandierungskarte, um optimierte Bilddaten zu erhalten. Die WO 2008/066 840 A2 ferner offenbart eine Vorrichtung zum Erweitern des dynamischen Bereichs von originalen Bild-Daten, wobei die Vorrichtung Folgendes umfasst: einen Expandierer des dynamischen Bereichs, der so angeschlossen ist, dass er originale Bilddaten und ausgegebene expandierte Daten empfängt, die im Hinblick auf mögliche Pixelwerte einen dynamischen Bereich aufweisen, der größer ist als der der originalen Bilddaten; einen Leuchtdichteverteilungsanalysator, der dafür konfiguriert ist, eine Expandierungskarte zu generieren, welche die Leuchtdichte von Regionen anzeigt, die Pixeln in dem Bild der originalen Bilddaten zugeordnet sind; einen Bildkombinierer, der dafür konfiguriert ist, die originalen Bilddaten mit den expandierten Daten aus dem Expandierer des dynamischen Bereichs entsprechend der Expandierungskarte zu kombinieren, um optimierte Bilddaten zu erhalten.
  • Die Veröffentlichung „Expanding low dynamic range vdeos for high dynamic range applications” offenbart ein Algorithmus und dazugehörige Verfahren, die den Kontrastumfang von LDR-Videos erweitern um die fehlende HDR-Daten wiederherzustellen. Die Erweiterung ist mittels Invertierung eines bewiesen Tone Mapping-Operators implementiert (BANTERLE, F. et al.: „Expanding Low Dynamic Range Videos for High Dynamic Range”. In: ACM Conference an Computer Graphics, 21.04.2008, S. 1–8). Die Veröffentlichung „Bit-Depth Scalable Video Coding” offenbart ein Verfahren zur Umwandlung von Videodaten mit unterschiedlichen Bitumfang.
  • Zusammenfassung der Erfindung
  • Um diese und andere Probleme zu adressieren, wird ein Verfahren nach dem angehängten unabhängigen Anspruch 1, ein Computerprogramm, ein computerlesbares Medium und ein System jeweils nach den angehängten Ansprüchen 9, 10 und 11 bereitgestellt. Bevorzugte Ausführungsformen sind in den angehängten abhängigen Ansprüchen definiert.
  • Im Allgemeinen bietet die vorliegende Erfindung ein verbessertes Reverse Tone Mapping für die Transformierung eines LDR-Bildes in ein HDR-Bild.
  • Nach einem Aspekt der Erfindung wird die Ansprechkurve der Kamera dazu verwendet, die Lichtausstrahlungskarte des Bildes zu rekonstruieren anstatt eine inverse Gamma- oder eine übliche festgelegte inverse Funktion, wie sie in den Lösungen aus dem Stand der Technik angegeben wurden, durchzuführen.
  • Ein anderer Aspekt der Erfindung baut auf Kontrastausgleichs- und Nachbelichtungsoperationen auf, um selektiv jeweils die Leuchtdichte zu erhöhen oder die Leuchtdichte eines Bildes zu verringern. Die Erfindung wendet eine Operation in der HDR-Domain an, die dem Abwedeln und Nachbelichten ähnelt, um den dynamischen Bereich eines Bildes zu vergrößern. Dies erweitert im Allgemeinen auch den lokalen Kontrast, wodurch mehr sichtbare Details ermöglicht werden, die in dem LDR-Bild nicht sichtbar sind. Zusätzlich dazu ermöglicht die Anwendung einer Operation, die dem Abwedeln und Aufhellen ähnelt, in der HDR-Domain die Durchführung einer Glättung, wodurch die Quantisierungseffekte verringert werden.
  • Bestimmte Vorteile der vorliegenden Erfindung umfassen die folgenden:
    • 1. Eine vereinfachte Technik, um HDR-Werte aus einem einzigen LDR-Bild wiederherzustellen; diese Technik ist leichter als die Rekonstruierung von Bildern aus einer Sequenz von verschieden belichteten Bildern wie im Stand der Technik.
    • 2. Erweiterung des dynamischen Umfangs von beiden Enden des Leuchtdichtenkanals (hohe und niedrige Teile), wohingegen die Lösungen aus dem Stand der Technik den hohen Teil erweitern.
    • 3. Erhöhtes Niveau der sichtbaren Details über die mittleren/Schattenteile des Bildes.
    • 4. Eine realistischere Lichtausstrahlungskarte des Bildes unter Verwendung der Ansprechkurve der Kamera.
    • 5. Verbesserte atheistische Qualität des resultierenden Bildes unter Verwendung einer getesteten fotografischen Technik.
    • 6. Eine neue HDR-Anzeige zur Darstellung existierender LDR-Bilder für wichtige Anwendungen, wie zum Beispiel medizinische Bildgebung, kann verwendet werden.
    • 7. Verbesserte Qualität der Ausgabe von LDR-Kameras durch Verwendung des Reverse Tone Mappings, um ein HDR-Bild mit höherer Qualität zu erzeugen, das durch Forward Tone Mapping zurück in LDR gemappt werden kann, wobei eine signifikante Verbesserung im sichtbaren Kontrast erreicht wird.
    • 8. Leichtere Detektierung von Kanten für weitere Bildverarbeitungsoperationen.
    • 9. Anwendung als eine Erweiterungsoperation auf digitale Bilder, wo weitere Bildverarbeitung besser in der HDR-Domain funktioniert wie zum Beispiel für eine Kantendetektierungsoperation in dem Gebiet von medizinischer Bildgebung.
  • Weitere Vorteile der vorliegenden Erfindung werden dem Fachmann bei Studium der Zeichnungen und der detaillierten Beschreibung klar. Es ist die Intention, dass irgendwelche zusätzlichen Vorteile hierein mitaufgenommen werden.
  • Kurze Beschreibung der Zeichnungen
  • Ausführungsformen der vorliegenden Erfindung werden nun lediglich als Beispiel mit Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen gleiche Bezugszeichen ähnliche Elemente bezeichnen und in denen:
  • 1 ein Systemblockdiagramm für die Erzeugung eines Bildes mit hohem Dynamikumfang (High Dynamic Range, HDR) aus einem Bild mit geringem Dynamikumfang (Low Dynamic Range, LDR) nach Ausführungsformen der Erfindung ist,
  • 2 ein Flussdiagramm auf hoher Ebene ist, das die Erzeugung eines Bildes mit hohem Dynamikumfang (HDR) aus einem Bild mit niedrigem Dynamikumfang (LDR) nach Ausführungsformen der vorliegenden Erfindung beschreibt;
  • 3 eine beispielhafte Ansprechkurve einer Kamera zeigt;
  • 4 die inverse Ansprechkurve darstellt, die aus der Ansprechkurve der Kamera aus 3 nach Ausführungsformen der vorliegenden Erfindung erhalten wurde;
  • 5 ein Flussdiagramm zeigt, das die Abwedel- und Nachbelichtungsoperation in der HDR-Domain beschreibt;
  • 6 ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes für die erste Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung darstellt;
  • 7 ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes für das Reverse Tone Mapping der ersten Phase und der zweiten Phase nach Ausführungsformen der vorliegenden Erfindung darstellt;
  • 8 ein Flussdiagramm ist, das die Bilderzeugung nach Ausführungsformen der vorliegenden Erfindung darstellt;
  • 9 eine Tabelle zeigt, die beispielhafte Werte der Summen von Blau/Grün-Pixeln indiziert, die durch den Vergleich von Bildern erhalten wurden; und
  • 10 ein Diagramm ist, das die Werte repräsentiert, die von der Tabelle aus 8 umfasst sind;
  • 11 ein Computersystem darstellt, das für die Transformation eines LDR-Bildes in ein HDR-Bild nach Ausführungsformen der vorliegenden Erfindung genutzt wird.
  • Die Zeichnungen sollen lediglich typische Ausführungsformen der Erfindung darstellen und sollten deshalb nicht als den Schutzbereich der Erfindung begrenzend betrachtet werden.
  • Detaillierte Beschreibung
  • Die vorliegende Erfindung bietet ein Reverse Tone Mapping-Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mit einem niedrigen dynamischen Umfang (Low Dynamic Range, LDR) in ein Bild mit einem hohen dynamischen Umfang (High Dynamic Range, HDR). Die Reverse Tone Mapping-Lösung nach der Erfindung ist für Prozessoren jeglichen Types geeignet, die zur Ausführung digitaler Berechnungen und damit in Verbindung stehender Logiken geeignet sind.
  • 1 zeigt ein System 100 zur Erzeugung eines HDR-Bildes aus einem Eingabe-LDR-Bild. 1 zeigt den Datenfluss zwischen Systemkomponenten, wobei jede Komponente durch einen Namen bezeichnet wird, hier mit dem Buchstaben „C”, dem eine Zahl folgt. Auf diese Systemkomponenten wird weiter unten durch die Verwendung der Bezeichnung C1, C2, ..., C5 Bezug genommen. Im Betrieb wird dem System zunächst ein LDR-Bild eingegeben und dem Farbraumkonverter C1 zugeführt, wo das Bild in den Farbton-, Farbsättigungs- und Helligkeitsfarbraum (Hue, Saturation and Brightness, HSB) konvertiert wird, wodurch drei entsprechende Felder erzeugt werden. Das Helligkeitsfeld und die Ansprechkurve der Kamera werden dem inversen Mapper C2 hinzugefügt. Der Mapper verwendet dann die zur Verfügung gestellte Ansprechkurve, um das Helligkeitsfeld in ein Lichtausstrahlungsfeld invers zu mappen. Der lokale Kontrast Engine C3 berechnet den lokalen Kontrast für das Lichtausstrahlungsfeld durch Erzeugung eines lokalen Leuchtdichten-Durchschnittsfelds (Local Luminance Average, LLA). Der Abwedel-/Nachbelichtungsengine C4 nutzt das LLA-Feld, um das Lichtausstrahlungsfeld abzuwedeln/nachzubelichten, wodurch ein erweitertes Lichtausstrahlungsfeld erzeugt wird.
  • Das erzeugte Feld mit den Farbsättigkeits- und Farbtonfeldern wird dann dem Farbraumkonverter C5 zugeführt, wo das Bild in den ursprünglichen Eingabe-LDR-Farbraum (zum Beispiel RGB) konvertiert wird, wodurch das Ausgabe-HDR-Bild erzeugt wird.
  • Um das Reverse Tone Mapping während einer ersten Phase auf ein LDR-Bild anzuwenden, wird die Leuchtdichte eines Eingabe-LDR-Bildes invers in eine erweiterte HDR-Leuchtdichte gemappt. Dieser initiale Schritt umfasst den Verlust von Details und fügt ein Rauschen in der Region mit hoher Leuchtdichte hinzu, welches während einer zweiten Phase, die diese Regionen glättet, ausgeräumt wird.
  • Nach den Ausführungsformen der vorliegenden Erfindung wird die erste Phase des Reverse Tone Mappings unter Verwendung der Informationen des Aufnahmesensors/-vorrichtung durchgeführt. Die Sensoridentifizierung kann in den meisten Bildern, die sowohl mit Digitalkameras als auch mit Filmkameras aufgenommen wurden, jederzeit ausgelesen werden. Diese erste Phase konstruiert eine initiale Lichtausstrahlungskarte durch ein inverses Tone Mapping des Eingabebildes unter Verwendung der Ansprechkurve der Kamera.
  • 2 zeigt ein Flussdiagramm von einer hohen Ebene, das diese erste Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung beschreibt.
  • Zunächst gibt Schritt 20 ein LDR-Bild ein und speichert dann das LDR-Bild im Speicher. Solch ein LDR-Bild könnte in einer Vielzahl von Farbräumen dargestellt sein. Ein Standard-Farbraum ist der RGB-Raum, in dem die Farbe jedes Pixels durch drei Komponenten, nämlich rot (R), grün (G) und blau (B) dargestellt wird. Ein anderer Farbraum ist Luv, wobei L die Leuchtdichtekomponente und u und v jeder eine Chrominanzkomponente sind. Das Reverse Tone Mapping wird auf dem Leuchtdichtenkanal angewandt.
  • Schritt 21 erhält die Belichtungspixel-Ansprechkurve für die gegebene Kamera. Die Belichtungspixel-Ansprechkurve ist für jede Kamera intrinsisch und könnte direkt von einem Sensordatenblatt erhalten werden. Alternativ kann die Belichtungspixel-Ansprechkurve durch eine Analyse einer Sequenz verschiedener belichteter Bilder der gleichen Szene bestimmt werden. Die Belichtungs-Ansprechkurve kann gemessen, berechnet, geschätzt oder sogar von einem nichtlokalen Ort empfangenen werden. Die Kurve ist im Wesentlichen pro Kamera konstant, wodurch daher kein Bedürfnis zur Wiederholung der Rekonstruktion der Ansprechfunktion für weitere Bilder, die durch dieselbe Kamera erzeugt wurden, besteht. In der folgenden Beschreibung wird die Belichtungspixel-Ansprechkurve als eine Funktion „f(x)” bezeichnet, wobei x einen gegebenen Belichtungswert bezeichnet. y = f(x) stellt dann den Pixel-Leuchtdichtenwert für die angegebene Belichtung x dar. Die Belichtungspixel-Ansprechkurve stellt Lichtausstrahlungswerte der realen Welt für die Bilder zur Verfügung. Diese Werte sind genauer als die unter Verwendung der einfachen inversen Gammaverfahren des Standes der Technik erhaltenen.
  • In Schritt 22 wird das LDR-Eingabebild in HSB-Farbraumfelder konvertiert, wobei H den Farbton darstellt, S die Farbsättigung und B die Helligkeit darstellt. HSB (auch bekannt als HSL-Darstellung) ist eine Darstellung von Punkten in einem RGB-Farbmodell, die perzeptuelle Farbbeziehungen genauer beschreiben als RGB. In der folgenden Beschreibung wird das Farbtonfeld durch „Farbton []” dargestellt, das Farbsättigungsfeld wird durch „Sättigung []” dargestellt und die Helligkeit wird durch „Helligkeit []” dargestellt.
  • In Schritt 23 wird für jedes Pixel in dem Helligkeitsfeld (Feld Helligkeit []) sein Wert invers unter Verwendung der Ansprechkurve gemappt und die erhaltene Belichtung wird in Lichtausstrahlung [i] gespeichert. Unter Verwendung der Notation „f–1(y)”, um die Umkehrfunktion der Belichtungspixel-Ansprechfunktion f(x) zu bezeichnen, gibt dann f–1(y) für einen Eingabepixelwert y den Belichtungswert x aus. Demnach ist die Lichtausstrahlung für einen Kanaliterator i wie folgt definiert: Lichtausstrahlung [i] = f–1 (Helligkeit[i]), wobei das Feld Lichtausstrahlung [] die erhaltene Lichtausstrahlungskarte ist.
  • In Schritt 24 wird daher die erhaltene Lichtausstrahlungskarte im Speicher gespeichert. Durch Rekonstruktion der Lichtausstrahlungskarte des Bildes unter Verwendung der Belichtungspixel-Ansprechkurve der Kamera stellt die Erfindung eine realistischere Lichtausstrahlungskarte zur Verfügung als die durch die Lösungen aus dem Stand der Technik erhaltenen, die auf einer inversen Gammafunktion oder einer standardmäßigen festen inversen Funktion fußen.
  • 3 zeigt eine beispielhafte Ansprechkurve einer Kamera. Die x-Achse mit dem Titel „Belichtung” stellt die Belichtungswerte der realen Welt dar und die y-Achse mit dem Titel „Pixelhelligkeitswert” stellt die entsprechenden Pixelausstrahlungswerte dar, die durch die Kamera aufgenommen wurden. „Belichtung” wird als Strahlungsstärke, die der Sensor empfängt, multipliziert mit der Belichtungszeit definiert. Die Einheit ist Wattsekunden pro Quadratmeter. Die Pixel-Lichtausstrahlungswerte nehmen ganzzahlige Werte von 0 bis 255 an, wobei die Belichtungswerte reale Zahlen sind.
  • 4 zeigt die inverse Ansprechkurve für die beispielhafte Ansprechkurve der Kamera, die in 2 dargestellt war. Die Pixelachse mit dem Titel „Pixelhelligkeitswert” bezeichnet die Pixel-Lichtausstrahlungswerte und die y-Achse mit dem Titel „Belichtung” bezeichnet die entsprechende Belichtung der realen Welt.
  • Die Ansprechkurve ahmt die Realität so nah wie möglich nach. An dieser Stelle könnte das Lichtausstrahlungsfeld „Lichtausstrahlung []”, das in Schritt 24 erhalten wurde, mit dem Farbtonfeld „Farbton []” und mit dem Sättigungsfeld „Sättigung []” kombiniert werden, um sie mit einem Bild zu assoziieren und dann das Bild in den Farbraum des ursprünglichen Bildes zu konvertieren, um das HDR-Bild bereitzustellen. Allerdings könnte die Kamerakurve selber keinen ausreichenden hohen Dynamikumfang erzeugen und auch Quantisierungsartefakte hinzufügen. Die zweite Phase des Reverse Tone Mappings nach der Erfindung kompensiert die Unzulänglichkeiten des Glättungsmappings und Artefakte, die durch die Verwendung der Ansprechkurve der Kamera hinzugefügt wurden.
  • 5 stellt die zweite Phase des Reverse Tone Mappings nach Ausführungsformen der vorliegenden Erfindung dar. Während der zweiten Phase wird ein dem Abwedeln und Nachbelichten ähnlicher Vorgang verwendet, um selektiv jeweils die Leuchtdichte zu erhöhen oder die Leuchtdichte eines Bildes zu verringern. Der Abwedelvorgang erhöht die Leuchtdichte, wohingegen der Nachbelichtungsvorgang die Leuchtdichte eines Pixels verringert. Die Erfindung wendet dem Abwedeln und Nachbelichten ähnliche Operationen in der HDR-Domain an, um den dynamischen Bereich eines Bildes zu erweitern. Für Highlights würde eine Abwedeloperation den dynamischen Bereich für Regionen mit niedrigen lokalen Kontrasten weiter erweitern. Für Schatten würde eine Nachbelichtungsoperation den dynamischen Umfang des Verbliebenen weiter erweitern, wodurch die minimale Leuchtdichte von Pixeln verringert würde (was ferner den dynamischen Umfang des Bildes erweitert). Dies erweitert im Allgemeinen auch den lokalen Kontrast, wodurch mehr sichtbare Details ermöglicht werden, die in dem LDR-Bild nicht sichtbar sind. Zusätzlich dazu ermöglicht die Verwendung einer dem Abwedeln und Nachbelichten ähnlichen Operation in der HDR-Domain die Durchführung einer Glättung, wodurch die Quantisierungseffekte verringert werden.
  • In Schritt 50 wird für jeden Pixel (u, v) in dem Feld Lichtausstrahlung [] der lokale Lichtausstrahlungs-Durchschnitt lokaler_Lichtausstrahlungs_Durchschnitt [u, v] berechnet. Der lokale Lichtausstrahlungs-Durchschnitt beim Pixel (u, v) kann wie folgt aus dem in ”Photographic tone reproduction for digital images”, ACM Trans. Graph. 21, 3 (Jul. 2002), 267–276, von Reinhard E., Stark M., Shirley P., und Ferwerda J. entwickelten Ansatz berechnet werden.
  • Die Faltungskernel werden als Kernel; [] = Gauß-Kernel (ri)[] gesetzt, wobei ri der Radius des Gauß-Kernels ist und i den lokalen Kontrast-Skalierungsindex bezeichnet. Die Werte von ri variieren. In einer bestimmten Ausführungsform der Erfindung wird dieser Wert auf 1/(2·Sqrt(2))·1.6i gesetzt. Die Werte von i variieren von 0 bis 8.
  • Der lokale Leuchtdichtenindex beim Pixel (u, v) für den Wert i wird als lokaler Leuchtdichte_Durchschnitti[u, v] = Kerneli Lichtausstrahlung [] berechnet.
  • Dann wird der Minimalwert M des Parameters i berechnet, so dass: Abs(lokaler_Leuchtdichte_Durchschnitti[u, v]-lokaler_Leuchtdichte_Durchschnitti+1[u, v]) < ε wobei ε den Schwellwert bezeichnet und die Werte von i zwischen 0 und 7 variieren.
  • Lokaler_Leuchtdichten_Durchschnitt [u, v] wird letztendlich auf lokaler Leuchtdichten-Durchschnittm [u, v] gesetzt, welcher den lokalen Leuchtdichten-Durchschnitt beim Pixel (u, v) ausgibt.
  • In Schritt 51 wird die Leuchtdichte jedes Pixels durch Verwendung des lokalen Leuchtdichten-Durchschnittes lokaler_Leuchtdichten_Durchschnitt [u, v] eingestellt. Der neue Lichtausstrahlungswert „Lichtausstrahlung'[u, v]” wird wie folgt definiert: Lichtausstrahlung'[u, v] = Lichtausstrahlung[u, v]·Lichtausstrahlung[u, v]/lokaler_Leuchtdichten_Durchschnitt[u, v]
  • Nach der Erfindung wird diese Operation in der HDR-Domain durchgeführt. In der Tat wurde vom Anmelder beobachtet, dass, wenn die (u, v) umgebenden Pixel heller als der Ursprungspixel (u, v) ist, die Lichtausstrahlung des (u, v)-Pixels verringert wird, wodurch der lokale Kontrast erhöht wird. In ähnlicher Weise wurde beobachtet, dass, wenn die umgebenden Pixel dunkler sind als der Ursprungspixel, die Lichtausstrahlung des Ursprungspixels (u, v) vergrößert wird, wodurch der lokale Kontrast erhöht wird. Sowohl die Verringerung als auch die Vergrößerung der Lichtausstrahlung werden durch das folgende Verhältnis bestimmt: Lichtausstrahlung[u, v]/lokaler_Leuchtdichten_Durchschnitt[u, v]
  • Dieses Verhältnis verhält sich als ein Lichtausstrahlungs-Skalierungsfaktor, der eine arbiträre Skalierung ohne Komprimierung erlaubt.
  • Diese zweite Phase des Reverse Tone Mappings nach bestimmten Ausführungsformen der Erfindung erhöht daher den dynamischen Umfang der Lichtausstrahlung, während der lokale Kontrast des Bildes durch Abwedeln und Nachbelichten vergrößert wird. Als solche verwendet die Erfindung das fotografische Konzept des Abwedelns/Nachbelichtens, um ein HDR-Bild mit Fotografiequalität zu erzeugen.
  • In Schritt 52 wird das Lichtausstrahlungsfeld „Lichtausstrahlung []” mit dem Farbtonfeld „Farbton []” und mit dem Farbsättigungsfeld „Sättigung []” kombiniert, sodass sie nun mit einem Bild assoziiert sind und dann das Bild in den ursprünglichen Bildfarbraum in Schritt 53 konvertiert wird. Für die Verwendung von Standardprogramm-Bibliothekroutinen (wie zum Beispiel die get_RGBtoHSV () in der cimg-Programmbibliothek cimg.sourceforg.org) wird die Bildverarbeitung unter Verwendung der folgenden Gleichung berechnet, wobei Convert () das Bild zurück in den ursprünglichen Bildfarbraum konvertiert: Convert(Farbton[], Sättigung[], Lichtausstrahlung[]/max(Lichtausstrahlung[]))·max(Lichtausstrahlung)
  • Der Divisionsteil dieser Gleichung „Lichtausstrahlung[]/max(Lichtausstrahlung[]” wird verwendet, weil die Pixelwerte normalerweise normalisiert werden, sodass sie von 0 bis 1 variieren können.
  • 6 zeigt ein beispielhaftes Histogramm des ursprünglichen Lichtausstrahlungsfeldes, welches unter Verwendung nur der ersten Phase des Reverse Tone Mappings nach den Ausführungsformen der Erfindung erhalten wird. Das Lichtausstrahlungsfeld wird aus einem Eingabe-LDR-Bild erzeugt. Die x-Achse des Histogramms bezeichnet die log2-Belichtungswerte und die y-Achse bezeichnet die Häufigkeit. Wie gezeigt, ist die maximale log2-Belichtung 8,3 und die minimale ist –9,38, wodurch sich ein dynamischer Bereich von 210,381 (5 Größenordnungen) ergibt. Dies ist ein typischer Wert in normalen Szenen des wirklichen Lebens.
  • 7 zeigt das Histogramm nach der zweiten Phase des Reverse Tone Mappings nach den Ausführungsformen der Erfindung. Die maximale log2-Belichtung ist nun 8,71 und die minimale ist –15,52, was einen dynamischen Bereich von 1,98·107 ergibt. Daher hat die zweite Phase den dynamischen Umfang um 2 Größenordnungen erhöht. Es ist also zu beachten, dass das Histogramm glatter und an beiden Seiten weitreichender Ist mit mehr Betonung auf den Schatten.
  • Zur Beurteilung der Qualität des erzeugten HDR-Bildes kann die MPI-HDR-Metrik verwendet werden (MPI ist die Abkürzung für Max-Planck-Institut der Informatik). Diese Metrik wurde definiert in dem Artikel mit dem Titel ”Dynamic range independent image quality assessment”, ACM SIGGRAPH 2008 Papers (Los Angeles, Kalifornien, 11.–15. August, 2008). SIGGRAPH'08. ACM, New York, NY, 1–10”, von Aydin T. O., Mantiuk R., Myszkowski K., und Seidel H.. Diese Bildqualitätsmetrik wird auf ein Bildpaar angewendet, wo beide Bilder arbiträre dynamische Bereiche haben. Nach dieser Metrik wird ein Zusammenfassungsbild mit blauen, grünen und roten Pixeln erzeugt. Die Farbe wird für jedes Pixel abhängig von dem höchsten Beitrag bestimmt. Blaue Pixel indizieren Pixel mit verbessertem Kontrast (nicht sichtbar auf dem Eingabebild und sichtbar auf dem Ausgabebild), grüne Pixel indizieren einen Verlust von Kontrast und rote Pixel initiieren eine Umkehrung des Kontrasts. Die Werte jeder Farbe repräsentieren die Wahrscheinlichkeit, dass der Defekt sichtbar wird. Die Erfinder haben beobachtet, dass die blauen und grünen Parameter der Metrik besonders signifikant zur Beurteilung der Bildqualität zu sein scheinen. In der Tat schien es so, dass, wenn grün verringert wird und blau so viel wie möglich erhöht wird, der Kontrast verbessert werden kann und sichtbare Details nicht verloren gehen. Als ein Ergebnis wird eine Ausweitung der Bildqualitätsbeurteilung dadurch erreicht, dass die Summierung der normalisierten nominierenden Farbe für jedes Pixel berichtet wird.
  • 8 zeigt ein Flussdiagramm, das die Schritte darstellt, die zur Beurteilung der Qualität des HDR-Bildes basierend auf dem Vergleich einer Anzahl von Bildern durchgeführt wurden. Um das Verständnis der folgenden Experimente zu vereinfachen, werden die folgenden Definitionen bestimmter Bezeichnungen weiter unten zur Identifizierung der Bilder verwendet:
    • 1. „Real-HDR” bezeichnet ein Bild, das unter Verwendung einer großen Sequenz von verschieden belichteten Bildern erhalten wurde; in anderen Worten ist dies ein reales HDR-Bild;
    • 2. „Eingabe-LDR” bezeichnet ein bezeichnet ein Eingabe-LDR-Bild;
    • 3. „ERZ-HDR” bezeichnet das erzeugte HDR-Bild, das durch Umkehrung des Eingabe-LDR-Bildes erhalten wurde;
    • 4. „ERZ-LDR” bezeichnet das Tone gemappte ERZ-HDR-Bild, das unter Verwendung des Mapping-Operators nach Reinhardt et al. erhalten wurde (Erik Reinhard, Michael Stark, Peter Shirley, und James Ferwerda. Photographic tone reproduction for digital images, SIGGRAPH'02: Proceedings of the 29th annual conference an Computer Graphics and Interactive Techniques, Seiten 267–276, New York, NY, USA, 2002. ACM Press);
    • 5. „ERZ-HDR-RAD” bezeichnet das erzeugte HDR-Bild unter Verwendung lediglich der ersten Phase des Reverse Tone Mappings nach der Erfindung.
  • Die folgende Beschreibung von 8 wird in Zusammenhang mit Bezugnahme auf 9 und 10 durchgeführt, die die Werte der Summe von blau und grünen Pixeln darstellen, die durch Vergleich der Bilder 1–5 wie oben definiert erhalten wurden. 9 ist eine Tabelle, die in den letzten beiden Spalten die blauen und grünen Werte für jeden Vergleich indizieren und 10 ist ein Diagramm, das den Kontrastgewinn pro Pixel für jeden Vergleich darstellt (normalisierte blaue Pixelsumme). Um den Effekt jeder Reverse Tone Mapping-Phase auf die Qualität des erzeugten HDR-Bildes nach Ausführungsformen der Erfindung zu beurteilen, vergleicht Schritt 80 zunächst ERZ-HDR und Real-HDR. Dieser erste Vergleich beurteilt den Effekt der Verwendung der ersten Phase des Reverse Tone Mappings nach der Erfindung. Das erhaltene Ergebnis A ist in den 9 und 10 dargestellt. Dieses Ergebnis indiziert, dass es einen signifikanten Kontrastgewinn pro Pixel von 40% und einen vernachlässigbaren Kontrastverlust von 0,1% gibt.
  • Um den Effekt der Verwendung der zweiten Phase des Reverse Tone Mappings nach der Erfindung zu beurteilen, vergleicht Schritt 81 ERZ-HDR gegenüber Real-HDR. Das erhaltene Resultat B, dargestellt in den 9 und 10, zeigt pro Pixel eine sehr beachtliche Verbesserung im Kontrastgewinn von 77,4% und einen vernachlässigbaren Kontrast von nahezu 0,0%. Dies indiziert, dass die zweite Phase effektiv 37% dem Kontrastgewinn hinzufügt.
  • Da eine der typische Verwendungen von HDR-Bildern die Verbesserung der Qualität von LDR-Bildern ist, testet Schritt 82 den Effekt durch Vergleich von ERZ-LDR und Eingabe-LDR. Das erhaltene Ergebnis C, dargestellt in den 9 und 10, zeigt eine beachtliche Verbesserung im Kontrastgewinn, welcher nun 47,2% ist ohne einen Verlust im Kontrast. Demnach wird kein Detail verloren aus dem originalen Bild, wenn es in HDR umgewandelt wird. Vielmehr umfasst das erzeugte HDR-Bild Details, die nicht im Ursprungsbild sichtbar waren. Das beste Ergebnis könnte bei Bilderweiterungsanwendungen möglicherweise helfen, zum Beispiel medizinische Bildsegmentierung.
  • Die Erfindung könnte auf eine Vielzahl von Bildverarbeitungsanwendungen angewendet werden, wie zum Beispiel Anwendungen, die existierende LDR-Videos und Bildbibliotheken in HDR-Videos und Bilder für die Verwendung mit neuen HDR-Anzeigen konvertieren. Die Erfindung kann auch für eine LDR-Bilderweiterung verwendet werden, wo ein LDR-Bild zunächst in ein HDR-Bild konvertiert wird und dann Standardbildverarbeitungsschritte (wie zum Beispiel Glätten, Kantendetektion, usw.) angewandt werden, bevor das HDR-Bild zurück nach LDR unter Verwendung der Tone Mapping-Techniken konvertiert wird (wie zum Beispiel Reinhards Tone Mapping Operator).
  • Die Erfindung bietet also eine effiziente Technik zur Wiederherstellung von HDR-Werten aus einem einzelnen LDR-Bild.
  • Mit der Erfindung wird der dynamische Bereich von beiden Enden des Leuchtdichtenkanals (hohe und niedrige Teile) erweitert, während die Lösung aus dem Stand der Technik nur den hohen Teil erweitert. Dies vergrößert die Anzahl der sichtbaren Details über die mittleren/Schattenteile des Bildes. Dies vergrößert ferner den dynamischen Umfang des Bildes gegenüber dem Stand der Technik.
  • Die Verwendung der Belichtungspixelkurve der Kamera in der ersten Phase des Reverse Tone Mappings bietet eine realistischere Lichtausstrahlungskarte des Bildes und verbessert die atheistische Qualität des resultierenden Bildes.
  • Mit der Erfindung können neue HDR-Anzeigen zur Betrachtung existierender LDR-Bilder in vielen Anwendungen wie zum Beispiel der medizinischen Bildgebung verwendet werden.
  • Ferner kann die Qualität der Ausgabe von LDR-Kameras durch Verwendung des Reverse Tone Mappings nach den Ausführungsformen der Erfindung verbessert werden, um ein HDR-Bild mit höherer Qualität zu erzeugen, das durch Forward Tone Mapping zurück nach LDR gemappt werden könnte, wodurch eine signifikante Verbesserung des sichtbaren Kontrastes erreicht würde. Als ein Ergebnis kann die Detektion von Kanten für weitere Bildverarbeitungsoperationen vereinfacht werden.
  • Die Erfindung hat viele Anwendungsformen. Zum Beispiel kann sie als eine Erweiterungsoperation für digitale Bilder verwendet werden, wo weitere Bildverarbeitungsschritte besser in der HDR-Domain durchgeführt werden, wie zum Beispiel Kantendetektion und medizinische Bildgebung.
  • Noch allgemeiner kann die Erfindung auf jegliches digitales Signal angewendet werden, um zum Beispiel den dynamischen Umfang von Audiosignalen mit niedriger Qualität zu verbessern.
  • 11 stellt ein Computersystem 90 dar, das zur Transformierung eines Videobildes von einem LDR-Bild zu einem HDR-Bild nach Ausführungsformen der vorliegenden Erfindung verwendet wird. Das Computersystem 90 umfasst einen Prozessor 91, ein Eingabegerät 92, das mit dem Prozessor 91 verbunden ist, ein Ausgabegerät 93, das mit dem Prozessor 91 verbunden ist, und Speichervorrichtungen 94 und 95, die jeweils mit dem Prozessor 91 verbunden sind. Der Prozessor 91 ist eine Verarbeitungseinheit wie zum Beispiel eine zentrale Verarbeitungseinheit (Central Processing Unit, CPU). Das Eingabegerät 92 kann unter anderem eine Tastatur, eine Maus, usw. sein. Das Ausgabegerät 93 kann unter anderem ein Drucker, ein Plotter, eine Anzeigevorrichtung (zum Beispiel ein Computerbildschirm), ein Magnetband, eine entfernbare Festplatte, eine Floppy Diskette und so weiter sein. Die Anzeigevorrichtung kann das Anzeigegebiet 10 aus 1 umfassen. Die Speichervorrichtungen 94 und 95 können unter anderem eine Festplatte, eine Floppy Diskette, ein Magnetband, ein optischer Speicher, wie zum Beispiel eine Compact Disc (CD) oder eine digitale Video Disc (DVD), ein dynamischer Zufallsspeicher (Dynamic Random Access Memory, DRAM), ein Lesespeicher (ROM) usw. sein. Die Speichervorrichtung 95 umfasst einen Computercode 97, der ein Computerprogramm ist, das computerausführbare Instruktionen umfasst. Der Computercode 97 umfasst einen Algorithmus zur Transformierung eines Videobildes von einem LDR-Bild in ein HDR-Bild. Der Prozessor 91 führt den Computercode 97 aus. Die Speichervorrichtung 94 umfasst Eingabedaten 96. Die Eingabedaten 96 umfassen Eingaben, die durch den Computercode 97 benötigt werden. Das Ausgabegerät 93 zeigt die Ausgabe des Computercodes 97 an. Eine oder beide der Speichervorrichtungen 94 und 95 (oder eine mehrere zusätzliche Speichervorrichtungen, die in 13 nicht gezeigt sind), können als ein computerverwendbares Speichermedium (oder Programmspeichervorrichtung) mit einem computerlesbaren Programm, das darauf verkörpert ist, und/oder mit anderen darauf gespeicherten Daten verwendet werden, wobei das computerlesbare Programm den Computercode 97 umfasst. Im Allgemeinen kann ein Computerprogrammprodukt (oder alternativ eine Vorrichtung) des Computersystems 90 besagtes Computer nutzbares Speichermittel (oder die besagte Programmspeichervorrichtung) umfassen.
  • Während 11 das Computersystem 90 als eine bestimmte Konfiguration von Hardware und Software zeigt, kann jegliche Konfiguration von Hardware oder Software, wie sie einem Fachmann bekannt wäre, für die oben genannten Zwecke in Verbindung mit dem bestimmten Computersystem 90 von 11 verwendet werden. Zum Beispiel können die Speichervorrichtungen 94 und 95 eher Teil einer einzelnen Speichervorrichtung als separate Speichervorrichtungen sein.
  • Während bestimmte Ausführungsformen der vorliegenden Erfindung hier zum Zwecke der Darstellung beschrieben wurden, können viele Modifizierungen und Veränderungen für den Fachmann offensichtlich sein.

Claims (8)

  1. Verfahren zur Transformierung eines digitalen Bildes von einem Bild mit geringem dynamischen Umfang (LDR), das mit einer gegebenen Kamera aufgenommen wurde, in ein Bild mit einem hohen dynamischen Umfang (HDR), wobei das Verfahren Folgendes umfasst: Erfassen der Belichtungspixel-Ansprechkurve für die gegebene Kamera (21); Konvertierung des LDR-Bildes in HSB-Farbraumfelder, wobei die HSB-Farbraumfelder ein Farbtonfeld, ein Sättigungsfeld und ein Helligkeitsfeld umfassen (22); Bestimmung eines Lichtausstrahlungsfeldes durch inverses Mapping jedes Pixels in dem Helligkeitsfeld unter Verwendung der Umkehrfunktion der Belichtungspixel-Ansprechkurve (23, 24); Bestimmen für jeden Pixel (u, v) in dem Lichtausstrahlungsfeld den lokalen Leuchtdichten-Durchschnitt (50) von i Faltungskerneln, die folgendermaßen definiert sind: Kerneli[] = Gauß-Kernel(ri)[], wobei das Bestimmen für jeden Pixel (u, v) in dem Lichtausstrahlungsfeld den lokalen Leuchtdichten-Durchschnitt folgendermaßen durchgeführt wird: lokaler_Leuchtdichte_Durchschnitti[u, v] = Kerneli Lichtausstrahlung[], wobei ri ein Radius des Gauß-Kernels ist und i den lokalen Kontrast-Skalierungsindex bezeichnet, der von 0 bis 8 variiert, wobei ein Wert des Parameters i als minimal möglicher Wert berechnet ist, der die folgende Bedingung erfüllt: Abs(lokaler_Leuchtdichte_Durchschnitti[u, v] – lokaler_Leuchtdichte_Durchschnitti+1[u, v]) < ε, wobei ε den Schwellwert bezeichnet; Berechnung eines eingestellten Lichtausstrahlungsfeldes Lichtausstrahlung'[u, v] für jeden Pixel (u, v) in dem Lichtausstrahlungsfeld folgender Maßen (51): Lichtausstrahlung'[u, v] = Lichtausstrahlung[u, v]·Lichtausstrahlung[u, v]/lokaler_Lichtausstrahlungs_Durchschnitt[u, v], wobei Lichtausstrahlung [u, v] den Lichtausstrahlungswert für den Pixel (u, v) bezeichnet und lokaler_Leuchtdichten_Durchschnitt[u, v] den lokalen Leuchtdichten-Durchschnitt beim Pixel (u, v) bezeichnet; Kombinierung des eingestellten Lichtausstrahlungsfeldes mit dem Farbton und den Sättigungsfeldern der HSB-Felder (52); und Konvertierung des Bildes in den Bildfarbraum unter Verwendung der Farbton-, Sättigungs- und eingestellten Lichtausstrahlungsfelder, wodurch das HDR-Bild ausgegeben wird (53).
  2. Verfahren nach Anspruch 1, wobei die Belichtungspixel-Ansprechkurve aus dem Kameradatenblatt erhalten wird.
  3. Verfahren nach Anspruch 1, wobei die Belichtungspixel-Ansprechkurve von einer Sequenz von verschieden belichteten Bildern einer gleichen Szene bestimmt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt der Konvertierung des Bildes in den Bildfarbenraum folgendermaßen durchgeführt wird: Convert(Farbton[], Sättigung[], Lichtausstrahlung[]/max(Lichtausstrahlung[]))·max(Lichtausstrahlung) wobei Farbton [] das Farbtonfeld bezeichnet, Sättigung [] das Farbsättigungsfeld und Lichtausstrahlung [] das Lichtausstrahlungsfeld bezeichnet.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei ri auf 1/(2·Sqrt(2))·1.61i gesetzt wird.
  6. Computerprogramm umfassend Instruktionen zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 4, wenn das Computerprogramm auf einer passenden Computervorrichtung ausgeführt wird.
  7. Computerlesbares Medium mit einem darauf codierten Satz von Computerprogrammen nach Anspruch 6.
  8. System umfassend Mittel, die dazu ausgebildet sind, die Schritte des Verfahrens nach einem der Ansprüche 1–5 auszuführen.
DE112010003988.7T 2009-10-08 2010-07-12 Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR) Active DE112010003988B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172538.2 2009-10-08
EP09172538 2009-10-08
PCT/EP2010/059950 WO2011042229A1 (en) 2009-10-08 2010-07-12 Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image

Publications (2)

Publication Number Publication Date
DE112010003988T5 DE112010003988T5 (de) 2013-01-17
DE112010003988B4 true DE112010003988B4 (de) 2016-05-12

Family

ID=42668680

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112010003988.7T Active DE112010003988B4 (de) 2009-10-08 2010-07-12 Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR)

Country Status (7)

Country Link
US (1) US9020257B2 (de)
JP (1) JP5752133B2 (de)
CN (1) CN102696220A (de)
DE (1) DE112010003988B4 (de)
GB (1) GB2486348B (de)
TW (1) TW201138481A (de)
WO (1) WO2011042229A1 (de)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
WO2009081394A1 (en) * 2007-12-20 2009-07-02 Ramot At Tel Aviv University Ltd. Method of and apparatus for processing images
CN102696220A (zh) 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
WO2012017440A1 (en) 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales
EP2612315B1 (de) * 2010-08-31 2016-07-20 Dolby Laboratories Licensing Corporation Normalisierung der hintergrundbeleuchtung einer anzeige
JP5803233B2 (ja) * 2011-02-14 2015-11-04 株式会社リコー 撮像装置および撮像方法
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
CN103907343B (zh) * 2011-10-20 2017-05-03 杜比实验室特许公司 用于视频均衡的方法和系统
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
CN102779334B (zh) 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
US9406028B2 (en) 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
CN104620281B (zh) * 2012-09-12 2018-08-14 皇家飞利浦有限公司 使hdr观看为内容所有者同意的过程
US8995783B2 (en) 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
MX338258B (es) * 2012-10-08 2016-04-11 Koninkl Philips Nv Procesamiento de imagenes por cambio de luminancia con restricciones de color.
KR102149115B1 (ko) * 2012-11-16 2020-08-27 인터디지털 브이씨 홀딩스 인코포레이티드 높은 동적 범위 이미지들의 프로세싱
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US9710968B2 (en) * 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
CN103905738B (zh) * 2012-12-31 2018-12-21 博世汽车部件(苏州)有限公司 高动态范围图像生成系统及方法
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
PL2959672T3 (pl) * 2013-02-21 2020-06-01 Koninklijke Philips N.V. Ulepszone sposoby i urządzenia do kodowania i dekodowania obrazu hdr
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN106713697B (zh) 2013-10-22 2019-02-12 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
US9911181B2 (en) 2013-12-27 2018-03-06 Thomson Licensing Method for inverse tone mapping of an image
KR102156608B1 (ko) 2014-02-07 2020-09-16 소니 주식회사 수신 장치, 표시 장치 및 수신 방법
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
WO2015128295A1 (en) * 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
EP2927865A1 (de) * 2014-04-01 2015-10-07 Thomson Licensing Verfahren und Vorrichtung zur Codierung und -Decodierung von HDR-Bildern
JP6278193B2 (ja) * 2014-04-30 2018-02-14 コニカミノルタ株式会社 Hdr画像生成プログラムおよびその装置、方法
WO2015190045A1 (ja) * 2014-06-10 2015-12-17 パナソニックIpマネジメント株式会社 変換方法および変換装置
EP3162067B1 (de) 2014-06-25 2021-03-31 InterDigital VC Holdings, Inc. Verfahren und vorrichtung zur verarbeitung von bildern
CN104320598B (zh) * 2014-11-06 2017-09-26 中国科学院光电研究院 一种基于ccd阵列像素响应函数频域标定的无像差图像重构方法
EP3051488A1 (de) * 2015-01-30 2016-08-03 Thomson Licensing Verfahren und Vorrichtung zur umgekehrten Tonabbildung eines Bildes
KR20170115528A (ko) * 2015-01-30 2017-10-17 톰슨 라이센싱 Hdr 화상을 sdr 화상으로 맵핑하기 위한 방법 및 디바이스 그리고 대응하는 sdr 대 hdr 맵핑 방법 및 디바이스
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR20160138685A (ko) * 2015-05-26 2016-12-06 에스케이하이닉스 주식회사 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법
WO2016202223A1 (en) 2015-06-16 2016-12-22 The Hong Kong University Of Science And Technology Three-dimensional power stage and adaptive pipeline control
EP3131284A1 (de) * 2015-08-13 2017-02-15 Thomson Licensing Verfahren, systeme und vorrichtungen für inverse hdr-zu-hdr-bilddynamikkompression
KR102049481B1 (ko) 2015-08-19 2019-11-27 삼성전자주식회사 이미지 변환을 수행하는 전자 장치 및 이의 방법
WO2017036908A1 (en) * 2015-08-31 2017-03-09 Thomson Licensing Method and apparatus for inverse tone mapping
EP3364654B1 (de) 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. Verarbeitungs-verfahren und -vorrichtung für bilder mit hohem dynamikbereich
US9697592B1 (en) * 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
WO2017153376A1 (en) * 2016-03-07 2017-09-14 Koninklijke Philips N.V. Encoding and decoding hdr videos
US10699391B2 (en) * 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3249605A1 (de) * 2016-05-23 2017-11-29 Thomson Licensing Inverses dynamikkompressionsverfahren und zugehörige vorrichtung
KR102552747B1 (ko) * 2016-06-28 2023-07-11 주식회사 엘엑스세미콘 역 톤 매핑 방법
US10062152B2 (en) 2016-07-27 2018-08-28 Sharp Laboratories Of America, Inc. System for conversion of low dynamic range images to high dynamic range images
EP3312798A1 (de) * 2016-10-20 2018-04-25 Thomson Licensing Verfahren und systeme zur inversen tonabbildung
US11055830B2 (en) * 2016-10-31 2021-07-06 Victoria Link Limited Rendering process and system
US10187584B2 (en) 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
EP3373585A1 (de) * 2017-03-09 2018-09-12 Thomson Licensing Verfahren zur umkehrung zur inversen dynamikkompression eines bildes mit visuellen effekten
CN107483844B (zh) * 2017-09-04 2020-08-25 海信视像科技股份有限公司 一种图像处理的方法和设备
KR101957850B1 (ko) * 2017-12-01 2019-03-13 가톨릭대학교 산학협력단 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법
EP3503019A1 (de) * 2017-12-21 2019-06-26 Thomson Licensing Verbessertes inverses dynamikkompressionsverfahren und zugehörige vorrichtung
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10715774B2 (en) 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
KR102127760B1 (ko) * 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
CN109785263B (zh) * 2019-01-14 2022-09-16 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN110009574B (zh) * 2019-02-13 2023-01-17 中山大学 一种低动态范围图像逆向生成高动态范围图像的方法
US11170690B2 (en) * 2019-09-26 2021-11-09 Apple Inc. Pixel leakage and internal resistance compensation systems and methods
CN110910347B (zh) * 2019-10-18 2023-06-06 宁波大学 一种基于图像分割的色调映射图像无参考质量评价方法
CN111709900A (zh) * 2019-10-21 2020-09-25 上海大学 一种基于全局特征指导的高动态范围图像重建方法
CN111242883B (zh) * 2020-01-10 2023-03-28 西安电子科技大学 一种基于深度学习的动态场景hdr重建方法
CN113395459A (zh) * 2020-03-13 2021-09-14 西安诺瓦星云科技股份有限公司 动态范围调整系统及方法
CN115668106A (zh) * 2020-06-05 2023-01-31 奇跃公司 基于图像的神经网络分析的增强眼睛跟踪技术
US11544827B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Hue-based video enhancement and rendering
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
KR20230065055A (ko) 2021-11-04 2023-05-11 삼성전자주식회사 이미지 센서
CN116740256A (zh) * 2022-03-03 2023-09-12 腾讯科技(成都)有限公司 图像渲染方法、装置、电子设备、存储介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066840A2 (en) * 2006-11-27 2008-06-05 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6687400B1 (en) 1999-06-16 2004-02-03 Microsoft Corporation System and process for improving the uniformity of the exposure and tone of a digital image
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7430011B2 (en) * 2003-01-22 2008-09-30 Omnivision Technologies, Inc. Image sensor having dual automatic exposure control
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
TWI246031B (en) * 2004-09-17 2005-12-21 Ulead Systems Inc System and method for synthesizing multi-exposed image
JP4766302B2 (ja) 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7426312B2 (en) 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
JP2009049547A (ja) 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
CN102696220A (zh) 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066840A2 (en) * 2006-11-27 2008-06-05 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
AYDIN, T. O. et al.: "Dynamic range independent image quality assessment". In: ACM SIGGRAPH 2008 Papers, Los Angeles, Kalifornien, 11.-15. August 2008. ACM, New York, NY. *
BANTERLE, F. et al.: "Expanding Low Dynamic Range Videos for High Dynamic Range". In: ACM Spring Conference on Computer Graphics, 21.04.2008, S. 1-8, XP002600033. *
BANTERLE, F. et al.: "Inverse Tone Mapping". In: Proceedings of the 4th international Conference on Computer Graphics and interactive Techniques, Kuala Lumpur, Malaysia, 29. Nov. - 2. Dez. 2006, GRAPHITE '06, ACM, New York, NY, S. 349-356. *
BANTERLE, F. et al.: „Expanding Low Dynamic Range Videos for High Dynamic Range". In: ACM Spring Conference on Computer Graphics, 21.04.2008, S. 1-8, XP002600033.
DEBEVEC, P.: "A median cut algorithm for light probe sampling". In: ACM SIGGRAPH 2006 Courses (Boston, Massachusetts, 30. Juli - 3. August 2006), SIGGRAPH '06, ACM, New York, NY, 6). *
DEBEVEC, P.: „A median cut algorithm for light probe sampling". In: ACM SIGGRAPH 2006 Courses (Boston, Massachusetts, 30. Juli - 3. August 2006), SIGGRAPH '06, ACM, New York, NY, 6).
REINHARD, E. et al.: "Photographic tone reproduction for digital images". In: ACM Trans. Graph. 21, 3. Juli 2002, S. 267-276. *
REMPEL, A. G. et al.: "Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs". In: ACM SIGGRAPH 2007 Papers, San Diego, Kalifornien, 5.-9. August 2007. *
REMPEL, A. G. et al.: „Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs". In: ACM SIGGRAPH 2007 Papers, San Diego, Kalifornien, 5.-9. August 2007.
WINKEN, M. et al: "Bit-Depth Scalable Video Coding", Fraunhofer Institute for Telecommunications - Heinrich Hertz Institute, Image Processing Department, Einsteinufer 37, 10587 Berlin, Germany, 2007 IEEE, ICIP 2007, XP031157664. *
WINKEN, M. et al: „Bit-Depth Scalable Video Coding", Fraunhofer Institute for Telecommunications – Heinrich Hertz Institute, Image Processing Department, Einsteinufer 37, 10587 Berlin, Germany, 2007 IEEE, ICIP 2007, XP031157664.

Also Published As

Publication number Publication date
CN102696220A (zh) 2012-09-26
DE112010003988T5 (de) 2013-01-17
TW201138481A (en) 2011-11-01
GB2486348B (en) 2014-11-12
GB2486348A (en) 2012-06-13
US20120201456A1 (en) 2012-08-09
WO2011042229A1 (en) 2011-04-14
JP5752133B2 (ja) 2015-07-22
JP2013507674A (ja) 2013-03-04
GB201121761D0 (en) 2012-02-01
US9020257B2 (en) 2015-04-28

Similar Documents

Publication Publication Date Title
DE112010003988B4 (de) Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR)
Galdran Image dehazing by artificial multiple-exposure image fusion
Shen et al. Exposure fusion using boosting Laplacian pyramid.
Schettini et al. Contrast image correction method
Vonikakis et al. Fast centre–surround contrast modification
Lee et al. Image contrast enhancement using classified virtual exposure image fusion
Park et al. Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images
Kotwal et al. An optimization-based approach to fusion of multi-exposure, low dynamic range images
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
Ke et al. Perceptual multi-exposure image fusion with overall image quality index and local saturation
Huang et al. A color multi-exposure image fusion approach using structural patch decomposition
Hayat et al. Detailed and enhanced multi-exposure image fusion using recursive filter
Dixit et al. A review on image contrast enhancement in colored images
Zhao et al. Multi-scene image enhancement based on multi-channel illumination estimation
Jang et al. Inverse tone mapping operator using sequential deep neural networks based on the human visual system
Wang et al. Exposure fusion via sparse representation and shiftable complex directional pyramid transform
Zhang et al. Multi-exposure image fusion via perception enhanced structural patch decomposition
Dar et al. A dynamic fuzzy histogram equalization for high dynamic range images by using multi-scale retinex algorithm
Bergen et al. Shading correction for endoscopic images using principal color components
Kumar et al. 3D color channel based adaptive contrast enhancement using compensated histogram system
DE102020101947A1 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm und Speichermedium
Bouzidi et al. Revertible tone mapping of high dynamic range imagery: integration to JPEG 2000
Han et al. High dynamic range image tone mapping based on layer decomposition and image fusion
Jishnu et al. Multi exposure image fusion based on exposure correction and input refinement using limited low dynamic range images
CN117575969B (zh) 一种红外图像画质增强方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000