DE102010045803A1

DE102010045803A1 - Verfahren zur Erzeugung einer Bilddatei mit hohem Dynamikumfang - HDR Raw Workflow

Info

Publication number: DE102010045803A1
Application number: DE102010045803A
Authority: DE
Inventors: Gregor Fischer
Original assignee: Leica Camera AG
Current assignee: Leica Camera AG
Priority date: 2010-09-20
Filing date: 2010-09-20
Publication date: 2012-03-22

Abstract

Es wird ein Verfahren zur Erzeugung von Bilddateien mit hohem Dynamikumfang beschrieben, bei dem die Bilddateien unterschiedlich belichteter Einzelbilder zu einer gemeinsamen HDR-Bildaufnahmedatei zusammengefasst werden, wobei mit einem Bildaufnahmesystem unterschiedlich belichtete Einzelbilder als unkomprimierte Bildrohdaten erzeugt werden, die aus Bildrohdaten bestehenden Einzelbilder ohne Vorverarbeitung wie vorherigen Weißabgleich, Demosaicking und Farbinterpolation als Zwischenbilder mit nativem Bayer-Farbmosaik in einem Merger zu einem einzigen HDR-Rohdatenbild mit hohem Dynamikumfang überlagert oder zusammengeführt werden und in einem anschließend durchgeführten HDR Raw Processing in mehreren Verarbeitungsschritten aus dem HDR-Rohdatformaten kompatibles HDR-Bildformat erzeugt wird.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung von Bilddateien mit hohem Dynamikumfang, bei dem unterschiedlich belichtete Einzelbilder durch Bildbearbeitung zu einer HDR-Bildaufnahmedatei (High Dynamik Range) zusammengefasst werden.
Bekannte Verfahren zur Erzeugung einer Bilddatei (s. dazu 1) sind durch ein spezielles HDR-Bildformat gekennzeichnet, das als RGB-Bildformat mit 32 bit pro Farbe und Pixel ein vergleichsweise hohes Datenvolumen umfasst.
Bei den bekannten Verfahren werden meist einem PC mehrere Dateien einer Belichtungsreihe von beispielsweise Raw-Bildern zugeführt und in einem ersten Schritt einer Vorverarbeitung, insbesondere einem Weißabgleich und Demosaicking (Farbinterpolation) unterzogen. Durch die Anzahl von Bildern und die drei Farben pro Pixel entstehen temporär sehr große Datenmengen. Diese Zwischenbilder werden dann in einem „Merger” einander überlagert und zu einem einzigen Bild mit drei Farben und einer erhöhten Wortbreite (z. B. 32 bit) zusammengefasst. Dieses Bild wird am Ende des Aufnahmeteils in eine HDR-Bilddatei (z. B. Dateiformate.exr oder .hdr) überführt.
Das HDR-Bild wird dann über ein sogenanntes Tone Mapping in seiner Dynamik auf einen geringeren Kontrastumfang reduziert und über ein geeignetes Farbmodell in ein Standarddateiformat (z. B. Adobe RGB) fertig prozessiert.
Aufgrund der hohen Datenmengen und damit erforderlichen hohen Anforderungen an die Geschwindigkeit des Verarbeitungssystems werden derartige Verfahren vorzugsweise auf PCs innerhalb von externen Bildbearbeitungs-Programmumgebungen ausgeführt. Die Erzeugung eines solchen Bildes mit hohem Dynamikumfang ist zeitaufwändig und benötigt viel Speicherplatz. Die Erzeugung eines solchen HDR-Bildes aus einer Belichtungsreihe ist innerhalb der Kamera mit diesem Verfahren nur mit sehr hohem Aufwand möglich.
Mit herkömmlichen Verfahren der Bildaufnahmetechnik ist der in einer natürlichen Szene auftretende Dynamikumfang nicht reproduzierbar. Es entstehen einerseits zugelaufene Schatten oder andererseits ausgefressene Lichter.
Nachteil beim bisherigen Verfahren ist das hohe Datenvolumen des HDR-Bildformats durch die Farbinterpolation.
Aufgabe der Erfindung ist es, auf der Basis von mit einem Bildaufnahmesystem erzeugten Bild-Rohdaten eine finale HDR-Bilddatei mit hohem Dynamikumfang zu erzeugen. Diese erzeugte Datei soll ein HDR-Bildformat aufweisen, aber kompatibel zu bekannten Standard-Dateiformaten sein, wie sie z. B. aus digitalen Bilddateiformaten mit der Dateiendung.exr oder .hdr bekannt sind.
Aufgabe der Erfindung ist es auch, die Verarbeitungsgeschwindigkeit bei der Erzeugung einer Bilddatei mit hohem Dynamikumfang zu erhöhen, den Speicherbedarf für die Bilddatei zu verringern und auf diese Weise die Dateierstellung innerhalb eines Kamerasystems zu ermöglichen.
Diese Aufgabe wird durch ein Verfahren mit den Schritten gemäß dem Kennzeichen des Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Der Workflow mit HDR-Raw-Bildformat löst die Aufgabe, indem die Vorverarbeitung in das HDR-Processing verschoben und der Merger auf dem nativen Bayer-Farbmosaik arbeitet (s. dazu 2).
Der Ablauf kann innerhalb des HDR-Processing weiter modifiziert werden, indem z. B. die Reihenfolge der ersten beiden Verarbeitungsschritte vertauscht wird (3).
Weitere Varianten (4 und 5) sehen vor, die Kontrastanpassung – oder zumindest einen Teil dessen – schon in der Raw-Datei zu verankern. Dazu wird die Tonemapping-Methode bereits innerhalb des Raw Aufnahmeteils angewendet. Allerdings wird dadurch der bildwichtige Schritt des Tonemappings nachträglich nicht mehr oder wenigstens nur noch teilweise editierbar, und durch die Dynamikreduzierung wird außerdem nicht mehr ein so hochdynamisches Bildformat notwendig. In diesem Fall reicht evtl. ein herkömmliches 16 bit Raw Format aus, um den verbleibenden Dynamikumfang der Raw-Bilddaten zu übertragen. Die Dateigröße wird reduziert.
Es handelt sich um eine verbesserte Bildaufnahmetechnik auf der Basis von Rohdaten, die es ermöglicht, den in der Realität vorkommenden Dynamikumfang (vom hellsten Bildanteil bis hin zum dunkelsten Bildanteil) störungsfrei darzustellen. Er erfolgt keine Beschneidung in den Lichtern und in den Schatten.
Durch das erfindungsgemäße neue Verfahren des HDR Raw Workflows ergeben sich folgende Vorteile:

a) Geringeres Datenvolumen für das HDR Bild und damit verbunden eine Verringerung des dafür nötigen Speicherplatzes. Weiterhin wird die Übertragungsgeschwindigkeit erhöht. Die Bilddateien einer 37 Megapixel Kamera sind ca. 450 MByte groß und können mit dem neuen Verfahren (Raw-HDR) auf ca. 150 MByte reduziert werden.
b) Die Trennung der Funktionalitäten zur HDR-Aufnahme und für das HDR-Processing bilden Vorteile in der Programmierung und können auf unterschiedlichen Prozessoren bereits innerhalb der Kamera durchgeführt werden.
c) Die Verarbeitungszeit bei der Bilderzeugung, Bildbearbeitung und Bildabspeicherung, vor allem bei der HDR-Aufnahme wird verringert.

Eine weitere Beschreibung der Erfindung erfolgt anhand der Zeichnung. Dabei zeigt 1 zur Verdeutlichung ein Verfahren nach dem Stand der Technik. Bei der Erzeugung (auch HDR Capture) werden mehrere Raw Aufnahmen jeweils in einer Vorverarbeitung einem Weißabgleich (WB) und einem Demosaicking (mit erster Farbkorrektur) unterzogen, bevor sie in einem Merger zu einer einzigen HDR-Bilddatei im HDR-Dateiformat zusammengefasst werden. Im HDR Processing, einer Abfolge von weiteren Bildverarbeitungsroutinen, wird die HDR-Bilddatei in ein Standarddateiformat (z. B. Adobe RGB) fertig prozessiert. Sowohl die im HDR Capture dargestellte Bildverarbeitungsroutine WB+Demosaicking, als auch die im HDR Processing dargestellten Bildverarbeitungsroutinen Tone Mapping, Color Rendering und Output Color Space legen die finale Bilderscheinung fest.
2 zeigt ein erfindungsgemäßes Verfahren, bei dem alle Bildverarbeitungsroutinen im HDR Processing erfolgen. Im HDR Capture wird aus mehreren Einzelbildern (Raw Aufnahmen) im Merger ein HDR-Rohdatenbild in einem HDR-Roh-Dateiformat erzeugt, welches zur weiteren Verarbeitung einem HDR Raw Processing übergeben wird. Im HDR Raw Processing erfolgt mittels Bildverarbeitungsroutinen, die die Bilderscheinung festlegen, die Erzeugung eines HDR Bildes in einem HDR-Bildformat, welches zu einem Standardfarbmodell, z. B. Adobe RGB kompatibel ist. Dabei durchläuft das HDR-Rohdatenbild die folgenden Prozessschritte, WB+Demosicking (mit erster Farbkorrektur), Tone Mapping, Color Rendering (mit zweiter Farbkorrektur) und Output Color Space.
3 zeigt eine alternative Ausführungsform der Erfindung, bei der das HDR-Rohdatenbild im HDR Raw Processing zuerst die Verarbeitungsschritte (Prozessschritte) Tone Mapping, WB+Demosaicking (mit erster Farbkorrektur) und anschließend Color Rendering (mit zweiter Farbkorrektur) und Output Color Space durchläuft.
4 zeigt eine Weiterbildung des erfindungsgemäßen Verfahrens, bei der ein vorgezogener Prozessschritt eines ersten Tone Mappings I im Bereich des HDR-Capture nach dem Merger zur Erzeugung des HDR-Rohdatenbildes durchgeführt wird. Im anschließend erfolgenden HDR Raw Processing durchläuft das HDR-Rohdatenbild dann die Prozessschritte, WB+Demosaicking, zweites Tone Mapping II, Color Rendering und Output Color Space.
In 5 ist eine weitere Alternative der Erfindung dargestellt, bei der der Prozessschritt des Tone Mappings vollständig in den Bereich des HDR-Capture nach dem Merger vorgezogen ist. Das auf diese Weise erzeugte HDR-Rohdatenbild durchläuft im anschließend durchgeführte (HDR) Raw Processing dann nur noch die Prozessschritte WB+Demosaicking, Color Rendering und Output Color Space.

Claims

Verfahren zur Erzeugung von Bilddateien mit hohem Dynamikumfang, bei dem die Bilddateien unterschiedlich belichteter Einzelbilder zu einer gemeinsamen HDR-Bildaufnahmedatei zusammengefasst werden, dadurch gekennzeichnet, dass a) mit einem Bildaufnahmesystem unterschiedlich belichtete Einzelbilder als unkomprimierte Bildrohdaten erzeugt werden, b) die aus Bildrohdaten bestehenden Einzelbilder ohne Vorverarbeitung wie vorherigen Weißabgleich, Demosaicking und Farbinterpolation als Zwischenbilder mit nativem Bayer-Farbmosaik in einem Merger zu einem einzigen HDR-Rohdatenbild mit hohem Dynamikumfang überlagert oder zusammengeführt werden, c) in einem anschließend durchgeführten HDR-Roh-Processing in mehreren Verarbeitungsschritten aus dem HDR-Rohdatenbild ein spezielles, zu bekannten Standard-Dateiformaten kompatibles HDR-Bildformat erzeugt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erzeugte HDR-Rohdatenbild mit hohem Dynamikumfang ein HDR-Roh-Dateiformat.dng aufweist und das im HDR-Roh-Processing erzeugte HDR-Bildformat zu einem geeigneten Standardfarbmodell wie z. B. Pro Photo- oder Adobe-RGB kompatibel ist.
Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass mit dem HDR-Rohdatenbild im HDR-Roh-Processing in einem a) ersten Prozessschritt ein Weißabgleich, Demosaicking und eine erste Farbkorrektur durchgeführt wird, anschließend b) über ein sogenanntes Tonemapping seine Dynamik auf einen geringeren Kontrastumfang reduziert wird, sodann c) ein Color Rendering inklusive zweiter Farbkorrektur angewendet wird, und d) durch eine Farbraumtransformation im Output Color Space Prozessschritt das HDR-Bildformat fertig prozessiert wird.
Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass bei dem HDR-Rohdatenbild im HDR-Roh-Processing in einem a) ersten Prozessschritt über ein sogenanntes Tonemapping seine Dynamik auf einen geringeren Kontrastumfang reduziert wird, anschließend b) ein Weißabgleich, Demosaicking und eine erste Farbkorrektur durchgeführt wird, dann c) ein Color Rendering inklusive zweiter Farbkorrektur angewendet wird, und dann d) durch eine Farbraumtransformation im Output Color Space Prozessschritt das HDR-Bildformat fertig prozessiert wird.
Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass nach dem Merger in einer sogenannten ersten Tonemapping Methode eine Kontrastanpassung zur Erzeugung des HDR-Rohdatenbildes durchgeführt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass mit dem HDR-Rohdatenbild im HDR-Roh-Processing in einem a) ersten Prozessschritt ein Weißabgleich, Demosaicking und eine erste Farbkorrektur durchgeführt wird, anschließend b) ein zweites Tonemapping durchgeführt wird, dann c) ein Color Rendering inklusive zweiter Farbkorrektur angewendet wird, und d) in einem Output Color Space Prozessschritt das HDR-Bildformat fertig prozessiert wird.
Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass nach dem Merger in einer sogenannten Tonemapping Methode eine Kontrastanpassung zur Erzeugung des HDR-Rohdatenbildes durchgeführt wird und mit dem HDR-Rohdatenbild im HDR-Roh-Processing in einem a) ersten Prozessschritt ein Weißabgleich, Demosaicking und eine erste Farbkorrektur durchgeführt wird, anschließend b) ein Color Rendering inklusive zweiter Farbkorrektur angewendet wird, und c) in einem Output Color Space Prozessschritt das HDR-Bildformat fertig prozessiert wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass es in einem Prozessor eines Bildaufnahmegeräts, insbesondere einer digitalen Kamera ausführbar ist.