DE102008000906A1

DE102008000906A1 - Verfahren und Vorrichtung zur Erhöhung des Kontrastsverhältnisses bei der Darstellung eines Bildes

Info

Publication number: DE102008000906A1
Application number: DE102008000906A
Authority: DE
Inventors: Oliver Bimber; Iwai Daisuke
Original assignee: Bauhaus Universitaet Weimar
Current assignee: Bauhaus Universitaet Weimar
Priority date: 2008-04-01
Filing date: 2008-04-01
Publication date: 2009-10-15

Abstract

Die Erfindung betrifft ein Verfahren zur Erhöhung des Kontrastverhältnisses bei der Darstellung eines Ursprungsbildes mithilfe von Darstellungsmitteln, deren darstellbares Kontrastverhältnis jeweils geringer als das sich bei der Darstellung des Ursprungsbildes ergebende Kontrastverhältnis ist. Erfindungsgemäß wird dafür eine reflektierende Lichtmodulation vorgenommen. Dazu erfolgt zunächst ein Aufspalten des Ursprungsbildes in ein erstes und ein zweites Teilbild, deren jeweiliges Kontrastverhältnis an das von einem ersten bzw. einem zweiten Darstellungsmittel darstellbare Kontrastverhältnis angepasst ist. Das erste Teilbild (IA) wird mit dem ersten Darstellungsmittel (A) als reflektives Bild auf einer registrierten Projektionsfläche dargestellt. Das zweite Teilbild (IB) wird mit dem zweiten Darstellungsmittel (B) deckungsgleich auf das dargestellte erste Teilbild (IA) projiziert, zu dessen optischer Modulation. Die Erfindung betrifft auch eine Vorrichtung zur Ausführung des Verfahrens.

Description

Die Erfindung betrifft ein Verfahren zur Erhöhung des Kontrastverhältnisses bei der Darstellung eines Ursprungsbildes mithilfe von Darstellungsmitteln, deren darstellbares Kontrastverhältnis jeweils geringer als das sich bei der Darstellung des Ursprungbildes ergebende Kontrastverhältnis ist. Außerdem betrifft die Erfindung eine Vorrichtung zur Erhöhung des Kontrastsverhältnisses bei der Darstellung eines Ursprungsbildes, insbesondere unter Anwendung des zuvor genannten Verfahrens.
Die Erfindung liefert damit eine einfache und kosteneffiziente Möglichkeit, um den Kontrast, die wahrgenommene Tonauflösung und den Farbraum statischer Bilder über die originären Möglichkeiten von weit verbreiteten und preiswerten Darstellungsmitteln (z. B. von Hardcopy-Geräten oder Low Dynamic Range Displays) hinaus zu erweitern. Die Erfindung ist u. a. darauf ausgerichtet, Hardcopy-basierte Technologien wie Röntgenbilderdrucke für filmlose Aufnahmetechniken in Bereichen zu ergänzen, die mit statischen Bildinhalten hoher Qualität arbeiten.
Es gibt unterschiedliche Ansätze, um die Darstellung von Bildern mit hohem Kontrastverhältnis, so genannten High Dynamic Range (HDR) Bildern (mit einer Bittiefe > 8), mithilfe herkömmlicher Darstellungsmittel, beispielsweise Low Dynamic Range (LDR) Displays, zu verbessern. Eine große Menge von Tonemapping-Techniken, wie der fotografische Tonreproduzierungsoperator, zielen darauf ab, das Aussehen eines durch Tonemapping entstandenen HDR-Bildes visuell in Übereinstimmung mit der betrachteten Szene zu bringen, wenn es auf einem LDR-Bildschirm angezeigt wird.
Erst vor kurzem wurden HDR-Displays eingeführt, welche Inhalte über eine Größenordnung von mehreren Zehnerpotenzen zwischen minimaler und maximaler Luminanz präsentieren können. In LEDDA, P. et al., 2003, A wide field, high dynamic range, stereographic viewer; Proc. Conference an Computer Graphics and Interactive Techniques in Australasia and Southeast Asia, 237–244 ist ein passiv stereoskopischer HDR Viewer beschrieben, der zwei übereinander gelagerte Transparenzfolien für jedes Auge zur Luminanzmodulierung anwendet und ein Kontrastverhältnis von 10.000:1 erreicht.
In SEETZEN, H. et al., 2004, High dynamic range display systems; Proc. ACM Siggraph, 760–768 werden aktive HDR Displays beschrieben, die Bilder, welche auf einem LCD Panel dargestellt werden, mit einer lokal variierenden Hintergrundbeleuchtung modulieren. Diese wird entweder von einem niedrigauflösenden LED Panel oder von einem hochauflösenden DLP Projektor produziert. Es wurde dort von einem Kontrastverhältnis von über 50.000:1 zusammen mit einer Spitzenluminanz von 2.700 cd/m² (für die projektorbasierte Hintergrundbeleuchtung) berichtet.
Zahlreiche inverse Tonemapping-Techniken werden momentan entwickelt (z. B. BANTERLE, F. et al., 2006, Inverse tone mapping, Proc. Conference an Computer Graphics and Interactive Techniques in Australasia and Southeast Asia, 349–356), um existierende LDR Bilder in ein HDR Format zu konvertieren, das auf solchen Geräten betrachtet werden kann.
Allen aus den zuvor genannten Veröffentlichungen bekannten Ansätzen haften folgende Nachteile an: Erstens verwenden sie eine transmissive Bildmodulierung (entweder durch Transparenzfolien oder durch LCD/LcoS Panels), leiden folglich unter relativ geringem Lichtdurchsatz und benötigen daher außergewöhnlich helle Hintergrundbeleuchtungen. Zweitens ist eines der beiden Modulierungsbilder von niedriger Auflösung und unscharf, um Artefakte wie Moiré-Muster durch Verschiebung der beiden Modulatoren zueinander zu vermeiden und um akzeptable Bildfrequenzen zu erzielen. Demnach können hohe Kontrastwerte nur mit der Auflösung des niederfrequenten Bildes erzielt werden. Drittens wird nur die Luminanz moduliert, da eines der beiden Bilder monochrom ist.
Spezialisierte Drucktechniken, welche filmlose Aufnahmen unterstützen, weisen etliche Möglichkeiten für viele medizinische und andere Berufsfelder auf. Verglichen mit konventionellen Hardcopymedien, wie zum Beispiel Röntgenfilm, bieten sie signifikante Kostenreduzierungen, längere Haltbarkeit (durch geringere Lichtempfindlichkeit) und farbliche Visualisierung. Sie stellen fast diagnostische Qualität bereit und haben eine viel höhere Auflösung als mit den meisten interaktiven Displays möglich wäre, aber erreichen nicht den hohen Kontrast, die Luminanz and wahrgenommene Tonauflösung von beispielsweise Röntgenfilm, der mit Lichtkästen betrachtet wird.
Die Aufgabe der vorliegenden Erfindung besteht somit darin, eine einfache und kostengünstige Methode zu schaffen, statische HDR-Bilder zu betrachten und dabei das Kontrastverhältnis über die physikalischen Möglichkeiten der verwendeten Darstellungsmittel hinaus zu erhöhen.
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung gemäß Anspruch 16.
Die Erfindung geht davon aus, dass sich das Kontrastverhältnis durch reflektierende Lichtmodulation steigern lässt. Dazu werden zunächst ausgehend von einem Ursprungsbild ein erstes und ein zweites Teilbild erzeugt, deren jeweiliges Kontrastverhältnis an das von einem ersten bzw. einem zweiten Darstellungsmittel darstellbare Kontrastverhältnis angepasst ist. Nachfolgend wird das erste Teilbild mit dem ersten Darstellungsmittel auf einer Projektionsfläche abgebildet und das zweite Teilbild wird mit dem zweiten Darstellungsmittel auf das dargestellte erste Teilbild projiziert. Um die reflektierende Lichtmodulation zu ermöglichen, muss das erste Teilbild ein reflektives Bild sein, der bildliche Eindruck entsteht also durch unterschiedliche Reflexion von Umgebungs- bzw. Beleuchtungslicht an den verschiedenen Stellen (Pixeln) des Bildes. In Frage kommen als erstes Teilbild insbesondere gedruckte Bilder, elektronisches Papier (e-Paper) oder Fotografien.
Gemäß einer ersten Ausführungsform, die weiter unten detailliert beschrieben ist, wird ein High Dynamic Range-Bild (Ursprungsbild) rechnerisch in zwei Teilbilder aufgespalten, um durch lineare Darstellungsmittel mit unterschiedlichen Fähigkeiten dargestellt zu werden. Das zweite Teilbild wird nach dem Aufspalten auf Hardcopies (erstes Teilbild) wie Fotos, Röntgenbilder oder elektronisches Papier (e-Paper) projiziert, um den Kontrast, die wahrnehmbare Tonauflösung und die Farbraumwerte über das originäre Kontrastdarstellungs-Potential von Hardcopies (wenn sie bei Umgebungslicht betrachtet werden) oder Projektoren (bei der Projektion auf gewöhnliche Leinwände) hinaus zu steigern.
Die Erfindung benötigt zur kontrasterhöhten Darstellung keine HDR-Displays, sondern bietet eine preiswerte Alternative für Gebiete, die mit statischen Bildinhalten arbeiten, wie die Radiologie und andere medizinische Bereiche oder die Astronomie. Gleichzeitig gestattet die Verwendung von elektronischem Papier als Darstellungsmittel auch interaktive Visualisierungen.
Im Gegensatz zu bekannten Projektor-Kamera-Ansätzen, die radiometrische oder photometrische Kompensation durchführen, um beliebige Bildinhalte an den begrenzten Kontrastumfang von nichtoptimierten Projektionsoberflächen mit variierenden Reflektionseigenschaften anzupassen, besteht ein Ziel der Erfindung darin, die Dynamic Range (Kontrastverhältnis) auf Hardcopy-Bildern zu erweitern.
Experimente haben ergeben, dass durch die Erfindung Kontrastverhältnisse von über 45.000:1 mit einer Spitzenluminanz von mehr als 2.750 cd/m² erreichbar und technisch mehr als 620 perzeptiv unterscheidbare Tonwerte (ungefähr 85% aller theoretisch möglichen JND Schritte) reproduzierbar sind. Darüber hinaus konnten Farbraumerweiterungen bis zu einem Faktor von 1,4 (verglichen mit einer regulären Projektion) oder einem Faktor von 3,3 (verglichen mit regulären Hardcopydrucken) erzielt werden. Dadurch kann die Auflösung der Hardcopy mehrere tausend dpi betragen, während Luminanz und Chrominanz mit einem Registrierungsfehler von weniger als 0,3 mm moduliert werden.
Für die automatische Registrierung, das Scannen und die Überlagerung des zweiten Teilbildes über das erste Teilbild (Hardcopy) wird ein kalibriertes Projektor-Kamera-System eingesetzt.
1 zeigt den prinzipiellen Aufbau eines solchen Projektor-Kamera-Systems. Auf einem ersten Darstellungsmittel A wird ein erstes Teilbild dargestellt. Im vorliegenden Fall handelt es sich um ein gedrucktes Bild (Hardcopy), welches auf einer Projektionsebene aufgespannt ist. Als Projektionsebene kann ein Tablett verwendet werden, das für spekulare Fotografien optional ein wenig gekippt werden kann, um Glanzlichter vom Betrachter weg zu lenken. Alternativ kann beispielweise eine ePaper verwendet werden, also ein Display, welches für die Anzeige von Dokumente optimiert ist. Dieses erlaubt auch das Anzeigen von interaktiven Inhalten.
Ein Projektor bildet ein zweites Darstellungsmittel B, welches das zweite Teilbild auf die Projektionsfläche projiziert. Unter anderem für die anfängliche Kalibrierung des Systems, während welcher die Registrierung ausgeführt wird, ist eine Kamera K vorgesehen, welche das modulierte Bild auf der Projektionsfläche aufzeichnet. Die Kamera nimmt auch ein Bild der Hardcopy auf, wenn keine elektronischen Bilddaten des Ursprungsbildes zur Verfügung stehen (siehe unten). Die Steuerung und Auswertung erfolgt vorzugsweise mit einem Computer C.
Geometrische Registrierung
Eine präzise geometrische Registrierung zwischen dem das zweite Teilbild projizierenden Projektor, dem hier auch als Hardcopy bezeichneten ersten Teilbild und dessen Softcopy (d. h. einer digitalen Version des Hardcopy-Bildes) ist essentiell, damit die Überlagerung der beiden Teilbilder nicht zu Darstellungsfehlern führt. Nachfolgend werden drei automati sche Registrierungsmethoden für verschiedene Situationen beschrieben:
1) Homographie:
Zu Beginn wird die Homographie zwischen Kamera und Projektor über die gewöhnliche Tischebene gemessen. Hardcopies werden mit einem zusätzlichen Rand gedruckt, welcher eine robuste Detektion ihrer Eckpunkte in der Kameraperspektive erlaubt. Die Homographiematrix erlaubt zusammen mit den Eckpunkten eine Transformation aller Kamerapixel in die Projektorperspektive und ihre präzise Registrierung auf den korrespondierenden Pixeln ihrer Softcopy. Für Homographien muss die Hardcopy völlig planar sein. Dies wird erreicht, indem sie flach auf der Tischebene festgeklemmt wird, oder durch den Einsatz von professionellen Vakuumtischen.
Der zusätzliche gedruckte Rahmen sowie die vorausgesetzte Planarität der Hardcopy stellen Einschränkungen dar, die nur von manchen Applikationen erfüllt werden können, während andere mehr Flexibilität erfordern. Bilder, die auf Fotopapier gedruckt wurden, sind normalerweise nie vollkommen flach. Weiterhin können Teile eines Originalbildes während des Reformatierungsprozesses des Druckers abgeschnitten werden und Bildteile am Rand nicht auf der Hardcopy erscheinen. In solchen Fällen wird eine einfache Registrierung über Homographie und Eckpunkte nicht ausreichend sein. Angenommen, die Hardcopy ist von beliebiger Form, enthält aber keine geometrischen (aber möglicherweise radiometrische) Unstetigkeiten, so kann die nachfolgend beschriebene Registrierungstechnik angewandt werden.
2) Strukturiertes Licht:
Techniken mit strukturiertem Licht (z. B. Gray Codes) können verwendet werden, um die Pixelkorrespondenzen zwischen Kamera und Projektor über eine nichtplanare Hardcopyoberfläche zu messen. Dies muss jedoch für nicht uniform gefärbte und dunkle Oberflächenportionen, die eine große Menge des projizierten Lichtes absorbieren, robust sein. Darüber hinaus ist eine Methode vorteilhaft, welche das Aufnehmen einer Minimalanzahl von Bildern für die Registrierung erfordert, um sowohl den Kalibrierungsprozess zu beschleunigen als auch eine Überbeanspruchung mechanischer Teile zu verhindern, falls digitale SLR Kameras verwendet werden. Eine bevorzugte Vorgehensweise erfordert das Aufnehmen von nur drei Bildern. Zwei Bilder stellen horizontale und vertikale Rasterlinien sowie einen farbkodierten absoluten Referenzpunkt im Rasterzentrum dar. Das dritte Bild nimmt die Hardcopy unter einer projizierten weißen Beleuchtung auf. Die beiden Rasterbilder werden zur Normalisierung durch das Weißlichtbild geteilt und die Resultate mit einem Schwellwert verglichen und binarisiert. Die Linien sowie der Referenzpunkt werden durch Labeling und Linienverfolgung wiederhergestellt und Schnittpunkte zwischen verbundenen Liniensegmenten detektiert. Die Schnittpunkte werden relativ zu den absoluten Koordinaten des Referenzpunktes trianguliert und dazwischen liegende Projektor-Kamera-Korrespondenzen interpoliert. Dadurch hängt die Präzision dieser Technik hauptsächlich von der angepassten Rasterauflösung und dem Krümmungsgrad der Hardcopy ab.
Bei den zuvor genannten Registrierungsmethoden „Homografie” und „Strukturiertes Licht” liegen Fehlregistrierungen normalerweise unter 0,3 mm.
3) Matching der Bildmerkmale:
Featurepunkte werden im aufgenommenen Kamerabild der Hardcopy erkannt und Bildmerkmalen in der Softcopy zugewiesen (nähere Angaben dazu finden sich in LEPETIT, V. et al., 2006, Keypoint recognition using randomized trees; IEEE Trans. an Pattern Analysis Machine Intelligence 28, 9, 1465–1479). Alle zugewiesenen Featurepunkte werden trianguliert, und fehlende Korrespondenzen innerhalb und außerhalb der konvexen Hülle des konstruierten Dreiecksmeshs werden interpoliert bzw. extrapoliert. Die resultierende Lookup-Tabelle liefert Pixelkorrespondenzen zwischen Hardcopy und Softcopy, welche in Kombination mit den Projektor-Kamera-Korrespondenzen (ermittelt entweder durch Homographie und Eckpunkte oder gemessen über strukturiertes Licht) dazu verwendet werden können, Projektorpixel mit den korrespondierenden Softcopypixeln in Verbindung zu stellen. Obwohl featurebasierte Registrierungstechniken recht invariant gegenüber photometrischen Unterschieden zwischen aufgenommener Hardcopy und digitaler Softcopy sind, hängt ihre Präzision sehr stark von der Anzahl und der Verteilung der erkannten Featurepunkte ab – und folglich vom Bildinhalt.
Photometrische Kalibrierung
Unabhängig von der angewandten Registrierungsmethode werden für die Ausführung der hier beschriebenen Erfindung die linearisierten Transferfunktionen von Projektor und Kamera benötigt, die für jeden Geräteaufbau durch eine photometrische Kalibrierung ermittelt werden. Die Kamera wird z. B. mit einem Spektroradiometer kalibriert, um korrekte Luminanz- und Chrominanzwerte zu liefern. Des Weiteren müssen der nichtlineare Lichtabfall und der Beitrag der Umgebung (inklusive dem Blacklevel des Projektors) auf der Projektionsfläche sowie die stattfindende Farbkanalvermischung zwischen Kamera und Projektor gemessen und für alle projizierten und aufgenommenen Bilder kompensiert werden. Um dies zu erreichen, können etablierte Techniken zur photometrischen Kalibrierung von Projek tor-Kamera Systemen verwendet werden. Details dieser Techniken werden zusammengefasst in BROWN, M. et al., 2005, Camera Based Calibration Techniques for Seamless Multi-Projector Displays, IEEE Trans. an Visualization and Computer Graphics 11, 2, 193–206; sowie in BIMBER, O. et al., 2007, The Visual Computing of Projector-Camera Systems, Proc. Eurographics (State-of-the-Art Report), 23–46. Falls Projektoren mit Pulsmodulation (wie DLP oder GLV) verwendet werden, muss die Bildwiederholrate der Projektion immer ein ganzzahliges Vielfaches der Belichtungszeit der Kamera sein, um die korrekte Integration über alle Farben und Intensitäten zu gewährleisten. Zum Zweck der Anzeige kann jedoch eine beliebige Wiederholrate gewählt werden. Informationen zur photometrischen Korrektur von Hardcopygeräten werden, zusammen mit individuellen Renderingtechniken, in den folgenden Abschnitten bereitgestellt.
Wie bereits oben dargestellt wurde, müssen zur Ausführung der Erfindung aus einem Ursprungsbild zwei Teilbilder gewonnen werden. Dafür stehen je nach Art des Ursprungsbildes verschiedene Methoden zur Verfügung, die unterschiedliche Ausführungsformen der Erfindung repräsentieren. In den nachfolgenden Abschnitten werden drei bevorzugte Ausführungsformen der Erfindung und die in diesen zum Einsatz kommenden Renderingtechniken näher erläutert.
Aufspalten von High Dynamic Range Inhalten
In der oben bereits erwähnten Ausführungsform stehen existierende High Dynamic Range Inhalte als Ursprungsbild zur Verfügung. Die HDR-Inhalte müssen zur Darstellung durch linearisierte Hardcopygeräte (erste Darstellungsmittel) und Projektoren (zweite Darstellungsmittel) aufgespalten werden.
Das Aufspalten eines gegebenen High Dynamic Range Ursprungsbildes I_HDR in ein Low Dynamic Range Paar, bestehend aus einem ersten Teilbild I_A (z. B. gedruckte oder angezeigte Hardcopy) und einem zweiten Teilbild I_B (projiziertes Bild), kann durch Anwendung folgender Berechnungsvorschriften erreicht werden:
IB = TMAB(IHDR)γ/TA(IA) (2)
Erfindungsgemäß wird nach dem Aufspalten das erste Teilbild I_A von einem ersten Darstellungsmittel A und das zweite Teilbild I_B von einem zweiten Darstellungsmittel B abgebildet. Dabei ist das erste Darstellungsmittel A ein Gerät (d. h. entweder Projektor oder Hardcopygerät, zum Beispiel ein Drucker oder ein ePaper Display) mit einer im Vergleich zum zweiten Darstellungsmittel B möglicherweise signifikant geringeren Bildqualität bezüglich Tonauflösung und Auflösung, Farbraum, Banding- und Ditheringeffekten. TM_AB ist ein (inverser) Tonemapping Operator, der das Ursprungsbild I_HDR auf die Tonauflösung und die Farbskala abbildet, welche aus der optischen Modulation resultieren, die die von den ersten und zweiten Darstellungsmitteln A und B dargestellten Teilbilder durch ihre optische Überlagerung erfahren.
Optional kann eine Gammakorrektur γ angewandt werden, bevor der abgebildete HDR Inhalt relativ zu den individuellen Bittiefen (a, b) beider Darstellungsgeräte A, B aufgespaltet wird. Daher berechnet Gleichung (1) das Bild für das Gerät A geringerer Qualität mit einer Bittiefe a, während Gleichung (2) Artefakte, die bei der Darstellung (Anzeige oder Druck) des ersten Teilbildes I_A entstehen, mit dem zweiten Teilbild I_B kompensiert.
In Gleichung (2) ist T_A die linearisierte Transferfunktion des ersten Darstellungsmittels A, die die Simulation des Aussehens des ersten Teilbilds I_A erlaubt, unter Berücksichtigung des eigentlichen Farbraums des ersten Darstellungsmittels A, der Tonauflösung und Auflösung und möglichen räumlichen Artefakten, die durch Banding oder Dithering entstanden sind.
Im Folgenden werden mehrere Aufspaltungskonventionen angegeben, die die Bildqualität abhängig von den Fähigkeiten beider Darstellungsmittel A, B verbessern: Generell ist es vorteilhaft, das erste Teilbild I_A für das erste Darstellungsmittel A mit der niedrigeren Bildqualität zu erzeugen und das hochqualitativere Gerät als zweites Darstellungsmittel B zu verwenden. Dies erlaubt es, Artefakte (Bildfehler) im ersten Teilbild I_A so effizient wie möglich mit dem zweiten Teilbild I_B zu kompensieren.
Wenn beide Darstellungsmittel A und B Farben anzeigen können, ist es zweckmäßig, sowohl das Aufspalten des Ursprungsbildes als auch die Kompensierung der Artefakte im RGB-Farbraum auszuführen (und nicht im Luminanzraum gefolgt von einer Rekombinierung). Dadurch lassen sich Clippingartefakte während der Kompensierung vermeiden.
Falls das erste Darstellungsmittel A (als Gerät mit niedriger Qualität) nur Graustufen anzeigen kann und das zweite Darstellungsmittel B (als Gerät mit höherer Abbildungsqualität) Farben anzeigen kann, so wird das Aufspalten des Ursprungsbildes vorzugsweise im Luminanzraum durchgeführt, während die Kompensierung im RGB-Farbraum abgewickelt wird, um die gewünschten Originalfarben und -intensitäten zu erhalten. (Einzelheiten der zugrundeliegenden Zusammenhänge finden sich in der o. g. Veröffentlichung von SEETZEN sowie in TRENTACOSTE, M. et al., 2007, Photometric image processing for high dynamic range displays, J. Visual Communication and Image Representation 18, 5, 439–451.)
Falls das erste Darstellungsmittel A Farben und das zweite Darstellungsmittel B nur Graustufen anzeigt, werden sowohl das Aufspalten als auch die Kompensierung im Luminanzraum ausgeführt. Das erste Teilbild I_A wird vor dem Anzeigen in den RGB-Farbraum zurückkonvertiert. In diesem Fall ist nur eine Luminanzkompensierung möglich, während Farben angenähert werden und chromatische Artefakte unkompensiert bleiben.
Falls beide Darstellungsmittel A und B nur Graustufen anzeigen, werden Aufspalten und Kompensierung im Luminanzraum ausgeführt.
Für alle zuvor genannten Techniken der Aufspaltung müssen die Transferfunktionen beider Darstellungsmittel (Projektor und Hardcopygerät) linear sein. Zusätzlich zur oben bereits angesprochenen Linearisierung der Projektorantwortfunktion (Response) ist dafür zunächst die Kenntnis der gesamten Transferfunktion (Farbe und Intensität) des Hardcopygeräts (erstes Darstellungsmittel) erforderlich, damit diese durch Fehlerkorrektur linearisiert werden kann. Während eines einmaligen Kalibrationsprozesses eines erfindungsgemäßen Systems werden dafür alle möglichen Farbnuancen und Tonwerte des Darstellungsgeräts gedruckt oder angezeigt und über die Kamera aufgenommen. Für zum Beispiel einen 8-Bit RGB-Fotodrucker können alle 2²⁴ Werte auf vier DIN A4 großen Farbkarten räumlich kodiert und gedruckt werden. Diese Karten, die mit einer linearisierten hochauflösenden Kamera unter uniformem weißem Projektorlicht aufgenommen werden, werden rektifiziert und indiziert. Ihre Einträge werden abgetastet, geglättet und in Lookup-Tabellen gespeichert. Zur Linearisierung wird diese Lookup-Tabelle invertiert. Mehrfacheinträge werden gemittelt und fehlende Werte innerhalb der konvexen Hülle der abgetasteten Punkte interpoliert. Fehlende Werte außerhalb der konvexen Hülle werden ihren nächsten gültigen Einträgen zugeordnet. Zu beachten ist, dass diese Lookup-Tabellen nur den Farb- und Intensitätstransfer bis auf einen Skalierungsfaktor beinhalten, während man für die Transferfunktion T_A in Gleichung (2) auch räumliche Bildtransfereffekte wie Banding und Dithering beachten sollte. Diese Effekte können basierend auf bekannten Dithering und Sampling Funktionen berechnet werden, anstatt sie zu messen. Aus Gründen der Genauigkeit werden vorzugsweise die gesamten Lookup-Tabellen gespeichert und verwendet, anstatt einzelne Farbkanäle zu separieren und diese in einen Satz analytischer Funktionen einzusetzen, was bei geringeren Genauigkeitsanforderungen aber ebenfalls möglich wäre.
Eine vereinfachte Ausführungsform der Erfindung lässt sich realisieren, falls der Projektor und das Hardcopygerät beide linear sind und die gleichen Transfereigenschaften besitzen (Tonauflösung, Auflösung, Farbraum etc.). Dann wird die zuvor beschriebene komplexe HDR Aufspaltung des Ursprungsbildes und die Registrierung zwischen Soft- und Hardcopy unnötig. In diesem Fall vereinfacht sich die Aufspaltung des Ursprungsbildes, indem das erste Teilbild (Hardcopy) erzeugt wird als:
Eine hochaufgelöste lineare Fotografie davon wird ohne Modifikation (außer einer möglichen, aber konstanten Intensitätsskalierung, welche die f-Stop Einstellungen der Kamera beachtet) als zweites Teilbild I_B zurückprojiziert. Dies ergibt akzeptable Resultate, falls die linearisierte Kameraresponse die Bildqualität nicht signifikant reduziert. Bei dieser Ausführung ist nur eine Registrierung zwischen Kamera und Projektor notwendig. Diese Ausführungsform führt sogar dann zu akzeptablen Resultaten, wenn die Transfereigenschaften beider Geräte nicht exakt gleich, aber doch ähnlich sind und das Hardcopygerät eine bessere Bildqualität als der Projektor besitzt. Bildtransfereffekte (Banding und Dithering) werden bei dieser Ausführungsform jedoch nicht kompensiert. Die vereinfachte Ausführungsform lässt sich sowohl für Farbbilder, die auf farbige Hardcopies („Farbe auf Farbe”) projiziert werden, als auch für „Grau auf Farbe” und „Grau auf Grau” Fälle anwenden. Sie schlägt aber fehl in „Farbe auf Grau” Situationen.
Luminanzquantisierung
Eine abgewandelte Ausführungsform der Erfindung berücksichtigt die Luminanzquantisierung hinsichtlich der nichtlinearen Reaktion des menschlichen visuellen Systems und optimiert die Darstellung der Teilbilder unter Berücksichtigung des diskreten Verhaltens der verwendeten Darstellungsmittel (Modulationsgeräte).
Die sich aus der Überlagerung von Projektion und Hardcopy ergebende Modulation führt zu einer großen Anzahl physikalisch erzeugbarer Luminanzstufen. Wegen des nichtlinearen Verhaltens des menschlichen visuellen Systems sind jedoch nicht alle erzeugbaren Luminanzstufen vom Betrachter perzeptiv unterscheidbar. Die Anzahl wahrnehmbarer Luminanzstufen (Just Noticeable Difference oder JND-Schritte) erhöht sich mit wachsender Spitzenluminanz des Displays (vgl. dazu SEETZEN a. a. O.). Da eine exakte Darstellung der Bilder mit sicher unterscheidbaren Luminanzstufen für viele professionelle Applikati onen, z. B. viele medizinische Visualisierungen, essentiell ist, sollen Bilder eher in einen für die Wahrnehmung linearen JND-Raum konvertiert werden als in einem physikalisch linearen Luminanzraum präsentiert zu werden.
GHOSH, A. et al., 2005, Volume rendering for high dynamic range displays, Proc. EG/IEEE VGTC Workshop an Volume Graphics, 91–231, beschreiben zum Beispiel eine für die Wahrnehmung lineare Transferfunktion für Volumenrendering auf HDR-Displays. Der technisch erzielbare Luminanzraum solcher Displays ist jedoch diskretisiert und stellt eine Herausforderung für die Quantisierung dar, da gewählte JND-Schritte unter Umständen nicht exakt erzielt werden können, da sie keinen erzeugbaren Luminanzstufen zugeordnet werden können. Dies ist besonders dann der Fall, wenn beide Modulatoren (hier also die beiden Darstellungsmittel Projektor und Hardcopygerät) unabhängig voneinander linearisiert werden, was zu einer Reduktion der Tonwerte per se in jedem einzelnen Kanal führt, oder eine geringe lokale Tonauflösung haben. Auf der anderen Seite können viele ähnliche Luminanzstufen mit mehr als einer Modulationskombination angenähert werden. Dies führt zu folgender Fragestellung: Wie können ausgewählte JND-Schritte optimal individuellen Modulatorantworten zugeordnet werden, so dass technisch eine maximale Anzahl möglicher JND-Schritte erreicht wird und die Kombination der Transferfunktionen beider Modulatoren (Darstellungsmittel), welche die ausgewählten JND-Schritte produzieren, so monoton wie möglich bleibt? Die zweite Bedingung ist wichtig, um visuelle Artefakte im Fall geringfügiger Fehlregistrierung, signifikanter Differenz in der Modulatorauflösung oder Ungenauigkeiten, die in ihren gemessenen Transferfunktionen auftreten, zu vermeiden.
Für die Darstellung von Graustufeninhalten lässt sich dieses Problem lösen durch Abtasten der reflektierten Luminanzwerte aller 2^a Graustufen des ersten Darstellungsmittels A (Hardcopy) (gewonnen aus der oben erläuterten Transfer-Lookuptabelle) und aller 2^b Graustufen des zweiten Darstellungsmittels B (Projektor) (gewonnen aus eine Projektion auf eine flache, weiße Hardcopy). Ihre Multiplikation ergibt die korrespondierenden Luminanzwerte für alle 2^a+b Graustufenkombinationen. Die normalisierten Graustufen werden x (Hardcopy) und y (Projektor) Koordinaten zugewiesen (0 <= x, y <= 1). Ziel ist es, y = x^σ zu erreichen, mit der folgenden Bedingung:
wobei j = 0 ... n jeden einzelnen JND-Schritt (mit der gewünschten Luminanz L_j) indiziert, der vom gegebenen Blacklevel und der Spitzenluminanz abgeleitet werden kann. Angewandt werden kann beispielsweise die Luminanzquantisierungsfunktion, die in MANTIUK, R. et al., 2004, Perception-motivated high dynamic range video encoding, Proc. ACM Siggraph, vol. 23, 733–741; oder MANTIUK, R. et al., 2005, Predicting visible differences in high dynamic range images – model and its calibration, Proc. IS&T/SPIE's Annual Symposium an Electronic aging, vol. 5666, 204–214 beschrieben wurde, da sie für den hier benötigten Luminanzumfang definiert ist. Dabei ist L₀ äquivalent zur niedrigsten Blacklevelreflektion des Projektors. Für jeden (theoretisch) möglichen JND-Schritt j wird ein Satz C_j von Graustufenkandidaten c ∈ C_j gewählt, der zu reproduzierbaren Luminanzstufen führt, die größer oder gleich dem JND-Schritt j sind und deren kürzeste x, y Distanzen Δ_c zu y = x^σ nicht größer als ein vordefiniertes Maximum Δ sind. Aus jedem C_j wird der Kandidat s_j ∈ C_j gewählt, der L_j am besten annähert. Das Gleichsetzen von y = x^σ unter Maximierung der Anzahl technisch möglicher JND-Schritte resultiert in einem optimalen Satz von Projektor- und Hardcopygraustufen für jeden JND-Schritt, der die gewünschten Bedingungen erfüllt. Dies sind die Graustufen, die zu den gewählten Samples s_j für jeden JND-Schritt j am optimalen σ gehören.
Um farbige Inhalte anzuzeigen, wird die Luminanz der originalen RGB-Werte für Projektor und Hardcopy mit den korrespondierenden (normalisierten) Graustufen skaliert, die für diese Komponenten ausgewählt wurden.
Inverses Tonemapping
Eine weitere Ausführungsform der Erfindung ist auf den Fall adaptiert, dass nur unbehandelte Hardcopies und Softcopies (wie normale Fotografien) zur Verfügung stehen. Als Ursprungsbild ist in diesem Fall keine explizite HDR-Softcopy verfügbar. Stattdessen existieren nur eine nichtlineare Hardcopy und möglicherweise eine nichtlineare LDR-Softcopy. Diese könnten ein normaler und unbehandelter fotografischer Druck und sein digitales Gegenstück sein.
Das Aufnehmen von HDR-Bildern der Hardcopy unter einer komplett weißen und einer komplett schwarzen Projektion resultieren in der maximalen I_max und minimalen I_min lokalen Reflexion an jedem einzelnen Punkt der Hardcopy. Indem diese Daten in lokale Luminanzwerte konvertiert werden, können das globale Maximum
und das globale Minimum
bestimmt werden.
Wenn eine LDR-Softcopy verfügbar ist, besteht eine Möglichkeit darin, einen inversen Tonemappingoperator anzuwenden, um die HDR-Repräsentation I_HDR anzunähern, sie auf die Hardcopy (vom ersten Darstellungsmittel dargestelltes erste Teilbild) zu registrieren und Gleichung (5) anzuwenden, um das zu projizierende zweite Teilbild I_B zu berechnen: IB = (IHDR – Imin)/(Imax – Imin) (5)
Dafür kann beispielsweise der inverse Tonemappingoperator verwendet werden, der in der o. g. Veröffentlichung von BANTERLE beschrieben wurde und welcher die globale Version des fotografischen Tonreproduzierungsgoperators umkehrt (siehe dazu REINHARD, E. et al., 2002, Photographic tone reproduction for digital images, Proc. ACM Siggraph, vol. 21, 267–276).
Falls keine LDR-Softcopy verfügbar ist, bestehen zwei Möglichkeiten. In beiden Fällen ist nur eine Projektor-Kamera Registrierung erforderlich. Eine Option ist es, I_max direkt als Eingabe für den inversen Tonemappingoperator zu verwenden. Dies kann jedoch zu einem signifikanten Verlust an Bildqualität durch die limitierte Kameraresponse als auch durch die nichtlinearen und beschränkten Reproduktionsfähigkeiten des Hardcopygeräts führen. Eine bessere Lösung besteht darin, die Farben der originalen LDR-Softcopy durch Anwendung der inversen Transferfunktion des Hardcopygeräts auf I_max zu rekonstruieren. Bezogen auf die oben beschriebene Ausführungsform der Erfindung, bei welcher High Dynamic Range Inhalte verarbeitet werden, ist dies äquivalent zum Indizieren der umgekehrten Transfer-Lookuptabelle.
Es ist bekannt, dass aus wahrnehmungstechnischer Sicht einfache Skalierungstransformationen ähnliche Resultate wie ausgefeilte Tonemappingoperatoren hervorbringen können und sie manchmal sogar übertreffen. In AKYÜZ, A. et al., 2007, Do hdr displays support ldr content?: a psychophysical evaluation, Proc. ACM Siggraph, vol. 26, 38.2–38.7 wurde eine Skalierungstransformation beschrieben, die für die Anwendung mit der vorliegenden Erfindung wie folgt adaptiert wird:
wobei – wie oben – L entweder die Luminanzwerte von I_max oder die Luminanzwerte der rekonstruierten Softcopy sein können, und L_max und L_min das globale Maximum und Minimum von L sind. Nach der Konvertierung von L_HDR in RGB (I_HDR) kann Gleichung (5) benutzt werden, um das Projektionsbild (zweites Teilbild) zu schätzen. Da keine lineare Transferfunktion des Hardcopygeräts angenommen wird, ist während der Kompensierung mit Gleichung (5) ein minimales Clipping gewährleistet, falls γ in Gleichung (6) gleich dem γ der Transferfunktion des Hardcopygeräts ist. Für die obigen Fälle ist keine Registrierung von Softcopy und Hardcopy notwendig, nur eine Registrierung zwischen Projektor und Kamera.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- LEDDA, P. et al., 2003, A wide field, high dynamic range, stereographic viewer; Proc. Conference an Computer Graphics and Interactive Techniques in Australasia and Southeast Asia, 237–244 [0004]
- SEETZEN, H. et al., 2004, High dynamic range display systems; Proc. ACM Siggraph, 760–768 [0005]
- BANTERLE, F. et al., 2006, Inverse tone mapping, Proc. Conference an Computer Graphics and Interactive Techniques in Australasia and Southeast Asia, 349–356 [0006]
- LEPETIT, V. et al., 2006, Keypoint recognition using randomized trees; IEEE Trans. an Pattern Analysis Machine Intelligence 28, 9, 1465–1479 [0024]
- BROWN, M. et al., 2005, Camera Based Calibration Techniques for Seamless Multi-Projector Displays, IEEE Trans. an Visualization and Computer Graphics 11, 2, 193–206 [0025]
- BIMBER, O. et al., 2007, The Visual Computing of Projector-Camera Systems, Proc. Eurographics (State-of-the-Art Report), 23–46 [0025]
- TRENTACOSTE, M. et al., 2007, Photometric image processing for high dynamic range displays, J. Visual Communication and Image Representation 18, 5, 439–451 [0034]
- DIN A4 [0037]
- GHOSH, A. et al., 2005, Volume rendering for high dynamic range displays, Proc. EG/IEEE VGTC Workshop an Volume Graphics, 91–231 [0042]
- MANTIUK, R. et al., 2004, Perception-motivated high dynamic range video encoding, Proc. ACM Siggraph, vol. 23, 733–741 [0043]
- MANTIUK, R. et al., 2005, Predicting visible differences in high dynamic range images – model and its calibration, Proc. IS&T/SPIE's Annual Symposium an Electronic aging, vol. 5666, 204–214 [0043]
- REINHARD, E. et al., 2002, Photographic tone reproduction for digital images, Proc. ACM Siggraph, vol. 21, 267–276 [0048]
- AKYÜZ, A. et al., 2007, Do hdr displays support ldr content?: a psychophysical evaluation, Proc. ACM Siggraph, vol. 26, 38.2–38.7 [0050]

Claims

Verfahren zur Erhöhung des Kontrastsverhältnisses bei der Darstellung eines Ursprungsbildes mithilfe von Darstellungsmitteln, deren darstellbares Kontrastverhältnis jeweils geringer als das sich bei der Darstellung des Ursprungbildes ergebende Kontrastverhältnis ist, die folgenden Schritte umfassend: – Aufspalten des Ursprungsbildes in ein erstes und ein zweites Teilbild, deren jeweiliges Kontrastverhältnis an das von einem ersten bzw. einem zweiten Darstellungsmittel darstellbare Kontrastverhältnis angepasst ist; – Darstellen des ersten Teilbildes (I_A) mit dem ersten Darstellungsmittel (A) als reflektives Bild auf einer registrierten Projektionsfläche; – deckungsgleiches Projizieren des zweiten Teilbildes (I_B) mit dem zweiten Darstellungsmittel (B) auf das dargestellte erste Teilbild (I_A) zu dessen optischer Modulation.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Aufspalten des Ursprungsbildes unter Anwendung einer Inversfunktion zu der sich durch die optische Modulation der beiden Teilbilder ergebenden Multiplikation der Teilbilddaten darstellt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die das zweite Teilbild beschreibende Funktion des Ursprungsbildes einen Quotienten umfasst, der die Transferfunktion (T_A) des ersten Darstellungsmittels (A) wiedergibt.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Transferfunktion (T_A) des ersten Darstellungsmittels (A) in einem vorgelagerten Kalibrierungsschritt ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Ursprungsbild ein HDR-Bild (High Dynamic Range Bild) ist, und dass bei dessen Aufspalten die das HDR-Bild (I_HDR) repräsentierenden Bilddaten an die von den Darstellungsmitteln (A, B) darstellbaren Bittiefen, welche die darstellbaren Kontrastverhältnisse der Darstellungsmittel repräsentieren, angepasst werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Aufspalten des HDR-Bildes (I_HDR) in das erste und zweite Teilbild (I_A, I_B) nach folgenden Berechnungsvorschriften erfolgt:
IB = TMAB(IHDR)γ/TA(IA)wobei: TM_AB = Tonemapping-Operator (Dynamikkompressions-Operator), der I_HDR auf die Tonauflösung und die Farbskala abbildet, welche aus der Überlagerung der beiden Teilbilder resultieren; T_A = linearisierte Transferfunktion des ersten Darstellungsmittels (A); a = Bittiefe des ersten Darstellungsmittel (A); b = Bittiefe des zweiten Darstellungsmittel (B); γ = Gammakorrekturwert.
Verfahren nach Anspruch 6, wobei das erste Teilbild (I_A) mit geringerem Kontrastverhältnis als das zweite Teilbild (I_B) erzeugt und dargestellt wird.
Verfahren nach einem der Ansprüche 5 bis 7, wobei die beim Aufspalten im ersten Teilbild auftretenden Bildfehler während der Bestimmung der Bilddaten des zweiten Teilbildes derart berücksichtigt werden, dass diese Bildfehler durch die Überlagerung der beiden Teilbilder zumindest teilweise kompensiert werden.
Verfahren nach Anspruch 7 und 8, wobei das Aufspalten des HDR-Bildes (I_HDR) derart erfolgt, dass: – das Aufspalten der Bilddaten und die Kompensierung der Bildfehler ausschließlich im RGB-Farbraum erfolgen, wenn beide Teilbilder (I_A, I_B) farbig dargestellt werden; – das Aufspalten der Bilddaten ausschließlich im Luminanzraum und die Kompensierung der Bildfehler im RGB-Farbraum erfolgen, wenn das erste Teilbild als Graustufenbild und das zweite Teilbild als Farbbild dargestellt wird; – das Aufspalten der Bilddaten und die Kompensierung der Bildfehler im Luminanzraum erfolgen, wobei das erste Teilbild (I_A) vor seiner Darstellung in den RGB-Farbraum zurückkonvertiert wird, wenn das erste Teilbild als Farbbild und das zweite Teilbild als Graustufenbild dargestellt wird; – das Aufspalten der Bilddaten und die Kompensierung der Bildfehler im Luminanzraum erfolgen, wenn beide Teilbilder (I_A, I_B) als Graustufenbilder dargestellt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Aufspalten des Ursprungsbildes durch eine an das menschliche visuelle System angepasste Luminanzquantisierung erfolgt.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die von den ersten und/oder zweiten Darstellungsmitteln darstellbaren Grauwertstufen bestimmt werden, dass eine Funktion ermittelt wird, welche diese darstellbaren Grauwertstufen optimal auf die vom menschlichen visuellen System wahrnehmbaren Grauwertstufen abbildet, und dass diese ermittelte Abbildungsfunktion beim Aufspalten des Ursprungsbildes derart berücksichtigt wird, dass nur wahrnehmbare Grauwertstufen durch die optische Modulation erzeugt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Aufspalten des Ursprungsbildes durch ein zur Erhöhung des Kontrastverhältnisses geeignetes inverses Tonemapping erfolgt.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das zur Bestimmung des zweiten Teilbildes folgende Schritte ausgeführt werden: – fotografische Aufnahme des Ursprungsbildes unter einer komplett weißen und einer komplett schwarzen Projektion und Aufzeichnen der Reflexionswerte; – Feststellen der maximalen I_max und minimalen I_min lokalen Reflexion an jedem einzelnen Punkt des aufgenommenen ersten Teilbildes; – Konvertieren der Daten I_max und I_min in lokale Luminanzwerte; – Bestimmen des globalen Maximum
und das globale Minimum
aus den konvertierten Daten.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass das erste Teilbild identisch zum Ursprungsbild gewählt wird.
Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass zur Registrierung der Projektionsfläche ein vorbestimmtes Bild oder Lichtmuster vom zweiten Darstellungsmittel (B) projiziert und mit einer Kamera (K) aufgenommen wird.
Vorrichtung zur Erhöhung des Kontrastsverhältnisses bei der Darstellung eines Ursprungsbildes, umfassend: – ein erstes Darstellungsmittel (A), welches ein aus dem Ursprungsbild abgespaltenes erstes Teilbild (I_A) auf einer registrierten Projektionsfläche darstellt; – ein zweites Darstellungsmittel (B), welches ein zweites aus dem Ursprungsbild abgespaltenes Teilbild (I_B) deckungsgleiches auf das dargestellte erste Teilbild (I_A) projiziert.
Vorrichtung nach Anspruch 16, weiterhin eine Einrichtung zum Einstellen der ersten und zweiten Darstellungsmittel (A, B) umfassend, um eine deckungsgleiche Abbildung der beiden Teilbilder zu ermöglichen.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Einrichtung zum Einstellen eine Kamera (K) umfasst, welche das auf der Projektionsfläche abgebildete Bild aufzeichnet.
Vorrichtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass sie für die Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 15 konfiguriert ist.