DE102004051607A1

DE102004051607A1 - Verfahren und Vorrichtung zur Darstellung eines digitalen Bildes auf einer geometrisch und photometrisch nicht-trivialen Oberfläche

Info

Publication number: DE102004051607A1
Application number: DE102004051607A
Authority: DE
Inventors: Oliver Dr. Bimber; Andreas Emmerling; Thomas Klemmer
Original assignee: Bauhaus Universitaet Weimar
Current assignee: Vioso De GmbH
Priority date: 2004-08-30
Filing date: 2004-10-23
Publication date: 2006-03-09
Anticipated expiration: 2024-10-24
Also published as: DE102004051607B4

Abstract

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung anzugeben, mit denen digitale Bilder so auf einen Untergrund mit beliebiger Oberflächenstruktur und/oder -färbung projiziert werden können, dass die durch den Untergrund verursachte Bildbeeinflussung zumindest für eine spezielle Betrachterperspektive pixelgenau kompensiert wird. DOLLAR A Erfindungsgemäß gelingt die Lösung der Aufgabe dadurch, dass das digitale Bild (Z) während eines Rendervorganges verarbeitet wird, indem es anhand eines zweidimensionalen Pixelversatzfeldes (D), das Informationen über die Projektionsfläche (S) enthält, geometrisch verzerrt und/oder anhand einer zweidimensionalen Oberflächentextur (T¶S¶) der Projektionsfläche (S) farblich manipuliert wird, und dass wenigstens ein Teil des verarbeiteten Bildes (I) in den Bildpuffer (B) gerendert wird und dass zum Auslösen des Rendervorgangs ein Rechteck in den Bildpuffer (B) geschrieben wird. DOLLAR A Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung eines zweidimensionalen digitalen Bildes auf einer Projektionsfläche, wobei mittels eines Projektors ein Inhalt eines Bildpuffers auf die Projektionsfläche projiziert wird.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung eines zweidimensionalen digitalen Bildes auf einer Projektionsfläche wobei mittels eines Projektors ein Inhalt eines Bildpuffers auf die Projektionsfläche projiziert wird.
Im Sinne der Erfindung ist eine Projektionsfläche eine prinzipiell beliebige Fläche. Insbesondere kann eine Projektionsfläche im Sinne der Erfindung eine geometrisch und photometrisch nicht-triviale Oberfläche sein, die beispielsweise beliebig dreidimensional geformt und/oder beliebig texturiert ist. Eine Projektionsfläche im Sinne der Erfindung kann insbesondere auch aus mehreren Teilflächen bestehen.

Im Stand der Technik ist nach DE 102 51 217 B3 ein System zur Autokalibrierung von Multiprojektorsystemen bekannt, welches mindestens zwei Projektoren, eine Digitalkamera und eine Ansteuerungseinheit zur Ansteuerung der Projektoren und der Kamera aufweist, wobei eine Autokalibrierung mit den Schritten Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, Finden der größtmöglichen gemeinsamen Projektionsfläche, Berechnung der Warp-Felder und Imagewarping erfolgt. Bei diesem Verfahren werden mehrere Videoprojektoren durch Aufnahme von auf eine Projektionsfläche projizierten vertikalen und horizontalen Streifenmmustern mit einer Digitalkamera kalibriert. Die Streifen haben jeweils einen konstanten Abstand voneinander, der je nach Komplexität der Geometrie der Projektionsfläche zu wählen ist. Die Streifen werden für jeden Projektor separat aufgenommen, so dass eine Anzahl von Aufnahmen entsteht, die der doppelten Anzahl von Projektoren entspricht. Zusätzlich wird ein Bild aufgenommen, in dem alle Projektoren ein schwarzes Bild projizieren. Eine Entzerrung der Projektionsflächengeometrie findet linear interpoliert zwischen diskreten Punkten eines Gitters dar, dessen Maschenweite durch die Abstände der Streifenmuster bestimmt wird, die nicht beliebig verringert werden können. Eine pixelgenaue Entzerrung ist mit diesem System nicht möglich. Nachteilig ist dabei weiterhin, dass eine nicht-weiße Texturierung oder Unterschiede in der Texturierung der Projektionsfläche die Darstellung beeinträchtigen.

Aus Guehring, „Dense 3d surface acquisition by structures light using off-the-shelf-components", Proceedings of SPIE: Videometrics and Optical Methods for 3D Shape Measuring, 2001, vol. 4309, S. 220-231, ist es bekannt, Spalten-Zeilen-kodierte Muster mit Phasenverschiebungen zu projizieren, um Oberflächenstrukturen zu erfassen.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung anzugeben, mit denen digitale Bilder so auf einen Untergrund mit beliebiger Oberflächenstruktur und/oder -färbung projiziert werden können, dass die durch den Untergrund verursachte Bildbeeinflussung zumindest für eine spezielle Betrachterperspektive pixelgenau kompensiert wird.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die in Anspruch 1 angegebenen Merkmale aufweist, und eine Vorrichtung, welche die in Anspruch 22 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Mit dem erfindungsgemäßen Verfahren gelingt es, ein digitales Bild, das auch aus einer sequentiell zu projizierenden Bildfolge stammen kann, mit einem oder mehreren Projektoren auch auf eine nicht-plane, geometrisch sehr komplexe, und farbige und/oder texturierte Oberfläche korrekt zu projizieren, indem Form- und Farbinformation der Oberfläche in eine Anpassung der digitalen Bilder miteinbezogen werden. Das Verfahren sieht dazu vor, dass das digitale Bild während eines Rendervorganges verarbeitet wird, indem es anhand eines zweidimensionalen Pixelversatzfeldes, das pixelgenaue Informationen über die Projektionsfläche enthält, geometrisch verzerrt und/oder anhand einer zweidimensionalen Oberflächentextur der Projektionsfläche farblich manipuliert wird, und dass wenigstens ein Teil des verarbeiteten Bildes in den Bildpuffer gerendert wird. Das Verfahren ist in der Lage, jedes Pixel des Projektors oder der Projektoren in Echtzeit zu verarbeiten und darzustellen.

Vorteilhaft ist insbesondere, dass eine geometrische und/oder farbliche Korrektur des digitalen Bildes auf einer pixelgenauen Basis erfolgt, dass die Vermessung der Oberflächengeometrie und der Oberflächentextur der Projektionsfläche und der Umgebungsbeleuchtung in einer Kalibrierung vollautomatisch und pixelgenau erfolgen kann, und dass das Verfahren mit moderner Computerhardware in Form von Pixelshadern mit hoher Geschwindigkeit, insbesondere in Echtzeit, ausführbar ist.

Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels erläutert.

Dazu zeigen:
1 schematisch eine erfindungsgemäße Vorrichtung während der Kalibrierung,
2 schematisch den Ablauf des Verfahrens und
3 den Ablauf des Verfahrens in einer erweiterten Ausgestaltung.
In 1 ist eine Vorrichtung während des automatischen Kalibriervorganges dargestellt. Der Projektor P in Form eines digitalen LCD-Lichtprojektors, der beispielsweise eine XGA-Auflösung aufweist, ist so angeordnet und fest fokussiert, dass er die Projektionsfläche S beleuchtet. Es können beliebige digitale Projektoren verwendet werden, beispielsweise auch Laserprojektoren. Der Projektor P kann dabei in einer beliebigen Position in Bezug auf die Projektions fläche S angeordnet sein. Die Projektionsfläche S ist ein gewellter Vorhang vor einer Terassentür, weist also eine komplexe Geometrie auf. Die Projektionsfläche S weist weiterhin eine komplexe Texturierung auf, da sie horizontal unterschiedlich farbige Streifen aufweist. Etwa an der Position der Augen eines Betrachters O ist zur Kalibrierung vorübergehend eine Kamera C beispielsweise in Form einer analogen oder digitalen Videokamera angeordnet, welche die Projektionsfläche S abbildet und die aufgenommenen Bilder digitalisiert. Die Kamera C ist an eine nicht abgebildete Steuereinheit angeschlossen, in welcher die mittels der Kamera C digitalisierten, aufgenommenen Bilder verarbeitbar sind. Der Projektor P ist ebenfalls mit der Steuereinheit verbunden, wobei ein zu projizierendes Bild von der Steuereinheit an den Projektor P übertragbar ist. Die Steuereinheit ist zudem mit einem nicht abgebildeten DVD-Player verbunden, der digitale Bilder Z an die Steuereinheit abgibt, die nach dem Kalibiervorgang auf der Projektionsfläche S darzustellen sind. Anstelle des DVD-Players können alle bildgebenden Quellen wie Videorekorder, Camcorder, Computer verwendet werden. Ein Computer kann hierzu insbesondere Computeranimationen abspielen oder eine Benutzeroberfläche zur Verfügung stellen.
Während des Kalibriervorganges werden in einer Variation des Spalten-Zeilenkodierten Musterprojektionsverfahren mit Phasenverschiebungen zeitlich gemultiplexte Streifenmuster in einer Vielzahl von projizierten Kalibrierbildern K_P dargestellt und in zugehörigen digitalisierten, aufgenommenen Kalibrierbild K_C erfasst. Anhand der Unterschiede zwischen den projizierten Kalibrierbildern K_P und den zugehörigen digitalisierten, aufgenommenen Kalibrierbildern K_C wird ein Pixelversatzfeld D (engl. pixel displacement map) ermittelt, das jeweils einen Pixel der Betrachterperspektive, also der Kamera, zu einem projizierten Pixel des Projektors zuordnet. Zur Veranschaulichung wird in dem in 1 dargestellten Zeitpunkt mittels des Projektors P ein Kalibrierbild K_P projiziert, welches eine einzelne horizontale Linie enthält. Aufgrund der gewellten Geometrie der Projektionsfläche S erscheint diese Linie aus der Betrachterperspektive und somit in dem digitalisierten, aufgenommenen Kalib rierbild K_C als gewellte Linie. Die derart ermittelte Verzerrung der Linienpixel wird in dem Pixelversatzfeld D gespeichert.
2 beschreibt schematisch den Ablauf des Darstellungsverfahrens in einer Anordnung, die beispielsweise mit der in 1 beschriebenen übereinstimmt. In einem Bildverarbeitungsschritt wird innerhalb einer Steuereinheit ein darzustellendes, digitales Bild Z anhand eines zweidimensionalen Pixelversatzfeldes D und anhand einer Oberflächentextur T_S der Projektionsfläche S geometrisch verzerrt und farblich manipuliert. Das Pixelversatzfeld D und die Oberflächentextur T_S stammen aus einer zuvor durchgeführten Kalibrierung. Die geometrische Verzerrung anhand des Pixelversatzfeldes D erfolgt derart, dass die Pixel des digitalen Bildes Z so versetzt werden, dass aus der Betrachterbeziehungsweise Kameraperspektive das digitale Bild Z auf eine virtuelle, ebene Fläche projiziert erscheint. Vorzugsweise wird die geometrische Verzerrung mittels eines Pixelshaders durchgeführt, da auf diese Weise die Bildverarbeitung in Echtzeit erfolgen kann. Die farbliche Manipulation anhand der Oberflächentextur T_S der Projektionsfläche S erfolgt derart, dass die Farben und/oder Muster der Projektionsfläche S möglichst weitgehend neutralisiert erscheinen, so dass das digitale Bild Z auf eine weiße Fläche projiziert erscheint. Während des Verarbeitungsschrittes wird das verarbeitete Bild in einen Bildpuffer B gerendert. Aus diesem wird es anschließend mittels des Projektors P projiziert.
Werden in dem Verarbeitungsschritt sowohl die geometrische Verzerrung als auch die farbliche Manipulation durchgeführt, erscheint das digitale Bild Z aus der Betrachter- beziehungsweise Kameraperspektive auf eine virtuelle, ebene, weiße Fläche projiziert. Der Betrachter nimmt also kaum Verzerrungen aufgrund einer nichtebenen Geometrie der Projektionsfläche S und kaum Verfärbungen aufgrund nicht-weißer Farbe und/oder Textur der Projektionsfläche S wahr. Es ist auch möglich, in dem Verfahren ausschließlich die geometrische Verzerrung oder alternativ ausschließlich die farbliche Manipulation durchzuführen. Beispielsweise ist, falls die Projektionsfläche weiß und uneben ist, le diglich die geometrische Verzerrung erforderlich. Auch für schwache Färbungen, beispielsweise in hellen Pastelltönen, ist die alleinige geometrische Verzerrung ausreichend. Ist hingegen die Projektionsfläche eben, jedoch mit nichtweißer Farbe und/oder Texturen versehen, so ist nur die farbliche Manipulation erforderlich.
Wenn Licht auf eine Oberfläche trifft, wird nur ein Teil seiner ursprünglichen Intensität und Farbe reflektiert, wohingegen der Rest absorbiert wird. Bei Lambertschen Oberflächen, die vollständig diffus reflektieren, hängt die Stärke und Farbe des reflektierten Lichts von diversen Parametern ab, wie der Materialfarbe M einer Oberflächenstelle, einer zu projizierenden Lichtintensität I einer Spektralkomponente einer Lichtquelle, also eines Projektors P, und der Entfernung und dem Einfallswinkel bezüglich der Oberfläche, die zusammen den sogenannten Formfaktor F darstellen. Bei perfekt diffusen Oberflächen beschreibt das Lambertsche Gesetz die Intensität diffuse reflektierten Lichtes R für jede spektrale Komponente: R = IFM, F = cos(α)/r². Außer dem Licht eines Videoprojektors unterliegt denselben Vorgängen eine Umgebungsbeleuchtung E, die sich unter der Annahme additiver Farbmischung zur Gesamtintensität einer Spektralkomponente des reflektierten Lichtes zusammensetzen als: R = EM + IFM. Durch Projektion eines entsprechenden Bildes in je nach Pixel zu projizierender Lichtintensität I kann die Zusammensetzung neutralisiert werden, so dass ein visueller Eindruck entsprechend der reflektierten Intensität R in Form eines gewünschten Bildes in dessen ursprünglichen Farben entsteht, indem die Gleichung für I gelöst wird: I = (R – EM)/FM. Die Produkte EM und FM sind mittels des Projektors P und der Kamera C ermittelbar. Eine zu dem Produkt FM proportionale Größe wird unter abgedunkelter Umgebungsbeleuchtung E = 0 ermittelt, indem ein Bild I = 1 mit höchster Lichtintensität des Projektors P projiziert und mittels der Kamera C aufgenommen wird. Eine zu dem Produkt EM proportionale Größe wird mit der vorgesehenen Umgebungsbeleuchtung E und schwarzem Projektorbild I aufgenommen. Als reflektierte Intensität R werden die Intensitäten des jeweils dazustellenden digitalen Bildes Z nach Farbkanälen separiert verwendet. Dazu wird vorausgesetzt, dass Projektor P und Kamera C hinsichtlich Farbe und Intensität angepasst sind und dass eine automatische Helligkeitskontrolle, ein automatischer Fokus und ein automatischer Weißabgleich der Kamera C ausgeschaltet sind. Die benötigten Parameter sind mit diesen einfachen Annahmen ohne komplizierte Messungen und ohne zusätzliche Geräte ermittelbar. Um eine korrekte Berechnung ohne Verzerrung durch die geometrische Struktur der Projektionsfläche S zu erreichen, werden die aufgenommenen Größen EM und FM vor ihrer weiteren Verwendung mittels des Pixelversatzfeldes D beziehungsweise der Pixelversatztextur T_D in die Projektorperspektive verzerrt.
In 3 ist ein komplexeres Verfahren zu einer Vorrichtung, beispielsweise gemäß 1, einschließlich einer automatischen Kalibrierung schematisch dargestellt. Zuerst wird zweckmäßigerweise die Kalibrierung durchgeführt. Ein Betrachter O muss dazu lediglich eine Kamera C in der vorgesehenen Betrachterposition anbringen und während der Kalibrierung in dieser Position belassen. Soll die Projektionsfläche nur teilweise beleuchtet werden, so kann der Betrachter O durch eine Maske in einem mittels der Kamera C in der Betrachterposition aufgenommenen Bild der Projektionsfläche S eine Begrenzung einer virtuellen Projektionsfläche festlegen, innerhalb derer die Projektion erfolgen soll. Alle Pixel außerhalb der Begrenzung werden nach dem Digitalisieren aller nachfolgenden Aufnahmen auf schwarz gesetzt, so dass während der Kalibrierung keine Projektion in diese Bereiche erkannt wird. Als Folge wird auch in den regulären Verfahrensschritte keine Projektion in diese Bereiche erfolgen. Wird keine Begrenzung beziehungsweise Maske festgelegt, so wird das Sichtfeld der Kamera C automatisch als Begrenzung verwendet. Anschließend kann der Betrachter die automatische Kalibrierung auslösen. Deren Verlauf wird im Folgenden zunächst beschrieben. Alle Aufnahmen der Kamera C werden dabei automatisch vorentzerrt, um eine radiale Linsenverzeichnung der Kamera C zu kompensieren.
In einem ersten Kalibrierschritt K1 wird mittels des Projektors P ein Testbild auf die Projektionsfläche S projiziert und mit der Kamera C wiederholt Bilder von der Projektionsfläche aufgenommen, bis das Testbild in den aufgenommenen Bildern identifiziert wird. Die Zeitspanne von der Projektion bis zur Identifikation wird als Latenzzeit t gemessen und in allen folgenden Kalibrierschritten bei der Aufnahme von Bildern berücksichtigt. Zur Erhöhung der Genauigkeit können auch mehrere Zeitmessungen anhand mehrerer Testbilder erfolgen. Ein Testbild ist zweckmäßigerweise so aufgebaut, dass es auch bei Vorhandensein von unregelmäßigen Strukturen, starken Verzerrungen und großen Farbunterschieden identifizierbar ist. Es ist sinnvoll, die Kalibrierung unter Ausschluß einer Umgebungsbeleuchtung unter Verdunkelung durchzuführen, um eine sichere Identifikation des Testbilds oder der Testbilder zu ermöglichen. In einem späteren Kalibrierschritt wird ebenfalls Verdunkelung benötigt, daher ist es zweckmäßig, bereits vor der Kalibrierung zu verdunkeln.
In einem zweiten Kalibrierschritt K2 werden mittels des Projektors P zeitlich gemultiplexte Streifenmuster in einer Variation des Spalten-Zeilen-kodierten Musterprojektionsverfahren mit Phasenverschiebungen in Kalibrierbildern K_P projiziert und mittels der Kamera C in zugehörige Kalibrierbilder K_C aufgenommen und digitalisiert. Anhand der Unterschiede zwischen den projizierten Kalibrierbildern K_P und den zugehörigen digitalisierten, aufgenommenen Kalibrierbildern K_C wird ein zweidimensionales Pixelversatzfeld D ermittelt, das jeweils einen Pixel der Betrachterperspektive, also der Kamera, zu einem projizierten Pixel des Projektors zuordnet. Aufgrund unterschiedlicher Auflösungen von Kamera C und Projektor P und aufgrund deren unterschiedlicher Abstände von der Projektionsfläche S stellt das Pixelversatzfeld D keine eins-zu-eins Pixelzuordnung dar. Im Extremfall kann das Pixelversatzfeld D unvollständig sein, falls Teile der Projektionsoberfläche S im Schatten erhabener Strukturen liegen. Dies kann jedoch durch mehrere, aus unterschiedlichen Richtungen projizierende Projektoren vermieden werden. Weiterhin ist es möglich, dass aufgrund der geometrischen Struktur der Projektionsfläche S mehrere verschiedene projizierte Pixel der Streifenmuster auf den gleichen Kamerapixel abgebildet werden. Daher werden Mittelwerte der geometrischen Versätze berechnet und in dem Pixelversatzfeld D gespeichert. Auf diese Weise wird eine Genauigkeit unterhalb eines Pixels erreicht. Das Pixelversatzfeld D erlaubt, jeden Pixel der Kamera C aus der Betrachterperspektive in die Perspektive des Projektors P abzubilden. Dies ergibt eine unverzerrte Perspektive, ohne dass die dreidimensionale Form der Projektionsfläche S bekannt sein muss. Das Pixelversatzfeld D wird, vorzugsweise mittels eines P-Puffers, in eine Pixelversatztextur T_D konvertiert, die im weiteren Verlauf des Verfahrens für eine automatische Verzerrung eines Bildes in die unverzerrte Perspektive als Parametertextur eines Pixelshaders verwendbar ist. In der Pixelversatztextur T_D sind anschließend Verweise von jedem Pixel des Projektors P zu einem zugehörigen Pixel des digitalen Bildes Z und zu einem zugehörigen Pixel der Kamera C gespeichert. Beispielsweise sind die Verweise zu den Pixeln des digitalen Bildes Z in Form ihrer horizontalen und vertikalen Koordinaten in den Kanälen Rot und Grün und die Verweise zu den Pixeln der Kamera C in Form ihrer horizontalen und vertikalen Koordinaten in den Kanälen Blau und Alphawert gespeichert.
Mittels des Pixelshaders ist in späteren Verfahrensschritten mit der als Parametertextur verwendeten Pixelversatztextur T_D die Bildverzerrung (engl. warping) über ein sogenanntes „pseudo pixel displacement mapping" in Echtzeit möglich. Dem Pixelshader wird dazu als weitere Parametertextur ein jeweils zu verzerrendes Bild in Form einer Textur übergeben. Um das Rendern auszulösen, wird beispielsweise ein einzelnes zweidimensionales Rechteck in einen mit dem Pixelshader verbundenen Bildpuffer B geschrieben. Das Rendern schließt das Rastern jedes Projektorpixels in den Bildpuffer B durch den Pixelshader ein. Die Farben der eingehenden Pixel werden durch neue Farben überschrieben, die sich aus den korrespondierenden Pixeln des zu jeweils verzerrenden Bildes ergeben. Diese Pixel werden durch den entsprechend programmierten Pixelshader automatisch aus der Pixelversatztextur T_D ermittelt. Der Effekt ist eine spezifische Verschiebung von Pixeln des jeweils zu verzerrenden Bildes an eine neue Position innerhalb des Bildpuffers B. Diese Verzerrung erfordert keine weiteren geometrischen Informationen über die Projektionsfläche S.
In einem dritten Kalibrierschritt K3a wird mittels des Projektors P ein weißes Kalibrierbild K_P mit höchster verfügbarer Helligkeit projiziert und mittels der Kamera C ein dazu gehöriges Kalibrierbild K_C aufgenommen und anhand des bereits ermittelten Pixelversatzfeldes D und/oder anhand der Pixelversatztextur T_D der Geometrie der Projektionsfläche S gemäß verzerrt und als als Parametertextur verwendbare Oberflächentextur T_S der Projektionsfläche S gespeichert. In einem vierten Kalibrierschritt K3b wird unter einer vorgesehenen Umgebungsbeleuchtung mittels des Projektors P ein schwarzes Kalibrierbild K_P projiziert, aufgenommen, digitalisiert, anhand des bereits ermittelten Pixelversatzfeldes D und/oder anhand der Pixelversatztextur T_D der Geometrie der Projektionsfläche S gemäß verzerrt und als Umgebungsbeleuchtungstextur T_E gespeichert.
Damit ist die automatische Kalibrierung beendet. Die Kamera C kann entfernt werden, sie wird nicht mehr benötigt soweit die geometrischen und Beleuchtungs-Verhältnisse konstant bleiben. Im Falle der XGA-Auflösung von 1024 × 768 Pixeln und einer PAL-Kameraauflösung von 720 × 576 Pixeln sowie einer maximalen Latenzzeit t der Kamera von 80 ms und einer durchschnittlichen Bildverarbeitungsdauer von 150 ms dauert die automatische Kalibrierung etwa 28 s. Interaktionen mit dem Betrachter sind nicht erforderlich.
Die Darstellung erfolgt nach der Kalibrierung in zwei Schritten S1 und S2, die in dieser Reihenfolge beliebig wiederholt werden können, wobei ein statisches digitales Bild Z oder eine fortlaufende Folge von digitalen Bildern Z verwendet werden können. Da die Echtzeitbildverarbeitung möglich ist, kann es sich beispielsweise um einen Film oder eine Animation handeln.
In Schritt S1 werden dem Pixelshader zunächst die erforderlichen Parametertexturen übergeben. Es handelt sich um die Pixelversatztextur T_D, die Oberflächentextur T_S, die Umgebungsbeleuchtungstextur T_E und das digitale Bild Z in Form einer Textur. Durch Schreiben eines weißen Rechtecks in den Bildpuf fer B wird für jeden Farbkanal ein separater Rendervorgang ausgelöst. Während des Renderns wird das digitale Bild Z anhand der Pixelversatztextur T_D in der oben zur Kalibrierung beschriebenen Weise durch „pixel displacement mapping" geometrisch verzerrt (engl. warped). Außerdem werden die versetzten Pixel anhand der zu 2 beschriebenen Gleichungen durch den Pixelshader farbkorrigiert beziehungsweise farblich manipuliert. Mittels des Pixelshaders können dabei manuell durch den Betrachter O vorgegebene Farb- oder Helligkeitswerte, insbesondere für eine Gammakorrektur, feineingestellt werden. Außerdem sind mittels entsprechender Programmierung des Pixelshaders extreme Intensitätsverhältnisse vermeidbar, um sichtbare Artefakte zu vermeiden.
Das gerenderte Bild befindet sich anschließend als zu projizierendes Bild I im Bildpuffer B und wird in Schritt S2 mittels des Projektors P auf die Projektionsfläche S projiziert.
Durch die Verwendung mehrerer Projektoren P_i kann einerseits die Darstellungsqualität verbessert werden, insbesondere bei farbiger und/oder texturierter Projektionsfläche S. Die Projektoren P_i können sich hinsichtlich ihrer maximalen Lichtintensität ergänzen und/oder Schattenbereiche jeweils eines oder mehrerer anderer Projektoren P_i beleuchten. Dabei können sich die beleuchteten Bereiche der Projektoren P_i überlappen oder vollständig unabhängig voneinander jeweils einen Teil der Projektionsfläche S beleuchten. Durch Kachelung der projizierten Bilder I kann eine Auflösung erzielt werden, die ein einzelner Projektor P nicht zu erbringen vermag. Der Aufwand zur automatischen Kalibrierung wird für den Betrachter durch mehrere Projektoren P_i nicht erhöht. Die Dauer der Kalibrierung nimmt im wesentlichen linear mit der Anzahl der Projektoren P_i zu. Während der Kalibrierung wird jeweils ein Pixelversatzfeld D_i, daraus eine Pixelversatztextur T_Di und zudem eine Oberflächentextur T_Si für jeden Projektor ermittelt. Auf diese Weise sind Pixel aus der Betrachter- beziehungsweise Kameraperspektive auf die Perspektive jedes Projektors P_i so abbildbar, dass sie auf exakt auf dieselbe Stelle auf der Projektionsfläche proji ziert werden. Für N Projektoren P_i addieren sich die einzelnen Lichtintensitäten an einer Oberflächenstelle in einer Spektrumskomponente zur gesamten reflektierten Intensität R = EM + I₁F₁M + ... + I_NF_NM. Unter der Annahme, dass die Projektoren P_i eine identische Intensität abstrahlen, kann die jeweils zu projizierende Intensität I_i eines Projektors P_i berechnet werden aus:
I_i = (R – EM)/(F₁M + ... + F_NM), da unter dieser Annahme gilt:
R = EM + I_i(F₁M + ... + F_NM). Das entspricht einem einzelnen, virtuellen, starken Projektor P. Obwohl jeder Projektor P_i dieselbe Intensität abstrahlt, bewirken unterschiedliche Formfaktoren F_i unterschiedliche auftreffende Intensitätsteile. Diese Teile werden auf der Projektionsfläche S additiv gemischt und ergeben die reflektierte Intensität: R = EM + IiF1M + ...+ IiFNM = EM + (R – EM)/(F1M + ... + FNM)(F1M + ... + FNM).
Wie im Falle eines einzelnen Projektors P wird das zu projizierende Bild I in Echtzeit mittels eines oder mehreren Pixelshadern berechnet, welchen die Parametertexturen zu den Größen EM, F₁M, ..., F_NM nach projektorabhängigem Verzerren mittels des zu dem betreffenden Projektor gehörenden Pixelversatzfeldes D_i beziehungsweise der betreffenden Pixelversatztextur T_Di als Umgebungsbeleuchtungstextur T_E beziehungsweise als Oberflächentexturen T_Si übergeben werden. Die Größen F_iM können auf zwei Weisen ermittelt werden. Entweder durch sequentielles Projizieren und Aufnehmen eines Bildes I_i = 1 höchster Intensität für jeden einzelnen der Projektoren P_i nacheinander oder durch Aufnahme eines projizierten Bildes I, das proportional zu F₁M + ... + F_NM ist, indem dazu mittels aller Projektoren P_i gleichzeitig Bilder I_i = 1 höchster Intensität projiziert werden. Die zweite Vorgehensweise ist zwar kompakter, kann jedoch zu einer Übersteuerung der Kamera C führen. Schattenregionen einzelner Projektoren P_i sind dabei in den Formfaktorgrößen eingeschlossen und werden automatisch als Nebeneffekt entfernt. Dazu muss jeder auszuleuchtende Bereich der Projektionsfläche S durch mindestens einen Projektor P_i beleuchtbar sein. Gleichmäßige Übergänge zwischen den Projektionen mehrerer Projektoren P_i sind mit üblichen Cross-Fading-Techniken möglich.

P: Projektor
S: Projektionsfläche
C: Kamera
Z: Digitales Bild
D: Pixelversatzfeld
B: Bildpuffer
E: Umgebungsbeleuchtung
I: Zu projizierendes/projiziertes Bild/Intensität
R: Reflektierte Intensität
t: Latenzzeit
M: Materialfarbe
F: Formfaktor
α: Einfallswinkel
r: Entfernung
T_D: Pixelversatztextur
T_S: Oberflächentextur
T_E: Umgebungsbeleuchtungstextur
O: Betrachter

Claims

Verfahren zur Darstellung eines zweidimensionalen digitalen Bildes (Z) auf einer Projektionsfläche (S), wobei mittels eines Projektors (P) ein Inhalt eines Bildpuffers (B) auf die Projektionsfläche (S) projiziert wird, dadurch gekennzeichnet, dass das digitale Bild (Z) während eines Rendervorganges verarbeitet wird, indem es anhand eines zweidimensionalen Pixelversatzfeldes (D), das Informationen über die Projektionsfläche (S) enthält, geometrisch verzerrt und/oder anhand einer zweidimensionalen Oberflächentextur (T_S) der Projektionsfläche (S) farblich manipuliert wird, und dass wenigstens ein Teil des verarbeiteten Bildes (I) in den Bildpuffer (B) gerendert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das geometrische Verzerren und das farbliche Manipulieren mittels mindestens eines Pixelshaders durchgeführt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das zweidimensionale Pixelversatzfeld (D) in Form einer Pixelversatztextur (T_D) und das digitale Bild (Z) in Form einer Bildtextur als Parametertexturen für den Pixelshader verwendet werden
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Pixelversatztextur (T_D) mittels eines P-Puffers aus dem zweidimensionale Pixelversatzfeld (D) erzeugt wird.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass mittels des Pixelshaders Farbe und/oder Helligkeit der Darstellung feineingestellt und/oder eine Gammakorrektur der Darstellung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine automatische Kalibrierung durchgeführt wird, bei der mittels des Projektors (P) mindestens ein Kalibrierbild (K_P) auf die Projektionsfläche (S) projiziert wird und mittels einer Kamera (C) das projizierte Kalibrierbild (K_P) wenigstens teilweise aufgenommen und digitalisiert wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Kamera (C) für die Kalibrierung an einer Betrachterposition angeordnet wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass zu mindestens einem projizierten Pixel eines projizierten Kalibrierbildes (K_P) ein zugehöriger aufgenommener Pixel eines digitalisierten, aufgenommenen Kalibrierbildes (K_C) identifiziert wird und ein zweidimensionaler geometrischer Versatz zwischen dem projizierten und dem aufgenommenen Pixel ermittelt und als ein Element des zweidimensionalen Pixelversatzfeldes (D) gespeichert wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mehrere aufeinanderfolgende Kalibrierbilder (K_P) wenigstens teilweise projiziert und aufgenommen werden, wobei projizierte Kalibrierbilder (K_P) zeitlich gemultiplexte Streifenmuster enthalten, anhand derer zu projizierten Pixeln zugehörige aufgenommene Pixel ermittelt werden.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass, falls mehrere digitalisierte, aufgenommene Kalibrierbilder (K_C) vorliegen, ein Mittelwert mehrerer zu einem aufgenommenen Pixel gehörigen zweidimensionalen geometrischen Versätze ermittelt und als Element des zweidimensionalen Pixelversatzfeldes (D) gespeichert wird.
Verfahren nach einem der Ansprüche 6-10, dadurch gekennzeichnet, dass Pixelkoordinaten des Bildraums des digitalen Bildes (Z) in zwei erste Kanäle Rot und Grün der Pixelversatztextur (T_D) und Koordinaten von Pixeln des Bildraums der Kamera (C) in zwei zweite Kanäle Blau und Alphawert der Pixelversatztextur (T_D) geschrieben werden.
Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass mittels des Projektors (P) mindestens ein Testbild projiziert wird, wobei mittels der Kamera (C) wiederholt Bilder aufgenommen und digitalisiert werden bis das Testbild in den digitalisierten, aufgenommenen Bildern identifiziert wird, wobei eine Latenzzeit (t) zwischen dem Projizieren des Testbilds und dem Identifizieren des Testbilds gemessen wird.
Verfahren nach einem der Ansprüche 7 bis 12, dadurch gekennzeichnet, dass im Falle eines einzelnen Projektors (P) mittels des Projektors (P) ein Rechteck mit weißer Farbe höchster Intensität als Kalibrierbild (K_P) projiziert wird, wobei die Projektionsfläche (S) nicht mit Umgebungsbeleuchtung (E) beleuchtet wird, und ein davon digitalisiertes, aufgenommenes Kalibrierbild (K_C) als zweidimensionale Oberflächentextur (T_S) der Projektionsfläche (S) verwendet wird.
Verfahren nach einem der Ansprüche 7 bis 12, dadurch gekennzeichnet, dass im Falle mehrerer Projektoren (P_i) sequentiell mittels jedes Projektors (P_i) ein Rechteck mit weißer Farbe höchster Intensität als Kalibrierbild (K_P) projiziert wird, wobei die Projektionsfläche (S) nicht mit Umgebungsbeleuchtung (E) beleuchtet wird, und jeweils ein davon digitalisiertes, aufgenommenes Kalibrierbild (K_C) als zweidimensionale Oberflächentextur (T_S) der Projektionsfläche (S) für den betreffenden Projektor (P_i) verwendet wird.
Verfahren nach einem der Ansprüche 7 bis 14, dadurch gekennzeichnet, dass mittels des Projektors (P) ein schwarzes Kalibrierbild (K_P) projiziert und mittels der Kamera (C) aufgenommen und digitalisiert wird, wobei dieses digitalisierte, aufgenommene Kalibrierbild (K_C) als Umgebungsbe leuchtungstextur (T_E) für das farbliche Manipulieren verwendet wird.
Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass ein für eine Oberflächentextur (T_S) oder für eine Umgebungsbeleuchtungstextur (T_E) verwendetes digitalisiertes, aufgenommenes Kalibrierbild (K_C) zunächst anhand des zweidimensionalen Pixelversatzfeldes (D) und/oder einer zugehörigen Pixelversatztextur (T_D) in die Perspektive des Projektors (P) verzerrt wird.
Verfahren nach einem der Ansprüche 7 bis 16, dadurch gekennzeichnet, dass der Projektor (P) und die Kamera (C) auf Farbe und Intensität abgeglichen werden.
Verfahren nach einem der Ansprüche 7 bis 17, dadurch gekennzeichnet, dass eine Linsenverzerrung der Kamera (C) nach dem Digitalisieren einer Aufnahme in dieser rechnerisch kompensiert wird.
Verfahren nach einem der Ansprüche 7 bis 18, dadurch gekennzeichnet, dass Aufnahmen der Kamera (C) mit einer Maske versehen werden.
Verfahren nach einem der Ansprüche 7 bis 19, dadurch gekennzeichnet, dass eine automatische Helligkeitsüberwachung, eine automatische Fokussierung und ein automatischer Weißabgleich der Kamera (C) deaktiviert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das geometrische Verzerren und/oder das farbliche Manipulieren für jeden Farbkanal separat durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Auslösen des Rendervorgangs ein Rechteck in den Bildpuffer (B) geschrieben wird.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Steuereinheit und mindestens einen Projektor (P), wobei der Projektor (P) und eine Kamera (C) an die Steuereinheit anschließbar sind.