DE102004016749B4 - Verfahren und Anordnung zur Überlagerung von texturierten Oberflächen mit digitaler Grafik - Google Patents

Abstract

Verfahren zur Überlagerung einer digitalen Grafik (D) über eine flache texturierte Oberfläche (G), bei dem eine manipulierte digitale Grafik (B) mittels mindestens eines digitalen Lichtprojektors (P_i) wenigstens auf einen Teil der texturierten Oberfläche (G) projiziert wird, dadurch gekennzeichnet, dass die digitale Grafik (D) mit Hilfe von Bildinformationen und/oder -inhalten (M, M_D) der texturierten Oberfläche (G) rechnerisch manipuliert wird, wobei eine Farbkorrektur durchgeführt wird und Transmissionsvermögen und Reflexionsvermögen eines zwischen der texturierten Oberfläche (G) und dem mindestens einen Projektor (P_i) angeordneten, optisch teildurchlässigen und diffus reflektierenden Films (F) in der rechnerischen Manipulation verwendet werden.

Description

• Die Erfindung betrifft ein Verfahren zur Überlagerung einer digitalen Grafik über eine flache texturierte Oberfläche, bei dem eine manipulierte digitale Grafik mittels mindestens eines digitalen Lichtprojektors wenigstens auf einen Teil der texturierten Oberfläche projiziert wird.
• Sie wird vorzugsweise zur Darstellung visueller Information in Gemälden und ähnlichen Kunstwerken, aber auch zur Projektion im Bereich des Homeentertainments, beispielsweise auf Tapeten, eingesetzt.
• Die texturierte Oberfläche kann sich dabei prinzipiell auf jedem beliebigen Objekt befinden.
• Eine digitale Grafik oder Digitalgrafik ist eine zweidimensionale Anordnung von Pixeln, bei der jedem Pixel Farb- und Intensitätsinformationen zugeordnet sind, insbesondere nach Grundfarben in Kanäle separiert.
• Ein digitaler Lichtprojektor ist ein Lichtprojektor, der digitale Grafik projizieren kann, beispielsweise ein Videoprojektor.
• Als Bilder werden im Folgenden sowohl texturierte Oberflächen als auch Digitalgrafik bezeichnet.
• Unter Bildinformation werden Größen wie beispielsweise die Abmessungen und die Position eines Bildes verstanden. Als Bildinhalte können die Eigenschaften der Farbpigmente des Bildes sowohl als solche, beispielsweise Farbe und Reflexionsvermögen, als auch als Ganzes, also als semantischer Gehalt des Bildes, angesehen werden.
• Unter Manipulation einer Digitalgrafik wird die Veränderung von Bildinformation und/oder Bildinhalten der Digitalgrafik verstanden.
• Aus Museen und Ausstellungen ist bekannt, in der Nähe von Exponaten Multimedia-Präsentationen oder statische Darstellungen auf eigens dafür bereitgestellten Fernsehgeräten, Monitoren oder Displays zu zeigen.
• Der Material- und Raumbedarf der Geräte ist jedoch ein entscheidender Nachteil an dieser Vorgehensweise. Zudem muss der Betrachter entweder den Blick vom Exponat abwenden, oder er kann es nur in verminderter Qualität innerhalb der Präsentation betrachten.
• Aus einer Veröffentlichung von Yoshida et al. (Proc. Virtual Systems and Multimedia, 2003, 158-164) ist eine Technik zum virtuellen Retuschieren bekannt, bei der Videoprojektoren zur Rekonstruktion und Verstärkung verblasster Farben in Gemälden eingesetzt werden, indem Licht direkt auf die Leinwand projiziert wird, wobei zuvor manuell für jeden Pixel eine affine Korrelation zwischen dem projizierten Licht und dem durch eine Kamera aufgenommenen Ergebnis hergestellt sein muss. Dadurch sind Benutzer in der Lage, das Gemälde über eine grafische Schnittstelle interaktiv zu retuschieren.
• Diese Technik ist hinsichtlich des darstellbaren Farbspektrums, abhängig von dem zu retuschierenden Gemälde, sehr stark eingeschränkt. Wird ein großer Teil des Spektrums durch das Gemälde absorbiert, kann maximal nur noch der Rest des Spektrums zur Farbrekonstruktion und -verstärkung genutzt werden. Zudem sind keine inhaltlichen Ergänzungen oder Veränderungen möglich, die optisch korrekt in der Gemäldefläche erscheinen. Auch sind dynamische Darstellungen ausgeschlossen.
• In DE 874 131 wird ein Verfahren zur glanzfreien Beleuchtung von Gemälden beschrieben, das weißes, polarisiertes Licht verwendet. Dabei werden zwar Intensitätsunterschiede in der Reflektion des Lichtes in der Beleuchtung in Betracht gezogen.
• Eine Erweiterung dieser Beleuchtungsart auf farbige Gemälde ist in DE 704 859 angegeben.
• Nach DE 483 489 ist es bekannt, einen stellenweise bemalten Film über ein Bild zu legen, um im Bild dunkle Stellen besser auszuleuchten um somit eine höhere Kontrastwirkung zu erzielen.
• Ferner ist in EP 1 370 092 A1 ein Verfahren angegeben, mit dem eine Anpassung an das Umgebungslicht und die Projektorbeleuchtung ermöglicht wird.
• Nach U.S. 6,078,351 ist eine Anordnung bekannt, bei der ein holografischer Film zur Dispersionskorrektur von Röhrenprojektoren eingesetzt wird.
• In allen der oben genannten Schriften ist eine Überlagerung von texturierten Flächen mit digitaler Grafik nicht möglich.
• Bei der Veröffentlichung Bimber "Consistent illumination within optical see-through augmented environments" ist eine projektorbasierte Beleuchtung realer, dreidimensionaler Objekte beschrieben. Die dreidimensionalen Objekte werden in Abhängigkeit ihrer Geometrie mit unterschiedlich schattiertem, weißem Licht beleuchtet.
• Eine Überlagerung digitaler Grafik ist damit nicht möglich.
• Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung der eingangs genannten Art anzugeben, mit denen die Darstellung von visuellen Informationen in Form digitaler Grafik in guter Qualität möglich ist.
• Erfindungsgemäß wird die Aufgabe mit einem Verfahren, welches die in Anspruch 1 angegebenen Merkmale enthält, und einer Anordnung, welche die in Anspruch 10 angegebenen Merkmale enthält, gelöst.
• Vorteilhafte Ausgestaltungen sind in den jeweiligen Unteransprüchen angegeben.
• Die rechnerische Manipulation einschließlich einer Farbkorrektur der auf eine texturierte Oberfläche zu projizierenden Digitalgrafik unter Zuhilfenahme von Bildinformationen und/oder -inhalten der texturierten Oberfläche ermöglicht es, den Einfluss der Farbpigmente einer texturierten Oberfläche hinsichtlich ihrer optischen Erscheinung zu regulieren und im optimalen Fall zu neutralisieren, so dass die Digitalgrafik wenigstens in Teilen der texturierten Oberfläche in nahezu ihrer ursprünglichen Darstellung sichtbar ist. Dabei ermöglicht der Einsatz eines optisch teildurchlässigen Films, der einen Teil des projizierten Lichtes diffus reflektiert, bevor dieser auf die texturierte Oberfläche trifft, dass auch in Oberflächenbereichen, in denen die Pigmente einen Teil des Farbspektrums oder sogar alle Farben absorbieren, die Digitalgrafik in an sich an der Oberfläche absorbierten Farben sichtbar sein kann. Dazu werden Transmissionsvermögen und Reflexionsvermögen des Films in der rechnerischen Manipulation berücksichtigt.
• Da nur ein Teil des projizierten Lichts durch den Film reflektiert wird, ist die für einen Betrachter sichtbare reflektierte Lichtintensität im selben Maß verringert. Dies kann durch die Verwendung mehrerer Projektoren ausgeglichen werden, die wenigstens teilweise denselben Oberflächenbereich beleuchten.
• Erfolgt die rechnerische Manipulation bezüglich der Bildwiederholfrequenz der digitalen Grafik in Echtzeit, so ist die Darstellung animierter Digitalgrafik, insbesondere von Videosequenzen, möglich.
• Durch die Verwendung mindestens eines Pixelshaders eines Grafikprozessors für die Farbkorrektur ist die rechnerische Verarbeitung besonders einfach und schnell möglich. Insbesondere die Echtzeitberechnung ist damit sehr einfach und kostengünstig erreichbar.
• Werden als Parameter für die Farbkorrektur die Intensität von Umgebungslicht auf der texturierten Oberfläche, geometrische Verhältnisse und die Abstände von texturierter Oberfläche und jeweiligem Projektor, Bildinformationen und/oder -inhalte der texturierten Oberfläche und Farb- und/oder Intensitäts-Anpassungswerte verwendet, so ist die Farbkorrektur in Verbindung mit den Eigenschaften des teildurchlässigen Films mit großer Genauigkeit durchführbar, um auf diese Weise eine möglichst originalgetreue Darstellung der Digitalgrafik zu erreichen.
• Wird dabei außerhalb des regulären Betriebs eine Registrierung des digitalen Ausgangsbilds mit der texturierten Oberfläche durchgeführt, bei der zunächst das Ausgangsbild als Textur auf eine vorverzerrte Bildgeometrie gelegt wird, die präzise an der texturierten Oberfläche ausgerichtet ist, wobei die Stärke der Verzerrung von der geometrischen Beziehung zwischen dem Videoprojektor und der Oberfläche der texturierten Oberfläche abhängt, zweidimensionale Entsprechungen zwischen dem digitalisierten Inhalt der texturierten Oberfläche und dem digitalen Ausgangsbild innerhalb dessen Bildraum identifizieren werden, wobei eine Menge zweidimensionaler Bezugspunkte, denen Texturkoordinaten innerhalb des Bildraums zugeordnet sind, festgelegt werden und die Bezugspunkte trianguliert und die Texturkoordinaten benutzt werden, um die korrekten Bildteile des Ausgangsbildes auf die Geometrie des digitalisierten Bildinhaltes abzubilden, wobei das zu überlagernde Bild entsteht, so kann auf diese Weise eine hohe Darstellungsqualität erreicht werden, da im Unterschied zu gleichmäßig rasternden Verfahren, die normalerweise zur Projektorausrichtung eingesetzt werden, diese allgemeine geometrische Registrierung ermöglicht, beliebige Details der texturierte Oberfläche mit den entsprechenden Pixeln des Inhalts im Bildraum in Beziehung zu setzen. Dies liefert eine genaue Anpassung, die bereichsweise weiter verbessert werden kann, wenn lineare Interpolation zwischen einzelnen Gitterdreiecken nicht präzise genug ist. Die Registrierungsergebnisse ändern sich nicht, wenn Projektor und texturierte Oberfläche ortsfest sind.
• Wird die Farbkorrektur durchgeführt, indem jeweils für jeden Farbkanal jedes Pixels hinsichtlich dessen Auftreffpunkt auf der texturierten Oberfläche ausgehend von einer an diesem Auftreffpunkt zu erzielenden optischen Erscheinung die notwendige Farbintensität am Auftreffpunkt berechnet wird aus der zu erzielenden Farbintensität und dem lokalen farblichen Reflexionsvermögen der texturierten Oberfläche am Auftreffpunkt, wobei auch das optische Transmissionsvermögen und das diffuse Reflexionsvermögen des Films miteinbezogen werden, abzüglich der Farbintensität des Umgebungslichtes am Auftreffpunkt und daraufhin die durch den jeweiligen Projektor zu projizierende Farbintensität aus der notwendigen Farbintensität am Auftreffpunkt, dem Abstand von Auftreffpunkt und Projektor sowie dem Auftreffwinkel des projizierten Lichtes und desweiteren einem Skalierungsfaktor berechnet wird, so ist die pixelweise Berechnung der Farbkorrektur mit hoher Genauigkeit möglich.
• Die Berechnung der notwendigen Farbintensitäten gemäß

  

  und der zu projizierenden Farbintensitäten gemäß

  

  worin E die Umgebungslichtstärke, M das Pigmentreflexionsvermögen, d und t Filmeigenschaften, R die zu erreichende reflektierte Lichtintensität, α_i und r_i die geometrischen Winkel- und Abstandsverhältnisse von Projektor P_i und Gemälde G und s_i ein Skalierungswert sind, ermöglicht eine genaue pixelweise Farbkorrektur mit schnell berechenbaren Termen, insbesondere auch beim Einsatz mindestens eines Pixelshaders und/oder mehrerer Projektoren.
• Wenn die rechnerische Manipulation die Veränderung der Bildinhalte wenigstens von Teilen der texturierten Oberfläche einschließt, stehen umfangreiche darstellerische Möglichkeiten zur Verfügung, bei denen der Bildinhalt zumindest nicht vollständig ersetzt, sondern nur die darstellerische Wirkung beeinflusst wird.
• Werden für die Projektion stereoskopische Abbildungen verwendet, so werden dadurch weitreichende Möglichkeiten der dreidimensionalen Darstellung ermöglicht. Es handelt sich um eine einfache und kostengünstige Methode zur aktiven Stereodarstellung.
• Durch die Anordnung mindestens eines digitalen Lichtprojektors vor der texturierten Oberfläche, wobei auf der dem mindestens einen Projektor zugewandten Seite der texturierten Oberfläche ohne Zwischenraum ein Film angeordnet ist, der optisch teildurchlässig ist und einen Teil des auf ihn treffenden Lichtes diffus reflektiert, ist mit äußerst geringen Platz- und Gerätebedarf die Überlagerung zwei- und/oder, mit mindestens zwei Projektoren, dreidimensionaler Digitalgrafik über texturierte Oberflächen möglich.
• Weist der Film eine Dicke von 0,05 bis 0,15 mm auf, können Brechungseffekte am Filmmaterial vernachlässigt werden.
• Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen näher erläutert.
• Dazu zeigen
• 1 eine schematische Darstellung einer Anordnung eines Gemäldes mit Film und einem Videoprojektor,
• 2 eine schematische Darstellung einer Anordnung eines Gemäldes mit Film und drei Videoprojektoren,
• 3a) eine Frontalansicht eines Gemäldes,
• 3b) eine einzublendende Digitalgrafik,
• 3c) das Gemälde mit überblendeter Digitalgrafik und
• 3d) das Gemälde mit überblendeter Digitalgrafik und verändertem Gemäldeinhalt.
• 1 zeigt eine texturierte Oberfläche in Form eines Gemäldes G, das vollflächig mit einem Film F der Dicke 0,1 mm überzogen ist. Vor dem Gemälde ist ein handelsüblicher 1100 ANSI-Lumen XGA-Digital-Videoprojektor P angeordnet, der sein Bild, das von einem nicht abgebildeten Computer generiert wird, auf die bemalte Fläche des Gemäldes G projiziert. Exemplarisch ist ein Lichtstrahl angedeutet, der den Auftreffpunkt X beleuchtet. Der Film hat die Eigenschaft, 20% des einfallenden Lichtes diffus zu reflektieren, während 80% des Lichts unbeeinträchtigt durch den Film hindurchfällt, in diesem Fall auf die Farbpigmente des Gemäldes. Der Film kann dabei nahtlos mit in den Rahmen des Gemäldes integriert sein.
• Da der Film nur einen Teil, in diesem Fall 20%, des auftreffenden Lichtes L reflektiert, kann eine Anzahl n>1 von Projektoren P_i eingesetzt werden, um die resultierende Lichtintensität R' am Gemälde zu erhöhen.
• In 2 sind drei Videoprojektoren P₁, P₂, P₃ derart vor einem mit einem Film F versehenen Gemälde G angeordnet. In diesem Fall leuchten alle dieselbe Fläche aus.
• Es ist auch denkbar, mehrere Projektoren P_i einzusetzen, um unterschiedliche Bereiche eines Gemäldes auszuleuchten, insbesondere bei großen Gemälden. Dabei können wiederum die Bereiche auch durch jeweils mehrere Projektoren P_i beleuchtet werden, um die nötige Lichtintensität zu erreichen. Bei mehreren Projektoren P_i gilt prinzipiell für jeden Projektor P_i das im Folgenden Dargestellte. Dabei ist ein einzelner Projektor P und ein Projektor P_i von mehreren prinzipiell analog zu betrachten.
• Fällt am Auftreffpunkt X die Lichtintensität L ein, so wird ein Bruchteil d von L durch den Film F diffus reflektiert und somit direkt für einen Betrachter an dieser Stelle sichtbar. Der restliche Bruchteil t von L durchquert den Film F und wechselwirkt mit dem dahinter befindlichen Farbpigment, das ein diffuses Reflexionsvermögen M aufweist. Das daran reflektierte Licht weist aufgrund der Absorption des Farbpigments eine veränderte Farbmischung auf und wird am Film F in der Intensität tLMd wiederum diffus reflektiert. Die restliche Lichtintensität tLMt tritt daraufhin durch den Film F hindurch und ist für den Betrachter an dieser Stelle sichtbar. Das zwischen Film F und Farbpigment reflektierte Licht wiederholt den Ablauf der Reflexionen unendlich oft, wobei es sich immer weiter abschwächt, da jeweils ein Bruchteil t austritt. Die gleichen Vorgänge erleidet auch das einfallende Umgebungslicht der Intensität E, das aus nicht kontrollierbaren Lichtquellen stammt. Die Gesamtmenge des austretenden und des vor dem Film F reflektierten Lichts bildet die resultierende Lichtintensität R, die der Beobachter wahrnimmt. Die Intensitäten nach den wiederholten Reflexionen lassen sich mathematisch in einer geometrischen Reihe darstellen, deren Grenzwert die einfache Berechnung der Lichtintensität R erlaubt, wenn die je nach Auftreffpunkt unterschiedlichen Umgebungslichtstärken E, projizierten Lichtstärken L, Pigmentreflexionsvermögen M und Filmeigenschaften d und t bekannt sind:

  
• Wird eine bestimmte optische Erscheinung gewünscht, so entspricht dies einer zu erreichenden reflektierten Lichtintensität R, während die nötige einfallende Lichtintensität L gesucht ist:

  

  Daraus kann unter Verwendung der geometrischen Winkel- und Abstandsverhältnisse α_i und r_i von Projektor P_i und Gemälde G die von diesem Projektor P_i zu projizierende Lichtintensität bestimmt werden:

  

  Der Skalierungswert s_i erlaubt die Anpassung der Intensität, um scharfe Kanten zu vermeiden und/oder mehrere (n) Projektoren zu berücksichtigen. Wenn alle n Projektoren lineare Übertragungsfunktionen und gleiche Helligkeiten aufweisen, verteilt ein Wert von s_i = 1/n die Last gleichmäßig unter ihnen.
• Die Berechnungen der Lichtintensitäten ist für jeden Farbkanal der digitalen Grafik D, also beispielsweise rot, grün und blau, separat vorzunehmen.
• Für das Verfahren wird ein digitales Ausgangsbild D mit der texturierten Oberfläche G registriert, indem zunächst das Ausgangsbild D als Textur auf eine vorverzerrte Bildgeometrie gelegt wird, die präzise an der texturierten Oberfläche G ausgerichtet ist. Die Stärke der Verzerrung hängt von der geometrischen Beziehung zwischen dem Videoprojektor P und der Oberfläche der texturierten Oberfläche G ab. Sie reicht von einfachen Trapezverformungen bis hin zu komplexen Krümmungen, beispielsweise wenn die Linsenverzerrung des Projektors P neutralisiert werden muss. Ein Registrierungsvorgang außerhalb des regulären Betriebs ermöglicht es, zweidimensionale Entsprechungen zwischen dem digitalisierten Inhalt M_D der texturierten Oberfläche G und dem digitalen Ausgangsbild D innerhalb des Bildraums, also innerhalb einer Abbildung des Ausgangsbildes D auf einem Kontrollbildschirm, zu identifizieren. Das Ergebnis ist eine Menge zweidimensionaler Bezugspunkte, denen Texturkoordinaten innerhalb des Bildraums zugeordnet sind. Die Bezugspunkte werden trianguliert und die Texturkoordinaten benutzt, um die korrekten Bildteile des Ausgangsbildes D auf die Geometrie des digitalisierten Bildinhaltes M_D abzubilden. Dadurch entsteht das zu überlagernde Bild R₀. Dabei ist eine präzise Entsprechung zwischen den Bildern R₀ und M_D für gute Ergebnisse wichtig. In Experimenten wurden 50 bis 70 Bezugspunkte als ausreichend befunden.
• Das digitale Ausgangsbild D kann dynamisch erzeugt werden, beispielsweise als Teil einer Echtzeitanimation oder einer interaktiven Darstellung, es kann abgespielt werden, beispielsweise Bildsequenzen eines aufgezeichneten Films, oder es kann statisch sein, beispielsweise eine Fotografie. Bei nicht interaktiven Präsentationen ist es möglich, den gesamten Inhalt im voraus zu erzeugen, wodurch herkömmliche Werkzeuge zur Erstellung genutzt werden können.
• Für die praktische Durchführung der Farbkorrektur in Echtzeit wird beispielsweise eine handelsübliche Grafikkarte mit einem Pixelshader eingesetzt. Dieser erhält fünf Parameter zur Berechnung der Gleichungen.
• Der erste Parameter ist die Umgebungslichtintensität E' in Form einer Intensitätstextur, die dieselbe Größe aufweist wie das zu überlagernde Bild R₀. Sie enthält Intensitätswerte, die die nicht kontrollierbare Beleuchtungssituation auf der Oberfläche der texturierten Oberfläche G darstellen. Die Intensitätswerte E' können bestimmt werden, indem zunächst die Beleuchtungsstärke E des Umgebungslichts an einer Anzahl von Punkten auf der texturierten Oberfläche mit einem Belichtungsmesser gemessen wird. Um den für die Verarbeitung durch den Pixelshader nötigen Wertebereich zwischen 0 und 1 zu erhalten, werden die Punkte mit maximaler Beleuchtungsintensität erneut vermessen, also unter Beleuchtung mit weißem Projektorbild der Lichtintensität L, wobei sich die gesamte Intensität T ergibt: T = L + E. Da L = T – E äquivalent zu dem skalierten Intensitätswert

  

  ist, können die Intensitätswerte mittels

  

  normiert werden. Um die Intensitätswerte für den gesamten Bildbereich in E' anzunähern werden alle vermessenen Punkte in den Bildraum übertragen, trianguliert und die Werte der restlichen Pixel durch die Grafikpipeline linear interpoliert. Für unveränderliches Umgebungslicht ist E' konstant.
• Der zweite Parameter ist der Formfaktor, der die geometrische Beziehung zwischen dem Projektor P als Punktlichtquelle und der texturierten Oberfläche G beschreibt. Da der Formfaktor sich für eine feste Anordnung nicht verändert, kann er im voraus berechnet werden und in Form einer Intensitätstextur an den Pixelshader übergeben werden, die dieselben Maße aufweist wie E' und R₀. Diese Textur kann wiederum durch die Grafikpipeline erzeugt werden, indem ein geometrisches Modell der texturierten Oberfläche G mit einem weißen, diffusen Material aus der Sicht des Projektors P berechnet wird. Durch eine virtuelle Punktlichtquelle mit diffuser, weißer Lichtkomponente an der Position des Projektors P und Lichtabschwächung mit dem Entfernungsquadrat werden Intensitäten proportional zu

  

  erzeugt. Der erforderliche Kehrwert kann durch den Pixelshader berechnet werden. In der Praxis, also bei texturierten Oberflächen G normaler Größe und normalen Projektoranordnungen, kann der Formfaktor als für alle Pixel konstant angenommen werden. Er ist dann im Skalierungsfaktor s enthalten.
• Der dritte Parameter ist der digitalisierte Bildinhalt M_D, der ebenfalls dieselben Abmessungen aufweist wie E' und R₀. Er kann beispielsweise durch Einscannen oder durch Fotografieren mit gleichmäßiger Ausleuchtung gewonnen werden.
• Die vierten und fünften Parameter sind Farb- und Intensitäts-Anpassungswerte, mit denen die Feineinstellung des Farbansprechverhaltens von Projektoren P möglich ist und scharfe Kanten des Intensitätsverlaufs verhindert werden können. Sie ermöglichen außerdem die Anpassung an Farbverschiebungen, die während der Aufnahme des Bildinhalts M_D entstehen können und erlauben die Berücksichtigung der Beiträge mehrerer Projektoren P_i. Eine eventuelle Gammakorrektur muss zuvor durchgeführt worden sein, beispielsweise durch die Grafikhardware oder deren Treiber oder auch durch den Pixelshader.
• Das sich aus dem Berechnungsprozess ergebende Beleuchtungsbild B wird durch den Projektor P angezeigt. Wird es geometrisch korrekt auf die texturierte Oberfläche G projiziert, wird das resultierende Bild R' für den Betrachter sichtbar. Es unterscheidet sich vom zu erzeugenden Bild R höchstens durch kleinere Artefakte, die sich aus zu geringer projizierter Farbintensität ergeben, welche durch die Verwendung mehrerer Projektoren verbessert werden kann, oder die durch ungünstige Pigmentfarben M entstehen, die durch Umgebungslicht beleuchtet werden.
• Zur Verdeutlichung der möglichen Effekte zeigt 3a) ein schematisches Gemälde G mit vier verschiedenfarbigen Flächen. In dieses Gemälde G soll mittels des erfindungsgemäßen Verfahrens die in 3b) abgebildete Digitalgrafik D eingeblendet werden. Die einfache Überlagerung liefert das in 3c) gezeigte Ergebnis. Auch an Stellen, an denen das Gemälde G an sich eine andere Farbe als die überlagerte Grafik D aufweist, ist die Farbe der Grafik D sichtbar. Zusätzlich kann der Gemäldeinhalt visuell manipuliert werden. Beispielhaft sind in 3d) zwei der vier Farbflächen ausgeblendet.
• Die visuelle Manipulation des Inhaltes texturierter Oberflächen G ermöglicht außer der Anzeige von Informationen in Form von Text, Bildern, Videos und/oder Zeigern wie beispielsweise Pfeilen auch umfangreiche optische Effekte, die beispielsweise genutzt werden können, um Oberflächenbereiche hervorzuheben, abzuschwächen oder ganz auszublenden, zu vergrößern, als Röntgenbild darzustellen, zu verwischen und/oder zu entfärben. Ebenso ist es möglich, teilweise oder vollständig beispielsweise den Zeichenstil und/oder die Beleuchtung zu verändern und/oder Farben zu restaurieren. Dreidimensionale Effekte wie Rundflug oder Rundgang um oder durch Objekte sind ebenfalls möglich.
• Das Verfahren kann mit stereoskopischer Abbildung und dabei mit optionaler Headtracking-Technik kombiniert werden. Dies kann beispielsweise mit zwei Projektoren erfolgen, die mit einem rotierenden, abwechselnden Verschluss versehen sind. Durch eine Brille mit synchronem Verschlussverhalten wird die dreidimensionale Wirkung beim Betrachter erzielt. Dadurch sind beliebige, dreidimensionale Abbildungen möglich.
• Ohne Veränderung des mathematischen Modells oder des Verfahrens der Farbkorrektur kann die Farbe des Umgebungslichtes kompensiert werden, indem sie mit Hilfe von Kolorimetern oder Spektrofotometern bestimmt wird und diese Information in die normierte Intensitätstextur E' hineingerechnet wird, bevor diese an den Pixelshader übergeben wird.
• Die Erfindung lässt sich grundsätzlich mit allen denkbaren Arten texturierter Oberflächen G betreiben, beispielsweise Gemälden, Drucken oder Tapeten, vorausgesetzt die Beleuchtung der texturierten Oberflächen G beruht auf Reflexion und die texturierten Oberflächen G können mit einem teildurchlässigen Film F versehen sein.

G

Texturierte Oberfläche

M

Diffuses Reflexionsvermögen

M_D

Digitalisierter Gemäldeinhalt

F

Film

d

Diffuses Reflexionsvermögen

t

Transmissionsvermögen

X

Auftreffpunkt

D

Digitale Grafik

B

Beleuchtungsbild

n

Projektoranzahl

P, P_i

Videoprojektor

r, r_i

Abstand Bild-Projektor

α, α_i

Winkel Bildebene-Projektorachse

I, I_i

Zu projizierende Lichtintensität

R

Zu erzielende reflektierte Lichtintensität

R₀

Zu überlagerndes Bild

R'

Tatsächliche reflektierte Lichtintensität

E

Umgebungslichtintensität

E'

Normierte Intensitätstextur

L

Einfallende, notwendige Lichtintensität

s, s_i

Skalierungsfaktor

Claims (11)

1. Verfahren zur Überlagerung einer digitalen Grafik (D) über eine flache texturierte Oberfläche (G), bei dem eine manipulierte digitale Grafik (B) mittels mindestens eines digitalen Lichtprojektors (P_i) wenigstens auf einen Teil der texturierten Oberfläche (G) projiziert wird, dadurch gekennzeichnet, dass die digitale Grafik (D) mit Hilfe von Bildinformationen und/oder -inhalten (M, M_D) der texturierten Oberfläche (G) rechnerisch manipuliert wird, wobei eine Farbkorrektur durchgeführt wird und Transmissionsvermögen und Reflexionsvermögen eines zwischen der texturierten Oberfläche (G) und dem mindestens einen Projektor (P_i) angeordneten, optisch teildurchlässigen und diffus reflektierenden Films (F) in der rechnerischen Manipulation verwendet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die rechnerische Manipulation bezüglich der Bildwiederholfrequenz der digitalen Grafik (D) in Echtzeit erfolgt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Farbkorrektur mittels mindestens eines Pixelshaders eines Grafikprozessors erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Parameter für die Farbkorrektur – die Intensität (E) von Umgebungslicht auf der texturierten Oberfläche (G), – geometrische Verhältnisse (α) und die Abstände (r) von texturierter Oberfläche (G) und jeweiligem Projektor (P_i), – Bildinformationen und/oder -inhalte (M, M_D) der texturierten Oberfläche (G) und – Farb- und/oder Intensitäts-Skalierungswerte (s) verwendet werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass eine Registrierung des digitalen Ausgangsbilds (D) mit der texturierten Oberfläche (G) durchgeführt wird, bei der – zunächst das Ausgangsbild (D) als Textur auf eine vorverzerrte Bildgeometrie gelegt wird, die an der texturierten Oberfläche (G) ausgerichtet ist, wobei die Stärke der Verzerrung von der geometrischen Beziehung zwischen dem Videoprojektor (P) und der texturierten Oberfläche (G) abhängt, – zweidimensionale Entsprechungen zwischen dem digitalisierten Inhalt (M_D) der texturierten Oberfläche (G) und dem digitalen Ausgangsbild (D) innerhalb dessen Bildraumes identifizieren werden, wobei eine Menge zweidimensionaler Bezugspunkte, denen Texturkoordinaten innerhalb des Bildraums zugeordnet sind, festgelegt werden und – die Bezugspunkte trianguliert und die Texturkoordinaten benutzt werden, um die korrekten Bildteile des Ausgangsbildes (D) auf die Geometrie des digitalisierten Bildinhaltes (M_D) abzubilden, wobei das zu überlagernde Bild (R₀) entsteht.
6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Farbkorrektur durchgeführt wird, indem jeweils für jeden Farbkanal jedes Pixels hinsichtlich dessen Auftreffpunkts (X) auf der texturierten Oberfläche (G) ausgehend von einer an diesem Auftreffpunkt (X) zu erzielenden optischen Erscheinung – die notwendige Farbintensität (L) am Auftreffpunkt (X) berechnet wird aus der zu erzielenden Farbintensität (R) und dem lokalen farblichen Reflexionsvermögen (M) der texturierten Oberfläche (G) am Auftreffpunkt (X), wobei auch das optische Transmissionsvermögen (t) und das diffuse Reflexionsvermögen (d) des Films (F) miteinbezogen werden, abzüglich der Farbintensität (E) des Umgebungslichtes am Auftreffpunkt (X) und – daraufhin die durch den jeweiligen Projektor zu projizierende Farbintensität (I) aus der notwendigen Farbintensität (L) am Auftreffpunkt (X), dem Abstand (r) von Auftreffpunkt (X) und Projektor (P) sowie dem Auftreffwinkel (α) des projizierten Lichtes und desweiteren einem Skalierungsfaktor (s) berechnet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die notwendige Farbintensität (L) gemäß

   

   und die zu projizierenden Farbintensitäten (I, I_i) gemäß

   

   berechnet werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der rechnerischen Manipulation Bildinhalte (M_D) wenigstens von Teilen der texturierten Oberfläche (G) verändert werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Projektion stereoskopische Abbildung verwendet wird.
10. Anordnung zur Überlagerung von digitaler Grafik über eine flache texturierten Oberfläche (G), bei der vor der texturierten Oberfläche (G) mindestens ein digitaler Lichtprojektor (P), mittels dessen digitale Grafik (I) projizierbar ist, angeordnet ist, wobei das Bild (G) durch den mindestens einen Projektor (P) beleuchtbar ist, dadurch gekennzeichnet, dass auf der dem mindestens einen Projektor (P) zugewandten Seite der texturierten Oberfläche (G) ohne Zwischenraum ein Film (F) angeordnet ist, der optisch teildurchlässig ist und einen Teil des auf ihn treffenden Lichtes diffus reflektiert.
11. Anordnung nach Anspruch 10, dadurch gekennzeichnet, dass der Film (F) eine Dicke von 0,05 mm bis 0,15 mm aufweist.