DE102005034990A1

DE102005034990A1 - Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe

Info

Publication number: DE102005034990A1
Application number: DE102005034990A
Authority: DE
Inventors: Oliver Dr.-Ing. Bimber; Andreas Emmerling
Original assignee: Bauhaus Universitaet Weimar
Current assignee: Vioso De GmbH
Priority date: 2005-03-21
Filing date: 2005-07-27
Publication date: 2006-09-28
Anticipated expiration: 2025-07-28
Also published as: DE102005034990B4

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung mehrerer digitaler Bilder auf einer Projektionsfläche mittels mehrerer, insbesondere digitaler, Projektoren. DOLLAR A Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Anordnung anzugeben, die unter Verwendung mehrerer Projektoren die simultane Projektion mehrerer digitaler Bilder zu einem Gesamtbild mit großer Gesamtschärfe ermöglicht. DOLLAR A Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Darstellung mehrerer digitaler Bilder (Z¶i¶) auf einer Projektionsfläche (S), indem mittels mehrerer Projektoren (P¶i¶), die auf unterschiedliche Bildebenen (B¶i¶) eingestellt sind, Inhalte von betreffenden Bildpuffern, welche zu projizierende Intensitäten (I¶i¶) von Pixeln enthalten, in Bereiche der Projektionsfläche (S) projiziert werden, wobei für einen Bildpunkt (X) der Projektionsfläche (S), auf den mehrere Pixel aus unterschiedlichen Projektoren (P¶i¶) simultan projiziert werden, die durch die betreffenden Projektoren (P¶i¶) für diese Pixel zu projizierenden Intensitäten (I¶i¶) anhand von Schärfegradwerten ( DIAMETER ¶i,xi,yi¶) der einzelnen betreffenden Pixel manipuliert werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung mehrerer digitaler Bilder auf einer Projektionsfläche mittels mehrerer, insbesondere digitaler Projektoren.
Im Sinne der Erfindung ist eine Projektionsfläche eine prinzipiell beliebige Fläche. Insbesondere kann eine Projektionsfläche im Sinne der Erfindung eine geometrisch und photometrisch nicht-triviale Oberfläche sein, die beispielsweise beliebig dreidimensional geformt und/oder beliebig texturiert ist. Eine Projektionsfläche im Sinne der Erfindung kann insbesondere auch aus mehreren Teilflächen bestehen.
Es sind diverse Algorithmen und Verfahren entwickelt worden, um durch Auswertung von Pixelintensitäten eine Aussage über die Schärfe eines Bildes treffen zu können. Solche Algorithmen werden zum Beispiel von passiven Autofokusmechanismen in Digitalkameras verwendet. Dabei wird eine Reihe von Kamerabildern bei unterschiedlichen Linsenstellungen so erzeugt, dass diese Bilder unterschiedlich fokussiert sind. Diejenige Linsenstellung, bei deren Bild die Schärfe die maximale Ausprägung hat, erzeugt folglich die bestfokussierte Aufnahme. Eine genaue Schärfegradbestimmung ist jedoch abhängig von der Anzahl gut erkennbarer Kanten in einer Abbildung einer Szene. Aufnahmen natürlicher Szenen besitzen, insbesondere bei Dunkelheit, oft keinen hohen Kontrast und weisen damit keine ausreichende Anzahl von Kanten auf. Dies beeinträchtigt die Qualität der passiven Autofokusmechanismen der Kameras.
Herkömmliche Projektoren können lediglich auf genau eine Bildebene fokussiert werden. Werden damit Bilder auf komplexe dreidimensional strukturierte Flächen mit variierenden Entfernungen projiziert, so verschwimmen sie mit dem Abstand des jeweiligen Reflexionsbildpunktes von der fokussierten Bildebene zunehmend. Dies gilt insbesondere auch für bereits an sich unscharfe Bilddetails, die für eine korrekte Tiefenwahrnehmung des Bildinhaltes not wendig sind. Sie werden durch defokussierte Projektion noch unschärfer, wodurch die Tiefenwahrnehmung verfälscht wird.
Im Stand der Technik verwenden kommerziell verfügbare Projektoren sogenanntes strukturiertes Licht in Verbindung mit einer integrierten Kamera, um auf ebenen Projektionsschirmen für das gesamte projizierte Bild einen einzelnen Gesamtschärfegrad automatisch zu ermitteln und die Darstellung hinsichtlich der Fokussierung auf einen maximalen Schärfegrad anzupassen. Ähnlich den passiven Autofokusmechanismen von Kameras werden dabei Lichtbalken bei unterschiedlichen Linsenstellungen projiziert. Die Aufnahmen der eingebauten Kamera werden ausgewertet, um die Linsenstellung zu bestimmen, bei der die Schärfe der Aufnahme maximal ist.

Ein ähnliches Verfahren wird beispielsweise in Tsai, D.M. und Chou, C.C., „A fast measure for video display inspection", Machine Vision and Applications, Vol. 14, S. 192-196, 2003 beschrieben. Es wird zur schnellen Schärfegradbestimmung von Röhrenmonitoren genutzt. Mit dem Verfahren können Schärfegrade in Echtzeit berechnet werden. Der Monitor zeigt dabei verschiedene binäre Testmuster. Die Schärfegradmessung basiert auf der Annahme, dass der Anteil heller Bereiche zunimmt, je unschärfer der Monitor ist, während der Anteil dunkler Bereiche abnimmt. Das Verfahren wird auf Bilder angewendet, die mit einer Kamera aufgenommen werden. Die Testmuster im Kamerabild werden mit Hilfe des momenterhaltenden Prinzips in einen Vordergrund und einen Hintergrund zerlegt. Der Anteil der Pixel im Vordergrund wird als Schärfegrad berechnet.

Mit einem solchen Verfahren erfolgt lediglich eine insgesamte Schärfemessung für das gesamte Bild. Wird ein solches Verfahren für Projektoren verwendet, um einen maximalen Schärfegrad über die Fokussierung einzustellen, so werden bei unebener Projektionsfläche Bildteile, die außerhalb der fokussierten Bildebene liegen, unscharf dargestellt.

Um dieses Problem zu umgehen, verwenden Planetarien oder andere Darstellungen virtueller Realität Laserprojektoren, die die Projektionsfläche zeilen- und spaltenweise überstreichen, anstelle von herkömmlichen Lampenprojektoren, um scharfe Bilder auf gekrümmten Projektionsschirmen darzustellen, beispielsweise in Kuppeln oder Zylinderräumen. Solche Projektoren verfügen über eine hohe Tiefenschärfe. Sie erlauben scharfe Projektionen selbst auf geometrisch sehr komplexen Oberflächen, wenn Laserprojektoren ohne Linsenoptik verwendet werden. Beschrieben wird ein entsprechendes Verfahren in Biehling, W., Deter, C., Dube, S., Hill, B., Helling, S., Isakovic, K., Klose, S., und Schiewe, K., „LaserCave – Some Building Blocks for immersive Screens", Proc. of Int. Status Conference on Virtual – and Augmented Reality, Leipzig, 2004. Dort wird ein Projektionsverfahren mit zusammengesetzter Projektionsfläche vorgestellt, das die Überlappungsbereiche der Abbildungen verschiedener Projektoren so ausgleicht, dass die Projektionsfläche gleichmäßig ausgeleuchtet wird. Das System kann einfache unebene Geometrien von Projektionsflächen ausgleichen. Damit sind Projektionen beispielsweise auf kuppelförmige Oberflächen möglich.

Diese Lösung ist jedoch äußerst kostenaufwendig. Der Preis eines einzigen Laserprojektors ist derzeit etwa 500- bis 700-mal so hoch wie der eines herkömmlichen digitalen Lichtprojektors. Die verwendeten Laserprojektoren haben außerdem einen Größennachteil. Sie bestehen aus Komponenten, die Laserstrahlen für die RGB-Farbkanäle erzeugen, und scannerbasierten Projektionskomponenten, die durch bewegliche Spiegel den Laserstrahl ablenken. Daher ist ein mobiler Einsatz von Laserprojektoren aufwendig.

Es sind einige Bildrekonstruktionsverfahren bekannt, die eine Fotografie mit virtuell hoher Tiefenschärfe aus mehreren registrierten Aufnahmen mit unterschiedlichen fokussierten Bildabschnitten zusammensetzen, beispielsweise aus Eltoukhy, H.A. und Kavusi, S., „A Computationally Efficient Algorithm for Multi-Focus Image Reconstruction", Proc. of SPIE Electronic Imaging, 2003. Hier wird dargelegt, dass die Berechnung der absoluten Gradienten zweier benachbarter Pixel zur Bestimmung eines Schärfegrades ausreichend ist. Außer dem wird darauf hingewiesen, dass die Abnahme der durchschnittlichen Intensität des Eingangsbildes durch Defokussion Einfluss auf die Schärfegradbestimmung und somit auf die Bildrekonstruktion haben kann. Es wird vorgeschlagen, die Intensitätswerte des Eingangsbildes vor der Berechnung zu normalisieren. Die Bildrekonstruktion erfolgt durch eine binäre Entscheidung basierend auf der Annahme, dass eine scharfe Aufnahme höhere Gradienten erzeugt als eine unscharfe. Ein überall scharfes Bild wird also rekonstruiert, indem die Pixelintensität desjenigen Eingangsbildes gewählt wird, das den höheren Gradienten aufweist. Der Schärfegrad wird nicht nur aus dem Gradienten des Pixels, sondern aus allen Gradienten der Pixel in einem kleinen Suchfenster bestimmt. Dadurch können Messschwankungen aufgrund von Rauschen berücksichtigt werden. Außerdem wird berücksichtigt, dass die Unschärfe eines Pixels die Intensitäten der Nachbarpixel und somit auch die Rekonstruktion selbst beeinflusst. Es wird vorgeschlagen, eine binäre Maske, die zur Entscheidungsfindung aus den Schärfegraden erstellt wurde, zu glätten, um weiche Übergange zwischen den Teilbildern zu erhalten. Die geglättete Maske hat dabei keinerlei Einfluss auf die Schärfequalität der Rekonstruktion.

Diese Verfahren sind nicht für die Darstellung von bewegten Inhalten mit aktiven Anzeigegeräten wie Projektoren geeignet.

Nach DE 102 51 217 B3 ist ein System zur Autokalibrierung von Multiprojektorsystemen bekannt, welches mindestens zwei Projektoren, eine Digitalkamera und eine Ansteuerungseinheit zur Ansteuerung der Projektoren und der Kamera aufweist, wobei eine Autokalibrierung mit den Schritten Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, Finden der größtmöglichen gemeinsamen Projektionsfläche, Berechnung der Warp-Felder und Imagewarping erfolgt. Bei diesem Verfahren werden mehrere Videoprojektoren durch Aufnahme von auf eine Projektionsfläche projizierten vertikalen und horizontalen Streifenmustern mit einer Digitalkamera kalibriert. Die Streifen haben jeweils einen konstanten Abstand voneinander, der je nach Komplexität der Geometrie der Projektionsfläche zu wählen ist. Die Streifen werden für jeden Projektor separat aufgenommen, so dass eine Anzahl von Aufnahmen entsteht, die der doppelten Anzahl von Projektoren entspricht. Zusätzlich wird ein Bild aufgenommen, in dem alle Projektoren ein schwarzes Bild projizieren. Eine Entzerrung der Projektionsflächengeometrie findet linear interpoliert zwischen diskreten Punkten eines Gitters dar, dessen Maschenweite durch die Abstände der Streifenmuster bestimmt wird, die nicht beliebig verringert werden können.

Eine pixelgenaue Entzerrung ist mit diesem System nicht möglich. Nachteilig ist dabei weiterhin, dass eine nicht-weiße Texturierung oder Unterschiede in der Texturierung der Projektionsfläche die Darstellung beeinträchtigen.

Aus Guehring, „Dense 3d surface acquisition by structures light using off-theshelf-components", Proceedings of SPIE: Videometrics and Optical Methods for 3D Shape Measuring, 2001, vol. 4309, S. 220-231, ist es bekannt, Spalten-Zeilen-kodierte Muster mit Phasenverschiebungen zu projizieren, um Oberflächenstrukturen zu erfassen.

Im Stand der Technik sind auch Bemühungen bekannt, um mit Projektoren gezielt künstliche Unschärfen auf Projektionsflächen zu erzielen, um beispielsweise die Tiefenwahrnehmung von projizierten Bildinhalten zu verbessern. So beschreibt die Veröffentlichung von Majumder, A. und Welch, G., „Computer Graphics Optique: Optical Superposition of Projected Computer Graphics", Proc. of Eurographics Workshop on Virtual Environment/Immersive Projection Technology, 2001 ein Verfahren, graphische Unschärfeeffekte mittels überlagerter Projektionen zweier Projektoren zu erzeugen, deren Abbildungen sich vollständig überlappen, die aber unterschiedlich fokussiert sind, so dass ein Projektor eine scharfe, der andere gleichzeitig eine unscharfe Abbildung erzeugt.

Diese Techniken lösen im Vergleich zur Erfindung die umgekehrte Aufgabe.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Anordnung der eingangs genannten Art anzugeben, die unter Verwendung mehrerer Projektoren die simultane Projektion mehrerer digitaler Bilder zu einem Gesamtbild mit großer Gesamtschärfe ermöglicht.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die in Anspruch 1 angegebenen Merkmale aufweist, und durch eine Anordnung, welche die in Anspruch 17 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Im Folgenden können im Sinne der Erfindung anstelle von Schärfegradwerten auch Unschärfegradwerte oder Fokusfehlerwerte oder sinngemäße Entsprechungen mit entsprechender Umkehr oder Änderung der Auswahl- beziehungsweise Gewichtungsbedingungen für die Manipulationen verwendet werden.

Die Darstellung mehrerer digitaler Bilder auf einer Projektionsfläche gelingt mit großer Gesamtschärfe, indem mittels mehrerer Projektoren, die auf unterschiedliche Bildebenen eingestellt sind, Inhalte von betreffenden Bildpuffern, welche zu projizierende Intensitäten von Pixeln enthalten, in Bereiche der Projektionsfläche projiziert werden, wobei für einen Bildpunkt der Projektionsfläche, auf den mehrere Pixel aus unterschiedlichen Projektoren simultan projiziert werden, die durch die betreffenden Projektoren für diese Pixel zu projizierenden Intensitäten anhand von Schärfegradwerten der einzelnen betreffenden Pixel manipuliert werden. Durch die Manipulation der Intensitäten kann die Schärfe der Darstellung pixelweise und damit bestmöglich aus den lokalen Schärfegraden der unterschiedlichen Projektionen ausgewählt oder zusammengesetzt werden.

Vorteilhafterweise wird das Manipulieren dabei mittels mindestens eines Pixelshaders durchgeführt. Dies ermöglicht eine schnelle Durchführung des Verfahrens und damit die Echtzeitdarstellung von bewegten Bildinhalten in hoher Gesamtschärfe. Eine Textur, die die Schärfegradwerte enthält, kann dabei zweckmäßigerweise als Parametertextur für den Pixelshader verwendet werden, was das Verfahren vereinfacht.

In einer ersten Ausgestaltung des Verfahrens erfolgt das Manipulieren, indem von mehreren, aus unterschiedlichen Projektoren auf denselben Bildpunkt der Projektionsfläche projizierbaren Pixeln die Intensität desjenigen mit dem höchsten Schärfegradwert unverändert bleibt, während die anderen dieser Pixel dunkel eingestellt werden. Diese exklusiv-alternative Projektion der Pixel stellt eine einfache, schnell durchführbare Ausgestaltung dar.

Eine zweite, alternative Ausgestaltung sieht vor, dass das Manipulieren erfolgt, indem die Intensitäten mehrerer aus unterschiedlichen Projektoren auf denselben Bildpunkt der Projektionsfläche projizierbarer Pixel anhand ihrer Schärfegradwerte gewichtet skaliert werden. Diese gewichtete Projektion ermöglicht eine bessere Darstellung ohne optische Artefakte, aber mit mehr Lichtintensität. Dies ist insbesondere für Projektionsflächen mit geringer diffuser Reflektivität von Vorteil.

Für eine bevorzugte Ausführungsform ist vorgesehen, dass die Schärfegradwerte der Pixel in einem Kalibrierdurchgang ermittelt werden, wozu nacheinander mittels jedes Projektors ein Kalibriermuster projiziert und die von der Projektionsfläche reflektierten Projektionen mittels einer Kamera in betreffende Kalibrierbilder aufgenommen werden. Mit diesem Verfahren können mit geringem Aufwand relative Schärfegradwerte zwischen den Pixeln der Projektoren ermittelt werden, die für die Intensitätsmanipulation ausreichen. Absolute Schärfegradwerte sind nicht erforderlich.

Besonders bevorzugt ist eine Ausgestaltung, in welcher in einem der aufgenommen Kalibrierbilder eine Intensität eines Pixels ein erstes Mal normiert wird, indem sie zu der Intensität des korrespondierenden Pixels in dem projizierten Kalibriermuster ins Verhältnis gesetzt wird. Auf diese Weise wird eine genauere, da konsistente Ermittlung der Schärfegradwerte ermöglicht. Da die projizierte Intensitäten bei der Reflexion werden mit der Oberflächenreflektivi tät vermischt werden, sind die so ermittelten Schärfegradwerte unabhängig von der Oberflächenreflexion der Projektionsfläche. Die normierten Intensitäten sind durch diesen Verfahrensschritt zudem unabhängig vom Formfaktor des Projektors, der durch dessen Ausrichtung zur und Entfernung von der Projektionsfläche bestimmt wird. Ein derart erstmalig normiertes Kalibrierbild aus Verhältnisfaktoren kann als eigenständige Intensitätsverteilung zur Ermittlung der Schärfegradwerte verwendet werden. Die Verteilung der Verhältnisfaktoren verhält sich wie die Intensitätsverteilung im Kamerabild.

Vorteilhafterweise werden mehrere erstmalig normierte Intensitäten eines Kalibrierbildes untereinander ein zweites Mal normiert. Damit können genauere Schärfegradwerte erreicht werden, indem Maxima der in den erstmalig normierten Intensitäten vorliegenden Gauß- und dazu ähnlichen Verteilungen auf einen Wert von 1,0 angehoben werden, wobei die übrigen Intensitäten mit denselben jeweiligen Faktoren skaliert werden. So können Unzulänglichkeiten von Projektor und Kamera wie begrenzte Helligkeit, Dynamik und Antwortfunktion sowie Rauschen verringert werden.

Besonders bevorzugt ist eine Ausführungsform, in welcher ein Schärfegradwert aus normierten Intensitäten eines Kalibrierbildes mittels Bildzerlegung unter Anwendung des momenterhaltenden Prinzips ermittelt wird. Diese Ausführungsform ermöglicht eine hohe Geschwindigkeit und Genauigkeit des Verfahrens. Andere, weniger genaue und langsamere Möglichkeiten umfassen das Ermitteln der Schärfegradwerte anhand der Intensitätsverluste in den normierten Kalibrierbildern, einer Frequenzverschiebung beispielsweise nach Fast-Fourier-Transformation oder diskreter Kosinustranformation, einer Gradientenanalyse mit einem Sobel- oder Laplacefilter oder aus einer statistischen Analyse der Intensitätsverteilung.

Vorteilhafterweise wird die Bildzerlegung innerhalb eines zweidimensionalen Abtastausschnitts des betreffenden Kalibrierbilds durchgeführt. Dies ermöglicht eine schnelle Analyse. Es können dabei mehrere Bildpunkte im selben Kalibrierbild parallel ausgewertet werden.

Eine hohe, einstellbare Genauigkeit des Verfahrens wird erreicht, indem das Kalibriermuster für einen Projektor in mehreren Schritten verschoben wird und nach jedem Schritt ein betreffendes Kalibrierbild aufgenommen wird. Dazu können die Schrittweite und -anzahl vorgegeben werden. Durch eine Schrittweite von einem Pixel kann für jeden Pixel des Kameraraums ein Schärfegradwert ermittelt werden. Eine Alternative stellt beispielsweise eine Interpolation zwischen mit größeren Schrittweiten analysierten Stellen dar. Eine weitere Alternative sieht vor, dass allen Pixeln eines Abtastausschnitts der Schärfegradwert des Zentralpixels zugewiesen wird. Diese Alternativen machen das Verfahren einfach und schnell durchführbar, aber ungenauer.

In einer bevorzugten Ausgestaltung wird als Kalibriermuster ein Gitter aus kreisförmigen Punkten verwendet. Kreisförmige Punkte erlauben aufgrund der Radialsymmetrie eine einfache und schnelle Bestimmung der Schärfegradwerte in mehreren Richtungen gleichzeitig. Alternativ können beispielsweise horizontale und vertikale Streifen als Kalibriermuster verwendet werden, wobei die Schärfegradwerte separat in horizontaler und vertikaler Richtung ermittelt werden. Anschließend können die Schärfegradwerte der beiden Richtungen beispielsweise gemittelt werden, wobei der Mittelwert als gemeinsamer Schärfegradwert weiterverwendet wird. Es könne im gesamten restlichen Verfahren auch horizontale und vertikale Schärfegradwerte separat weiterbehandelt und -verwendet werden, wobei separate Auswahl- beziehungsweise Gewichtungsbedingungen für die Manipulationen angewendet werden.

Vorteilhafterweise wird das Kalibriermuster vor dem Projizieren für jeden Projektor individuell in dessen Perspektive hinsichtlich der Eigenschaften der Projektionsfläche geometrie- und/oder farbkorrigiert wird. Die Geometriekorrektur bewirkt, dass ein Kalibrierbild im in sich einheitlichen Maßstab abgebildet wird und das Kalibriermuster darin genau so zu den Kamerabildachsen orientiert ist wie vorgesehen, insbesondere achsenparallel, was die Analyse erleichtert und beschleunigt. Die Farbkorrektur bewirkt, dass das Kalibriermuster im Kalibrierbild eine vom Formfaktor des betreffenden Projektors und von den Farben beziehungsweise dem Material der Projektionsfläche unabhängige Intensität aufweist, so dass im wesentlichen lediglich die Intensitätsverbreiterungen aufgrund der Defokussierung zur Analyse verbleiben.

Zur Verbesserung der Darstellung werden die digitalen Bilder vor dem Projizieren hinsichtlich der Eigenschaften der Projektionsfläche geometrie- und/oder farbkorrigiert. Dies bewirkt eine originalgetreuere Abbildung der Bilder auf einer komplexen, insbesondere unebenen und/oder texturierten Projektionsfläche.

Dabei wird vorzugsweise die Geometriekorrektur durchgeführt, indem das betreffende Bild oder Kalibriermuster anhand eines zweidimensionalen Pixelversatzfeldes (D), das Informationen über die Projektionsfläche (S) enthält, geometrisch verzerrt wird und/oder die Farbkorrektur durchgeführt, indem das betreffende Bild anhand einer zweidimensionalen Oberflächentextur (T_S) der Projektionsfläche (S) farblich manipuliert wird.

Eine weitere Ausgestaltung sieht dabei vor, dass in einem Kalibrierdurchgang mittels eines Projektors (P) mindestens ein Geometriekalibriermuster (K_P) auf die Projektionsfläche (S) projiziert wird und mittels einer Kamera (C) die reflektierte Projektion in ein Kalibrierbild (K_P) wenigstens teilweise aufgenommen und digitalisiert wird, wobei zu mindestens einem projizierten Pixel eines Geometriekalibriermuster (K_P) ein zugehöriger Pixel eines digitalisierten, aufgenommenen Kalibrierbildes (K_C) identifiziert wird und ein zweidimensionaler geometrischer Versatz zwischen dem projizierten und dem aufgenommenen Pixel ermittelt und als ein Element des zweidimensionalen Pixelversatzfeldes (D) gespeichert wird.

In einer weiteren Ausgestaltung ist vorgesehen, dass in einem Kalibrierdurchgang sequentiell mittels jedes Projektors (P_i) ein Rechteck mit weißer Farbe höchster Intensität projiziert wird, wobei die Projektionsfläche (S) nicht mit Umgebungsbeleuchtung (E) beleuchtet wird, und ein jeweiliges, von der re flektierten Projektion aufgenommenes Kalibrierbild (K_C) als zweidimensionale Oberflächentextur (T_S) der Projektionsfläche (S) für den betreffenden Projektor (P_i) verwendet wird.

Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen erläutert.
Dazu zeigen:
1 eine erste Anordnung mit ebener Projektionsfläche,
2 eine zweite Anordnung mit unregelmäßiger Projektionsfläche,
3 eine schematische Darstellung des Verfahrens,
4 eine schematische Darstellung der Geometrie- und Farbkorrektur,
5 eine schematische Darstellung eines Kalibrierdurchgangs zur Ermittlung von Schärfegraden,
6 eine dritte Anordnung mit konvexer Projektionsfläche und einem kombinierten Mehrfachprojektor und
7 Ergebnisse des Verfahrens bei einer ebenen Projektionsfläche.
In 1 ist eine erste, elementare Anordnung zur Durchführung des erfindungsgemäßen Verfahrens gezeigt. Sie besteht aus zwei Projektoren P₁, P₂, die als digitale Lichtprojektoren ausgebildet sind, sowie einer Kamera C und einer Projektionsfläche S. Die Projektoren P₁, P₂ sind schräg auf die Projektionsfläche S gerichtet, so dass sich ihre Projektionsfelder in einer multifokalen Projektion überlappen. Projektor P₁ ist so eingestellt, dass er eine Bildebene B₁ fest fokussiert, Projektor P₂ ist auf eine Bildebene B₂ fest fokussiert. Die Bildebenen B₁, B₂ fallen aufgrund der schrägen Ausrichtung der Projektoren P₁, P₂ nicht mit der Ebene der Projektionsfläche S zusammen. Projektor P₁ vermag also nur am linken Rand seines Projektionsfeldes, Pixel aus seinem Bildpuffer auf die Projektionsfläche S scharf abzubilden. Komplementär dazu vermag Projektor P₂ nur am rechten Rand seines Projektionsfeldes, Pixel aus seinem Bildpuffer auf die Projektionsfläche S scharf abzubilden. Auf jeden Bildpunkt X der Projektionsfläche S wird von Projektor P₁ aus ein betreffender erster Pixel und von Projektor P₂ aus ein korrespondierender zweiter Pixel simultan projiziert. Die Kamera C ist in diesem Beispiel orthogonal auf die Projektionsfläche S ausgerichtet.
Das erfindungsgemäße Verfahren stellt nun mittels jedes der Projektoren P₁, P₂ ein jeweiliges digitales Bild auf der Projektionsfläche S dar, wobei in diesem Beispiel beide Bilder identisch sind, da beide Projektionsfelder einander vollständig überlagern. Die digitalen Bilder werden dazu in die betreffenden Bildpuffer der Projektoren P₁, P₂ kopiert. Dabei werden die Intensitäten der zu projizierenden Pixel anhand von dem jeweiligen Projektor P₁, P₂ zugeordneten zweidimensionalen Feldern von Schärfegradwerten ϕ_1,x,y, ϕ_2,x,y mittels eines Pixelshaders in jedem Projektor P₁, P₂ so manipuliert, dass an jedem Bildpunkt X der Projektionsfläche S ein möglichst scharfer Pixel oder eine möglichst scharfe Überlagerung zweier Pixel abgebildet wird. Jedem Pixelshader wird dazu zu Beginn des Verfahrens eine jeweilige Schärfegradtextur als Parametertextur übergeben. In jeder Schärfegradtextur sind pixelweise aus den Schärfegradwerten ϕ_1,x,y, ϕ_2,x,y ermittelte Wichtungsfaktoren q_i,x,y abgelegt, die der betreffende Pixelshader pixelweise mit jedem Pixel des betreffenden Bildpuffers multipliziert, um so die für jedes digitale Bild zu projizierenden Intensitäten I zu manipulieren.
Am linken Rand der Projektionsfläche S werden nur Pixel des Projektors P₁ mit vorgesehener Intensität projiziert, am rechten Rand der Projektionsfläche S hingegen nur Pixel des Projektors P₂. Im mittleren Bereich der Projektionsfläche S kann an einem Bildpunkt X je nach Vorgabe entweder als erste Alternative exklusiv der Pixel desjenigen Projektors P₁, P₂ projiziert werden, der in einem direkten Vergleich den absolut höheren Schärfegradwert aus der korrespondierende Pixel des jeweils anderen Projektors P₂, P₁ aufweist. In dieser ers ten Alternative sind die Schärfegradtexturen also rein binär ausgebildet, die pixelweisen Wichtungsfaktoren q_i,x,y nehmen nur Werte von 0 oder 1 an. In einer zweiten Alternative enthalten die Schärfegradtexturen reelle Wichtungsfaktoren q_i,x,y, wobei sich die Wichtungsfaktoren q_1,x,y und q_2,x,y aus beiden Projektoren für die simultan aufeinander projizierten Pixel eines jeden Bildpunkts X zu einem Wert von 1,0 ergänzen. Im Ergebnis weist jeder Bildpunkt X der Darstellung einen minimalen Fehler hinsichtlich seiner Schärfe auf.
2 zeigt eine zweite Anordnung, bestehend aus vier Projektoren P_i (i = 1 ... 4), die auf unterschiedliche Bildebenen B_i eingestellt sind, sowie einer Kamera C und einer stark unregelmäßig geformten Projektionsfläche S. Die Projektionsfelder je zweier Projektoren P_i überlappen einander zumindest teilweise mit dem Ergebnis einer multifokalen Projektion. Dabei wird die Projektionsfläche S überall von mindestens einem der Projektoren P_i ausgeleuchtet. Es gibt keine verdeckten Bereiche. Für jeden Projektor Pi verwendet das Darstellungsverfahren ein eigenes zweidimensionales Feld von Schärfegradwerten ϕ_i,xi,yi. Daraus werden analog zum vorherigen Ausführungsbeispiel zunächst vier Schärfegradtexturen ermittelt, eine für jeden Projektor P_i. Sie enthalten Wichtungsfaktoren q_i,x,y. In einer ersten Ausführungsform sind die Wichtungsfaktoren q_i,x,y der Schärfegradtexturen rein binär ausgebildet, so dass für einen Bildpunkt X, auf den zwei Pixel aus unterschiedlichen Projektoren projizierbar sind, nach der pixelweisen Multiplikation der Schärfegradtexturen mit den jeweiligen Bildpuffer-Intensitäten ausschließlich derjenige Pixel desjenigen Projektors P_i projiziert wird, der in einem direkten Vergleich am Bildpunkt X den absolut höchsten Schärfegradwert aller infragekommenden Projektoren P_i aufweist.. In einer zweiten Ausführungsform enthalten die Schärfegradtexturen reelle Wichtungsfaktoren q_i,x,y, wobei sich die Wichtungsfaktoren q_i,x,y aus mehreren Projektoren P_i für die simultan aufeinander projizierten Pixel eines jeden Bildpunkts X zu einem Wert von 1,0 ergänzen. Zwar überlappen sich in diesem Ausführungsbeispiel maximal die Projektionsfelder von zwei Projektoren P_i, die Durchführung des Verfahrens ist jedoch analog für beliebig viele einander überlappende Projektionsfelder einer entsprechenden Anzahl von Projektoren P_i.
In 3 sind Schritte eines komplexeren Darstellungsverfahrens zu einer Vorrichtung, beispielsweise gemäß 1, einschließlich einer automatischen Kalibrierung schematisch dargestellt, wobei die Manipulation der Bildintensitäten anhand von Schärfegraden der Einfachheit halber nicht dargestellt ist. Aus demselben Grund werden die Schritte zunächst nur für einen einzelnen Projektor beschrieben.
Zuerst wird zweckmäßigerweise der Kalibrierdurchgang durchgeführt. Ein Betrachter O muss dazu lediglich eine Kamera C in der vorgesehenen Betrachterposition anbringen und während der Kalibrierung in dieser Position belassen. Soll die Projektionsfläche nur teilweise beleuchtet werden, so kann der Betrachter O durch eine Maske in einem mittels der Kamera C in der Betrachterposition aufgenommenen Bild der Projektionsfläche S eine Begrenzung einer virtuellen Projektionsfläche festlegen, innerhalb derer die Projektion erfolgen soll. Alle Pixel außerhalb der Begrenzung werden nach dem Digitalisieren aller nachfolgenden Aufnahmen auf schwarz gesetzt, so dass während der Kalibrierung keine Projektion in diese Bereiche erkannt wird. Als Folge wird auch in den regulären Verfahrensschritten keine Projektion in diese Bereiche erfolgen. Wird keine Begrenzung beziehungsweise Maske festgelegt, so wird das Sichtfeld der Kamera C automatisch als Begrenzung verwendet. Anschließend kann der Betrachter die automatische Kalibrierung auslösen. Deren Verlauf wird im Folgenden zunächst beschrieben. Alle Aufnahmen der Kamera C werden dabei automatisch vorentzerrt, um eine radiale Linsenverzeichnung der Kamera C zu kompensieren.
In einem ersten Kalibrierschritt K1 wird mittels des Projektors P ein Testbild auf die Projektionsfläche S projiziert und mit der Kamera C wiederholt Bilder von der Projektionsfläche aufgenommen, bis das Testbild in den aufgenommenen Bildern identifiziert wird. Die Zeitspanne von der Projektion bis zur Identifikation wird als Latenzzeit t gemessen und in allen folgenden Kalibrierschrit ten bei der Aufnahme von Bildern berücksichtigt. Zur Erhöhung der Genauigkeit können auch mehrere Zeitmessungen anhand mehrerer Testbilder erfolgen. Ein Testbild ist zweckmäßigerweise so aufgebaut, dass es auch bei Vorhandensein von unregelmäßigen Strukturen, starken Verzerrungen und großen Farbunterschieden identifizierbar ist. Es ist sinnvoll, die Kalibrierung unter Ausschluss einer Umgebungsbeleuchtung unter Verdunkelung durchzuführen, um eine sichere Identifikation des Testbilds oder der Testbilder zu ermöglichen. In einem späteren Kalibrierschritt wird ebenfalls Verdunkelung benötigt, daher ist es zweckmäßig, bereits vor dem Kalibrierdurchgang zu verdunkeln.
In einem zweiten Kalibrierschritt K2, bildlich erläutert in 4a, werden mittels des Projektors P zeitlich gemultiplexte Streifenmuster in einer Variation des Spalten-Zeilen-kodierten Musterprojektionsverfahren mit Phasenverschiebungen in Kalibrierbildern K_P projiziert und mittels der Kamera C in zugehörige Kalibrierbilder K_C aufgenommen und digitalisiert. Anhand der Unterschiede zwischen den projizierten Kalibrierbildern K_P und den zugehörigen digitalisierten, aufgenommenen Kalibrierbildern K_C wird zunächst eine C2P-Zuordnungsabbildung ermittelt, die zu jedem Pixel der Betrachterperspektive, also der Kamera C einen Pixel des Projektors P zuordnet. Aus dieser wird durch Bilden der Umkehrabbildung ein zweidimensionales Pixelversatzfeld D ermittelt, das jeweils einen Pixel der Betrachterperspektive, also der Kamera C, zu einem projizierten Pixel des Projektors P zuordnet. Das Pixelversatzfeld D kann auch als P2C-Zuordnungsabbildung bezeichnet werden. Es hat dieselbe Auflösung wie der Projektor P. Aufgrund unterschiedlicher Auflösungen von Kamera C und Projektor P und aufgrund deren unterschiedlicher Abstände von der Projektionsfläche S stellt das Pixelversatzfeld D keine eins-zu-eins Pixelzuordnung dar. Im Extremfall kann das Pixelversatzfeld D unvollständig sein, falls Teile der Projektionsoberfläche S im Schatten erhabener Strukturen liegen. Dies kann jedoch durch mehrere, aus unterschiedlichen Richtungen projizierende Projektoren vermieden werden. Weiterhin ist es möglich, dass aufgrund der geometrischen Struktur der Projektionsfläche S mehrere verschiedene projizierte Pixel der Streifenmuster auf den gleichen Kamerapixel abgebildet werden. Daher werden Mittelwerte der geometrischen Versätze berechnet und in dem Pixelversatzfeld D gespeichert. Auf diese Weise wird eine Genauigkeit unterhalb eines Pixels erreicht. Das Pixelversatzfeld D erlaubt, jeden Pixel des Projektors P aus dessen Perspektive in die Betrachterperspektive der Kamera C abzubilden. Dies ergibt eine unverzerrte Perspektive, ohne dass die dreidimensionale Form der Projektionsfläche S bekannt sein muss. Das Pixelversatzfeld D wird, vorzugsweise mittels eines P-Puffers, in eine Pixelversatztextur T_D konvertiert, die im weiteren Verlauf des Verfahrens für eine automatische Verzerrung eines Bildes in die unverzerrte Perspektive als Parametertextur eines Pixelshaders verwendbar ist. In der Pixelversatztextur T_D sind anschließend Verweise von jedem Pixel des Projektors P zu einem zugehörigen Pixel des digitalen Bildes Z und zu einem zugehörigen Pixel der Kamera C gespeichert. Beispielsweise sind die Verweise zu den Pixeln des digitalen Bildes Z in Form ihrer horizontalen und vertikalen Koordinaten in den Kanälen Rot und Grün und die Verweise zu den Pixeln der Kamera C in Form ihrer horizontalen und vertikalen Koordinaten in den Kanälen Blau und Alphawert gespeichert.
Mittels des Pixelshaders ist in späteren Verfahrensschritten mit der als Parametertextur verwendeten Pixelversatztextur T_D die Bildverzerrung (engl. warping) über ein sogenanntes „pseudo pixel displacement mapping" in Echtzeit möglich. Dem Pixelshader wird dazu in einem solchen späteren Verfahrensschritt als weitere Parametertextur ein jeweils zu verzerrendes Bild Z in Form einer Textur übergeben. Um das Rendern auszulösen, wird beispielsweise ein einzelnes zweidimensionales Rechteck in einen mit dem Pixelshader verbundenen Bildpuffer B geschrieben. Das Rendern schließt das Rastern jedes Projektorpixels in den Bildpuffer B durch den Pixelshader ein. Die Farben der eingehenden Pixel werden durch neue Farben überschrieben, die sich aus den korrespondierenden Pixeln des zu jeweils verzerrenden Bildes Z ergeben. Diese Pixel werden durch den entsprechend programmierten Pixelshader automatisch anhand der in der Pixelversatztextur T_D enthaltenen Koordinaten zu den betreffenden Projektorkoordinaten aus dem digitalen Bild Z ermittelt. Der Effekt ist eine spezifische Verschiebung von Pixeln aus der Projektorperspektive des jeweils zu verzerrenden Bildes an eine neue Position innerhalb des Bildpuf fers B, so dass die Pixel nach einem Projizieren aus der Perspektive der Kamera C korrekt wahrnehmbar sind. Diese Verzerrung erfordert keine weiteren geometrischen Informationen über die Projektionsfläche S.
Wenn Licht auf eine Oberfläche trifft, wird nur ein Teil seiner ursprünglichen Intensität und Farbe reflektiert, wohingegen der Rest absorbiert wird. Bei Lambertschen Oberflächen, die vollständig diffus reflektieren, hängt die Stärke und Farbe des reflektierten Lichts von diversen Parametern ab, wie der Materialfarbe M einer Oberflächenstelle, einer zu projizierenden Lichtintensität I einer Spektralkomponente einer Lichtquelle, also eines Projektors P, und der Entfernung und dem Einfallswinkel bezüglich der Oberfläche, die zusammen den sogenannten Formfaktor F darstellen. Bei perfekt diffusen Oberflächen beschreibt das Lambertsche Gesetz die Intensität diffus reflektierten Lichtes R für jede spektrale Komponente: R = IFM, F = cos(α)/r². Außer dem Licht eines Videoprojektors unterliegt denselben Vorgängen eine Umgebungsbeleuchtung E, die sich unter der Annahme additiver Farbmischung zur Gesamtintensität einer Spektralkomponente des reflektierten Lichtes zusammensetzen als: R = EM + IFM. 4b erläutert diesen Zusammenhang grafisch für mehrere Projektoren.
Durch Projektion eines entsprechenden Bildes in je nach Pixel zu projizierender Lichtintensität I kann die Zusammensetzung neutralisiert werden, was im Sinne der Erfindung als Farbkorrektur oder Farbmanipulation bezeichnet wird, so dass ein visueller Eindruck entsprechend der reflektierten Intensität R in Form eines gewünschten Bildes Z in dessen ursprünglichen Farben entsteht. Dazu wird die Gleichung für I gelöst: I = (R – EM)/FM. Die Produkte EM und FM sind mittels des Projektors P und der Kamera C ermittelbar. Eine zu dem Produkt FM proportionale Größe wird unter abgedunkelter Umgebungsbeleuchtung E = 0 ermittelt, indem ein Bild I = 1 mit höchster Lichtintensität des Projektors P projiziert und mittels der Kamera C aufgenommen wird. Eine zu dem Produkt EM proportionale Größe wird mit der vorgesehenen Umgebungsbeleuchtung E und schwarzem Projektorbild I = 0 aufgenommen. Als reflektierte Intensität R werden die Intensitäten des jeweils dazustellenden digitalen Bil des Z nach Farbkanälen separiert verwendet. Dazu wird vorausgesetzt, dass Projektor P und Kamera C hinsichtlich Farbe und Intensität angepasst sind und dass eine automatische Helligkeitskontrolle, ein automatischer Fokus und ein automatischer Weißabgleich der Kamera C ausgeschaltet sind. Die benötigten Parameter sind mit diesen einfachen Annahmen ohne komplizierte Messungen und ohne zusätzliche Geräte ermittelbar. Um eine korrekte Berechnung ohne Verzerrung durch die geometrische Struktur der Projektionsfläche S zu erreichen, werden die aufgenommenen Größen EM und FM vor ihrer weiteren Verwendung mittels des Pixelversatzfeldes D beziehungsweise der Pixelversatztextur T_D in die Projektorperspektive verzerrt.
In einem dritten Kalibrierschritt K3a wird zum Ermitteln der für eine solche Farbkorrektur erforderlichen Größen mittels des Projektors P ein weißes Kalibrierbild K_P mit höchster verfügbarer Helligkeit projiziert und mittels der Kamera C ein dazugehöriges Kalibrierbild K_C aufgenommen und anhand des bereits ermittelten Pixelversatzfeldes D und/oder anhand der Pixelversatztextur T_D der Geometrie der Projektionsfläche S gemäß verzerrt und als als Parametertextur verwendbare Oberflächentextur T_S der Projektionsfläche S gespeichert, die die Größe FM repräsentiert. In einem vierten Kalibrierschritt K3b wird unter einer vorgesehenen Umgebungsbeleuchtung E mittels des Projektors P ein schwarzes Kalibrierbild K_P projiziert, aufgenommen, digitalisiert, anhand des bereits ermittelten Pixelversatzfeldes D und/oder anhand der Pixelversatztextur T_D der Geometrie der Projektionsfläche S gemäß verzerrt und als Umgebungsbeleuchtungstextur T_E gespeichert, die die Größe EM repräsentiert.
Damit ist die automatische Kalibrierung für die Geometrie- und Farbkorrektur beendet. Die Kamera C kann nach einem weiteren Kalibrierdurchgang, in dem die Schärfegradwerte ermittelt werden, entfernt werden, sie wird nicht mehr benötigt, soweit die geometrischen und Beleuchtungs-Verhältnisse konstant bleiben. Im Falle der XGA-Auflösung von 1024x768 Pixeln und einer PAL-Kameraauflösung von 720x576 Pixeln sowie einer maximalen Latenzzeit t der Kamera von 80 ms und einer durchschnittlichen Bildverarbeitungsdauer von 150 ms dauert die automatische Kalibrierung etwa 28 s. Interaktionen mit dem Betrachter sind nicht erforderlich.
Die Darstellung erfolgt nach der Kalibrierung in zwei Schritten S1 und S2, die in dieser Reihenfolge beliebig wiederholt werden können, wobei ein statisches digitales Bild Z oder eine fortlaufende Folge von digitalen Bildern Z verwendet werden können. Da die Echtzeitbildverarbeitung möglich ist, kann es sich beispielsweise um einen Film oder eine Animation handeln.
In Schritt S1 werden dem Pixelshader zunächst die erforderlichen Parametertexturen übergeben. Es handelt sich um die Pixelversatztextur T_D, die Oberflächentextur T_S, die Umgebungsbeleuchtungstextur T_E und das digitale Bild Z in Form einer Textur sowie eine nicht abgebildete Schärfegradtextur. Durch Schreiben eines weißen Rechtecks in den Bildpuffer B wird für jeden Farbkanal ein separater Rendervorgang ausgelöst. Während des Renderns wird das digitale Bild Z anhand der Pixelversatztextur T_D in der oben zur Kalibrierung beschriebenen Weise durch „pixel displacement mapping" geometrisch verzerrt (engl. warped). Außerdem werden die versetzten Pixel anhand der oben beschriebenen Gleichungen durch den Pixelshader farbkorrigiert beziehungsweise farblich manipuliert. Zudem werden die Intensitäten der versetzten Pixel anhand der Schärfegradtextur manipuliert. Mittels des Pixelshaders können dabei manuell durch den Betrachter O vorgegebene Farb- oder Helligkeitswerte, insbesondere für eine Gammakorrektur, feineingestellt werden. Außerdem sind mittels entsprechender Programmierung des Pixelshaders extreme Intensitätsverhältnisse vermeidbar, um sichtbare Artefakte zu vermeiden.
Das gerenderte Bild befindet sich anschließend als zu projizierendes Bild I im Bildpuffer B und wird in Schritt S2 mittels des Projektors P auf die Projektionsfläche S projiziert.
Durch die Verwendung mehrerer Projektoren P_i kann einerseits die Darstellungsqualität verbessert werden, insbesondere bei farbiger und/oder texturierter Projektionsfläche S. Die Projektoren P_i können sich hinsichtlich ihrer maxima len Lichtintensität ergänzen und/oder Schattenbereiche jeweils eines oder mehrerer anderer Projektoren P_i beleuchten. Dabei können sich die beleuchteten Bereiche der Projektoren P_i überlappen oder vollständig unabhängig voneinander jeweils einen Teil der Projektionsfläche S beleuchten: Durch Kachelung der projizierten Bilder I kann eine Auflösung erzielt werden, die ein einzelner Projektor P nicht zu erbringen vermag. Der Aufwand zur automatischen Kalibrierung wird für den Betrachter durch mehrere Projektoren P_i nicht erhöht. Die Dauer der Kalibrierung nimmt im Wesentlichen linear mit der Anzahl der Projektoren P_i zu. Während der Kalibrierung wird jeweils ein Pixelversatzfeld D_i, daraus eine Pixelversatztextur T_Di und zudem eine Oberflächentextur T_Si für jeden Projektor ermittelt. Auf diese Weise sind Pixel aus der Betrachter- beziehungsweise Kameraperspektive auf die Perspektive jedes Projektors P_i so abbildbar, dass sie auf exakt auf dieselbe Stelle auf der Projektionsfläche projiziert werden. Für N Projektoren P_i addieren sich die einzelnen Lichtintensitäten an einer Oberflächenstelle in einer Spektrumskomponente zur gesamten reflektierten Intensität R = EM + I₁F₁M + ... + I_NF_NM. Unter der Annahme, dass die Projektoren P_i eine identische Intensität abstrahlen, kann die jeweils zu projizierende Intensität I_i eines Projektors P_i berechnet werden aus: I_i = (R – EM)/(F₁M + ... + F_NM), da unter dieser Annahme gilt: R = EM + I_i(F₁M + ... + F_NM). Das entspricht einem einzelnen, virtuellen, starken Projektor P. Obwohl jeder Projektor P_i dieselbe Intensität abstrahlt, bewirken unterschiedliche Formfaktoren F_i unterschiedliche auftreffende Intensitätsteile. Diese Teile werden auf der Projektionsfläche S additiv gemischt und ergeben die reflektierte Intensität: R = EM + IiF1M + ... + IiFNM = EM +(R – EM)/(F1M + ... + FNM)(F1M + ... + FNM).
Wie im Falle eines einzelnen Projektors P wird das zu projizierende Bild I in Echtzeit mittels eines oder mehrerer Pixelshadern berechnet, welchen die Parametertexturen zu den Größen EM, F₁M, ..., F_NM nach projektorabhängigem Verzerren mittels des zu dem betreffenden Projektor gehörenden Pixelversatzfeldes D_i beziehungsweise der betreffenden Pixelversatztextur T_Di als Umgebungsbeleuchtungstextur T_E beziehungsweise als Oberflächentexturen T_Si übergeben werden. Die Größen F_iM können auf zwei Weisen ermittelt werden. Entweder durch sequentielles Projizieren und Aufnehmen eines Bildes I_i = 1 höchster Intensität für jeden einzelnen der Projektoren P_i nacheinander oder durch Aufnahme eines projizierten Bildes I, das proportional zu F₁M + ... + F_NM ist, indem dazu mittels aller Projektoren P_i gleichzeitig Bilder I_i = 1 höchster Intensität projiziert werden. Die zweite Vorgehensweise ist zwar kompakter, kann jedoch zu einer Übersteuerung der Kamera C führen. Schattenregionen einzelner Projektoren P_i sind dabei in den Formfaktorgrößen eingeschlossen und werden automatisch als Nebeneffekt entfernt. Dazu muss jeder auszuleuchtende Bereich der Projektionsfläche S durch mindestens einen Projektor P_i beleuchtbar sein. Gleichmäßige Übergänge zwischen den Projektionen mehrerer Projektoren P_i sind mit üblichen Cross-Fading-Techniken möglich.
Anstelle der Verwendung eines oder mehrerer Pixelshader ist stets auch die Durchführung mittels einer oder mehrerer Hauptprozessoren möglich.
Um eine hohe Darstellungstreue zu erreichen, werden der oder die Projektoren P_i und die Kamera C zweckmäßigerweise vor der automatischen Kalibrierung auf Farbe und Intensität abgeglichen. So können Übersteuerungen vermieden werden.
Generell haben Projektoren den Vorteil, aktiv Kanten auf einer Oberfläche erzeugen zu können, zumal sie meist in Dunkelheit verwendet werden. Dadurch ist die Projektion kontrastreich und enthält gut identifizierbare Kanten. Auch kann die Form der zu projizierenden Objekte so gewählt werden, dass die Schärfegradbestimmung genau ist. Ein Kamerabild der Projektionsfläche und damit der projizierten Objekte ist zur Schärfemessung gut geeignet. Die zum Stand der Technik erläuterten Autofokusmechanismen bestimmen einen einzelnen Schärfegrad für ein gesamtes Kamerabild. Für das erfindungsgemäße Verfahren sind jedoch pixelweise Schärfegradwerte erforderlich. Das bekannte Verfahren mit strukuriertem Licht kann dahingehend verbessert werden.
Eine einfache Lösung ist, die vertikalen und horizontalen Balken, die ein Projektor als Kalibriermuster projiziert, entlang der Bildachsen schrittweise zu bewegen. Nach jedem Schritt wird das mit der Kamera aufgenommene Kalib rierbild ausgewertet, und ein Schärfegradwert kann für jeden Kamerapixel bestimmt werden, den der Balken gerade trifft. Da aber die Projektionsflächen nicht zwingend eben sind, und die Projektoren und Kameras keine vorgegebene Position zu sich und der Fläche einnehmen, ist es wahrscheinlich, dass die Balken im Kalibrierbild gekrümmt sind, und dass sie nicht parallel zu den Bildkoordinatenachsen der Kamera liegen. Die zwei Intensitätsverteilungen, die sich aus einer vertikalen und einer horizontalen Suchrichtung des diskreten Kalibrierbildes ergeben, sind daher unterschiedlich. Im schlechtesten Fall, nämlich wenn ein Balken orthogonal zu einer Bildachse liegt, kann gar keine Verteilung bestimmt werden. Eine für Auswertung von Kamerabildern besser geeignete Geometrie ist daher eine kreisförmige Punktfläche. Eine Projektion von Punkten erzeugt auf der Projektionsfläche S punktförmige Reflexionen. Anhand der Abbildung eines Punktes im Kamerabild ist für jede Durchlaufrichtung der Rastergraphik eine zumindest vollständige Intensitätsverteilung bestimmbar. Bei Projektionsflächen S mit geringer diffuser Reflexion kann ein inverses Kalibriermuster verwendet werden, das anstelle von weißen Punkten auf schwarzen Hintergrund schwarze Punkte auf weißen Hintergrund verwendet. In einem solchen Fall wird nach der Aufnahme eines Kalibrierbildes dieses invertiert, bevor es der weiteren Auswertung zugeführt wird.
In 5 wird am Beispiel eines Projektors P₁ und einer Kamera C ein Kalibrierdurchgang zum Ermitteln der Schärfegradwerte ϕ_1,x,y als pixelweises Maß für die Schärfe der Darstellung des Projektors P₁ an allen Bildpunkten X seines Projektionsfeldes schematisch erläutert. Ein solcher Kalibrierdurchgang wird nacheinander für jeden der vorhandenen Projektoren P_i durchgeführt. Die anderen Projektoren P_i sind hier nicht abgebildet. Der Kalibrierdurchgang besteht aus einem Vorkorrekturschritt, einem Projektions- und Aufnahmeschritt und einem Nachkorrekturschritt. Die Präpositionen vor und nach beziehen sich dabei auf den Schritt des Projizierens eines Kalibriermusters K_P1 auf die Projektionsfläche S mit anschließendem Aufnehmen der dort reflektierten Projektion in ein Kalibrierbild K_C1 mittels der Kamera C. Zur pixelweisen Bestimmung der Schärfegradwerte ϕ_1,x,y wird beispielsweise als Kalibriermuster K_P1 ein Gitter von Punkten verwendet, das in der Projektion schrittweise parallel zu den Bild achsen weiterbewegt und daraufhin aufgenommen wird. Es liegen dann mehrere Kalibrierbilder K_C1 vor, die jeweils das projizierte Punktegitter mit unterschiedlichen Positionen enthalten.
Die Vorkorrektur umfasst Korrekturschritte, die vor der Projektion des Kalibriermusters K_P1 durchgeführt werden. Damit die projizierten Punkte überall im aufgenommenen Kalibrierbild K_C1 gleich groß sind, wird die zuvor erläuterte Geometriekorrektur verwendet. Zur Projektion des Punktegitters wird eine Textur erstellt, die im gleichmäßigen Abstand voneinander Punkte enthält. Durch die Geometriekorrektur wird die Textur so verzerrt, dass alle Punkte im Kalibrierbild K_P1 gleich groß sind. Es ist dabei gleichgültig, welche Position und Ausrichtung der Projektor P₁ zu anderen und zur Projektionsfläche S einnimmt. Die willkürliche Position der Kamera C führt zwar zu unterschiedlich großen Punkten auf der Projektionsfläche. Dennoch wird auf eine Stelle der Projektionsfläche S von jedem Projektor P_i einer Anordnung die gleiche Punkteverteilung projiziert, sofern sie gleich fokussiert wären. Ein anderer Vorteil ist, dass das Punktegitter im Kalibrierbild K_P1 parallel zu den Kamerabildachsen liegt. Es ist also leicht möglich, die Positionen der einzelnen Punkte zu bestimmen, um deren Intensitätsverteilungen auszuwerten. Die zuvor erläuterte radiometrische Korrektur wird direkt nach der Geometriekorrektur auf die Textur angewendet, die das Punktegitter enthält. Alle projizierten Punkte werden damit so korrigiert, dass sie im Kalibrierbild K_C1 der Kamera C die gleiche Intensität annehmen, unabhängig vom Formfaktor des Projektors P₁ und vom Material der Projektionsfläche S.
Da ein Projektor die Intensität I = (R – EM)/FM abstrahlen muss, damit die Intensität in einem Kamerabild gerade R beträgt, kann I größer als eins sein, wenn FM klein ist. Ein Projektor kann nur 100% maximale Intensität abstrahlen kann. Es muss daher I ≤ 1 sichergestellt werden. Dazu kann ein Faktor b mit b < 1 gewählt werden, der auf R angewendet wird, so dass I = ((R·b) – EM)/FM und I ≤ 1 gilt. Die Intensitäten im Kamerabild nehmen genau den Wert b an, da alle Punkte im Gitter im Ausgangsbild den Wert I = 1.0 haben. Der Vorteil ist, dass b einheitlich für alle I aller Projektoren gewählt werden kann, und damit die Schärfegradwerte verschiedener Projektoren vergleichbar sind, auch wenn sie beispielsweise verschiedene Beleuchtungsstärken oder unterschiedlich hohe Formfaktoren aufweisen.
Die Postkorrektur korrigiert nach dem Projizieren und Aufnehmen die Intensitätsverteilung im Kalibrierbild K_C1 hinsichtlich der Farbe beziehungsweise Textur der Projektionsfläche S. Diese Korrektur kann erst nach dem Projektions- und Aufnahmeschritt durchgeführt werden, da die Intensitätsverteilungen erst auf der Projektionsfläche S entstehen. Bei der Korrektur muss jedoch beachtet werden, dass die Intensität I₁, die vom Projektor P₁ abgestrahlt wurde und die Verteilung auf der Projektionsfläche S entstehen lässt, bereits gemäß I_x,y = (R_x,y – EM_x,y)/FM_x, für die Farbe beziehungsweise Textur der Projektionsfläche S korrigiert ist. Eine Korrektur aller Werte einer Intensitätsverteilung im Kalibrierbild K_C1 ist also nur möglich, wenn die Intensitäten auf die ursprünglichen Intensitäten I, die vom Projektor P₁ abgestrahlt wurden, zurückgeführt werden. Es kann angenommen werden, dass jeder Intensitätswert der Verteilung durch einen Faktor f der vom Projektor ursprünglich abgestrahlten Intensität I entsteht, also I_f = I·f. I_f ist dabei die Intensität, die der Projektor ausstrahlen müsste, um einen spezifischen Wert R der Intensitätsverteilung im Kalibrierbild K_C1 zu erzeugen. Aus wievielen Werten die Verteilung eines Punktes im Kalibrierbild K_C1 besteht und wie hoch der Faktor f eines deren Werte ist, hängt dabei von der Fokussierung ab. Da die ursprünglich abgestrahlte Intensität I bekannt ist, wird der Faktor f in einer ersten Normierung der Intensitätswerte I_f des Kalibrierbilds K_C1 als f = I_f/I bestimmt werden. Die Faktoren f können auch als erstmalig normierte Intensitäten f bezeichnet werden. Es ergibt sich eine neue Verteilung, bestehend aus allen Faktoren f der Werte der im Kalibrierbild K_C1 aufgenommenen Intensitätsverteilung. Die Verteilung der Faktoren f verhält sich hinsichtlich Schärfe oder Unschärfe gleich der Verteilung der Intensitäten im Kalibrierbild K_C1, ist jedoch vollständig korrigiert hinsichtlich der Farbe beziehungsweise Textur der Projektionsfläche S.
Es können bei der anschließenden Analyse genauere Schärfegradwerte ϕ_1,x,y erreicht werden, indem jedes lokale Maximum der in den erstmalig normierten Intensitäten f vorliegenden Gauß- und dazu ähnlichen Verteilungen auf einen Wert von 1,0 angehoben wird, wobei die übrigen zu dem betreffenden Maximum gehörigen Intensitätswerte beziehungsweise Faktoren f mit demselben Normierungsfaktor skaliert werden, so dass sie in zweitmalig normierter Form vorliegen.
Die zweidimensionale Verteilung der normierten Intensitäten wird in Abtastausschnitte unterteilt, in deren Zentrum sich jeweils eine Punkteverteilung befindet. Es kann dazu die Verteilung der erstmalig normierten Intensitäten oder die Verteilung der zweitmalig normierten Intensitäten verwendet werden. Die Positionen der Abtastausschnitte sind aus der Geometriekorrektur bekannt. Die Seitenlänge der Abtastausschnitte kann beispielsweise vom Anwender eingestellt werden, wird jedoch vorteilhafterweise automatisch auf den Abstand der Punkte im Gitter eingestellt. Der gesamte Inhalt eines Suchfenster trägt damit nur zu dem Schärfegradwert genau eines Pixels im Kalibrierbild K_C1 bei, nämlich desjenigen Pixels, der sich im Zentrum des Abtastausschnitts befindet.
Es wird nun auf der Verteilung der normierten Intensitäten in einem Abtastausschnitt eine Bildzerlegung unter Verwendung des momenterhaltenden Prinzips durchgeführt, die die Intensitätswerte des Abtastausschnitts in einen Vordergrund und in einen Hintergrund einordnet. Der Vordergrund beinhaltet Werte hoher, der Hintergrund Werte niedriger Intensität. Da die Größe eines Punktes auf der Projektionsfläche abhängig vom Schärfegrad ist, können die Ergebnisse als Schärfegradwerte verwendet werden. Die Pixelmenge besteht damit letztendlich nur aus einem Vordergrund mit der Durchschnittsintensität g_w, und dem Hintergrund mit der Durchschnittsintensität g_b. Der Schärfegradwert wird durch den Anteil der Pixel im Vordergrund p_w, bestimmt. Der Anteil der Pixel im Hintergrund ist p_b, wobei p_w + p_b = 1. Da die Positionen der Gitterpunkte aus der Geometriekorrektur bekannt sind, kann um jeden Gitterpunkt ein Abtastausschnitt gelegt werden, so dass mehrere Abtastausschnitte parallel zerlegt werden können.
Die Abtastausschnitte werden entsprechend einer schrittweisen Verschiebung des Kalibriermusters K_P1 über das betreffende Kalibrierbild K_C1 verschoben und die Bildzerlegungen für jede Position wiederholt. Es wird so für jeden Pixel der Kameraperspektive ein betreffender Schärfegradwert ϕ_1,x,y für den Projektor P₁ ermittelt.
Nachdem für jeden vorhandenen Projektor P_i ein entsprechender Kalibrierdurchgang durchgeführt wurde, werden für das Zusammensetzen der zu projizierenden Intensitäten I_i aus den ermittelten Schärfegradwerten ϕ_i,x,y Wichtungsfaktoren q_i,x,y für die Manipulation der zu projizierenden Pixelintensitäten I bestimmt. Die Abbildung der Koordinaten x,y aus dem Kamerabildraum in den Projektorbildraum erfolgt mittels der C2P-Abbildung, die für die Geometriekorrektur ermittelt wurde.
Für den Fall einer gewichteten Komposition von Pixeln, die in den obigen Ausführungsbeispielen als zweite Alternative geschildert wurde, werden die Wichtungsfaktoren q_i,x,y bestimmt gemäß:
wobei die Summierung über alle Projektoren P_i erfolgt. Die zu projizierenden Intensitäten I_i werden in diesem Fall nach Farbkanälen getrennt pixelweise manipuliert gemäß:
Für den Fall einer exklusiven Komposition von Pixeln, die in den obigen Ausführungsbeispielen als erste Alternative geschildert wurde, werden die Wichtungsfaktoren q_i,x,y binär bestimmt gemäß:
wobei die Schärfegradwerte ϕ_i,x,y der Projektoren P_i paarweise und pixelweise miteinander verglichen werden. Die zu projizierenden Intensitäten I_i werden in diesem Fall nach Farbkanälen getrennt pixelweise manipuliert gemäß:
Um optische Artefakte abzuschwächen, die aus nicht exakt aneinander ausgerichteten oder unterschiedlich großen Pixeln verschiedener Projektoren P_i resultieren, können die Wichtungsfaktoren q_i,x,y beziehungsweise die Parametertexturen mittels eines Tiefpassfilters geglättet werden, so dass weiche Kanten und nichtbinäre Wichtungsfaktoren q_i,x,y resultieren. Dann muss die Manipulation der Pixelintensitäten I_i wie bei der gewichteten Komposition erfolgen, wobei den exklusiven Wichtungsfaktoren entsprechend normierte Gewichte verwendet werden müssen.
Die gewichtete Komposition ermöglicht eine insgesamt höhere Leuchtstärke der Projektoren P_i und somit eine besser wahrnehmbare Darstellung der digitalen Bilder Z ohne Artefakte an Schärfegrenzen. Sie stellt jedoch einen Kompromiss zwischen Darstellungsschärfe und insgesamter Leuchtstärke dar.
Die pixelweise Multiplikation erfolgt in beiden Varianten, exklusiv und gewichtet, aus Geschwindigkeitsgründen vorteilhafterweise wie oben beschrieben mittels eins Pixelshaders pro Projektor P_i, wobei die Wichtungsfaktoren q_i,x,y in Form von Parametertexturen übergeben werden. Im Fall der exklusiven Komposition kann alternativ zur Verwendung von Pixelshadern beispielsweise eine Stencilmaske für jeden Projektor berechnet werden, welche schwarz zu projizierende Pixel ausblendet. Im Fall der gewichteten Komposition kann alternativ eine Alphamaske verwendet werden, um die Pixelintensitäten unscharfer Pixel im ermittelten Maß zu verringern.
In 6 ist eine dritte Anordnung in der Draufsicht dargestellt, die wie die zweite Anordnung aus 2 vier Projektoren P_i aufweist, die jedoch in einer einzelnen Geräteeinheit zusammen mit einer Kamera C untergebracht sind. Die vier Projektionsfelder sind parallel versetzt ausgerichtet und überlagern sich alle gegenseitig. Die Projektoren P_i sind dabei hinsichtlich ihrer Fokussierung auf unterschiedliche, in diesem Beispiel parallele, äquidistante Bildebenen B_i eingestellt. Die Projektionsfläche S ist die Außenoberfläche eines zylindrischen Körpers. In analoger Weise könnte in einer anderen Ausführungsform die Projektionsfläche S auf der Innenoberfläche eines solchen Körpers oder einer Kuppel liegen.
Durch Verwendung des erfindungsgemäßen Darstellungsverfahrens werden von der Geräteeinheit nach den Kalibrierdurchgängen für Geometrie- und Farbkorrektur sowie für die Ermittlung der Schärfegradwerte und entsprechender Umsetzung in der Manipulation der zu projizierenden Intensitäten jeweils alle von den Projektoren beleuchtbaren Bereiche der Projektionsfläche S automatisch optimal scharf dargestellt. Ein Projektor P_i projiziert ausschließlich diejenigen Pixel mit unveränderter Intensität, die im Bereich seiner Tiefenschärfe um seine Bildebene B_i auf die Projektionsfläche S treffen. Alle anderen Pixel werden vor der Projektion vollständig schwarz gesetzt oder zumindest in der Intensität herabgesetzt. Dabei sind die zu projizierenden digitalen Bilder Z_i in horizontaler Richtung den Abständen der Projektorobjektive entsprechend gegeneinander versetzt.
Die 7a und 7b zeigen unterschiedliche, verschwommene Teile zweier unkorrigierter Projektionen auf eine ebene Projektionsfläche in einer Anordnung gemäß dem Ausführungsbeispiel von 1. Die 7c und 7d zeigen mittlere Gradienten der pixelweisen Schärfegradwerte ϕ_1,x,y und ϕ_2,x,y, die mit dem erfindungsgemäßen Verfahren automatisch ermittelt wurden. Der linke Projektor P₁ verliert Schärfe von links nach recht, der rechte Projektor P₂ zeigt entgegengesetztes Verhalten. Die konstante Tiefenschärfe der Kamera C verstärkt die Unschärfe der Messungen. Diese kameraspezifischen Fokuseffekte sind jedoch für alle Projektoren dieselben. Es können also lediglich relative Schärfegradwerte ϕ_1,x,y und ϕ_2,x,y ermittelt werden, die einen Vergleich zwischen den Projektorbeiträgen ermöglichen, nicht jedoch absolute Schärfegradwerte. Kameraspezifische Fokuseffekte spielen jedoch keine Rolle in den erfindungsgemäßen Verfahrensschritten, so dass relative Schärfegradwerte ϕ_1,x,y und ϕ_2,x,y für eine scharfe Darstellung vollauf genügen.
In 7e und 7f sind die Beiträge der Projektoren P₁, P₂ in einer exklusiven Komposition dargestellt. Bis zur mittleren Linie übereinstimmender Schärfegradwerte ϕ_1,x,y und ϕ_2,x,y projiziert jeder Projektor P₁, P₂ den jeweils schärfen Teil der Darstellung. Die vollständige, simultane Darstellung beider Teile zeigt 7g. Sie erscheint konsistent und in allen Teilen maximal scharf wie die Ausschnitte in 7h und 7i zeigen.
Die Schärfegradwerte ϕ_1,x,y und ϕ_2,x,y sind unabhängig von der Perspektive. Sie sind für jeden Projektor konstant, wenn diese und die Kamera feststehen.
Vier Projektoren können beispielsweise von einem Rechner mit zwei Grafikkarten bedient werden. Zur Steuerung von mehr als vier Projektoren kann beispielsweise Netzwerkkommunikation verwendet werden. Bei Anordnungen mit vielen Projektoren ergibt sich eine hohe Wahrscheinlichkeit, dass die Projektoren, beispielsweise aufgrund unterschiedlicher Modelle, in ihrer Darstellung unterschiedliche Farbräume abdecken. Das Verfahren umfasst dazu zweckmäßigerweise Schritte zur Farbraumanpassung. Der Kalibrierdurchgang kann immens beschleunigt werden, wenn das Gitter der Punktflächen von jedem Projektor nur einmal projiziert und ausgewertet werden wird, anstatt das Punktegitter fortfolgend zu verschieben. Dies gilt insbesondere für geometrisch weniger komplexe Projektionsflächen S, deren Oberfläche sich nicht nur wenig, also niederfrequent, ändert. Hier können die fehlenden Schärfegradwerte zwischen den gemessenen interpoliert werden. Eine Vorverarbeitung der bei der Schärfegradwertmessung verwendeten Kamerabilder kann die Qualität der Messung erhöhen. Eine Vorverarbeitung kann beispielsweise ein Glätten der Kamerabilder umfassen, um hochfrequente Störungen wie Rauschen zu entfernen.

P₁: Projektor
B_i: Bildebene
S: Projektionsfläche
X: Bildpunkt
C: Kamera
U_i: Position
Z: Digitales Bild
K_Pi: Kalibriermuster
K_Ci: Kalibrierbild
D: Pixelversatzfeld
f: Normierte Intensität
ϕ_i,xi,yi: Schärfegradwert
q_i,xi,yi: Wichtungsfaktor
B: Bildpuffer
E: Umgebungsbeleuchtung
I_i: Zu projizierendes/projiziertes Bild/Intensität
R: Reflektierte Intensität
t: Latenzzeit
M: Materialfarbe
F: Formfaktor
α: Einfallswinkel
r: Entfernung
T_D: Pixelversatztextur
T_S: Oberflächentextur
T_E: Umgebungsbeleuchtungstextur
O: Betrachter

Claims

Verfahren zur Darstellung mehrerer digitaler Bilder (Z_i) auf einer Projektionsfläche (S), indem mittels mehrerer Projektoren (P_i), die auf unterschiedliche Bildebenen (B_i) eingestellt sind, Inhalte von betreffenden Bildpuffern, welche zu projizierende Intensitäten (I_i) von Pixeln enthalten, in Bereiche der Projektionsfläche (S) projiziert werden, wobei für einen Bildpunkt (X) der Projektionsfläche (S), auf den mehrere Pixel aus unterschiedlichen Projektoren (P_i) simultan projiziert werden, die durch die betreffenden Projektoren (P_i) für diese Pixel zu projizierenden Intensitäten (I_i) anhand von Schärfegradwerten (ϕ_i,xi,yi) der einzelnen betreffenden Pixel manipuliert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Manipulieren mittels mindestens eines Pixelshaders durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Manipulieren erfolgt, indem von mehreren, aus unterschiedlichen Projektoren (P_i) auf denselben Bildpunkt (X) der Projektionsfläche (S) projizierbaren Pixeln die Intensität (I_i) desjenigen mit dem höchsten Schärfegradwert (ϕ_i,xi,yi) unverändert bleibt, während die anderen dieser Pixel dunkel eingestellt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Manipulieren erfolgt, indem die Intensitäten mehrerer aus unterschiedlichen Projektoren (P_i) auf denselben Bildpunkt der Projektionsfläche (S) projizierbarer Pixel anhand ihrer Schärfegradwerte (ϕ_i,xi,yi) gewichtet skaliert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schärfegradwerte (ϕ_i,xi,yi) der Pixel in einem Kalibrierdurchgang ermittelt werden, wozu nacheinander mittels jedes Projek tors (P_i) ein Kalibriermuster (K_Pi) projiziert und die von der Projektionsfläche (S) reflektierten Projektionen mittels einer Kamera (C) in betreffende Kalibrierbilder (K_Ci) aufgenommen werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass in einem der aufgenommen Kalibrierbilder (K_Ci) eine Intensität (fI_i) eines Pixels ein erstes Mal normiert wird, indem sie zu der Intensität (I_i) des korrespondierenden Pixels in dem projizierten Kalibriermuster (K_Pi) ins Verhältnis gesetzt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mehrere erstmalig normierte Intensitäten (f) eines Kalibrierbildes (K_Ci) untereinander ein zweites Mal normiert werden.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass ein Schärfegradwert (ϕ_i,xi,yi) aus normierten Intensitäten (f) eines Kalibrierbildes (K_Ci) mittels Bildzerlegung unter Anwendung des momenterhaltenden Prinzips ermittelt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bildzerlegung innerhalb eines zweidimensionalen Abtastausschnitts des betreffenden Kalibrierbilds (K_Ci) durchgeführt wird.
Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass das Kalibriermuster (K_Pi) für einen Projektor (P_i) in mehreren Schritten verschoben wird und nach jedem Schritt ein betreffendes Kalibrierbild (K_Ci,n) aufgenommen wird.
Verfahren nach einem der Ansprüche 5 bis 10, dadurch gekennzeichnet, dass als Kalibriermuster (K_Pi) ein Gitter aus kreisförmigen Punkten verwendet wird.
Verfahren nach einem der Ansprüche 5 bis 11, dadurch gekennzeichnet, dass das Kalibriermuster (K_Pi) vor dem Projizieren für jeden Projektor (P_i) individuell in dessen Perspektive hinsichtlich der Eigenschaften der Projektionsfläche (S) geometrie- und/oder farbkorrigiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die digitalen Bilder (Z_i) vor dem Projizieren hinsichtlich der Eigenschaften der Projektionsfläche (S) geometrie- und/oder farbkorrigiert werden.
Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Geometriekorrektur durchgeführt wird, indem das betreffende Bild (Z) oder Kalibriermuster (K_Pi) anhand eines zweidimensionalen Pixelversatzfeldes (D), das Informationen über die Projektionsfläche (S) enthält, geometrisch verzerrt wird und/oder dass die Farbkorrektur durchgeführt wird, indem das betreffende Bild anhand einer zweidimensionalen Oberflächentextur (T_S) der Projektionsfläche (S) farblich manipuliert wird.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass in einem Kalibrierdurchgang mittels eines Projektors (P) mindestens ein Geometriekalibriermuster (G_Pi) auf die Projektionsfläche (S) projiziert wird und mittels einer Kamera (C) die reflektierte Projektion in ein Kalibrierbild (G_Ci) wenigstens teilweise aufgenommen und digitalisiert wird, wobei zu mindestens einem projizierten Pixel eines Geometriekalibriermuster (G_Pi) ein zugehöriger Pixel eines digitalisierten, aufgenommenen Kalibrierbildes (G_Ci) identifiziert wird und ein zweidimensionaler geometrischer Versatz zwischen dem projizierten und dem aufgenommenen Pixel ermittelt und als ein Element des zweidimensionalen Pixelversatzfeldes (D) gespeichert wird.
Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass in einem Kalibrierdurchgang sequentiell mittels jedes Projektors (P_i) ein Rechteck mit weißer Farbe höchster Intensität als Farbkalibrierbild (U_Pi) projiziert wird, wobei die Projektionsfläche (S) nicht mit Umgebungsbeleuchtung (E) beleuchtet wird, und ein jeweiliges, von der reflektierten Projektion aufgenommenes Kalibrierbild (U_Ci) als zweidimensionale Oberflächentextur (T_Si) der Projektionsfläche (S) für den betreffenden Projektor (P_i) verwendet wird.
Vorrichtung zur Darstellung mehrerer digitaler Bildes (Z) auf einer Projektionsfläche (S) mit einer Steuereinheit und mindestens zwei digitalen Projektoren (P₁, P₂), dadurch gekennzeichnet, dass die Projektoren (P₁, P₂) auf unterschiedliche Bildebenen (B_i) eingestellt sind und die Steuereinheit eine Intensität (I_i) eines von einem Projektor (P_i) zu projizierenden Pixels anhand von aus Schärfegradwerten (ϕ_i,xi,yi) ermittelten Wichtungsfaktoren (q_i,xi,yi) einzelner, von mehreren der Projektoren (P_i) zusammenfallend projizierter Pixel manipuliert.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass sich die beleuchteten Projektionsfelder der Projektoren (P_i) überlappen oder unabhängig voneinander jeweils einen Teil der Projektionsfläche (S) beleuchten.
Vorrichtung nach einem der Ansprüche 17 oder 18, dadurch gekennzeichnet, dass die Steuereinheit für jeden Projektor (P_i) einen eigenen Bildpuffer (B) enthält, der mit mindestens einem programmierten Pixelshader verbunden ist.
Vorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Projektoren (P₁, P₂) schräg auf ihre Projektionsfelder gerichtet sind, wobei sich ihre Projektionsfelder in einer multifokalen Projektion überlappen, und wobei ein erster Projektor (P₁) so eingestellt ist, dass er eine erste Bildebene B₁ fest fokussiert und ein zweiter Projektor (P₂) auf eine zweite Bildebene B₂ fest fokussiert.
Vorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass vier Projektoren (P₁ ... P₄) auf unterschiedliche Bildebenen (B₁ ... B₄) eingestellt sind, wobei sich die Projektionsfelder je zweier Projektoren (P_i) zumindest teilweise überlappen.
Vorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass vier Projektoren (P₁ ... P₄) in einer einzelnen Geräteeinheit angeordnet sind, wobei die vier Projektionsfelder parallel versetzt ausgerichtet sind und sich alle gegenseitig überlagern.
Vorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass die Kamera (C) in oder an der Geräteeinheit angeordnet ist.
Vorrichtung nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass die Kamera (C) lösbar an der Anordnung befestigt ist.