DE10251217B3

DE10251217B3 - Autokalibierung von Multiprojektorsystemen

Info

Publication number: DE10251217B3
Application number: DE2002151217
Authority: DE
Inventors: Stefan Klose
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2002-10-31
Filing date: 2002-10-31
Publication date: 2004-06-24
Anticipated expiration: 2022-11-01

Abstract

Das System zur automatischen Kalibrierung eines Multiprojektorsystems weist mindestens zwei Projektoren, eine Digital-Kamera und eine Ansteuerungseinheit zur Ansteuerung der Projektoren und der Kamera auf. Die Autokalibrierung wird gemäß folgender Schritte durchgeführt: DOLLAR A - Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, DOLLAR A - Finden der größtmöglichen Projektionsfläche und DOLLAR A - Berechnung der Warp-Felder und Imagewarping.

Description

Einleitung
Die Endung betrifft ein Verfahren zur automatischen Kalibrierung eines Multiprojektorsystems, das erlaubt, eine beliebige Anzahl von Bildern, die von verschiedenen Projektoren erzeugt werden, pixelgenau übereinander zu legen, um die Gesamtleuchtstärke zu erhöhen bzw. eine Stereodarstellung zu ermöglichen.

Problembeschreibung

Multiprojektorsysteme zur Darstellung von Informationen auf großen Projektionsflächen sind bekannt. Ein Beispiel hierfür ist in WO-A-00/18139 beschrieben. Die Projektionsbilder der Projektoren sind nebeneinander angeordnet.

Um die Gesamthelligkeit eines Bildes zu erhöhen bzw. um ein Passiv-Stereo-Bild zu erzeugen, ist es notwendig, dass mehrere Projektoren denselben Bereich der Projektionsfläche beleuchten. Bei dieser Bilddarstellung besteht das Problem, dass die Einzelbilder der Projektionseinheiten in der Regel nicht übereinander liegen. Diese Kalibrierung wird momentan manuell getätigt und ist mit hohem Aufwand verbunden und zu ungenau.

Aufgabe der Erfindung ist es, eine pixelgenaue Auto-Kalibrierung zu implementieren, die die umständliche manuelle Feinjustage überflüssig macht. Diese Kalibrierung entzerrt zusätzlich noch durch die Geometrie der Projektionsfläche bzw. durch den Projektor (Keystone) hervorgerufene Bildverzerrungen bezüglich einer Kamera.

Zur Lösung der vorstehend genannten Aufgabe wird mit der Erfindung ein Multiprojektor-Autokalibrierungssystem vorgeschlagen, das versehen ist mit

– mindestens zwei Projektoren,
– eine Digital-Kamera und
– einer Ansteuerungseinheit zur Ansteuerung der Projektoren und der Kamera.

Die Autokalibrierung wird gemäß folgender Schritte durchgeführt:

– Erzeugung, Aufnahme und Bildfilterung von Streifenmustern,
– Finden der größtmöglichen gemeinsamen Projektionsfläche und
– Berechnung der Warp-Felder und Imagewarping.

Im folgenden sollen die Teilschritte der Autokalibrierung anhand der Abbildungen kurz erläutert werden.
Im einzelnen zeigen:
1 Versuchsaufbau mit zwei Projektoren,
2 Hintergrundbild (Projektion zweier schwarzer Flächen)
3 horizontale Streifenprojektion des linken Projektors,
4 horizontale Streifenprojektion des rechten Projektors,
5 vertikale Streifenprojektion des linken Projektors,
6 vertikale Streifenprojektion des rechten Projektors,
7 erkanntes Gitternetz und größte, gemeinsame Projektionsfläche,
8 gewarptes Bild des linken Projektors,
9 gewarptes Bild des rechten Projektors,
10 entzerrtes Bild des linken Projektors (rechter Projektor ist abgedeckt)
11 entzerrtes Bild beider Projektoren übereinander und
12 Vergleich der Leuchtstärke.
Erzeugung, Aufnahme und Bildfilterung der Streifenmuster
Um eine erfolgreiche Geometrieentzerrung mittels Imagewarping durchführen zu können, muss zuerst die zugrunde liegende Geometrie erfasst werden. Dies geschieht durch die Aufnahme von projizierten vertikalen und horizontalen Streifenmustern. Diese Streifen haben einen konstanten Abstand, der je nach Komplexität der zu entzerrenden Geometrie zu wählen ist. Bei dem hier beschriebenen Ausführungsbeispiel wurde ein Streifenabstand von zwanzig Pixeln gewählt, da die Wand viele Unregelmäßigkeiten aufwies. Andere Streifenabstände und Anordnungen sind möglich. Die projizierten Streifen werden für alle Projektoren aufgenommen (in unserem Fall zwei Projektoren => zwei vertikale und zwei horizontale Streifenbilder). Zusätzlich wird noch ein Bild aufgenommen, bei dem beide Projektoren auf Schwarz geschaltet sind, um den teilweise störenden Hintergrund bzw. niedriges Rauschen entfernen zu können. Dieses Hintergrundbild wird vor der weiteren Bildfilterung von allen aufgenommen Bildern subtrahiert. Die aufgenommen Bilder sind in den 2 bis 6 zu sehen.
Auf Grund der Verwendung einer Linsenkamera zeigen die aufgenommenen Bilder typische radiale Verzerrungen auf, die vor der Weiterverarbeitung entfernt werden müssen. Bei verzerrungsfreier Aufnahme kann dieser Schritt entfallen.
Die eigentliche Filterung wurde mit Standardbildverarbeitungsfilteroperationen durchgeführt. Nach der Bildsubtraktion von zu filterndem Bild und Hintergrundbild wird das Ergebnisbild in Graustufen umgewandelt, so dass jeder der drei Farbkanäle denselben Farbwert hat. Anschließend wird dieses Bild in Abhängigkeit eines Schwellwertes in ein Schwarz/Weiß-Bild umgewandelt, wobei die Streifen Weiß sind und der Hintergrund Schwarz. Um Löcher in den Streifen zu entfernen, wird eine Dilation und Erosion durchgeführt. Anschließend müssen die aufgenommenen Linien noch derart gefiltert werden, dass sie nur noch einen Pixel breit sind. Dies geschieht mit Hilfe eines vertikalen bzw. horizontalen Versatzfilters. Dieser Versatzfilter wird in zwei Richtungen ausgeführt (links und rechts bzw. oben und unten). Der Mittelwert der Ergebnisse dieser beiden Filteroperationen liefert den Mittelpunkt des Streifens. Die gefilterten Streifen werden nun durch ihre Mittelpunkte repräsentiert.
Sämtliche Filteroperationen wurden mittels an sich bekannter Pixelshader hardwareunterstützt umgesetzt.
Berechnung der größtmöglichen Projektionsfläche
Um eine deckungsgleiche Wahrnehmung zu gewährleisten, muss die größte gemeinsame Projektionsfläche aller Projektoren im Originalbildverhältnis (in diesem Ausführungsbeispiel 4:3) bestimmt werden. Dazu wird zuerst aus den gefilterten Streifenmustern ein Gitternetz erzeugt. Mit Hilfe eines Optimierungsalgorithmus wird innerhalb dieses Netzes, welches in unserem Fall aus zwei Teilgitternetzen besteht, die größte gemeinsame Projektionsfläche „gesucht". Das Gitter des linken und des rechten Projektors sowie die Zielprojektionsfläche sind in 7 dargestellt. Aus diesen Daten können im Anschluss die Parameter für das Warping bestimmt werden.
Berechnung der Warp-Felder und Imagewarping
Mit Hilfe des zuvor berechneten Gitters kann das Bild in Warpingpatches zerlegt werden. Diese Patches bestehen aus einem Dest-Patch (der Bildbereich, an den ein Bildteil gewarpt werden soll) und einem Src-Patch (der Bildbereich, der in den Dest-Patch gewarpt wird).
Die Eckpunkt-Berechnung der Dest-Patches ist trivial. Aufgrund des vorgegebenen Abstands der horizontalen und vertikalen Linien ist somit auch die Position sämtlicher Gitterpunkte im Ziel bekannt.
Die Src-Patches werden in Abhängigkeit des Projektionsrechteckes (im Foto) und der Position der Dest-Patches (im Foto) linear berechnet. Es wird die Berechnung für die linke untere Ecke eines Src-Patches in Abhängigkeit der linken unteren Ecke eines Dest-Patches aufgezeigt:
patch.x1 = (pLB.X – projectionRect.left)/(projectionRect.right – projectionRect.left);
patch.y1 = (pLB.Y – projectionRect.bottom)/(projectionRect.top – projectionRect.bottom).
Das Src-Patch wird mittels eines Warping-Verfahrens inklusive integrierter perspektivischer Korrektur in das Dest-Patch transformiert.
Wird der Abstand der horizontalen und vertikalen Linien relativ klein gewählt, ist auch der Ausgleich von Krümmungen realisierbar. Mit den bei den Versuchen gewählten Linienabständen von zwanzig Pixeln war es bereits möglich, Krümmungen der Wand auszugleichen.
Bei einer Zweiprojektorkalibrierung müssen zwei Warp-Arrays berechnet werden, bei mehr als zwei Projektoren entsprechend mehr. Die Warp-Arrays werden immer in Abhängigkeit der korrespondierenden Gitterpunkte mit der Beschränkung durch die gemeinsame größte Projektionsfläche bestimmt. Die für eine Zweikanalprojektion berechneten gewarpten Bilder sind in 8 und 9 zu sehen. Das Ergebnis an der Projektionsfläche ist für einen Projektor in 10 und für zwei Projektoren in 11 zu sehen. Der Vergleich der Leuchtstärke ist in 12 dargestellt.
Um eine effektive Verarbeitung zu gewährleisten, wird die Autokalibrierung nur einmal (pro Sitzung) durchgeführt. Aus diesem Grund werden die für die Geometrieentzerrung und Multiprojektorkalibrierung berechneten Daten in Warp- Feldern gespeichert, welche z.B. vom X-Rooms^TM-System (K. Isakovic, T. Dudziak, K. Köchy. X-Rooms. A PC-based immersive visualization environment, Web 3D Conference, Tempe, Arizona, 2002) verwendet werden können. Die Entzerrung mittels der Warp-Felder wurde wiederum hardwareunterstützt umgesetzt, so dass eine Entzerrung in Echtzeit möglich ist.
Anwendungsgebiete
Für eine Multiprojektorkalibrierung gibt es viele Anwendungsgebiete. Sie kann beispielsweise zur kostengünstigen Leuchtstärkeerhöhung bzw. zur Stereokalibrierung verwendet werden. Des weiteren kann ohne großen Aufwand eine Geometrie- und Projektorbedingte Entzerrung durchgeführt werden. Die Autokalibrierung eines Zweiprojektorsystems mittels des erfindungsgemäßen Verfahrens dauert 35 Sekunden inklusive der Bildaufnahme (ca. 20 Sekunden). Sie stellt eine signifikante Steigerung gegenüber der manuellen Kalibrierung dar.

Claims

System zur automatischen Kalibrierung eines Multiprojektorsystems mit – mit mindestens zwei Projektoren, – einer Digital-Kamera und – einer Ansteuerungseinheit zur Ansteuerung der Projektoren und der Kamera, – wobei eine Autokalibrierung gemäß folgender Schritte durchgeführt wird: – Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, – Finden der größtmöglichen gemeinsamen Projektionsfläche und – Berechnung der Warp-Felder und Imagewarping.