DE69917470T2

DE69917470T2 - Vorrichtung und verfahren zum kalibrieren einer verteilten anzeigevorrichtung

Info

Publication number: DE69917470T2
Application number: DE69917470T
Authority: DE
Inventors: J. Michael JOHNSON; Rajesh Chandrasekhar; Chung-Jen Chen
Original assignee: Honeywell International Inc
Current assignee: Honeywell International Inc
Priority date: 1998-09-23
Filing date: 1999-09-23
Publication date: 2005-06-02
Anticipated expiration: 2019-09-24
Also published as: EP1116386A1; WO2000018139A1; CA2345226A1; DE69917470D1; US6310650B1; US6525772B2; EP1116386B1; JP2003524915A; ATE267498T1; US20020027608A1

Description

Die vorliegende Erfindung betrifft das Kalibrieren von Anzeigen und insbesondere das Kalibrieren von Mosaik-Projektionsanzeigen, die mehrere Projektoren verwenden, um größere Bilder und/oder Bilder mit höherer Auflösung zu erzeugen.
Mehrprojektorsysteme wurden vorgeschlagen und werden seit vielen Jahren verwendet. In den fünfziger Jahren wurde das System „CINERAMA" für die Filmindustrie entwickelt. Das CINERAMA-System projiziert drei Filme unter Verwendung dreier getrennter Projektoren, die kombiniert wurden, um ein einziges panoramisches Bild zu erzeugen. Disneyland verwendet immer noch ein ähnliches Mehrprojektorsystem. In Disneyland bestrahlt ein Kreis von Projektoren eine Leinwand, die die Wand eines runden Raumes einkreist.
Auf dem Videogebiet wurden Mehrprojektorsysteme vorgeschlagen und werden für mehrere spezielle Anwendungen verwendet. Zum Beispiel wird in dem US-Patent Nr. 4,103,435 für Herndon und in dem US-Patent Nr. 3,833,764 für Taylor ein Mehrprojektorsystem für Flugsimulatoren vorgeschlagen. In vielen dieser Systeme werden mehrere Videoschirme nebeneinander angeordnet, um eine große Bildanzeige für mehrere Projektoren zu bilden. Eine Schwierigkeit bei vielen der Mehrprojektoranzeigesysteme auf Videobasis besteht darin, die mehreren Bilder als ein kontinuierliches Bild auf dem Anzeigeschirm erscheinen zu lassen.
Wenn zwei Bilder nebeneinander auf eine einzige Leinwand projiziert werden, besteht normalerweise eine Naht zwischen den Bildern. Das letztendliche Anzeigebild erscheint entweder als zwei nebeneinander angeordnete Bilder mit einer Lücke dazwischen, oder wenn man die Bilder sich auf einer einzigen Leinwand überlappen läßt, besteht dort, wo sich die Bilder überlappen, eine helle Linie. Aufgrund der Uneinheitlichkeiten in herkömmlichen Kameras, in der Videoverarbeitung, in Ablieferungskanälen, Anzeigen und insbesondere in Projektoren ist es überaus schwierig, die resultierenden Videobilder perfekt so anzugleichen, daß keine Mosaikartefakte unter den Bildern erscheinen. Wenn die Bilder auf derselben Leinwand sehr nahe aneinander gebracht werden, bestehen in der Regel an jeder Naht sowohl Lücken als auch Überlappungen.
Aus dem Artikel mit dem Titel „Design Considerations and Applications for Innovative Display Options Using Projector Arrays" von Theo Mayer, SPIE Band 2650 (1996), Seiten 131–139, ist das Projizieren einer Anzahl diskreter Bilder in einer überlappenden Beziehung und das rampenförmige Einstellen der Helligkeit der diskreten Bilder in den Überlappungsregionen jedes Bildes bekannt. Mayer beschreibt eine Mischfunktion zum Heruntermischen jedes Überlappungsrandes der diskreten Bilder dergestalt, daß der Gamma-Faktor (Videosignalreduktion als Funktion der Lichtausgabekurve) eines Leuchtstoffs, eines Lichtventils oder eines LCD-Projektors kompensiert wird, mit dem Ziel der Herstellung einer über die Anzeige gleichförmigen Helligkeit.
Das US-Patent Nr. 5,136,390 für Inova et al. erkennt, daß die Mischfunktion in der Regel keine einfache gerade Rampenfunktion sein kann. Ein typischer Videoprojektor erzeugt ein Bild, das in Richtung der Ränder des Bildes als natürliche Funktion des verwendeten Linsensystems dunkler wird und eine Anzahl von hellen und dunklen Teilen aufweist, die durch normale Irregularitäten in dem Signal, dem zwischengeschalteten Signalprozessor, dem Projektor, der Leinwand, usw. verursacht werden. Diese Uneinheitlichkeiten variieren in der Regel von einer Videokomponente zur anderen und sogar unter verschiedenen Komponenten mit ähnlicher Konstruktion. Außerdem reagieren verschiedene Arten von Projektoren häufig verschieden auf denselben Helligkeitsmodifikationsgrad. Somit kann eine einfache Rampe der Helligkeit in den sich überlappenden Regionen helle und dunkle Bänder und/oder Flecken in dem resultierenden Bild erzeugen.
Um diese Begrenzungen zu überwinden, schlagen Inova et al. vor, eine einfache gerade Mischfunktion auf die sich überlappenden Regionen des Bildes anzuwenden, so wie von Mayer vorgeschlagen wird, aber dann die einfache gerade Mischfunktion an spezifischen Stellen manuell abzustimmen, um die sichtbaren Artefakte aus der Anzeige zu entfernen. Der Ort jedes Artefakts wird identifiziert, indem manuell ein Cursor über jede Stelle, die als ein Artefakt aufweisend identifiziert wird, bewegt wird. Nachdem der Cursor an der richtigen Stelle ist, stimmt das System die entsprechende Stelle der Mischfunktion so ab, daß die entsprechenden Artefakte entfernt werden.
Da jedes Artefakt manuell durch einen Benutzer identifiziert werden muß, kann der Vorgang des Kalibrierens einer gesamten Anzeige zeitaufwendig und umständlich sein. Dies ist besonders wahr, da viele Anzeigen ein periodisches Neukalibrieren erfordern, weil die Leistungsfähigkeit ihrer Projektoren und/oder anderer Hardwareelemente häufig zeitveränderlich ist. Im Hinblick auf diese Tatsachen wäre es wünschenswert, über eine Anzeige zu verfügen, die mit weniger manuelle Eingreifen kalibriert und neukalibriert werden kann, als bei Inova et al. und anderen erforderlich ist.
US 5396257 beschreibt eine Mehrschirmanzeigevorrichtung, bei der durch Kombinieren der Schirme mehrerer Anzeigeeinheiten ein großer Schirm gebildet wird. Videosignaldaten werden korrigiert, damit die Luminanz- oder Farbschattierung einer Anzahl von Regionen aus jeder Anzeigeeinheit gleichförmig erscheint. In JP 07333760 wird ein ähnliches Mehrfachanzeigesystem bereitgestellt, bei dem Helligkeit-, Farb- und Weißabgleichdefekte durch das System korrigiert werden. EP-A-1034663 und EP-A-1039749 beschreiben beide Anzeigen, bei denen zwei oder mehr Projektoren zum Projizieren von Bildern nebeneinander verwendet werden, um so ein größeres sichtbares Bild zu bilden.
KURZE DARSTELLUNG DER ERFINDUNG
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein System zur Steuerung eines Mosaik-Anzeigesystems gemäß Anspruch 1 der angefügten Ansprüche bereitgestellt. Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Steuerung eines Mosaik-Anzeigesystems gemäß Anspruch 3 bereitgestellt.
Die vorliegende Erfindung überwindet viele der Nachteile des Stands der Technik durch Bereitstellung einer Anzeige, die mit wenig oder gar keinem manuellem Eingreifen kalibriert und neukalibriert werden kann. Dazu stellt die vorliegende Erfindung eine oder mehrere Kameras zur Erfassung eines Bildes auf dem Anzeigeschirm bereit. Das resultierende erfaßte Bild wird verarbeitet, um etwaige unerwünschte Eigenschaften, darunter sichtbare Artefakte wie etwa Nähte, Bänder, Ringe, usw., zu identifizieren. Nachdem die unerwünschten Eigenschaften identifiziert wurden, wird eine geeignete Transformationsfunktion bestimmt. Mit der Transformationsfunktion wird das Videoeingangssignal so vorverzerrt, daß die unerwünschten Eigenschaften verringert oder aus der Anzeige beseitigt werden. Die Transformationsfunktion kompensiert vorzugsweise räumliche Ungleichförmigkeit, Farbungleichförmigkeit, Luminanzungleichförmigkeit und/oder andere sichtbare Artefakte.
Bei einem Ausführungsbeispiel wird eine Mosaik- Projektionsanzeige bereitgestellt, die zwei oder mehr in einer Array-Konfiguration angeordnete Projektoren aufweist. Die Projektoren können Projektoren des Direktschreibtyps (z. B. CRT, LCD, DMD, CMOS-LCD) oder beliebige andere Typen sein. Bei einer Anzeige des Mosaiktyps projiziert jeder der Projektoren vorzugsweise separat ein diskretes Bild auf eine Leinwand, wobei die diskreten Bilder zusammen ein zusammengesetztes Bild bilden. Die diskreten Bilder überlappen einander. Dann wird eine Kamera auf die Leinwand gerichtet, um ein Fangbild mindestens eines Teils des zusammengesetzten Bildes zu erfassen. Das Fangbild kann weniger als ein Mosaikelement, etwa ein Mosaikelement, das gesamte zusammengesetzte Bild oder einen beliebigen anderen Teil des zusammengesetzten Bildes, der als erwünscht betrachtet wird, umfassen.
Ein Bestimmungsblock bestimmt dann, ob das Fangbild eine oder mehrere unerwünschte Eigenschaften aufweist. Die unerwünschten Eigenschaften können durch Vergleichen des Fangbilds oder eines Teils davon mit einem vorbestimmten Datensatz bestimmt werden, wie später ausführlicher beschrieben wird. Der Bestimmungsblock wird vorzugsweise in einem Prozessor oder dergleichen bereitgestellt. Bei einem Ausführungsbeispiel ist der Prozessor an einem Ort verankert und versorgt alle Projektoren. Bei einem anderen Ausführungsbeispiel ist die Prozessorfunktion physisch auf die Projektoren verteilt.
Nachdem die unerwünschten Eigenschaften bestimmt wurden, identifiziert ein Identifizierungsblock eine Transformationsfunktion, mit der das Videoeingangssignal verarbeitet werden kann und die verarbeiteten Videoeingangssignale gewählten Projektoren zugeführt werden können, um die unerwünschten Eigenschaften in dem zusammengesetzten Bild zu verringern. Zu den unerwünschten Eigenschaften können räumliche Ungleichförmigkeit, Farbungleich förmigkeit und/oder Luminanzungleichförmigkeit, aber auch andere bekannte Bildartefakte oder -irregularitäten gehören.
Um die räumliche Verzerrung der Projektionsanzeige zu bestimmen, kann gewählten Projektoren ein Eingangsignal zugeführt werden, um eine Anzahl diskreter Bilder zu projizieren, die jeweils ein vorbestimmtes Muster aufweisen. Dann kann man mit der Kameraeinrichtung ein Fangbild mindestens eines Teils der Leinwand erfassen. Mit dem Fangbild kann man die Verzerrung der Projektionsanzeige zum Beispiel durch Vergleichen des Fangbildes mit einem vorbestimmten erwarteten Bild bestimmen. Als Alternative oder zusätzlich kann man die Verzerrungen durch Vergleichen des Orts gewählter Merkmale des vorbestimmten Musters in gewählten sich überlappenden Regionen zwischen Bildern bestimmen. Durch Verwendung einer affinen, perspektivischen, bilinearen, polynomischen, stückweise polynomischen, Global-Spline- oder ähnlichen Technik kann eine Transformationsfunktion bestimmt und auf das Videoeingangssignal angewandt werden, um die räumlichen Verzerrungen jedes Projektors zu kompensieren.
Um die Farb- und Luminanzverzerrung des Projektionssystems zu bestimmen, kann man mehrere Eingangssignale variierender Intensität sequentiell in die Projektionsanzeige eingeben, wobei jedes Eingangssignal einem ebenen Feldbild einer gewählten Farbe entspricht. Zum Beispiel kann ein erstes Eingangssignal einem roten ebenen Feldbild mit einer LCD-Intensität von „255" entsprechen. Das nächste Eingangssignal kann auch einem roten ebenen Feldbild entsprechen, kann aber eine LCD-Intensität von „220" aufweisen. Es können Eingangssignale mit schrittweise niedrigerer Intensität bereitgestellt werden, bis das Eingangssignal eine LCD-Intensität von „0" aufweist. Dieser Vorgang kann sowohl für blaue als auch grüne ebene Feldbilder wiederholt werden. Die Kameraeinrichtung erfaßt vorzugsweise jedes der ebenen Feldbilder entweder als einzelnes Bild, wenn das Sichtfeld der Kameraeinrichtung der gesamten Anzeige entspricht, oder als mehrere Bilder, wenn die Kameraeinrichtung ein kleineres Sichtfeld hat. Die resultierenden Bilder werden vorzugsweise als ein Array von Fangbildern gespeichert. Nach dem Sammeln können die unerwünschten Eigenschaften jedes Fangbildes, einschließlich der Luminanzdome für jeden Projektor, bestimmt werden. Danach kann eine Transformationsfunktion zur Verringerung der Luminanzdome über gewählte Mosaikelemente und zum Angleichen der Helligkeit und Farbe jedes Mosaikelements an benachbarte Mosaikelemente bestimmt werden.
Es wird in Betracht gezogen, daß die Kameraeinrichtung periodisch aktiviert werden kann, um ein neues Fangbild zu erfassen. Der Bestimmungsblock kann dann bestimmen, ob das neuerfaßte Bild eine oder mehrere unerwünschte Eigenschaften aufweist, wie oben beschrieben, und der Identifizierungsblock kann eine neue Transformationsfunktion identifizieren, mit der das Videoeingangssignal verarbeitet werden kann und gewählten Projektoren verarbeitete Videoeingangssignale zugeführt werden können, um die identifizierten unerwünschten Eigenschaften zu verringern. Somit wird in Betracht gezogen, daß die vorliegende Erfindung auch zum periodischen Neukalibrieren der Anzeige mit wenig oder gar keine manuellen Eingreifen verwendet werden kann.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Weitere Aufgaben der vorliegenden Erfindung und viele der einhergehenden Vorteile der vorliegenden Erfindung werden bei Durchsicht der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen besser verständlich. In den Zeichnungen bezeichnen gleiche Bezugszahlen in allen Figuren ähnliche Teile und es zeigen:
1 eine perspektivische Ansicht eines Vier-mal-Sechs-Arrays von Projektoren;
2 eine perspektivische Ansicht eines beispielhaften Projektors von 1;
3 ein Schaltbild einer beispielhaften Ausführungsform der vorliegenden Erfindung, wobei das Sichtfeld der Kamera zwei oder mehr Mosaikelemente umfaßt;
4 ein Blockschaltbild einer beispielhaften Implementierung für den Prozessorblock von 3;
5 ein Schaltbild einer der in 3 gezeigten ähnlichen Ausführungsform, wobei aber das Sichtfeld der Kamera nur etwa ein Mosaikelement umfaßt;
6 ein Schaltbild einer der 3 gezeigten ähnlichen Ausführungsform, wobei die Verarbeitungsfunktion von 3 jedoch auf die Projektoren verteilt ist;
7 ein Blockschaltbild einer weiteren Ausführungsform der vorliegenden Erfindung;
8 ein Flußdiagramm eines beispielhaften Verfahrens zum Kalibrieren einer Anzeige;
9 ein Flußdiagram eines weiteren beispielhaften Verfahrens zum Kalibrieren einer Anzeige und insbesondere einer Mosaikanzeige;
10 ein Flußdiagramm eines weiteren beispielhaften Verfahrens zum Kalibrieren einer Anzeige, bei dem außerdem die durch die Kamera eingeführten Verzerrungen von den durch den Rest der Anzeige eingeführten Verzerrungen unterschieden werden;
11 ein Diagramm eines beispielhaften Musters, das angezeigt und später erfaßt wird, um räumliche Verzerrungen in der Anzeige zu bestimmen;
12 ein Diagramm des beispielhaften Musters von 11, das auf zwei benachbarten und sich überlappenden Mosaikelementen angezeigt wird und auch zum Bestimmen von räumlichen Verzerrungen in der Anzeige dient;
13 ein Diagramm der Funktionsweise einer beispielhaften Transformationsfunktion, mit der die räumlichen Verzerrungen in einer Anzeige durch Bewegen gewählter Merkmale in Richtung einer korrigierenden Stelle verringert werden;
14 ein Diagramm der Funktionsweise einer beispielhaften Transformationsfunktion, mit der die räumlichen Verzerrungen in einer Anzeige verringert werden können, indem gewählte Merkmale in Richtung einer korrigierenden Stelle um eine Distanz bewegt werden, die mit einem relativen Verfahren zusammenhängt, zum Beispiel einem gewichteten Mittelwert, das durch Einschränkungen des zusammengesetzten Bildes oder globale Einschränkungen modifiziert wird;
15 ein Flußdiagramm eines beispielhaften Verfahrens zum mindestens teilweisen Entfernen einer räumlichen Verzerrung aus der Anzeige;
16 ein Flußdiagramm eines beispielhaften Verfahrens zum Identifizieren einer Transformation für eine Mosaikanzeige, um eine räumliche Verzerrung zumindest teilweise aus der Mosaikanzeige zu entfernen;
17 einen Graph der Luminanzdome für einen LCD- Projektor bei verschiedenen Eingangsintensitäten, wobei außerdem gezeigt ist, wie sich die Domformen abhängig von dem Eingangsintensitätspegel ändern;
18 ein Schaltbild der Luminanzdome für drei Mosaik-LCD-Projektoren jeweils bei verschiedenen Eingangsintensitäten; und
19 ein Flußdiagramm eines beispielhaften Verfahrens zum mindestens teilweisen Entfernen einer Luminanzverzerrung aus der Anzeige.
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Die vorliegende Erfindung liefert eine Mosaikanzeige, die mit minimalem manuellem Eingreifen kalibriert und neukalibriert werden kann. Zu diesem Zweck stellt die vorliegende Erfindung eine oder mehrere Kameras zur Erfassung eines Bildes des Anzeigeschirms bereit. Das resultierende erfaßte Bild wird verarbeitet, um etwaige unerwünschte Eigenschaften, darunter sichtbare Artefakte wie etwa Nähte, Bänder, Ringe, usw., zu entfernen. Nachdem die unerwünschten Eigenschaften identifiziert wurden, wird eine geeignete Transformationsfunktion bestimmt. Mit der Transformationsfunktion wird das Videoeingangssignal dergestalt vorverzerrt, daß die unerwünschten Eigenschaften verringert oder aus der Anzeige beseitigt werden. Die Transformationsfunktion kompensiert vorzugsweise räumliche Ungleichförmigkeit, Farbungleichförmigkeit, Luminanzungleichförmigkeit und andere sichtbare Artefakte.
Bei einer beispielhaften Ausführungsform wird eine Mosaikanzeige bereitgestellt, bei der zwei oder mehr Projektoren in einer Arraykonfiguration angeordnet sind. Die Anzeigen können Projektionsanzeigen sein, die CRT, LCD, DMD, CMOS-LCD oder eine beliebige andere Art von Anzeigeeinrichtung verwenden und können Vorder- oder Rückprojektionstypen sein. Bei einer Anzeige des Mosaiktyps wird vorzugsweise ein diskretes Bild von jedem der Projektoren separat auf einer Oberfläche oder einer Leinwand abgebildet oder projiziert, wobei die diskreten Bilder zusammen ein zusammengesetztes Bild bilden. Die diskreten Bilder überlappen sich. Eine solche Konfiguration ist in 1 gezeigt.
2 zeigt einen beispielhaften Projektor 8, der vorzugsweise eine digitale Mikrospiegeleinrichtung (DMD) 10 verwendet. DMD-Einrichtungen enthalten in der Regel ein Array elektronisch adressierbarer beweglicher quadratischer Spiegel, die elektrostatisch abgelenkt werden, um Licht zu reflektieren. Die Verwendung einer DMD-Einrichtung kann eine leichte, zuverlässige digitale Anzeige mit großem Sichtwinkel und guter Bildklarheit bereitstellen. Außerdem erfüllen bestimmte DMD-Einrichtungen verschiedene Umwelt- und Belastungsanforderungen gemäß MIL-STD-810 und können Farbgrafik, Text und Videodaten mit verschiedenen Einzelbildraten anzeigen.
Der Projektor 8 enthält außerdem vorzugsweise verschiedene optische Elemente zur ordnungsgemäßen Präparierung der ankommenden Beleuchtungen, zum Beleuchten der DMD 10 und zum Projizieren des abgehenden Bildes. Wie in 2 gezeigt, kann der optische Weg zwei Segmente enthalten: den Beleuchtungsweg 12 und den Projektionsweg 14. Der optische Weg kann mit einer hochzuverlässigen Metallhalogenidkurzbogenlampe 16, die die DMD 10 beleuchtet, beginnen. Das Licht aus der Bogenlampe 16 wird durch ein rotierendes RGB-Farbfilterrad 18 geleitet. Eine Beleuchtungsrelaislinse vergrößert den Strahl, um die DMD 10 zu beleuchten und ein telezentrisches Bild an der DMD 10 zu bilden. Ein Prisma mit totaler interner Reflexion (TIR) 20 läßt das ankommende Licht aus der Lampe auf die DMD 10 und zurück in die Projektionsoptik. Abhängig von dem Drehungszustand (z. B. ± 10 Grad für Ein/Aus) jedes Spiegels auf der DMD wird das Licht aus der DMD 10 in die Pupille der Projektionslinse (Ein) oder von der Pupille der Projektionslinse weg (Aus) gerichtet. Eine Mehrelementprojektionszelle vergrößert das von der DMD 10 kommende Licht mit dem gewünschten MTF, der gewünschten seitlichen Farbe und Verzerrung.
Jeder Projektor 8 kann außerdem ein (nicht explizit gezeigtes) Elektronikmodul enthalten. Das Elektronikmodul kann die ankommenden Datensignale annehmen, die zeitlichen Signale in räumliche Darstellungen auf der DMD 10 umsetzen und das Filter 18, das die sequentielle Farbe für die Anzeige liefert, steuern. Wie später beschrieben wird, kann die Elektronik modular sein, so daß eine beliebige Anzahl von Projektoren zu einer Mosaik-Anordnung zusammengefügt werden können. Ferner können gegebenenfalls Mosaikalgorithmen in die Elektronik integriert werden, um „intelligente" Projektoren zu ermöglichen. Dadurch kann sich die Elektronik jedes Projektors automatisch oder manuell mit nur wenig oder keinem mannellen Eingriff durch den Benutzer an eine beliebige Konfiguration von Projektoren anpassen.
3 ist ein Schaltbild einer beispielhaften Ausführungsform der vorliegenden Erfindung, wobei das Sichtfeld der Kamera zwei oder mehr Mosaikelemente umfaßt. Das System ist allgemein bei 50 gezeigt und enthält einen Prozessor 52, eine erste Anzeige, die ein Projektor 54 sein kann, eine zweite Anzeige, die ein Projektor 56 sein kann, eine Betrachtungsoberfläche oder -Leinwand 58 und eine Kamera 62. Zur Veranschaulichung wird die Anzeige als ein Projektor beschrieben. Der erste und der zweite Projektor projizieren jeweils wie gezeigt ein diskretes Bild auf die Leinwand 58. Die diskreten Bilder überlappen sich und können ein zusammengesetztes Bild auf der Leinwand 58 bilden.
Der Prozessor 52 empfängt einen Videoeingangsstrom 66. Da jeder der Projektoren 54 und 56 einen Teil des gewünschten zusammengesetzten Bildes projiziert, segmentiert der Prozessor 58 vorzugsweise den Videoeingangsstrom 66 zu einem ersten Videoeingangssignal 72 und einem zweiten Videoeingangssignal 74. Bei der beispielhaften Ausführungsform segmentiert der Prozessor 52 den Videoeingangsstrom dergestalt, daß Überlappungen zwischen benachbarten diskreten Bildern, zum Beispiel die Überlappung 60, auf in der Technik bekannte Weise berücksichtigt werden.
Der Videoeingangsstrom 66 kann aus einer beliebigen Anzahl von Quellen bereitgestellt werden und kann ein NTSC-, ein PAL-, ein HDTV-, ein Workstation- oder ein PC-Videosignal sein. Diese Signaltypen sind zum Beispiel mit den Richtlinien und Spezifikationen RS-170 oder RS-343 kompatibel, oder neuerdings mit den VESA-Videosignalstandards und -Richtlinien. Die Signale können Horizontal- und Vertikal-synchron- und Austastinformationen zusätzlich zu dem aktiven Videosignal enthalten, womit das Ausgangsbild aufgebaut wird. Die Synchronsignale können von dem Prozessor 52 zum Ableiten eines System- und/oder Videoabtasttakts verwendet werden, insbesondere falls ein analoges Eingangssignal digitalisiert werden muß.
Die Kamera 62 ist wie gezeigt auf die Leinwand 58 gerichtet und führt dem Prozessor 52 über die Schnittstelle 64 ein Kameraausgangssignal zu. Die Kamera 62 kann ein Sichtfeld aufweisen, das ausreicht, um ein Fangbild mindestens eines Teils des zusammengesetzten Bildes zu erfassen. Es wird in Betracht gezogen, daß das Sichtfeld nur 1% des zusammengesetzten Bildes, 50% des zusammengesetzten Bildes, das gesamte zusammengesetzte Bild oder einen beliebigen anderen Teil des zusammengesetzten Bildes, der als erwünscht angesehen wird, umfassen kann. Bei einer Mosaikanzeige kann dies nur einem Teil eines Mosaikelements, mehr als einem Mosaikelement oder allen Mosaikelementen entsprechen. Wenn das Sichtfeld der Kamera nicht die gesamte Anzeige umfaßt, kann es notwendig sein, separat ein Fangbild jedes Teils der Anzeige zu erfassen und dann die Ergebnisse in einem Hintergrund- oder Echtzeitmodus zusammenzustellen, um über alle Mosaikelemente hinweg eine kalibrierte Anzeige zu erreichen.
Bei der gezeigten Ausführungsform hat die Kamera 62 ein Sichtfeld, das ausreicht, um die diskreten Bilder zu umfassen, die von dem ersten Projektor 54 und dem zweiten Projektor 56 bereitgestellt werden. Das Fangbild wird über die Schnittstelle 64 als Rückkopplungsbild dem Prozessor 52 zugeführt. Ein in dem Prozessor 52 bereitgestellter Bestimmungsblock kann bestimmen, ob das Fangbild eine oder mehrere unerwünschte Eigenschaften aufweist. Vorzugsweise bestimmt man die unerwünschten Eigenschaften durch Vergleichen des Fangbildes oder eines Teils davon mit einem vorbestimmten Daten- und Informationssatz, wie später ausführlicher beschrieben wird.
Nachdem die unerwünschten Eigenschaften bestimmt wurden, identifiziert ein Identifizierungsblock vorzugsweise in dem Prozessor 52 eine Transformationsfunktion, mit der der Videoeingangsstrom 66 verarbeitet und den Projektoren 54 und 56 verarbeitete Videoeingangssignale zugeführt werden können, die die unerwünschten Eigenschaften in dem zusammengesetzten Bild verringern. Zu den unerwünschten Eigenschaften können räumliche Ungleichförmigkeit, Farbungleichförmigkeit und/oder Luminanzungleichförmigkeit, aber auch andere bekannte Bildartefakte oder – irregularitäten gehören.
Es wird in Betracht gezogen, daß die Projektionsanzeige eine Vorder- oder Rückprojektionsanzeige sein kann und die Kamera 62 kann vor und/oder hinter der Leinwand positioniert sein. Bei einer zweiten beispielhaften Ausführungsform ist die Mosaik-Projektionsanzeige eine Rückprojektionsanzeige mit einem Array von Mosaik-Projektoren des LCD-Typs, wobei jeder Projektor ein diskretes Bild auf die Rückseite einer durchlässigen Leinwand 58 projiziert. Die durchlässige Leinwand 58 wird von der Vorderseite aus betrachtet und mit der Kamera 62 wird ein Fangbild mindestens eines Teils der Leinwand 58 von der Vorderseite aus erfaßt.
Es wird in Betracht gezogen, daß die Kamera 62 eine elektronische Standbild- oder Videokamera ist oder eine äquivalente Kombination von Komponenten aufweist, die die Szene auf Mehrpunktweise erfassen und eine elektronische Darstellung des Bildes an den Prozessor 52 abliefern. Bei der bevorzugten Ausführungsform ist die Kamera 62 eine CCD- oder CMOS-Kamera, und zwar entweder eine Farbkamera (z. B. Mehrpunktkalorimeter) oder eine Monochromkamera. Die Kamera 62 enthält vorzugsweise ein fotopisches Filter, wodurch die Kamera 62 das Ausgangsbild auf eine Weise messen kann, die mit dem menschlichen Sehen vereinbar ist. Somit werden Rauschen und Fehler der Luminanz und Chromatizität auf eine Weise gemessen, die der Art und Weise der Erkennung solcher Anomalien durch das Auge ähnlich ist. Das Bild kann ein Schnappschuß sein, der über einen kurzen Moment (z. B. weniger als 60 Millisekunden) oder über eine längere Belichtungszeit (z. B. in der Größenordnung einer Sekunde) genommen wird.
Bei einer bevorzugten Ausführungsform kann die Kamera 62 eine herkömmliche Kameraeinrichtung sein, wie z. B. eine Videominiaturkamera, die ein analoges Ausgangssignal erzeugt. Das analoge Ausgangssignal wird digitalisiert und durch einen Frame-Grabber oder dergleichen in dem Prozessor 52 erfaßt. Nach der Digitalisierung kann das Fangbild gespeichert und unter Verwendung digitaler Verarbeitungstechniken verarbeitet werden. Um zu bestimmen, ob das Fangbild etwaige unerwünschte Eigenschaften aufweist, kann das Fangbild mit einem vorbestimmten Daten- oder Informationssatz verglichen werden. Als erstes können jedoch die durch die Kamera 62 und zugeordnete Verarbeitungshardware eingeführten Verzerrungen bestimmt und entfernt werden.
Um die Kameraverzerrungen zu isolieren, wird in Betracht gezogen, daß wie gezeigt eine physische Schablone 68 vor der Leinwand 58 bereitgestellt wird. Auf der physischen Schablone 68 befindet sich vorzugsweise ein vorbestimmtes Muster, wie zum Beispiel ein Punktarray. Wenn die physische Schablone 68 an Ort und Stelle ist, kann die Kamera 62 ein Fangbild mindestens eines Teils der physischen Schablone 68, der einen Teil des vorbestimmten Musters enthält, erfassen. Durch Vergleichen des Fangbildes mit einem vorbestimmten erwarteten Bild und insbesondere Vergleichen des Orts der Punkte des vorbestimmten Musters in dem Fangbild mit den erwarteten Orten jedes der Punkte können die Verzerrungen der Kamera und zugeordneten Hardware bestimmt werden. Durch Verwendung der Abweichung von den erwarteten Orten kann eine Transformationsfunktion bestimmt und auf den Videoeingangsstrom 66 angewandt werden, um die Kameraverzerrungen zu kompensieren.
Nachdem die Kameraverzerrungen bestimmt wurden, kann die physische Schablone 68 entfernt werden und die Verzerrungen der Anzeige selbst können bestimmt werden. Die Anzeige kann mehrere Arten von Verzerrungen aufweisen, darunter räumliche Verzerrungen, Farbverzerrungen, Luminanzverzerrungen usw. Um die räumlichen Verzerrungen der Projektionsanzeige zu bestimmen, kann zum Beispiel gewählten Projektoren 54 und 56 ein Eingangssignal zugeführt werden, um mehrere diskrete Bilder zu projizieren, die jeweils ein vorbestimmtes oder bekanntes Muster aufweisen. Dann kann man mit der Kamera 62 ein Fangbild mindestens eines Teils der Leinwand 58 erfassen. Unter Verwendung des Fangbildes kann man die Verzerrungen der Projektionsanzeige zum Beispiel durch Vergleichen des Fangbildes mit einem vorbestimmten und/oder erwarteten Bild bestimmen. Als Alternative oder zusätzlich kann man die Verzerrungen durch Vergleichen des Orts gewählter Merkmale des vorbestimmten Musters in gewählten sich überlappenden Regionen 60 zwischen Bildern bestimmen. Durch Verwenden einer affinen, perspektivischen, bilinearen, polynomischen, stückweise polynomischen, Global-Spline- oder ähnlichen Technik kann man eine Transformationsfunktion bestimmen und auf den Videoeingangsstrom 66 anwenden, um die räumlichen Verzerrungen der Projektoren 54 und 56 zu kompensieren. Vorzugsweise werden die durch die Kamera 62 eingeführten Verzerrungen wie oben beschrieben aus dem Fangbild entfernt, bevor die Verzerrungen des Projektionssystems bestimmt werden.
Um die Farb- und Luminanzverzerrungen des Projektionssystems zu bestimmen, kann man mehrere Eingangssignale variierender Intensität sequentiell in die Projektionsanzeige eingeben, wobei jedes Eingangssignal einem ebenen Feldbild einer gewählten Farbe entspricht. Zum Beispiel kann ein erstes Eingangssignal einem roten enenen Feldbild mit einer LCD-Eingangsintensität von „255" oder dem hellsten Eingangswert entsprechen. Das nächste Eingangssignal kann ebenfalls einem roten ebenen Feldbild entsprechen, kann aber eine dunklere LCD-Eingangsintensität von „220" aufweisen. Es können Eingangssignale mit schrittweise niedrigerer Intensität bereitgestellt werden, bis das Eingangssignal eine LCD-Eingangsintensität von „0" oder Schwarz, dem dunkelsten Eingangswert, aufweist. Diese Eingangssignale können insbesondere, wenn das Eingangssignal kein digital gemessener Wert, sondern eine analoge Spannung ist, als helle bis dunkle Äquivalente ausgedrückt werden. Dieser Vorgang kann sowohl für blaue als auch grüne gleichförmige Feldbilder wiederholt werden. Die Kamera 62 erfaßt vorzugsweise jedes der ebenen Feldbilder entweder als einen einzigen Bildschnappschuß, der periodisch genommen wird, wenn das Sichtfeld der Kamera 62 der gesamten Anzeige entspricht, oder als mehrere Bilder, wenn die Kameraeinrichtung ein kleineres Sichtfeld aufweist. Die resultierenden Bilder werden vorzugsweise als ein Array von Fangbildern oder komprimierter Versionen davon in einem Speicher in dem Prozessorblock 52 gespeichert. Nach der Sammlung können die unerwünschten Eigenschaften jedes Fangbildes bestimmt werden, darunter die entsprechende Farbe und Eingangsintensitätsvariationsluminanzdome jedes Projektors 54 und 56.
Nachdem die Luminanzdome identifiziert wurden, kann sowohl für Farbe als auch Intensität über die gesamte Anzeige hinweg ein oberer und unterer Grenzwert bestimmt werden. Zum Beispiel kann ein Projektor heller als ein anderer sein, obwohl alle mit einer maximalen Intensität (z. B. LCD „255") angesteuert werden, und die von jedem Projektor gelieferte Helligkeit kann in der Nähe der Ränder des Bildes abnehmen. Folglich kann ein oberer Grenzwert so gewählt werden, daß er mit dem dunkelsten Überlagerungsergebnis aller Mosaikelemente übereinstimmt, wenn alle Projektoren mit maximaler Intensität betrieben werden. Ähnlich kann man einen unteren Grenzwert so wählen, daß er mit dem hellsten Überlagerungsergebnis übereinstimmt, wenn alle Projektoren mit einer minimalen Intensität (LCD „0") betrieben werden.
Danach kann eine Transformationsfunktion zur Verringerung der Luminanzdome über gewählte Mosaikelemente hinweg und zum Angleichen der Helligkeit und Farbe jedes Mosaikelements an benachbarte Mosaikelemente bestimmt werden. Die Transformationsfunktion kann zum Beispiel durch eine Farbnachschlagetabelle erfaßter oder komprimierter Farbdome, eine Funktion zur Erkennung des nächsten Nachbarn und Identifikation und eine Interpolationsfunktion zwischen den nächsten Nachbarn dargestellt werden, um den Eingangspegel zu bestimmen, der in der Anzeige notwendig ist, um den gewünschten linearen Ausgangspegel auszugeben.
Bei einer Ausführungsform bewirkt die Transformationsfunktion, daß die Luminanzschwankung über die gesamte Anzeige hinweg weniger als etwa zwei Prozent beträgt, also weniger als eine gerade wahrnehmbare Differenz (JND) gemäß dem Weberschen Gesetz. Um dabei zu helfen, diesen Grad an Luminanzgleichförmigkeit zu erzielen, ist die Transformationsfunktion vorzugsweise eine Funktion des X- und des Y-Orts auf der Anzeige, und für bestimmte Bildquellentechnologien wie zum Beispiel Polysilizium-LCDs, des LCD-Eingangsintensitätswerts. Vorzugsweise werden die Schwankungen über die Anzeige hinweg gemäß der Kontrastmodulationsempfindlichkeitskurve des menschlichen Sehens auf weniger als einer JND gehalten. Diese Kurve läßt als Funktion der räumlichen Frequenz mehr oder weniger Schwankungen zu.
Es wird in Betracht gezogen, daß die Verzerrungen des Systems direkt aus auf die Anzeige projizierten Mustern bestimmt werden. Für eine Mosaikanzeige mit sich überlappenden diskreten Bildern kann in einer gewählten Überlappungsregion ein erstes Merkmal identifiziert werden, wobei das erste Merkmal durch einen ersten Projektor projiziert wird. Dann kann man in derselben gewählten Überlappungsregion ein zweites Merkmal identifizieren, wobei das zweite Merkmal durch einen zweiten Projektor projiziert wird und das zweite Merkmal dem ersten Merkmal entspricht. Die räumliche Beziehung zwischen dem ersten und dem zweiten Merkmal kann dann bestimmt werden und es kann daraus eine erste Transformationsfunktion für den ersten Projektor identifiziert werden. Ähnlich kann eine zweite Transformationsfunktion für den zweiten Projektor identifiziert werden. Dies wird später mit Bezug auf 12–14 weiter besprochen.
Als letztes wird in Betracht gezogen, daß die Kamera 62 periodisch aktiviert werden kann, um ein neues Fangbild zu erfassen. Der Bestimmungsblock in dem Prozessor 52 kann bestimmen, ob das neuerfaßte Bild eine oder mehrere unerwünschte Eigenschaften aufweist, und der Identifizierungsblock des Prozessors 52 kann eine neue Transformationsfunktion identifizieren, mit der der Videoeingangsstrom 66 verarbeitet werden kann und den Projektoren 54 und 56 verarbeitete Videoeingangssignale zugeführt werden können, um die identifizierten unerwünschten Eigenschaften zu verringern. Somit wird in Betracht gezogen, daß die vorliegende Erfindung zum periodischen Neukalibrieren der Anzeige mit wenig oder gar keinem manuellem Eingriff verwendet werden kann. Die Periode der Neukalibrierung kann je nach Anforderung durch die Betriebsumgebung vergrößert oder verkleinert werden. Zum Beispiel kann sie mit einer Rate von 60 Hz geschehen, um Effekte in einer stark vibrierenden Umgebung zu negieren. In einer gutartigen Umgebung, wie zum Beispiel einer Privatwohnung, kann die Periode auf 0,001 Hz oder weniger reduziert werden.
Außerdem wird in Betracht gezogen, daß der Prozessor 52 Logik für eingebaute Tests enthält. Die Logik für eingebaute Tests kann periodisch erkennen, ob ein Teil der Anzeige ausgefallen ist, und, wenn dem so ist, den Ausfall durch entsprechendes Neukalibrieren des Anzeigesystems korrigieren. Dies ist besonders nützlich, wenn sich die diskreten Bilder um etwa 50% oder mehr überlappen. Der Wert von 50% grenzt als ein Beispiel eine Packungsanordnung ab, die vollständig redundant ist, was zu signifikanten Ausfallbetriebsfähigkeitssystemattributen führt. Ausfallbetriebsfähigkeit bedeutet, daß eine Komponente ausfallen kann, aber das System weiter völlig funktionsfähig ist. Bei einer Überlappung von 50% ist, wenn ein Projektor ausfällt, mindestens ein weiterer bereit, die Leere zu füllen, was zu signifikanten Systemzuverlässigkeitsgewinnen führt.
Um Speicherkosten zu sparen, werden die hier beschriebenen Transformationsfunktionen und erweiterten Merkmale, Informations- und Datensätze vorzugsweise als eine Anzahl reduzierter Informationssätze, wie zum Beispiel als affine Transformations- oder Vorwärtsdifferenzierungskoeffizienten oder Kompressionskoeffizienten wie die in den Spezifikationen JPEG oder MPEG empfohlenen repräsentiert und gespeichert. Zur Rekonstruktion der entsprechenden Korrekturfaktoren für einen beliebigen Ort unter den ausgewählten Punkten (siehe 11 unten) kann dann eine Interpolation oder dergleichen verwendet werden.
4 ist ein Blockschaltbild einer beispielhaften Implementierung für den Prozessorblock 52 von 3. Bei dieser beispielhaften Ausführungsform enthält der Prozessorblock 52 einen ersten Subverarbeitungsblock 80 zur Versorgung des ersten Projektors 54 und einen zweiten Subverarbeitungsblock 82 zur Versorgung des zweiten Projektors 56. Ein Eingangsvideosegmentiererblock 84 segmentiert den Videoeingangsstrom 66 und führt dem ersten Subverarbeitungsblock 80 und dem zweiten Subverarbeitungsblock 82 ein entsprechendes segmentiertes Videoeingangssignal zu.
Ein Digitalisierer- und Bildspeicherblock 86 empfängt das analoge Videosignal 64 aus der Kamera 62 und setzt es in digitale Form um (in der Regel einen 8-Bit-Wert für Rot und einen 8-Bit-Wert für Grün und einen weiteren für Blau). Das Ausgangssignal der Kamera 62 kann ein Monochromsignal oder ein Farbsignal sein. Wenn das Ausgangssignal der Kamera 62 monochrom ist, können die Testbilder separater Rot-, Grün- und Blauwerte durch den Projektor von Zeit zu Zeit gezeigt und separat oder als Kombination durch die Kamera in Kombination mit dem Digitalisierer- und Bildspeicherblock 86 erfaßt werden. Die Digitalisierungsfunktion muß nicht innerhalb der physischen Schranken des Prozessors verankert sein. Stattdessen kann sie Teil der Kamera selbst sein. Dasselbe gilt für den Bildspeicher. Diese (88, 64 und 86), die vorzugsweise in die Vorrichtung einer CMOS-Kamera implementiert sind, können außerdem in der Hardware des Subprozessorblocks 80 eingebettet sein. Außerdem können sie alle in eine CMOS-LCD-Abbildungseinrichtung eingebettet werden, um den höchsten Integrationsgrad zu erzielen.
Da die Kamera 62 ein Bild erfaßt, das beiden Projektoren 54 und 56 entspricht (siehe 3), kann ein Kamerasegmentiererblock 88 vorgesehen werden, um das Fangbild zu segmentieren, und führt dem ersten und dem zweiten Subverarbeitungsblock 80 und 82 die entsprechenden Teile davon zu.
Der erste Subverarbeitungsblock 80 hat vorzugsweise Zugang zu den erfaßten und idealen Bildern des ersten Projektors 54 und der benachbarten Projektoren, einschließlich des zweiten Projektors 56. Das Fangbild oder mindestens der entsprechende Teil davon wird durch den ersten Subverarbeitungsblock 80 analysiert. Zur räumlichen Kompensation können mehrere Merkmale aus dem Bild extrahiert werden, darunter z. B. das Suchen, Erkennen, Identifizieren und Extrahieren von Ankerpunkten in dem Bild. Die Ankerpunkte können zum Beispiel Merkmale in einem vorbestimmten Muster (z. B. einem Punktarray) sein oder können aus dem Standardvideoeingangssignal deduziert werden, indem abgeleitet wird, welche Merkmale in dem Eingangsbild, die stochastisch trennbar und eindeutig identifizierbar sind. Zur Farbkompensation kann der Projektor bzw. können die Projektoren, der bzw. die geprüft werden, eine Reihe von Bildern auf die Leinwand projizieren, deren Intensität für Rot, Grün und Blau getrennt von LCD „0" bis LCD „255" reicht. Die Kamera 62 kann ein Farb- oder Monochrombild jedes der Bilder auf der Leinwand erfassen. Diese Fangbilder werden in dem Referenzbilder- und Datenblock 90, der unter Verwendung von Speichermedien implementiert wird, vorzugsweise als ein Array gespeichert. Ferner können die Rot-, Grün- und Blaukompensationsinformationen beim ersten Einrichten erhalten und zum Beispiel durch Skalieren in Echtzeit oder periodisch korrigiert werden. Das heißt, daß das Videoeingangssignal zum Verändern bekannter detaillierter Kompensationsdaten verwendet werden kann, wodurch vorzugsweise die Notwendigkeit, Testbilder anzulegen, um zu erfahren, welche Kompensation über die Zeit und Bedingungen hinweg angewandt werden muß, umgangen wird.
Außerdem können die Vignettierungsaspekte der Kameralinsenapertur und -baugruppe erfaßt und in das Ergebnis aufgenommen werden. Der Vignettenaspekt der Kamera kann vorzeitig gemessen werden, indem ein weißes Feldbild verwendet wird, das durch ein gleichförmig beleuchtetes weißes Feldbild bereitgestellt wird und als a-priori-Informationen abgespeichert werden kann. Diese Informationen können außerdem in komprimierter Form in dem Referenzbilder- und Datenblock 90 gespeichert werden.
Die Referenz- und gemessenen Bilder werden in dem Blockrücktransformationskalkulator 100 verglichen. Die verschiedenen Testbilder, darunter räumliche und Farbe, werden in diesem Block analysiert. Vorzugsweise unter Verwendung von Varianten von Filter-, Schwellen-, Linearitätskorrektur- und Gammakorrekturverfahren werden betreffende und relevante Merkmale automatisch extrahiert. Um räumliche Kompensation zu erhalten, kann zum Beispiel die affine, perspektivische, bilineare, polynomische, stückweise polynomische oder Global- Spline-Transformation berechnet werden, indem die Merkmale gemessener räumlicher Testmuster mit verankerten Referenztestbildmerkmalen verglichen werden. Für Farbinformationen können Gamma, Verstärkung und Offset der Kamera, des Digitalisierers und der Projektoren extrahiert werden. Diese und damit zusammenhängende Merkmale werden kategorisiert und gelöst, um eine Menge räumlicher und Farbkompensationstransformationskoeffizienten zu erzeugen.
Die in der Regel in einem Nicht-Echtzeit-Modus berechneten Transformationskoeffizienten werden in den Echtzeit-Verzerrer- und Farbmischerblock 102 geladen. Dieser Block setzt die Koeffizienten in schnelle Echtzeit-Kompensationssignale um, die dem ersten Projektor 52 zugeführt werden. Das transformierte Videosignal 72 ist vorzugsweise eine vorverzerrte Version des Videoeingangsstroms 66. Die Vorverzerrung kann lokal oder global in bezug auf das Mosaikelement und seine Nachbarn erfolgen. Die Vorverzerrung kann in der Farb- und Raum- oder einer anderen Artefaktdimension (zum Beispiel Zeittrennung) so angewandt werden, daß, wenn das transformierte Videosignal 72 durch das Projektor-Leinwand-System geleitet wird, das Ausgangsbild räumlich-zeitlich und farbausgerichtet mit wenigen oder keinen sichtbaren Artefakten herauskommt.
Der Echtzeit-Verzerrer- und Farbmischerblock 102 kann unter Verwendung einer Kombination standardmäßiger Verarbeitungskomponenten implementiert werden, darunter schnelle Nachschlagetabellen, schnelle digitale Signalprozessoren, Bildspeicher, X-, Y-Positionszähler, Einrichtungen zur bilinearen Interpolation und/oder Weiterleitungsdifferenzierungs-Engines (die zum Beispiel aus Koeffizientenregistern, Addierern und Haltespeichern bestehen).
Es wird in Betracht gezogen, daß die Ausrichtung auf relative oder absolute Weise implementiert werden kann. Wenn die Ausrichtung zum Beispiel mit Bezug auf eine physische Schablone erfolgt, kann dies als eine absolute Ausrichtung betrachtet werden. Wenn dagegen keine physische Schablone verwendet wird und das Verhalten der Mosaikelemente relativ zu Attributen von benachbarten Mosaikelementen charakterisiert wird, kann dies als eine relative Ausrichtung betrachtet werden.
Der zweite Subprozessorblock 82 kann auf ähnliche Weise konstruiert werden. Da bei bestimmten Anwendungen die Berechnung einer Transformationsfunktion für ein Mosaikelement von den Informationen und der Transformationsfunktion eines anderen Mosaikelements abhängen kann, wird in Betracht gezogen, daß zwischen dem ersten und dem zweiten Subprozessorblock 80 und 82 eine Schnittstelle 106 vorgesehen wird. Diese Schnittstelle kann es dem ersten Subverarbeitungsblock 80 erlauben, mit dem zweiten Subverarbeitungsblock zu kommunizieren. Obwohl der Prozessorblock 52 mit zwei getrennten Subverarbeitungsblöcken 80 und 82 gezeigt ist, werden beliebig viele andere Implementierungen in Betracht gezogen. Zum Beispiel kann der Prozessorblock 52 als ein entsprechend programmierter Vielzweckmikroprozessor, ein entsprechend programmierter digitaler Signalprozessor oder als eine beliebige andere Implementierung implementiert werden, solange dasselbe oder ein ähnliches Ergebnis erreicht wird.
5 ist ein Schaltbild einer der in 3 gezeigten ähnlichen Ausführungsform, wobei bei dieser Ausführungsform die Kamera 120 jedoch ein Sichtfeld aufweist, das nur etwa ein Mosaikelement umfaßt. Bei dieser Konfiguration kann die Kamera 120 eine Reihe von Bildern erfassen, und ihr Ausgangssignal wird zur Bestimmung einer Transformationsfunktion für den zweiten Projektor 56 wie oben beschrieben verwendet. Danach kann die Kamera 120 oder ihr Sichtfeld zum Beispiel mit einem Ablenkspiegel bewegt werden, so daß das Sichtfeld der Kamera 120 das diskrete Bild für den ersten Projektor 54 umfaßt, wie bei 122 gezeigt. Dann kann die Kamera 120 wie oben beschrieben eine Reihe von Bildern erfassen, und mit ihrem Ausgangssignal kann eine Transformationsfunktion für den ersten Projektor 54 bestimmt werden. Dies kann solange wiederholt werden, bis für jeden Projektor in der Anzeige eine Transformationsfunktion bestimmt werden kann.
6 ist ein Schaltbild einer der in 3 gezeigten ähnlichen Ausführungsform, wobei die Verarbeitungsfunktion jedoch auf die Projektoren verteilt ist. Folglich sind dem ersten Projektor 54 und dem zweiten Projektor 56 jeweils ein Prozessorblock 130 bzw. 132 zugeordnet.
Außerdem ist eine E/A zwischen Prozessoren vorgesehen. Diese E/A-Kanäle können als Videokanäle, parallele und/oder serielle Datenbusübertragungsleitungen oder eine beliebige andere Art von Kommunikationsstrecke, darunter Array-Positionscodierer oder andere Array-Signaturmittel, implementiert werden. Mit der bereitgestellten E/A-Funktion können die Prozessoren 130 und 132 ein verteiltes Prozessorarray bilden, wodurch potentiell ein zentraler Exekutivprozessor unnötig wird. Bei einer Ausführungsform kann der Prozessor 130 eine globale Exekutivfunktion annehmen, der Prozessor 132 die Funktion eines Farbmischkalkulators, während ein weiterer (nicht gezeigt) die Funktion eines Kalkulators für räumliche Verzerrung annehmen kann und ein weiterer die Funktion eines Überwachers für eingebauten Test usw. Vorzugsweise wendet jeder Prozessor dieselbe Art von entsprechender Transformation auf den entsprechenden Teil des Videoeingangsstroms an, um einen. Echtzeit-Transformationsprozeß zu erzielen. Obwohl ein Exekutivprozessor nicht ausgeschlossen wird, erlaubt es die E/A 134 zwischen Prozessoren jedem Mosaikcluster von Betriebsmitteln, in einen Dialog mit seinen Nachbarn zu treten. Dies kann als eine lokale und globale Anordnung von Informationen, einschließlich Bildmessung und Systemkompensation, implementiert werden. Die Funktion des Prozessorarrays kann den Ort jedes Mosaikelements und die benachbarten Mosaikelemente identifizieren und die Ergebnisse, einschließlich gewählter benachbarter Ergebnisse, analysieren. Folglich kann eine beliebige Anzahl und Konfiguration von Mosaikelementen bereitgestellt werden, wodurch die Mosaik-Module transparent durch den Benutzer hinzugefügt oder abgezogen werden können.
7 ist ein Blockschaltbild einer weiteren Ausführungsform der vorliegenden Erfindung. Ein Eingangsbildsignal 140 wird einer Kompensationseinrichtung 142 zugeführt und dort in ein Referenzsignalbild umgesetzt oder als solches verwendet. Hierbei können Merkmale aus dem Eingangsbild extrahiert oder im Fall einer Kalbrationsschablone unverändert verwendet werden. Dort wird das Eingangssignal zu einem Videotreiberblock 144 durchgeroutet. Das Signal wird dann einem LCD-Treiber (Liquid Crystal Display) 146 zugeführt. Der LCD-Treiber setzt das Eingangssignal, so wie es erforderlich ist, um die konkrete Anzeigeeinrichtung anzusteuern, in in der Technik bekannte spezielle Signale um. Die Verwendung einer LCD-Anzeige ist lediglich ein Beispiel. Es wird in Betracht gezogen, daß die Anzeigeeinrichtung eine DMD-, ferroelektrische, CRT- oder beliebige Art von elektronischer Anzeige sein könnte.
Bei dem gezeigten Beispiel gibt der Projektor 148 ein Bildsignal als moduliertes Licht, das ein betrachtbares Bild auf der Leinwand 150 erzeugt, aus. Dort wird das Bild von der Kamera 152 gesehen, die das Bild in ein elektronisches Signal umsetzt. In jeder dieser Stufen können Verzerrungen in den Signalstrom eingeführt werden, und dies ist in der Regel der Fall. Das von der Kamera erzeugte Signal wird dann durch den Datenübersetzungsdigitalisiererblock 154 digitalisiert, in eine Bilddarstellung umgesetzt und mit dem Referenzsignalbild verglichen. Der Vergleich erfolgt vorzugsweise im Hinblick auf räumliche und Farbbildattribute.
Danach wird eine Transformation erzeugt, die der Verzerrung des Systems entspricht. Um die räumliche Verzerrung zu charakterisieren, wird ein 81-Punkt-Testmuster bereitgestellt (siehe zum Beispiel 11 und 12). Mit dem 81-Punkt-Testmuster werden ein Satz globaler Transformationskoeffizienten oder verschiedene Sätze lokaler Transformationskoeffizienten erzeugt. Die Modelle für die räumliche Verzerrung eines Mosaikelements enthalten zum Beispiel die affinen, perspektivischen, bilinearen, polynomischen, stückweise polynomischen und Global-Spline-Transformationen.
Gemäß dem obigen zeigt 8 ein Flußdiagramm eines beispielhaften Verfahrens zum Kalibrieren einer Anzeige. Der Algorithmus beginnt im Element 200 und die Steuerung wird an das Element 202 abgegeben. Das Element 202 erfaßt ein Fangbild mindestens eines Teils des zusammengesetzten Bildes auf einer Leinwand. Dann wird die Steuerung an das Element 204 abgegeben. Das Element 204 bestimmt, ob das Fangbild eine oder mehrere unerwünschte Eigenschaften aufweist. Dann wird die Steuerung an das Element 206 abgegeben. Das Element 206 identifiziert eine Transformationsfunktion, mit der ein Videoeingangssignal verarbeitet und gewählten Projektoren ein verarbeitetes Videoeingangssignal zugeführt werden kann, um die unerwünschten Eigenschaften zu reduzieren. Dann wird die Steuerung an das Element 208 abgegeben, in dem der Algorithmus endet.
9 ist ein Flußdiagramm eines weiteren beispielhaften Verfahrens zum Kalibrieren einer Anzeige und insbesondere einer Mosaikanzeige. Der Algorithmus beginnt im Element 220, in dem die Steuerung an das Element 222 abgegeben wird. Das Element 222 segmentiert das Videoeingangssignal, um einen Teil zu identifizieren, der jedem Mosaikelement einer Mosaikanzeige entspricht. Dann wird die Steuerung an das Element 224 abgegeben. Das Element 224 wählt ein erstes/nächstes Mosaikelement. Dann wird die Steuerung an das Element 226 abgegeben. Das Element 226 wendet auf den Teil des Videoeingangssignals, der dem gewählten ersten/nächsten Mosaikelement entspricht, durch Verwendung der Koeffizienten, die dem ersten/nächsten Mosaikelement entsprechen, eine Transformation an, und wobei durch bilineare Interpolation oder dergleichen ein entsprechendes transformiertes Videoeingangssignal erzeugt wird. Dann wird die Steuerung an das Element 228 abgegeben. Das Element 228 führt dem Projektor bzw. den Projektoren, der bzw. die dem ersten/nächsten Mosaikelement entspricht bzw. entsprechen, das transformierte Videoeingangssignal zu. Dann wird die Steuerung an das Element 230 abgegeben. Das Element 230 bestimmte, ob das gewählte erste/nächste Mosaikelement das letzte Mosaikelement in der Anzeige ist. Falls das gewählte erste/nächste Mosaikelement nicht das letzte Mosaikelement in der Anzeige ist, wird die Steuerung an das Element 224 zurückgegeben. Wenn das gewählte erste/nächste Mosaikelement jedoch das letzte Mosaikelement in der Anzeige ist, wird die Steuerung an das Element 232 abgegeben, in dem der Algorithmus existierte. Obwohl das in 9 gezeigte Flußdiagramm eine sequentielle Verarbeitung jedes der Mosaikelemente zeigt, wird in Betracht gezogen, daß die Mosaikelemente parallel verarbeitet werden können.
10 ist ein Flußdiagramm eines weiteren beispielhaften Verfahrens zum Kalibrieren einer Anzeige, bei dem die durch die Kamera eingeführten Verzerrungen von den durch den Rest der Anzeige eingeführten Verzerrungen unterschieden werden. Der Algorithmus beginnt im Element 240, in dem die Steuerung an das Element 242 abgegeben wird. Das Element 242 stellt eine physische Schablone neben der Leinwand bereit. Die physische Schablone enthält vorzugsweise ein vorbestimmtes Muster. Dann wird die Steuerung an das Element 244 abgegeben. Das Element 244 erfaßt mit einer Kameraeinrichtung ein Fangbild mindestens eines Teils der physischen Schablone. Dann wird die Steuerung an das Element 246 abgegeben. Das Element 246 bestimmt eine durch die Kameraeinrichtung eingeführte Kameraverzerrung durch Vergleichen des Fangbildes mit einem vorbestimmten Erwartungswert. Dann wird die Steuerung an das Element 248 abgegeben. Das Element 248 entfernt die physische Schablone. Dann wird die Steuerung an das Element 250 abgegeben.
Das Element 250 führt gewählten Projektoren ein Eingangssignal zu, um eine Anzahl diskreter Bilder zu projizieren, die jeweils ein vorbestimmtes Muster aufweisen. Es versteht sich, daß nicht alle Projektoren, sondern nur gewählte Projektoren ein Muster projizieren müssen. Dann wird die Steuerung an das Element 252 abgegeben. Das Element 252 erfaßt mit der Kameraeinrichtung ein Fangbild mindestens eines Teils der Leinwand. Dann wird die Steuerung an das Element 254 abgegeben. Das Element 254 verringert oder entfernt die durch die Kamera eingeführten Verzerrungen aus dem Fangbild. Die Steuerung wird dann an das Element 256 abgegeben. Das Element 256 bestimmt eine Transformationsfunktion zum Verringern oder Entfernen der durch das Projektionssystem eingeführten Verzerrungen durch Vergleichen des Fangbildes mit einem vorbestimmten Erwartungswert. Dann wird die Steuerung an das Element 258 abgegeben, in dem der Algorithmus endet.
11 ist ein Diagramm eines beispielhaften Musters mit 9 × 9 Punkten, die angezeigt und später zur Bestimmung räumlicher Verzerrungen in einer Anzeige erfaßt werden können. Bei der beispielhaften Ausführungsform wird jedes Mosaikelement 268 der Länge nach in acht Segmente und der Höhe nach in acht Segmente geteilt, so daß 64 rechteckige Regionen entstehen. Die Ecken jeder Region sind die entsprechenden Verknüpfungspunkte. Entsprechend wird mit den Verknüpfungspunkten in dem Array von Regionen die lokale Verzerrung in der Region 270 und in anderen über das Mosaikelement 268 hinweg bestimmt. Verschiedene Sätze lokaler Transformationskoeffizienten entsprechen verschiedenen rechteckigen Regionen. Die geometrischen Verzerrungen in jeder Region werden durch eine Transformationsfunktion modelliert, die durch zwei bilineare Gleichungen mit acht Freiheitsgraden bestimmt wird. Die acht Transformationskoeffizienten werden durch Vergleichen der bekannten Orte der vier Verknüpfungspunkte in dem Fangbild mit den entsprechenden erwarteten Orten, die zum Beispiel unter Verwendung eines Fangbildes der Schablonenüberlagerung bestimmt werden, bestimmt.
Der entsprechende Korrekturfaktor für die Orte, die zwischen die Punkte fallen (zum Beispiel Ort 272), kann durch Verwendung einer bilinearen Interpolation oder dergleichen bestimmt werden. Eine weitere Besprechung bilinearer Transformationen findet sich in „Digital Image Warping" von George Wolberg, IEEE Computer Society Press Monograph, Seiten 50–51, worauf hiermit ausdrücklich Bezug genommen wird. Eine weitere Besprechung räumlicher Transformationen findet sich in „Digital Image Processing", 2. Auflage, Refael C. Gonzalez und Paul Wintz, Seiten 246–251, worauf ebenfalls ausdrücklich Bezug genommen wird.
Es wird in Betracht gezogen, daß das Punktmuster kein regelmäßiges Punktgitter sein muß, sondern durch Extrahieren stochastisch zuverlässiger Ankerpunkte aus Schnappschüssen des ankommenden Videostroms, die in einem Einzelbild- oder Bildspeicher erfaßt werden, abgeleitet werden kann. Durch Verwendung von Auto- und Kreuzkorrelationsalgorithmen, zum Beispiel Bissels Algorithmus, der gemeinsame Punkte aus einer von verschiedenen Orten aus betrachteten Punktwolke assimilierot, können diese weiter korreliert werden.
12 ist ein Diagramm des beispielhaften Musters von 11, das auf zwei benachbarten und sich überlappenden Mosaikelementen angezeigt wird. Es ist ein erstes Mosaikelement bei 290 und ein zweites Mosaikelement bei 292 gezeigt. Das erste Mosaikelement 290 und das zweite Mosaikelement 292 überlappen sich um einen vorbestimmten Betrag, wie bei 294 gezeigt. Jedes Mosaikelement weist einen (nicht gezeigten) Projektor zum Projizieren eines diskreten Bildes auf das entsprechende Mosaikelement auf. Bei der gezeigten Ausführungsform projiziert jeder der Projektoren ein 9 × 9-Punktarray. Wenn die Projektoren ordnungsgemäß ausgerichtet wären und keine Verzerrungen in dem System bestünden, würden sich alle Punkte in der Überlappungsregion 294 überlappen. Wie in 12 gezeigt, überlappen sich die Punkte jedoch nicht, wenn die Projektoren nicht ausgerichtet sind.
Um diese durch die Kamera und das hier beschriebene Rückmeldungssystem erkannte Fehlausrichtung/Verzerrung zu korrigieren, zieht die vorliegende Erfindung eine Vorverzerrung des Videoeingangssignals dergestalt, daß sich die entsprechenden Punkte ordnungsgemäß miteinander ausrichten, in Betracht. Der erste Projektor, der dem ersten Mosaikelement 290 entspricht, projiziert zum Beispiel den Punkt 296, und ein zweiter Projektor, der dem zweiten Mosaikelement 292 entspricht, projiziert einen entsprechenden Punkt 298. Es kann eine erste Transformationsfunktion bereitgestellt werden, um den Ort des ersten Punkts 296 effektiv in Richtung des zweiten Punkts 298 zu bewegen, wenn sie auf das Eingangssignal des ersten Projektors angewandt wird. Alternativ dazu oder zusätzlich kann eine zweite Transformation bereitgestellt werden, um den Ort des zweiten Punkts 298 in Richtung des ersten Punkts 296 zu bewegen, wenn sie auf das Eingangssignal des zweiten Projektors angewandt wird. Wenn dies richtig durchgeführt wird, überlappen sich der erste Punkt 296 und der zweite Punkt 298 auf der Leinwand. Wenn dies ferner gemäß den obenerwähnten absoluten oder relativen Verfahren durchgeführt wird, dann wird das kompensierte Bild global und entsprechend über das gesamte Bild hinweg eingeschränkt.
Es wird in Betracht gezogen, daß durch Verwendung eines relativen Kompensationsverfahrens die erste Transformationsfunktion den Ort des ersten Punkts 296 um einen Betrag, der im wesentlichen gleich der Hälfte des Abstands zwischen dem ersten und dem zweiten Punkt ist, in Richtung des zweiten Punkts 298 bewegen kann. Ähnlich kann die zweite Transformationsfunktion den Ort des zweiten Punkts 298 um einen Betrag, der im wesentlichen gleich der Hälfte des Abstands zwischen dem ersten und dem zweiten Punkt ist, in Richtung des ersten Punkts 296 bewegen. Dies ist ein gerader Mittelungsansatz ohne globale Anpassungseinschränkungen, wie etwa sicherstellen zu müssen, daß die angedeuteten Gitterlinien durch die erste Ableitung gerade und gleichförmig beabstandet sind, wie explizit in 13 gezeigt.
Als Alternative oder zusätzlich kann die erste Transformationsfunktion den Ort des ersten Punkts 296 um einen Betrag, der durch eine vorbestimmte Mischfunktion oder einen bestimmten anderen Faktor an dem ersten Punkt 296 relativ zu dem zweiten Punkt 298 gewichtet wird, in Richtung des zweiten Punkts 298 bewegen, und die zweite Transformationsfunktion kann den Ort des zweiten Punkts 298 um einen Betrag, der durch eine vorbestimmte Mischfunktion oder einen bestimmten anderen Faktor an dem zweiten Punkt relativ zu dem ersten Punkt 296 gewichtet wird, in Richtung des ersten Punkts 296 bewegen. Dies ist ein gewichteter Mittelungsansatz, der in 14 explizit gezeigt wird. Vorzugsweise hängt die Gewichtungsfunktion mit der Mischfunktion zusammen, die für das Mischen der Farbinformationen der Mosaikelemente verwendet wird. Dabei kann es sich um eine Rampen- oder Spline- oder eine bestimmte andere in der Technik bekannte geeignete Funktion handeln.
Wenn mehr als zwei entsprechende Punkte betrachtet werden müssen (wenn sich zum Beispiel drei oder mehr Bilder in einer gewählten Region überlappen), kann jeder der entsprechenden Punkte in Richtung eines korrigierten Orts bewegt werden. Dies läßt sich durch Verwendung eines ähnlichen Ansatzes der Mittelung oder gewichteten Mittelung wie oben besprochen erzielen.
Außerdem werden andere Ansätze in Betracht gezogen. Zum Beispiel wird in Betracht gezogen, daß die Transformationsfunktionen eine vorbestimmte Beziehung zwischen gewählten Punkten aufrechterhalten. Zum Beispiel stammen die Punkte 300, 302, 304 und 306 aus einer gemeinsamen Zeile von Punkten und sollten somit auf eine gemeinsame Linie 308 fallen. Die Transformationsfunktionen können eine lineare Beziehung zwischen diesen Punkten aufrechterhalten, während weiterhin die Verzerrungen in dem System kompensiert werden. Ähnlich stammen die Punkte 310, 312 und 314 aus einer gemeinsamen Spalte von Punkten und sollten somit auf eine gemeinsame Linie 316 fallen. Die Transformationsfunktionen können eine lineare Beziehung zwischen diesen Punkten aufrechterhalten, während weiterhin die Verzerrungen in dem System kompensiert werden. Vorzugsweise ergibt die lineare Beziehung Kontinuität durch die erste Ableitung der Linienfunktionen und erhält einen relativ gleichförmigen Abstand zwischen den angedeuteten Verbindungslinien.
Gemäß dem obigen ist 15 ein Flußdiagramm eines beispielhaften Verfahrens zum mindestens teilweisen Entfernen einer räumlichen Verzerrung aus der Anzeige. Der Algorithmus beginnt im Element 330, in dem die Steuerung an das Element 332 abgegeben wird. Das Element 332 bewirkt, daß mindestens einer der Projektoren ein diskretes Bild projiziert, das ein vorbestimmtes Muster mit einer Anzahl von Merkmalen aufweist. Dann wird die Steuerung an das Element 334 abgegeben. Das Element 334 erfaßt ein Fangbild eines gewählten Teils des zusammengesetzten Bildes. Dann wird die Steuerung an das Element 336 abgegeben. Das Element 336 identifiziert eine räumliche Verzerrung in dem Fangbild durch Untersuchen des relativen Orts gewählter Merkmale in dem Fangbild. Dann wird die Steuerung an das Element 338 abgegeben. Das Element 338 bestimmt eine Transformationsfunktion, die zumindest teilweise die räumlichen Verzerrungen aus dem zusammengesetzten Bild entfernt. Dann wird die Steuerung an das Element 340 abgegeben, in dem der Algorithmus existierte. Vorzugsweise identifiziert dieses Verfahren die räumlichen Verzerrungen der Anzeige durch Vergleichen projizierten Bildes eines Mosaikelements relativ zu dem projizierten Bild eines benachbarten Mosaikelements, anstelle oder zusätzlich zu, relativ zu einer physischen Schablone zu sein.
16 ist ein Flußdiagramm eines Verfahrens zum Identifizieren einer Transformation für eine Mosaikanzeige zur mindestens teilweisen Entfernung einer räumlichen Verzerrung aus der Mosaikanzeige. Der Algorithmus beginnt im Element 350, in dem die Steuerung an das Element 352 abgegeben wird. Das Element 352 identifiziert ein erstes Merkmal in einer gewählten Überlappungsregion, wobei das erste Merkmal durch einen ersten Projektor projiziert wird. Dieses erste Merkmal kann aus einem Schnappschuß des ankommenden Videobildes extrahiert werden. Dann wird die Steuerung an das Element 354 abgegeben. Das Element 354 identifiziert ein zweites Merkmal in der gewählten Überlappungsregion, wobei das zweite Merkmal durch einen zweiten Projektor projiziert wird, und wobei das zweite Merkmal dem ersten Merkmal entspricht. Wieder kann das zweite Merkmal aus dem ankommenden Standardvideoeingangssignal extrahiert werden. Dann wird die Steuerung an das Element 356 abgegeben. Das Element 356 bestimmt die räumliche Beziehung zwischen dem ersten und dem zweiten Merkmal als Beispiel für die Herstellung der Beziehung zwischen einem Ensemble von Merkmalen. Dann wird die Steuerung an das Element 358 abgegeben. Das Element 358 identifiziert eine erste Transformationsfunktion für den ersten Projektor. Die erste Transformationsfunktion bewegt den Ort des ersten Merkmals effektiv in Richtung eines korrigierenden Orts, wenn sie auf das Eingangssignal des ersten Projektors angewandt wird. Dann wird die Steuerung an das Element 360 abgegeben. Das Element 360 identifiziert eine zweite Transformationsfunktion für den zweiten Projektor. Die zweite Transformationsfunktion, die gleichzeitig mit der ersten beschriebenen angewandt wird, bewegt den Ort des zweiten Merkmals effektiv in Richtung des korrigierenden Orts, wenn sie auf das Eingangssignals des zweiten Projektors angewandt wird. Dann wird die Steuerung an das Element 362 abgegeben, in dem der Algorithmus existierte. Die Berechnung der Korrekturfunktion kann periodisch geschehen, während das Ausgangssignal zur Echtzeitkorrektur an die Transformationsfunktion weitergeleitet wird.
Gemäß der vorliegenden Erfindung kann man den Ort der Punkte durch folgendes bestimmen: Abziehen eines schwarzen Fangbildes von dem Fangbild, das die Punkte enthält; Untersuchen des resultierenden Bildinhalts oberhalb einer Rauschschwelle unter Verwendung räumlicher Filter, die einen Allpaßkern aufweisen; Messen des Schwerpunkts der Punkte, um die entsprechenden Punktorte zu finden; Beseitigen von Punkten, deren Energieschwelle unter der Schwelle liegt; Sortieren der Punktorte auf Korrelation mit bekannten oder erwarteten Punktmustern und Ableiten von korrigierenden Transformationsfunktionen daraus.
17 ist ein Graph der Luminanzdome für einen LCD-Projektor mit verschiedenen Eingangsintensitäten. Es ist ersichtlich, daß der Betrag der Luminanzdome tendenziell mit zunehmender Eingangsintensität zunimmt. Außerdem nimmt die Zufallshelligkeitsvariation (z. B. Rauschen) über die Anzeige hinweg ebenfalls tendenziell mit zunehmender Eingangsintensität zu. Durch Filtern mehrerer Zeitabtastwerte von Domfangbildern wird diese Variation gedämpft und somit das Signal/Rausch-Verhältnis verbessert. Dasselbe allgemeine Muster wird für Rot, Grün und Blau gefunden. Außerdem weist jede Farbe in der Regel für dieselbe Eingangsintensität einen verschiedenen Helligkeitswert auf. Außerdem ändert sich zum Beispiel im Fall von Polysilizium-LCDs die Form des Musters als Funktion des Eingangsintensitätspegels, so daß die Kompensationsfunktion geometrische und Eingangsintensitätsvariablen berücksichtigen muß.
Um die Farb- und Luminanzverzerrungen eines Projektionssystems und insbesondere eines Mosaikanzeigesystems (Direktansicht oder Projektion) zu bestimmen, können sequentiell mehrere Eingangssignale variierender Eingangsintensität in die Projektionsanzeige eingegeben werden. Dies kann bei der ersten Kalibrierung oder periodisch geschehen. Jedes Eingangssignal kann einem ebenen Feldbild einer gewählten Farbe entsprechen. Zum Beispiel kann ein erstes Eingangssignal einem roten ebenen Feldbild mit einer LCD-Intensität „255" entsprechen. Das nächste Eingangssignal kann auch einem roten ebenen Feldbild entsprechen, aber mit einer LCD-Intensität von „220". Es können Eingangssignale mit schrittweise niedrigerer Intensität bereitgestellt werden, bis das Eingangssignal eine LCD-Intensität von „0" aufweist. Dieser Vorgang kann sowohl für blaue als auch grüne oder andersfarbige ebene Feldbilder wiederholt werden. Eine Kameraeinrichtung kann jedes der ebenen Feldbilder entweder als ein einzelnes Bild, wenn das Sichtfeld der Kameraeinrichtung der gesamten Anzeige entspricht, oder als mehrere Bilder, wenn die Kameraeinrichtung ein kleineres Sichtfeld aufweist, erfassen. Die Auflösung der Kameraeinrichtung kann so gewählt werden, daß sie für das gewählte Sichtfeld geeignet ist. Wenn das Sichtfeld der Kameraeinrichtung zum Beispiel relativ breit ist, so daß ein Bild der gesamten Anzeige erfaßt wird, kann eine höher auflösende Kameraeinrichtung verwendet werden. Ähnlich kann, wenn das Sichtfeld der Kameraeinrichtung relativ schmal ist, wobei ein Bild nur eines kleinen Teils der Anzeige erfaßt wird, eine Kameraeinrichtung mit niedrigerer Auflösung verwendet werden. In jedem Fall werden die resultierenden Bilder vorzugsweise als ein Array von Fangbildern oder Fangbilder mit verringerter Auflösung oder als Kompressionskoeffizienten-Fangbilder gespeichert. Nach der Sammlung können die unerwünschten Eigenschaften jedes Fangbildes bestimmt werden, einschließlich der Luminanz- oder Farbdome für jeden Projektor.
Nachdem die Luminanz- oder Farbdome identifiziert wurden, werden vorzugsweise eine Funktion für den oberen und unteren Grenzwert, die eine lineare oder eine Spline- oder eine andere geeignete Funktion sein können, sowohl für Farbe (einschließlich Farbton) als auch für Intensität über die gesamte Anzeige hinweg bestimmt. Zum Beispiel kann bei maximaler Intensität (z. B. LCD „255") ein Projektor heller als ein anderer sein, und die von jedem Projektor bereitgestellte Helligkeit kann in der Nähe der Ränder des Bildes abnehmen. Folglich kann ein oberer Grenzwert so gewählt werden, daß er mit dem dunkelsten Überlagerungsbereich der Mosaikelemente übereinstimmt, wenn alle Projektoren mit maximaler Intensität betrieben werden. Ähnlich kann ein unterer Grenzwert so gewählt werden, daß er mit dem hellsten Superpositionsergebnis der Mosaikelemente übereinstimmt, wenn alle Projektoren mit minimaler Intensität (LCD „0") betrieben werden.
Danach kann eine Transformationsfunktion zur Kompensation der Luminanzdome über gewählte Mosaikelemente hinweg bestimmt und die Helligkeit und Farbe jedes Mosaikelements mit benachbarten Mosaikelementen verglichen werden, so daß ein lineares Anzeigesystem resultiert. Die Transformationsfunktion kann zum Beispiel durch eine Farbnachschlagetabelle erfaßter oder komprimierter Farbdome, eine Detektions- und Identifikationsfunktion für die nächsten Nachbarn und eine Interpolationsfunktion zwischen den nächsten Nachbarn repräsentiert werden, um den Eingangspegel zu bestimmen, der an der Anzeige notwendig ist, um den gewünschten linearen Ausgangspegel auszugeben. Vorzugsweise kann die Transformationsfunktion bewirken, daß die Luminanzvariation über die gesamte Anzeige hinweg zum Beispiel für gleichförmige Testbilder weniger als etwa zwei Prozent beträgt, ein Wert, der kleiner als die gerade wahrnehmbare Differenz (JND) gemäß dem Weberschen Gesetz ist. Um diesen Grad an Luminanzgleichförmigkeit zu erzielen, ist es hilfreich, wenn die Transformationsfunktion vorzugsweise eine Funktion des X- und Y-Orts auf dem Mosaikelement und des Eingangsintensitätspegels ist.
18 ist ein schematisches Diagramm der Luminanzdome für drei Mosaik-LCD-Projektoren jeweils bei verschiedenen Eingangsintensitäten. Ein erstes Mosaikelement 370, ein zweites Mosaikelement 372 und ein drittes Mosaikelement 374 weisen jeweils verschiedene maximale Helligkeitswerte für eine gemeinsame LCD-Eingangsintensität, wie zum Beispiel eine Eingangsintensität von „255" wie bei 376, 378 bzw. 380 gezeigt, auf. Die Transformationsfunktion für jedes der Mosaikelemente kompensiert vorzugsweise die Luminanzdome über gewählte Mosaikelemente hinweg unter Verwendung der reduzierten Luminanzdominformationen, um das Verhalten des Doms (abhängig von x, y und Eingangsintensität) jedes Mosaikelements in dem System zu linearisieren, und unter Verwendung der Mischfunktion, um eine Anzeigemosaikelementüberlagerung zu ermöglichen. Die Transformationsfunktion gleicht außerdem den Farbton jedes Mosaikelements unter Verwendung der Rückmeldebildinformationen in Kombination mit bekannten Tristimulus-Farbtransformationen oder äquivalenten Funktionen an angrenzende Mosaikelemente an. Zum Beispiel kann die Transformationsfunktion für das erste Mosaikelement 370 die Helligkeit gemäß Rückmeldeverhalten, das zu einem bestimmten Zeitpunkt aus dem Fangbild des ersten Projektors erfaßt wird, so ändern, daß sie auf der Linie 382 liegt, wenn die Eingangsintensität für den ersten Projektor einen Wert von „255" aufweist, und bei Überlagerung über die Ausgabe des Mosaikelements 372. In dem gezeigten Diagramm kann dies aufgrund der Domform des Luminanzprofils erfordern, daß der Mittenteil des Bildes mehr als die Randteile des Bildes reduziert wird. Ähnlich kann die Transformationsfunktion für das zweite Mosaikelement 372 die Helligkeit gemäß Rückmeldeverhalten, das zu einem bestimmten Zeitpunkt aus dem Fangbild des zweiten Projektors erfaßt wird, so ändern, daß sie ebenfalls entlang der Linie 382 liegt, wenn die Eingangsintensität für den zweiten Projektor einen Wert von „255" aufweist und bei Überlagerung mit den Ausgaben von benachbarten Mosaikelementen. Schließlich kann die Transformationsfunktion für das dritte Mosaikelement 374 die Helligkeit des dritten Projektors so ändern, daß sie entlang der Linie 382 liegt, wenn die Eingangsintensität für den dritten Projektor einen Wert von „255" aufweist, und gemäß Überlagerung mit dem Nachbarmosaikelement 372.
Wie oben erwähnt, sind die Transformationsfunktionen vorzugsweise außerdem von der den Projektoren zugeführten Eingangsintensität abhängig. Dies ist das Ergebnis der Abhängigkeit der Fangbilddome von der Eingangsintensität für Bildquellen wie zum Beispiel die Polysilizium-LCD.
Bei niedrigeren Eingangsintensitäten können die Transformationsfunktionen die Helligkeit des ersten, des zweiten und des dritten Projektors so ändern, daß sie zum Beispiel entlang den Linien 386 oder 388 als Funktion der Mischfunktionen, der Luminanzdomabhängigkeit von dem X-, Y-Ort auf der Leinwand und der Eingangsintensität für das Mosaikanzeigesystem liegt. Auf diese Weise können die Transformationsfunktionen bewirken, daß die Luminanz-, die Farbton- und Sättigungsvariation über die gesamte Anzeige hinweg ungeachtet der zugeführten Eingangsintensität relativ klein ist. Wenn dies erreicht oder ermöglicht wurde, kann der Bildinhalt beliebig sein, so daß die Mosaikanzeige mit Kamerarückmeldung für die Anzeige allgemeiner Bilder geeignet wird.
Gemäß dem obigen ist 19 ein Flußdiagramm eines Verfahrens zum mindestens teilweisen Entfernen einer Luminanzverzerrung aus der Anzeige. Der Algorithmus beginnt im Element 400, in dem die Steuerung an das Element 402 abgegeben wird. Das Element 402 gibt sequentiell eines oder mehrere Eingangssignale, die einem ebenen Feldbild variierender Intensität entsprechen, in jeden Projektor ein. Dann wird die Steuerung an das Element 404 abgegeben. Das Element 404 erfaßt ein Fangbild gewählter ebener Feldbilder. Dann wird die Steuerung an das Element 406 abgegeben. Das Element 406 identifiziert einen Luminanzdom an einem oder mehreren der Fangbilder. Dann wird die Steuerung an das Element 408 abgegeben. Das Element 408 bestimmt eine Rückmeldungstransformationsfunktion (abhängig von X, Y und/oder Eingangsintensität), die die Luminanzdome zumindest teilweise aus dem zusammengesetzten Bild entfernt. Dann wird die Steuerung an das Element 410 abgegeben, in dem der Algorithmus existierte.
Schließlich wird ein Verfahren zur Bestimmung der Grenzen jedes Mosaikelements einer Mosaikanzeige bei Verwendung einer Kamera mit einem Sichtfeld, das mehr als ein Mosaikelement umfaßt, in Betracht gezogen. Dieses Verfahren umfaßt das Anzeigen eines weißen Feldbildes zum Beispiel auf allen Mosaikelementen außer einem gewählten. Dann kann die Kamera ein Bild der Anzeige erfassen, das das gewählte Mosaikelement enthält. Es ist dann relativ einfach, die Grenzen des gewählten Mosaikelements zu bestimmen, indem der Ort identifiziert wird, an dem das weiße Feldbild beginnt/aufhört. Ein anderes Verfahren ist das Anzeigen eines Schachbrettmusters, wobei jedes der Mosaikelemente eines von zwei ebenen Feldbildern annimmt. Bei dieser Ausführungsform können die Grenzen für jedes Mosaikelement bestimmt werden, indem der Ort identifiziert wird, an dem jedes der ebenen Feldbilder beginnt/aufhört. Ein anderes Verfahren ist das Anzeigen eines Punktmusters, dessen äußere Grenzen, wenn sie durch die Kamera in Kombination mit einer Detektionsfunktion erkannt werden, ebenfalls die Grenzen jedes Mosaikelements definieren. Mit diesen kann das Rückmelde-Prozessor-Kamera-System u. a. die Ausrichtung der Projektoren zueinander identifizieren. Weiterhin, und wenn sich die diskreten Bilder überlappen, identifizieren diese Verfahren außerdem das Ausmaß der Überlappung.
Nachdem somit die bevorzugten Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist für Fachleute ohne weiteres erkennbar, daß die hier gefundenen Lehren innerhalb des Schutzumfangs der angefügten Ansprüche auch auf andere Ausführungsformen angewandt werden können.

Claims

System zur Steuerung eines Mosaik-Anzeigesystems, das ein Videoeingangssignal (66) empfängt, wobei das Mosaik-Anzeigesystem zwei oder mehr Anzeigen (54, 56) aufweist, die jeweils eines einer Anzahl diskreter Bilder separat auf einer Betrachtungsoberfläche oder – leinwand (58) manifestieren, um ein zusammengesetztes Bild zu erzeugen, umfassend: ein Kameramittel (62) zum Bereitstellen eines Fangbildes mindestens eines Teils des zusammengesetzten Bildes; ein Bestimmungsmittel (52) zum Bestimmen, ob das Fangbild ein oder mehrere unerwünschte sichtbare Artefakte aufweist; und ein Identifizierungsmittel zum Identifizieren einer Transformationsfunktion, die benutzt werden kann, um das Eingangsvideosignal zu verarbeiten und gewählten Anzeigen verarbeitete Eingangsvideosignale zuzuführen, um das eine oder die mehreren unerwünschten sichtbaren Artefakte zu vermindern, dadurch gekennzeichnet, daß sich jedes der diskreten Bilder mit einem benachbarten diskreten Bild überlappt, um mindestens eine Überlappungsregion zu bilden; daß das durch das Kameramittel (62) bereitgestellte Fangbild mindestens einen Teil der mindestens einen Überlappungsregion enthält; daß das Bestimmungsmittel die Bestimmung für den Teil der Überlappungsregion in dem Fangbild durchführt; daß das Bestimmungsmittel die Bestimmung für den Teil für unerwünschte sichtbare Artefakte durchführt; und daß das Mosaik-Anzeigesystem ein Rückprojektionssystem ist, bei dem jedes der diskreten Bilder auf einer Projektions-nicht-Betrachtungsseite der Oberfläche oder Leinwand manifestiert wird, um ein zusammengesetztes Bild auf einer Nicht-Projektions-Betrachtungsseite der Oberfläche oder Leinwand zu erzeugen, und wobei das Fangbild von der Projektions-nicht-Betrachtungsseite der Oberfläche oder Leinwand aus erfaßt wird.
Mosaik-Anzeigesystem nach Anspruch 1, wobei die zwei oder mehr Anzeigen des Projektionstyps sind.
Verfahren zur Steuerung eines Mosaik-Anzeigesystems, das zwei oder mehr Anzeigen (54, 56) aufweist, wobei jede Anzeige eines einer Anzahl diskreter Bilder separat auf einer Betrachtungsoberfläche oder -leinwand (58) manifestiert, um ein zusammengesetztes Bild zu erzeugen, mit den folgenden Schritten: Erfassen (202) eines Fangbildes mindestens eines Teils des zusammengesetzten Bildes; Bestimmen (204), ob das Fangbild ein oder mehrere unerwünschte sichtbare Artefakte aufweist; und Identifizieren (206) einer Transformationsfunktion, die benutzt werden kann, um ein Eingangsvideosignal zu verarbeiten und gewählten Anzeigen ein verarbeitetes Eingangsvideosignal zuzuführen, um die unerwünschten sichtbaren Artefakte zu vermindern, dadurch gekennzeichnet, daß sich jedes der diskreten Bilder mit einem benachbarten diskreten Bild überlappt, um mindestens eine Überlappungsregion zu bilden; daß das Fangbild mindestens einen Teil der mindestens einen Überlappungsregion enthält; daß die Bestimmung in der mindestens einen Überlappungsregion für durch die Überlappung der diskreten Bilder verursachte unerwünschte sichtbare Artefakte durchgeführt wird; und daß das Mosaik-Anzeigesystem ein Rückprojektionssystem ist, bei dem jedes der diskreten Bilder auf einer Projektions-nicht-Betrachtungsseite der Oberfläche oder Leinwand manifestiert wird, um ein zusammengesetztes Bild auf einer Nicht-Projektions- Betrachtungsseite der Oberfläche oder Leinwand zu erzeugen, und wobei das Fangbild von der Projektions-nicht-Betrachtungsseite der Oberfläche oder Leinwand aus erfaßt wird.
Verfahren nach Anspruch 3, wobei die Schritte des Erfassens, des Bestimmens und des Identifizierens während des normalen Funktionsbetriebs der Projektionsanzeige periodisch wiederholt werden.
Verfahren nach Anspruch 3 oder Anspruch 4, wobei jede Anzeige einen Projektor umfaßt, dem ein entsprechendes Eingangssignal zugeführt wird, um so eine Anzahl diskreter Bilder separat auf die Betrachtungsoberfläche oder -leinwand zu projizieren; wobei der Erfassungsschritt mit einer Kameraeinrichtung durchgeführt wird; wobei der Bestimmungsschritt das Bestimmen einer Verzerrung in dem zusammengesetzen Bild durch Isolieren der Position gewählter Merkmale in dem Fangbild umfaßt; und wobei der Identifizierungsschritt das Identifizieren einer Transformationsfunktion umfaßt, die auf das Eingangsvideosignal gewählter Anzeigen angewandt werden kann, um so die Verzerrungen zumindest teilweise aus dem zusammengesetzen Bild zu entfernen.
Verfahren nach Anspruch 5 mit den folgenden Schritten: sequentielles Eingeben eines Eingangssignals, das einem ebenen Feldbild einer ersten Farbe entspricht, für jede einer Anzahl von Luminanzintensitäten, in gewählte Projektoren; Erfassen eines Fangbildes gewählter ebener Feldbilder; Bestimmen einer Verzerrung in der Projektionsanzeige durch Untersuchen der erfaßten ebenen Feldbilder; und Identifizieren einer Transformationsfunktion, die auf das Eingangsvideosignal angewandt werden kann und die die Verzerrungen zumindest teilweise aus dem zusammengesetzen Bild entfernt.
Verfahren nach Anspruch 6, wobei die Schritte des Eingebens, des Erfassens, des Bestimmens und des Identifizierens für jede von zwei oder mehr Farben wiederholt werden.
Verfahren zum Kalibrieren einer Mosaik-Projektionsanzeige nach einem der Ansprüche 3 bis 7, wobei die Mosaik-Projektionsanzeige zwei oder mehr Projektoren aufweist, die jeweils ein Eingangssignal empfangen und jeweils eines einer Anzahl diskreter Bilder separat auf eine Leinwand projizieren, um ein zusammengesetztes Bild zu erzeugen, wobei das Verfahren die folgenden Schritte aufweist: Bereitstellen einer physischen Schablone, die ein vorbestimmtes Muster enthält, neben der Leinwand; Erfassen eines Fangbildes mindestens eines Teils der physischen Schablone unter Verwendung einer Kameraeinrichtung; und Bestimmen einer Kameraverzerrung, die durch die Kameraeinrichtung eingeführt wird, durch Vergleichen des Fangbildes mit einer vorbestimmten Erwartung.
Verfahren nach Anspruch 8, weiterhin mit den folgenden Schritten: Entfernen der physischen Schablone; Bereitstellen eines Eingangssignals für gewählte Projektoren, um eine Anzahl diskreter Bilder zu projizieren, die jeweils ein vorbestimmtes Muster aufweisen; Erfassen eines Fangbildes mindestens eines Teils der Leinwand unter Verwendung einer Kameraeinrichtung; und Bestimmen einer Projektionssystemverzerrung, die durch das Projektionssystem eingeführt wird, durch Vergleichen des Fangbildes mit einer vorbestimmten Erwartung.