DE69432994T2

DE69432994T2 - Verfahren und Vorrichtung zur Erzeugung von 3-D-Bildern hoher Auflösung in einem kopfgeführten Stereodisplaysystem

Info

Publication number: DE69432994T2
Application number: DE69432994T
Authority: DE
Inventors: Michael F. Los Altos Deering
Original assignee: Sun Microsystems Inc
Current assignee: Sun Microsystems Inc
Priority date: 1993-01-14
Filing date: 1994-01-10
Publication date: 2004-04-22
Anticipated expiration: 2014-01-11
Also published as: EP0996093A1; JPH06317762A; EP0996093B1; DE69432994D1; EP0607000B1; EP0607000A3; EP0607000A2; KR100327874B1; KR940018769A; DE69425913D1; KR100311066B1; US5394202A; JP3575622B2; DE69425913T2

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Diese Erfindung betrifft das Gebiet von Computergrafiksystemen. Insbesondere betrifft diese Erfindung ein Erzeugen von hochauflösenden 3D-Stereobildern in einem Head-Tracked-Stereoanzeigesystem (Stereoanzeigesystem mit Verfolgung der Kopfbewegungen).
2. Hintergrund
Das menschliche Auge kann als ein mit einer Retina gekoppeltes optisches System nachgebildet werden, wobei die Retina als ein Lichtwandler dient. Das menschliche Auge ist in einen Lichtstrahlen enthaltenden physikalischen Raum eingetaucht. Eine Punktlichtquelle gibt es an jedem Punkt in dem physikalischen Raum, der eine Grenze zwischen transparenten und lichtundurchlässigen Flächen oder eine Grenze zwischen transparenten Flächen mit unterschiedlichen Brechungsindizes darstellt. Ein menschliches Stereosehvermögen wird erreicht, indem die beiden Augen an verschiedenen Orten in den physikalischen Raum eingetaucht sind.
Ein Head-Tracked-Stereoanzeigesystem simuliert die Interaktion von menschlichen Augen mit den Lichtstrahlen des physikalischen Raums, um einem Betrachter ein Wahrnehmen von perspektivischen 3D-Bildern zu ermöglichen. Ein Head-Tracked-Stereoanzeigesystem erfaßt in dem physikalischen Raum den Ort des Kopfes und der Augen des Betrachters, berechnet basierend auf dem Ort des Kopfes und der Augen ein Paar von Stereobildern eines virtuellen Objekts und erzeugt das Stereobild auf einer Stereoanzeigeeinrichtung.
Ein Head-Tracked-Stereoanzeigesystem erfordert, daß zeitgleich lediglich zwei Bilder berechnet und erzeugt werden, was einen wesentlich geringeren Rechenaufwand als holographische Systeme zur Folge hat. Darüber hinaus hat das Paar Stereobilder das gleiche Aussehen wie ein Hologramm. Mit einem Head-Tracked-Stereoanzeigesystem scheint das virtuelle Objekt stationär zu bleiben, wenn sich der Kopf des Betrachters neigt oder sich der Kopf des Betrachters bewegt, um um die Seite des virtuellen Objekts herum oder über das virtuelle Objekt hinaus zu schauen. Für eine weitere Beschreibung von Head-Tracked-Stereoanzeigesystemen siehe Paley, W. B. Head-tracking Stereo Display, Techniques and Applications, Proceedings of SPIE, Feb. 1992.
Der dem Betrachter zur Verfügung stehende Bewegungsbereich des Kopfes ist in früheren Head-Tracked-Stereoanzeigesystemen jedoch begrenzt, da die Stereoanzeigeeinrichtung stationär bleibt, wenn sich der Kopf des Betrachters bewegt. Wenn sich der Kopf des Betrachters zu der Seite des auf der Stereoanzeigeeinrichtung wiedergegeben virtuellen Bildes dreht, wird das virtuelle Bild aufgrund der gewinkelten Stellung des Kopfes des Betrachters in bezug auf die Anzeigeoberfläche der Stereoanzeigeeinrichtung abgeschnitten (clipped).
Darüber hinaus können frühere Head-Tracked-Stereoanzeigesysteme Licht von den virtuellen Objekten und von realen Objekten reflektiertes Licht nicht mischen, um einem Betrachter ein Wahrnehmen einer natürlichen Anordnung der realen und virtuellen Objekte zu ermöglichen. Wenn der Betrachter die Stereobilder wahrnimmt, während er der Stereoanzeigeeinrichtung sein Gesicht zuwendet, blockieren zwischen der Stereoanzeigeeinrichtung und dem Kopf des Betrachters angeordnete physikalische Objekte das Licht von der Stereoanzeigeeinrichtung und unterbrechen das virtuelle Bild.
Das vorliegende Head-Tracked-Stereoanzeigesystem erzeugt, wie es beschrieben wird, komplexe 3D-Stereobilder, um einem Betrachter einen größeren Bewegungsbereich des Kopfes zu ermöglichen. Darüber hinaus mischt das vorliegende Head-Tracked-Stereoanzeigesystem Licht virtueller und realer Ob jekte, um es einem Betrachter zu ermöglichen, eine natürliche Anordnung der realen und virtuellen Objekte wahrzunehmen.
M. BAJURA ET AL.: "MERGING VIRTUAL OBJECTS WITH THE REAL WORLD: SEEING ULTRASOUND IMAGERY WITHIN THE PATIENT", COMPU-TER GRAPHICS PROCEEDINGS, ANNUAL CONFERENCES SERIES, SIG-GRAPH, Ausgabe 26, Nr. 2, 1. Juli 1992 (1992-07-01), Seiten 203–210, beschreibt eine Vorrichtung zum Erzeugen eines exakten, mit einem realen Objekt gemischten 3D-Stereobildes. Diese Vorrichtung weist eine Anzeigeeinrichtung (VPL EyePhone) mit einer Anzeigefläche zum Erzeugen von von einer Computereinrichtung gerenderten bzw. berechneten synthetischen Stereobildern auf, wobei die Stereobilder einem virtuellen Koordinatenraum entsprechen, so daß diese synthetischen Bilder die Ansichten von TV-Kameras nachbilden, die Bilder der wirklichen Welt aufnehmen. Die Vorrichtung offenbart ferner eine Übermittlungseinrichtung (Stereo-Frame-Puffer und Video-Mixer) zum Übermitteln der Stereobilder zu den Augen eines Betrachters, wobei die Übermittlungseinrichtung den Augen des Betrachters ferner von dem realen Objekt reflektiertes und von den TV-Kameras aufgenommenes Licht übermittelt. Dieser Artikel beschreibt ferner eine Einrichtung (Video-Mixer) zum selektiven Blockieren einer Transmission des von dem realen Objekt reflektierten Lichtes zu den Augen des Betrachters unter Steuerung der Computereinrichtung.
Zusammenfassung der Erfindung
Es wird ein Verfahren und eine Vorrichtung zum Erzeugen hochauflösender 3D-Bilder in einem Head-Tracked-Stereoanzeigesystem beschrieben. Das vorliegende Verfahren und die vorliegende Vorrichtung ermöglichen einen weiten Bewegungsbereich des Kopfes eines Betrachters in einem Head-Tracked-Stereoanzeigesystem. Das vorliegende Verfahren und die vorliegende Vorrichtung ermöglichen es einem Betrachter bei einem weiten Bewegungsbereich des Kopfes des Betrachters, virtuelle Objekte wahrzunehmen, die realen Objekten überlagert sind. Das vorliegende Verfahren und die vorliegende Vorrichtung verfolgt eine Kopfbewegung eines Betrachters und justiert automatisch eine Anzeigekonfiguration und Stereo-Betrachtungs- bzw. -Viewing-Pipelines, um bei einem Head-Tracked-Stereoanzeigesystem einen weiten Bewegungsbereich des Kopfes des Betrachters zu ermöglichen.
Das vorliegende Verfahren und die vorliegende Vorrichtung ermöglichen es einem Betrachter ferner, reale und virtuelle Objekte in einer natürlichen Anordnung wahrzunehmen. Ein Betrachter kann in einem 3D-Raum reale Objekte vor virtuellen Objekten wahrnehmen. Darüber hinaus kann der Betrachter virtuelle Objekte wahrnehmen, die in einem 3D-Raum vor realen Objekten angeordnet sind. Das vorliegende Verfahren und die vorliegende Vorrichtung rendern bzw. berechnen reale Objekte in einem virtuellen Raum und erzeugen einen Z-Buffer für die realen Objekte, um das von den realen Objekten reflektierte Licht und Licht von virtuellen Objekten zu mischen.
Das vorliegende Head-Tracked-Stereoanzeigesystem verwendet eine in einem Basisgehäuse angeordnete Anzeigeeinrichtung. Die Anzeigeeinrichtung erzeugt von einem auf einem Computer implementierten Grafik-Rendering-System bzw. Grafikberechnungssystem berechnete Stereobilder. Ein Spiegel ist eingekoppelt, um sich derart um die Anzeigefläche der Anzeigeeinrichtung zu drehen, daß der Spiegel die Stereobilder zu einem Betrachter übermittelt. Eine mit dem Computer gekoppelte Nachführungseinrichtung erfaßt die Bewegungen des Kopfes des Betrachters im 3D-Raum. Der Computer steuert mit einem Motor die Winkelstellung des Spiegels, um die Stereobilder dem Betrachter zu übermitteln, wenn sich der Betrachter bewegt. Das Bild-Rendering-System bzw. Bildberechnungssystem verwendet die Winkelstellung des Spiegels, um die Be trachtungsmatrizen zum Reflektieren der Stereobilder durch den Spiegel einzustellen.
Um Licht von realen und virtuellen Objekten zu mischen, führt der Computer eine Datenbank über die Position und die Dimensionen der realen Objekte in dem 3D-Raum. Das Bildberechnungssystem erzeugt einen Z-Buffer, der die 3D-Positionierung für die realen Objekte kennzeichnet. Die realen Objekte werden ohne Farbe gerendert bzw. berechnet. Ein halbdurchlässiger Spiegel ist zum Übermitteln der Stereobilder zu den Augen eines Betrachters angeordnet und übermittelt von den realen Objekten reflektiertes Licht zu den Augen des Betrachters. Ein LCD-Array-Paneel blockiert selektiv eine Transmission des von dem realen Objekt reflektierten Lichts zu den Augen des Betrachters unter Steuerung des Computers, so daß das von durch das virtuelle Objekt verdeckten Abschnitten des realen Objekts reflektierte Licht blockiert wird.
Kurzbeschreibung der Zeichnungen
1 zeigt ein computerbasiertes System zum Erzeugen grafischer Bilder und zum Reagieren auf eine Benutzereingabe gemäß der Lehre der vorliegenden Erfindung.
2 zeigt eine Anordnung von Hauptprogrammen und Speicherbereichen, die in dem in 1 gezeigten Speicher 16 enthalten sind.
3 zeigt ein beispielhaftes flaches Anzeigekoordinatensystem, das seinen Ursprung in der unteren linken Ecke des sichtbaren Bereichs einer Anzeigefläche der Stereo-CRT hat.
4a–4d zeigen eine Drehspiegelvorrichtung zum Erzeugen von Head-Tracked-Stereobildern von virtuellen Objekten, die es einem Betrachter ermöglicht, sich umherzubewegen und verschiedene perspektivische Ansichten der virtuellen Objekte wahrzunehmen.
5 zeigt ein alternatives Ausführungsbeispiel einer Drehspiegelvorrichtung zum Erzeugen eines Head-Tracked-3D-Stereobildes, das einem realen Objekt überlagert ist.
6 zeigt ein Head-Tracked-Stereoanzeigesystem, das es einem Betrachter ermöglicht, eine Anordnung von virtuellen und realen Objekten derart wahrzunehmen, daß reale Objekte virtuelle Objekte und virtuelle Objekte reale Objekte auf eine natürliche Weise verdecken.
7 zeigt eine Anordnung von durch das Head-Tracked-Stereoanzeigesystem gemäß 6 erzeugten virtuellen Objekten und realen Objekten.
Detaillierte Beschreibung der Erfindung
Ein Verfahren und eine Vorrichtung zum Erzeugen komplexer 3D-Stereobilder wird beschrieben, die einen größeren Bewegungsbereich für den Kopf eines Betrachter ermöglichen und Licht von virtuellen und realen Objekten mischen, um es einem Betrachter zu ermöglichen, eine natürliche Anordnung der realen und virtuellen Objekte wahrzunehmen. Bei der folgenden Beschreibung sind aus Gründen der Erklärung spezielle Anwendungen, Zahlen, Vorrichtungen und Konfigurationen dargelegt, um ein vollständiges Verständnis der vorliegenden Erfindung zu ermöglichen. Es wird jedoch einem Fachmann klar sein, daß die vorliegende Erfindung ohne diese speziellen Details ausgeführt werden kann. Bei anderen Fällen sind bekannte Systeme in Form von Diagrammen oder Blockdiagrammen gezeigt, um die vorliegende Erfindung nicht unnötig zu verschleiern.
Es wird nun auf 1 Bezug genommen. Es ist ein exemplarisches computerbasiertes System zum Erzeugen grafischer Bilder und zum Reagieren auf eine Benutzereingabe gemäß der Lehre der vorliegenden Erfindung gezeigt. Ein Computer 10, der aus drei Hauptkomponenten besteht, ist gezeigt. Die erste dieser ist eine Eingabe/Ausgabe(I/O)-Schaltung 12, die zum Übermitteln von Informationen in geeigneter strukturier ter Form zu und von anderen Abschnitten des Computers 10 verwendet wird. Darüber hinaus umfaßt der Computer 10 eine mit der I/O-Schaltung 12 und einem Speicher 16 gekoppelte zentrale Verarbeitungseinheit (CPU) 14. Diese Elemente sind diejenigen, die üblicherweise in den meisten Mehrzweckcomputern vorhanden sind. Der Computer 10 soll repräsentativ für eine breite Kategorie von Computersystemen stehen.
Es ist eine mit der I/O-Schaltung 12 gekoppelte Magnetplatte 20 zum Bereitstellen zusätzlicher Speicherkapazität für den Computer 10 gezeigt. Bekanntlich kann die Platte 20 andere Computerprogramme, Zeichen, Routinen, Bilder etc. speichern, auf die von der CPU 14 zugegriffen werden kann und die von dieser ausgeführt werden können. Es ist ersichtlich, daß zusätzliche Einrichtungen zum Speichern von Daten mit dem Computer 10 gekoppelt sein können, wie beispielsweise sowohl Magnetbandlaufwerke als auch Netzwerke, die wiederum mit anderen Computersystemen gekoppelt sind.
Es ist ein mit der I/O-Schaltung 12 gekoppeltes CD-ROM 20 zum Bereitstellen einer zusätzlichen Speicherkapazität zum Verteilen von vorberechneten erfindungsgemäßen 3D-Stereobildern gezeigt. Ferner ist eine mit der I/O-Schaltung 12 gekoppelte LCD-Paneel-Steuereinrichtung 28 gezeigt. Die LCD-Paneel-Steuereinrichtung 28 erhält Bitmap-Daten von dem Computer 10, um die Transparenz der Pixel eines LCD-Paneel-Arrays zu steuern.
Es ist eine mit der I/O-Schaltung 12 gekoppelte Motorsteuereinheit 30 gezeigt. Die Motorsteuereinheit 30 ermöglicht es dem Computer 10, einen Servomotor zu steuern. Alternativ ermöglicht es die Motorsteuereinheit 30 dem Computer 10, einen Schrittmotor zu steuern. Wie es beschrieben wird, ermöglicht es der von der Motorsteuereinheit 30 gesteuerte Servomotor oder Schrittmotor dem Computer 10, eine Positionierung eines rotierenden Spiegels zum Erzeugen virtueller Bilder zu steuern.
Es ist eine mit der I/O-Schaltung 12 gekoppelte Rasteranzeigeeinrichtung 24 gezeigt und wird zum Anzeigen von durch die CPU 14 erfindungsgemäß erzeugten Bildern verwendet. Vielfältige Raster oder Pixelabgebildete bzw. Pixel-Mapped)-Anzeigeeinrichtungen können als Anzeigeeinrichtung 24 verwendet werden. Bei dem aktuellen Ausführungsbeispiel weist die Anzeigeeinrichtung 24 eine Stereo-CRT auf. Wie es weiter unten ausführlicher beschrieben ist, werden die von der CPU 14 mit Hilfe der Anzeigeeinrichtung 24 erzeugten Anzeigebilder von einem Betrachter durch eine Spiegel wahrgenommen. Daher erzeugt die CPU 14 das Anzeigebild derart, daß die linke und rechte Position der das Bild bildenden Pixel vertauscht sind. Der Spiegel macht die Vertauschung der linken und rechten Positionen wieder rückgängig, um dem Betrachter ein richtiges Wahrnehmen des Bildes zu ermöglichen.
Eine mit der I/O-Schaltung 12 gekoppelte Tastatur 18 ist gezeigt und wird verwendet, um in den Computer 10 auf bekannte Weise Daten und Befehle einzugeben. Eine mit der I/O-Schaltung 12 gekoppelte Stereo-Shutter-Brille (stereo shuttered glasses) 120 ist gezeigt. Die Stereo-Shutter-Brille 120 umfasst ein Paar von eingebetteten Ultraschallempfängern 122 zum Empfangen von Ultraschallwellen. Die Stereo-Shutter-Brille weist ferner einen eingebetteten infrarotgesteuerten Schalter zum Steuern der Shutter-Linsen (shuttered lenses) auf .
Es ist eine mit der I/O-Schaltung 12 gekoppelte 3D-Maus 130 mit sechs Achsen gezeigt. Die 3D-Maus 130 umfaßt einen Satz von drei Ultraschallempfängern 132 zum Empfangen von Ultraschallwellen. Die 3D-Positionen der 3D-Maus 130 und der Shutter-Brille 120 werden durch einen 3D-Head-Tracker 140 mit sechs Achsen erfaßt, der bei einem Ausführungsbeispiel auf der Stereo-CRT 24 befestigt ist. Die 3D-Ultraschall-Tracking-Einrichtung 140 weist drei eingebettete Ultraschallsender 142 auf, die die von den Ultraschallempfängern 122 und 132 empfangenen Ultraschallwellen erzeugen.
Es wird nun auf 2 Bezug genommen. Es ist eine Anordnung von in dem in 1 gezeigten Speicher 16 enthaltenen Hauptprogrammen gezeigt. Insbesondere ist ein Frame-Puffer 36 gezeigt, der als ein Pixelabbild für die Anzeige 24 dient. Der Frame-Puffer 36 stellt den Videospeicher für die Anzeige 24 dar, wobei jeder Speicherort in dem Frame-Puffer 36 einem Pixel für das linke oder rechte Auge auf der Stereo-CRT 24 entspricht. Somit weist der Frame-Puffer 36 ein zweidimensionales Array von Punkten mit bekannten Koordinaten auf, die den Pixeln auf der Stereo-CRT 24 entsprechen. Der Frame-Puffer 36 ist vorzugsweise als ein Doppelpuffer eingerichtet, so das von einem Puffer auf ein Bild zugegriffen werden kann, während ein anderes Bild von dem anderen Puffer dargestellt wird.
Der Speicher 16 umfaßt ferner eine Vielzahl von von der CPU 10 ausgeführten Programmen, die Funktionen gemäß der Lehre der vorliegenden Erfindung implementieren, wie es in dieser Beschreibung beschrieben ist. Darüber hinaus weist der Speicher 16 ferner andere Programme zum Steuern oder Ausführen anderer bekannter Funktionen und Operationen auf Computersystemen auf.
Bei einem Ausführungsbeispiel trägt der Betrachter die Stereo-Shutter-Brille 120 und kann die 3D-Maus 130 mit sechs Achsen bedienen. Die 3D-Positionen der 3D-Maus und der Shutter-Brille 120 werden durch einen 3D-Head-Tracker 140 mit sechs Achsen erfaßt. Die Laufzeit der Ultraschallwellen zwischen den Ultraschallempfängern 122 und 132 und den Ultraschallsenden 142 wird verwendet, um die 3D-Positionen der verblendeten Brille 120 und der 3D-Maus zu berechnen. Die 3D-Maus 130 wird zum Manipulieren eines von dem Betrachter wahrgenommenen virtuellen Bildes verwendet.
Bei einem Head-Tracked-Stereoanzeigesystem wird eine Stereobetrachtungs-Anzeigepipeline durch zwei perspektivische 4 × 4-Betrachtungsmatrizen (effektiv eine monokulare Pipeline für jedes Auge)spezifiziert. Diese Matrizen ent halten implizit Informationen über die gesamte physikalische Konfiguration der Betrachtung. Jede resultierende Matrix umfaßt eine Versatzkomponente.
Die physikalische Konfiguration der Betrachtung wird durch den Ort der Anzeigefläche in einem 3D-Raum und dem dynamischen Ort der Augen des Betrachters bestimmt. Wenn diese Parameter bekannt sind, sind die Betrachtungsmatrizen eindeutig in bezug auf einen Skalenfaktor. Die Betrachtungsmatrix für jedes Auge entspricht einer Pyramide mit einer Spitze bei dem Auge des Betrachters und mit einer Basis, die durch die vier Ecken des Anzeigefensters innerhalb der Anzeigefläche definiert ist. Die vordere und hintere Clipping-Ebene sind parallel zu der Ebene der Anzeigefläche, wenn angenommen wird, daß die Anzeigefläche vollständig eben ist.
Bei dem aktuellen Ausführungsbeispiel spezifiziert eine Computergrafikanwendung durch eine Matrix P die Beziehung zwischen physikalischen Koordinaten und virtuellen Koordinaten (VC). Die sich aus der Matrix P ergebene relative Position, Orientierung und Skalierung spezifizieren, wie die virtuelle und die physikalische Welt zu überlagern sind (Dieser Skalierungsfaktor wird mit g gekennzeichnet). Die physikalische Konfiguration der Stereoanzeigeeinrichtung und die erfaßte Echtzeitposition der Augen des Betrachters liefern den Rest der für die endgültigen 4 × 4-Betrachtungsmatrizen erforderlichen Informationen. Die endgültige 4 × 4-Betrachtungsmatrizen werden als Parameter für das auf dem Computer 10 implementierte Grafikberechnungssystem verwendet.
Um die Lehre der vorliegenden Erfindung zu implementieren, wird die Stereo-CRT 24 als ein physikalisches Koordinatensystem aufweisend betrachtet, das seiner Anzeigefläche zugeordnet ist. Das physikalische Koordinatensystem wird im folgenden als Anzeigeflächenkoordinaten (DPC – display plate coordinate) bezeichnet.
Es wird auf 3 Bezug genommen. Es ist ein exemplarisches DPC-Koordinatensystem gezeigt. Das DPC hat seinen Ursprung in der unteren linken Ecke des sichtbaren Bereichs einer Anzeigefläche der Stereo-CRT 24. Die X-Achse verläuft horizontal nach rechts. Die Y-Achse verläuft vertikal aufwärts. Die Z-Achse ist normal zu der virtuellen Anzeigefläche, und zwar mit positiven Koordinaten nach außen zu dem Betrachter hin.
Ein Fenster auf der virtuellen Anzeigefläche 50 ist definiert durch Bestimmen einer unteren linken und einer oberen rechten Ecke als zwei DPC-Punkte L und H in der z = 0 Ebene für das Fenster. Jedes Auge des Betrachters weist eine separate Koordinate in dem DPC-Raum auf. Eine exemplarische Koordinate eines Punktes eines einzelnen Auges wird mit E bezeichnet. Die vordere und hintere Clipping-Ebene sind durch einen Abstand F und B in Richtung der z-Achse gegeben.
Die Betrachtungsmatrix P für ein einzelnes Auge, ausgedrückt im Spaltenvektormatrixformat, die sichtbare Punkte im DPC in den erweiterten Einheitswürfel von [–1 +1] [–1 +1] [–1 +1] abbildet, lautet wie folgt:
Die oberen Gleichungen gelten sowohl für Anzeigeeinrichtungen wie beispielsweise die Stereo-CRT 24 als auch für Projektionsstereoanzeigen und Stereo-LCD-Paneele. Es sollte bemerkt werden, daß der intraokulare Abstand, der der Abstand zwischen den Augen des Betrachters ist, nicht direkt in der Betrachtungsmatrix P wiedergegeben ist.
Bei einem Head-Tracking-Anzeigesystem ist eine Parallaxe auf der Anzeigefläche nicht notwendigerweise horizontal.
Wenn ein Betrachter die Anzeige mit vertikal orientierten Augen beobachtet, ist die Parallaxe auf dem Bildschirm voll-ständig vertikal. Der Parallaxenwert auf dem Bildschirm ist auch bei einem gegebenen Kopfabstand und einer gegebenen Objektposition nicht konsistent. Wenn ein Kopf eines Betrachters um 30° zu einer Seite des Bildschirms gedreht ist, ist die Parallaxe auf der Bildschirmoberfläche geringer als wenn der Bildschirm rechtwinklig betrachtet wird.
Bei üblichen Computergrafiken wird der Betrachtungsprojektionspunkt (viewing projection point) als der "Augenpunkt" oder "Betrachtungspunkt" bezeichnet und soll dem Auge des Betrachters entsprechen. Aus Gründen der Anzeigegenauigkeit jedoch muß die Betrachtungsposition physiologisch genau identifiziert werden. In allgemeinen optischen Begriffen ist der Betrachtungspunkt eines Linsensystems der erste Knotenpunkt.
Eine genaue Betrachtungspunktposition für die Knotenpunkte des Auges kann unter Verwendung einer augenverfolgenden bzw. Eye-Tracking-Hardware zum Erlangen von Informationen über die Blickrichtung jedes Auges des Betrachters erzielt werden. Die Kombination von Blickinformationen und Kopf- und Augenpositionen kann verwendet werden, um die ersten Knotenpunkte des Auges in dem DPC-Raum genau zu bestimmen. Darüber hinaus können die Blickrichtungsinformationen zum Identifizieren des Bereichs des Anzeigeflächenraums verwendet werden, der dem Fovial-Abschnitt der Retina entspricht und der es erfordert, mit einem hohen räumlichen Detail wiedergegeben zu werden.
Alternativ können Fehler aufgrund einer Unsicherheit bezüglich der Position des ersten Knotenpunktes eines Auges durch Vorraussehen der wahrscheinlichen Blickrichtung des Betrachters minimiert werden. Die wahrscheinliche Blickrichtung des Betrachters kann der Mittelpunkt des Stereofensters auf der virtuellen Anzeigeoberfläche 50 sein. Wenn die 3D-Maus 130 verwendet wird, geht der Blick des Betrachters wahrscheinlich in die Richtung des "HotSpots" eines interaktiven virtuellen Bildes, da es wahrscheinlich ist, daß die höchste Genauigkeitsanforderung ein "Berühren" eines virtuellen Objekts mit der Maus wiederspiegelt. Ein Wählen der Blickrichtung des Betrachters an der Spitze der 3D-Maus 130 kompensiert Fehler infolge einer Drehung der Augen. Darüber hinaus hält die auf dem Computer 10 implementierte Bildberechnungssoftware bzw. Bild-Rendering-Software DPC-Koordinaten für den "HotSpot" des auf der virtuellen Anzeigefläche 50 angezeigten Stereobildes.
Das aktuelle Ausführungsbeispiel der vorliegenden Erfindung verwendet eine Ultraschall-Tracking-Einrichtung 140, um eine dynamische Position und Orientierung des Kopfes des Betrachters in dem DPC-Raum zu erhalten. Es sollte beachtet werden, daß das vorliegende Verfahren jedoch nicht von der verwendeten Tracking-Technologie abhängig ist. Kopfpositions- und -Orientierungsdaten werden verwendet, um die Drehzentren der Augen des Betrachters unter Verwendung fester Vektoren von der Position der Ultraschall-Tracking-Einrichtung 140 zu den Augen des Betrachters in Echtzeit herzuleiten.
Der intraokulare Abstand bei einem Kopf eines Betrachters kann bei verschiedenen Individuen bis zu ± 2cm variieren. Bei dem aktuellen Ausführungsbeispiel sind die festen Vektoren von der Ultraschall-Tracking-Einrichtung 140 zu den Augen des Betrachters betrachterspezifisch, um den intraokularen Abstand eines gegebenen Betrachters zu berücksichtigen. Die festen Vektoren berücksichtigen ferner die Ausrichtung der Kopf-Tracking-Einrichtung an dem Kopf des Betrachters.
Damit der Betrachter computergenerierte Objekte als physikalische 3D-Objekte wahrnehmen kann, ist eine Anzeigebildwiederholungsrate erforderlich, die für eine Bewegungsverschmelzung ausreichend ist. Bei der Stereoabbildungstechnik gibt es das zusätzliche Phänomen einer induzierten Stereo bewegung, wobei bei einer geringen Bildwiederholungsrate angezeigten Objekte verzerrt und verdreht erscheinen. Für eine weitergehende Beschreibung siehe Tyler, C. W., Induced Stereo movement, Vision Res., Ausgabe 14, 609-613, Pergamon Press, 1974.
4a beschreibt eine Drehspiegelvorrichtung 51 zum Erzeugen von Head-Tracked-Stereobildern von virtuellen Objekten. Die Drehspiegelvorrichtung 51 ermöglicht es einem Betrachter, sich zu bewegen und verschiedene perspektivische Ansichten des virtuellen Objekts oder der virtuellen Objekte wahrzunehmen. Die Stereo-CRT 24 ist in einem zylindrisch geformten Gehäuse 58 eingebettet. Die Stereo-CRT 24 ist im wesentlichen entlang der Achse des zylindrischen Gehäuses 58 zentriert. Eine Anzeigefläche 55 der Stereo-CRT 24 ragt durch das obere Ende des zylindrischen Gehäuses 55 hervor. Ein Spiegel 54 ist mit einer Drehplattform 56 verbunden. Bei einem Ausführungsbeispiel bildet der Spiegel 54 einen Winkel von 45° mit der Anzeigefläche 55 der Stereo-CRT 24.
Bei einem Ausführungsbeispiel bewirkt ein (nicht gezeigter) Schrittmotor ein Drehen der Drehplattform 56 um die Mittelachse 57 des zylindrischen Gehäuses 58. Der Schrittmotor ist mit der Motorsteuereinheit 30 verbunden. Die Motorsteuereinheit 30 ist derart gekoppelt, dafl sie Steuerinformationen von dem Computer 10 erhält. Der Computer 10 bewirkt, dafl der Schrittmotor die Winkelstellung der Drehplattform 56 steuert und steuert dadurch die Winkelstellung des Spiegels 54.
4b zeigt die Drehspiegelvorrichtung 51 zum Erzeugen eines 3D-Head-Tracked-Stereobildes eines virtuellen Objekts 210. Der Betrachter 200 trägt die Shutter-Brille 120. Die 3D-Position der Shutter-Brille 120 wird durch die Ultraschall-Tracking-Einrichtung 140 erfaßt. Bei einem Ausführungsbeispiel ist die Ultraschall-Tracking-Einrichtung 140 an der Drehplattform 56 befestigt, da Ultraschallwellen eine begrenzte Reichweite haben und Sichtlinienwege zwischen der Ultraschall-Tracking-Einrichtung 140 und der Shutter-Brille 120 erfordern. Bei einem alternativen Ausführungsbeispiel ist eine Tracking-Einrichtung auf der Stereo-CRT 24 befestigt, die eine erweiterte Reichweite aufweist und keine Sichtlinienwege erfordert.
Bei einem Ausführungsbeispiel mißt der Computer 10 die Laufzeit der Ultraschallwellen zwischen den Ultraschallsenden 142 und den Mikrofonen 122. Basierend auf der Laufzeit trianguliert der Computer 10 die 3D-Position der Shutter-Brille 120. Der Computer 10 korrigiert die Schallgeschwindigkeit anhand der gegebenen Lufttemperatur und anderer Faktoren, um die 3D-Position der verblendeten Brille 120 zu triangulieren.
Der Computer 10 verfolgt die 3D-Position des Kopfes des Betrachters 210, indem er die 3D-Position der Shutter-Brille 120 verfolgt. Wenn sich der Betrachter 200 um die Drehspiegelvorrichtung herum bewegt, justiert der Computer 10 den Drehwinkel des Spiegels 54, so daß der Spiegel 54 eine Winkelstellung beibehält, wobei er dem Betrachter 200 gegenüberliegt.
Der Computer 10 und die Motorsteuereinheit 30 implementieren einen Stabilisierungssteuerprozeß, der eine Bewegung der Drehplattform 56 auf größere Kopfbewegungen des Betrachters 200 begrenzt. Bei einem Ausführungsbeispiel implementieren der Computer 10 und die Motorsteuereinheit 30 eine dynamische Kalmann-Filterung zur Stabilisationssteuerung.
Wenn der Computer 10 den Drehwinkel des Spiegels 54 zum Verfolgen der Bewegung des Betrachters 200 justiert, bewirkt die Computersteuerung effektiv, daß der Spiegel 54 der für ein kurzes Zeitintervall Bemittelten Position des Kopfes des Betrachters 200 folgt.
Ein auf dem Computer 10 implementiertes Bilderberechnungssystem erzeugt Stereobilder auf der Stereo-CRT 24. Die Stereobilder auf der Anzeigefläche 55 der Stereo-CRT 24 werden durch den Spiegel 54 reflektiert. Der Spiegel 54 reflek tiert die Stereobilder zu dem die Shutter-Brille 120 tragenden Betrachter 200. Der Betrachter 200 nimmt die reflektierten Stereobilder als ein virtuelles Objekt 210 wahr. Das virtuelle Objekt 210 erscheint dem Betrachter 200 transparent, wenn der Spiegel 54 ein halbdurchlässiger Spiegel ist. Wenn der Spiegel 54 ein vollreflektierender Spiegel ist, erscheint das virtuelle Objekt 210 massiv (solid).
Dem Betrachter 200 erscheint das virtuelle Objekt 210 als durch eine Reflexion der hinter dem Spiegel 54 angeordneten Stereo-CRT 24 erzeugt. Wenn der Computer 10 den Spiegel 54 zum Verfolgen der Bewegungen des Betrachters 200 dreht, bewegt sich die Reflexion der Stereo-CRT 24 entsprechend in dem DPC-Raum. Es ist verständlich, daß es scheint, als ob sich die Reflexion der Stereo-CRT 24 um die vertikale Achse 57 dreht, wenn sich der Spiegel 54 dreht.
Die 4c–4d zeigen die sich ändernden Positionen einer Reflexion 60 der Stereo-CRT 24, wenn sich der Spiegel 54 dreht, um die Bewegungen des Betrachters 200 zu verfolgen. Es ist eine Draufsicht der Drehspiegelvorrichtung 51 einschließlich der Drehplattform 56, der Stereo-CRT 24 und des Drehspiegels 54 gezeigt. Ferner ist eine reflektierte Anzeigefläche 50 der Stereo-CRT 24 gezeigt, wie sie von dem Betrachter 200 durch den Spiegel 54 wahrgenommen wird.
4c zeigt die Position der Reflexion 60 der Stereo-CRT 24 für eine Beispielposition des Betrachters 200 in Bezug auf die Drehspiegelvorrichtung 51. Die 4d zeigt die Position der Reflexion 60 der Stereo-CRT 24 für eine weitere Beispielposition des Betrachters 200 in Bezug auf die Drehspiegelvorrichtung 51.
Der Computer 10 bestimmt die 3D-Position der Reflexion 60 der Stereo-CRT 24 aus dem Drehwinkel der Drehplattform 56. Der Computer 10 stellt Betrachtungs-Matrizen entsprechend den Augen des Betrachters 200 ein, um die Anzeigefläche der Stereo-CRT 24 bei der Position der Anzeigefläche 50 der Reflexion 60 der Stereo-CRT 24 zu positionieren. Daher wird der DPC-Raum an der Anzeigefläche 50 der Reflexion der Stereo-CRT 24 ausgerichtet, wenn die virtuellen Objekte in den virtuellen Raum abgebildet werden. Darüber hinaus führt der Computer 10 eine Oben-Unten-Umkehr der Koordinaten der Stereobilder auf der Anzeigefläche der Stereo-CRT 24 aus, um die Reflexion der Stereobilder in dem Spiegel 54 zu kompensieren.
5 zeigt ein alternatives Ausführungsbeispiel einer Drehspiegelvorrichtung zum Erzeugen eines einem realen Objekt überlagerten Head-Tracked-3D-Stereobildes. Bei dem gezeigten Beispiel ermöglicht es die Drehspiegelvorrichtung einem Betrachter 220, ein über einen Chirurgiepatienten 230 überlagertes virtuelles Bild wahrzunehmen. Das virtuelle Bild ist ein 3D-Bild des Chirurgiepatienten, das von einem computerunterstützten Tomographie(CAT)-Scan abgeleitet wurde.
Eine Stereo-CRT 70 ist drehbar mit einer an der Decke befestigten Führungsschiene 74 verbunden. Die an der Decke befestigte Führungsschiene ermöglicht eine Verschiebung der Position der Stereo-CRT 70 in zwei Dimensionen parallel zu der Deckenebene. Ein halbdurchlässiger Spiegel 72 ist an der Stereo-CRT 70 befestigt. Bei einem Ausführungsbeispiel bildet der halbdurchlässige Spiegel 72 einen 45° Winkel mit der Anzeigefläche der Stereo-CRT 70. Der Computer 10 betätigt einen (nicht gezeigten) Schrittmotor, um die Stereo-CRT 70 und den Spiegel 72 um eine durch die vertikale Welle 75 definierte Achse zu drehen.
Der Betrachter 220 trägt die Stereo-Shutter-Brille 120. Die Ultraschall-Tracking-Einrichtung 140 erfaßt die 3D-Position der Shutter-Brille 120. Bei einem Ausführungsbeispiel ist die Ultraschall-Tracking-Einrichtung 140 an der Stereo-CRT 70 befestigt. Der Computer 10 verfolgt die 3D-Position des Kopfes des Betrachters 220, indem die 3D-Position der verblendeten Brille 120 gemessen wird. Wenn sich der Betrachter 220 bewegt, betätigt der Computer 10 den Schrittmotor, um den Drehwinkel der Stereo-CRT 70 zu justieren, um den Spiegel 72 gegenüber von dem Betrachter 220 zu halten.
Wenn der Computer 10 den Drehwinkel der Stereo-CRT 70 und des Spiegels 72 zum Verfolgen der Bewegung des Betrachters 220 einstellt, bewirkt eine computergefilterte Steuerung, daß der Spiegel 72 der über einen kurzen Zeitintervall gemittelten Position des Kopfes des Betrachters 220 folgt.
Ein auf dem Computer 10 implementiertes Bildberechnungssystem erzeugt Stereobilder auf der Stereo-CRT 70. Die Stereobilder auf der Anzeigefläche der Stereo-CRT 24 werden von dem Spiegel 72 reflektiert. Der Spiegel 72 reflektiert die Stereobilder zu dem die Shutter-Brille 120 tragenden Betrachter 220. Der Betrachter 220 nimmt die reflektierten Stereobilder als ein virtuelles Bild eines CAT-Scans wahr. Das virtuelle Bild erscheint dem Betrachter 220 transparent, da der Spiegel 72 ein halbdurchlässiger Spiegel ist.
Dem Betrachter 220 erscheint das virtuelle Bild des CAT-Scans als durch eine Reflexion der hinter dem Spiegel 72 angeordneten Stereo-CRT 70 erzeugt. Wenn der Computer 10 die Stereo-CRT 70 und den Spiegel 72 zum Verfolgen der Bewegungen des Betrachters 220 dreht, bewegt sich die Reflexion der Stereo-CRT 70 entsprechend in dem DPC-Raum.
Der Computer 10 bestimmt die 3D-Position der Reflexion der Stereo-CRT 70 aus dem Drehwinkel der Stereo-CRT 70 um die vertikale Welle 75 und aus der X-Y-Bewegung der Welle. Der Computer 10 stellt Betrachtungs-Matrizen entsprechend den Augen des Betrachters 220 ein, um die Anzeigefläche der Stereo-CRT 70 bei der Position der Anzeigefläche der Reflexion der Stereo-CRT 70 zu positionieren. Der DPC-Raum wird an der Anzeigefläche der Reflexion der Stereo-CRT 70 ausgerichtet, wenn das virtuelle Bild in den virtuellen Raum abgebildet wird. Darüber hinaus führt der Computer 10 eine Oben-Unten-Umkehr der Koordinaten der Stereobilder auf der Anzeigefläche der Stereo-CRT 70 aus, um die Reflexion der Stereobilder in dem Spiegel 72 zu kompensieren.
6 zeigt ein Head-Tracked-Stereoanzeigesystem, das es einem Betrachter ermöglicht, eine Anordnung von virtuellen Objekten und realen Objekten wahrzunehmen. Die Stereo-CRT 24 ist als in einer umgedrehten Position angebracht gezeigt, so daß die von der Stereo-CRT 24 erzeugten Stereobilder von einem Spiegel 310 reflektiert werden. Der Spiegel 310 ist ein halbdurchlässiger Spiegel. Ein Betrachter 300 trägt die Stereo-Shutter-Brille 120. Die (nicht gezeigte) Ultraschall-Tracking-Einrichtung 140 ist an der Stereo-CRT 24 befestigt.
Dem Betrachter 300 erscheinen die Stereobilder auf der Stereo-CRT 24 als durch eine Reflexion der hinter dem Spiegel 310 angeordneten Stereo-CRT 24 erzeugt. Infolgedessen stellt der Computer 10 Betrachtungs-Matrizen entsprechend den Augen des Betrachters 300 ein, um die Anzeigefläche der Stereo-CRT 24 an der Position der Anzeigefläche der Reflexion der Stereo-CRT 24 zu positionieren. Daher wird der DPC-Raum an der Anzeigefläche der Reflexion der Stereo-CRT 24 ausgerichtet, wenn die virtuellen Objekte in den virtuellen Raum abgebildet werden. Ferner führt der Computer 10 eine Oben-Unten-Umkehr der Koordinaten der Stereobilder auf der Anzeigefläche der Stereo-CRT 24 aus, um die Reflexion der Stereobilder in dem Spiegel 310 zu kompensieren.
Der Computer 10 verwendet die Ultraschall-Tracking-Einrichtung 140 um die 3D-Position des Kopfes des Betrachters 300 zu erfassen. Anschließend erzeugt das Bildberechnungssystem auf dem Computer 10 auf der Stereo-CRT 24 Stereobilder, um die virtuellen Objekte hinter dem halbdurchlässigen Spiegel 310 wiederzugeben bzw. zu rendern. Der die Stereo-Shutter-Brille 120 tragende Betrachter 300 nimmt die reflektierten Stereobilder als ein oder mehrere hinter dem halbdurchlässigen Spiegel 310 angeordnete (s) virtuelle (s) Objekt (e) wahr. Der halbdurchlässige Spiegel 310 ermöglicht es dem Betrachter 310 ferner, ein hinter dem halbdurchlässigen Spiegel 310 angeordnetes reales Objekt 330 wahrzunehmen.
Der Computer 10 führt eine physikalische Objektdatenbank, die die 3D-Geometrie des realen Objektes und den physikalischen Ort des realen Objektes 330 anzeigt. Das reale Objekt 330 ist als ein schwarzes Objekt, d. h. ohne Farbe, in der physikalischen Objektdatenbank nachgebildet. Das Bildberechnungssystem des Computers 10 gibt das physikalische Objekt 330 in dem virtuellen Raum wieder, um Z-Pufferwerte für das physikalische Objekt 330 zu erzeugen.
Wenn ein physikalisches Objekt von dem Blickwinkel des Betrachters 330 aus in dem DPC-Raum vor einem virtuellen Objekt angeordnet wird, bewirkt der Z-Puffer des Bildberechnungssystem des Computers 10, das für von dem realen Objekt verdeckte Abschnitte des virtuellen Objektes kein Licht von der Stereo-CRT 24 ausgestrahlt wird. Auf diese Weise nimmt der Betrachter 300 das virtuelle Objekt als hinter dem realen Objekt wahr.
Wenn andererseits von dem Blickwinkel des Betrachters 300 aus ein physikalisches Objekt in dem DPC-Raum hinter einem virtuellen Objekt angeordnet ist, wird ein LCD-Array-Paneel 320 verwendet, um Abschnitte des physikalischen Objektes zu verdecken, die hinter dem virtuellen Objekt liegen. Das LCD-Array-Paneel 320 ist über dem halbdurchlässigen Spiegel 310 angeordnet. Der Computer 10 steuert das das LCD-Array-Paneel 320 enthaltende Array von LCD-Pixeln. Der Computer 10 bewirkt, daß das LCD-Array-Paneel 320 Licht selektiv an der Transmission durch den halbdurchlässigen Spiegel 320 zu dem Betrachter 300 hindert bzw. blockiert. Der Computer 10 bewirkt, daß das LCD-Array-Paneel 320 Abschnitte des physikalischen Objektes blockiert, die hinter dem virtuellen Objekt liegen. Als Folge nimmt der Betrachter 300 das virtuelle Objekt als vor dem realen Objekt befindlich wahr.
7 zeigt eine Anordnung von durch das Head-Tracked-Stereoanzeigesystem nach 6 erzeugten virtuellen Objekten und realen Objekten. Ein virtuelles Objekt 350, ein reales Objekt 360 und ein virtuelles Objekt 370 werden von dem Betrachter 300 wahrgenommen. Der Computer 10 erzeugt die virtuellen Objekte 250 und 370, indem Stereobilder auf der Stereo-CRT 24 erzeugt werden, die von dem halbdurchlässigen Spiegel 310 reflektiert werden, wie es zuvor beschrieben wurde. Das reale Objekt 360 ist, bezogen auf den Betrachter 300, hinter dem halbdurchlässigen Spiegel 310 angeordnet. Von dem realen Objekt 360 reflektiertes Licht fällt durch den halbdurchlässigen Spiegel 310 und wird von dem Betrachter 300 wahrgenommen. Der Computer 10 bewirkt, daß das LCD-Array-Paneel 320 von dem realen Objekt 360 reflektiertes Licht selektiv blockiert.
Die physikalische Objektdatenbank zeigt die 3D-Geometrie des realen Objektes 360 und den physikalischen Ort des realen Objektes 360 in dem DPC-Raum an. Das reale Objekt 360 ist als ein schwarzes Objekt in der physikalischen Objektdatenbank nachgebildet. Das Bildberechnungssystem des Computers 10 gibt das physikalische Objekt 360 in dem virtuellen Raum wieder, um Z-Pufferwerte für das physikalische Objekt 360 zu erzeugen.
Das reale Objekt 360 ist von dem Blickwinkel des Betrachters 300 aus in dem DPC-Raum vor dem virtuellen Objekt 370 angeordnet. Wie gezeigt bewirkt der Z-Puffer des Bildberechnungssystems des Computers 10, daß für Abschnitte des virtuellen Objektes 370, die durch das reale Objekt 360 verdeckt sind, kein Licht von der Stereo-CRT 24 ausgestrahlt wird. Daher nimmt der Betrachter 300 das virtuelle Objekt 370 als hinter dem realen Objekt 360 angeordnet wahr.
Das reale Objekt 360 ist von dem Blickwinkel des Betrachters 300 aus in dem DPC-Raum hinter dem virtuellen Objekt 350 angeordnet. Wie gezeigt, bewirkt der Computer 10, daß die Pixel des LCD-Array-Paneels 320, die Abschnitten des physikalischen Objektes 360 entsprechen, die hinter dem virtuellen Objekt 350 liegen, Licht von dem physikalischen Objekt 360 blockieren. Licht von den Stereobildern auf der Stereo-CRT 24 wird von dem halbdurchlässigen Spiegel 310 reflektiert. Als Folge nimmt der Betrachter das virtuelle Objekt 350 als vor dem realen Objekt 360 angeordnet wahr.
Das hinter dem Spiegel 310 angeordnete reale Objekt 360 erscheint als vor dem virtuellen Objekt 370 angeordnet, wenn ein Modell des realen Objektes 360 in dem DPC-Raum mit dem richtigen Abstand, der richtigen Größe und Orientierung mit einer vollständig schwarzen Farbe wiedergegeben worden ist. Das Wiedergeben des realen Objektes 360 in dem DPC-Raum bewirkt, daß kein Licht von der Stereo-CRT 24 (über den minimalen schwarzen Pegel hinaus) abgestrahlt wird. Infolgedessen ist das einzige sich ändernde Licht, das aus dem dem realen Objekt 360 entsprechenden Bereich des Blicks des Betrachters kommt, das Licht von dem realen Objekt 360.
Das virtuelle Objekt 350 erscheint als vor dem realen Objekt 360 angeordnet, jedoch lediglich als ein transparentes Objekt, das die Bilder des realen Objektes 360 nicht ausschließen kann. Der Transparenzbereich ist durch die Konfiguration des Spiegels 310 eingeschränkt. Das virtuelle Objekt 350 zeigt den geringsten Transparenzwert, wenn es bei voller Intensität erzeugt wird. Der Transparenzgrad ist abhängig von dem Prozentsatz von reflektiertem Licht zu von dem Spiegel 310 transmittiertem Licht. Das virtuelle Objekt 350 zeigt höhere Transparenzwerte für jeden Spiegel, wenn es mit einer geringeren Intensität wiedergegeben wird.
Das LCD-Array-Paneel 320 ermöglicht es dem Computer 10, die Menge des von dem Betrachter 310 wahrgenommenen transmittierten Lichtes in Verhältnis zu der des reflektierten Lichtes zu steuern. Das LCD-Array-Paneel 320 ist von dem Betrachter 300 aus gesehen auf der anderen Seite des halbdurchlässigen Spiegels 310 angeordnet. Das LCD-Array-Paneel 320 steuert die Menge des von dem realen Objekt 360 direkt zu dem Betrachter 300 transmittierten Lichtes. Das LCD-Array-Paneel 320 steuert die Lichtübertragung pixelweise.
Das LCD-Array-Paneel 320 steuert die Lichtübertragung in zwei Modi. Im Binärmodus überträgt das LCD-Array-Paneel 320 pixelweise das gesamte oder gar kein Licht von dem realen Objekt 360. Im "Alpha"-Modus wird ein Prozentsatz des Lichtes von dem realen Objekt 360 übertragen. Der Prozentsatz des übertragenen Lichtes wird auf einen Bruchteil pro Pixel (innerhalb des dynamischen Bereichs des LCD's, Update-Raten, etc.) gesetzt. Der binäre Modus ist eine extreme Version des Alpha-Modus, in dem der Steuerwert "Alpha" lediglich die Werte 0 oder 1 annehmen kann.
Bei dem binären Modus kann das virtuelle Objekt 350 das reale Objekt 360 verdecken. Um dies zu erreichen, wird von dem Computer 10 für jedes Pixel auf dem LCD-Array-Paneel 320 ein Alpha-Frame-Pufferspeicher geführt. Wenn das virtuelle Objekt 350 wiedergegeben wird, werden die Alphawerte entsprechend dem virtuellen Objekt 350 auf 1 gesetzt (d. h. kein Licht des physikalischen Objektes passiert das LCD-Array-Paneel 320). Die dem "schwarzen" Modell des realen Objektes 360 entsprechenden Alphawerte werden auf 0 gesetzt.
Wenn für das virtuelle Objekt 350 und das reale Objekt 360 von dem Computer 10 eine Z-Pufferung durchgeführt wird, setzt der naheliegendste Objekttyp (real oder virtuell) bei jedem Pixel das Alphabit auf den richtigen Wert, wie es oben beschrieben ist. Das Alphabild wird auf dem LCD-Array-Paneel 320 angezeigt, was die richtigen Lichtventileffekte bewirkt. Eine Form von Transparenz wird durch "Screen-Door"-Transparenzverfahren sowohl für reale als auch virtuelle Objekte erzeugt.
In dem Alphamodus wird Transparenz durch Steuern der durch jedes Pixel des LCD-Array-Paneels 320 passierenden Lichtmenge erzeugt. Der Computer 10 implementiert ein Berechnungsverfahren, das den entsprechenden Alpha-Bruchwert in dem Frame-Puffer einstellt, um die Transparenz des LCD- Array-Paneels 320 zu steuern. Der Alphamodus ermöglicht es dem Betrachter 300, ein transparentes virtuelles Objekt 350 vor dem realen Objekt 360 (massiv oder transparent) wahrzunehmen. Der Alphamodus ermöglicht es dem Betrachter 300 ferner, ein transparentes reales Objekt 360 (beispielsweise ein Glas) vor dem virtuellen Objekt 370 (massiv oder transparent) wahrzunehmen.
Der für Alpha ausgewählte Wert kann für ein gegebenes Objekt eine Konstante sein oder eine komplexe, gemäß den realen oder simulierten optischen Eigenschaften des realen bzw. virtuellen Objektes, berechnete Funktion sein. Komplexe Effekte, z. B. daß der Betrachter 300 ein vergrößertes virtuelles Objekt durch ein reales Vergrößerungsglas wahrnimmt, können realisiert werden. Alternativ können die realen Objekte digitalisiert und an den Computer 10 übermittelt werden, so daß der Computer 10 die entsprechenden optischen Simulationen und Effekte ausführt. Der Computer 10 ersetzt ein physikalischen Objekt vollständig durch ein virtuelles Doppelgänger-Objekt. Somit haben in der Vorrichtung nach 6 einige physikalische Objekte rein schwarze virtuelle Gegenstücke, während einige physikalische Objekte durch nicht schwarze virtuelle Kopien ersetzt sind, indem die entsprechenden Alphawerte auf 1 gesetzt werden.
In der vorstehenden Beschreibung wurde die Erfindung unter Bezugnahme auf spezielle exemplarische Ausführungsbeispiele dieser beschrieben. Es ist jedoch offensichtlich, daß verschiedene Modifikationen und Änderungen daran vorgenommen werden können, ohne von dem Schutzumfang der Erfindung, wie er in den beigefügten Ansprüchen dargelegt ist, abzuweichen. Die Beschreibung und Zeichnungen sind demgemäß lediglich als beschreibend und nicht als beschränkend anzusehen.

Claims

Eine Vorrichtung zum Erzeugen eines mit einem realen . Objekt gemischten genauen stereoskopischen dreidimensionalen Bildes, umfassend: eine Anzeigeeinrichtung mit einer Anzeigefläche zum Erzeugen von durch eine Computereinrichtung berechneten stereoskopischen Bildern, wobei die stereoskopischen Bilder einem virtuellen Koordinatenraum entsprechen; eine Übermittlungseinrichtung, die so angeordnet ist, daß die stereoskopischen Bilder zu den Augen eines Betrachters übermittelt werden, wobei die Übermittlungseinrichtung ferner von dem realen Objekt reflektiertes Licht zu den Augen des Betrachters übermittelt; eine Einrichtung zum selektiven Blockieren einer Transmission des von dem realen Objekt reflektierten Lichts zu den Augen des Betrachters unter Steuerung der Computereinrichtüng, wobei die Vorrichtung dadurch gekennzeichnet ist, daß die Übermittlungseinrichtung eine Reflektoreinrichtung ist und daß die Computereinrichtung einen Z-Puffer erzeugt, der eine dreidimensionalen Positionierung für das reale Objekt und das virtuelle Objekt in dem virtuellen Koordinatenraum kennzeichnet.
Die Vorrichtung nach Anspruch 1, wobei die Anzeigeeinrichtung eine Stereo-Kathodenstrahlröhre aufweist.
Die Vorrichtung nach Anspruch 1, wobei die Reflektoreinrichtung einen halbverspiegelten Spiegel aufweist, der einen Winkel von im wesentlichen 45 Grad zu der Anzeigefläche der Anzeigeeinrichtung bildet.
Die Vorrichtung nach Anspruch 1, wobei die Einrichtung zum selektiven Blockieren der Transmission des von dem realen Objekt reflektierten Lichts ein LCD-Array-Paneel aufweist, das der Reflektoreinrichtung benachbart, entgegengesetzt zu dem Betrachter positioniert ist.
Die Vorrichtung nach Anspruch 1, wobei die Einrichtung zum selektiven Blockieren der Transmission des Lichts die Transmission von Licht pixelweise gemäß einer Mehrzahl von durch die Computereinrichtung ermittelten Alpha-Werten blockiert und wobei jeder Alpha-Wert einem Pixel entspricht.
Die Vorrichtung nach Anspruch 5, wobei die Computereinrichtung die Alpha-Werte durch Wiedergeben des realen Objektes und des virtuellen Objektes in dem virtuellen Koordinatenraum und durch Ausführen einer Z-Pufferung der wiedergegebenen realen und virtuellen Objekte ermittelt.
Ein Verfahren zum Erzeugen eines mit einem realen Objekt gemischten genauen stereoskopischen dreidimensionalen Bildes, umfassend die Schritte: Erzeugen von durch eine Computereinrichtung berechneten stereoskopischen Bildern auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die stereoskopischen Bilder einem virtuellen Koordinatenraum entsprechen und wobei die Computereinrichtung einen Z-Puffer erzeugt, der eine dreidimensionale Positionierung für das reale Objekt und das virtuelle Objekt in dem virtuellen Koordinatenraum kennzeichnet; Reflektieren der stereoskopischen Bilder zu den Augen eines Betrachters und Übermitteln des von dem realen Objekt reflektierten Lichtes zu den Augen des Betrachters; selektives Blockieren einer Transmission des von dem realen Objekt reflektierten Lichts zu den Augen des Betrachters unter Steuerung der Computereinrichtung.
Das Verfahren nach Anspruch 7, wobei die Anzeigeeinrichtung eine Stereo-Kathodenstrahlröhre aufweist.
Das Verfahren nach Anspruch 7, wobei der Schritt des Reflektierens der stereoskopischen Bilder zu den Augen eines Betrachters und der Schritt des Übermittelns von von dem realen Objekt reflektierten Lichtes den Schritt eines Anordnens eines halbverspiegelten Spiegels umfaßt, wobei der Spiegel einen Winkel von im wesentlichen 45 Grad zu der Anzeigefläche der Anzeigeeinrichtung bildet.
Das Verfahren nach Anspruch 7, wobei der Schritt des selektiven Blockierens der Transmission des von dem realen Objekt reflektierten Lichts den Schritt eines Anordnens eines LCD-Array-Paneels benachbart zu der Reflektoreinrichtung entgegengesetzt zu dem Betrachter umfaßt.
Das Verfahren nach Anspruch 7, wobei der Schritt des selektiven Blockierens der Transmission des von dem realen Objekt reflektierten Lichts den Schritt eines selektiven Blockierens der Transmission des von dem realen Objekt reflektierten Lichts pixelweise gemäß einer Mehrzahl von durch die Computereinrichtung ermittelten Alpha-Werten umfaßt, wobei jeder Alpha-Wert einem Pixel entspricht.
Das Verfahren nach Anspruch 11, wobei die Computereinrichtung die Alpha-Werte durch ein Wiedergeben des realen Objektes und des virtuellen Objektes in dem virtuellen Koordinatenraum und durch Ausführen einer Z-Pufferung der wiedergegebenen realen und virtuellen Objekte ermittelt.