-
Die
Erfindung betrifft ein Verfahren zum Darstellen von Bildobjekten
in einem virtuellen dreidimensionalen Bildraum, insbesondere zur
Erzeugung einer virtuellen Realität im Sinne einer Simulation.
-
In
den verschiedensten Bereichen wird verstärkt versucht,
Vorgänge in virtuellen Realitäten abzubilden,
durchzuführen oder zu erproben, da dort insbesondere spezielle
Arbeitsbedingungen gezielt simuliert werden können. Der
Begriff "virtuelle Realität" (VR) bezeichnet dabei die
Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen
Eigenschaften in einer meist in Echtzeit computergenerierten interaktiven – virtuellen – Umgebung.
Auch wenn die technischen Möglichkeiten, beispielsweise
hinsichtlich einer umfassenden Wahrnehmung physikalischer Eigenschaften,
derzeit noch beschränkt sind, so sind die Einsatzmöglichkeiten
dennoch überaus umfangreich. Beispielhaft sei auf deren
Verwendung in Flugzeugsimulatoren bei der Ausbildung von Piloten,
bei der Erstellung von virtuellen Prototypen in der Industrie, bei
der Durchführung von Ergonomietests, bei der Visualisierung
von Gebäuden, sowie in der medizinischen Diagnostik, bei
der Simulation von Operationen, bei virtuellen Besuchen schwer erreichbarer
Orte, beim Edutainment oder dergleichen verwiesen.
-
Besonderes
Augenmerk bei der Generierung und Vermittlung virtueller Realitäten
gilt dem Bestreben, einem Benutzer eine möglichst umfassende
Immersion, d. h. ein Eintauchen in die virtuelle Realität, zu
bieten. Hierbei nimmt eine möglichst realitätsnahe visuelle
Wahrnehmung der virtuellen Realität einen besonderen Stellenwert
ein. Dazu werden beispielsweise HMDs (Head-Mounted Displays), Großbildleinwände
oder CAVEs (Cave Automatic Virtual Environments) genutzt. Für
eine besonders realitätsnahe visuelle Wahrnehmung ist eine
Darstellung mit erlebbarer räumlicher Tiefe von Vorteil.
-
Zum
Erzeugen eines räumlichen Eindrucks werden zwei Ansichten
eines Objekts aus geringfügig unterschiedlichen Positionen
erzeugt und dargestellt (Stereoprojektion). Der Abstand zwischen
den beiden Positionen sollte dem Abstand der Augen des Betrachters
entsprechen. Bei der Darstellung müssen die beiden Ansichten
dem jeweiligen Auge zugeführt werden. Hierzu sind wiederum
eine Reihe unterschiedlicher Technologien bekannt.
-
Grundsätzlich
kann zwischen aktiven und passiven Verfahren unterschieden werden.
Zu den aktiven Verfahren gehören beispielsweise Shutter-Brillen,
die mit hoher Geschwindigkeit transparent und dunkel geschaltet
werden können. Diese werden zusammen mit einem Monitor
eingesetzt, der wechselseitig ein Bild für das linke und
ein Bild für das rechte Auge darstellt. Bei Synchronisation
der Brille mit dem Monitor wird jedem Auge das korrekte Bild zugeleitet.
Zu den passiven Verfahren zählen das Anaglyph- und das
Polarisationsverfahren, bei denen zwei Ansichten eines Bildes mit
geringfügigem Abstand zueinander in einem Bild überlagert
sind. Unter Verwendung von Farb- oder Polarisationsfilterbrillen können
diese Bildansichten wieder getrennt werden.
-
Darüber
hinaus sind aus der Praxis autostereoskopische Monitore bekannt,
die dem Benutzer eine Wahrnehmung räumlicher Tiefe der
dargestellten Objekte ohne die Benutzung spezieller Hilfsmittel wie
Brillen oder ähnliches ermöglichen. Ein autostereoskopischer
Monitor weist eine sehr feine Bildmatrix auf, vor der unmittelbar
ein optisches Mittel, meist in Form von Lentikular- oder Parallax-Barrierensystemen,
angebracht ist.
-
Durch
die spezielle Geometrie des optischen Mittels wird erreicht, dass
bestimmte Bildpunkte der Bildmatrix in eine definierte Raumrichtung
abgestrahlt werden. Durch gezieltes Ansteuern der Bildpunkte können
gleichzeitig und unabhängig voneinander Bilder für
das linke und das rechte Auge dargestellt werden. Die Qualität
des dreidimensionalen Eindrucks ist umso höher, je besser
getrennt die beiden Ansichten wahrgenommen werden können.
Dies kann durch eine Einschränkung des Raumwinkels, in dem
eine dreidimensionale Wahrnehmung möglich ist, erreicht
werden. Um dennoch ein komfortables Arbeiten am Monitor mit maximaler
Bewegungsfreiheit des Betrachters zu erreichen, werden Tracking-Systeme
verwendet, die die Position des Betrachters kontinuierlich erfassen.
In Abhängigkeit der Position des Betrachters werden die
Bildpunkte auf der Bildmatrix oder die Position des optischen Mittels durch
geringfügiges Verschieben nachgesteuert, so dass der räumlich
sehr enge Betrachtungswinkel dem Betrachter nachgeführt
wird.
-
Eine
Besonderheit autostereoskopischer Monitore besteht darin, dass alle
Bildobjekte – unabhängig von ihrer scheinbaren
räumlichen Entfernung vom Betrachter – in der
Monitorebene abgebildet werden, und somit die Augen des Betrachters
stets auf diese Monitorebene fokussiert bleiben (müssen) entgegen
der natürlichen Akkomodation auf unterschiedliche Entfernungen
betrachteter Objekte.
-
Zur
Interaktion mit der virtuellen Realität werden bislang
verschiedene Eingabegeräte verwendet. Beispielhaft sei
auf die Verwendung von 3D-Mäusen, Datenhandschuhen, Joysticks
oder besonderer Tastaturen hingewiesen. Allerdings ist es auch bereits bekannt,
die Position realer Objekte mittels Tracking-Systemen zu erfassen
und als Eingabegeräte zu benutzen. Ein derartiges System
ist beispielsweise in der
EP
1 025 520 B1 beschrieben.
-
Die
bekannten Verfahren der zuvor genannten Art weisen jedoch den erheblichen
Nachteil auf, dass die daraus resultierende Darstellung meist als unnatürlich
und unkomfortabel empfunden wird. Derzeit liefern solche Systeme
die natürlichsten Eindrücke, die die reale Welt
vollständig kapseln. Dies geschieht beispielsweise bei
HMDs, bei denen der Benutzer lediglich die virtuelle Realität
sieht. Hier kann vollständig oder zumindest in weiten Teilen
auf die Aktionen des Benutzers eingegangen werden. Allerdings sind
HMDs meist schwer bzw. kompliziert anzubringen und relativ teuer.
Zudem wird für die vollständige Kapselung der
realen Welt eine umfangreiche Sensorik benötigt, mit der
die Aktionen des Benutzers und insbesondere seine Blickrichtung
erfasst werden. Andere Systeme wie Shutter-Brillen oder autostereoskopische
Displays kommen mit einer weit geringeren Menge an Sensorik aus
und sind meist mit weit geringerem Aufwand aufzubauen. Allerdings leidet
hier wiederum die Natürlichkeit der Wahrnehmung der virtuellen
Realität durch die oben beschriebenen Einschränkungen
bezüglich der Akkomodation. So möchte ein Betrachter
eines dreidimensionalen Objekts nicht lediglich ein Objekt einer
komplexen Szene möglichst natürlich betrachten,
sondern auch andere Objekte, die sich in unterschiedlichen Entfernungen
zum Betrachter und zu anderen Objekten zu befinden scheinen.
-
Der
vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren
der gattungsbildenden Art derart auszugestalten und weiterzubilden, dass
eine möglichst realitätsnahe Darstellung von Bildobjekten
in einem virtuellen Bildraum, insbesondere bei mehreren Bildobjekten
in komplexen Szenen, möglich ist.
-
Erfindungsgemäß ist
die voranstehende Aufgabe durch die Merkmale des Patentanspruches
1 gelöst. Danach ist das in Rede stehende Verfahren dadurch
gekennzeichnet, dass die Blickrichtung eines Betrachters des Bildobjekts
erfasst und für die Darstellung der Bildobjekte sowie für
Interaktionen mit den Bildobjekten berücksichtigt wird.
Dabei sei angemerkt, dass sich die Lehre auch auf mehrere Betrachter
an einem oder an mehreren Displays bezieht, wenngleich fortan – der
Einfachheit halber – stets von dem Betrachter die Rede
ist.
-
In
erfindungsgemäßer Weise ist zunächst
erkannt worden, dass eine besonders realitätsnahe Darstellung
nur dann möglich ist, wenn die Blickrichtung des Betrachters
im Wesentlichen auf die Darstellung der virtuellen Realität übertragen
werden kann.
-
Ändert
ein Betrachter beispielsweise seine Blickrichtung von einem scheinbar
weiter entfernten Objekt auf ein scheinbar näher liegendes
Objekt, so erwartet er – analog zur realen Welt –,
dass das nunmehr betrachtete Objekt schärfer abgebildet
wird, während das nicht mehr betrachtete bzw. fokussierte Objekt
nur noch unscharf im Hintergrund wahrgenommen wird.
-
Die
Blickrichtung kann in vorteilhafter Weise auch als alleiniges Mittel
zur Interaktion eingesetzt werden. Dies erfordert neben der Einrichtung
zur Erfassung der Blickrichtung (Kamera(s)) lediglich eine geeignete
Software und ist damit ein in vielerlei Hinsicht günstiges
und insoweit vorteilhaftes „Eingabegerät". Wird
durch die Analyse der Blickrichtung ein Objekt in einer räumlichen
Szene identifiziert, so kann man diese Information nutzen, um mit
dem Objekt zu interagieren.
-
In
vorteilhafter Weise wird zur Darstellung der virtuellen Realität
die Blickrichtung beider Augen unabhängig voneinander erfasst,
um einen Konvergenzpunkt im realen wie im virtuellen Raum zu bestimmen
und entsprechend berücksichtigen zu können. Dies
ist von ganz besonderem Vorteil, beispielsweise bei der Darstellung
von semi-transparenten Objekten, wie Gewebe, Flüssigkeiten
oder bei der Darstellung von konvexen (lückenhaften, löchrigen) Objekten,
die in einer komplexen Szene auftreten können. Des Weiteren
sei angemerkt, dass der reale und der virtuelle Raum zwei unterschiedliche
Koordinatensysteme haben, die zueinander kalibriert werden müssen.
-
Des
Weiteren soll in weiter vorteilhafter Weise auch die Auswertung
von „Augen-Gesten" einfließen können,
wie z. B. ein- oder mehrmaliger Lidschluss, um damit alleinige oder
kombinierte Interaktion mit dem Bildinhalt ohne weitere Hilfsmittel
zu ermöglichen.
-
Denkbar
ist der Einsatz weiterer Mittel zur Interaktion, beispielsweise
- • Auswahl von Objekten einschließlich
bekannter Interaktionselemente wie Schalter (Buttons), Menuelemente
etc.,
- • Hervorhebung des betrachteten Objektes (durch Veränderung
von Farbe, Markierung der Kanten, Aufblenden eines Rahmens etc.),
- • Auswahl von Aktionen, die mit solchen Elemente verbunden
sind,
- • Veränderung des Abbildungsmaßstabes (Zoom),
- • Manipulation (z. B. Verschieben, Zoom, Ausführen
kontextabhängiger Aktionen wie z. B. Textur- oder Beleuchtungs-Wechsel)
der ausgewählten Objekte,
- • aktive, kontinuierliche Navigation (ähnlich
einem Flugsimulator) in beliebigen Darstellungen: 3D-Szenen, Karten,
Bilder, Videos, Text,
- • Navigation zum ausgewählten Objekt hin (mit Sprung
oder kontinuierlicher Darstellung bis zum Zielpunkt, relativ passiv),
- • Navigation durch Links im Sinne von Verkettungen
von Daten, Bildern oder Informationen,
- • Einblenden von Informationen,
- • Auslösen von hinterlegten Animationen, Videos etc.,
- • Anbringung von Markierungen am Objekt,
- • Einbringen des Blickpunkt-Pfades in die Szene (Malen
mit den Augen),
- • Hinzufügen neuer Objekte in die Szene am
Ort des Blickpunktes, z. B. zeitgesteuert (Verweildauer oder in
festen Intervallen) oder aktiv z. B. durch Blinzeln bzw. (auch temporäres)
Löschen/Ausblenden von Objekten,
- • die Auslösung der Interaktion in Abhängigkeit davon,
wie lange der Blick des Betrachters auf einem ausgewählten
Objekt ruht,
- • Einsatz in kollaborativen 3D-Systemen, wobei mehrere
Nutzer ggf. aus unterschiedlichen Positionen auf ein und dasselbe
Objekt/ein und dieselbe Szene schauen und durch Blick auf bestimmte Bereiche
Interaktionen auslösen, etc.
-
Beliebige
Kombinationen der zuvor aufgeführten Mittel sind denkbar
und je nach Bedarf von Vorteil.
-
An
dieser Stelle sei angemerkt, dass die blickgesteuerte Interaktion
in Kombination mit anderen Interaktionsprinzipien erfolgen kann.
Dazu folgendes:
Verwendet ein Betrachter ein Werkzeug zur Interaktion
mit dem Bildobjekt, beispielsweise in Form eines Auswahlvorgangs
im virtuellen Bildraum, so wird erwartet, dass genau das Bildobjekt,
mit dem interagiert wird, d. h. auf das der Betrachter sowohl seinen Blick
als auch das Werkzeug richtet, scharf abgebildet wird, während
andere Bildobjekte, die sich in scheinbar in anderer Entfernung
zum Betrachter befinden, unscharf davor oder dahinter wahrgenommen werden.
Dies ist bei autostereoskopischen Anzeigeeinrichtungen nicht zwangläufig
gegeben. In vorteilhafter Weise ist daher erkannt worden, dass diese Problematik
besonders einfach gelöst werden kann, wenn die Blickrichtung
des Betrachters und/oder deren Veränderung aus der realen
Welt in die virtuelle Realität abgebildet wird. Diese in
den virtuellen Raum übertragene Blickrichtung oder Blickrichtungsveränderung
wird dazu genutzt, zumindest eine virtuelle Kamera zu steuern, wobei
eine virtuelle Kamera einer dem Betrachter dargestellten Ansicht
entspricht. Im Falle einer autostereoskopischen Anzeigeeinrichtung
sind mindestens zwei virtuelle Kameras vorzusehen, die die Ansichten
für jeweils ein Auge des Betrachters erzeugen. Die Abbildungseigenschaften der
virtuellen Kameras in dem virtuellen Raum korrespondieren mit den
Abbildungseigenschaften der Augen des Betrachters.
-
Durch
Verwendung virtueller Kameras kann besonders einfach eine Blickrichtungsänderung
eines Betrachters auf ein bestimmtes Bildobjekt "virtualisiert"
werden. Insbesondere lassen sich die verschiedensten Vorgänge
in die virtuelle Realität übertragen. Dabei können
die zuvor skizzierten Aspekte, teilweise oder insgesamt, implementiert
oder einzelne Aspekte für die jeweilige Anwendung besonders vorteilhaft
realisiert werden. Prinzipiell hängt es vom Aufbau und
der Komplexität der Szene mit den verschiedenen Bildobjekten
ab, wie die reale Blickrichtung beziehungsweise deren Veränderung
mit der Darstellung des betrachteten Bildobjektes in dem virtuellen
Bildraum korrespondiert. So kann bei einer Blickrichtungsänderung
des Betrachters innerhalb einer Szene mit einer ausgeprägten
räumlichen Staffelung vieler Bildobjekte eine sehr fein
abgestimmte Anpassung der Ab bildungsschärfe des momentan betrachteten
Bildobjektes durchgeführt werden. In einer einfach gestalteten
Szene ist eine Beschränkung auf eine grobe Anpassung der
Abbildungsschärfe eines vordergründigen Bildobjektes
oder des Hintergrundes denkbar.
-
Grundsätzlich
ist es für eine möglichst realitätsnahe
Abbildung der realen Verhältnisse im virtuellen Bildraum
sinnvoll, die Analogien der normalen Akkomodationsvorgänge
des menschlichen Auges zu berücksichtigen und dazu entsprechend
abzubilden. Dabei ist es prinzipiell unerheblich, für welche Art
von Bildobjekten das erfindungsgemäße Verfahren
eingesetzt wird. Sie können im Zusammenhang mit computergenerierten
Objekten ebenso wie mit Fotografien, Videosequenzen oder dergleichen
eingesetzt werden. Vorteilhafterweise wird ein Erfassen der Blickrichtung
des Betrachters beziehungsweise deren Veränderung derart
erfolgen, dass die Position der Augen des Betrachters erfasst sowie
die Winkel der Sehachsen vermessen wird.
-
Für
eine Blickrichtungsdetektion muss der Betrachter mit einer Kamera,
vorteilhafter Weise einem Stereo-Kamerasystem, erfasst werden. In
mehreren Berechnungsschritten wird die momentane Blickrichtung des
Betrachters ermittelt und in eine Position auf der Anzeigeeinrichtung
umgerechnet, welcher sich wiederum ein Bildobjekt in der dargestellten
Szene zuordnen lässt. Durch eine derartige Bestimmung des
momentan betrachteten Bildobjektes können die Ansichten
des Betrachters von der dargestellten Szene sehr einfach und direkt
bestimmt werden.
-
Die
Darstellung dürfte dann besonders realistisch empfunden
werden, wenn die Ansichten des Betrachters in Echtzeit berechnet
werden. Dabei kann eine harte oder eine weiche Echtzeit vorliegen. Insbesondere
bei schnellen Blickrichtungsänderungen des Betrachters
dürfte eine weiche Echtzeit ausreichend sein, da hier beispielsweise
fehlende Zwischenbilder nicht zu deutlich wahrgenommen werden.
-
Zum
Erzielen eines möglichst realitätsnahen Eindrucks
der Darstellung könnten die Ansichten des Bildobjekts bei
Veränderung der Blickrichtung des Betrachters neu berechnet
werden. Dabei werden die Blickrichtungsänderungen erfasst,
einem betrachteten Objekt im virtuellen Bildraum zugeordnet und
zur Steuerung einer oder mehrerer virtueller Kameras genutzt. Damit
können die Ansichten der Szene für den Betrachter
realitätsnah dargestellt werden.
-
Die
Neuberechnung der Ansichten könnte in einer Ortsfrequenzfilterung
ausgewählter Bereiche der Ansichten der Szene bestehen.
Die Ortsfrequenz spielt eine wesentliche Rolle bei der Wahrnehmung von
Schärfe in einem Bild. Bilder mit niedriger Ortsfrequenz
sind unscharf und flächig, Bilder mit hoher Ortsfrequenz
sind detail- und kontrastreich und mit betonten Umrissen. Entsprechende
Algorithmen zur Ortfrequenzfilterung z. B. durch Fouriertransformation
sind aus der Praxis bekannt.
-
Für
Bildobjekte, die sich innerhalb der Szene in der Tiefe kontinuierlich
erstrecken, sollte gewährleistet sein, dass auch bei der
Berechnung der Ansichten der Bildobjekte die Bildschärfe
einen kontinuierlichen Übergang aufweist. In vielen Fällen
sind für die Berechnung der neuen Bildinformationen Informationen über
die dreidimensionale Beschaffenheit des Objekts notwendig. Dazu
könnte ein dreidimensionales Modell des Bildobjekts vorhanden
sein. Dieses dreidimensionale Modell könnte auf die verschiedensten
Arten realisiert sein. Ist das Bildobjekt beispielsweise als virtuelles
Objekt generiert, so werden die dreidimensionalen Informationen
sehr wahrscheinlich bereits in einfacher Art vorliegen.
-
Hier
können bekannte Renderingfilter eingesetzt werden, um die
Ansichten in der gewünschten Qualität darzustellen.
Insbesondere bei besonders realitätsnahen und detailgenauen
Darstellungen von Bildobjekten kann relativ schnell die Leistungsfähigkeit
der eingesetzten Prozessoren erreicht sein. So kann es innerhalb
einer realen Szene mit einer ausgeprägten räumlichen
Staffelung vieler Bildobjekte vorteilhaft sein, vorberechnete, mit
verschiedenen Ortsfrequenzfiltern bearbeitete Teilbereiche der Ansichten
des Bildobjekts, der Fotografien oder der Videosequenzen für
unterschiedliche Akkomodationsverhältnisse in einem Speicher
abzulegen. Diese Daten könnten dann in Abhängigkeit
von der aktuellen Blickrichtung des Betrachters aus dem Speicher
ausgelesen werden und auf der Anzeigeeinrichtung geeignet dargestellt
werden. Um einen flüssigen Übergang zwischen den
einzelnen gespeicherten Ansichten erreichen zu können,
könnten Zwischenbilder zwischen den abgespeicherten Ansichten
auf geeignete Weise – beispielsweise durch Morphing – berechnet
werden. Derartige Berechnungsarten sind für sich gesehen
ebenfalls aus der Praxis bekannt.
-
Vorzugsweise
kommt das erfindungsgemäße Verfahren im Zusammenhang
mit der Darstellung auf einer autostereoskopischen Anzeigeeinrichtung zum
Einsatz. Dabei ist es von Vorteil, wenn neben der Berechnung der
Ansichten in Abhängigkeit von der Blickrichtung sowie von
der Position oder der Bewegung des Betrachters zusätzlich
eine genaue Steuerung des Betrachtungswinkels vorgenommen wird.
Dies geschieht – wie zuvor beschrieben – durch geeignetes
Ansteuern der Leuchtpunkte hinter dem optischen Mittel der autostereoskopischen
Anzeigeeinrichtung. Die Anpassung kann als Regelkreis parallel oder
sequentiell zu der Neuberechnung der Ansichten durchgeführt
werden. Dabei ist wichtig zu berücksichtigen, dass bei
der Nachregelung lediglich in einem geringen Bereich Bildpunkte
verschoben werden. Eine vollkommene Neuerzeugung von Ansichten des
Bildobjekts erfolgt hierbei nicht.
-
Das
erfindungsgemäße Verfahren ist nicht zwangsläufig
in Verbindung mit Anzeigeeinrichtungen zur dreidimensionalen Darstellung
zu sehen. So ist es auch möglich, einen Standardmonitor
zu verwenden und die Ansichten des Bildobjekts monoskopisch darzustellen.
Hier genügt eine virtuelle Ansicht, die lediglich eine
Ansicht des Bildobjekts erzeugt. Nach einem anderen Aspekt der Erfindung
kann das Verfahren auch zusammen mit einer Auswahleinrichtung eingesetzt
werden, die eine Interaktion mit dem Bildobjekt oder Teilen davon
erlaubt. Diese Auswahleinrichtung ist vorzugsweise frei im Bildraum
bewegbar. Mit dieser Auswahleinrichtung kann das Bildobjekt oder
Teile davon ausgewählt, markiert, verschoben, bearbeitet,
gedreht oder in anderer Weise beeinflusst werden.
-
Die
Auswahleinrichtung könnte durch ein beliebiges Objekt gebildet
sein, dessen dreidimensionale Position und gegebenenfalls Orientierung
mittels eines geeigneten Systems bestimmt wird. Hier könnte
beispielsweise ein stereoskopisch arbeitendes Kamerasystem verwendet
werden, mit dem das Objekt erfasst wird. Das zu verfolgende Objekt
könnte durch einen Stift, ein beliebiges Werkzeug, mit dem
der Betrachter mit dem Bildobjekt interagiert, oder dergleichen
realisiert sein. Der Betrachter könnte auch einen Finger
als Auswahleinrichtung verwenden. Damit kann besonders natürlich
mit einzelnen Bereichen des Bildobjekts interagiert werden.
-
Insbesondere
bei autostereoskopischen Anzeigeeinrichtungen scheint das dargestellte
Bildobjekt vor der Anzeigeeinrichtung zu schweben. Wählt ein
Betrachter einen Punkt des Bildobjekts aus, kann man davon ausgehen,
dass er seinen Blick auch auf diesen Punkt richtet. Bei Auswahl
eines Punktes des Bildobjekts kann daher bestimmt werden, welche Bildbereiche
der Betrachter hinter der Auswahleinrichtung liegend sieht. Diese
Bildbereiche entsprechen auch den von der aktuellen Blickrichtung
erfassten Bereichen. Dies hat zur Folge, dass zusätzlich zum
Einbeziehen der Blickrichtung des Betrachters auch die Position
des Betrachters und die Position der Auswahleinrichtung als Informationen
zur Steuerung der Neuberechnung von Ansichten des Bildobjekts genutzt
werden können.
-
Wegen
den allgemein sehr hohen Anforderungen bei den Neuberechnungen der
Ansichten könnte es sinnvoll sein, die Berechnungen nicht
lediglich unter Verwendung standardmäßiger Computerprozessoren
durchzuführen. Vielfach sind bei der Bilddarstellung für
die Anzeigeeinrichtung hochleistungsfähige Grafikprozessoren
im Einsatz. Werden die Bildansichten beispielsweise auf einem leistungsfähigen
Standardrechner, beispielsweise einem Personal Computer, durchgeführt,
so verfügen diese über eine Grafikkarte, die die
Bilder für die Anzeigeeinrichtung in geeigneter Form darstellt.
Die dort eingesetzten Grafikprozessoren verfügen bereits über geeignete
Operationen, um dreidimensionale Transformationen einfacher und
schneller durchführen zu können. Derartige Fähigkeiten
könnten bei der Umsetzung des Verfahrens geeignet genutzt
werden. Zusätzlich könnten Standard-Software-Komponenten,
wie beispielsweise DirectX oder OpenGL, verwendet werden. Auch dadurch
könnten die Fähigkeiten der entsprechend implementierten
Software weiter verbessert und beschleunigt werden.
-
In
Ergänzung zu den voranstehenden Ausführungen sei
angemerkt, dass es in Bezug auf unmittelbare Interaktionen von ganz
besonderer Bedeutung ist, wenn diese weitestgehend kabel- und gerätefrei
auslösbar sind. So lassen sich entsprechende Interaktionen
beispielsweise durch akustische Kommandos, Spracheingabe, örtliche
und zeitliche Gesten, Blinzeln, Gesichtsausdruck, etc. initiieren.
-
Es
gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden
Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden.
Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten
Patentansprüche und andererseits auf die nachfolgende Erläuterung
dreier Ausführungsbeispiele der Erfindung anhand der Zeichnung
zu verweisen. In Verbindung mit der Erläuterung der bevorzugten
Ausführungsbeispiele der Erfindung anhand der Zeichnung
werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen
der Lehre erläutert. In der Zeichnung zeigen
-
1 bis 3 beispielhafte
Anordnungen zur Anwendung des erfindungsgemäßen
Verfahrens.
-
Auf
einer Anzeigeeinrichtung 1 werden Bildobjekte 2a und 2b dargestellt.
Die Anzeigeeinrichtung 1 umfasst eine autostereoskopische
Anzeigeeinrichtung, bei der das Bildobjekt 2a zumindest
teilweise vor der Anzeigeeinrichtung zu schweben scheint, während
Bildobjekt 2b zumindest teilweise im Hintergrund hinter
der Anzeigeeinrichtung wahrgenommen wird. Ein Betrachter, dessen
Augen 3 in den Figuren angedeutet sind, betrachtet das
Bildobjekt 2, das auf der Anzeigeeinrichtung 1 dargestellt wird.
-
Eine
Positionserfassung in Form eines stereoskopisch arbeitenden Kamerasystems
ermittelt kontinuierlich die Position der Augen 3 des Betrachters
in allen drei Raumrichtungen und seine Blickrichtung. Auf der Anzeigeeinrichtung 1 werden
zwei Ansichten des Bildobjekts mit entsprechendem Versatz geeignet
dargestellt, sodass vor der Anzeigeeinrichtung 1 ein virtueller
dreidimensionaler Bildraum aufgespannt ist. In dem virtuellen Bildraum
wird das Bildobjekt 2a scheinbar zumindest teilweise vor
der Anzeigeeinrichtung dargestellt, während das Bildobjekt 2b zumindest
teilweise hinter der Anzeigeeinrichtung dargestellt wird.
-
Die
durch die Positions- und Sehwinkelerfassung ermittelte Blickrichtung
der Augen 3 des Betrachters wird in den virtuellen Bildraum übertragen. Da
eine möglichst realistische Darstellung der Bildobjekte 2a und 2b auf
der Anzeigeeinrichtung 1 erzielt werden soll, entspricht
diese Blickrichtung in 1 einer Akkomodation der Augen 3 auf
das Bildobjekt 2a. Dieses Bildobjekt wird scharf dargestellt, während
das scheinbar weiter entfernte Bildobjekt 2b unscharf erscheint.
Eine Veränderung der Blickrichtung der Augen 3 nach
rechts hin zum Bildobjekt 2b – dargestellt in 2 – wird
vom System erkannt, und es erfolgt eine Anpassung der Ansichten.
-
Danach
erfolgt die Darstellung entsprechend einer Akkomodation auf Bildobjekt 2b.
Das Bildobjekt 2b wird scharf dargestellt während
das scheinbar näher liegende Bildobjekt 2a unscharf
erscheint. Die durch die beiden virtuellen Kameras erzeugten Ansichten
werden wiederum in für die Anzeigeeinrichtung geeignete
Bilder umgesetzt und auf der Anzeigeeinrichtung 1 dargestellt.
-
3 zeigt
den Fall, wonach ein Bildobjekt 2a mittels einer Auswahleinrichtung 4 markiert
wird. Die Auswahleinrichtung 4 ist hier durch einen Finger der
Hand des Betrachters gebildet. Der Betrachter hat in dem virtuellen
Bildraum einen in 3 mit einem Kreis gekennzeichneten
Bereich 5 markiert. Es wird davon ausgegangen, dass der
Betrachter seinen Blick dabei auf die Auswahleinrichtung und auch auf
den gekennzeichneten Bereich 5 richtet.
-
Eine
Erfassungseinheit zum Erfassen der Position der Auswahleinrichtung 4 bestimmt
zunächst die Position der Auswahleinrichtung in Bezug auf
die Anzeigeeinrichtung 1. Unter Verwendung virtueller Kameras
kann bestimmt werden, welcher Punkt 5 in dem virtuellen
Bildraum durch die Auswahleinrichtung 4 markiert ist. Dieser
markierte Bereich 5 entspricht dem Bereich, auf den die
Augen des Betrachters beim Auswahlvorgang akkomodiert sind. Ein
Teil des Bildobjektes 2a wird scharf dargestellt während
scheinbar weiter entfernte Teile des Bildobjektes 2a sowie
Bildobjekt 2b unscharf erscheinen. Bei der Berechnung der
Ansichten der Bildobjekte 2a und 2b wird also
nicht nur die Blickrichtung der Augen 3 des Betrachters
berücksichtigt, sondern auch der ausgewählte Bereich 5 sowie
die Position der Augen 3 des Betrachters als Information
verwendet.
-
Hinsichtlich
weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen
Verfahrens wird zur Vermeidung von Wiederholungen auf den allgemeinen
Teil der Beschreibung sowie auf die nachfolgenden Patentansprüche
verwiesen.
-
Abschließend
sei ganz besonders hervorgehoben, dass die zuvor beschriebenen Ausführungsbeispiele
lediglich zur Erörterung der erfindungsgemäßen
Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele
einschränken.
-
- 1
- Anzeigeeinrichtung
- 2a
- Bildobjekt
- 2b
- Bildobjekt
- 3
- Augen
des Betrachters
- 4
- Auswahleinrichtung
- 5
- markierter
Bereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-