DE102007023506A1

DE102007023506A1 - Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum

Info

Publication number: DE102007023506A1
Application number: DE200710023506
Authority: DE
Inventors: Steffen Dipl.-Inform. Bötcher; Wolfgang Dipl.-Ing. Opel; Thomas Dr.-Ing. Schmitt
Original assignee: SPATIAL VIEW GmbH
Current assignee: SPATIAL VIEW INC., CA; SPATIAL VIEW INC., TORONTO, CA
Priority date: 2007-05-18
Filing date: 2007-05-18
Publication date: 2008-11-20
Also published as: WO2008141596A1; EP2156410A1

Abstract

Ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, wobei für das Verfahren die Position eines Betrachters des Bildobjekts erfasst wird, ist im Hinblick auf eine möglichst realitätsnahe Darstellung eines Bildobjekts in einem virtuellen Bildraum, insbesondere bei Interaktion mit dem Bildobjekt, dadurch gekennzeichnet, dass die Position des Betrachters in eine Berechnung und/oder Auswahl von Ansichten des Bildobjekts derart einbezogen wird, dass die reale Position des Betrachters und/oder deren Veränderung in den virtuellen Bildraum abgebildet und zur Steuerung mindestens einer virtuellen Kamera genutzt wird, wobei durch eine virtuelle Kamera eine dem Betrachter dargestellte Ansicht des Bildobjekts aufgenommen wird.

Description

Die Erfindung betrifft ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, wobei für das Verfahren die Position eines Betrachters des Bildobjekts erfasst wird.
In den verschiedensten Bereichen wird verstärkt versucht, Vorgänge in virtuellen Realitäten durchzuführen oder zu erproben, da dort insbesondere spezielle Arbeitsbedingungen gezielt simuliert werden können. Der Begriff „virtuelle Realität" (VR) bezeichnet dabei die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer meist in Echtzeit computergenerierten interaktiven virtuellen Umgebung. Auch wenn die technischen Möglichkeiten, beispielsweise hinsichtlich einer umfassenden Wahrnehmung physikalischer Eigenschaften, noch beschränkt sind, so sind die Einsatzmöglichkeiten dennoch überaus umfangreich. Beispielhaft sei auf deren Verwendung in Flugzeugsimulatoren bei der Ausbildung von Piloten, bei der Erstellung von virtuellen Prototypen in der Industrie, bei der Durchführung von Ergonomietests, zur Visualisierungen von Gebäuden, in der medizinischen Diagnostik, bei der Simulation von Operationen, bei virtuellen Besuchen schwer erreichbarer Orte, im Edutainment oder dergleichen verwiesen.
Besonderes Augenmerk bei der Generierung und Vermittlung virtueller Realitäten liegt darauf, einem Benutzer eine möglichst umfassende Immersion, d. h. ein Eintauchen in die virtuelle Realität, zu ermöglichen. Hierbei nimmt eine möglichst realitätsnahe visuelle Wahrnehmung der virtuellen Realität einen besonderen Stellenwert ein. Dazu werden beispielsweise HMDs (Head-Mounted Displays), Großbildleinwände oder CAVEs (Cave Automatic Virtual Environments) genutzt.
Für eine besonders realitätsnahe visuelle Wahrnehmung ist eine Darstellung mit erlebbarer räumlicher Tiefe hilfreich. Zum Erzeugen eines räumlichen Eindrucks werden zwei Ansichten eines Objekts aus geringfügig unterschiedlichen Positionen erzeugt und dargestellt (Stereoprojektion). Der Abstand zwischen den beiden Positionen entspricht dabei häufig dem Abstand der Augen des Betrachters. Bei der Darstellung müssen die beiden Ansichten dem jeweils korrekten Auge zugeführt werden. Hierzu sind wiederum eine Reihe unterschiedlicher Technologien bekannt. Prinzipiell kann zwischen aktiven und passiven Verfahren unterschieden werden. Zu den aktiven Verfahren gehören beispielsweise Shutter-Brillen, die mit hoher Geschwindigkeit transparent und dunkel geschaltet werden können. Diese werden zu sammen mit einem Monitor eingesetzt, der wechselseitig ein Bild für das linke und ein Bild für das rechte Auge darstellt. Bei Synchronisation der Brille mit dem Monitor wird jedem Auge das korrekte Bild zugeleitet. Zu den passiven Verfahren zählen Anaglyph- und das Polarisationsverfahren, bei denen zwei Ansichten eines Bildes mit geringfügigem Abstand zueinander in einem Bild überlagert sind. Unter Verwendung von Farb- oder Polarisationsfilterbrillen können diese Bildansichten wieder getrennt werden.
Darüber hinaus sind autostereoskopische Monitore bekannt, die dem Benutzer eine Wahrnehmung räumlicher Tiefe der dargestellten Objekte ohne die Benutzung spezieller Hilfsmittel wie Brillen oder ähnlichem ermöglichen. Ein autostereoskopischer Monitor weist eine sehr feine Bildmatrix auf, vor der unmittelbar ein optisches Mittel, meist in Form von Lentikular- oder Parallax-Barrierensystemen, angebracht ist. Durch die spezielle Geometrie des optischen Mittels wird erreicht, dass bestimmte Bildpunkte der Bildmatrix in eine definierte Raumrichtung abgestrahlt werden. Durch gezieltes Ansteuern der Bildpunkte können gleichzeitig und unabhängig voneinander Bilder für das linke und das rechte Auge dargestellt werden. Die Qualität des dreidimensionalen Eindrucks ist umso höher, je besser getrennt die beiden Ansichten wahrgenommen werden können. Dies kann durch eine Einschränkung des Raumwinkels, in dem eine dreidimensionale Wahrnehmung möglich ist, erreicht werden. Um dennoch ein komfortables Arbeiten am Monitor mit maximaler Bewegungsfreiheit des Betrachters zu erreichen, werden Tracking-Systeme verwendet, die die Position des Betrachters kontinuierlich erfassen. In Abhängigkeit der Position des Betrachters werden die Bildpunkte auf der Bildmatrix oder die Position des optischen Mittels durch geringfügiges Verschieben nachgesteuert, sodass der räumlich enge Betrachtungswinkel der Bewegung des Betrachters nachgeführt wird.
Zur Interaktion mit der virtuellen Realität werden verschiedenste Eingabegeräte verwendet. Beispielhaft sei auf die Verwendung von 3D-Mäusen, Datenhandschuhen, Joysticks oder auch Tastaturen hingewiesen. Allerdings ist es auch bekannt, die Position realer Objekte mittels Tracking-Systemen zu erfassen und als Eingabegeräte zu benutzen. Ein derartiges System ist beispielsweise in der europäischen Patentschrift EP 1 025 520 B1 beschrieben.
Die bekannten Verfahren weisen jedoch den Nachteil auf, dass ihre Verwendung meist als unnatürlich und unkomfortabel empfunden wird. Derzeit liefern die Systeme die natürlichsten Eindrücke, die die reale Welt vollständig kapseln können. Dies geschieht beispielsweise bei HMDs, bei denen der Benutzer lediglich die virtuelle Realität sieht. Hier kann vollständig oder zumindest in weiten Teilen auf die Aktionen des Benutzers eingegangen werden. Allerdings sind HMDs meist schwer, kompliziert anzubringen und teuer. Zudem wird für die vollständige Kapselung der realen Welt eine umfangreiche Sensorik benötigt, mit der die Aktionen des Benutzers und insbesondere seine Blickrichtung erfasst werden.
Andere Systeme wie Shutter-Brillen oder autostereoskopische Displays kommen zwar mit einer weit geringeren Menge an Sensorik aus und sind meist mit weit geringerem Aufwand aufzubauen. Allerdings leidet hier wiederum die Natürlichkeit der Wahrnehmung der virtuellen Realität. So möchte ein Betrachter eines dreidimensionalen Objekts beispielsweise nicht lediglich die frontale Seite des Objekts betrachten, sondern meist auch Betrachtungswinkel links und rechts davon. Dies wird meist dadurch gelöst, dass der Betrachter das Objekt in der virtuellen Realität drehen kann. Dadurch können sehr gut verschiedene Ansichten des dreidimensionalen Objekts dargestellt werden. Die Bedienung wird jedoch als unnatürlich empfunden.
Noch schwieriger bei derartigen Systemen ist die Interaktion mit der virtuellen Realität, insbesondere dann, wenn beispielsweise in einem virtuellen Bildraum mit der virtuellen Realität interagiert wird. Der Benutzer darf sich bei dem Auswahlvorgang kaum bewegen, da sich sonst das auszuwählende Objekt zu verschieben und zu verzerren scheint.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art derart auszugestalten und weiterzubilden, dass eine möglichst realitätsnahe Darstellung eines Bildobjekts in einem virtuellen Bildraum, insbesondere bei Interaktion mit dem Bildobjekt, erreichbar ist.
Erfindungsgemäß wird die voranstehende Aufgabe durch die Merkmale des Patentanspruches 1 gelöst. Danach ist das in Rede stehende Verfahren dadurch gekennzeichnet, dass die Position des Betrachters in eine Berechnung und/oder Auswahl von Ansichten des Bildobjekts derart einbezogen wird, dass die reale Position des Betrachters und/oder deren Veränderung in den virtuellen Bildraum abgebildet und zur Steuerung mindestens einer virtuellen Kamera genutzt wird, wobei durch eine virtuelle Kamera eine dem Betrachter dargestellte Ansicht des Bildobjekts aufgenommen wird.
In erfindungsgemäßer Weise ist zunächst erkannt worden, dass eine besonders realitätsnahe Darstellung dann möglich ist, wenn die Bewegung des Betrachters im Wesentlichen auf die Darstellung der virtuellen Realität übertragen werden kann. Bewegt sich beispielsweise ein Betrachter vor einer Anzeigeeinrichtung nach links, so erwartet er – analog zur realen Welt –, dass das dreidimensionale Bildobjekt um einen gewissen Raumwinkel gedreht erscheint. Wenn sich der Betrachter näher an den Bildschirm heranbewegt, so erwartet er, dass verschiedene Details des Bildobjekts deutlicher zu erkennen werden oder einzelne Ansichten sich ändern. Verwendet ein Betrachter ein Werkzeug zur Interaktion mit dem Bildobjekt, beispielsweise in Form eines Auswahlvorgangs im virtuellen Bildraum, so wird erwartet, dass bei einer Bewegung des Betrachters das Werkzeug an dem ausgewählten dreidimensionalen Punkt des Bildobjekts stehen bleibt. Dies ist beispielsweise bei autostereoskopischen Anzeigeeinrichtungen nicht zwangläufig gegeben, da das Bildobjekt für den Betrachter vor dem Monitor zu schweben scheint. Wählt er daher in dem virtuellen Bildraum, also vor dem Monitor, einen Bildpunkt aus, so scheint der Bildpunkt bei Bewegung des Betrachters sich ebenfalls zu bewegen.
Erfindungsgemäß ist daher erkannt worden, dass diese Problematiken besonders einfach gelöst werden können, wenn die Position des Betrachters und/oder deren Veränderung aus der realen Welt in die virtuelle Realität abgebildet wird. Diese in den virtuellen Raum übertragene Position oder Veränderung wird erfindungsgemäß dazu genutzt, um zumindest eine virtuelle Kamera zu steuern, wobei eine virtuelle Kamera einer dem Betrachter dargestellten Ansicht entspricht. Im Falle einer autostereoskopischen Anzeigeeinrichtung waren zwei virtuelle Kameras vorgesehen, die die Ansichten für jeweils ein Auge des Betrachters erzeugen. Die Position der virtuellen Kameras in dem virtuellen Raum korrespondiert mit der realen Position des Betrachters. Durch Verwendung der virtuellen Kameras kann besonders einfach eine Bewegung eines Betrachters „virtualisiert" werden. Insbesondere lassen sich die verschiedensten Vorgänge in die virtuelle Realität übertragen. Dabei können alle zuvor skizzierten Aspekte implementiert oder lediglich einzelne für die jeweilige Anwendung besonders gewünschten realisiert sein.
Prinzipiell ist es nicht von Bedeutung, wie die reale Position beziehungsweise deren Veränderung mit einer Position oder deren Veränderung in dem virtuellen Bildraum, also der Position der virtuellen Kamera/-s, korrespondiert. So kann bei einer Bewegung des Betrachters auf die Anzeigeeinrichtung zu lediglich eine geringe oder überhaupt keine Vergrößerung des Bildobjekts durchgeführt werden. Bewegt sich ein Betrachter um einen gewissen Raumwinkel nach links, so könnte das Bildobjekt um diesen Raumwinkel in entgegengesetzter Richtung gedreht werden. Hier wären jedoch auch geringere oder größere Raumwinkel denkbar. Im Allgemeinen wird es jedoch für eine möglichst realitätsnahe Abbildung der realen Vorgänge in den virtuellen Bildraum sinnvoll sein, die Analogien der realen und virtuellen Position bzw. Bewegung entsprechend abzubilden.
Dabei ist es prinzipiell unerheblich, mit welcher Art von Bildobjekten das erfindungsgemäße Verfahren eingesetzt wird. Sie können im Zusammenhang mit computergenerierten Objekten ebenso wie mit Fotografien, Videosequenzen oder dergleichen eingesetzt werden.
Vorteilhafterweise wird ein Erfassen der Position des Betrachters beziehungsweise deren Veränderung derart erfolgen, dass die Position der Augen des Betrachters erfasst wird. Die Erfassung der Augen in einem Kamerabild ist vergleichsweise einfach und entsprechende Verfahren sind aus der Praxis hinlänglich bekannt. Dazu muss lediglich der Betrachter mit einer Kamera, vorteilhafterweise einem Stereo-Kamerasystem, erfasst werden. Durch eine derartige Positionsverfolgung können die Ansichten des Betrachters von dem dargestellten Bildobjekt sehr einfach und direkt bestimmt werden. Zusätzlich ist dadurch eine große Bandbreite möglicher Einsatzbereiche abdeckbar. Insbesondere müssen dem System keine genaueren physiognomischen Eigenschaften des Betrachters bekannt sein. Vereinfachend könnte jedoch auch die Position des Kopfes genutzt werden. Damit lässt sich die Veränderung der Position recht genau bestimmen. Auch die Positionserfassung kann mit häufig hinreichend guter Genauigkeit erfolgen.
Die Darstellung dürfte dann besonders realistisch empfunden werden, wenn die Ansichten des Betrachters in Echtzeit berechnet werden. Dabei kann eine harte oder eine weiche Echtzeit vorliegen. Insbesondere bei schnellen Bewegungen des Betrachters dürfte eine weiche Echtzeit ausreichend sein, da hier beispielsweise einzelne fehlende Zwischenbilder nicht zu deutlich wahrgenommen werden.
Zum Erzielen eines möglichst realitätsnahen Eindrucks der Darstellung könnten die Ansichten des Bildobjekts bei Veränderung der Position des Betrachters neu berechnet werden. Dabei werden die Positionsänderungen vorzugsweise dreidimensional erfasst, in den virtuellen Bildraum transformiert und zur Steuerung einer oder mehrerer virtueller Kameras genutzt. Damit können die Ansichten des Bildobjekts für den Betrachter realitätsnah dargestellt werden.
Die Neuberechnung der Ansichten könnte in affinen Transformationen des Bildobjekts bestehen. Affine Abbildungen sind Abbildungen zwischen zwei Vektorräumen, bei denen Kolinearitäten und Abstandsverhältnisse bewahrt bleiben. Vorteilhafterweise könnten diese aus Verschiebungen, Drehungen, Stauchungen, Streckungen oder Kombinationen daraus bestehen. Entsprechende Algorithmen zum Berechnen der Transformationen sind aus der Praxis hinlänglich bekannt.
Dabei könnte – wie zuvor bereits erwähnt – die Nachführung des Bildobjekts, d. h. die Transformation des Bildobjekts in Abhängigkeit der Position des Betrachters, analog zu der Bewegung des Beobachters erfolgen. Demzufolge würde die Veränderung des realen Betrachtungswinkels um einen bestimmten Raumwinkel in einer Drehung des Bildobjekts um den gleichen Raumwinkel resultieren. Entsprechendes gilt für andere Bewegungen und Transformationen. Allerdings kann auch eine übersteuerte oder untersteuerte Nachführung des Bildobjekts durchgeführt werden. Bei einer übersteuerten Nachführung würde beispielsweise eine Veränderung der Position des Betrachters um einen bestimmten Raumwinkel zu einer Drehung des Bildobjekts um einen größeren Raumwinkel führen. Entsprechend kann eine untersteuerte Nachführung erfolgen, bei der eine Veränderung der Position des Betrachters um einen bestimmten Raumwinkel auf eine geringere Drehung des Bildobjekts übertragen wird. Diese Aspekte sind bei anderen Bewegungen des Betrachters, wie beispielsweise auf die Anzeigeeinrichtung zu, und bei anderen Transformationen entsprechend anwendbar.
Beim Verändern des Blickwinkels oder des Abstands zu einem dreidimensionalen Bildobjekt werden sich verschiedene Details der Ansichten ändern. Bewegt sich ein Betrachter parallel zu der Bildschirmebene, so werden möglicherweise verschiedene Bereiche des Bildobjekts erst nach einem gewissen Versatz zwischen den Betrachtungspositionen sichtbar. Als ein einfaches Beispiel sei ein Würfel betrachtet, dessen eine Fläche sich parallel zur Bildschirmebene befindet. Bewegt sich ein Betrachter nach links oder nach rechts, so wird er die linke oder die rechte Fläche des Würfels erst ab einer gewissen Position sehen können. Vergleichbares gilt für den Versatz nach oben und nach unten. Die Deck- bzw. die Bodenfläche wird erst ab einer bestimmten Position sichtbar werden.
Ähnliche Aspekte gelten bei komplexer ausgebildeten Bildobjekten. So werden komplexe Gebilde Bereiche aufweisen, die sich je nach Betrachtungsposition gegenseitig verdecken. In einer anderen Position könnten diese jedoch sichtbar sein. Um einen möglichst realitätsbezogenen Eindruck bei dem Betrachter zu hinterlassen, könnten diese in Abhängigkeit der Position sichtbaren Bereiche jeweils entsprechend generiert oder angepasst werden. Dies kann gemäß einer Ausführungsform der Erfindung durch eine Neuberechnung dieser Bereiche realisiert werden.
Bei allen Veränderungen der Darstellungen sollte jedoch gewährleistet sein, dass bei einer dreidimensionalen Darstellung des Bildobjekts, beispielsweise auf einem autostereoskopischen Display, die Voraussetzungen für dreidimensionales Sehen erfüllt bleiben. Insofern sind die Positionen möglicherweise gewissen Einschränkungen unterworfen. Meist sind die Grenzen jedoch weit genug gesteckt, so dass dies nur eine geringere Einschränkung bedeutet.
In vielen Fällen sind für die Berechnung der neuen Bildinformationen Informationen über die dreidimensionale Beschaffenheit des Objekts notwendig. Dazu könnte ein dreidimensionales Modell des Bildobjekts vorhanden sein. Dieses dreidimensionale Modell könnte auf die verschiedensten Arten realisiert sein. Ist das Bildobjekt beispielsweise als virtuelles Objekt generiert, so werden die dreidimensionalen Informationen sehr wahrscheinlich bereits in einfacher Art vorliegen. Werden reale Gegenstände in den virtuellen Bildraum transformiert, so müssen gegebenenfalls dreidimensionale Modelle, beispielsweise aus bestehenden Bildern und Ansichten, oder durch 3D-Scans des Objekts generiert werden. Auch hierzu sind aus der Praxis verschiedenste Verfahren bekannt. So werden beispielsweise Bildobjekte durch Polygonzüge angenähert und kleine Bildausschnitte in die Teilpolygone gemapped.
Insbesondere bei besonders realitätsnahen und detailgenauen Darstellungen von Bildobjekten kann relativ schnell die Leistungsfähigkeit der eingesetzten Prozessoren erreicht sein. Daher kann es in einigen Fällen sinnvoll sein, Ansichten des Bildobjekts aus verschiedenen Betrachtungswinkeln in einem Speicher abzulegen. Diese Daten könnten dann in Abhängigkeit von der Position des Betrachters aus dem Speicher wieder ausgelesen werden und auf der Anzeigeeinrichtung geeignet dargestellt werden. Um dennoch einen flüssigen Übergang zwischen den einzelnen gespeicherten Ansichten erreichen zu können, könnten Zwischenbilder zwischen den abgespeicherten Ansichten auf geeignete Weise – beispielsweise durch Morphing – berechnet werden. Derartige Berechnungsarten zur Überblendung oder Interpolation von Ansichten sind aus der Praxis hinlänglich bekannt.
Vorzugsweise kommt das erfindungsgemäße Verfahren im Zusammenhang mit der Darstellung auf einer autostereoskopischen Anzeigeeinrichtung zum Einsatz. Dabei wird es von Vorteil sein, wenn neben der Berechnung der Ansichten in Abhängigkeit von der Position oder der Bewegung des Betrachters zusätzlich eine genaue Steuerung des Betrachtungswinkels vorgenommen wird. Dies geschieht – wie zuvor beschrieben – durch geeignetes Ansteuern der Leuchtpunkte hinter dem optischen Mittel der autostereoskopischen Anzeigeeinrichtung. Die Anpassung kann als Regelkreis parallel oder sequentiell zu der Neuberechnung der Ansichten durchgeführt werden. Dabei ist wichtig zu unterscheiden, dass bei der Nachregelung lediglich in einem geringen Bereich Bildpunkte verschoben werden. Eine vollkommene Neuerzeugung von Ansichten des Bildobjekts erfolgt hierbei nicht.
Allerdings muss das Verfahren nicht zwangsläufig zusammen mit Anzeigeeinrichtungen zur dreidimensionalen Darstellung verwendet werden. So ist es durchaus auch möglich, einen Standardmonitor zu verwenden und die Ansichten des Bildobjekts lediglich monoskopisch darzustellen. Hier würde eine virtuelle Kamera genügen, die lediglich eine Ansicht des Bildobjekts erzeugt.
Nach einem anderen Aspekt der Erfindung kann das Verfahren auch zusammen mit einer Auswahleinrichtung eingesetzt werden, die eine Interaktion mit dem Bildobjekt oder Teilen davon erlaubt. Diese Auswahleinrichtung ist vorzugsweise frei im Bildraum bewegbar. Mit dieser Auswahleinrichtung kann das Bildobjekt oder Teile davon ausgewählt, markiert, verschoben, bearbeitet, gedreht oder in anderer Weise beeinflusst werden. Eine derartige Auswahleinrichtung ist in der europäischen Patentschrift EP 1 025 520 B1 der Anmelderin beschrieben.
Die Auswahleinrichtung könnte durch ein relativ beliebiges Objekt gebildet sein, dessen dreidimensionale Position und gegebenenfalls Orientierung mittels eines geeigneten Systems bestimmt wird. Hier könnte beispielsweise ein stereoskopisch arbeitendes Kamerasystem verwendet werden, mit dem das Objekt erfasst wird. Das zu verfolgenden Objekt könnte durch einen Stift, ein beliebiges Werkzeug, mit dem der Betrachter mit dem Bildobjekt interagiert, oder dergleichen realisiert sein. Der Betrachter könnte jedoch auch einen Finger als Auswahleinrichtung verwenden. Damit kann besonders natürlich mit einzelnen Bereichen des Bildobjekts interagiert werden.
Insbesondere bei autostereoskopischen Anzeigeeinrichtungen scheint das dargestellte Bildobjekt vor der Anzeigeeinrichtung zu schweben. Wählt ein Betrachter einen Punkt des Bildobjekts aus und bewegt sich danach von dem bisherigen Beobachtungspunkt weg, so scheint der ausgewählte Punkt sich von dem Finger wegzubewegen. Diesem kann bei dem erfindungsgemäßen Verfahren dadurch Rechnung getragen werden, dass die Ansicht des Bildobjekts nicht nur in Abhängigkeit der Position des Betrachters sondern auch in Abhängigkeit von der Position der Auswahleinrichtung berechnet werden. Bei Auswahl eines Punktes des Bildobjekts könnte daher bestimmt werden, welche Bildbereiche der Betrachter hinter der Auswahleinrichtung liegend sieht. Diese Bildbereiche müssten dann auch bei Bewegung des Betrachters hinter der Auswahleinrichtung verbleiben. Dies hat zur Folge, dass zusätzlich zum Einbeziehen der Position des Betrachters die Auswahleinrichtung als Bezugspunkt bei einer Transformation des Bildobjekts bzw. der Steuerung der virtuellen Kamaras genutzt wird.
Hinsichtlich einer noch realistischeren Darstellung könnte durch die Auswahleinrichtung eine Beeinflussung des Bildobjekts erfolgen. So könnte ein „Berühren" des Bildobjekts durch die Auswahleinrichtung eine Verformung des Bildobjekts oder ein virtuelles Eintauchen in das Bildobjekt bewirken. Derartige Verformungen, Verschie bungen oder sonstige Transformationen des Bildobjekts könnten zusätzlich zu den Neuberechnungen der Ansichten durchgeführt werden.
Wegen den allgemein sehr hohen Anforderungen bei den Neuberechnungen der Ansichten könnte es sinnvoll sein, die Berechnungen nicht lediglich unter Verwendung standardmäßiger Computerprozessoren durchzuführen. Vielfach sind bei der Bilddarstellung für die Anzeigeeinrichtung bereits hochleistungsfähige Grafikprozessoren im Einsatz. Werden die Bildansichten beispielsweise auf einem leistungsfähigen Standardrechner, beispielsweise einem Personal Computer, durchgeführt, so verfügen diese über eine Grafikkarte, die die Bilder für die Anzeigeeinrichtung in geeigneter Form darstellt. Die dort eingesetzten Grafikprozessoren verfügen bereits über speziell angepasste Operationen, um dreidimensionale Transformationen einfacher und schneller durchführen zu können. Derartige Fähigkeiten könnten bei der Umsetzung des Verfahrens vorteilhafter Weise genutzt werden. Zusätzlich könnten Standard-Software-Komponenten, wie beispielsweise DirectX oder OpenGL, verwendet werden. Auch dadurch könnte die Leistungsfähigkeiten der entsprechend implementierenden Software weiter verbessert und beschleunigt werden.
Hinsichtlich eines besonders flexiblen Einsatzes könnten die Berechnungen der Ansichten auf mobilen Hardware-Komponenten durchgeführt werden. Dabei könnten lediglich einzelne Komponenten des gesamten Systems mobil ausgebildet und über eine vorzugsweise drahtlose Verbindung mit einer mehr oder weniger stationären Komponente verbunden sein. So ließen sich beispielsweise die Ansichten auf einem Standardrechner berechnen und über eine Funkverbindung an eine mobile Anzeigeeinrichtung senden. Alternativ könnten sowohl die Berechnungen als auch die Darstellung auf einem mobilen Gerät stattfinden. Ein mobiles Gerät kann dabei auf unterschiedliche Art und Weise implementiert sein. Sie kann ein Laptop ebenso umfassen wie einen leistungsfähigen PDA (Personal Digital Assistant) oder speziell für diese Anwendung entwickelte Geräte. Auf dem mobilen Gerät können wiederum Standard-Software-Komponenten Verwendung finden.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten Patentansprüchen und andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert.
In der Zeichnung zeigen
1 eine Drehung eines Bildobjekts bei Bewegung des Betrachters nach links bei Anwendung eines erfindungsgemäßen Verfahrens,
2 eine Änderung der Ansicht bei Bewegung des Betrachters auf die Anzeigeeinrichtung zu und
3 das Beibehalten eines ausgewählten Punktes bei Bewegung des Betrachters in einem erfindungsgemäßen Verfahren.
Die 1 bis 3 zeigen beispielhafte Anordnungen, die zur Anwendung eines erfindungsgemäßen Verfahrens geeignet sind. In den Figuren bezeichnen gleiche Bezugsziffern entsprechende Komponenten.
Auf einer Anzeigeeinrichtung 1 wird ein Bildobjekt 2 dargestellt. Die Anzeigeeinrichtung 1 umfasst eine autostereoskopische Anzeigeeinrichtung, bei der das Bildobjekt 2 vor der Anzeigeeinrichtung zu schweben scheint. Ein Betrachter, dessen Augen 3 in den Figuren dargestellt sind, betrachtet das Bildobjekt 2, das auf der Anzeigeeinrichtung 1 dargestellt wird. Eine Positionserfassung in Form eines stereoskopisch arbeitenden Kamerasystems ermittelt kontinuierlich die Position der Augen 3 des Betrachters. Dabei werden die Koordinaten eines oder beider Augen 3 in Bezug auf die Anzeigeeinrichtung 1 sowohl in horizontaler als auch in vertikaler Richtung bestimmt. Zusätzlich wird der Abstand der Augen 3 zu der Anzeigeeinrichtung 1 ermittelt.
Auf der Anzeigeeinrichtung 1 werden zwei Ansichten des Bildobjekts 2 mit entsprechendem Versatz geeignet dargestellt, sodass vor der Anzeigeeinrichtung 1 ein virtueller dreidimensionaler Bildraum aufgespannt ist. In dem virtuellen Bildraum wird das Bildobjekt 2 dargestellt. Die durch die Positionserfassung bestimmte Position der Augen 3 des Betrachters wird in den virtuellen Bildraum übertragen. Da eine möglichst realistische Darstellung des Bildobjekts 2 auf der Anzeigeeinrichtung 1 erzielt werden soll, entspricht die Position der Augen 3 der Position zweier virtueller Kameras in dem virtuellen Bildraum. Bei einer Bewegung der Augen 3 um einen bestimmten Betrag werden auch die virtuellen Kameras um diesen Betrag in dem virtuellen Bildraum verschoben. Hierbei sind gegebenenfalls die Skalierungen des virtuellen Bildraums zu beachten.
1 zeigt die Bewegung des Betrachters nach links, parallel zur Bildschirmebene der Anzeigeeinrichtung 1. Entsprechend der Bewegung des Betrachters werden die virtuellen Kameras nach links verschoben, wodurch sich die durch die virtuellen Kameras erzeugten Ansichten verändern. Durch die virtuellen Kameras werden dann Bilder aus einem nach links verschobenen Blickwinkel erzeugt, wodurch eine nach rechts mit Drehachse senkrecht zur Zeichenebene gedrehte Ansicht des Bildobjekts 2 entsteht. Diese durch die beiden virtuellen Kameras erzeugten Ansichten werden wiederum in für die Anzeigeeinrichtung geeignete Bilder umgesetzt und auf der Anzeigeeinrichtung 1 dargestellt. Im Ergebnis dreht sich somit durch Bewegung des Betrachters das Bildobjekt 2 auf der Anzeigeeinrichtung 1. Dadurch erhält der Betrachter den Eindruck, dass er das Bildobjekt 2 tatsächlich um einen gewissen Raumwinkel gedreht betrachten kann. Ein quasi-holographischer Eindruck des Bildobjekts wird erzeugt.
Entsprechend der in 1 dargestellten Bewegung des Betrachters nach links oder rechts, kann auch eine Bewegung nach oben oder unten stattfinden. Dies kann analog abgebildet werden.
2 zeigt das Vorgehen, wenn ein Betrachter sich auf die Anzeigeeinrichtung 1 zubewegt. Dies kann mehrere unterschiedliche Effekte hervorrufen. Zum einen werden sich die Betrachtungswinkel auf einzelne Stellen des Bildobjekts 2 verändern. Nähert sich der Betrachter der Anzeigeeinrichtung 1, so wird sich Abbildungsmaßstab des Bildobjekts 2 vergrößern. Außerdem werden durch das Annähern des Betrachters möglicherweise einzelne Bestandteile des Bildobjekts erst sichtbar, die bei der weiter entfernt liegenden Position durch andere Teile des Bildobjekts verdeckt waren. Zusätzlich könnten weitere Details mit der Annäherung des Betrachters sichtbar werden. Des Weiteren verändern sich die Disparitäten, d. h. die Abstände korrespondierender Bildpunkte in den Ansichten für das linke und das rechte Auge. All diese Effekte können durch die Verwendung der virtuellen Kameras bei der Darstellung berücksichtigt werden.
3 zeigt den Fall, dass ein Teil des Bildobjekts 2 mittels einer Auswahleinrichtung 4 markiert wird. Die Auswahleinrichtung 4 ist hier durch einen Finger der Hand des Betrachters gebildet. Der Betrachter hat in dem virtuellen Bildraum einen in der Fig. mit einem Kreis gekennzeichneten Bereich 5 markiert. Bewegt sich der Betrachter nach links, so bewegt sich ohne entsprechende Nachführung scheinbar der markierte Bereich 5 ebenfalls nach links bewegen.
Eine Erfassungseinheit zum Erfassen der Position der Auswahleinrichtung 4 bestimmt zunächst die Position der Auswahleinrichtung in Bezug auf die Anzeigeeinrichtung 1. Wiederum unter Verwendung virtueller Kameras kann bestimmt werden, welcher Bereich 5 in dem virtuellen Bildraum durch die Auswahleinrichtung 4 markiert ist. Dieser markierte Bereich 5 bleibt bei Bewegung des Betrachters nach links als Fixpunkt bestehen. Bei der Transformation des Bildobjekts 2 wird also nicht nur die Position der Augen 3 des Betrachters berücksichtigt, sondern auch der ausgewählte Bereich 5 als Fixpunkt der Transformation verwendet.
Auch wenn die in den Figuren dargestellten Transformationen des Bildobjekts einzeln beschrieben sind, so können diese jedoch auch in Kombination verwendet werden. So wird sich ein Benutzer selten exakt parallel zur Bildschirmebene bewegen, sondern es wird ebenso eine Abweichung im Abstand zu beobachten sein. Gleichzeitig könnte ein Bereich des Bildobjekts markiert sein. Darüber hinaus können neben einer Steuerung der Ansichten durch Bewegung des Betrachters noch andere Vorgänge die Ansichten beeinflussen. So könnte beispielsweise das Objekt zusätzlich in gewohnter Art und Weise gedreht werden.
Abschließend sei ganz besonders hervorgehoben, dass die mit Bezug auf die Figuren beschriebenen Ausführungsbeispiele lediglich zur Erörterung der erfindungsgemäßen Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 1025520 B1 [0006, 0028]

Claims

Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, wobei für das Verfahren die Position eines Betrachters des Bildobjekts erfasst wird, dadurch gekennzeichnet, dass die Position des Betrachters in eine Berechnung und/oder Auswahl von Ansichten des Bildobjekts derart einbezogen wird, dass die reale Position des Betrachters und/oder deren Veränderung in den virtuellen Bildraum abgebildet und zur Steuerung mindestens einer virtuellen Kamera genutzt wird, wobei durch eine virtuelle Kamera eine dem Betrachter dargestellte Ansicht des Bildobjekts aufgenommen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Position des Betrachters die Position der Augen genutzt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ansichten des Bildobjekts bei Veränderung der Position des Betrachters neu berechnet werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Neuberechnungen in Echtzeit erfolgen.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass bei einer Neuberechnung der Ansichten eine affine Transformation des Bildobjekts durchgeführt wird.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass bezüglich der Position des Betrachters bzw. deren Veränderung eine unter- oder übersteuerte Nachführung des Bildobjekts durchgeführt wird.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass bei einer Neuberechung Teilbereiche des Bildobjekts neu berechnet werden, die bei der vor der Neuberechung verwendeten Ansicht verdeckt oder nicht erkennbar waren.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zur Berechnung der Ansichten ein dreidimensionales Modell des Bildobjekts, insbesondere ein Modell mit Tiefeninformationen, verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass einzelne in einem Speicher abgelegte Ansichten aus dem Speicher ausgelesen werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zwischen den einzelnen in dem Speicher abgelegten Ansichten übergeblendet oder interpoliert wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Ansichten auf einer autostereoskopischen Anzeigeeinrichtung dargestellt werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Position des Betrachters zusätzlich zur genaueren Steuerung der dreidimensionalen Darstellung auf der Anzeigeeinrichtung genutzt wird.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass das Bildobjekt oder Teile davon mittels einer im Bildraum vorzugsweise frei bewegbaren Auswahleinrichtung ausgewählt, markiert, verschoben und/oder bearbeitet werden.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Position der Auswahleinrichtung in die Berechnung von Ansichten des Bildobjekts einbezogen wird.
Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Position der Auswahleinrichtung als ein Bezugspunkt bei einer Transformation des Bildobjekts genutzt wird.
Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass die Position der Auswahleinrichtung zur Neuberechung des Bildobjekts und/ oder Teile davon zum Wiedergeben von Verformungen des Bildobjekts oder einem virtuellen Eintauchen der Auswahleinrichtung in das Bildobjekt genutzt wird.
Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass zur Berechung der Ansichten ein dedizierter Grafikprozessor in oder an der Anzeigeeinrichtung und/oder Standard-Hardware- und/oder Standard-Software-Komponenten verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass die Berechnung der Ansichten auf mobilen Hardware-Komponenten und entsprechender Software durchgeführt wird.