DE60030401T2

DE60030401T2 - Anzeigetechniken für dreidimensionale virtuelle Realität

Info

Publication number: DE60030401T2
Application number: DE60030401T
Authority: DE
Inventors: John T. New York Edmark
Original assignee: Lucent Technologies Inc
Current assignee: Nokia of America Corp
Priority date: 1999-12-22
Filing date: 2000-12-08
Publication date: 2007-02-22
Anticipated expiration: 2020-12-09
Also published as: EP1111546A2; DE60030401D1; JP2001222726A; AU7237200A; EP1111546B1; CA2327779C; US6567085B1; EP1111546A3; CA2327779A1; JP5165819B2

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft die Integration dreidimensionaler Computergraphik und eines zweidimensionalen Bildes zur Bereitstellung eines realistischen dreidimensionalen Virtual-Reality-Erlebnisses.
Allgemeiner Stand der Technik
Die Anzeige einer dreidimensionalen Virtual-Reality-Welt für einen Benutzer erfordert beträchtliche Rechenleistung und es ist in der Regel kostspielig, die dafür erforderlichen notwendigen hochdetaillierten Modelle zu entwickeln. Um das Problem zu vereinfachen, kann man zweidimensionale Bilder wie etwa Videos oder Fotografien zur Repräsentation oder Simulation von Teilen der dreidimensionalen Welt verwenden. Durch eine solche Anordnung läßt sich eine große Reduktion der Rechenleistung und Kosten erzielen.
Eine Beschränkung einer solchen Welt entsteht, wenn sich ein Benutzer in der Welt bewegt und die Welt von einem anderen Ort als dem ursprünglichen Kontext des zweidimensionalen Bildes aus betrachtet, der sorgfältig kalibriert wurde, um in die Welt „reinzupassen". Ansichtsänderungen, wie etwa von einem anderen Ort als dem idealen Sichtpunkt des Bildes, der auch als „Mitte der Projektion" bekannt ist, führen dazu, daß das Bild nicht gut mit umgebenden Objekten der dreidimensionalen Welt ausgerichtet ist oder auf diese paßt. Anzeigetechniken zur Behandlung solcher Sichtpunktänderungen werden jedoch in dem US-Patent-Nr. 6,229,548 beschrieben, das die Manipulation des zweidimensionalen Bildes durch Verwendung sogenannter „pyramidischer Panel-Strukturen" offenlegt. Genauer gesagt, wird das zweidimensionale Bild so manipuliert, daß Fluchtpunkt(e) des Bildes gemäß der Bewegung des Benutzers eingestellt wird bzw. werden. Auf diese Weise wirkt, während sich der Benutzer von dem idealen Sichtpunkt wegbewegt, eine Verzerrung zur Begrenzung der Diskontinuitäten zwischen dem zweidimensionalen Bild und der Umgebung der Welt. Diese letzteren neuartigen Anzeigetechniken haben jedoch den Nachteil, daß sie hauptsächlich für sogenannte „korridorartige" zweidimensionale Bilder, wie zum Beispiel Straßen, arbeiten, bei denen parallele Merkmale an einem sogenannten „Fluchtpunkt" zu konvergieren scheinen.
G.U. Carraro et al., „Techniques for Handling Video in Virtual Environments", Computer Graphics, Siggraph 98 Conference Proceedings, Orlando FL, 19.-24.07.1998, Computer Graphics Proceedings, Siggraph, New York NY ACM US (19.07.1998), Seiten 353-360, bespricht die Verwendung pyramidischer Panels zur Integration von korridorartigem Bild in virtuelle Umgebungen.
Y. Horry et al., „Tour Into the Picture: Using A Spidery Mesh Interface to Make Animation from A Single Image", Computer Graphics Proceedings, Siggraph 97, Los Angeles, 3.-8.8.1997, Reading, Addison Wesley US (03-08-1997), Seiten 225-232, bespricht ein Verfahren mit dem Namen TIP (Tour Into the Picture) zur Erzeugung von Animationen aus einem 2D-Bild oder -Foto einer Szene. Eine sogenannte „spinnenartige Masche" wird verwendet, um ein einfaches Szenenmodell eines 2D-Bildes zu erzeugen.
Kurzfassung der Erfindung
Ein Verfahren und eine Vorrichtung gemäß der vorliegenden Erfindung werden in den unabhängigen Ansprüchen dargelegt, auf die der Leser nun verwiesen wird. Bevorzugte Merkmale werden in den abhängigen Ansprüchen dargelegt.
Obwohl sogenannte „pyramidische Panel-Strukturen" verwendet werden können, um den/die Fluchtpunkt(e) des Bildes gemäß der Bewegung des Benutzers einzustellen, haben solche Strukturen den Nachteil, daß sie hauptsächlich für „korridorartige" zweidimensionale Bilder arbeiten. Der Verfasser hat festgestellt, daß gemäß den Prinzipien der Erfindung Sichtpunktänderungen auch durch Aufteilen des zweidimensionalen Bildes in Polygon-Aufteilungen behandelt werden können, wobei jede einer in dem Bild abgebildeten Oberfläche entspricht, und dann die Eckpunkte der Polygon-Aufteilungen mit der Bewegung des Benutzers gekoppelt werden, um so Verzerrungen zu begrenzen. Bildpunkte, die weiter von der Sichtebene des Benutzers entfernt sind, bewegen sich genauer gesagt dichter mit der Bewegung des aktuellen Sichtpunkts des Benutzers als näher angeordnete Bildpunkte. Während sich der Betrachter von dem idealen Sichtpunkt IVP des Bildes wegbewegt, wirkt die resultierende Verzerrung in dem Bild auf diese Weise als Gegenwirkung und Begrenzung von Verzerrungen. Insbesondere werden bei diesem letzteren Ansatz zweidimensionale Bilder nicht als sogenannte „korridorartige" Bilder behandelt, wodurch eine größere Vielfalt zweidimensionaler Bilder mit der vorliegenden Erfindung verwendet werden kann.
Kurze Beschreibung der Zeichnungen
Es zeigen:
1 ein Beispiel von dem vom Benutzer Gesehenen, wenn ein Benutzer die Welt von dem idealen Sichtpunkt für ein einen Teil der Welt repräsentierendes zweidimensionales Bild betrachtet;
2 ein Beispiel von dem vom Benutzer Gesehenen, wenn sich ein Benutzer in der Welt von 1 bewegt und das zweidimensionale Bild von einem anderen Ort als dem idealen Sichtpunkt des Bildes aus betrachtet, ohne Verwendung der vorliegenden Erfindung;
3 einen beispielhaften Prozeß gemäß den Prinzipien der vorliegenden Erfindung zum Manipulieren des zweidimensionalen Bildes gemäß der Bewegung des Benutzers;
4-6 die Aufteilung des zweidimensionalen Bildes in Polygon-Aufteilungen und die Abbildung der Eckpunkte davon gemäß der Bewegung des Benutzers; und
7 und 8 Beispiele für das vom Benutzer gesehene, wenn ein Benutzer die Welt von einem Ort links des idealen Sichtpunkts des Bildes aus betrachtet, ohne bzw. mit Verwendung der vorliegenden Erfindung.
Ausführliche Beschreibung
Um die Erfindung besser zu verstehen, zeigen 1-2 Beispiele für das vom Benutzer Gesehene, wenn sich der Benutzer in einer dreidimensionalen Virtual-Reality-Welt (x, y, z) bewegt und ein zweidimensionales Bild (x, y) von einem Ort an dem idealen Sichtpunkt (IVP) des Bildes aus und dann von einem anderen Ort aus, d.h. einem von dem ursprünglichen Kontext des Bildes verschiedenen Ort aus, sieht. Zur Vereinfachung der Terminologie soll der Ausdruck zweidimensionales Bild entweder einen Videoclip oder ein Foto bezeichnen.
1 zeigt eine beispielhafte dreidimensionale Reality-Welt 105, die in zwei Teile unterteilt ist, eine Sichtebene 110, auf der ein zweidimensionales Bild 115 wie zum Beispiel eine Standfotografie, ein Bild oder ein aktuelles Einzelbild eines Videoclips gezeigt oder angezeigt ist; und den Rest der Welt 120. In diesem Fall ist das zweidimensionale Bild 115 ein Bild der Bretton Hall, die sich am Schnittpunkt der 86. Straße und des Broadway in New York City befindet und die zur Simulation eines Gebäudes 125 in der durch die rechteckigen Koordinaten (x, y, z) definierten Virtual-Reality-Welt 105 benutzt wird. Der Rest der Welt 120 wird unter Verwendung von Computergrafiktechniken repräsentiert und wird somit hier als Computergrafik (CG-Teil) 120 bezeichnet. Obwohl es nicht gezeigt ist, können in dem CG-Teil 120 verschiedene synthetische dreidimensionale Objekte vorliegen, die zum Beispiel in der Virtual Reality Modeling Language (VRML) modelliert werden.
Obwohl die dreidimensionale Welt 105 tatsächlich nicht in einer zweidimensionalen Ebene (x, y) wiedergegeben werden kann, ist zu beachten, daß sie auf eine Sichtebene projiziert und dort angezeigt werden kann, um so als drei Dimensionen (x, y, z) aufweisend zu erscheinen. Folglich werden die Techniken der vorliegenden Erfindung vorzugsweise mit Computern und Software verwendet, die kompliziert genug ist, um Bilder als drei Dimensionen aufweisend auf einer zweidimensionalen Ebene anzuzeigen. Man beachte, daß, damit die Welt realistisch aussieht, Computergrafik-Anzeigetechniken die z-Komponenten von Objekten benutzen, um sie als Funktion ihrer Distanz (z-Achse) zum Sichtpunkt des Benutzers gemäß den x- und y-Komponenten zu skalieren.
Das zweidimensionale Bild 115 wird sorgfältig in der umgebenden Umgebung des CG-Teils 120 als Funktion der Abmessungen der Umgebungen in der Welt plaziert, zurechtgeschnitten und bemessen. Beim Betrachten des zweidimensionalen Bildes 115 gibt es jedoch nur einen Sichtpunkt, von dem aus der Inhalt des Bildes korrekt betrachtet werden kann. Diese eindeutige Position wird als der ideale Sichtpunkt (IVP) des Bildes bezeichnet, der auch als „Mitte der Projektion" bekannt ist. In 1 ist das zweidimensionale Bild 115 von seinem idealen Sichtpunkt aus zu sehen. Benutzer betrachten das Bild 115 jedoch nur selten von seinem idealen Sichtpunkt aus. Wenn sich Benutzer in der Welt 105 bewegen, wie zum Beispiel nach links oder nach rechts des Gebäudes 125, oder sich näher zu dem Bild oder weiter von ihm weg bewegen, betrachten sie das Bild 115 von anderen Positionen als seinem idealen Sichtpunkt aus. Ohne Verwendung der vorliegenden Erfindung würden solche Sichtpunktänderungen eine Verzerrung von Merkmalen in dem Bild 115 wie in 2 gezeigt verursachen.
Zweidimensionale Bilder werden nicht als sogenannte „korridorartige" Bilder behandelt, so daß vielfältigere zweidimensionale Bilder mit der vorliegenden Erfindung benutzt werden können. Wenn sich der Benutzer jedoch von dem idealen Sichtpunkt wegbewegt, wird das zweidimensionale Bild 115 jedoch ähnlich manipuliert, um die Bewegung des Benutzers zu berücksichtigen, wie später besprochen werden wird. Gemäß den Prinzipien der Erfindung wird das zweidimensionale Bild 115 in separate Polygon-Aufteilungen aufgeteilt, die jeweils einer in dem Bild abgebildeten gewünschten Oberfläche von Objekten entsprechen. Jeder Eckpunkt der Polygon-Aufteilung wird dann an die Bewegung des Benutzers in bezug auf den idealen Sichtpunkt des Bildes angekoppelt, wobei die Kopplungsstärke von der Distanz des Eckpunkts von der Sichtebene 110 abhängt, wie später ausführlicher besprochen werden wird. Das Ergebnis dieser Kopplung besteht darin, daß Objekte in dem zweidimensionalen Bild 115 sich als texturabgebildete Festmodelle zu verhalten scheinen.
3 zeigt einen beispielhaften Prozeß gemäß den Prinzipien der Erfindung zur Manipulation eines zweidimensionalen Bildes 115 gemäß der Position des Betrachters. Der Prozeß beginnt im Schritt 130 immer dann, wenn bestimmt wird, daß sich die Position des Betrachters geändert hat.
Im Schritt 135 wird ein Vektor C von dem idealen Sichtpunkt IVP des Bildes normal zu der Sichtebene 110, die das Bild 115 enthält, projiziert. Im Schritt 140 werden interessierende Objekte in dem zweidimensionalen Bild 115 dann in separate Polygon-Aufteilungen aufgeteilt, die jeweils einer gewünschten Oberfläche des Objekts entsprechen, wie in 4 gezeigt. Hierbei und lediglich zur Veranschaulichung wurde das Gebäude 125 in nur zwei Polygon-Aufteilungen 145 und 150 segmentiert, die der linken bzw. der rechten Seite des Gebäudes entsprechen. Man beachte, daß die Eckpunkte der Polygon-Aufteilungen mit Q₁-Q₆ bezeichnet sind, wobei ihr Schnittpunkt sich entlang dem Liniensegment
befindet. Es versteht sich, daß die Eckpunkte Q₁-Q₆ im dreidimensionalen Raum durch einen entsprechenden Vektor Q _i definiert werden, der auf die Position des Eckpunkts Q_i zeigt. Im Schritt 155 wird danach der aktuelle Sichtpunkt des Benutzers V bestimmt und ein Vektor T wird von dem idealen Sichtpunkt IVP zu dem aktuellen Ort V des Betrachters projiziert. Als nächstes wird im Schritt 160 ein Koppelverhältnis α_i für jeden Eckpunkt Q_i gemäß der folgenden Gleichung berechnet:
wobei D_i die orthogonale Distanz von dem idealen Sichtpunkt (IVP) des Bildes zu der Bildebene in dem dreidimensionalen Raum (x, y, z) der den Eckpunkt Q_i enthaltenden virtuellen Welt ist. Während sich der Betrachter bewegt, wird jeder Eckpunkt Q_i dann gemäß der folgenden Gleichung im Schritt 165 auf einen neuen Eckpunkt Q'_i abgebildet: Q _i' = Q _i + α_i T (Gl. 2), wodurch neue Polygon-Aufteilungen 145' und 150' in den Weltkoordinaten (x, y, z) gebildet werden. Für Fachleute ist ohne weiteres ersichtlich, daß der Ort des abgebildeten Eckpunkts Q'_i im dreidimensionalen Raum durch einen entsprechenden Vektor Q _i' definiert wird, der auf den Ort des Eckpunkts Q'_i zeigt. Dies ist in 5 dargestellt. Außerdem ist zur Veranschaulichung in 6 die orthogonale Distanz D₃ für den Eckpunkt Q₃ gezeigt. Man beachte, daß α_i von 1 für die Eckpunkte, die sich bei Unendlich (D = ∞) befinden, bis zu 0 für die Eckpunkte, die sich in der Sichtbildebene befinden (D = |C|), variiert, wodurch eine stärkere Kopplung für ferner gelegene Objekte bereitgestellt wird. Im Schritt 165 werden die entsprechenden Bilder in den ursprünglichen Polygon-Aufteilungen 145 und 150 dann auf neue Polygon-Aufteilungen 145' bzw. 150' texturabgebildet. Ähnlich wird die oben beschriebene Prozedur für jede Polygon-Aufteilung wiederholt (Schritt 170). Es versteht sich, daß die obigen Polygon-Aufteilungen im dreidimensionalen Raum (x, y, z) der virtuellen Welt im Schritt 165 so manipuliert wurden, daß sich ferner von der Sichtebene 110 gelegene Bildpunkte dichter mit der Bewegung des aktuellen Sichtpunkts des Benutzers bewegen als die Punkte, die sich ferner näher der Sichtebene befinden. Während sich der Betrachter von dem idealen Sichtpunkt IVP des Bildes wegbewegt, wirkt die resultierende Verzerrung auf diese Weise in dem Bild zur Begrenzung von Verzerrungen.
7 und 8 vergleichen die Anzeige des zweidimensionalen Bildes 115 für die Anzeige desselben Bildes mit und ohne Verwendung der Polygon-Aufteilungen der vorliegenden Erfindung. Genauer gesagt zeigt 7 die Betrachtung des zweidimensionalen Bildes 115 an einem Ort links des idealen Sichtpunkts IVP des Bildes ohne Verwendung der vorliegenden Erfindung. In dieser letzteren Figur beachte man die Verzerrungen in dem Bild. 8 zeigt dasselbe zweidimensionale Bild, das gemäß den Prinzipien der Erfindung manipuliert wurde. Man beachte jedoch, daß in dieser letzteren Figur die Verzerrungen im wesentlichen beseitigt wurden.
Es sollte offensichtlich sein, daß Objekte in dem zweidimensionalen Bild in mehr als zwei Polygon-Aufteilungen aufgeteilt werden können. Anstatt die Seiten des Gebäudes als zwei Oberflächen zu behandeln, kann man zum Beispiel mehrere Polygon-Aufteilungen verwenden, die jeweils einen verschiedenen Teil des Gebäudes im dreidimensionalen Raum der Welt 105 repräsentieren, wie etwa Türen, Wände und Fenster. In einem solchen Fall wird jede Polygon-Aufteilung ähnlich auf die hier oben beschriebene Weise manipuliert. Die Aufteilung von Objekten im zweidimensionalen Bild in eine größere Anzahl kleinerer Polygon-Aufteilungen verringert Verzerrungen weiter. Es wird in Betracht gezogen, daß die Anzahl der Polygon-Aufteilungen, in die jedes Objekt aufgeteilt wird, empirisch auf der Basis des Bildinhalts sowie des Bewegungsbereichs des Benutzers in der virtuellen Welt und der Verarbeitungsleistung des verwendeten Computersystems gewählt werden kann.

Claims

Verfahren zur Verwendung bei der Verarbeitung einer Ansicht einer dreidimensionalen Welt, bei dem ein erster Teil der Welt als Computergraphik modelliert und ein zweiter Teil der Welt durch ein zweidimensionales Bild repräsentiert wird, mit den folgenden Schritten: Bestimmen des aktuellen Sichtpunkts des zweidimensionalen Bildes des Benutzers (155); Aufteilen des zweidimensionalen Bildes in Polygon-Aufteilungen, die jeweils einer gewünschten Oberfläche eines in dem zweidimensionalen Bild abgebildeten Objekts entsprechen (140); Verzerren der Polygon-Aufteilungen gemäß der Bewegung des aktuellen Sichtpunkts des Benutzers von dem idealen Sichtpunkt des zweidimensionalen Bildes, wobei die Eckpunkte der Polygon-Aufteilungen mit der Bewegung des Benutzers gekoppelt sind, dergestalt, daß Bewegungen von Bildpunkten, die sich ferner von der Sichtebene des Benutzers entfernt befinden, stärker mit der Bewegung des aktuellen Sichtpunkts des Benutzers gekoppelt werden als die Punkte, die sich näher bei der Sichtebene Befinden (160, 165), wobei der ideale Sichtpunkt die Mitte der Projektion des zweidimensionalen Bildes ist; und während sich der Benutzer in der dreidimensionalen Welt bewegt, Wiederholen des obigen Verzerrungsschritts, um so Diskontinuitäten zwischen dem zweidimensionalen Bild und der Computergraphik zu begrenzen.
Verfahren nach Anspruch 1, ferner mit dem Schritt des Skalierens des zweidimensionalen Bildes als Funktion der Dimensionen der Umgebung in der Welt, vor dem Aufteilungsschritt.
Verfahren nach Anspruch 1, wobei das zweidimensionale Bild kein "korridorartiges" Bild ist, wobei ein korridorartiges Bild parallele Strukturelemente aufweist, die scheinbar an einem einzigen Verschwindungspunkt konvergieren.
Verfahren nach Anspruch 1, ferner mit dem Schritt des Anzeigens des mit dem ersten Teil der Welt, der als Computergraphik modelliert wird, zusammengeführten zweidimensionalen Bildes, nach dem Verzerrungsschritt.
Verfahren nach Anspruch 1, wobei das zweidimensionale Bild ein Videoeinzelbild ist.
Verfahren nach Anspruch 1, wobei das zweidimensionale Bild ein Standbild ist.
Verfahren zur Verwendung bei der Verarbeitung einer Ansicht einer dreidimensionalen Welt, bei dem ein erster Teil der Welt als Computergraphik modelliert und ein zweiter Teil der Welt durch ein zweidimensionales Bild repräsentiert wird, das auf eine Sichtebene projiziert wird, die einen idealen Sichtpunkt (IVP) aufweist, wobei es sich bei dem idealen Sichtpunkt um die Mitte der Projektion des zweidimensionalen Bildes handelt, mit den folgenden Schritten: Projizieren eines Vektors C von dem idealen Sichtpunkt (IVP) des Bildes normal zu der Sichtebene des zweidimensionalen Bildes (135); Aufteilen des zweidimensionalen Bildes in eine erste Menge von Polygon-Aufteilungen mit als Q₁-Q_i bezeichneten Eckpunkten, wobei jede der Polygon-Aufteilungen einer in dem zweidimensionalen Bild gezeigten Oberfläche entspricht, wobei i eine ganze Zahl ist (140); Projizieren eines Vektors T von dem idealen Sichtpunkt IVP des Bildes zu dem aktuellen Sichtpunkt V (155); Bestimmen eines Koppelverhältnisses α_i für jeden Eckpunkt, der durch
gegeben wird, wobei D_i die orthogonale Distanz von dem idealen Sichtpunkt (IVP) des Bildes zu der Bildebene im dreidimensionalen Raum (x, y, z) der den Eckpunkt Q_i enthaltenen Welt ist (160); Abbilden (165) jeweils der Eckpunkte Q₁-Q_i auf Q₁'-Q_i' im dreidimensionalen Raum (x, y, z) der Welt gemäß der Beziehung Q _i' = Q _i + α_i T, wodurch eine zweite Menge von Polygon-Aufteilungen definiert wird, wobei Q_i und Q_i' im dreidimensionalen Raum durch entsprechende Vektoren Q _i und Q _i' definiert sind, die auf die Position der Eckpunkte Q_i bzw. Q_i' zeigen; und Abbilden des entsprechenden Bildes in der ersten Menge von Polygon-Aufteilungen auf die zweite Menge von Polygon-Aufteilungen (165).
Verfahren nach Anspruch 7, ferner mit dem Schritt des Skalierens des zweidimensionalen Bildes als Funktion der Dimensionen der Umgebung in der Welt, vor dem Aufteilungsschritt.
Verfahren nach Anspruch 7, wobei das zweidimensionale Bild kein "korridorartiges" Bild ist, wobei ein korridorartiges Bild parallele Strukturelemente aufweist, die scheinbar an einem einzigen Verschwindungspunkt konvergieren.
Verfahren nach Anspruch 7, ferner mit dem Schritt des Anzeigens des mit dem ersten Teil der Welt, der als Computergraphik modelliert wird, zusammengeführten zweidimensionalen Bildes.
Verfahren nach Anspruch 7, wobei das zweidimensionale Bild ein Videoeinzelbild ist.
Verfahren nach Anspruch 7, wobei das zweidimensionale Bild ein Standbild ist.
Vorrichtung mit Mitteln zum Ausführen der Schritte eines Verfahrens nach einem der vorhergehenden Ansprüche.