DE69729027T2

DE69729027T2 - Objektvisualisierung im Kontext

Info

Publication number: DE69729027T2
Application number: DE69729027T
Authority: DE
Inventors: Bruce Tognazzini; Jakob Nielsen
Original assignee: Sun Microsystems Inc
Current assignee: Sun Microsystems Inc
Priority date: 1996-07-01
Filing date: 1997-07-01
Publication date: 2005-05-12
Anticipated expiration: 2017-07-02
Also published as: DE69729027D1; EP0817133B1; EP0817133A2; US6532021B1; JPH10188040A; EP0817133A3

Description

Die Erfindung bezieht sich auf Datenverarbeitungssysteme und insbesondere auf einen tragbaren Computer bzw. Handheld-Computer mit einer opaken Anzeige, der dazu verwendet wird, es einem Betrachter zu ermöglichen, ein gerendertes Drahtmodell (wire frame model) eines Objekts in dem Kontext einer Videoanzeige einer Umgebung, in der ein reales Objekt plaziert sein könnte, zu sehen.
Verbraucher finden häufig heraus, daß Waren, die sie gekauft haben, sich als unbefriedigend erweisen, wenn sie einmal in der Zielumgebung plaziert sind. Obwohl die Größe und Farbe eines speziellen Objekts in einem traditionellen gedruckten Katalog beschrieben oder aus einem Online-Katalog über ein Netz wie beispielsweise das World-Wide Web des Internet verfügbar sein können, können z. B. Verbraucher nach einem Kauf enttäuscht sein, wenn das Objekt tatsächlich in dem Heim des Verbrauchers oder einer anderen Zielumgebung plaziert ist.
Computergestützte zweidimensionale Bilder von im Einzelhandel verkauften Objekten sind bekannt, aber versehen den Verbraucher mit einem geringen Gefühl für die Größe des Objekts oder dafür, mit welchem Grad von Erfolg das Objekt sich in die Zielumgebung integrieren würde. Dies trifft besonders für "kundenspezifische" ("custom") Artikel zu, bei denen kein entsprechendes physisches Muster vorhanden ist.
Systeme der virtuellen Realität ermöglichen es dem Verbraucher, eine dreidimensionale Stereodarstellung eines Objekts in einer künstlichen Umgebung zu sehen, während er einen unbequemen Helm trägt, aber die Systeme erleiden ähnliche Beschränkungen.
Ein Videoband mit dem Titel "Starfire" wurde in 1999 von SunSoft produziert. Es stellte eine als das SunPad bezeichnete tragbare Handheld-Datenverarbeitungsvorrichtung dar. Unter Verwendung eines opaken Flachbildschirms zeigte das SunPad durch eine getrennte (und entfernte) Kamera aufgenommene Bilder an. Das SunPad wurde zum Fernsteuern der Kamera verwendet, d. h. die Kamerabewegungen wurden durch den Benutzer gesteuert, und die Anzeige des SunPad wurde kontinuierlich aktualisiert, so daß es eine Fernanzeige für die Ausgabe der Kamera wurde. Das in dem Videoband dargestellte SunPad ermöglichte es dem Verbraucher nicht, den Kontext zu ändern, in dem die Objekte betrachtet wurden.
Die US-A-4 970 666 offenbart ein System und Verfahren zum Erzeugen realistischer Videobilder, die das Erscheinungsbild eines simulierten Objekts in einer tatsächlichen Umgebung darstellen. Ein Videobild einer tatsächlichen Umgebung wird aufgenommen und in einer gerasterten Form gespeichert. Ein dreidimensionales Modell eines simulierten Objekts definierende intern oder extern erzeugte Objektdaten werden verarbeitet, um eine gerasterte zweidimensionale perspektivische Darstellung des simulierten Objekts zu produzieren. Die gerasterte zweidimensionale perspektivische Darstellung des Objekts wird mit dem gerasterten Videobild gemischt.
Die US-A-5 515 268 offenbart ein Verfahren und ein System zum Bestellen von Produkten einschließlich einer Übertragung von gemessenen physischen Eigenschaften von Produkten wie beispielsweise Paßform und Größe entsprechenden Daten. Ein lokales Computersystem überlagert ein Produktbild auf ein Verbraucherkörperbild und zeigt die überlagerten Bilder auf einem Anzeigemonitor an, so daß der Verbraucher die Paßform des Produkts mit Bezug auf den Körper des Verbrauchers erkennen kann.
Die FR-A-2 720 523 offenbart eine optische Vorrichtung für die Visualisierung eines dreidimensionalen virtuellen Bilds in Überlagerung mit einem realen Objekt, besonders für chirurgische Anwendungen.
Die vorstehend beschriebenen Techniken erleiden alle die gleiche Beschränkung: die Unfähigkeit des Verbrauchers, eine Darstellung eines Objekts in einer Umgebung oder einem Kontext, in der oder dem es normalerweise verwendet werden würde, zu betrachten. Diese Unfähigkeit versagt Verbrauchern bedeutende relevante Informationen, was dann wieder zu schlechten Käufen (z. B. "Der Mikrowellenherd steht über die Kante des Ladentischs heraus!") und nachfolgenden Rückgaben führt.
Dazu in der Lage zu sein, das Objekt in einem Kontext zu betrachten, erweitert die Kauferfahrung für den Verbraucher und verringert Kosten von Rückgaben und Umtäuschen für den Verkäufer. Die Fähigkeit der Verbraucher, bessere Kaufentscheidungen zu treffen, wenn sie mit elektronischen Vertriebsforen wie beispielsweise dem World-Wide Web interagieren, wird die weitverbreitete Akzeptanz des elektronischen Handels im Einzelhandel fördern.
Die vorliegende Erfindung stellt Geräte, Systeme, Prozesse und Computerprogrammerzeugnisse bereit, die es dem Benutzer ermöglichen, nach einem Erfassen einer dreidimensionalen Darstellung eines Objekts die Darstellung des Objekts (virtuellen Objekts) in der Umgebung des Benutzers zu plazieren, zu bewegen und zu drehen. Dies wird unter Verwendung einer Handheld-Datenverarbeitungsvorrichtung mit einem opaken Flachbildschirm und mit Lagesensoren, die die x-, y-, z-, Roll-, Nick- bzw. Pitch- und Gier- bzw. Yaw-Koordinaten der Datenverarbeitungsvorrichtung mit Bezug auf ein Referenzkoordinatensystem bereitstellen, erreicht. Bei einer gleichzeitig anhängigen Anmeldung mußte zum Erhalten einer vollen dreidimensionalen Stereoansicht des Objekts die dreidimensionale Darstellung durch eine Verschlußbrille (shuttered glasses) oder durch eine Rot-Blau-3D-Betrachtungsbrille (red-blue 3-D viewing glasses) betrachtet werden. Gemäß der Erfindung wird jedoch die Kompliziertheit eines vollen 3D-Stereobetrachtungssystems vermieden, während viele der Vorteile des in der gleichzeitig anhängigen Anmeldung beschriebenen Systems beibehalten werden.
Gemäß der Erfindung ist eine Videokamera auf der Rückseite einer Handheld-Computeranzeige plaziert, um eine Ansicht der Umgebung, in der ein zu betrachtendes Objekt plaziert sein wird, aufzunehmen. Ein gerendertes dreidimensionales Drahtmodell eines Produkts, das in dem Kontext seiner Umgebung betrachtet werden soll, wird von einem Verkäufer des Produkts erhalten. Eine Position in dem dreidimensionalen Raum der Umgebung wird markiert, und das Drahtmodell wird gedreht und skaliert, um an der Position plaziert zu erscheinen. Eine zweidimensionale perspektivische Ansicht des gerenderten Drahtmodells wird kontinuierlich aktualisiert, um Änderungen der Position und der Ansicht widerzuspiegeln, so daß die Ansicht des Produkts und die Ansicht der Umgebung richtig sind, während ein Benutzer in der Umgebung umhergehen wird. Da sowohl die zweidimensionale perspektivische Ansicht des Drahtmodells als auch die durch die Videokamera aufgenommene Ansicht der Umgebung sich in der gleichen Brennebene befinden, besteht kein Bedarf an einer Stereo-Rot/Blau-Brille (stereo red/blue glasses) oder an einer Verschlußbrille.
Diese neuen Merkmale der Erfindung versehen Benutzer mit der Fähigkeit, das virtuelle Objekt in seiner realen Größe und Form in der tatsächlichen Zielumgebung zu sehen, indem er lediglich durch das transparente Feld bzw. Pad (transparent pad) sieht.
Die Erfindung bezieht sich auf ein Gerät und ein Verfahren wie in den beiliegenden Patentansprüchen umrissen.
Kurzbeschreibung der Zeichnungen
Die Ziele, Merkmale und Vorteile des Systems der vorliegenden Erfindung sind aus der folgenden Beschreibung ersichtlich, in der:
1A eine Vorderansicht einer Handheld-Datenverarbeitungsvorrichtung zeigt, die gemäß der Erfindung verwendet wird.
1B eine perspektivische Rückansicht der Handheld-Datenverarbeitungsvorrichtung gemäß 1A zeigt.
1C ein Blockschaltbild eines Computers eines zur Verwendung als eine Handheld-Datenverarbeitungsvorrichtung gemäß 1A und 1B geeigneten Typs zeigt.
1D einen zum Tragen von zum Ausführen der Erfindung verwendbaren Programmen und Daten verwendeten beispielhaften Speicherträger zeigt.
2 eine Veranschaulichung eines über ein Netz mit einer Web-Site verbundenen Benutzers zeigt.
3 eine Veranschaulichung eines Mikrowellenherds zeigt.
4 eine Anzeige eines in der Umgebung seiner beabsichtigten Verwendung angezeigten virtuellen Objekts gemäß der Erfindung veranschaulicht.
5 bei einem Skalieren und Lokalisieren eines Drahtmodells verwendete geometrische Beziehungen veranschaulicht.
6 es veranschaulicht, wie eine perspektivische Ansicht eines festgelegten virtuellen Objekts sich ändert, während der Ort des Betrachters sich ändert.
7 ein Flußdiagramm der zum Skalieren und Plazieren des virtuellen Objekts an seinem Zielort erforderlichen Berechnungen und Schritte zeigt.
8 ein Lokalisieren eines Punkts an einem virtuellen Objekt in einem auf der Anzeige einer Datenverarbeitungsvorrichtung zentrierten Koordinatensystem veranschaulicht.
9 ein Positionieren und Arretieren eines virtuellen Objekts an einem festgelegten Punkt in der Umgebung veranschaulicht.
BEZEICHNUNGEN UND TERMINOLOGIE
Die ausführlichen Beschreibungen, die folgen, können in Form von auf einem Computer oder einem Netz von Computern ausgeführten Programmprozeduren dargestellt sein. Diese Prozedurbeschreibungen und -darstellungen sind die durch den Fachmann zum wirksamsten Mitteilen der Substanz seiner Arbeit an einen anderen Fachmann verwendeten Mittel.
Eine Prozedur wird in diesem Fall und im allgemeinen als eine in sich konsistente Folge von Schritten, die zu einem gewünschten Ergebnis führt, begriffen. Diese Schritte sind diejenigen, die physikalische Manipulationen von physikalischen Größen erfordern. Üblicherweise, obgleich nicht notwendigerweise, nehmen diese Größen die Form von elektrischen oder magnetischen Signalen an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Es erweist sich gelegentlich als bequem, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Ausdrücke, Zahlen oder dergleichen Bezug zu nehmen, prinzipiell aus Gründen der gemeinsamen Verwendung. Es ist jedoch zu beachten, daß alle diese und ähnliche Ausdrücke den passenden physikalischen Größen zuzuordnen sind und lediglich auf diese Größen angewendete bequeme Bezeichnungen sind.
Zudem ist auf die ausgeführten Manipulationen häufig als beispielsweise Addieren oder Vergleichen Bezug genommen, was gewöhnlich durch eine menschliche Bedienungsperson ausgeführten geistigen Operationen zugeordnet ist. Es ist bei jeder der dabei beschriebenen Operationen, die einen Teil der Erfindung bilden, keine derartige Fähigkeit einer menschlichen Bedienungsperson notwendig oder in den meisten Fällen wünschenswert; die Operationen sind Maschinenoperationen. Verwendbare Maschinen zum Ausführen des Betriebs der Erfindung umfassen Universaldigitalcomputer oder ähnliche Vorrichtungen.
Die Erfindung bezieht sich auch auf ein Gerät zum Ausführen dieser Operationen. Dieses Gerät kann für den erforderlichen Zweck speziell konstruiert sein, oder es kann einen Universalcomputer wie durch ein in dem Computer gespeichertes Computerprogramm selektiv aktiviert oder neu konfiguriert umfassen. Die dabei dargestellten Prozeduren sind nicht inhärent auf einen speziellen Computer oder ein anderes Gerät bezogen. Verschiedene Universalmaschinen können mit gemäß den Lehren dabei geschriebenen Programmen verwendet werden, oder es kann sich als bequemer erweisen, ein spezialisierteres Gerät zu konstruieren, um die erforderlichen Verfahrensschritte auszuführen. Die erforderliche Struktur für eine Vielfalt dieser Maschinen ergibt sich aus der angegebenen Beschreibung.
Beschreibung des bevorzugten Ausführungsbeispiels
1A zeigt eine Vorderansicht einer Handheld-Datenverarbeitungsvorrichtung, die gemäß der Erfindung verwendet wird. Die Vorrichtung weist einen Bildschirm 120, einen als eine Maus fungierenden Trackball 140, Tasten oder eine Tastatur 130 und einen in verdeckten Linien gezeigten Lageempfänger 135 auf.
1B zeigt eine perspektivische Rückansicht der Handheld-Datenverarbeitungsvorrichtung gemäß 1A. Wie in 1B gezeigt ist eine Videokamera 125 derart gerichtet, daß sie aus der Rückseite des Gehäuses der Handheld-Datenverarbeitungsvorrichtung sieht, um Bilder von der Umgebung aufzunehmen. Ein Plattenlaufwerk 173 zum Erhalten von Dateien und Programmierungsinformationen von außerhalb der Vorrichtung ist an der Seite gezeigt.
1C zeigt ein Blockschaltbild eines Computers eines zur Verwendung als eine Handheld-Datenverarbeitungsvorrichtung gemäß 1A und 1B geeigneten Typs. Ein Bus 150 dient als der Hauptinformations-Highway und zum Anschließen der anderen Komponenten der Computervorrichtung. Eine CPU 155 ist die Zentraleinheit des Systems, die Berechnungen und logische Operationen ausführt, die zum Ausführen von Programmen erforderlich sind. Ein Nur-Lese-Speicher (160) und ein Schreib-Lese-Speicher mit wahlfreiem Zugriff (165) bilden den Hauptspeicher des Computers. Eine Plattenspeichersteuerung 170 verbindet ein Plattenlaufwerk oder mehrere Plattenlaufwerke mit dem Systembus 150. Diese Plattenlaufwerke können Diskettenlaufwerke wie beispielsweise 173, interne oder externe Festplattenlaufwerke wie beispielsweise 172, oder CD-ROM- oder DVD- (digitale Video-Disk) Laufwerke wie beispielsweise 171 sein. Eine Anzeigeschnittstelle 119 verbindet eine Anzeige 120 mit dem Bus und ermöglicht es, Informationen von dem Bus auf der Anzeige zu betrachten. Kommunikationen mit externen Vorrichtungen können über einen Kommunikationsanschluß 185 auftreten. Eine Videokamera 125 ist über eine Videokarte 124 mit dem Bus verbunden. Diese Videokamera wird zum Aufnehmen von Bildern von der Umgebung hinter der Datenverarbeitungsvorrichtung verwendet. Ein Modem 175 verhindert einen Zugriff auf externe Netze auf einer Anwählgrundlage und kann alternativ eine Netzschnittstellenvorrichtung sein. Ein Lageempfänger 135 ist über eine Schnittstelle 134 mit dem Bus verbunden. Der Lageempfänger 135 empfängt Signale von einem Lagesender 135B, der aus seiner ausgesparten Halterung auf der Rückseite der Datenverarbeitungsvorrichtung entfernt gezeigt ist, wie es in 1B dargestellt ist.
1D zeigt einen zum Tragen von zum Ausführen der Erfindung verwendbaren Programmen und Daten verwendeten beispielhaften Speicherträger.
Das folgende Szenario stellt einen Überblick über eine Verwendung der Erfindung bereit.
Ein Verbraucher (Benutzer 210) durchstöbert ein Netz (200) wie beispielsweise das World-Wide Web, wobei er nach Informationen über Mikrowellenherde sucht (z. B. 2). Hat er eine Web-Seite auf einer Web-Site 220 gefunden, die Informationen über verschiedene Modelle von Mikrowellenherden enthält, kann der Benutzer es basierend auf dimensionalen und ästhetischen Informationen nicht entscheiden, welches Modell bevorzugt wird. So klickt der Verbraucher eine Schaltfläche auf der Web-Seite an, um ein gerendertes Drahtmodell mit dreidimensionaler Oberfläche auf seine Handheld-Datenverarbeitungsvorrichtung herunterzuladen. Alternativ kann dem Verbraucher das Drahtmodell auf einer Diskette wie beispielsweise der in 1D gezeigten gegeben werden. Die Vorrichtung weist einen opaken Bildschirm auf, auf dem das Drahtmodell angezeigt wird. Nach einem Einstellen der Position und der Orientierung hält der Verbraucher das transparente Pad hoch, so daß eine Videokamera eine Ansicht der Umgebung aufnehmen kann, in der der Herd plaziert werden wird. Der Benutzer sieht ein zweidimensionales Bild des Mikrowellenherds, der an dem Ort sitzt, den er bestimmt hat, und auch den umgebenden Bereich, in dem der Mikrowellenherd sich befinden wird, wenn er installiert ist.
Der Verbraucher kann daraufhin das Bild bewegen, seine Orientierung ändern, und sich um es herum bewegen, um eine Einschätzung für verschiedene perspektivische Ansichten des Mikrowellenherds in seiner Zielumgebung zu gewinnen. Der Verbraucher kann daraufhin entweder den Mikrowellenherd bestellen oder sich andere Modelle ansehen wie erforderlich.
3 zeigt eine Veranschaulichung, die die Dimensionen des bei dem Beispiel in der Patentbeschreibung verwendeten Mikrowellenherds darstellt.
4 veranschaulicht eine Anzeige eines virtuellen Mikrowellenherds in der Umgebung seiner beabsichtigten Verwendung gemäß der Erfindung. Während der Benutzer die tragbare Datenverarbeitungsvorrichtung 430 hochhält, befinden sich die Augen des Benutzers annähernd einen Abstand D von der Oberfläche der Datenverarbeitungsvorrichtung entfernt. Die Anzeige der Datenverarbeitungsvorrichtung bildet die Bildebene, auf der alle Bilder angezeigt werden. Ein Lagesender 420 ist auf einem Tisch 410 an dem Ort positioniert, an dem man den Mikrowellenherd angezeigt sehen möchte. Ein gerendertes Drahtmodell 400 des Mikrowellenherds wird bei der durch den Sender 420 angegebenen Position angezeigt. Ein dreidimensionales Drahtmodell wird auf die zweidimensionale Fläche der Datenverarbeitungsvorrichtung 430 projiziert, wo es über das Bild von der Videokamera, die die Umgebung aufnimmt, überlagert wird. Auf diese Weise wird das gerenderte virtuelle Objekt eines Mikrowellenherds dort positioniert, wo der Benutzer es haben möchte und wo es positioniert wäre, falls es gekauft und installiert werden würde.
Der festgelegte Telemetrieempfänger (135A) und der entfernbare Telemetriesender (135B) bestimmen die x-, y-, z-, Roll-, Pitch- und Yaw-Koordinaten des Senderorts gegenüber der Datenverarbeitungsvorrichtung. Ein Beispiel für eine derartige Vorrichtung ist die allgemein bekannte Polhemus-Vorrichtung.
Ein Modem oder eine Sende-/Empfangsvorrichtung (175) wird zum Kommunizieren mit anderen Datenverarbeitungsvorrichtungen verwendet. Ein Herunterladen von dreidimensionalen Informationen über das anzuzeigende Objekt tritt über diese Verbindung auf. Alternativ können sie über das Plattenlaufwerk geladen werden. Sie werden in einem Standard-Grafikdateiformat wie beispielsweise dem Computer Graphics Metafile (CGM) heruntergeladen und in die Handheld-Datenverarbeitungsvorrichtung geladen. Benutzersteuerungen, z. B. 130 und 140, ermöglichen es dem Benutzer, das Bild in einer dreidimensionalen Art und Weise zu manipulieren, wie es nachstehend ausführlicher erörtert ist.
4 veranschaulicht es konzeptionell, wie die verschiedenen Komponenten des Systems zusammenarbeiten. Es wird angenommen, daß die Grafikdatei zu dem transparenten Pad heruntergeladen worden ist. Der Benutzer plaziert daraufhin eine Telemetrievorrichtung (420) dort, wo das virtuelle Objekt zu positionieren ist.
Zum Plazieren des virtuellen Objekts bei der bezeichneten Position müssen mehrere Berechnungen ausgeführt werden. Zuerst muß der Maßstab des virtuellen Objekts bestimmt werden. Konzeptionell ist der Skalierungsfaktor das Verhältnis des Abstands d₁ zwischen des Augen des Betrachters und der Handheld-Datenverarbeitungsvorrichtung zu der Summe des Abstands d₂ (zwischen dem transparenten Pad und der gewünschten Position) und d₁, das als
bezeichnet wird.
5 veranschaulicht Beziehungen zwischen einer realen Dimension X_R und ihrer entsprechenden Projektion X_L (410) auf dem Bildschirm. Ein perspektivischer Punkt P zeigt den Betrachtungspunkt. Wenn ein dreidimensionales Drahtmodell heruntergeladen wird, umfassen typische Dateiformate Informationen über die realen Dimensionen und die relativen Dimensionen des Drahtmodells. Somit stellt X_R eine reale Dimension und X_L die projizierte Dimension auf dem Bildschirm dar. Das durch die Basis X_L mit Bezug auf den Punkt P gebildete Dreieck und das durch die Basis X_R mit Bezug auf den Punkt P gebildete Dreieck sind ähnlich. Daher:
XLd1 + XLd2 = XRd1 XLd2 = XRd1 – XLd1
Wenn z. B.:
X_L = 5,4''
d₁ = 18''
X_R = 36''
dann
Die Bestimmung von X_L kann von (1) der Anzeige-Software, (2) aus einer Bildschirmmessung oder (3) aus einem Klicken auf zwei Endpunkte einer Linie, einem Berechnen der Länge in Bildelementen (aus den Adressen der Punkte, auf die geklickt wird) und einem Wandeln der Länge in Bildelementen in (z. B.) Zoll unter Verwendung von Anzeigeauflösungsinformationen erhalten werden.
6 veranschaulicht es, wie eine Ansicht eines Benutzers von dem virtuellen Objekt sich ändern wird, während die Handheld-Datenverarbeitungsvorrichtung um die bei dem Sollziel plazierte Telemetrievorrichtung gedreht wird.
7 zeigt ein Flußdiagramm der Berechnungsaktivitäten, die auftreten, um ein Abbilden des virtuellen Objekts zu ermöglichen. Das dreidimensionale Drahtmodell mit Renderinformationen wird in einem Standard-Grafikdateiformat von einer Quelle (wie beispielsweise dem World-Wide Web) zu der Handheld-Datenverarbeitungsvorrichtung heruntergeladen (710). Unter Verwendung der wahren physischen Dimensionen des Objekts und der relativen Dimensionen des Drahtmodells (die alle als Metadaten in der Grafikdatei enthalten sind) bestimmt man den Skalierungsfaktor relativ zu dem transparenten Pad und dann wieder den Skalierungsfaktor (mit impliziertem Abstand d₁ + d₂) von der Verschlußbrille (720) wie vorstehend beschrieben. Die Handheld-Datenverarbeitungsvorrichtung empfängt von der sich bei dem Sollziel befindenden sendenden Telemetrievorrichtung ihren Abstand in drei Dimensionen und ihre Orientierung relativ zu der Vorrichtung (730). Unter Verwendung der Abstandsinformationen aus den Schritten 720 und 7830 wird das Drahtmodell zu dem Ort des Senders 380 transformiert, was zu einem neuen Skalierungsfaktor führt, so daß das virtuelle Objekt richtig skaliert wird, wenn es bei der sendenden Telemetrievorrichtung abgebildet wird, wobei von der Verschlußbrille durch das transparente Pad gesehen wird (740).
Nachdem es skaliert worden ist, muß das Koordinatensystem des auf dem transparenten Pad abgebildeten Objekts bei dem Koordinatensystem des Sollziels arretiert werden (850), das durch einen Telemetriesender bekannt ist. 8 und 9 veranschaulichen diesen Prozeß.
8 veranschaulicht ein Lokalisieren eines Punkts an einem virtuellen Objekt in einem auf der Anzeige einer Datenverarbeitungsvorrichtung zentrierten Koordinatensystem. Der "Z"-Koordinatenwert wurde wie in Verbindung mit 5 beschrieben bestimmt. Falls die Metadatei-Darstellung bzw. Metafile-Darstellung des Drahtmodells derart beschaffen ist, daß das Objekt in der X-Y-Ebene auf der Z-Achse zentriert ist, befinden sich die X- und Y-Koordinaten eines Punkts C bei 1/2 X_R bzw. 1/2 Y_R (siehe 8). Somit ist der Ort des Punkts "Z" (18, –9, –102). Falls das virtuelle Objekt nicht zentriert ist, können den Ort und die Orientierung bestimmende Informationen aus dem Metafile zum Identifizieren der Koordinaten des Punkts C verwendet werden.
9 veranschaulicht einen Abschnitt des Prozesses des Festlegens oder Arretierens des virtuellen Objekts auf einer gewünschten Position in dem Raum der Umgebung. Ein Telemetriesender befindet sich an einem Punkt S mit Bezug auf den Ursprung des in 9 gezeigten Koordinatensystems, bei dem es sich um den Empfängerort an der Handheld-Vorrichtung handelt. In dem gezeigten Moment befindet sich der Punkt S bei (45, –18, –60). Das virtuelle Objekt befindet sich jedoch mit Bezug auf den Ursprung 0 bei (18, 9, –102). Es werden Standardkoordinatentransformationstechniken verwendet, um den Punkt (18, –9, –102) zu dem Punkt (45, –18, –60) zu verschieben. In diesem Fall erfordert in der X-Dimension die Translation von X = 18 zu X = 45 eine Verschiebung von +27. Auf ähnliche Weise erfordert in der Y-Dimension die Bewegung von +9 zu –18 eine Verschiebung von –27. In der Z-Richtung erfordert die Bewegung von Z = 102 zu Z = 60 die Verschiebung von +42. Die XYZ-Achsen gemäß 7 bilden einen Rechtssatz, so daß der Ort des virtuellen Objekts in der Z-Richtung sich tatsächlich entlang der -Z-Achse befindet, so daß der Abstand d₂ eine negative Zahl ist.
Sobald die zum Bewegen der virtuellen Koordinate von dem bestimmten Punkt (18, 9, –102) zu (45, –18, –60) erforderliche Transformation definiert ist, muß die Transformation auf alle anderen Ecken des Drahtmodells angewendet werden. Die Software zum Anzeigen eines dreidimensionalen Drahtmodells als eine Anzeige einer zweidimensionalen perspektivischen Ansicht wird das Bild des Drahtmodells für seinen neuen Ort passend skalieren.
Sobald es zu dem Ort des Senders übertragen ist, wird das Drahtmodell in seiner Position arretiert, indem die Koordinaten der Drahtmodellecken derart kontinuierlich transformiert werden, daß sie in dem Zimmerraum (room space) passend positioniert werden, während der Ort der Handheld-Vorrichtung fortfährt, sich zu bewegen, wie es in 6 gezeigt ist. Somit definiert eine Transformationsmatrix anfänglich die Translation von dem Punkt (18, 9, –102) zu dem Punkt (45, –18, –60). Sobald die Matrix eingestellt ist, wie es bei einem Arretieren einer Vorrichtung der Fall ist, empfängt daraufhin während einer Verschiebung des Ursprungs des Koordinatensystems, d. h. des Empfängerorts, bei einer Verschiebung der Handheld-Vorrichtung in dem Zimmerraum der Telemetrieempfänger neue Ortsinformationen von dem Telemetriesender S, und es wird eine neue Transformationsmatrix berechnet, um die mit Bezug auf den Ort des Senders an dem Punkt S positionierten Ecken des Drahtmodells zu erhalten. Effektiv wird der Punkt S ein festgelegter Punkt, und die Transformationsmatrix für die Ecken des Drahtmodells wird kontinuierlich eingestellt, um das virtuelle Objekt an dem Punkt zu halten, indem die Elemente der Transformationsmatrix geändert werden, um das Ergebnis sicherzustellen.
Während der Empfänger R sich in dem Zimmer bewegt, ändern sich die Koordinaten der Zielposition S₁ mit Bezug auf den Ursprung des Koordinatensystems bei dem Empfänger R.
Der Empfänger empfängt jedoch immer die derzeitigen Koordinaten von S₁ mit Bezug auf den Empfänger als dem Ursprung des Koordinatensystems. Ein Arretieren der Ecke des Mikrowellenherds auf das Zimmer oder das Weltkoordinatensystem bedeutet ein Aktualisieren des Punkts (18, 9, –102) des anfänglichen Objekts auf den derzeitigen Wert von Koordinaten (X, Y und Z), der bei R von dem Sender S₁ erfaßt wird. Während eine Handheld-Datenverarbeitungsvorrichtung z. B. gedreht wird, wird eine Zeit kommen, zu der ein sich bei der Ecke des Tischs befindender Mikrowellenherd nicht auf dem Betrachtungsbildschirm sichtbar ist. Er kann durch ein Zurückdrehen zu dem Ort des Senders wieder sichtbar gemacht werden.
Da der Empfänger auch Roll-, Pitch- und Yaw-Informationen erfaßt, wird die auf dem Bildschirm angezeigte Ansicht des dreidimensionalen Objekts immer hinsichtlich der Orientierung des transparenten Bildschirms korrigiert.
Mit einer Vielzahl von Sendern kann eine Vielzahl von virtuellen Objekten virtuell in einem Zimmer plaziert werden, so daß man in die Lage versetzt wird, ein Zimmer virtuell zu möblieren, wenn es durch den transparenten Bildschirm betrachtet wird.
Da das Festlegen eines Punkts des dreidimensionalen Objekts umzureichend ist, um es in dem dreidimensionalen Raum eindeutig zu positionieren, können Drehungen des Drahtmodells um den festgelegten Punkt S (z. B. (45, –18, –60)) nötig sein. Derartige Drehungen sind als Teil von verallgemeinerten Koordinatentransformationen in dem Fachgebiet allgemein bekannt. Mit einem festgelegten Punkt können Drehungen in zwei der X-Y-, Y-Z- und X-Z-Ebenen um diesen festgelegten Punkt erforderlich sein, um das virtuelle Objekt mit Bezug auf seine Umgebung richtig zu positionieren. Typischerweise werden derartige Drehungen unter der Steuerung der Hoch-/Runter-Links-/Rechts-Pfeiltasten an der Tastatur ausgeführt. Eine verallgemeinerte Koordinatentransformationsmatrix umfaßt Winkelkomponenten zum Bestimmen der Drehung sowie Translationskomponenten. Somit kann durch ein Einstellen der Ausdrücke der Transformationsmatrix, während der Telemetrieempfänger sich mit der Handheld-Vorrichtung in dem Zimmer umherbewegt, ein Drahtmodellobjekt virtuell an einem Ort positioniert und zum Betrachten aus einer Anzahl von Perspektiven überall in dem Zimmer in der richtigen Lage gehalten werden.
Sobald das Drahtmodell richtig positioniert ist, wird eine Projektion des Drahtmodells auf den zweidimensionalen Bildschirm ausgeführt, so daß das Bild des Drahtmodells für den durch den Telemetriesender bestimmten Ort des Drahtmodells richtig ist.
Es sind somit Verfahren, Geräte, Systeme und Computerprogrammerzeugnisse zum Überwinden der vorstehend angeführten Probleme des Stands der Technik offenbart, die eine schnelle Visualisierung von virtuellen Objekten in der eigenen Umgebung des Benutzers ermöglichen, wobei diese richtig skaliert und gelegen sind, wie sie in der Realität erscheinen würden, falls sie sich tatsächlich in der Umgebung des Benutzers befinden würden.
In dieser Offenbarung ist nur das bevorzugte Ausführungsbeispiel der Erfindung gezeigt und beschrieben, aber wie vorstehend angeführt, ist es selbstverständlich, daß die Erfindung zur Verwendung in verschiedenen anderen Kombinationen und Umgebungen geeignet ist und zu Änderungen und Modifikationen in dem Rahmen des erfinderischen Konzepts wie dabei ausgedrückt geeignet ist.
Techniken zum Herunterladen gerenderter Drahtmodelle von zum Verkauf angebotenen Objekten und zum Ermöglichen, daß sie als virtuelle Objekte in dem Kontext der tatsächlichen Umgebung, in der sie tatsächlich verwendet werden, angezeigt werden, sind offenbart. Die gerenderten Modelle werden verschoben und orientiert, so daß sie genauso erscheinen, wie ein reales Objekt erscheinen würde, wenn es in einer tatsächlichen Umgebung plaziert wäre. Eine Videokamera nimmt die gleichzeitig mit einer Anzeige einer zweidimensionalen perspektivischen Ansicht des gerenderten Drahtmodells zu betrachtende Umgebung auf.

Claims

Gerät zum Anzeigen einer zweidimensionalen Ansicht einer dreidimensionalen Darstellung eines Objekts in einer Umgebung, in der das Objekt plaziert erscheinen soll, mit: einer Videokamera (125), die eine Ansicht der Umgebung aufnimmt; einer Berechnungsvorrichtung mit einer Anzeige (120); und einer Vorrichtung (135A, 135B) zum Messen des Abstands zwischen der Berechnungsvorrichtung und einem Ort in der Umgebung; wobei die Berechnungsvorrichtung dazu konfiguriert ist, im Ansprechen auf die Vorrichtung zum Messen ein zweidimensionales Bild des Objekts zusammen mit der Ansicht der Umgebung anzuzeigen, wobei das Bild eine skalierte perspektivische Ansicht des Objekts entsprechend dem Ort ist und das angezeigte Bild das Objekt an dem Ort zeigt.
Gerät nach Anspruch 1, wobei die Vorrichtung zum Messen des Abstands zumindest einen Telemetriesender (135B) und zumindest einen Telemetrieempfänger (135A) umfaßt.
Gerät nach Anspruch 2, wobei der Telemetriesender abnehmbar an der Berechnungsvorrichtung angebracht ist.
Gerät nach einem der vorstehenden Ansprüche, bei dem die Berechnungsvorrichtung dazu konfiguriert ist, die dreidimensionale Darstellung an dem Ort festzulegen und eine zweidimensionale Ansicht des Objekts anzuzeigen.
Gerät nach einem der vorstehenden Ansprüche, bei dem die Berechnungsvorrichtung dazu konfiguriert ist, die Orientierung der dreidimensionalen Darstellung an dem Ort unter der Steuerung eines Benutzers zu ändern.
Gerät nach einem der vorstehenden Ansprüche, das mit einem Server verbunden ist, der eine Vielzahl von dreidimensionalen Darstellungen jeweiliger Objekte bereitstellt.
Gerät nach einem der vorstehenden Ansprüche, zudem mit: einem Netz (200); und einer ersten Speichervorrichtung (220), die mit dem Netz verbunden ist und zumindest eine dreidimensionale Darstellung eines der Objekte enthält; wobei das Gerät mit dem Netz verbunden und dazu konfiguriert ist, eine oder mehrere der zumindest einen dreidimensionalen Darstellung herunterzuladen.
Gerät nach einem der vorstehenden Ansprüche, bei dem die Anzeige des zweidimensionalen perspektivischen Bilds basierend auf Änderungen des Abstands aktualisiert wird.
Verfahren zum Anzeigen einer zweidimensionalen Ansicht einer dreidimensionalen Darstellung eines Objekts in einer Umgebung, mit den Schritten: a. Betreiben einer Videokamera zum Aufnehmen einer Ansicht der Umgebung; b. Anzeigen einer zweidimensionalen Projektion einer dreidimensionalen Darstellung eines Objekts zusammen mit der Ansicht der Umgebung; c. Messen des Abstands von einer Anzeige einer Berechnungsvorrichtung zu einem Ort in der Umgebung, an dem das Objekt gelegen erscheinen soll; und d. Einstellen der Anzeige der Projektion im Ansprechen auf die Messung, um es zu bewirken, daß das Objekt an dem Ort positioniert erscheint.
Verfahren nach Anspruch 9, bei dem eine Videokamera die Umgebung aufnimmt, in der das Objekt plaziert erscheinen soll, und ein Bild der Umgebung auf der Anzeige mit der Anzeige des Objekts anzeigt.
Verfahren nach Anspruch 9 oder Anspruch 10, zudem mit dem Schritt: Herunterladen der dreidimensionalen Darstellung zu einer Berechnungsvorrichtung von einer anderen Berechnungsvorrichtung.
Verfahren nach Anspruch 11, bei dem das Herunterladen über ein Netz passiert.
Verfahren nach einem der Ansprüche 9 bis 12, bei dem die Anzeige der zweidimensionalen Projektion basierend auf Änderungen des Abstands aktualisiert wird.
Verfahren nach einem der Ansprüche 9 bis 13, das als auf einem Speicherträger gespeicherte Computeranweisungen realisiert ist.