DE10301849B4

DE10301849B4 - System und Verfahren zur statischen Einblendung von virtuellen Objekten in reale Umgebungen

Info

Publication number: DE10301849B4
Application number: DE2003101849
Authority: DE
Inventors: Thomas Alt
Original assignee: Metaio GmbH
Current assignee: Apple Inc
Priority date: 2003-01-20
Filing date: 2003-01-20
Publication date: 2007-03-01
Anticipated expiration: 2023-01-21
Also published as: DE10301849A1

Abstract

Verfahren zum Darstellen eines Einrichtungsgegenstandes in einer Benutzungsumgebung (200), aufweisend die folgenden Schritte:
(a) Verwenden einer Referenzgeometrie (100) in der Benutzungsumgebung (200);
(b) Optisches Aufnehmen der Benutzungsumgebung (200) einschließlich der Referenzgeometrie (100) mittels eines Stationärbild-Aufnahmegeräts und Abspeichern der Aufnahme in Form von Aufnahme-Bilddaten;
(c) Ermitteln der Position des Stationärbild-Aufnahmegeräts bezüglich der Referenzgeometrie (100) mittels Bildverarbeitung;
(d) Perspektivisch richtiges Zusammenfügen von Bilddaten des virtuell vorliegenden Einrichtungsgegenstandes (300) und der Aufnahme-Bilddaten;
(e) und Anzeigen der Benutzungsumgebung (200) mit dem perspektivisch richtig eingefügten Einrichtungsgegenstand.

Description

Kurzzusammenfassung
Die Erfindung betrifft ein System und Verfahren zur statischen Einblendung von virtuellen Objekten in reale Umgebungen. Die reale Umgebung wird dabei vom Anwender mittels einer herkömmlichen Kamera aufgenommen. Das Bild wird elektronisch an einen Server oder an ein Speichermedium übermittelt. Dieser platziert mit Hilfe des erfindungsgemäßen Systems virtuelle Modelle in das vom Anwender gesendete Bild.
Als Ergebnis erhält der Anwender die perspektivisch richtige Einblendung des virtuellen Objektes in die von ihm erstellte Aufnahme.
Ausgangssituation
Es wird vorausgesetzt, dass sich der Begriff virtuelles Objekt auf die rechnerbasierte Repräsentation eines beliebigen realen oder imaginären Objektes bezieht. Dies schließt die zwei- oder dreidimensionale Repräsentation von Konstruktionsdaten, Planungsdaten, Einrichtungsgegenständen oder Gebäuden ein. Diese virtuellen Objekte werden in Bezug mit real existierenden Objekten, z.B. Gebäuden oder Produkten, gesetzt.
Aus dem Stand der Technik ist die Anzeige von Verkaufsprogrammen und Produkten mittels elektronischer Medien bekannt. So können ein Vielzahl von Produkten beispielsweise mit Hilfe des Internets angeboten werden. Des weiteren können unterschiedliche Produkte mit Hilfe elektronischer Medien verkauft, getauscht oder gekauft werden. Des Weiteren ist aus dem Stand der Technik die Konfiguration verschiedener Produkte bekannt. So können beispielsweise Inneneinrichtungen mittels elektronischen Katalogen als Kombination einzelner Einrichtungsgegenstände zusammengestellt werden.
Die Produkte werden dabei oft nur zweidimensional als schematische Abbildungen, Skizzen oder Fotos dargestellt. Häufig werden Produkte auch in textueller Form beschrieben. In wenigen Fällen sind Darstellungen als dreidimensionale virtuelle Produktrepräsentationen verfügbar. Liegen diese vor, so hat der Käufer oder Verkäufer die Möglichkeit sich einen genauen Eindruck des Lieferumfangs oder der Produktfunktionalitäten zu machen. So können mit herkömmlichen Systemen beispielsweise Einrichtungsgegenstände über elektronische Medien konfiguriert werden. Der für die Kaufentscheidung wichtige Gesamteindruck der Einrichtungsgegenstände in der jeweiligen Gebrauchsumgebung wird durch derartige Systeme jedoch nicht vermittelt.
Für die Unterstützung und Beratung beim Kauf und Verkauf der Produkte können ebenfalls elektronische Medien eingesetzt werden. So kann beispielsweise über elektronische Produktforen Anwenderberichte oder Produktunterstützung angefordert werden.
Des weiteren sind Computerprogramme zur Grafikbe- und verarbeitung aus dem Stand der Technik bekannt. Diese erlauben es beliebige zwei- und dreidimensionale Objekte zu erstellen und zu Verarbeiten.
Nachteilig an den bekannten Verfahren, insbesondere am Medium Internet, ist die nicht vorhandene Darstellung der Konsumgüter in der jeweiligen Gebrauchsumgebung. Aufwendigere Verfahren, z.B. diverse Systeme zur dreidimensionalen Raumplanung, setzen die reale Umgebung und das Produkt als dreidimensionales Modell voraus. Dies erfordert einen hohen Modellierungsaufwand für die Erstellung der realen Umgebung als dreidimensionales Datenmodell. Der hohe Modellierungsaufwand ist allgemein nachteilig an den bekannten Verfahren zur Generierung dreidimensionaler virtueller Objekte.

In V. Sequeira et al., "Augmented Reality in Multi-camera Surveillance", 6 Seiten (screen shots), präsentiert: Sevilla, 4. bis 6. Mai, 1999, bei ESARDA's Symposium on Safeguards and Nuclear Material Management wird offenbart, dass man ein photorealistisches dreidimensionales Modell einer Umgebung, konkret zum Beispiel das dreidimensionale Modell einer Zimmerwand mit einem Fenster, von innen gesehen, mit realen Videodaten von mehreren Kameras, konkret zum Beispiel Überwachungskameras an der Außenseite des Gebäudes, zu dem die zitierte Zimmerwand gehört, verschmelzen kann. Der Anwender kann die bewegten Bilder, die von den Überwachungskameras geliefert werden, besser einordnen und auswerten, wenn er durch das hinzugefügte dreidimensionale Modell der Umgebung einen Überblick und eine Einbettung in ein ihm bekanntes Umfeld hat.

Bei S. Bolvin, A. Gagalowicz: "Image-Based Rendering for Industrial Applications", ERCIM News No. 44, Januar 2001, Seiten 22, 23, wird ein reales Stationärbild einer Zimmerecke aufgenommen. Aus der Real-Stationärbild-Aunahme wird eine geänderte synthetische Aufnahme generiert, wobei es insbesondere konkret um das Ändern reflektierender Oberflächen geht, um realistischere Bilder zu erzeugen. Dann kann man den Betrachtungswinkel des Anwenders verändern, und schließlich kann man künstliche Objekte hinzufügen und die Position von Lichtquellen verändern.

Der Erfindung liegt die Aufgabe zugrunde, es einem Anwender zu ermöglichen, sich aufgrund einer Bildaufnahme seiner Benutzungsumgebung aus beliebiger Kameraposition eine genaue, sichtbare Vorstellung von der Wirkung eines in die Benutzungsumgebung eingebrachten Einrichtungsgegenstandes zu verschaffen.

Beschreibung der Erfindung

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gemäß den Merkmalen des Patentanspruchs 1, sowie durch eine Vorrichtung gemäß den Merkmalen des Patentanspruchs 10 gelöst.

Das erfindungsgemäße Verfahren sieht insbesondere folgenden Ablauf zur Positionierung von virtuellen Objekten in realen Umgebungen vor (1).

Schritt 1: Eine Referenzgeometrie wird dem Anwender des erfindungsgemäßen Systems zur Verfügung gestellt. Vorteilhafterweise wird die Referenzgeometrie per elektronischen Medium (z.B. E-Mail, oder Download von einer Webseite) zur Verfügung gestellt. Die Referenzgeometrie wird vom Anwender ausgedruckt und liegt in Papierform vor. Eine weitere vorteilhafte Ausführung sieht die Kombination der Referenzgeometrie in Papierform als Beigabe von Produktkatalogen, Broschüren oder anderen Printmedien vor.
Schritt 2: Die in Papierform vorliegende Referenzgeometrie wird vom Anwender in der realen Umgebung platziert.
Schritt 3: Der Anwender macht eine Aufnahme der realen Umgebung. Die resultierende Aufnahme der realen Umgebung beinhaltet eine Darstellung der Referenzgeometrie. Zur Aufnahme können beliebige bildgebende Geräte eingesetzt werden. Vorteilhafterweise werden analoge oder digitale Kameras eingesetzt. Eine vorteilhafte Ausprägung des Systems sieht die Aufnahme mit Mobiltelefonen mit integrierten Kameras vor. Als Ergebnis liegt eine digitale oder bei der Verwendung analoger Kameras eine nachträglich digitalisierte Aufnahme der realen Umgebung vor.
Schritt 4: Die Aufnahme wird an das erfindungsgemäße System übermittelt. Vorteilhafterweise wird hierzu das Internet (Ftp, http, E-Mail) oder Mobilfunknetzte (WAP, GSM, UMTS) eingesetzt. Alternativ kann die Aufnahme auch per physischem Datenträger übermittelt werden.
Schritt 5: Die Aufnahme wird vom erfindungsgemäßen System empfangen.
Schritt 6: Das erfindungsgemäße System ermittelt aus der übermittelten Aufnahme die Position und Orientierung des bildgebenden Gerätes aus Schritt 3. Hierzu werden die geometrischen Abmessungen der Referenzgeometrie auf der Abbildung mit Bildverarbeitungsalgorithmen analysiert. Die Referenzgeometrie wird dabei als Basis eines räumlichen Koordinatensystems definiert.
Schritt 7: Die Perspektive für die virtuelle Objektrepräsentation wird für eine, in Bezug auf das durch die Referenzgeometrie definierten Koordinatensystem, relative Position im Raum berechnet.
Schritt 8: Die perspektivisch richtige Darstellung der virtuellen Objektrepräsentation wird in die Abbildung aus Schritt 3 an der definierten räumlichen Position eingefügt.
Schritt 9: Die kombinierte Aufnahme aus Schritt 8 wird an den Anwender zurückgesendet. Vorteilhafterweise wird hierzu das Internet (Ftp, http, E-Mail) eingesetzt. Alternativ kann die Aufnahme auch per physischem Datenträger übermittelt werden.

Die Funktionsweise des erfindungsgemäßen Systems und Verfahrens wird anhand des in 2 dargestellten Beispiels deutlich.
Die Referenzgeometrie (100) wird in der realen Umgebung positioniert und aufgenommen. Die Aufnahme (500) wird vom erfindungsgemäßen System analysiert und die Position und Orientierung der Kamera ermittelt. Entsprechend dieser Werte wird das virtuelle 3D-Objekt (300) perspektivisch richtig berechnet. Das virtuelle Objekt wird vom erfindungsgemäßen System in die Aufnahme (500) eingerechnet und als kombiniertes Gesamtbild (400) dem Anwender zur Verfügung gestellt.
Die in Schritt 7 benötigten virtuellen Objekte können

a.) vom Hersteller eines Produktes,
b.) vom Anbieter des erfindungsgemäßen Systems
c.) vom Anwender,
d.) oder einem beliebigen Datenhaltungssystem

Der Austausch der virtuellen Objekte erfolgt vorteilhafterweise über ein Datenhaltungssystem mit verschiednen Speichermedien. So sieht eine vorteilhafte Ausführung des erfindungsgemäßen Systems den Austausch der virtuellen Produktmodelle über das Internet vor.
Das erfindungsgemäße System sieht vorteilhafterweise die Verwendung eines elektronischen Bildverarbeitungssystem zur Bestimmung der Kameraposition im Raum vor.
Die für die Berechnung der Kameraposition im Raum mittels eines Bildverarbeitungssystems notwendigen, sogenannte „intrinsischen" Kameraparameter, wie beispielsweise Brennweite, Verzerrung etc., werden, erfindungsgemäß

a.) vom Anwender mit der Aufnahme übermittelt,
b.) aus einem im erfindungsgemäßen System integrierten Datenhaltungssystem abgerufen, oder
c.) aus der Aufnahme mit einem Bildverarbeitungsalgorithmus berechnet.

3 zeigt die durch das erfindungsgemäßes System und Verfahren kombinierte Anzeige eines virtuellen Objektes in der einer realen Umgebung.
System
4 zeigt einen vorteilhaften Systemaufbau des erfindungsgemäßen Systems und Verfahrens.
Im Schritt A in 4 lädt der Anwender des System die Aufnahme der realen Umgebung über eine vom erfindungsgemäßen System (600) generierten Internet-Seite (800-1) auf das System (600). Gleichzeitig wählt er das darzustellende virtuelle Objekt über die Seite (800-1) aus.
Das erfindungsgemäße System (600) generiert eine benutzerspezifische Internet-Seite (800-2) die die Aufnahme aus Schritt A beinhaltet (Schritt B in 4). Zusätzlich wird ein benutzerspezifischer Link generiert. Durch anwählen dieses Links löst der Anwender die Berechnung der Position des bildgebenden Gerätes in Bezug auf die Referenzgeometrie, die perspektivisch richtige Darstellung des virtuellen Objektes in der Aufnahme und die Rücksendung der kombinierten Aufnahme (800-3) (Schritte 6–9 in 1) aus. Die virtuellen Objekte werden dabei aus einem, an das erfindungsgemäße System angeschlossene, Datenhaltungssystem (700) zu Verfügung gestellt.
In Schritt C wird dem Anwender die kombinierte Aufnahme zur Verfügung gestellt. Er kann diese beliebig weiterverwerten.
Vorteile
Vorteile des beschriebenen Systems und Verfahrens bestehen insbesondere in gemeinsamen Wahrnehmung der Produkte in der Gebrauchsumgebung. Dies führt zu einer intuitiven Beurteilung der Eignung verschiedener Produkte für einen Gebrauchszweck. Des Weiteren kann sehr einfach die geometrische Eignung eines Produktes an einem Gebrauchsort ermittelt werden. Etwaige Kollisionen der Produkte mit anderen Gegenstände können vom Anwender schnell entdeckt werden. Weiterhin kann die Eignung eines Produktes für einen Gebrauchszweck, z.B. die Eignung eines Möbelstückes, ohne vorherige Anlieferung bestimmt werden.
Beim vorteilhaften Einsatz eines Bildverarbeitungssystems sind zusätzlich die Gerätekosten auf einfache Kamerasysteme, z.B. eine in vielen Haushalten bereits vorhandene, internetfähige Kamera (Webcam), Digitalkameras oder Mobiltelefonen beschränkt.

100: Referenzgeometrie
200: Reale Umgebung
300: Virtuelles Objekt
400: Kombinierte Aufnahme
500: Aufnahme
600: Erfindungsgemäßes System
700: Datenhaltungssystem
800-1–800-3: Dynamisch generiertes Anwenderinterface (Web-Seiten)

Claims

Verfahren zum Darstellen eines Einrichtungsgegenstandes in einer Benutzungsumgebung (200), aufweisend die folgenden Schritte: (a) Verwenden einer Referenzgeometrie (100) in der Benutzungsumgebung (200); (b) Optisches Aufnehmen der Benutzungsumgebung (200) einschließlich der Referenzgeometrie (100) mittels eines Stationärbild-Aufnahmegeräts und Abspeichern der Aufnahme in Form von Aufnahme-Bilddaten; (c) Ermitteln der Position des Stationärbild-Aufnahmegeräts bezüglich der Referenzgeometrie (100) mittels Bildverarbeitung; (d) Perspektivisch richtiges Zusammenfügen von Bilddaten des virtuell vorliegenden Einrichtungsgegenstandes (300) und der Aufnahme-Bilddaten; (e) und Anzeigen der Benutzungsumgebung (200) mit dem perspektivisch richtig eingefügten Einrichtungsgegenstand.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass intrinsische Parameter des Stationärbild-Aufnahmegeräts vom Anwender des Verfahrens bereitgestellt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass intrinsische Parameter des Stationärbild-Aufnahmegeräts aus einer Datenhaltung abgerufen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass intrinsische Parameter des Stationärbild-Aufnahmegeräts aus den Aufnahme-Bilddaten berechnet werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Referenzgeometrie (100) dem Anwender des Verfahrens in Form von Daten übermittelt wird und dass der Anwender mittels dieser Daten ein körperliches Referenzgeometrie-Element erzeugt.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Aufnahme-Bilddaten vom Anwender des Verfahrens an ein entferntes Datenverarbeitungssystem (600) übermittelt werden; dass die Bilddaten des virtuell vorliegenden Einrichtungsgegenstandes (300) und die Aufnahme-Bilddaten durch das Datenverarbeitungssystem (600) zusammengefügt werden; und dass die zusammengefügten Daten zu dem Anwender des Verfahrens übermittelt werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Übermittelung über das Internet erfolgt.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass Bilddaten mehrerer virtuell vorliegender Einrichtungsgegenstände (300) und die Aufnahme-Bilddaten zusammengefügt werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Einrichtungsgegenstand (300) ein Möbelstück ist.
Vorrichtung zum Darstellen eines Einrichtungsgegenstandes in einer Benutzungsumgebung (200), aufweisend folgende Merkmale: (a) eine körperlich vorliegende Referenzgeometrie (100); (b) ein Stationärbild-Aufnahmegerät zum optischen Aufnehmen der Benutzungsumgebung (200) einschließlich der dort verwendeten Referenzgeometrie (100); (c) ein Datenverarbeitungssystem (600), welches mittels Bildverarbeitung aus Aufnahme-Bilddaten die Position des Stationärbild-Aufnahmegeräts bezüglich der Referenzgeometrie (100) bestimmt und welches Bilddaten des virtuell vorliegenden Einrichtungsgegenstandes (300) und die Aufnahme-Bilddaten perspektivisch richtig zusammenfügt; (d) und eine Anzeigeeinrichtung, welche die Benutzungsumgebung (200) mit dem perspektivisch richtig eingefügten Einrichtungsgegenstand anzeigt.
Vorrichtung nach Anspruch 10, gekennzeichnet durch einen Drucker zum Ausdrucken der körperlichen Referenzgeometrie (100).
Vorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass sich das in Merkmal (c) genannte Datenverarbeitungssystem (600) an einem von der Benutzungsumgebung (200) entfernten Ort befindet und mit dem Stationärbild-Aufnahmegerät sowie der Anzeigeeinrichtung sowie ggf. dem Drucker für Datenverkehr verbunden ist.
Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass Bilddaten mehrerer virtuell vorliegender Einrichtungsgegenstände (300) und die Aufnahme-Bilddaten zusammengefügt werden.
Vorrichtung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass der Einrichtungsgegenstand ein Möbelstück ist.