DE102012010799B4

DE102012010799B4 - Verfahren zur räumlichen Visualisierung von virtuellen Objekten

Info

Publication number: DE102012010799B4
Application number: DE102012010799.4A
Authority: DE
Inventors: Jürgen Kersting
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-06-01
Filing date: 2012-06-01
Publication date: 2015-03-05
Anticipated expiration: 2032-06-02
Also published as: DE102012010799A1; WO2013178358A1

Abstract

Die Erfindung betrifft ein Verfahren zur Visualisierung von virtuellen dreidimensionalen Objekten in einer Darstellung einer realen Umgebung. Damit der Betrachter das virtuelle dreidimensionale Objekt (1) von verschiedenen Seiten in unterschiedlichen Perspektiven und eingebettet in die reale Darstellung der Umgebung betrachten kann, ohne auf Hilfsmittel angewiesen zu sein, schlägt die Erfindung ein Verfahren vor, welches gekennzeichnet ist durch – eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen virtuellen Visualisierungsraum (2) für das virtuelle Objekt (1) ganz oder teilweise umschließen, – der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung (4) ganz oder teilweise verdeckte Umgebung (6) aufnehmen, – eine rechnergesteuerte Rekonstruktion der von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, – einen rechnergesteuerten Bildgenerator (B), der zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes (1) erzeugt und lagegerecht in die rekonstruierte Umgebungsdarstellung integriert und – eine Darstellung der rekonstruierten Umgebungsdarstellung mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung (4).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung.
Nach dem Stand der Technik (vgl. DE 10 2009 056 013 A1 ) ist eine Visualisierungseinrichtung bekannt, bei der ein von einer Kamera aufgenommenes Bild in Echtzeit zweidimensional auf einem Bildschirm angezeigt wird und in dieses Bild ein von einem Bildgenerator erzeugtes zweidimensionales Bild eines dreidimensionalen virtuellen Objektes integriert wird. Dabei wird die Perspektive des virtuellen Objektes an die Perspektive des von der Kamera gelieferten Bildes derart angepasst, dass man bei der Betrachtung des auf dem Bildschirm angezeigten Bildes den Eindruck gewinnt, das virtuelle Objekt befinde sich in dem von der Kamera aufgenommenen Raum.
Diese auch als erweiterte Realität (englisch: augmented reality; nachfolgend abgekürzt AR) bezeichnete Darstellungstechnik ist auch anderweitig bekannt und verwendet unterschiedliche Visualisierungtechniken. So ist es z. B. aus der Druckschrift Van Krevelen, D. W,. F.; Poelman, R.: A survey of augmented reality technologies, applications and limitations; Int'l J. of Virtual Reality, 2010, Vol 9 (2): 1–20 bekannt, zur Visualisierung neben herkömmlichen 2D-Bildschirmen eine stereoskopische Darstellungstechnik zu verwenden, die einen Raumeindruck erweckt und z. B. mit transparenten Bildschirmen arbeitet.
Weiterhin wird in der Druckschrift ONG, S. K.; YUAN, M. L.; NEE, A. Y. C.; Augmented reality applications in manufacturing: a survex; 2008, Int'l j. prod. research, Vol. 46 (10): 2707–2742 der Einsatz von AR auf verschiedenen Anwendungsgebieten beschrieben, und zwar in Kombination mit Methoden für die Nachführung der Betrachterposition (Tracking) und für die Einordnung (registration) der hinzugefügten Bildteile in das Zuvor existierende Bild.
Eine Visualisierung mit 2D-Bildschirmen oder stereoskopischen Bildschirmen ist natürlich erheblich einfacher, als Holographie, echte Stereoskopie oder die Projektion von Volumendaten in 3D-Schichttechnik. Alle diese Systeme zur dreidimensionalen Darstellung erfordern nämlich einen erheblichen apparativen Aufwand und/oder für den Betrachter unbequeme einschränkende Hilfsmittel wie z. B. besonders ausgestaltete Brillen, Helme oder andere Darstellungssysteme, die vom Betrachter getragen werden müssen.
Die WO 2003/083822 offenbart Eingabeeinrichtungen für volumetrische Anzeigeeinrichtungen (englisch: volumetric display), in deren Visualisierungsraum jeweils durch besondere physikalische Effekte Bildpunkte (Voxel) erzeugt werden, von denen jeder einen dreidimensional exakt definierten Ort im Volumen des Visualisierungsraums hat. Dabei können die durchsichtigen äußeren Begrenzungsflächen dieses Visualisierungsraums unterschiedliche Formen haben, z. B. die Form einer Kugel, eines Zylinders oder eines Kubus. In diesem Zusammenhang wird in dieser Druckschrift z. B. eine würfelförmige, volumetrische Anzeigevorrichtung beschrieben, in deren Visualisierungsraum – wie in einem Glaskasten – die Voxel-Repräsentation eines Automodells zu sehen ist und von allen Seiten betrachtet werden kann. Mit einer Eingabevorrichtung kann zusätzlich diese Voxel-Repräsentation eines Automodells innerhalb des Visualisierungsraums bewegt werden. Solche volumetrischen Anzeigeeinrichtungen sind wegen des großen apparativen und rechentechnischen Aufwands allerdings extrem kostspielig und stehen deshalb zur Zeit allenfalls im Labor-Maßstab zur Verfügung.
Die nach dem Stand der Technik gemäß DE 10 2009 056 013 A1 bekannte Visualisierungseinrichtung, die ohne volumetrische Anzeigevorrichtungen auskommt, ermöglicht es noch nicht, um das dargestellte virtuelle Objekt herumzugehen um es von verschiedenen Seiten in unterschiedlichen Perspektiven zu betrachten.
Es ist deshalb Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung der genannten Art zu schaffen, welche es dem Betrachter ermöglichen, um das visualiserte, virtuelle Objekt herumzugehen, um es von verschiedenen Seiten her in unterschiedlichen Perspektiven zu betrachten, und zwar ohne auf eine kostspielige volumetrische Anzeigevorrichtung oder auf unbequeme Hilfsmittel angewiesen zu sein.
Gegenstand der Erfindung ist zunächst ein Verfahren zur Visualisierung von virtuellen dreidimensionalen Objekten in einer Darstellung einer realen Umgebung, gekennzeichnet durch

– eine Bildschirmanordnung aus mehreren Bildschirmen, deren Bildflächen einen virtuellen Visualisierungsraum für das virtuelle Objekt ganz oder teilweise umschließen,
– der Bildschirmanordnung zugeordnete Kameras, die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung aufnehmen,
– eine rechnergesteuerte Rekonstruktion der von den Kameras erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters,
– einen rechnergesteuerten Bildgenerator, der zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und
– eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung.

Das Verfahren gemäß der Erfindung zeichnet sich zunächst dadurch aus, dass es mit handelsüblichen Bildschirmen, Videokameras und einem hinreichend leistungsstarken Rechner sowie einer geeigneten Software ausgeführt werden kann und dass zusätzliche, den Betrachter behindernde Hilfsmittel nicht benötigt werden. Der Betrachter kann unbehindert um die Bildschirmanordnung herumgehen und sieht auf den jeweils für ihn sichtbaren Bildschirmen sowohl den virtuellen Gegenstand als auch die Umgebung in der jeweils richtigen Perspektive, wobei ein die Ränder der einzelnen Bildschirme übergreifender, zusammenhängender Raumeindruck entsteht. Dabei ist ein Visualisierungsraum im Sinne der oben diskutierten volumetrischen Anzeigeeinrichtungen physikalisch nicht vorhanden oder notwendig, sondern erscheint für den Betrachter auf den für ihn sichtbaren Bildschirmen, und zwar lediglich virtuell in dem von den Bildschirmen umschlossenen Raum.
Damit nicht mit einigen wenigen Betrachterpositionen gearbeitet werden muss, sondern jede beliebige Betrachterposition möglich wird, ist weiterhin vorgesehen, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung durch ein Trackingsystem erfasst wird. Hierdurch werden für den Betrachter alle an den Übergängen von einem Bildschirm zum nächsten auftretenden Abbildungsfehler vermieden, sodass aus jeder Position des Betrachters heraus ein absolut kohärenter Raumeindruck entsteht.
Zur Verbesserung des räumlichen und realitätsnahen Eindruckes ist weiterhin vorgesehen, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras aufgenommen Umgebung sichtbar gemacht werden.
Schließlich ist vorgesehen, dass rechnergesteuert Teile des dargestellten virtuellen Objektes bewegt werden können, insbesondere durch eine Gestensteuerung. Hierdurch kann man zum Beispiel durch Gestensteuerung die Türen oder den Kofferraumdeckel eines virtuell dargestellten Kraftfahrzeuges aufklappen und/oder schließen oder sonstige vorprogrammierte Manipulationen an dem virtuellen Objekt vornehmen.
Zweckmäßig grenzen die Bildschirme der Bildschirmanordnung unmittelbar aneinander an und haben einen möglichst schmalen Rand oder am besten gar keinen Rand. Dabei wird die Darstellung wird umso besser, je mehr Bildschirme die Bildschirmanordnung umfasst. Notwendig sind mindestens zwei Bildschirme, deren Bildflächen von entgegengesetzten Seiten her sichtbar sind. Zweckmäßig enthält die Bildschirmanordnung allerdings mehr Bildschirme, die den Visualisierungsraum nach allen Seiten hin sowie von oben und unten umgeben. Dafür benötigt man z. B. in allen drei Raumachsen jeweils zwei aus entgegengesetzten Richtungen sichtbare Bildschirme, d. h. insgesamt sechs Bildschirme, die in der Form eines Würfels angeordnet sind.
Die Bildschirme der Bildschirmanordnung sind nach dem heutigen Stand der Technik zweckmäßig als Flachbildschirme mit schmalem Rand ausgebildet. Alternativ können die Bildschirme der Bildschirmanordnung aber auch als Projektionsflächen ausgebildet sein, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projeziert werden.
Zur weiteren Verbesserung des räumlichen Eindrucks können die Bildschirme der Bildschirmanordnung ggf. auch gewölbt ausgebildet sein.
Für das oben angegebene Tracking zur Feststellung der jeweiligen Position des Betrachters können die bereits vorhandenen Kameras verwendet werden, die in diesem Fall zugleich eine stereoskopische Abtastung der Umgebung der Bildschirmanordnung erlauben. Alternativ können zu diesem Zweck auch handelsübliche Sensoren oder Bewegungsmelder verwendet werden, die zusätzlich zu den Kameras vorhanden sind.
Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Durchführung des oben angegebenen Verfahrens.
Ein Ausführungsbeispiel der Erfindung wird im folgenden anhand der Zeichnung näher erläutert. Es zeigen:
1: Eine Bildschirmanordnung gemäß der Erfindung mit einer Darstellung eines fiktiven dreidimensionalen Objekts;
2: ein Blockschaltbild der Vorrichtung gemäß der Erfindung.
In 1 ist das darzustellende virtuelle Objekt mit dem Bezugszeichen 1 bezeichnet. Es handelt sich um ein virtuelles Modellauto, welches mit einem entsprechenden Grafikprogramm in einem Rechner R mit einem Bildgenerator B dreidimensional konfiguriert worden ist.
Das virtuelle Objekt 1 wird in einem Visualisierungsraum 2 dargestellt, der nach allen Seiten hin von Bildschirmen 3 umgeben ist. Die Bildschirme 3 bilden gemeinsam eine Bildschirmanordnung 4, die zusammengenommen einen umgehbaren Polyeder bilden, zum Beispiel einen Würfel oder wie beim Ausführungsbeispiel einen Quader. Von den Bildschirmen 3 der Bildschirmanordnung 4 sind in 1 nur die beiden dem Betrachter gegenüberliegende Bildschirme 3 zu sehen.
Jedem Bildschirm 3 sind auf der jeweils gegenüberliegenden Seite der polyedrischen Bildschirmanordnung 4 Kameras 5 zugeordnet, die die für den Betrachter teilweise verdeckte Umgebung, zum Beispiel die in 1 erkennbare Raumecke 6, aufnehmen. Zusätzlich sind Bewegungsmelder 7 vorgesehen, die die jeweilige Position des Betrachters in Bezug auf die Bildschirmanordnung 1 feststellen (Tracking). Diese Funktion der Bewegungsmelder 7 können gegebenenfalls auch von den Kameras 5 wahrgenommen werden.
Die von den Kameras 5 aufgenommenen Umgebungsdarstellungen werden im Rechner R derart rekonstruiert, dass sie in die jeweilige Perspektive des Betrachters passen. In diese rekonstruierten Umgebungsdarstellungen werden gleichzeitig lagegerecht zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes integriert, und zwar ebenfalls in der Perspektive des jeweiligen Betrachters. Abschließend werden die rekonstruierten Umgebungsbilder zusammen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildschirmen 3 der Bildschirmanordnung 1 dargestellt.
Im Ergebnis erscheint das dreidimensionale virtuelle Objekt 1 gewissermaßen schwebend in dem virtuellen Visualisierungsraum 2 und kann von dem Betrachter durch Umschreiten der polyedrischen Bildschirmanordnung 4 von allen Seiten betrachtet werden. Ein besonders realitätsnaher Eindruck ergibt sich, wenn zumindest auf den glänzenden Oberflächen des virtuellen Objektes 1 virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras 5 aufgenommenen Umgebung sichtbar gemacht und Teile des dargestellten virtuellen Objektes durch Gestensteuerung bewegt werden können.
Das Blockschaltbild gemäß 2 erläutert die einzelnen Bestandteile der Vorrichtung und deren funktionales Zusammenwirken näher.

Claims

Verfahren zur Visualisierung von virtuellen dreidimensionalen Objekten in einer Darstellung einer realen Umgebung, gekennzeichnet durch – eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen virtuellen Visualisierungsraum (2) für das virtuelle Objekt (1) ganz oder teilweise umschließen, – der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung (6) aufnehmen, – eine rechnergesteuerte Rekonstruktion der von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, – einen rechnergesteuerten Bildgenerator (B), der zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes (1) erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und – eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung (4).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung (4) durch ein Trackingsystem (7) erfasst wird.
Verfahren nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes (1) virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras (5) aufgenommenen Umgebung (6) sichtbar gemacht werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass rechnergesteuert Teile des dargestellten virtuellen Objektes (1) bewegt werden, insbesondere durch eine Gestensteuerung.
Verfahren nach Anspruch 1 oder einem der folgenden Ansprüche, dadurch gekennzeichnet, dass die Bildschirme (3) der Bildschirmanordnung (4) unmittelbar aneinander angrenzend angeordnet werden, derart, dass deren Bildflächen von entgegengesetzten Seiten her sichtbar sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Visualisierungsraum polyedrisch nach allen Seiten hin sowie nach oben und/oder unten von den Bildflächen der Bildschirmanordnung (4) umgeben ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Bildschirme (3) für die Bildschirmanordnung (4) aktive Flachbildschirme verwendet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Bildschirme (3) der Bildschirmanordnung (4) passive Projektionsflächen verwendet werden, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projiziert werden.
Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Tracking-System der Bildschirmanordnung (4) zugeordnete Kameras (5) verwendet werden, die eine stereoskopische Abtastung der Umgebung erlauben.
Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Trackingsystem der Bildschirmanordnung (4) zugeordnete Bewegungsmelder (7) verwendet werden.
Vorrichtung zur Durchführung des Verfahrens nach einem oder mehreren der Patentansprüche 1 bis 10.