-
Die Erfindung betrifft eine Anzeigeeinrichtung und ein Verfahren zum Darstellen eines virtuellen Raums. Die Darstellung erfolgt mittels einer von einem Benutzer am Kopf zu tragenden Anzeigeeinheit, die dazu ausgebildet ist, den virtuellen Raum vor den Augen des Benutzers stereoskopisch anzuzeigen.
-
Als virtuelle Realität (VR) wird die Darstellung eines virtuellen Raumes vor den Augen eines Benutzers bezeichnet, wobei der Benutzer durch Bewegen seines Kopfes eine Perspektive, aus welcher ihm der virtuelle Raum dargestellt wird, verändern kann. Durch die Korrelation von Eigenbewegung mit der dargestellten Perspektive wird eine Immersion bewirkt, d. h. der Benutzer bekommt den Eindruck vermittelt, er schaue sich in dem virtuellen Raum um.
-
Eine Anzeigevorrichtung zum Darstellen eines virtuellen Raums ist beispielsweise aus der
WO 01/61672 A1 bekannt. Die Anzeigevorrichtung ist als Fahrsimulator ausgestaltet, in welchem der Benutzer in einem Fahrersitz allein sitzt. Ein Informationsaustausch mit anderen Personen ist hierbei nicht nötig.
-
In der virtuellen Realität kann sich für den Benutzer das Problem ergeben, dass er wegen des fehlenden direkten visuellen Kontakts mit der realen Umgebung Probleme dabei hat, mit einer anderen, neben ihm stehenden Person zu interagieren, sich beispielsweise mit dieser Person über etwas zu unterhalten.
-
Von der virtuellen Realität ist die so genannte Augmented-Reality (AR) zu unterscheiden, bei welcher der Benutzer weiterhin seine Umgebung durch eine Brille hindurch betrachten kann. In sein Blickfeld werden dann nur zusätzliche graphische Inhalte eingeblendet. Eine solche AR-Datenbrille ist beispielsweise aus der
US 2013/0293530 A1 bekannt. Mit dieser Brille können beispielsweise Bilder von Möbelstücken in das Blickfeld des Benutzers eingeblendet werden, während dieser durch die Datenbrille hindurch einen leeren Raum betrachtet. Der Benutzer gewinnt dann den visuellen Eindruck, er betrachte einen möblierten Raum.
-
Eine weitere AR-Datenbrille ist aus der
US 2011/0213664 A1 bekannt. Diese Datenbrille weist einen Ortssensor aus und ist in der Lage, beim Betrachten von Objekten in der Umgebung den Benutzern beispielsweise Werbeinformationen zu den betrachteten Gegenständen in dessen Blickfeld einzublenden.
-
AR-Systeme haben anders als VR-Systeme nicht das Problem, dass der Benutzer visuelle vollständig von seiner Umgebung abgeschirmt ist.
-
Aus der
DE 10 2007 057 208 A1 ist ein Verfahren zum Darstellen von stereoskopischen Bildobjekten in einem virtuellen dreidimensionalen Raum bekannt. Auf der Grundlage einer Blickrichtungsdetektion wird die Darstellung bei Veränderung der Blickrichtung des Betrachters neu berechnet.
-
Der Erfindung liegt die Aufgabe zugrunde, einen Benutzer eines Virtual-Reality-Systems bei einem Informationsaustausch mit einer in seiner Umgebung befindlichen Person zu unterstützen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.
-
Erfindungsgemäß bereitgestellt wird ein Verfahren zum Darstellen eines virtuellen Raums. Es werden Graphikdaten erzeugt, die den virtuellen Raum mit einem darin befindlichen virtuellen Objekt darstellen. Diese Graphikdaten werden mittels einer stereoskopischen, Augen des Benutzers zu einer Umgebung hin lichtdicht abschirmenden Anzeige angezeigt, also einer Datenbrille oder einem Datenhelm. Hierdurch wird das in dem virtuellen Raum angeordnete virtuelle Objekt vor den Augen des Benutzers dargestellt. Mit anderen Worten wird der virtuelle Raum mit dem darin befindlichen Objekt in ein Blickfeld des Benutzers eingeblendet.
-
Um nun dem Benutzer einen Informationsaustausch mit seiner realen Umgebung zu ermöglichen, werden durch die Steuereinrichtung, welche die Graphikdaten erzeugt und die Datenbrille steuert, zusätzliche Bilddaten an einem Dateneingang empfangen und im virtuellen Raum der in den Bilddaten enthaltene Bildinhalt auf einer Oberfläche des virtuellen Objekts angezeigt. Mit anderen Worten werden also die Bilddaten in die Graphikdaten integriert.
-
Durch die Erfindung ergibt sich der Vorteil, dass die Bilddaten in die Graphikdaten, die den virtuellen Raum darstellen, integriert werden und hierdurch der Bildinhalt vom Benutzer als Bestandteil der virtuellen Szenerie wahrgenommen wird.
-
Bei den Bilddaten kann es sich beispielsweise um digitale Daten handeln, die von einer Wiedergabeeinrichtung ausgegeben werden, die dazu ausgelegt ist, eine Bilddatei und/oder eine Textdatei und/oder eine Videodatei als die Bilddaten an dem Dateneingang bereitzustellen.
-
So kann eine in der Umgebung des Benutzers befindliche Person beispielsweise mittels des Medienwiedergabegeräts an dem Dateneingang diejenigen Bildinhalte bereitstellen, welche sie dem Benutzer präsentieren möchte, während dieser den virtuellen Raum betrachtet. Indem hierbei der Bildinhalt nicht einfach, wie es bei Datenbrillen für die Augmented-Reality üblich ist, als plattes, im Raum schwebendes Bild dargestellt wird, sondern auf der Oberfläche des Objekts innerhalb des virtuellen Raums dargestellt wird, integriert sich der Bildinhalt derart in die virtuelle Szenerie, dass die Immersion des Benutzers nicht beeinträchtigt wird. Er hat also weiterhin den visuellen Eindruck, dass alle von ihm visuell wahrgenommenen Objekte integraler Bestandteil des virtuellen Raums sind. Mit anderen Worten wird ein Informationsaustausch ohne Beeinträchtigung der Immersion ermöglicht.
-
Das erfindungsgemäße Verfahren wird in vorteilhafter Weise durch eine Vorrichtung durchgeführt, die ebenfalls Bestandteil der Erfindung ist. Die Anzeigeeinrichtung weist die von dem Benutzer am Kopf zu tragende Anzeigeinheit auf, also eine Datenbrille oder einen Datenhelm, die dazu ausgelegt ist, Augen des Benutzers zu einer Umgebung hin lichtdicht abzuschirmen und vor den Augen ein in einem virtuellen Raum angeordnetes virtuelles Objekt stereoskopisch anzuzeigen. Des Weiteren wird die Steuereinrichtung bereitgestellt, die dazu ausgebildet ist, das virtuelle Objekt in dem virtuellen Raum darstellende Graphikdaten zu erzeugen und an die Datenbrille zum Anzeigen auszugeben. Die erfindungsgemäße Vorrichtung ist dadurch gekennzeichnet, dass die Steuereinrichtung einen zum Empfangen von Bilddaten ausgelegten Dateneingang aufweist und dazu ausgelegt ist, einen in den über den Dateneingang empfangenen Bilddaten enthaltenden Bildinhalt, also beispielsweise das beschriebene Bild, den Text oder die Videodaten, auf einer Oberfläche des virtuellen Objekts darzustellen.
-
Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Steuereinrichtung, welche die Graphikdaten zum Darstellen des virtuellen Raums erzeugt, zusätzlich eine zum perspektivischen Verzerren eines in den Bilddaten enthaltenen Bildinhalts ausgelegte Transformationseinheit aufweist. Hierdurch kann in vorteilhafter Weise der Bildinhalt perspektivisch verzerrt werden und somit an eine räumliche Lage des virtuellen Objekts im virtuellen Raum dahingehend angepasst werden, dass der Bildinhalt sich aus der Sicht des Benutzers perspektivisch korrekt auf der Oberfläche des Objekts darstellt.
-
Bei der Erfindung ist gemäß einer anderen Weiterbildung eine Erkennungseinrichtung vorgesehen, die dazu ausgelegt ist, eine Bewegung des Benutzers und/oder der Anzeigeeinheit zu erfassen. Hierbei kann beispielsweise eine solche Erkennungseinrichtung genutzt werden, wie sie auch aus dem Stand der Technik bekannt ist, um eine Kopfbewegung des Benutzers erkennen zu können, um die dem Benutzer dargestellte Perspektive im virtuellen Raum in Abhängigkeit von seinen Kopfbewegungen anzupassen. Erfindungsgemäß wird durch die Steuereinrichtung entsprechend in Abhängigkeit von der Bewegung des Benutzers nicht nur eine Perspektive des Benutzers auf das virtuelle Objekt verändert. Zusätzlich ist bei der Erfindung nun vorgesehen, auch den Bildinhalt auf der Oberfläche des Objekts aus der veränderten Perspektive darzustellen. Mit anderen Worten wird also auch der Bildinhalt bei einer Bewegung des Benutzers und/oder der Anzeigeeinheit mitbewegt, so als wäre der Bildinhalt eine Fläche im virtuellen Raum, welche ein eigenes virtuelles Objekt darstellt, das auf der Oberfläche haftet. Hierdurch wird auch bei einer Bewegung des Benutzers dessen Immersion durch das Einblenden des Bildinhalts nicht gestört.
-
In vorteilhafter Weise ist die Steuereinrichtung dazu ausgelegt, den Bildinhalt auf einer virtuellen Wand und/oder einem virtuellen Bildschirm darzustellen. Dies sind Bereiche, auf welcher ein Benutzer aus seiner Erfahrung heraus Bildinhalte erwartet, sodass das Einblenden des Bildinhalts auf diese virtuellen Objekte den Benutzer nicht unerwartet trifft und hierdurch seine Immersion gewahrt bleibt.
-
Die Erfindung sieht in einer anderen Ausführungsform vor, dass die Steuereinrichtung dazu ausgelegt ist, in den Graphikdaten zumindest ein weiteres virtuelles Objekt darzustellen, also mindestens zwei virtuelle Objekte insgesamt darzustellen, und abhängig von einer aktuellen Position des Benutzers im virtuellen Raum eines der Objekte auszuwählen und den Bildinhalt auf der Oberfläche des ausgewählten Objekts darzustellen. Mit Position im virtuellen Raum ist hierbei diejenige virtuelle Position gemeint, durch welche die Perspektive bestimmt ist, aus welcher der Benutzer den virtuellen Raum dargestellt bekommt. Indem der Benutzer seine virtuelle Position ändern kann und in Abhängigkeit von seiner Position eines der Objekte zum Darstellen oder Präsentieren des Bildinhalts ausgewählt wird, ergibt sich der Vorteil, dass die Darstellungsposition für den Bildinhalt dynamisch gewählt werden kann und so der Bildinhalt dem Benutzer durch den virtuellen Raum folgen kann. Hierdurch ergibt sich der Vorteil, dass eine in der Umgebung befindliche Person die Bilddaten dem Benutzer präsentieren kann, ohne wissen zu müssen, wo im virtuellen Raum sich der Benutzer gerade aufhält.
-
Wie bereits ausgeführt, können die Bilddaten durch eine Wiedergabeeinrichtung bereitgestellt werden.
-
Eine andere vorteilhafte Ausführungsform der Erfindung sieht vor, dass der Dateneingang, über welchen die Bilddaten empfangen werden, mit einer Kamera gekoppelt ist, die dazu ausgelegt ist, die Umgebung des Benutzers darstellende Bilddaten zu erzeugen und an dem Dateneingang bereitzustellen. Hierdurch ergibt sich der Vorteil, dass durch Anzeigen der Bilddaten im virtuellen Raum, also das Darstellen des Bildinhalts im Blickfeld des Benutzers, diesem ein Fenster zur realen Umgebung präsentiert wird. Hierdurch kann der Benutzer im virtuellen Raum auch beispielsweise das Kamerabild von einer neben ihm stehenden Person betrachten und hierdurch beim Führen eines Gesprächs mit dieser Person visuell unterstützt werden.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung einer ersten Ausführungsform der erfindungsgemäßen Vorrichtung und
-
2 eine schematisch Darstellung einer zweiten Ausführungsform der erfindungsgemäßen Vorrichtung.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
1 zeigt eine Vorrichtung 10, die eine Steuereinrichtung 12, eine Anzeigeeinheit (hier als eine Datenbrille 14 ausgestaltet), eine Lokalisierungseinrichtung 16 und ein Wiedergabegerät 18 umfassen kann.
-
Die Steuereinrichtung 12 kann dazu ausgelegt sein, beispielsweise mittels eines Virtual-Reality-Simulators 20 Graphikdaten G zu erzeugen, durch welche ein virtueller Raum 22 dargestellt ist. Die Steuereinrichtung 12 kann hierzu beispielsweise eine Prozessoreinrichtung, beispielsweise ein Computer oder ein digitaler Signalprozessor (DSP) umfasst. Der virtuelle Raum 22 kann beispielsweise als virtuelle Objekte eine Wand 24 und ein Produkt 26 enthalten. Bei dem Produkt 26 kann es sich beispielsweise um ein Kraftfahrzeug handeln, das ein Benutzer 28 der Datenbrille 14 zu kaufen beabsichtigt. Die Steuereinrichtung kann die Graphikdaten G an die Datenbrille 14 übermitteln, welche die Graphikdaten G vor den Augen des Benutzers 28 anzeigt, sodass in ein Blickfeld oder Sichtfeld V des Benutzers 28 der virtuelle Raum 22 eingeblendet wird. Das Sichtfeld V ist in 1 ebenfalls dargestellt.
-
Eine Perspektive, aus welcher der Benutzer 28 in den virtuellen Raum 22 blickt, wird in Abhängigkeit von einer Kopfhaltung oder Kopfposition des Benutzers 28 durch den Simulator 20 eingestellt. Hierzu erfasst die Lokalisierungseinrichtung 60 eine aktuelle Raumlage oder Raumposition eines Cockpits des Benutzers 28 und/oder der Datenbrille 14. Die Lokalisierungseinrichtung 16 kann hierzu in an sich bekannter Weise ausgestaltet sein und beispielsweise ortsfest in einer Umgebung des Benutzers 28 angeordnet sein und beispielsweise eine Kamera umfassen, welche die Datenbrille 14 filmt und/oder zumindest teilweise in die Datenbrille 14 integriert sein und beispielsweise einen Gyrosensor oder einen Beschleunigungssensor umfassen. Es kann auch ein Lokalisierungsverfahren oder Ortungsverfahren auf Grundlage einer Triangulation oder Trilateration zugrundgelegt sein. Die Lokalisierungseinrichtung 16 erzeugt Positionsdaten P mit der aktuellen Raumlage und/oder Raumposition der Datenbrille 14 und/oder des Kopfes des Benutzers 28.
-
Der Benutzer 28 kann während des Betrachtens des virtuellen Raums 22, also während des Tragens der Datenbrille 14, sich mit einem (nicht dargestellten) Verkäufer des Produkts 26 unterhalten. Der Verkäufer kann hierbei wünschen, dem Benutzer 28 zusätzliche Informationen zu präsentieren. Hierzu muss der Benutzer 28 die Datenbrille 14 nicht abnehmen. Stattdessen kann der Verkäufer mittels des Medienwiedergabegeräts 18 Bilddaten D ausgeben, die an einen Dateneingang 30 der Steuereinrichtung 12 übertragen werden können.
-
Der Bildinhalt der Bilddaten B wird dabei nicht einfach irgendwo in das Blickfeld V eingeblendet, also unabhängig von der Gestalt des virtuellen Raums 22. Stattdessen erscheint der Bildinhalt der Bilddaten B als ein Bestandteil des virtuellen Raums 22. In dem gezeigten Beispiel von 1 ist der Bildinhalt der Bilddaten B auf eine Oberfläche 34 der Wand 24 projiziert.
-
Die Steuereinrichtung 12 kann hierzu eine Mischeinrichtung oder Kombiniereinheit 32 aufweisen, welche dazu ausgerichtet sein kann, die Bilddaten B in die Graphikdaten G zu integrieren, sodass die Bilddaten B, d. h. deren Bildinhalt im virtuellen Raum 22 im Sichtfeld V des Benutzers 28 erscheint. Die Kombiniereinheit 32 kann beispielsweise ein Programmmodul der Steuereinrichtung 12 umfassen. Die Kombiniereinheit 32 kann dazu ausgelegt sein, die Bilddaten B in Abhängigkeit von einer aktuellen Perspektive des Benutzers 28 in den Raum 22 stets an einer geeigneten Stelle einzublenden. Dazu kann die Kombiniereinheit 32 beispielsweise in Abhängigkeit von den Positionsdaten P ermitteln, welches der virtuellen Objekte 24, 26 gerade in das Blickfeld V eingeblendet wird. Zu jedem der virtuellen Objekte 24, 26 kann beispielsweise eine Information hinterlegt sein, ob sich das jeweilige virtuelle Objekt 24, 26 zum Darstellen des Bildinhalts der Bilddaten B eignet.
-
Der Bildinhalt der Bilddaten B kann dabei in derselben Weise perspektivisch verzerrt sein wie die Wand 24 selbst. Eine perspektivische Verzerrung 36 ist in der 1 durch einen verzerrten rechteckigen Rahmen dargestellt. Die perspektivische Verzerrung kann durch eine Verzerrungseinrichtung 38 bewirkt sein, über welche der Dateneingang 30 mit der Kombiniereinrichtung 32 gekoppelt sein kann. Die Verzerrungseinrichtung 38 kann beispielsweise ein Programmmodul der Steuereinrichtung 12 sein.
-
Das Medienwiedergabegerät 18 kann beispielsweise zum Abspielen oder Ausgeben von Bilddateien, Textdateien oder Videodateien ausgelegt sein. Wobei dann die Bilddaten entsprechend ein Bild, Text oder eine Videosequenz darstellen können.
-
In 2 ist gezeigt, wie bei der Vorrichtung 10 anstelle des Medienwiedergabegeräts 18 auch eine Kamera 40 an dem Dateneingang 30 betrieben werden kann. In 2 sind hierbei Elemente, welche funktionsgleich mit Elementen aus 1 sind, mit denselben Bezugszeichen wie in 1 versehen.
-
Beispielsweise kann der Verkäufer 42 wünschen, dass der Benutzer 28 beim Betrachten des virtuellen Raums 22 mit dem Verkäufer 42 spricht und hierbei den Verkäufer 42 sieht. Hierzu kann der Verkäufer 42 einen Erfassungsbereich 44 der Kamera 40 auf sein Gesicht 46 gerichtet haben, sodass die Bilddaten B der Kamera 40 das Gesicht 46 als Bildinhalt darstellen.
-
Für das der 2 zugrundeliegende Beispiel sei angenommen, dass sich der Benutzer 28 im virtuellen Raum 22 bewegt hat, d. h. seine virtuelle Position verändert hat. Der Benutzer 28 steht nun nicht mehr vor dem Kraftfahrzeug, welches das virtuelle Objekt 26 darstellt, sondern hat sich in das Kraftfahrzeug gesetzt und betrachtet nun ein Lenkrad 48 und ein Armaturenbrett 50 in einem Fahrgastraum des Kraftfahrzeugs. Das Armaturenbrett 50 kann beispielsweise einen Bildschirm oder ein Mittendisplay 52 aufweisen, das Bestandteil eines Infotainmentsystems sein kann. Dem Benutzer 28 wird auf dem Mittendisplay 52 das Gesicht 46 angezeigt. Hierzu wurde durch die Kombiniereinrichtung 32 ermittelt, dass in den Graphikdaten G das Lenkrad 48 und das Armaturenbrett 50 mit dem Mittendisplay 52 dargestellt werden und als geeignetes Wiedergabeobjekt das Mittendisplay 52 für die Einblendung des Gesichts 46 in den virtuellen Raum 22 ausgewählt. Die Kombiniereinrichtung 32 hat daraufhin die von der Verzerrungseinrichtung 38 perspektivisch korrekt verzerrten Bilddaten B empfangen und mit den Graphikdaten G kombiniert, sodass der Benutzer 28 in seinem Blickfeld V den virtuellen Raum 22 sieht, wobei auf einer Oberfläche 54 des Mittendisplays 52 der Bildinhalt der Bilddaten B, d. h. das Gesicht 46 erscheint.
-
Nutzt man also die virtuelle Realität im Verkaufsprozess, z. B. um in einem virtuellen Showroom ein Produkt wie ein Auto auszustellen, ist es nun möglich, in die virtuelle Szenerie zusätzliche Inhalte, wie Ausstattungs- oder Fahrzeug bezogene Filme oder Charts oder auch ein Videobild des Verkäufers 42 einzuspielen. Um die Immersion innerhalb der virtuellen Realität nicht zu stören, werden diese Inhalte stimmig innerhalb der Szenerie eingebettet. Der Einspielort kann dabei dynamisch der jeweiligen virtuellen Position des VR-Benutzers angepasst werden. Betrachtet der Benutzer beispielsweise das ihn interessierende Produkt in einem virtuellen Showroom von außen, werden die zugespielten Inhalte z. B. in der virtuellen Wand des Showrooms eingespielt, ähnlich einem virtuellen Screen oder Wandbild. So wird die Illusion des Benutzers nicht durch eine unrealistische Darstellung und/oder Positionierung des Zuspielinhalts gestört. Begibt sich der Benutzer nun in eine andere Position, z. B. in das Cockpit des ausgestellten Fahrzeugs, kann der eingespielte Inhalt dynamisch seine Position ändern und z. B. plötzlich auf dem in der Mittelkonsole des Fahrzeugs befindlichen Bildschirm des Fahrzeugentertainmentsystems erfolgen.
-
Insgesamt zeigt das Beispiel, wie durch die Erfindung in eine virtuelle Realität eingespielte Inhalte in Abhängigkeit von der Position des VR-Nutzers dargestellt werden können.
