DE102014009298A1

DE102014009298A1 - Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Info

Publication number: DE102014009298A1
Application number: DE102014009298.4A
Authority: DE
Inventors: Marcus Kühne; Thomas Zuchtriegel
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2014-06-26
Filing date: 2014-06-26
Publication date: 2015-12-31
Also published as: US9420392B2; US20150382131A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Virtual-Reality-Systems, mit den Schritten: Erfassen einer Raumlage eines Kopfes (25) einer ersten Person (26), welche eine Virtual-Reality-Brille (12) und einen Kopfhörer (20) trägt; Anzeigen zumindest eines virtuellen Objekts (34) innerhalb einer virtuellen Umgebung (32) aus einer virtuellen Blickrichtung (38) mittels der Virtual-Reality-Brille (12), wobei die virtuelle Blickrichtung (38) in Abhängigkeit von der erfassten Raumlage des Kopfes (25) vorgegeben wird; Wiedergeben einer akustischen Aufnahme mittels des Kopfhörers (20); Erfassen von Sprachschall (44) von zumindest einer zweiten Person (40) mittels einer Mikrophoneinrichtung (18) und Wandeln des erfassten Sprachschalls (44) in ein Sprachsignal; Wiedergeben des Sprachsignals mittels des Kopfhörers (20), wobei ein linker und ein rechter Lautsprecher (22, 24) des Kopfhörers (20) in Abhängigkeit von der erfassten Raumlage des Kopfs (25) derart betrieben werden, dass das Sprachsignal von den Lautsprechern (22, 24) so wiedergegeben wird, wie der Sprachschall (44) ohne den aufgesetzten Kopfhörer (20) zur ersten Person (26) gelangen würde. Des Weiteren betrifft die Erfindung ein Virtual-Reality-System (10), mit einer Virtual-Reality-Brille (12).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie ein Virtual-Reality-System.
Unter einem Virtual-Reality-System im Sinne der Erfindung ist ein System zu verstehen, mittels welchem eine virtuelle Realität angezeigt werden kann. Das Virtual-Reality-System umfasst insbesondere eine so genannte Virtual-Reality-Brille, bei welcher es sich um eine bestimmte Form eines so genannten Head-Mounted-Displays handelt, also um ein auf dem Kopf tragbares visuelles Ausgabegerät. Es präsentiert Bilder auf einem augennahen Bildschirm oder projiziert sie direkt auf die Netzhaut. Eine Virtual-Reality-Brille hat dabei zusätzlich noch Sensoren zur Bewegungserfassung des Kopfs. Damit kann die Anzeige der berechneten Graphiken an die Bewegungen des Trägers der Brille angepasst werden. Durch die körperliche Nähe wirken die angezeigten Bildflächen von Head-Mounted-Displays erheblich größer als die frei stehender Bildschirme und decken im Extremfall sogar das gesamte Sichtfeld des Benutzers ab. Da das Display durch die Kopfhaltung allen Kopfbewegungen des Trägers folgt, bekommt er das Gefühl, sich direkt in einer von einem Computer erzeugten Bildlandschaft zu bewegen.
Mittels derartiger Virtual-Reality-Brillen kann also eine virtuelle Realität dargestellt werden, wobei als virtuelle Realität üblicherweise die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit in ihren physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet wird.
Ein derartiges Virtual-Reality-System kann beispielsweise beim Vertrieb von Kraftfahrzeugen verwendet werden, um mittels der Virtual-Reality-Brille ein Kraftfahrzeug virtuell darzustellen. Insbesondere in einem derartigen Anwendungsfall besteht eine Herausforderung darin, dass der Träger der Virtual-Reality-Brille einerseits möglichst hochwertig klingenden Sound über entsprechende Kopfhörer eingespielt bekommen und zugleich Aussagen von einem Verkäufer und/oder auch weiteren Begleitpersonen verstehen und deren Gespräche mitverfolgen können sollte.
Der Träger der Virtual-Reality-Brille kann sich beispielsweise innerhalb einer angezeigten virtuellen Umgebung um ein virtuelles Objekt, beispielsweise ein Kraftfahrzeug, herumbewegen. Eine besondere Herausforderung in diesem Zusammenhang besteht darin, die sprachlichen Äußerungen von Personen im Umfeld des Trägers der Virtual-Reality-Brille so über besagte Kopfhörer einzuspielen, dass der Träger der Virtual-Reality-Brille nicht verwirrt wird.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie ein Virtual-Reality-System bereitzustellen, mittels welchem ermöglicht wird, dass ein Träger einer Virtual-Reality-Brille insbesondere sprachliche Äußerungen einer oder mehrerer Personen auf verbesserte Weise bereitgestellt bekommt.
Diese Aufgabe wird durch ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie durch ein Virtual-Reality-System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Das erfindungsgemäße Verfahren zum Betreiben eines Virtual-Reality-Systems weist die folgenden Schritte auf:

– Erfassen einer Raumlage eines Kopfs einer ersten Person, welche eine Virtual-Reality-Brille und einen Kopfhörer trägt;
– Anzeigen zumindest eines virtuellen Objekts innerhalb einer virtuellen Umgebung aus einer virtuellen Blickrichtung mittels der Virtual-Reality-Brille, wobei die virtuelle Blickrichtung in Abhängigkeit von der erfassten Raumlage des Kopfes vorgegeben wird;
– Wiedergeben einer akustischen Aufnahme mittels des Kopfhörers;
– Erfassen von Sprachschall von zumindest einer zweiten Person mittels einer Mikrophoneinrichtung und wandeln des erfassten Sprachschalls in ein Sprachsignal;
– Wiedergeben des Sprachsignals mittels des Kopfhörers, wobei ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs derart betrieben werden, dass das Sprachsignal von den Lautsprechern so wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer zur ersten Person (Ohren, Gehörgang) gelangen würde.

Zum einen wird durch das erfindungsgemäße Verfahren ermöglicht, dass ein Träger einer Virtual-Reality-Brille eine besonders realistische Darstellung eines virtuellen Objekts innerhalb einer virtuellen Umgebung erhält, da er durch Veränderung der Raumlage seines Kopfs auf einfache Weise seinen Blickwinkel auf das angezeigte virtuelle Objekt verändern kann. Vorzugsweise ist es dabei auch möglich, dass der Träger der Virtual-Reality-Brille sich innerhalb der angezeigten virtuellen Umgebung bewegen kann. Mit anderen Worten heißt dies, dass er seine virtuelle Position innerhalb der virtuellen Umgebung verändern kann, sodass eine jeweilige Perspektive auf das virtuelle Objekt verändert werden kann. Zusätzlich wird eine akustische Aufnahme mittels der Kopfhörer wiedergegeben, sodass beispielsweise möglichst hochwertig klingender Sound eingespielt wird, wodurch das Virtual-Reality-Erlebnis nochmals verbessert bzw. verstärkt werden kann.
Erfindungswesentlich ist dabei, dass das Sprachsignal mittels des Kopfhörers so wiedergegeben wird, dass ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs des Trägers der Virtual-Reality-Brille derart betrieben wird, dass das Sprachsignal von den Lautsprechern so wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer zum Träger der Virtual-Reality-Brille gelangen würde. Sollte also der Träger der Virtual-Reality-Brille seine virtuelle Position innerhalb der virtuellen Umgebung verändern, so verändert sich die akustisch erfassbare Position der zweiten Person für den Träger der Virtual-Reality-Brille nicht.
Mit anderen Worten werden die Kopfhörer derart betrieben, dass unabhängig von der virtuellen Positionierung innerhalb der virtuellen Umgebung immer dieselbe Richtungslokalisation durch die erfindungsgemäße Wiedergabe des Sprachsignals sichergestellt werden kann, und zwar so, wie der Benutzer die zweite Person ohne aufgesetzte Kopfhörer hören würde. Neben der zweiten Person, bei welcher es sich beispielsweise um einen Verkäufer handeln kann, kann beispielsweise noch eine dritte Person anwesend sein. Der Sprachschall von der dritten Person kann dabei ebenfalls mittels der Mikrofoneinrichtung erfasst und in ein entsprechendes Sprachsignal gewandelt werden. Das Sprachsignal der dritten Person wird dabei mittels des Kopfhörers ebenfalls derart wiedergegeben, dass ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs des Trägers der Virtual-Reality-Brille derart betrieben werden, dass das Sprachsignal der dritten Person von den Lautsprechern ebenfalls so wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer zum Träger der Virtual-Reality-Brille gelangen würde.
Der Träger der Virtual-Reality-Brille hat somit immer eine im Wesentlichen fixe Richtungslokalisation bezüglich sprachlicher Äußerungen von Personen im Umfeld des Trägers der Virtual-Reality-Brille, sodass er eine Art akustische Orientierung und Verankerung zur Wirklichkeit beibehält, auch wenn die virtuelle Umgebung besonders wirklichkeitsnah dargestellt wird.
Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass beim Wiedergeben des Sprachsignals eine Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs der ersten Person angepasst wird. Dadurch kann das Sprachsignal von den Lautsprechern besonders realitätsnah so wiedergegeben werden, wie der Sprachschall ohne den aufgesetzten Kopfhörer zur ersten Person gelangen würde.
Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass beim Wiedergeben des Sprachschalls eine Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs der ersten Person angepasst wird. Dadurch kann ebenfalls ermöglicht werden, dass das Sprachsignal von den Lautsprechern besonders realitätsnah so wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer zur ersten Person gelangen würde.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass der Sprachschall mittels einer binauralen Aufnahmemethode, insbesondere mittels einer binauralen Kunstkopfaufnahme, erfasst wird. Im einfachsten Fall werden zwei Mikrofone verwendet, die seitwärts voneinander weg zeigen und einen Abstand von etwa 17 cm bis 22 cm zueinander haben, vorzugsweise von 17.5 cm. Dieser Abstand und die Platzierung stellen angenähert die Position der Gehörgänge eines durchschnittlichen Menschen dar. Ein den Schall absorbierender oder auch reflektierender Trennkörper, wie beispielsweise ein Fußball oder eine Metallplatte, wird zwischen die Mikrofone platziert, um einen Kopf angenähert zu simulieren. Durch diese Art der Aufnahme des Schalls kann mittels der Kopfhörer ein besonders natürlicher Höreindruck mit einer besonders exakten Richtungslokalisation erzeugt werden. Denn binaurale Aufnahmen, welche die durch Kopfhörerwiedergabe unterbundenen natürlichen Ohrsignale ersetzen, stellen die beste Möglichkeit dar, einen räumlichen Höreindruck realitätsnah zu reproduzieren.
Vorzugsweise umfasst die Mikrofoneinrichtung einen mit einer binauralen Aufnahmeeinrichtung ausgestatteten Kunstkopf, welcher zwischen der ersten Person und der zweiten Person, insbesondere auf einer Verbindungslinie zwischen der ersten und der zweiten Person, positioniert wird, wobei der Sprachschall mittels der binauralen Aufnahmeeinrichtung erfasst wird. Der Kunstkopf ist eine Kopfnachbildung, wobei die Aufnahmeeinrichtung beispielsweise zwei Kondensator-Studiomikrofone mit Kugelcharakteristik umfasst, die in einem künstlichen Gehörgang des Kunstkopfs eingesetzt sind. Hierbei werden so genannte kopfbezogene Übertragungsfunktionen, auch unter der Bezeichnung Head-Related Transfer Functions bekannt, nachgebildet.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass die relative Lage und/oder Position des Kunstkopfs zum Kopf der ersten Person, insbesondere auch zum Kopf der zweiten Person, erfasst und bei der Wiedergabe des Sprachsignals berücksichtigt wird. Die entsprechenden Lage- und Positionsinformationen werden vorzugsweise dazu genutzt, die Wiedergabe des Sprachsignals derart zu steuern, dass durch die Wiedergabe mittels des Kopfhörers ein besonders realitätsnaher und räumlicher Höreindruck reproduziert wird, sodass eine besonders exakte Richtungslokalisation für die erste Person möglich ist.
Gemäß einer alternativen vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass die Mikrofoneinrichtung ein von der weiteren Person getragenes Mikrofon umfasst, mittels welchem der Sprachschall erfasst wird. Dadurch, dass die Mikrofoneinrichtung von der weiteren Person getragen wird, wird vor allem der Sprachschall der weiteren Person hauptsächlich erfasst, wobei weitere Umgebungsgeräusche weniger stark mittels der Mikrofoneinrichtung erfasst werden.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass die relative Lage und/oder Position des Kopfs der zweiten Person zum Kopf der ersten Person erfasst und bei der Wiedergabe des Sprachsignals berücksichtigt wird. Mit anderen Worten wird also die relative Positionierung der beiden Personen zueinander und die jeweilige Ausrichtung der Köpfe der beiden Personen zueinander berücksichtigt, sodass das Sprachsignal derart ausgegeben werden kann, dass ein besonders guter räumlicher Höreindruck realitätsnah bei der zweiten Person durch das Abspielen über die Kopfhörer erzielt wird.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass weiterer Umgebungsschall mittels der Mikrofoneinrichtung erfasst wird, wobei dieser Umgebungsschall herausgefiltert und nicht mittels des Kopfhörers wiedergegeben wird, wenn dieser um einen vorgegebenen Lautstärkepegel niedriger ist als der erfasste Sprachschall der zweiten Person. Dadurch können insbesondere Gespräche ab einer bestimmten Entfernung quasi abgeblockt und nicht über die Kopfhörer übertragen werden, was insbesondere bei einer halböffentlichen Situation in einem Verkaufsraum besonders hilfreich ist.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass weiterer Umgebungsschall mittels der Mikrofoneinrichtung erfasst wird, wobei dieser Umgebungsschall mit Ausnahme des Sprachschalls der zweiten Person mittels einer durch den Kopfhörer erzeugten aktiven Lärmkompensation abgeschwächt wird. Mit anderen Worten wird also eine Art Antischall erzeugt, mittels welchem die restlichen Umgebungsgeräusche bis auf den Sprachschall der zweiten Person abgeschwächt oder eliminiert werden.
Das erfindungsgemäße Virtual-Reality-System umfasst

– eine Virtual-Reality-Brille, welche dazu ausgebildet ist, zumindest ein virtuelles Objekt innerhalb einer virtuellen Umgebung anzuzeigen;
– eine Erfassungseinrichtung, welche dazu ausgebildet ist, eine Raumlage eines Kopfes einer die Virtual-Reality-Brille tragenden ersten Person zu erfassen;
– eine Steuereinrichtung, welche dazu ausgebildet ist, in Abhängigkeit von der erfassten Raumlage des Kopfes der ersten Person eine virtuelle Blickrichtung zu ermitteln und die Virtual-Reality-Brille derart anzusteuern, dass diese das virtuelle Objekt innerhalb der virtuellen Umgebung aus der virtuellen Blickrichtung anzeigt;
– eine Mikrophoneinrichtung, welche dazu ausgebildet ist, Sprachschall von zumindest einer zweiten Person zu erfassen und in ein Sprachsignal zu wandeln;
– einen Kopfhörer mit einem linken und rechten Lautsprecher, welcher dazu ausgebildet ist, eine akustische Aufnahme und das Sprachsignal wiederzugeben;
– wobei die Steuereinrichtung dazu ausgebildet ist, den Kopfhörer derart anzusteuern, dass der linke und der rechte Lautsprecher des Kopfhörers in Abhängigkeit von der erfassten Raumlage des Kopfs so betrieben werden, dass das Sprachsignal von den Lautsprechern derart wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer zur ersten Person gelangen würde.

Die vorteilhaften Ausgestaltungen des erfindungsgemäßen Verfahrens sind dabei als vorteilhafte Ausgestaltungen des erfindungsgemäßen Virtual-Reality-Systems anzusehen, wobei das Virtual-Reality-System insbesondere Mittel zur Durchführung der Verfahrensschritte aufweist.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Virtual-Reality-Systems zur Darstellung eines virtuellen Objekts innerhalb einer virtuellen Umgebung;
2 eine Perspektivansicht auf einen teilweise dargestellten Verkaufsraum, wobei eine Person eine Virtual-Reality-Brille des Virtual-Reality-Systems trägt;
3 eine Darstellung einer virtuellen Umgebung, in welcher ein virtuelles Objekt in Form eines Kraftfahrzeugs in einer Seitenansicht dargestellt ist;
4 eine schematische Draufsicht auf eine mögliche Ausführungsform des in 2 dargestellten Verkaufsraums, wobei neben der die Virtual-Reality-Brille tragenden Person noch eine weitere Person sowie ein dazwischen angeordneter Kunstkopf dargestellt sind; und
5 eine schematische Draufsicht auf eine alternative Ausführungsform des Verkaufsraums, wobei wiederum der Träger der Virtual-Reality-Brille und vorliegend lediglich die gegenübersitzende Person dargestellt sind, wobei diese ein Mikrofon trägt.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
Ein Virtual-Reality-System 10 zum Darstellen einer virtuellen Umgebung ist in einer schematischen Darstellung in 1 gezeigt. Das Virtual-Reality-System 10 weist eine Virtual-Reality-Brille auf, welche dazu ausgebildet ist, zumindest ein virtuelles Objekt innerhalb einer virtuellen Umgebung anzuzeigen. Die Virtual-Reality-Brille 12 umfasst dabei eine Erfassungseinrichtung 14, welche dazu ausgebildet ist, eine Raumlage eines Kopfs einer die Virtual-Reality-Brille 12 tragenden Person zu erfassen.
Das Virtual-Reality-System 10 weist darüber hinaus eine Steuereinrichtung 16 auf, welche dazu ausgebildet ist, in Abhängigkeit von der erfassten Raumlage des Kopfs des Trägers der Virtual-Reality-Brille 12 eine virtuelle Blickrichtung zu ermitteln und die Virtual-Reality-Brille 12 derart anzusteuern, dass diese das gerade angezeigte virtuelle Objekt innerhalb der virtuellen Umgebung aus der virtuellen Blickrichtung anzeigt.
Des Weiteren weist das Virtual-Reality-System 10 eine Mikrofoneinrichtung 18 auf, welche dazu ausgebildet ist, Sprachschall von zumindest einer zweiten Person zu erfassen und in ein Sprachsignal zu wandeln. Schließlich weist das Virtual-Reality-System 10 noch einen Kopfhörer 20 mit einem linken und rechten Lautsprecher 22, 24 auf, welcher dazu ausgebildet ist, eine akustische Aufnahme und das Sprachsignal wiederzugeben. Die Steuereinrichtung 16 ist dabei dazu ausgebildet, den Kopfhörer 20 derart anzusteuern, dass der linke und der rechte Lautsprecher 22, 24 des Kopfhörers 20 in Abhängigkeit von der erfassten Raumlage des Kopfs des Trägers der Virtual-Reality-Brille 12 so betrieben werden, dass das Sprachsignal von den Lautsprechern 22, 24 derart wiedergegeben wird, wie der Sprachschall der anderen Person ohne den aufgesetzten Kopfhörer 20 zum Träger der Virtual-Reality-Brille 12 gelangen würde.
In 2 ist ein nicht näher bezeichneter Verkaufsraum in einem Autohaus gezeigt. Vorliegend trägt eine erste Person 26 die Virtual-Reality-Brille 12 des Virtual-Reality-Systems 10. Die Virtual-Reality-Brille 12 ist vorliegend mit der unter einem Tisch 28 angeordneten Steuereinrichtung 16 gekoppelt, wobei es sich bei dieser beispielsweise um einen herkömmlichen PC handeln kann. Das Virtual-Reality-System 10 weist des Weiteren noch eine Fernbedienung 30 auf, mittels welcher der Benutzer 26 die Anzeige der Virtual-Reality-Brille 12 steuern kann. Mittels der Achsen x₁, y₁ und z₁ ist ein kopffestes Koordinatensystem der ersten Person 26 bezeichnet.
In 3 ist eine virtuelle Umgebung 32 gezeigt, wobei innerhalb dieser virtuellen Umgebung 32 ein virtuelles Objekt in Form eines Kraftfahrzeugs 34 dargestellt ist. Mit dem gestrichelten Kreis 36 ist die aktuelle virtuelle Position der ersten Person 26 innerhalb der virtuellen Umgebung 32 gekennzeichnet. Mit dem Pfeil 38 ist die aktuelle virtuelle Blickrichtung, ausgehend von der virtuellen Position 36, gekennzeichnet. Die virtuelle Blickrichtung 38 korrespondiert dabei mit der aktuellen Raumlage, also der Ausrichtung, der ersten Person 26, welche die Virtual-Reality-Brille 12 trägt. Verschwenkt diese beispielsweise ihren Kopf nach links, so schaut sie nicht mehr, wie hier gezeigt, auf das Kraftfahrzeug 34, sondern eher auf einen weiter links liegenden Bereich innerhalb der virtuellen Umgebung 32. Gleiches gilt auch für eine Verschwenkbewegung des Kopfs der Person 26 nach oben und unten. Ferner kann die Person 26 durch entsprechende Betätigung beispielsweise der Fernbedienung 30 sich innerhalb der virtuellen Umgebung 32 bewegen, also beispielsweise virtuell um das Fahrzeug 34 herumgehen. Mit den Achsen x₂, y₂ und z₂ ist das Koordinatensystem innerhalb der virtuellen Umgebung 32 bezeichnet.
Zusätzlich zur rein visuellen Darstellung der virtuellen Umgebung 32 wird mittels der Kopfhörer 20 eine die virtuelle Darstellung untermalende Aufnahme eingespielt. Beispielsweise kann es sich bei der Aufnahme rein um Musik handeln oder auch um entsprechende Funktionsgeräusche des virtuellen Kraftfahrzeugs 34, wie beispielsweise Auspuffgeräusche, Geräusche der Stereoanlage des Kraftfahrzeugs 34 und dergleichen. Diese virtuellen Geräusche können dabei beispielsweise ebenfalls in Abhängigkeit von der virtuellen Position der Person 26 innerhalb der virtuellen Umgebung 32 verändert werden, sodass eine Art virtueller räumlicher Höreindruck innerhalb der angezeigten virtuellen Umgebung 32 durch das Abspielen mittels des Kopfhörers 20 ermöglicht wird.
In 4 ist in einer schematischen Draufsicht eine mögliche Anordnung der ersten Person 26 gegenüber einer zweiten Person 40, beispielsweise einem Verkäufer in einem Autohaus, gezeigt. Zwischen der ersten Person 26 und der zweiten Person 40 ist ein Kunstkopf 42 auf dem Tisch 28 des Verkaufsraums angeordnet. Vorliegend wird die Mikrofoneinrichtung 18 durch jeweilige, nicht näher bezeichnete, an den Außenseiten des Kunstkopfs 42 angeordnete, Mikrofone ausgebildet. Von der zweiten Person 40 ausgesendeter Sprachschall 44 wird mittels der Mikrofoneinrichtung 18 erfasst. Vorliegend wird also der Sprachschall 44 mittels einer binauralen Aufnahmemethode, genauer mittels einer binauralen Kunstkopfaufnahme, erfasst. Die relative Lage und/oder Position des Kunstkopfs 42 zum Kopf 25 der ersten Person 26 und auch zum Kopf 46 der zweiten Person 40 wird dabei erfasst und bei der Wiedergabe des Sprachsignals über den Kopfhörer 20 berücksichtigt.
Das Sprachsignals wird dabei mittels des Kopfhörers 20 wiedergegeben, wobei der linke und der rechte Lautsprecher 22, 24 des Kopfhörers 20 in Abhängigkeit von der erfassten Raumlage des Kopfs 25 der ersten Person 26 und der zusätzlich erfassten Positions- und Lageinformationen des Kopfs 25 bezüglich des Kunstkopfs 42 und des Kopfs 46 der zweiten Person 40 derart betrieben werden, dass das Sprachsignal von den Lautsprechern 22, 24 so wiedergegeben wird, wie der Sprachschall ohne den aufgesetzten Kopfhörer 20 zur ersten Person, genauer zu dessen Ohren bzw. in dessen Gehörgänge, gelangen würde. Beispielsweise wird beim Wiedergeben des Sprachsignals eine Laufzeitdifferenz und/oder Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher 22, 24 des Kopfhörers 20 in Abhängigkeit von den Raumlage- und Positionsinformationen angepasst.
Mit den Achsen x₃, y₃ und z₃ wird ein kopffestes Koordinatensystem bezüglich der zweiten Person 40 bezeichnet. Mittels der Achsen x₄, y₄ und z₄ wird ein bezüglich des Kunstkopfs 42 ortsfestes Koordinatensystem bezeichnet. Die jeweiligen relativen Lagen bezüglich der ortsfesten Koordinatensysteme des Kopfs 46 der zweiten Person, des Kunstkopfs 42 und des Kopfs 25 der ersten Person 26 können somit erfasst und bezüglich ihrer relativen Lagen und Positionierung zueinander ausgewertet werden. Darüber hinaus wird die Lautstärkeeinstellung, mittels welcher über den Kopfhörer 20 das aus dem erfassten Sprachschall 44 umgewandelte Sprachsignal über die Kopfhörer 20 eingespeist wird, unter Berücksichtigung der jeweiligen Abstände A₁, A₂ und A₃ zwischen den jeweiligen Köpfen 25, 42, 46 eingestellt.
Bewegt sich also die erste Person 26 mittels der dargestellten Inhalte der Virtual-Reality-Brille 12 innerhalb der virtuellen Umgebung 32 umher, so wird der erfasste Sprachschall 44 mittels des umgewandelten Sprachsignals immer so über den Kopfhörer 20 eingespielt, dass sich die wahrgenommene Position der zweiten Person 40 gegenüber der ersten Person 26 nicht verändert. Mit anderen Worten bleibt die Richtungslokalisation für die erste Person 26, welche die Virtual-Reality-Brille 12 trägt, bezüglich der zweiten Person 40 immer konstant, zumindest so lange, wie sich die zweite Person 40 nicht bewegt.
Weiterer Umgebungsschall kann beispielsweise ebenfalls mittels der Mikrofoneinrichtung 18 erfasst werden, wobei dieser Umgebungsschall herausgefiltert und nicht mittels des Kopfhörers 20 wiedergegeben wird, wenn dieser um ein vorgegebenen Lautstärkepegel niedriger als der erfasste Sprachschall der zweiten Person 40 ist. Dadurch können Gespräche ab einer bestimmten Entfernung quasi abgeblockt und nicht mittels des Kopfhörers 20 zur ersten Person 26 übertragen werden, was insbesondere bei einer halböffentlichen Situation in einem Autohaus hilfreich ist.
Alternativ oder zusätzlich ist es auch möglich, dass es sich bei dem Kopfhörer 20 um einen so genannten Active-Noise-Cancelling-Kopfhörer handelt. Entweder weist der Kopfhörer 20 selbst entsprechende Mikrofone zur Erfassung des Umgebungsschalls auf oder die von der Mikrofoneinrichtung 18 aufgenommenen Schallinformationen werden mit Ausnahme des Sprachschalls 44 der zweiten Person 40 mittels einer durch den Kopfhörer 20 erzeugten aktiven Lärmkompensation, also mittels Antischall, abgeschwächt. Dadurch kann ebenfalls sichergestellt werden, dass vor allem nur der Sprachschall 44 an die Ohren der ersten Person 26 gelangt.
In 5 ist eine alternative Anordnung zwischen der ersten und der zweiten Person dargestellt. Vorliegend befindet sich der Kunstkopf 42 nicht mehr zwischen der ersten und der zweiten Person 26, 40. Stattdessen trägt die zweite Person 40 ein zur Mikrofoneinrichtung 18 gehörendes Mikrofon 48 direkt vor ihrem Mund, mittels welchem der Sprachschall 44 erfasst wird.
Dies bringt den Vorteil mit sich, dass Umgebungsgeräusche kaum bzw. wesentlich weniger stark erfasst werden als bei der in 4 gezeigten Anordnung. Auch hierbei wird die relative Lage und/oder Position des Kopfs 46 der zweiten Person 40 zum Kopf 25 der ersten Person 26 erfasst und wird bei der Wiedergabe des gewandelten Sprachsignals berücksichtigt. Das Sprachsignal wird wiederum mittels des Kopfhörers 20 wiedergegeben, wobei der linke und der rechte Lautsprecher 22, 24 des Kopfhörers 20 in Abhängigkeit von den erfassten Lage- und Positionsinformationen derart betrieben werden, dass das Sprachsignal von den Lautsprechern 22, 24 so wiedergegeben wird, wie der Sprachschall 44 ohne den aufgesetzten Kopfhörer 20 zur ersten Person 26 gelangt wäre. Hierbei kann ebenfalls beispielsweise die Laufzeitdifferenz und/oder auch die Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher 22, 24 entsprechend angepasst werden, um eine möglichst realistische Wiedergabe des erfassten Sprachschalls 44 und eine damit einhergehende besonders exakte und realitätsgetreue Richtungslokalisation des Sprachschalls 44 und somit der zweiten Person 40 zu ermöglichen. Hierbei ist es in analoger Weise möglich, eine aktive Lärmkompensation vorzunehmen, um weiteren Umgebungsschall möglichst zu dämmen oder auszublenden. Oder genauso gut kann ebenfalls erfasster Umgebungsschall herausgefiltert und nicht mittels des Kopfhörers 20 wiedergegeben werden, wenn dieser um einen vorgegebenen Lautstärkepegel niedriger sein sollte als der erfasste Sprachschall 44 der zweiten Person 40. Letzteres sollte sich besonders einfach gestalten, da das Mikrofon 48 direkt vor dem Mund der zweiten Person 40 getragen wird, sodass der von der zweiten Person 40 abgegebene Sprachschall 44 wesentlich stärker an dem Mikrofon 48 ankommen sollte als dies der restliche Umgebungsschall tun wird.

Claims

Verfahren zum Betreiben eines Virtual-Reality-Systems (10), mit den Schritten: – Erfassen einer Raumlage eines Kopfes (25) einer ersten Person (26), welche eine Virtual-Reality-Brille (12) und einen Kopfhörer (20) trägt; – Anzeigen zumindest eines virtuellen Objekts (34) innerhalb eine virtuellen Umgebung (32) aus einer virtuellen Blickrichtung (38) mittels der Virtual-Reality-Brille (12), wobei die virtuelle Blickrichtung (38) in Abhängigkeit von der erfassten Raumlage des Kopfes (25) vorgegeben wird; – Wiedergeben einer akustischen Aufnahme mittels des Kopfhörers (20); – Erfassen von Sprachschall (44) von zumindest einer zweiten Person (40) mittels einer Mikrophoneinrichtung (18) und Wandeln des erfassten Sprachschalls (44) in ein Sprachsignal; – Wiedergeben des Sprachsignals mittels des Kopfhörers (20), wobei ein linker und ein rechter Lautsprecher (22, 24) des Kopfhörers (20) in Abhängigkeit von der erfassten Raumlage des Kopfs (25) derart betrieben werden, dass das Sprachsignal von den Lautsprechern (22, 24) so wiedergegeben wird, wie der Sprachschall (44) ohne den aufgesetzten Kopfhörer (20) zur ersten Person (26) gelangen würde.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Wiedergeben des Sprachsignals eine Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher (22, 24) des Kopfhörers (20) in Abhängigkeit von der erfassten Raumlage des Kopfs (25) der ersten Person (26) angepasst wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass beim Wiedergeben des Sprachsignals eine Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher (22, 24) des Kopfhörers (20) in Abhängigkeit von der erfassten Raumlage des Kopfs (25) der ersten Person (26) angepasst wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Sprachschall (44) mittels einer binauralen Aufnahmemethode, insbesondere mittels einer binauralen Kunstkopfaufnahme, erfasst wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Mikrophoneinrichtung (18) einen mit einer binauralen Aufnahmeeinrichtung ausgestatteten Kunstkopf (42) umfasst, welcher zwischen der ersten Person (26) und der zweiten Person (40), insbesondere auf einer Verbindungslinie zwischen der ersten und der zweiten Person (26, 40), positioniert wird, wobei der Sprachschall (44) mittels der binauralen Aufnahmeeinrichtung erfasst wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die relative Lage und/oder Position des Kunstkopfs (42) zum Kopf (25) der ersten Person (26), insbesondere auch zum Kopf (46) der zweiten Person (40), erfasst und bei der Wiedergabe des Sprachsignals berücksichtigt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Mikrophoneinrichtung (18) ein von der zweiten Person (40) getragenes Mikrophon (48) umfasst, mittels welchem der Sprachschall (44) erfasst wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die relative Lage und/oder Position des Kopfs (46) der zweiten Person (40) zum Kopf (25) der ersten Person (26) erfasst und bei der Wiedergabe des Sprachsignals berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass weiterer Umgebungsschall mittels der Mikrophoneinrichtung (18) erfasst wird, wobei dieser Umgebungsschall herausgefiltert und nicht mittels des Kopfhörer (20) wiedergegeben wird, wenn dieser um einen vorgegebenen Lautstärkepegel niedriger ist als der erfasste Sprachschall (44) der zweiten Person (40).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass weiterer Umgebungsschall mittels der Mikrophoneinrichtung (18) erfasst wird, wobei dieser Umgebungsschall mit Ausnahme des Sprachschalls (44) der zweiten Person (40) mittels einer durch den Kopfhörer (20) erzeugten aktiven Lärmkompensation abgeschwächt wird.
Virtual-Reality-System (10), mit – einer Virtual-Reality-Brille (12), welche dazu ausgebildet ist, zumindest ein virtuelles Objekt (34) innerhalb einer virtuellen Umgebung (32) anzuzeigen; – einer Erfassungseinrichtung (14), welche dazu ausgebildet ist, eine Raumlage eines Kopfs (25) einer die Virtual-Reality-Brille (12) tragenden ersten Person (26) zu erfassen; – einer Steuereinrichtung (16), welche dazu ausgebildet ist, in Abhängigkeit von der erfassten Raumlage des Kopfs (25) der ersten Person (26) eine virtuelle Blickrichtung (38) zu ermitteln und die Virtual-Reality-Brille (12) derart anzusteuern, dass diese das virtuelle Objekt (34) innerhalb der virtuellen Umgebung (32) aus der virtuellen Blickrichtung (38) anzeigt; – einer Mikrophoneinrichtung (18), welche dazu ausgebildet ist, Sprachschall (44) von zumindest einer zweiten Person (40) zu erfassen und in ein Sprachsignal zu wandeln; – einem Kopfhörer (20) mit einem linken und rechten Lautsprecher (22, 24), welcher dazu ausgebildet ist, eine akustische Aufnahme und das Sprachsignal wiederzugeben; – wobei die Steuereinrichtung (16) dazu ausgebildet ist, den Kopfhörer (20) derart anzusteuern, dass der linke und der rechte Lautsprecher (22, 24) des Kopfhörers (20) in Abhängigkeit von der erfassten Raumlage des Kopfs (25) so betrieben werden, dass das Sprachsignal von den Lautsprechern (22, 24) derart wiedergegeben wird, wie der Sprachschall (44) ohne den aufgesetzten Kopfhörer (20) zur ersten Person (26) gelangen würde.