DE102015003946A1 - Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System - Google Patents

Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System Download PDF

Info

Publication number
DE102015003946A1
DE102015003946A1 DE102015003946.6A DE102015003946A DE102015003946A1 DE 102015003946 A1 DE102015003946 A1 DE 102015003946A1 DE 102015003946 A DE102015003946 A DE 102015003946A DE 102015003946 A1 DE102015003946 A1 DE 102015003946A1
Authority
DE
Germany
Prior art keywords
virtual
positions
sound
ear
headphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015003946.6A
Other languages
English (en)
Inventor
Marcus Kühne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102015003946.6A priority Critical patent/DE102015003946A1/de
Publication of DE102015003946A1 publication Critical patent/DE102015003946A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Virtual-Reality-Systems (10), mit den Schritten: Ermitteln der Ohrenpositionen (P1, P2) einer Person (24), die eine Virtual-Reality-Brille (12) und einen Kopfhörer (14) trägt; Anzeigen eines virtuellen Objekts (32) innerhalb einer virtuellen Umgebung (34) mittels der Virtual-Reality-Brille (12), wobei das virtuelle Objekt (32) zumindest eine virtuelle Schallquelle (36) zum Ausgeben eines virtuellen Geräuschs (38) umfasst; Zuordnen der erfassten Ohrenpositionen (P1, P2) zu jeweiligen virtuellen Ohrenpositionen (P3, P4) innerhalb der virtuellen Umgebung (34); Ermitteln jeweiliger Relativpositionen der virtuellen Ohrenpositionen (P3, P4) bezüglich der Position (P5) der virtuellen Schallquelle (36); Wiedergeben eines dem Geräusch (38) der virtuellen Schallquelle (36) zugeordneten Tonsignals mittels des Kopfhörers (14), wobei ein linker und ein rechter Lautsprecher (16, 18) des Kopfhörers (14) in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern (16, 18) so wiedergegeben wird, wie das Geräusch (38) von der virtuellen Schallquelle (36) innerhalb der virtuellen Umgebung (34) zu den virtuellen Ohrenpositionen (P3, P4) gelangen würde. Die Erfindung betrifft des Weiteren ein Virtual-Reality-System (10).

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie ein Virtual-Reality-System.
  • Unter einem Virtual-Reality-System im Sinne der Erfindung ist ein System zu verstehen, mittels welchem eine virtuelle Realität sowohl optisch angezeigt als auch akustisch wiedergegeben werden kann. Das Virtual-Reality-System kann dafür eine so genannte Virtual-Reality-Brille zum Anzeigen einer virtuellen Umgebung und einen Kopfhörer zur Geräuschwiedergabe aufweisen.
  • Bei einer Virtual-Reality-Brille handelt es sich um eine bestimmte Form eines so genannten Head-Mounted-Displays, also um ein auf dem Kopf tragbares visuelles Ausgabegerät. Es präsentiert Bilder auf einem augennahen Bildschirm oder projiziert sie direkt auf die Netzhaut. Eine Virtual-Reality-Brille hat dabei üblicherweise zusätzlich noch Sensoren zur Bewegungserfassung des Kopfs. Damit kann die Anzeige der berechneten Graphiken an die Bewegungen des Trägers der Brille angepasst werden. Durch die körperliche Nähe wirken die angezeigten Bildflächen von Head-Mounted-Displays erheblich größer als die frei stehender Bildschirme und decken im Extremfall sogar das gesamte Sichtfeld des Benutzers ab. Da das Display der Virtual-Reality-Brille allen Kopfbewegungen des Trägers folgt, bekommt er das Gefühl, sich direkt in einer von einem Computer erzeugten Bildlandschaft zu bewegen.
  • Mittels derartiger Virtual-Reality-Brillen kann also eine virtuelle Realität dargestellt werden, wobei als virtuelle Realität üblicherweise die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit in ihren physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet wird.
  • Ein derartiges Virtual-Reality-System kann beispielsweise beim Vertrieb von Kraftfahrzeugen verwendet werden, um mittels der Virtual-Reality-Brille ein Kraftfahrzeug virtuell darzustellen. Der Träger der Virtual-Reality-Brille kann sich innerhalb einer angezeigten virtuellen Umgebung um das virtuelle Kraftfahrzeug herumbewegen, um dieses aus unterschiedlichen Perspektiven zu betrachten. Falls dabei zusätzlich Geräusche des virtuellen Kraftfahrzeugs, wie beispielsweise ein Motorengeräusch, ein Geräusch beim Zuschlagen einer Tür oder dergleichen, wiedergegeben werden sollen, besteht eine Herausforderung darin, diese Geräusche besonders realitätsnah, insbesondere räumlich, wiederzugeben. Denn erst dadurch ergibt sich eine realitätsnahe Wiedergabe des virtuellen Kraftfahrzeugs für den Träger der Virtual-Reality-Brille.
  • Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie ein Virtual-Reality-System bereitzustellen, mittels welchen eine besonders realistische Geräuschwiedergabe während des Anzeigens einer virtuellen Umgebung erzielt werden kann.
  • Das erfindungsgemäße Verfahren zum Betreiben eines Virtual-Reality-Systems umfasst die folgenden Schritte:
    • – Ermitteln der Ohrenpositionen einer Person, die eine Virtual-Reality-Brille und einen Kopfhörer trägt;
    • – Anzeigen eines virtuellen Objekts innerhalb einer virtuellen Umgebung mittels der Virtual-Reality-Brille, wobei das virtuelle Objekt zumindest eine virtuelle Schallquelle zum Ausgeben eines virtuellen Geräuschs umfasst;
    • – Zuordnen der erfassten Ohrenpositionen zu jeweiligen virtuellen Ohrenpositionen innerhalb der virtuellen Umgebung;
    • – Ermitteln jeweiliger Relativpositionen der virtuellen Ohrenpositionen bezüglich der Position der virtuellen Schallquelle;
    • – Wiedergeben eines dem Geräusch der virtuellen Schallquelle zugeordneten Tonsignals mittels des Kopfhörers, wobei ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern so wiedergegeben wird, wie das Geräusch von der virtuellen Schallquelle innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen gelangen würde.
  • Es ist also erfindungsgemäß vorgesehen, die jeweiligen Positionen der Ohren einer Person, die eine Virtual-Reality-Brille und einen Kopfhörer trägt, fortlaufend zu erfassen. Diese realen Ohrenpositionen der Person werden dann fortlaufend jeweiligen virtuellen Ohrenpositionen innerhalb der mittels der Virtual-Reality-Brille angezeigten virtuellen Umgebung zugeordnet. Bewegt sich die Person beispielsweise in einem realen Raum einen Meter nach rechts, so verändern sich die Ohrenpositionen des linken und des rechten Ohrs der Person ebenfalls einen Meter nach rechts. Infolgedessen wird beispielsweise die virtuelle Ohrenposition vom rechten und linken Ohr innerhalb der virtuellen Umgebung ebenfalls einen Meter nach rechts verlagert. In Kenntnis der virtuellen Ohrenposition wird eine jeweilige Relativposition der virtuellen Ohrenposition bezüglich der Position der virtuellen Schallquelle des angezeigten virtuellen Objekts ermittelt. Der Kopfhörer wird dann derart angesteuert, dass der linke und der rechte Lautsprecher des Kopfhörers in Abhängigkeit von der gerade ermittelten Relativposition des linken und des rechten Ohrs innerhalb der virtuellen Umgebung so betrieben werden, dass das Tonsignal von den Lautsprechern so wiedergegeben wird, wie das Geräusch von der virtuellen Schallquelle innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen gelangen würde.
  • Durch die erfindungsgemäße Lösung wird eine besonders hohe Immersion während einer Virtual-Reality-Anwendung erzielt, da ein räumlich stimmiges Einspielen von Geräuschen, z. B. ein Öffnen und Schließen einer virtuellen Autotür oder dergleichen, erzielt werden kann. Dies ist dadurch möglich, da die relative Position des Virtual-Reality-Nutzers, der die Virtual-Reality-Brille und die Kopfhörer trägt, zur virtuellen Geräuschquelle ermittelt und das Geräusch dann räumlich authentisch mittels des Kopfhörers wiedergegeben wird. Durch die Ermittlung der jeweiligen Positionen des linken und des rechten Ohrs der Person wird zusätzlich dabei auch die Kopfausrichtung der Person berücksichtigt, die beispielsweise aus der Erfassung der getragenen Virtual-Reality-Brille bekannt sein kann. Das Verfahren arbeitet dabei vorzugsweise so dynamisch, dass zum Beispiel auch einzelne virtuelle Lautsprecher eines virtuellen Soundsystems simuliert werden können und bei der virtuellen Annäherung des Kopfes der Person an einen der Lautsprecher dieser durch die Kopfhörer entsprechend lauter als die anderen Lautsprecher wiedergegeben wird.
  • In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass das virtuelle Objekt von einer virtuellen Beobachtungsposition angezeigt wird, welche in Abhängigkeit von den erfassten Ohrenpositionen oder in Abhängigkeit von einer erfassten Position der Person vorgegeben wird. Mit anderen Worten kann die Person durch eine tatsächliche Positionsveränderung bewirken, dass die Person auch innerhalb der virtuellen Umgebung ihre Position verändert, um das angezeigte virtuelle Objekt aus unterschiedlichen Perspektiven betrachten zu können. Dadurch, dass die Ausgabe des Tonsignals automatisch mit der Veränderung der Ohrenposition ebenfalls angepasst wird, ergibt sich eine besonders realitätsnahe Geräuschwiedergabe, welche zu dem angezeigten virtuellen Objekt gehört.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Zuordnung der erfassten Ohrenposition zu den jeweiligen virtuellen Ohrenpositionen innerhalb der virtuellen Umgebung bei einer erfassten Veränderung der Ohrenpositionen korrespondierend angepasst wird. Dadurch verändert sich bei einer Positionsveränderung der Person, welche eine Veränderung der jeweiligen Ohrenpositionen bewirkt, auch automatisch die Relativposition hinsichtlich der virtuellen Schallquelle, infolgedessen wird auch die Geräuschwiedergabe mittels der Kopfhörer entsprechend der veränderten Ohrenpositionen variiert. Dies trägt dazu bei, dass eine besonders realitätsnahe Geräuschwiedergabe bezüglich des angezeigten virtuellen Objekts erfolgen kann.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass beim Wiedergeben des Tonsignals eine Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher des Kopfhörers in Abhängigkeit von den ermittelten Relativpositionen angepasst wird. Dadurch kann das virtuelle Geräusch von den Lautsprechern des Kopfhörers besonders realitätsnah so wiedergegeben werden, wie das virtuelle Geräusch innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen gelangen würde.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass beim Wiedergeben des Tonsignals eine Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher des Kopfhörers in Abhängigkeit von den ermittelten Relativpositionen angepasst wird. Dadurch kann ebenfalls ermöglicht werden, dass das virtuelle Geräusch von den Lautsprechern des Kopfhörers besonders realitätsnah so wiedergegeben wird, wie das virtuelle Geräusch innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen der Person gelangen würde.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass das Geräusch mittels einer binauralen Aufnahmemethode, insbesondere mittels einer binauralen Kunstkopfaufnahme, erstellt und in das Tonsignal umgewandelt wird, welches mittels der Lautsprecher des Kopfhörers wiedergegeben wird. Im einfachsten Fall werden beispielsweise zwei Mikrofone verwendet, die seitwärts voneinander wegzeigen und einen Abstand von etwa 17 cm bis 22 cm zueinander haben, vorzugsweise von 17,5 cm. Dieser Abstand und eine entsprechende Platzierung des Kunstkopfes stellen angenähert die Position der Gehörgänge eines durchschnittlichen Menschen dar. Ein den Schall absorbierender oder auch reflektierender Trennkörper, wie beispielsweise ein Fußball oder eine Metallplatte, wird zwischen die Mikrofone platziert, um einen Kopf angenähert zu simulieren. Durch diese Art der Aufnahme des Geräuschs kann mittels der Kopfhörer ein besonders natürlicher Höreindruck mit einer besonders exakten Richtungslokalisation erzeugt werden. Denn binaurale Aufnahmen, welche die durch Kopfhörerwiedergabe unterbundenen natürlichen Ohrsignale ersetzen, stellen die beste Möglichkeit dar, einen räumlichen Höreindruck realitätsnah zu reproduzieren.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass der Kopf der Person erfasst und basierend darauf die Ohrenpositionen ermittelt werden. Alternativ oder zusätzlich kann es auch vorgesehen sein, dass die Positionen jeweiliger Kopfhörermuscheln des Kopfhörers erfasst und basierend darauf die Ohrenpositionen ermittelt werden. In beiden Fällen kann beispielsweise ein Kamerasystem vorgesehen sein, mittels welchem die Kopfposition der Person und/oder die Positionen der Kopfhörermuscheln des Kopfhörers erfasst werden können. Neben einem Kamerasystem sind dabei auch beliebige andere Erfassungssysteme, beispielsweise infrarotbasierte Systeme oder dergleichen, möglich, um die Kopfposition der Person und/oder die Positionen der Kopfhörermuscheln des Kopfhörers zu erfassen und basierend darauf auf die Ohrenpositionen zu schließen.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass ein virtuelles Kraftfahrzeug als das virtuelle Objekt angezeigt wird, wobei eine Funktionseinheit des virtuellen Kraftfahrzeugs als die virtuelle Schallquelle dient. Autohäuser müssen somit nicht eine Vielzahl von unterschiedlichen Kraftfahrzeugvarianten bereitstellen, da ein potentieller Kunde sich sein Wunschfahrzeug virtuell konfigurieren und anschließend mittels des Virtual-Reality-Systems optisch und akustisch wiedergeben lassen kann. Aufgrund der Geräuschwiedergabe mittels der Kopfhörer ist es zudem möglich, beispielsweise den Motorsound virtuell wiederzugeben, Geräusche beim Öffnen und Schließen der Türen wiederzugeben, ein konfiguriertes Soundsystem des Kraftfahrzeugs virtuell zu testen und dergleichen.
  • Das erfindungsgemäße Virtual-Reality-System umfasst eine Virtual-Reality-Brille, welche dazu ausgebildet ist, ein virtuelles Objekt innerhalb einer virtuellen Umgebung anzuzeigen, wobei das virtuelle Objekt zumindest eine virtuelle Schallquelle zum Ausgeben eines virtuellen Geräusches umfasst. Das Virtual-Reality-System umfasst des Weiteren einen Kopfhörer mit einem linken und rechten Lautsprecher sowie eine Erfassungseinrichtung, welche dazu ausgebildet ist, die Ohrenpositionen einer die Virtual-Reality-Brille und den Kopfhörer tragenden Person zu ermitteln. Des Weiteren umfasst das Virtual-Reality-System eine Steuereinrichtung, welche dazu ausgebildet ist, die erfassten Ohrenpositionen jeweiligen virtuellen Ohrenpositionen innerhalb der virtuellen Umgebung zuzuordnen. Ferner ist die Steuereinrichtung dazu ausgebildet, jeweilige Relativpositionen der virtuellen Ohrenpositionen bezüglich der Position der virtuellen Schallquelle zu ermitteln. Schließlich ist die Steuereinrichtung dazu ausgebildet, den Kopfhörer derart anzusteuern, dass ein dem Geräusch der virtuellen Schallquelle zugeordnetes Tonsignal mittels des Kopfhörers wiedergegeben wird, wobei ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern so wiedergegeben wird, wie das Geräusch von der virtuellen Schallquelle innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen gelangen würde. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen des erfindungsgemäßen Virtual-Reality-Systems anzusehen, wobei das Virtual-Reality-System insbesondere Mittel zur Durchführung der Verfahrensschritte aufweist.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Die Zeichnung zeigt in:
  • 1 eine schematische Darstellung eines Virtual-Reality-Systems, welches eine Virtual-Reality-Brille, einen Kopfhörer, eine Erfassungseinrichtung sowie eine Steuereinrichtung zum Ansteuern des Kopfhörers und der Virtual-Reality-Brille aufweist,
  • 2 eine Perspektivansicht einer Person, welche die Virtual-Reality-Brille und die Kopfhörer aufgesetzt hat;
  • 3 eine schematische Draufsicht auf die Person, wobei die Virtual-Reality-Brille und die Kopfhörer nicht dargestellt sind;
  • 4 eine schematische Draufsicht auf eine mittels der Virtual-Reality-Brille angeigte virtuelle Umgebung, innerhalb welcher ein virtuelles Objekt mit einer Schallquelle zum Ausgeben eines virtuellen Geräusches angeordnet ist, wobei die virtuelle Positionierung der Person innerhalb der virtuellen Umgebung gekennzeichnet ist; und in
  • 5 eine schematische Darstellung der virtuellen Umgebung, wie sie von der Person wahrgenommen wird, wobei das virtuelle Objekt ein virtuelles Kraftfahrzeug ist.
  • In den Figuren werden gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • Ein Virtual-Reality-System 10 zum Anzeigen von virtuellen Inhalten ist in einer schematischen Darstellung in 1 gezeigt. Das Virtual-Reality-System 10 umfasst eine Virtual-Reality-Brille 12, welche dazu ausgebildet ist, ein virtuelles Objekt innerhalb einer virtuellen Umgebung anzuzeigen, wobei das virtuelle Objekt zumindest eine virtuelle Schallquelle zum Ausgeben eines virtuellen Geräusches umfasst. Das Virtual-Reality-System 10 umfasst des Weiteren einen Kopfhörer 14 mit einem linken Lautsprecher 16 und einem rechten Lautsprecher 18. Ferner umfasst das Virtual-Reality-System 10 eine Erfassungseinrichtung 20, welche dazu ausgebildet ist, die Ohrenpositionen einer die Virtual-Reality-Brille 12 und den Kopfhörer 14 tragenden Person zu ermitteln. Schließlich weist das Virtual-Reality-System 10 noch eine Steuereinrichtung 22 auf, welche dazu ausgebildet ist, die erfassten Ohrenpositionen jeweiligen virtuellen Ohrenpositionen innerhalb der virtuellen Umgebung zuzuordnen und die Relativposition der virtuellen Ohrenpositionen bezüglich der Position der virtuellen Schallquelle zu ermitteln. Ferner ist die Steuereinrichtung 20 noch dazu ausgelegt, den Kopfhörer 14 derart anzusteuern, dass ein dem Geräusch der virtuellen Schallquelle zugeordnetes Tonsignal mittels des Kopfhörers wiedergegeben wird, wobei ein linker und ein rechter Lautsprecher des Kopfhörers in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern 16, 18 so wiedergegeben wird, wie das Geräusch von der virtuellen Schallquelle innerhalb der virtuellen Umgebung zu den virtuellen Ohrenpositionen gelangen würde.
  • In 2 ist eine Person 24, welche die Virtual-Reality-Brille 12 und den Kopfhörer 14 aufgesetzt hat, in einer Perspektivansicht gezeigt.
  • In 3 ist die Person 24 in einer schematischen Draufsicht gezeigt, wobei sich die Person 24 in einem realen Raum 26 aufhält. Bei dem realen Raum 26 kann es sich beispielsweise um einen Verkaufsraum eines Autohauses handeln, wobei die Person 24 die Virtual-Reality-Brille 12 und die Kopfhörer 14 aufgesetzt hat, um sich ein konfiguriertes Kraftfahrzeug virtuell anzeigen zu lassen. Mittels der Koordinatenachsen x1, y1, z1 ist ein Koordinatensystem des realen Raums 26 bezeichnet. Bei der Erfassungseinrichtung 20 kann es sich beispielsweise um ein Kamerasystem handeln, mittels welchem die jeweiligen Positionen der Ohren 28, 30 in dem realen Raum 26 erfassbar sind. Im vorliegend gezeigten Fall sind die Virtual-Reality-Brille 12 und die Kopfhörer 14 nicht dargestellt, wobei für die nachfolgenden Ausführungen davon auszugehen ist, dass die Person 24 die Virtual-Reality-Brille 12 und die Kopfhörer 14 bereits aufgesetzt hat und sich in dem realen Raum 26 befindet.
  • Nachfolgend wird ein Verfahren zum Betreiben des Virtual-Reality-Systems 10 im Detail erläutert. Zunächst werden die Ohrenpositionen P1, P2 der Person 24, die die Virtual-Reality-Brille 12 und den Kopfhörer 14 trägt, mittels der Erfassungseinrichtung 20 erfasst. Dafür kann entweder die Position des Kopfs der Person 24 erfasst und basierend darauf die Ohrenpositionen P1, P2 ermittelt werden. Alternativ oder zusätzlich ist es auch möglich, dass die Positionen der jeweiligen Kopfhörermuscheln des Kopfhörers 14 erfasst und basierend darauf die Ohrenpositionen P1, P2 ermittelt werden.
  • Mittels der Virtual-Reality-Brille 12 wird ein virtuelles Objekt 32 – wie in 4 schematisch eingezeichnet – innerhalb einer virtuellen Umgebung 34 angezeigt, wobei das virtuelle Objekt 32 zumindest eine virtuelle Schallquelle 36 zum Ausgeben eines virtuellen Geräusches 38 umfasst. Mittels der Koordinatenachsen x2, y2, z2 ist ein Koordinatensystem der virtuellen Umgebung 34 bezeichnet.
  • Mittels der Steuereinrichtung 22 werden die erfassten Ohrenpositionen P1, P2 zu jeweiligen virtuellen Ohrenpositionen P3, P4 innerhalb der virtuellen Umgebung 34 zugeordnet. Jeweilige Koordinaten der realen Ohrenpositionen P1, P2 in Richtung der Koordinatenachsen x1, y1, z1 des Koordinatensystems des realen Raums 26 werden dabei in jeweiligen Koordinaten der virtuellen Ohrenpositionen P3, P4 in Richtung der Koordinatenachsen x2, y2, z2 der virtuellen Umgebung 34 zugeordnet.
  • Die Zuordnung der erfassten Ohrenpositionen P1, P2 zu den jeweiligen virtuellen Ohrenpositionen P3, P4 innerhalb der virtuellen Umgebung 34 wird bei einer erfassten Veränderung der realen Ohrenpositionen P1, P2 korrespondierend angepasst. Mit anderen Worten kann sich die Person 24 innerhalb des realen Raums 26 bewegen, wobei sobald eine Veränderung der Ohrenpositionen P1, P2 festgestellt wird, die Steuereinrichtung 22 diese veränderten realen Ohrenpositionen P1, P2 entsprechend veränderten virtuellen Ohrenpositionen P3, P4 zuordnet.
  • Sobald die Zuordnung der erfassten Ohrenpositionen P1, P2 zu den jeweiligen virtuellen Ohrenpositionen P3, P4 innerhalb der virtuellen Umgebung 34 erfolgt ist, ermittelt die Steuereinrichtung 22 jeweilige Relativpositionen der virtuellen Ohrenpositionen P3, P4 bezüglich der Position P5 der virtuellen Schallquelle 36.
  • Während der Anzeige der virtuellen Umgebung 34 mitsamt dem virtuellen Objekt 32 wird ein dem Geräusch 38 der virtuellen Schallquelle zugeordnetes Tonsignal mittels des Kopfhörers 14 ausgegeben, wobei der linke und der rechte Lautsprecher 16, 18 des Kopfhörers 14 in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern 16, 18 so wiedergegeben wird, wie das Geräusch 38 von der virtuellen Schallquelle 36 innerhalb der virtuellen Umgebung 34 zu den virtuellen Ohrenpositionen P3, P4 gelangen würde.
  • Beim Wiedergeben des Tonsignals wird dabei eine Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher 16, 18 des Kopfhörers 14 in Abhängigkeit von den ermittelten Relativpositionen angepasst. Dreht also die Person 24 ihren Kopf im realen Raum 26 beispielsweise nach rechts, so wird die Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher 16, 18 des Kopfhörers 14 so verändert, dass die Geräuschwahrnehmung der Person so erfolgt, als ob sie sich tatsächlich in der virtuellen Umgebung 34 befinden würde und dort ihren Kopf nach rechts gedreht hätte. Darüber hinaus kann beim Wiedergeben des Tonsignals auch eine Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher 16, 18 des Kopfhörers 14 in Abhängigkeit von den ermittelten Relativpositionen angepasst werden. Der Kopfhörer 14 wird mit anderen Worten also immer so angesteuert, dass die Person 24 das virtuelle Geräusch 38 so wahrnimmt, als würde sie sich tatsächlich innerhalb der virtuellen Umgebung 34 befinden, wobei die Positionierung der Ohren 28, 30 situationsgerecht innerhalb der virtuellen Umgebung 34 simuliert wird.
  • Das Geräusch 38 kann beispielsweise mittels einer binauralen Aufnahmemethode, insbesondere mittels einer binauralen Kunstkopfaufnahme, erstellt und in das Tonsignal umgewandelt werden, welches mittels der Lautsprecher 16, 18 des Kopfhörers 14 wiedergegeben wird. Dabei wird das Tonsignal als binaurales Tonsignal erzeugt, sodass eine binaurale und somit besonders wirklichkeitsgetreue räumliche Geräuschwidergabe bereitgestellt werden kann.
  • In 5 ist die virtuelle Umgebung 34 so dargestellt, wie sie die Person 24 mittels der Virtual-Reality-Brille 12 angezeigt bekommt. Wie zu erkennen, handelt es sich bei dem vorliegenden Beispiel bei dem virtuellen Objekt 32 um ein virtuelles Kraftfahrzeug 32. Das virtuelle Kraftfahrzeug 32 wird dabei von einer virtuellen Beobachtungsposition 40 angezeigt, welche in Abhängigkeit von den erfassten Ohrenpositionen P1, P2 oder in Abhängigkeit von einer erfassten Position der Person 24 innerhalb des realen Raums 26 vorgegeben und angepasst wird. Bewegt sich die Person 24 innerhalb des realen Raums 26 umher, so bewirkt dies also, dass das virtuelle Kraftfahrzeug 32 aus unterschiedlichen Perspektiven angezeigt wird, da die virtuelle Beobachtungsposition 40 korrespondierend zur Bewegung der Person 24 im realen Raum 26 verändert wird. Die Person 24 kann also beispielsweise virtuell um das angezeigte Kraftfahrzeug 32 herumgehen oder sich auch beispielsweise in das virtuelle Kraftfahrzeug 32 hineinsetzen. Bei der virtuellen Schallquelle 36 kann es sich dabei um unterschiedlichste virtuelle Schallquellen des virtuellen Kraftfahrzeugs 32 handeln. Beispielsweise kann es sich bei der virtuellen Schallquelle 36 um den Auspuff des virtuellen Kraftfahrzeugs 32 handeln, wobei dann das virtuelle Geräusch 38 ein entsprechendes Auspuffgeräusch ist. Bewegt sich die Person 24 nun virtuell um das virtuelle Kraftfahrzeug 32 herum, so verändert sich das Auspuffgeräusch 38 entsprechend der Relativpositionierung der Person 24 innerhalb der virtuellen Umgebung 34 bezüglich des Kraftfahrzeugs 32.
  • Sollte die Person 24 beispielsweise virtuell innerhalb des Innenraums des virtuellen Kraftfahrzeugs 32 Platz nehmen, so ist es beispielsweise auch möglich, dass ein Soundsystem des virtuellen Kraftfahrzeugs 32 mittels der Kopfhörer 14 simuliert wird. Bewegt sich die Person 24 dann derart, dass diese beispielsweise mit ihrem rechten Ohr 36 sich einem Lautsprecher annähert, so wird der Kopfhörer 14 so angesteuert, dass das Tonsignal dieses virtuellen Lautsprechers, an welchen sich die Person 24 gerade mit ihrem rechten Ohr 30 annähert, lauter ausgegeben wird als die restlichen Tonsignale der anderen Lautsprecher. Es ist also möglich, im Wesentlichen beliebige virtuelle Geräusche 38 des virtuellen Kraftfahrzeugs 32 zu simulieren und mittels des Kopfhörers 14 realitätsnah mit einem räumlichen Eindruck auszugeben, da die Relativpositionierung der Person 24 innerhalb der virtuellen Umgebung 34 erfasst und bei der Geräuschwiedergabe berücksichtigt wird.

Claims (10)

  1. Verfahren zum Betreiben eines Virtual-Reality-Systems (10), mit den Schritten: – Ermitteln der Ohrenpositionen (P1, P2) einer Person (24), die eine Virtual-Reality-Brille (12) und einen Kopfhörer (14) trägt; – Anzeigen eines virtuellen Objekts (32) innerhalb einer virtuellen Umgebung (34) mittels der Virtual-Reality-Brille (12), wobei das virtuelle Objekt (32) zumindest eine virtuelle Schallquelle (36) zum Ausgeben eines virtuellen Geräuschs (38) umfasst; – Zuordnen der erfassten Ohrenpositionen (P1, P2) zu jeweiligen virtuellen Ohrenpositionen (P3, P4) innerhalb der virtuellen Umgebung (34); – Ermitteln jeweiliger Relativpositionen der virtuellen Ohrenpositionen (P3, P4) bezüglich der Position (P5) der virtuellen Schallquelle (36); – Wiedergeben eines dem Geräusch (38) der virtuellen Schallquelle (36) zugeordneten Tonsignals mittels des Kopfhörers (14), wobei ein linker und ein rechter Lautsprecher (16, 18) des Kopfhörers (14) in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern (16, 18) so wiedergegeben wird, wie das Geräusch (38) von der virtuellen Schallquelle (36) innerhalb der virtuellen Umgebung (34) zu den virtuellen Ohrenpositionen (P3, P4) gelangen würde.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das virtuelle Objekt (32) von einer virtuellen Beobachtungsposition (40) angezeigt wird, welche in Abhängigkeit von den erfassten Ohrenpositionen (P1, P2) oder in Abhängigkeit von einer erfassten Position der Person (24) vorgegeben wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Zuordnung der erfassten Ohrenpositionen (P1, P2) zu den jeweiligen virtuellen Ohrenpositionen (P3, P4) innerhalb der virtuellen Umgebung (34) bei einer erfassten Veränderung der Ohrenpositionen (P1, P2) korrespondierend angepasst wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Wiedergeben des Tonsignals eine Laufzeitdifferenz zwischen dem linken und dem rechten Lautsprecher (16, 18) des Kopfhörers (14) in Abhängigkeit von den ermittelten Relativpositionen angepasst wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Wiedergeben des Tonsignals eine Pegeldifferenz zwischen dem linken und dem rechten Lautsprecher (16, 18) des Kopfhörers (14) in Abhängigkeit von den ermittelten Relativpositionen angepasst wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Geräusch (38) mittels einer binauralen Aufnahmemethode, insbesondere mittels einer binauralen Kunstkopfaufnahme, erstellt und in das Tonsignal umgewandelt wird, welches mittels der Lautsprecher (16, 18) des Kopfhörers (14) wiedergegeben wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kopf der Person (24) erfasst und basierend darauf die Ohrenpositionen (P1, P2) ermittelt werden.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionen jeweiliger Kopfhörermuscheln des Kopfhörers (14) erfasst und basierend darauf die Ohrenpositionen (P1, P2) ermittelt werden.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein virtuelles Kraftfahrzeug als das virtuelle Objekt (32) angezeigt wird, wobei eine Funktionseinheit des virtuellen Kraftfahrzeugs (32) als die virtuelle Schallquelle (36) dient.
  10. Virtual-Reality-System (10), umfassend – eine Virtual-Reality-Brille (12), welche dazu ausgebildet ist, ein virtuelles Objekt (32) innerhalb einer virtuellen Umgebung (34) anzuzeigen, wobei das virtuelle Objekt (32) zumindest eine virtuelle Schallquelle (36) zum Ausgeben eines virtuellen Geräuschs (38) umfasst; – einen Kopfhörer (14) mit einem linken und rechten Lautsprecher (16, 18); – eine Erfassungseinrichtung (20), welche dazu ausgebildet ist, die Ohrenpositionen (P1, P2) einer die Virtual-Reality-Brille (12) und den Kopfhörer (14) tragenden Person (24) zu ermitteln; – eine Steuereinrichtung (22), welche dazu ausgebildet ist, • die erfassten Ohrenpositionen (P1, P2) jeweiligen virtuellen Ohrenpositionen (P3, P4) innerhalb der virtuellen Umgebung (34) zuzuordnen; • jeweilige Relativpositionen der virtuellen Ohrenpositionen (P3, P4) bezüglich der Position (P5) der virtuellen Schallquelle (36) zu ermitteln; • den Kopfhörer (14) derart anzusteuern, dass ein dem Geräusch (38) der virtuellen Schallquelle (36) zugeordnetes Tonsignal mittels des Kopfhörers (14) wiedergegeben wird, wobei ein linker und ein rechter Lautsprecher (16, 18) des Kopfhörers (14) in Abhängigkeit von den ermittelten Relativpositionen derart betrieben werden, dass das Tonsignal von den Lautsprechern (16, 18) so wiedergegeben wird, wie das Geräusch (38) von der virtuellen Schallquelle (36) innerhalb der virtuellen Umgebung (34) zu den virtuellen Ohrenpositionen (P3, P4) gelangen würde.
DE102015003946.6A 2015-03-26 2015-03-26 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System Pending DE102015003946A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015003946.6A DE102015003946A1 (de) 2015-03-26 2015-03-26 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015003946.6A DE102015003946A1 (de) 2015-03-26 2015-03-26 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Publications (1)

Publication Number Publication Date
DE102015003946A1 true DE102015003946A1 (de) 2016-09-29

Family

ID=56889535

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015003946.6A Pending DE102015003946A1 (de) 2015-03-26 2015-03-26 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Country Status (1)

Country Link
DE (1) DE102015003946A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111713121A (zh) * 2018-02-15 2020-09-25 奇跃公司 用于混合现实的双听者位置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111713121A (zh) * 2018-02-15 2020-09-25 奇跃公司 用于混合现实的双听者位置

Similar Documents

Publication Publication Date Title
DE102014009298A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
EP3149969B1 (de) Ermittlung und nutzung hörraumoptimierter übertragungsfunktionen
Maffei et al. The influence of visual characteristics of barriers on railway noise perception
DE69734934T2 (de) Verfahren und vorrichtung zur projektion von schallquellen auf lautsprechern
DE102015003882A1 (de) Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und Virtual-Reality-System
DE102017118815A1 (de) Lautsprecheranordnung und Kopfhörer zum räumlichen Lokalisieren eines Schallereignisses
DE102013204798A1 (de) Umgebungsinformationsmitteilungsvorrichtung
DE112019004485T5 (de) Wechseln zwischen bildern und tönen einer virtuellen umgebung und einer realen umgebung
DE102016103331A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug
DE102007052154A1 (de) Audiomodul zur akustischen Überwachung eines Überwachungsbereichs, Überwachungssystem für den Überwachungsbereich, Verfahren zur Erzeugung einer Klangumgebung sowie Computerprogramm
DE102015003946A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102022107266A1 (de) Audiosystem und Verfahren zum Bestimmen von Audiofilter basierend auf der Vorrichtungsposition
Maël et al. Multimodal approach to automobile driving comfort: The influence of visual setting on assessments of vibro-acoustic comfort in simulators
DE102015003949A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102018102743A1 (de) Real Sound Transmission
DE102014010309A1 (de) Anzeigen von zusätzlichen Inhalten in einer virtuellen Szenerie
DE102006018490B4 (de) Verfahren zur binauralen Wiedergabe akustischer Signale
DE102014011590A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102013100289A1 (de) Verfahren zur Simulation einer virtuellen Umgebung
Podwinska et al. Audio augmentation of car journeys to improve occupants' well-being
Müller et al. Investigating Low Frequency Sound from Traffic in a Living Room Lab
DE19904044A1 (de) Verfahren und System zur Einstellung bzw. Programmierung von Hörhilfen oder Hörgeräten
DE102022117701A1 (de) Verfahren und Prozessorschaltung zum Nachbilden einer akustischen Innenraumsituation eines Kraftfahrzeugs sowie computerlesbares Speichermedium
DE1927401C3 (de) Verfahren zur hörrichtigen Aufnahme und Wiedergabe von Schallereignissen und Vorrichtung zu seiner Durchführung
DE102021002311A1 (de) Vorrichtung zur Erzeugung von Körperschall in Ohr Simulatoren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE