DE102017211518A1

DE102017211518A1 - Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Reality-System sowie Fahrzeug

Info

Publication number: DE102017211518A1
Application number: DE102017211518.1A
Authority: DE
Inventors: Patrick Dahms; Daniel Grein
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-07-06
Filing date: 2017-07-06
Publication date: 2019-01-10

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere Kraftfahrzeug, ein entsprechendes Virtual-Reality-System sowie ein Fahrzeug mit einem solchen Virtual-Reality-System. Dabei wird die Position und/oder die Rotation einer Steuerungseinrichtung, welche sich im Fahrzeuginnenraum befindet, ermittelt. Zudem wird eine virtuelle Umgebung für den Benutzer erzeugt, wobei eine Darstellungsweise der virtuellen Realität in der virtuellen Umgebung von der ermittelten Position und/oder Rotation der Steuerungseinrichtung abhängt.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere Kraftfahrzeug, ein entsprechendes Virtual-Reality-System sowie ein Fahrzeug mit einem solchen Virtual-Reality-System.
Die Verwendung von Virtual-Reality-Systemen wird sowohl in der Industrie als auch für Privatanwender in immer mehr Einsatzbereichen benutzt. In der Unterhaltungs-Industrie ist die Verwendung von Virtual-Reality-Systemen bereits angekommen, da diverse Spielekonsolen die Verwendung von Virtual-Reality-Systemen unterstützen und sich auch der Trend abzeichnet, dass diese Branche mehr und mehr Zuwachs gewinnen wird. Jedoch ist diese Technologie auch auf andere Bereiche im täglichen Leben anwendbar.
Aus der US 2017 / 00 98 31 A1 ist beispielsweise ein System und ein Verfahren bekannt, um reale Objekte in einer 3-D Szene zu reproduzieren.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere Kraftfahrzeug, zu schaffen. Eine weitere Aufgabe der Erfindung ist es, ein verbessertes Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für den Benutzer in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, bereitzustellen. Ebenfalls ist es eine weitere Aufgabe der Erfindung, ein Fahrzeug, insbesondere Kraftfahrzeug, mit einem Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für den Benutzer in einem Fahrzeug bereitzustellen.
Diese Aufgaben werden gelöst durch ein Verfahren gemäß Anspruch 1, einem entsprechenden Virtual-Reality-System gemäß Anspruch 13 sowie einem Fahrzeug mit einem solchen Virtual-Reality-System gemäß Anspruch 15.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere Kraftfahrzeug, aufweisend folgende Arbeitsschritte:

Bestimmen, vorzugsweise mehrmaliges Bestimmen, weiter vorzugsweise wiederholtes Bestimmen, des Sichtfelds des Benutzers des Virtual-Reality-Systems und einer Position und/oder einer Rotation und/oder wenigstens eines Zustands einer physischen Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; und
Erzeugen der virtuellen Umgebung, wobei die virtuelle Umgebung die Steuerungseinrichtung in Abhängigkeit des Sichtfelds des Benutzers des Virtual-Reality-Systems und der Position der Steuerungseinrichtung realitätsgetreu anzeigt.

Ein zweiter Aspekt der Erfindung betrifft ein Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, wobei das System, insbesondere zur Durchführung eines Verfahrens nach dem ersten Aspekt eingerichtet ist und/oder aufweist:

eine Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist;
Mittel zum Bestimmen, vorzugsweise mehrmaligen Bestimmen, weiter vorzugsweise wiederholten Bestimmen, eines Sichtfelds eines Benutzers des Virtual-Reality-Systems und einer Position und/oder einer Rotation und/oder wenigstens eines Zustands einer Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; und
Mittel zum Erzeugen der virtuellen Umgebung, wobei die virtuelle Ansicht die Steuerungseinrichtung in Abhängigkeit des Sichtfelds des Benutzers des Virtual-Reality-Systems und/oder der Position der Steuerungseinrichtung und/oder der Rotation der Steuerungseinrichtung realitätsgetreu anzeigt.

Ein dritter Aspekt der Erfindung betrifft ein Fahrzeug, insbesondere Kraftfahrzeug, mit einem Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug nach dem ersten oder zweiten Aspekt der Erfindung.
Die im Folgenden in Bezug auf den ersten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung beschriebenen Merkmale und Vorteile gelten auch für den zweiten und dritten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung sowie umgekehrt.
Eine physische Steuerungseinrichtung im Sinne der Erfindung ist eine physische, durch einen Benutzer betätigbare Einrichtung, welche zur Steuerung von Fahrzeugparametern und/oder zur Steuerung des Virtual-Reality-Systems verwendet wird. Vorzugsweise weist die Steuerungseinrichtung wenigstens eine Taste und/oder einen Hebel und/oder einen Schalter und/oder ein Display auf, um dem Benutzer den Zustand eines Parameters der Steuerungseinrichtung und somit weiter vorzugsweise auch einen Zustand eines Parameters des Fahrzeugs und/oder des Virtual-Reality-Systems anzuzeigen oder es dem Benutzer zu ermöglichen, eine Änderung an der und/oder in der Steuerungseinrichtung vorzunehmen und/oder weiter vorzugsweise auch eine Zustandsänderung eines Parameters des Fahrzeugs und/oder des Virtual-Reality-Systems vorzunehmen, indem wenigstens eine Taste und/oder ein Hebel und/oder ein Schalter und/oder ein Display durch eine Berührung des Benutzers betätigt wird.
Vorzugsweise kann mit der Steuerungseinrichtung ein Multimedia-System des Fahrzeugs gesteuert werden, um beispielsweise die Lautstärke oder den Sender eines Radios zu verändern. Vorzugsweise kann damit auch das Virtual-Reality-System ein- und/oder auch ausgeschaltet werden, oder auch spezifische Parameter des Virtual-Reality-Systems eingestellt werden. Weiter. Vorzugsweise kann die Steuerungseinrichtung auch Sprachbefehle aufnehmen, sodass eine Zustandsänderung eines Parameters der Steuerungseinrichtung und somit weiter vorzugsweise auch eine Zustandsänderung eines Parameters des Fahrzeugs und/oder des Virtual-Reality-Systems berührungslos stattfinden kann. Eine Steuerungseinrichtung im Sinne der Erfindung kann beispielsweise auch eine an und/oder in der Mittelkonsole des Fahrzeugs angeordnete Einrichtung sein.
Die Ausgabeeinrichtung kann insbesondere eine Datenschnittstelle oder eine Datenbrille, insbesondere ein Head-Mounted Display, aufweisen. Die virtuelle Umgebung enthält neben visuellen Stimuli vorzugsweise auch akustische, olfaktorische, haptische, und/oder taktile Stimuli, welche durch die Ausgabeeinrichtung ausgegeben werden und die Sinne des Benutzers stimulieren können. Dazu kann die Ausgabevorrichtung ein entsprechend eingerichtetes Audiosystem, Belüftungssystem und/oder Force-Feedbacksystem aufweisen, welches in dem Head-Mounted Display, einem Eingabegerät des Virtual-Reality-Systems und/oder einer Komponente des Fahrzeugs, beispielsweise einem Fahrzeugsitz oder einem Klimatisierungssystem, angeordnet ist.
Ein Fahrzeugparameter des Fahrzeugs im Sinne der Erfindung kann sich beispielsweise auf eine Geschwindigkeit, eine Beschleunigung, eine Drehzahl eines Motors, einen eine Ausrichtung des Fahrzeugs charakterisierenden Winkel, insbesondere einen Roll-, Nick- und/oder Gierwinkel, und/oder eine Routen- bzw. Navigationsinformation beziehen. Vorzugsweise kann sich ein Fahrzeugparameter auch auf eine Änderung bzw. eines Änderungsrate einer der vorgenannten Größen beziehen.
Ein Positionsparameter von Insassen und/oder Objekten im Fahrzeuginnenraum kann sich beispielsweise auf die Position der Insassen und/oder Objekte im Fahrzeuginnenraum, insbesondere relativ zum Benutzer, beziehen. Vorzugsweise kann sich ein Positionsparameter auch auf eine aus mehreren Positionen abgeleitete Größe, beispielsweise einen Abstand zwischen dem Benutzer und einem anderen Insassen und/oder einem Objekt, eine Erreichbarkeit bzw. Bedienbarkeit eines Objekts und/oder eine Sichtbarkeit eines Objekts und/oder eines Innsassen, beziehen.
Ein Überlagern im Sinne der Erfindung ist auch als Überblenden zu verstehen. Das reale Umfeld bzw. Objekte aus dem realen Umfeld können dabei etwa zumindest teilweise transparent dargestellt werden, so dass die virtuelle Realität durchscheint. Abhängig vom Wert des Immersionsparameters kann ein Grad der Transparenz ermittelt bzw. bestimmt werden.
In einer vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird die Steuerungseinrichtung nur angezeigt, wenn die Position der Steuerungseinrichtung in einer realen Umgebung im Sichtfeld des Benutzers des Virtual-Reality-Systems ist.
In einer vorteilhaften Ausgestaltung weist das Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug vorzugsweise folgenden zusätzlichen Arbeitsschritt auf:

Anzeigen der virtuellen Umgebung mittels wenigstens einer Ausgabeeinrichtung, insbesondere eine Datenschnittstelle oder eines Head-Mounted Displays.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug ist die Steuerungseinrichtung innerhalb des Fahrzeugs frei bewegbar.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird zum Bestimmen eines Zustands der Steuerungseinrichtung ein Schaltzustand einer Taste und/oder eines Hebels und/oder eines Schalters und/oder eines Displays der Steuerungseinrichtung bestimmt.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird dem Virtual-Reality-System wenigstens ein Zustand und/oder eine Zustandsänderung einer Steuerungseinrichtung, insbesondere elektronisch und/oder optisch und/oder akustisch, übermittelt.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird eine Anzeige der Steuerungseinrichtung dem Virtual-Reality-System übermittelt, so dass das Virtual-Reality-System beim Erzeugen der virtuellen Ansicht der virtuellen Umgebung die übermittelte Anzeige der Steuerungseinrichtung der virtuellen Ansicht der Anzeige der Steuerungseinrichtung in Abhängigkeit der Position und/oder der Rotation der Steuerungseinrichtung überlagert.
Ein Überlagern im Sinne der Erfindung ist auch als Überblenden zu verstehen. Das reale Umfeld bzw. Objekte aus dem realen Umfeld können dabei etwa zumindest teilweise transparent dargestellt werden, so dass die virtuelle Realität durchscheint.
In einer vorteilhaften Ausgestaltung weist das Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug vorzugsweise folgenden zusätzlichen Arbeitsschritt auf:

Prüfen, insbesondere visuelles prüfen, ob eine Eingabe und/oder Änderung in der Steuerungseinrichtung durch einen Benutzer erfolgt ist.

In einer vorteilhaften Ausgestaltung weist das Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug vorzugsweise folgenden zusätzlichen Arbeitsschritt auf:

Erkennen einer vorbestimmten Gestik des Benutzers des Virtual-Reality-Systems und/oder eines vorbestimmten Sprachausdrucks des Benutzers des Virtual-Reality-Systems und/oder eines vorbestimmten Fahrzeugparameters.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird die Steuerungseinrichtung angezeigt, nachdem eine vorbestimmte Gestik des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Sprachausdruck des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Fahrzeugparameter erkannt wurde.
In einer vorteilhaften Ausgestaltung weist das Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug vorzugsweise folgenden zusätzlichen Arbeitsschritt auf:

Mitteilen, insbesondere visuelles und/oder akustisches und/oder haptisches Mitteilen, der aktuellen Position der Steuerungseinrichtung dem Benutzer des Virtual-Reality-Systems, falls sich die Steuerungseinrichtung nicht und/oder nur teilweise im Sichtfeld des Benutzers des Virtual-Reality-Systems befindet.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug wird dem Benutzer des Virtual-Reality-Systems die aktuelle Position der Steuerungseinrichtung mitgeteilt, nachdem eine vorbestimmte Gestik des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Sprachausdruck des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Fahrzeugparameter erkannt wurde.
In einer weiteren vorteilhaften Ausgestaltung weist das Virtual-Reality-System des Weiteren wenigstens eine Ausgabeeinrichtung auf, insbesondere eine Datenschnittstelle oder ein Head-Mounted Display, wobei die Datenschnittstelle oder das Head-Mounted Display dazu eingerichtet sind, die virtuelle Umgebung auszugeben und/oder einem Benutzer des Virtual-Reality-Systems anzuzeigen.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren, in denen durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechende Elemente der Erfindung verwendet werden. Es zeigen wenigstens teilweise schematisch:

1 ein Ausführungsbeispiel eines Virtual-Reality-Systems;
2 ein Ausführungsbeispiel einer Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; und
3 ein Ausführungsbeispiel eines Verfahrens zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug.

1 zeigt ein Ausführungsbeispiel eines Virtual-Reality-Systems 1. Hierbei ist ein Fahrzeug 2 zu sehen, welches einen Benutzer 7 transportieren kann. Insbesondere befindet sich im Fahrzeug 2 ein Virtual-Reality-System 1, wobei der Benutzer 7 eine Ausgabeeinrichtung 10 auf dem Kopf trägt, um eine virtuelle Umgebung, welche von dem Virtual-Reality-System 1 erzeugt wurde, zu sehen. Vorzugsweise kann mittels einer Steuerungseinrichtung 3 das Fahrzeug 2 und/oder das Virtual-Reality-System 1 gesteuert werden. Eine Sensoreinrichtung 11, welche sich im Fahrzeuginnenraum 8 befindet, überwacht den Benutzer 7 sowie die Steuerungseinrichtung 3 in ihrer Position sowie Rotation. Darüber hinaus ist in und/oder an der Ausgabeeinrichtung 10 eine Schallausgabeeinrichtung 12 angeordnet, welche dem Benutzer 7 akustische Signale übermittelt. In und/oder an dem Fahrzeugsitz 9, auf welchem sich der Benutzer 7 befindet, kann vorzugsweise eine Vibrationseinrichtung 13 angeordnet sein, um dem Benutzer 7 eine haptische Rückmeldung zu ermöglichen. Eine Fahrzeugparametereinrichtung 14 ist darüber hinaus mit dem Virtual-Reality-System 1 verbunden, um diesem etwaige auftretende Parameter des Fahrzeugs 2 zu übermitteln.
2 zeigt ein Ausführungsbeispiel der Steuerungseinrichtung 3, welche zum Steuern des Fahrzeugs 2 und/oder des Virtual-Reality-Systems 1 eingerichtet ist. Insbesondere handelt es sich bei der Steuerungseinrichtung 3 um ein Smartphone oder Tablet, welches vorzugsweise auch in einem nicht-stationären Betrieb betrieben werden kann. Die Steuerungseinrichtung 3 weist eine Taste 4 auf, welche vorzugsweise eine Zustandsänderung der Steuerungseinrichtung 3 bewirken kann. Des Weiteren weist die Steuerungseinrichtung 3 einen Schalter 5 auf, welcher ebenfalls vorzugsweise eine Zustandsänderung der Steuerungseinrichtung 3 bewirken kann und somit weiter vorzugsweise Fahrzeugparameter und/oder Parameter betreffend das Virtual-Reality-System 1 steuern kann. Darüber hinaus weist die Steuerungseinrichtung 3 ein Display 6 auf, welches vorzugsweise als ein Touch-Display ausgebildet ist.
Vorzugsweise können erfindungsgemäß zum Bestimmen eines Zustands der Steuerungseinrichtung 3 ein Zustand der Taste 4, des Schalters 5 und/oder des Displays 6 der Steuerungseinrichtung 3, insbesondere durch die Sensoreinrichtung 11, bestimmt werden.
Weiter vorzugsweise wird die Anzeige auf dem Display 6 der Steuerungseinrichtung 3 dem Virtual-Reality-System 1 übermittelt, sodass das Virtual-Reality-System 1 beim Erzeugen der virtuellen Ansicht der virtuellen Umgebung die Anzeige berücksichtigen kann. Insbesondere wird die Anzeige auf dem Display 6 der Steuerungseinrichtung 3 vorzugsweise durch eine Sensoreinrichtung 11 zur Bilderfassung erfasst, wobei Spiegelungen und/oder Reflexionen aufgrund von Lichteinflüssen eine detailreiche Erkennung der einzelnen Pixel des Displays 6 erschweren und verfälschen. Erfindungsgemäß wird daher durch die von der Sensoreinrichtung 11 erfasste Anzeige des Displays 6 der Steuerungseinrichtung 3 durch die dem Virtual-Reality-System 1 übermittelte Anzeige des Displays 6 überlagert, wobei dies vorzugsweise in Abhängigkeit der Position und/oder der Rotation der Steuerungseinrichtung 3 erfolgt. Vorteilhaft ist hierbei, dass der Benutzer 7 auch bei stark schwanken Lichtverhältnissen die Anzeige auf dem Display 6 der Steuerungseinrichtung 3 in der Ausgabeeinrichtung 10 erkennen kann.
3 zeigt ein Ausführungsbeispiel eines Verfahrens 100 zum Erzeugen einer virtuellen Umgebung für einen Benutzer 7 in einem Fahrzeug 2, mit sechs Arbeitsschritten 101 - 106.
In einem ersten Arbeitsschritt 101 wird geprüft, insbesondere visuell geprüft, ob eine Eingabe und/oder eine Änderung in der Steuerungseinrichtung 3 durch einen Benutzer 7 erfolgt ist. Vorzugsweise wird hier geprüft, ob der Zustand einer Taste 4 und/oder eines Hebels und/oder eines Schalters 5 und/oder eines Displays 6 der Steuerungseinrichtung 3 verändert wurde. Hierzu kann beispielsweise wenigstens eine Sensoreinrichtung 11 verwendet werden, welche sich vorzugsweise im Fahrzeuginnenraum 8 befindet.
Diese Sensoreinrichtung 11 verfügt weiter vorzugsweise über wenigstens eine Bilderfassungseinrichtung, welche es erlaubt, einmalig und/oder auch fortlaufend die Steuerungseinrichtung 3 zu überwachen.
Vorzugsweise wird hierbei auch die Bewegung wenigstens eines Benutzers 7 des Fahrzeugs überwacht, um aus dem Bewegungsprofil des Benutzers 7 Rückschlüsse über eine mögliche Zustandsänderung der Steuerungseinrichtung 3 zu ziehen. Weiter vorzugsweise erfolgt ebenfalls eine Überwachung von akustischen Lauten des Benutzers 7.
Weiter vorzugsweise weist die Sensoreinrichtung 11 andere Überwachungseinrichtungen auf, wie beispielsweise eine Ultraschall- und/oder Radareinrichtung, welche eine zusätzliche Überwachung der Steuerungseinrichtung 3 erlauben. Des Weiteren kann auch vorgesehen sein, dass die Steuerungseinrichtung 3 eine Zustandsänderung der Steuerungseinrichtung 3 dem Virtual-Reality-System 1 übermittelt. Dies erfolgt vorzugsweise elektronisch und/oder optisch und/oder akustisch, weiter vorzugsweise kabelgebunden und/oder drahtlos. Vorteilhaft ist hierbei, dass eine Sensoreinrichtung 11 den Zustand der Steuerungseinrichtung 3 nicht kontinuierlich prüfen muss, sondern auch durch einen sogenannten Interrupt eine Zustandsänderung dem Virtual-Reality-System 1 übermittelt werden kann.
Weiter vorteilhaft ist die Steuerungseinrichtung 3 innerhalb des Fahrzeugs 2 frei bewegbar. Beispielsweise kann es sich hierbei um ein Smartphone, ein Tablet, einen Laptop oder auch eine andere Steuerungseinrichtung 3 handeln, welches vorzugsweise drahtlos mit dem Fahrzeug 2 und/oder dem Virtual-Reality-System 1 verbunden ist. Vorteilhaft ist hierbei, dass auch ein Benutzer 7 des Fahrzeugs 2, welcher sich im hinteren Bereich des Fahrzeugs 2 befindet, die Steuerungseinrichtung 3 bedienen kann.
In einem zweiten Arbeitsschritt 102 wird das Sichtfeld des Benutzers 7 des Virtual-Reality-Systems 1 und eine Position und/oder eine Rotation und/oder wenigstens ein Zustand der Steuerungseinrichtung 3 bestimmt, vorzugsweise mehrmalig bestimmt, weiter vorzugsweise wiederholt bestimmt, welche zum Steuern des Fahrzeugs 2 und/oder des Virtual-Reality-Systems 1 eingerichtet ist. Beispielsweise ist es von Bedeutung, das aktuelle Sichtfeld des Benutzers 7 zu wissen, um dem Benutzer 7 die virtuelle Umgebung in Abhängigkeit realer Objekte darzustellen. Vorzugsweise wird auch die Position und/oder die Rotation und/oder der Zustand der Steuerungseinrichtung 3 bestimmt, um dem Benutzer 7 realitätsgetreu die Steuerungseinrichtung 3 anzuzeigen.
In einem dritten Arbeitsschritt 103 wird eine vorbestimmte Gestik des Benutzers 7 des Virtual-Reality-Systems 1 und/oder ein vorbestimmter Sprachausdruck des Benutzers 7 des Virtual-Reality-Systems 1 und/oder ein vorbestimmter Fahrzeugparameter erkannt.
Eine vorbestimmte Gestik des Benutzers 7 kann beispielsweise eine Kopf- oder Handbewegung sein, welche eindeutig bestimmt werden kann. Ein vorbestimmter Sprachausdruck des Benutzers 7 kann beispielsweise ein vorbestimmtes Wort sein, welches eine vorbestimmte Zustandsänderung erzielt. Diese Geste und/oder dieser Sprachausdruck ist vorzugsweise in einer Lookup-Tabelle des Virtual-Reality-Systems 1 abgespeichert. Vorzugsweise ist diese vorbestimmte Gestik und/oder der vorbestimmte Sprachausdruck veränderbar, sodass der Benutzer 7 selbst bestimmen kann, welche Gestiken und/oder Sprachausdrücke welche Zustandsänderung in der Steuerungseinrichtung 3 bewirken.
Ein vorbestimmter Fahrzeugparameter kann beispielsweise erkannt werden, wenn sich das Fahrzeug 2 oder auch eine andere Person insbesondere in einer Gefahrensituation befindet. Hierbei kann es sich zum Beispiel um ein starke Bremsung oder auch eine defekte Komponente des Fahrzeugs 2 handeln. Hierfür übermittelt vorzugsweise eine Fahrzeugparametereinrichtung 14 etwaige Fahrzeugparameter an das Virtual-Reality-System 1.
In einem vierten Arbeitsschritt 104 wird eine virtuelle Umgebung erzeugt, wobei die virtuelle Ansicht die Steuerungseinrichtung 3 in Abhängigkeit des Sichtfelds des Benutzers 7 des Virtual-Reality-Systems 1 und der Position der Steuerungseinrichtung 3 realitätsgetreu anzeigt. Insbesondere soll hierbei sichergestellt werden, dass dem Benutzer 7, währenddessen er das Virtual-Reality-System 1 verwendet und somit insbesondere keinerlei Objekte der realen Umgebung sehen kann, die Steuerungseinrichtung 3 angezeigt wird, sodass er diese vorzugsweise ohne Abweichung von der virtuellen Darstellung realitätsgetreu berühren kann.
Vorteilhaft ist hierbei, dass der Benutzer 7 die Steuerungseinrichtung 3 bedienen kann, auch wenn sich diese nicht in einem stationären, insbesondere vorbestimmten, Platz innerhalb des Fahrzeuginnenraums 8 befindet. Vorzugsweise wird dem Benutzer 7 zur erleichterten Bedienung der Steuerungseinrichtung 3 wenigstens einer seiner Finger, vorzugsweise seine Hand und weiter vorzugsweise seine Hand und sein Unterarm eingeblendet, wenn der Benutzer 7 die Steuerungseinrichtung 3 bedienen möchte.
In einem fünften Arbeitsschritt 105 wird die virtuelle Umgebung mittels wenigstens einer Ausgabeeinrichtung 10 angezeigt, insbesondere einer Datenschnittstelle oder eines Head-Mounted Displays. Vorteilhaft ist hierbei, dass der Benutzer 7 durch Tragen eines Head-Mounted Displays vorzugsweise vollkommen in eine virtuelle Realität eintauchen kann. Um dem Benutzer 7 trotzdem die Bedienung der Steuerungseinrichtung 3 und somit auch der Bedienung von spezifischen Fahrzeugparametern und/oder von spezifischen Parametern des Virtual-Reality-Systems 1 zu ermöglichen, wird das erfindungsgemäße Verfahren 100 angewendet. Insbesondere wird die Steuerungseinrichtung 3 nur angezeigt, wenn sich die Position der Steuerungseinrichtung 3 in einer realen Umgebung im Sichtfeld des Benutzers 7 des Virtual-Reality-Systems 1 befindet.
In einem letzten Arbeitsschritt 106 wird dem Benutzer 7 des Virtual-Reality-Systems 1 die aktuelle Position der Steuerungseinrichtung 3 mitgeteilt, insbesondere visuell und/oder akustisch und/oder haptisch mitgeteilt, falls sich die Steuerungseinrichtung 3 nicht und/oder nur teilweise im Sichtfeld des Benutzers 7 des Virtual-Reality-Systems 1 befindet.
Hat der Benutzer 7 des Virtual-Reality-Systems 1 beispielsweise sein Sichtfeld in Fahrtrichtung des Fahrzeugs 2 gerichtet und befindet sich die Steuerungseinrichtung 3 gerade im Kofferraum des Fahrzeugs 2, wird dem Benutzer 7 über das Virtual-Reality-System 1, und vorzugsweise über akustische und/oder visuelle und/oder haptische Signale, mitgeteilt, an welchem Ort sich die Steuerungseinrichtung 3 im Fahrzeuginnenraum 8 befindet, um dem Benutzer 7 eine schnelle und einfache Ortung der Steuerungseinrichtung 3 zu ermöglichen.
Bei akustischen Signalen kann es sich beispielsweise um Geräusche handeln, welche dem Benutzer 7 mittels einer Schallausgabeeinrichtung 12 ausgegeben werden. Befindet sich beispielsweise die Steuerungseinrichtung 3 zur rechten Seite des Benutzers 7 und nur teilweise oder gar nicht im Sichtfeld des Benutzers 7, so wird diesem durch ausgeben eines akustischen Signals im Bereich seines rechten Ohres angezeigt, dass der Benutzer 7 die Steuerungseinrichtung 3 durch eine Kopfdrehung in die Richtung, aus der das akustische Signal kam, sehen kann. Weiter vorzugsweise wird dem Benutzer 7 akustisch mitgeteilt, falls die Steuerungseinrichtung 3 durch ein Objekt wie etwa einen Fahrzeugsitz 9 des Fahrzeugs 2 verdeckt wird, dass die Steuerungseinrichtung 3 nicht unmittelbar ohne eine räumliche Positionsänderung des Benutzers 7 erreicht werden kann.
Unter einer Schallausgabeeinrichtung 12 im Sinne der Erfindung ist vorzugsweise wenigstens ein Lautsprecher und weiter vorzugsweise ein Lautsprechersystem zu verstehen. Hierbei kann es sich beispielsweise um ein Mehrkanal-Tonsystem handeln, welches sich vorzugsweise an und/oder in der Ausgabeeinrichtung 10 des Virtual-Reality-Systems 1 befindet und bevorzugt für die Verwendung des Virtual-Reality-Systems 1 benutzt wird. Insbesondere können hierbei mehrere Lautsprecher an und/oder in der Ausgabeeinrichtung 10 verteilt angeordnet sein, um dem Benutzer 7 eine räumliche Wahrnehmung von akustischen Geräuschen zu ermöglichen.
Bei visuellen Signalen kann es sich beispielsweise um Objekte handeln, welche dem Benutzer 7 mittels der Ausgabeeinrichtung 10, insbesondere einer Datenschnittstelle und/oder eines Head-Mounted Displays angezeigt werden. Die Ausgabeeinrichtung 10 ist Teil des Virtual-Reality-Systems 1, wobei die Datenschnittstelle oder das Head-Mounted Display dazu eingerichtet sind, die virtuelle Umgebung auszugeben und/oder dem Benutzer 7 des Virtual-Reality-Systems 1 anzuzeigen. Hierbei kann analog zu obigen Beispiel beispielsweise ein Pfeil, welcher in der Ausgabeeinrichtung 10 angezeigt wird, dem Benutzer 7 die aktuelle Position der Steuerungseinrichtung 3 signalisieren, wenn sich die Steuerungseinrichtung 3 nur teilweise oder gar nicht im Sichtfeld des Benutzers 7 findet. Weiter vorzugsweise wird dem Benutzer 7 visuell mitgeteilt, falls die Steuerungseinrichtung 3 durch ein Objekt wie etwa einen Fahrzeugsitz 9 verdeckt wird, dass die Steuerungseinrichtung 3 nicht unmittelbar ohne eine räumliche Positionsänderung des Benutzers 7 berührt werden kann.
Bei haptischen Signalen kann es sich beispielsweise um Vibrationen einer Vibrationseinrichtung 13 handeln, welche an und/oder in der Ausgabeeinrichtung 10 und/oder im Fahrzeugsitz 9 des Benutzers 7 angeordnet ist. Befindet sich die Steuerungseinrichtung 3 beispielsweise zur rechten Seite des Benutzers 7 und nur teilweise oder gar nicht im Sichtfeld des Benutzers 7, so wird diesem durch ausgeben eines haptischen Signals im rechten Bereich der Ausgabeeinrichtung 10 und/oder im rechten Sitzbereich des Fahrzeugsitzes 9 des Benutzers 7 angezeigt, dass der Benutzer 7 die Steuerungseinrichtung 3 durch eine Kopfdrehung in die Richtung, aus der das haptische Signal kam, sehen kann.
Bezugszeichenliste

1: Virtual-Reality-System
2: Fahrzeug
3: Steuerungseinrichtung
4: Taste
5: Schalter
6: Display
7: Benutzer
8: Fahrzeuginnenraum
9: Fahrzeugsitz
10: Ausgabeeinrichtung
11: Sensoreinrichtung
12: Schallausgabeeinrichtung
13: Vibrationseinrichtung
14: Fahrzeugparametereinrichtung
100: Verfahren zum Erzeugen einer virtuellen Umgebung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017/009831 A1 [0003]

Claims

Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, aufweisend folgende Arbeitssch ritte: - Bestimmen, vorzugsweise mehrmaliges Bestimmen, weiter vorzugsweise wiederholtes Bestimmen, des Sichtfelds eines Benutzers des Virtual-Reality-Systems und einer Position und/oder einer Rotation und/oder wenigstens eines Zustands einer physischen Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; und - Erzeugen der virtuellen Umgebung, wobei die virtuelle Umgebung die Steuerungseinrichtung in Abhängigkeit des Sichtfelds des Benutzers des Virtual-Reality-Systems und der Position der physischen Steuerungseinrichtung realitätsgetreu anzeigt.
Verfahren nach Anspruch 1, mit dem zusätzlichen Schritt: Anzeigen der virtuellen Umgebung mittels wenigstens einer Ausgabeeinrichtung, insbesondere einer Datenschnittstelle oder eines Head-Mounted Displays.
Verfahren nach Anspruch 1 oder 2, wobei die Steuerungseinrichtung nur angezeigt wird, wenn die Position der Steuerungseinrichtung in einer realen Umgebung im Sichtfeld des Benutzers des Virtual-Reality-Systems ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die physische Steuerungseinrichtung innerhalb des Fahrzeugs frei bewegbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Bestimmen eines Zustands der physischen Steuerungseinrichtung ein Schaltzustand einer Taste und/oder eines Hebels und/oder eines Schalters und/oder eines Displays der Steuerungseinrichtung bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Virtual-Reality-System wenigstens ein Zustand und/oder eine Zustandsänderung einer Steuerungseinrichtung, insbesondere elektronisch und/oder optisch und/oder akustisch, übermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Anzeige der Steuerungseinrichtung dem Virtual-Reality-System übermittelt wird, so dass das Virtual-Reality-System beim Erzeugen der virtuellen Ansicht der virtuellen Umgebung die übermittelte Anzeige der Steuerungseinrichtung der virtuellen Ansicht der Anzeige der Steuerungseinrichtung in Abhängigkeit der Position und/oder der Rotation der Steuerungseinrichtung überlagert.
Verfahren nach einem der vorhergehenden Ansprüche mit dem zusätzlichen Schritt: Prüfen, insbesondere visuelles prüfen, ob eine Eingabe und/oder Änderung in der Steuerungseinrichtung durch einen Benutzer erfolgt ist.
Verfahren nach einem der vorhergehenden Ansprüche mit dem zusätzlichen Schritt: Erkennen einer vorbestimmten Gestik des Benutzers des Virtual-Reality-Systems und/oder eines vorbestimmten Sprachausdrucks des Benutzers des Virtual-Reality-Systems und/oder eines vorbestimmten Fahrzeugparameters.
Verfahren nach dem Anspruch 9, wobei die Steuerungseinrichtung angezeigt wird, nachdem eine vorbestimmte Gestik des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Sprachausdruck des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Fahrzeugparameter erkannt wurde.
Verfahren nach einem der vorhergehenden Ansprüche mit dem zusätzlichen Schritt: Mitteilen, insbesondere visuelles und/oder akustisches und/oder haptisches Mitteilen, der aktuellen Position der Steuerungseinrichtung dem Benutzer des Virtual-Reality-Systems, falls sich die Steuerungseinrichtung nicht und/oder nur teilweise im Sichtfeld des Benutzers des Virtual-Reality-Systems befindet.
Verfahren nach einem der Ansprüche 9 bis 11, wobei die aktuelle Position der Steuerungseinrichtung dem Benutzer des Virtual-Reality-Systems mitgeteilt wird, nachdem eine vorbestimmte Gestik des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Sprachausdruck des Benutzers des Virtual-Reality-Systems und/oder ein vorbestimmter Fahrzeugparameter erkannt wurde.
Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, nach einem der vorhergehenden Ansprüche, wobei das System, insbesondere zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 12, eingerichtet ist und/oder aufweist: - eine Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; - Mittel zum Bestimmen, vorzugsweise mehrmaligen Bestimmen, weiter vorzugsweise wiederholten Bestimmen, eines Sichtfelds eines Benutzers des Virtual-Reality-Systems und einer Position und/oder einer Rotation und/oder wenigstens eines Zustands einer physischen Steuerungseinrichtung, welche zum Steuern des Fahrzeugs und/oder des Virtual-Reality-Systems eingerichtet ist; und - Mittel zum Erzeugen der virtuellen Umgebung, wobei die virtuelle Ansicht die Steuerungseinrichtung in Abhängigkeit des Sichtfelds des Benutzers des Virtual-Reality-Systems und/oder der Position der physischen Steuerungseinrichtung und/oder der Rotation der physischen Steuerungseinrichtung realitätsgetreu anzeigt.
Virtual-Reality-System nach Anspruch 13, des Weiteren aufweisend: wenigstens eine Ausgabeeinrichtung, insbesondere eine Datenschnittstelle oder ein Head-Mounted Display, wobei die Datenschnittstelle oder das Head-Mounted Display dazu eingerichtet ist, die virtuelle Umgebung auszugeben oder einem Benutzer des Virtual-Reality-Systems anzuzeigen.
Fahrzeug, insbesondere Kraftfahrzeug, mit einem Virtual-Reality-System zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug nach Anspruch 13 oder 14.