DE102018204325A1 - Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel - Google Patents

Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel Download PDF

Info

Publication number
DE102018204325A1
DE102018204325A1 DE102018204325.6A DE102018204325A DE102018204325A1 DE 102018204325 A1 DE102018204325 A1 DE 102018204325A1 DE 102018204325 A DE102018204325 A DE 102018204325A DE 102018204325 A1 DE102018204325 A1 DE 102018204325A1
Authority
DE
Germany
Prior art keywords
glasses
locomotion
orientation
environment
transportation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018204325.6A
Other languages
English (en)
Inventor
Jörg Preißinger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102018204325.6A priority Critical patent/DE102018204325A1/de
Publication of DE102018204325A1 publication Critical patent/DE102018204325A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3546Range
    • A61M2205/3561Range local, e.g. within room or hospital
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/507Head Mounted Displays [HMD]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/583Means for facilitating use, e.g. by people with impaired vision by visual feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Anesthesiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Die Erfindung betrifft ein Verfahren für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten (70) in einem Fortbewegungsmittel (80) umfassend die Schritte: Ermitteln einer ersten Position und ersten Ausrichtung einer Datenbrille (30) im Fortbewegungsmittel (80) in Bezug zum Fortbewegungsmittel (80), Empfangen von Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) bezüglich dessen Umfeldes, Empfangen von ein Umfeld des Fortbewegungsmittels (80) repräsentierenden Objektinformationen, Empfangen der Multimediainhalte (70) mittels der Datenbrille (30) und Darstellen der Multimediainhalte (70) in einem durch eine Anzeigeeinheit der Datenbrille (30) erzeugten virtuellen Screen, unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) und der das Umfeld repräsentierenden Objektinformationen.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung, sowie ein Fortbewegungsmittel für eine virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel. Insbesondere betrifft die Erfindung eine virtuelle Darstellung von Multimediainhalten in einer Datenbrille.
  • Aus dem Stand der Technik sind Verfahren und Vorrichtungen zur Darstellung von Informationen in einem Fortbewegungsmittel mittels unterschiedlicher optischer Ausgabeeinheiten bekannt. Solche Ausgabeeinheiten können beispielsweise ein im Armaturenbrett des Fortbewegungsmittels angeordnetes Zentraldisplay, ein Display des Kombiinstruments oder auch ein Head-up-Display sein. Die Art der auf diesen Ausgabeeinheiten dargestellten Informationen variiert von fahrzeugspezifischen Informationen, wie zum Beispiel Hinweis- oder Warnmeldungen zu spezifischen Fahrzeugfunktionen oder Verkehrssituationen, über eine Darstellung von empfangenen Text- oder E-Mail-Nachrichten, bis hin zur Darstellung von Multimediainhalten, wie Filme oder Bilder. Insbesondere bei einer längeren Betrachtung solcher Informationen in einem fest verorteten Display des Fortbewegungsmittels oder in einem Display eines Smartphones, eines Tablet-Computers, eines Laptops usw. während der Fahrt, kann bei einem Betrachter dieser Informationen eine Kinetose oder auch Reisekrankheit hervorgerufen werden. Die Ursache hierfür ist meist eine Abweichung einer durch das menschliche Gleichgewichtsorgan empfundenen Bewegung (hier ausgelöst durch das Fortbewegungsmittel), von einer zeitgleichen visuellen Wahrnehmung eines Umfeldes. Insbesondere bei einer längeren Betrachtung eines Displays im Innenraum eines Fortbewegungsmittels kann das Gehirn des Betrachters die durch das Gleichgewichtsorgan aufgenommene Bewegung nicht mit einer davon unabhängigen Informationsausgabe im Display in Einklang bringen. Dies kann beim Betrachter beispielsweise Übelkeit, Schwindel, Kopfschmerzen oder sogar Erbrechen hervorrufen.
  • Im Stand der Technik werden zur Vermeidung eines Kinetoserisikos Verfahren und Vorrichtungen vorgeschlagen, die die Korrelation zwischen der Wahrnehmung durch das Gleichgewichtsorgan und der visuellen Wahrnehmung durch das Auge während einer Fahrt im Fortbewegungsmittel herstellen bzw. verbessern können.
  • DE 000010156219 C1 schlägt vor, über optische Wiedergabeeinrichtungen des Fortbewegungsmittels während der Fahrt Bildsignale bereitzustellen, die in Abhängigkeit von fahrtspezifischen Bewegungsdaten so modifiziert werden, dass für einen Anwender der visuelle Eindruck der betrachteten Bilder mit den aktuell subjektiv wahrgenommenen Lage- und Bewegungswerten korreliert ist. Hierzu werden von einer Datenverarbeitungseinrichtung Signale von Bewegungs- und Positionssensoren ausgewertet und die in digitaler Form vorliegenden Bildsignale für die Wiedergabe entsprechend abgewandelt. Fahrtbedingte Lageveränderungen führen so beispielsweise zu entsprechenden Veränderungen der Bildlage bei der Wiedergabe, Beschleunigungen zu einer Änderung der Bildgröße.
  • DE 10 2015 101 183 A1 schlägt vor, dem Fahrer eines Kraftfahrzeugs während eines autonomen Fahrmodus mittels einer Anzeigeeinrichtung (insbesondere einem Head-up-Display) Anzeigedaten anzuzeigen. Dabei werden dem Fahrer die Anzeigedaten beim Betrachten der Anzeigeeinrichtung in einem zentralen Sichtfeld angezeigt. Ferner wird mittels einer Sensoreinrichtung ein Umgebungsbereich des Kraftfahrzeugs erfasst und es werden zusätzlich Umgebungsdaten mittels einer Umgebungsanzeigeeinrichtung angezeigt, welche den mit der Sensoreinrichtung erfassten Umgebungsbereich beschreiben. Hierbei werden die Umgebungsdaten beim Betrachten der Anzeigeeinrichtung in einem peripheren Sichtfeld angezeigt.
  • Es ist eine Aufgabe der vorliegenden Erfindung, zur weiteren Verringerung eines Kinetoserisikos eine Lösung aufzuzeigen, die es erlaubt, Multimediainhalte außerhalb eines Fortbewegungsmittels in dessen Umfeld derart darzustellen, dass diese virtuell in das Umfeld integriert werden und somit nicht wie im Stand der Technik, losgelöst vom Umfeld des Fortbewegungsmittels angezeigt werden.
  • Die Lösung der vorstehend identifizierten Aufgabe erfolgt durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel vorgeschlagen. Das grundlegende Ziel ist es, Multimediainhalte während einer Fahrt im Fortbewegungsmittel derart darzustellen, dass ein reales Umfeld eines Anwenders zu jedem Zeitpunkt eines Betrachtens der Multimediainhalte durch den Anwender wahrgenommen werden kann. Auf diese Weise kann ein Kinetoserisiko für den Anwender weiter reduziert werden. In einem ersten Schritt des erfindungsgemäßen Verfahrens werden eine erste Position und eine erste Ausrichtung einer Datenbrille im Fortbewegungsmittel in Bezug zum Fortbewegungsmittel ermittelt. Das Fortbewegungsmittel kann beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Luftfahrzeug/Flugzeug oder ein Schiff/Boot sein. Die Multimediainhalte können beispielsweise Video-Streams und/oder Textnachrichten und/oder E-Mail-Nachrichten und/oder Bilder sein, wobei diese bevorzugt keine fortbewegungsmittelbezogenen Inhalte umfassen. Die Datenbrille kann beispielsweise eine Augmented-Reality-Brille (im Folgenden auch AR-Brille genannt) oder eine Virtual-Reality-Brille (im Folgenden auch VR-Brille genannt) sein, wobei im Zusammenhang mit einer Kinetosevermeidung bevorzugt die Verwendung einer AR- Brille vorgeschlagen wird, da diese das reale Umfeld eines Anwenders durch eine Überlagerung mit Multimediainhalten erweitert. Es kann angenommen werden, dass der kinetosevermeidende Effekt in diesem Fall stärker ausfällt, als im Zusammenhang mit einer VR-Brille, welche ein vollständig virtuelles Umfeld für einen Anwender erzeugt. Die AR-Brille kann eine Anzeigeeinheit zur Darstellung der Multimediainhalte umfassen. Diese kann eingerichtet sein, Multimediainhalte im gesamten Sichtbereich der AR-Brille, oder auch nur in einem Teil des Sichtbereichs darzustellen. Darüber hinaus verfügt die AR-Brille bevorzugt über eine inertiale Messeinheit, welche eine Mehrzahl von Inertialsensoren zur Ermittlung von Bewegungen der AR-Brille im Raum umfasst. Da das erfindungsgemäße Verfahren u.a. auf dem Ermitteln der ersten Position und ersten Ausrichtung der AR-Brille in Bezug zum Fortbewegungsmittel beruht, ist es notwendig, diesen Bezug durch eine weitere technische Einrichtung herzustellen, da die inertiale Messeinheit der AR-Brille Bewegungen ausschließlich in Bezug zu einer initialen Ausgangslage der AR-Brille ermitteln kann, die zunächst nicht mit dem Fortbewegungsmittel in Verbindung steht. Zur Herstellung dieses notwendigen Bezuges, kann das Fortbewegungsmittel über einen optischen Sensor verfügen, dessen Erfassungsbereich und Anordnung im Fortbewegungsmittel derart ausgestaltet ist, dass er die AR-Brille bevorzugt dauerhaft erfassen kann. Der optische Sensor kann beispielsweise eine Innenraumkamera sein, die an eine erfindungsgemäße Auswerteeinheit des Fortbewegungsmittels angebunden ist. Die Auswerteeinheit des Fortbewegungsmittels, die ein Bestandteil eines vorhandenen Fahrerassistenzsystems sein kann, ist eingerichtet, durch die Innenraumkamera erzeugte Bildsignale, die Aufnahmen des Innenraums des Fortbewegungsmittels repräsentieren, zu empfangen und auszuwerten. Mittels geeigneter Algorithmen zur Bildverarbeitung lässt sich auf Basis der empfangenen Bildsignale zunächst eine Position und Ausrichtung der AR-Brille in Bezug zur Innenraumkamera ermitteln. Da die Auswerteeinheit des Fortbewegungsmittels darüber hinaus über Informationen zur Anordnung und Ausrichtung der Innenraumkamera in Bezug zu einem Fahrzeugkoordinatensystem verfügen kann, ist sie in der Lage, aus diesen Informationen die erste Position und erste Ausrichtung der AR-Brille in Bezug zum Fahrzeugkoordinatensystem zu ermitteln.
  • Des Weiteren kann die AR-Brille im Hinblick auf eine bessere bzw. vereinfachte Positions- und Ausrichtungserkennung durch die Auswerteeinheit des Fortbewegungsmittels über unterstützende Merkmale verfügen. So können beispielsweise an einem Brillengestell der AR-Brille angebrachte Marker und/oder eine spezielle Formgebung der AR-Brille das Ermitteln der ersten Position und ersten Ausrichtung unterstützen bzw. verbessern.
  • Weiter bevorzugt verfügt die AR-Brille über eine Auswerteeinheit, die beispielsweise einen Mikrocontroller umfasst. Dieser kann über eine integrierte Drahtloskommunikationseinheit und/oder eine an den Mikrocontroller angebundene Drahtloskommunikationseinheit verfügen. Die Drahtloskommunikationseinheit kann beispielsweise eine WLAN-Schnittstelle und/oder eine Bluetooth-Schnittstelle zur Herstellung einer jeweiligen Drahtloskommunikationsverbindung umfassen. Darüber hinaus verfügt auch das Fortbewegungsmittel bevorzugt über eine Drahtloskommunikationsvorrichtung mit einer WLAN-Schnittstelle und/oder einer Bluetooth-Schnittstelle. Des Weiteren ist die erfindungsgemäße Auswerteeinheit des Fortbewegungsmittels eingerichtet, über das Bordnetz des Fortbewegungsmittels mit der Drahtloskommunikationsvorrichtung des Fortbewegungsmittels zu kommunizieren und auf diesem Wege beispielsweise eine WLAN-Verbindung zur AR-Brille herzustellen. Dies ermöglicht der Auswerteeinheit des Fortbewegungsmittels, die ermittelten Informationen über die erste Position und erste Ausrichtung der AR-Brille in Bezug zum Fahrzeugkoordinatensystem in Form von Daten an die AR-Brille zu übertragen. Der Mikrocontroller der AR-Brille kann diese Daten empfangen und in einer an den Mikrocontroller angebundenen und/oder integrierten Speichereinheit ablegen.
  • Des Weiteren kann der Mikrocontroller der AR-Brille über eine Schnittstelle zur inertialen Messeinheit der AR-Brille verfügen, die Signale der Mehrzahl von Inertialsensoren empfangen und auswerten. Durch eine Kalibrierung dieser Signale mit den über die Drahtloskommunikationsschnittstelle empfangenen Informationen zur ersten Position und ersten Ausrichtung der AR-Brille in Bezug zum Fortbewegungsmittel kann ein exaktes und schnelles Ermitteln von Lageänderungen AR-Brille erreicht werden. Die Inertialsensoren der AR-Brille besitzen den Vorteil, dass sie bereits geringe Bewegungen bzw. Lageänderungen in jede Richtung im dreidimensionalen Raum mit einer sehr geringen Zeitverzögerung erfassen können. Dies ist im Zusammenhang mit einer Augmented-Reality-Darstellung von Informationen unerlässlich, da auf diese Weise die dargestellten Informationen aus Anwendersicht ohne wahrnehmbare Zeitverzögerung an eine jeweilige Sicht auf die Umgebung angepasst werden müssen. Nur so lässt sich der Eindruck erzielen, als wären die mittels der AR-Brille dargestellten Augmented-Reality-Informationen ein Teil des dreidimensionalen Umfeldes des Anwenders. Wie oben beschrieben dienen die durch die Innenraumkamera erfassten Bildinformationen in erster Linie der Herstellung eines Bezuges der Bewegungen der AR-Brille zum Koordinatensystem des Fortbewegungsmittels. Eine ausschließliche Ermittlung der ersten Position und ersten Ausrichtung auf Basis der Bildinformation der Innenraumkamera kann insbesondere bei geringen und/oder schnellen Bewegungen ggf. nicht ausreichend sein, da die Auflösung der Kamera, deren Sicht auf die AR-Brille und die für die Bildanalyse notwendige Verarbeitungszeit mit einer zu großen Ungenauigkeit und ggf. einer zu großen Zeitverzögerung einhergehen kann.
  • Eine Positions- und Ausrichtungserfassung ausschließlich auf Basis der Inertialsensoren ist ebenfalls nicht möglich, da ohne die zusätzlichen Informationen der Innenraumkamera kein Bezug zum Fahrzeugkoordinatensystem hergestellt werden kann. Darüber hinaus ist jede Inertiale Messeinheit mit einer Sensordrift verbunden, wodurch es selbst nach einem initialen Abgleich mit einem Bezugssystem mit der Zeit durch die Sensordrift zu Abweichungen zum Bezugssystem kommt.
  • In einem zweiten Schritt des erfindungsgemäßen Verfahrens empfängt die AR-Brille von der Auswerteinheit des Fortbewegungsmittels Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels bezüglich dessen Umfeldes. Diese Informationen können insbesondere von einer Navigationseinheit des Fortbewegungsmittels ermittelt werden, welches über das Bordnetz mit der Auswerteeinheit des Fortbewegungsmittels verbunden ist. Die Bestimmung der zweiten Position und zweiten Ausrichtung kann in der Navigationseinheit beispielsweise auf Basis empfangener GPS-Signale und/oder auf Basis von Signalen anderer satellitengestützter Navigationssysteme erfolgen. Bevorzugt verfügt die Navigationseinheit zudem über eine eigene inertiale Messeinheit, um auch schnelle und geringfügige Bewegungsänderungen des Fortbewegungsmittels erfassen zu können, was alleine auf Basis der GPS-Signale nicht möglich ist, da deren örtliche Auflösung für den erfindungsgemäßen Anwendungsbereich ohne Weiteres nicht hoch genug ist. Durch eine Kombination der GPS gestützten Ermittlung der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels mit den Informationen aus der inertialen Messeinheit der Navigationseinheit lassen sich die zweite Position und zweite Ausrichtung des Fortbewegungsmittels hinreichend genau bestimmen. Mittels der Auswerteeinheit des Fortbewegungsmittels lassen sich die so ermittelten Informationen zur zweiten Position und zweiten Ausrichtung über die Drahtloskommunikationsschnittstelle an die AR-Brille übertragen.
  • In einem dritten Schritt des erfindungsgemäßen Verfahrens empfängt die AR-Brille mittels der Drahtloskommunikationsschnittstelle Objektinformationen eines Umfeldes des Fortbewegungsmittels. Für das erfindungsgemäße Verfahren geeignete Objektinformationen können insbesondere Fahrbahninformationen wie Fahrbahnverlauf, Anzahl der Fahrspuren, Fahrbahnmarkierungen usw. sein. Weitere geeignete Objektinformationen können darüber hinaus Informationen über weitere Fortbewegungsmittel und insbesondere dem Fortbewegungsmittel vorausfahrende Fortbewegungsmittel sein. Des Weiteren kommen auch Informationen über Verkehrsschilder, Schilderbrücken, Lichtsignalanlagen, Gebäude und weitere Objekte im Umfeld des Fortbewegungsmittels als geeignete Objektinformationen in Frage. Die Objektinformationen können von einem Fahrerassistenzsystem des Fortbewegungsmittels zur Umfelderkennung ermittelt werden, und über das Bordnetz an die Auswerteeinheit des Fortbewegungsmittels übertragen werden. Als Fahrerassistenzsysteme zur Umfelderkennung kommen beispielsweise Abstandsregeltempomate, Parkassistenzsysteme, Spurwechselassistenzsysteme und weitere Systeme in Frage, die eingerichtet sind, mittels der Sensorsignale der an sie angebundenen Umfeldsensoren unter Anwendung von Objekterkennungsalgorithmen Objekte im Umfeld des Fortbewegungsmittels zu ermitteln. Bevorzugt werden die Objektinformationen auf Basis unterschiedlicher Sensorarten (Radar, Kamera, LIDAR, usw.) der jeweiligen Fahrerassistenzsysteme ermittelt. Weiter bevorzugt können die Objektinformationen der jeweiligen Fahrerassistenzsysteme mit einem geeigneten Verfahren zur Datenfusion untereinander abgeglichen und zusammengeführt werden. Diese Datenfusion kann beispielsweise von einem bereits bestehenden Fahrerassistenzsystem des Fortbewegungsmittels durchgeführt werden. Die so ermittelten, fusionierten Daten liegen bevorzugt in Form einer diese Daten repräsentierenden Objektliste vor, die unter anderem die Positionen der ermittelten Objekte in Bezug zum Fortbewegungsmittel enthält. Anschließend kann die Objektliste an die Auswerteeinheit des Fortbewegungsmittels übertragen werden, in welcher eine optionale Filterung der dort enthaltenen Objektinformationen durchgeführt werden kann. Das bedeutet konkret, dass bestimmte Objektinformationen, die für das erfindungsgemäße Verfahren nicht oder nur unter bestimmten Voraussetzungen relevant sind, verworfen werden können. Dies kann sich beispielsweise auf solche durch die Objektinformationen repräsentierte Objekte beziehen, die vorübergehend oder permanent außerhalb des Sichtfeldes der AR-Brille liegen.
  • Alternativ oder zusätzlich zu einer Durchführung der Datenfusion durch ein bestehendes Fahrerassistenzsystem, kann diese auch mittels der Auswerteeinheit des Fortbewegungsmittels und/oder der Auswerteeinheit der AR-Brille durchgeführt werden, indem sämtliche Objektinformationen aller beteiligten Fahrerassistenzsysteme direkt an eine der Auswerteeinheiten übertragen werden.
  • In einem vierten Schritt des erfindungsgemäßen Verfahrens werden die Multimediainhalte mittels der AR-Brille empfangen und in einem durch eine Anzeigeeinheit der AR-Brille erzeugten, virtuellen Screen unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels und der das Umfeld repräsentierenden Objektinformationen dargestellt. Unter dem virtuellen Screen der AR-Brille soll ein Bereich des Sichtfeldes der Brille verstanden werden, in welchem Multimediainhalte durch die Anzeigeeinheit dargestellt werden. Die AR-Brille kann über eine Mehrzahl von virtuellen Screens verfügen bzw. diese darstellen, die mittels der Anzeigeeinheit gleichzeitig im Sichtfeld der Brille dargestellt werden können. Die Eigenschaften der jeweiligen virtuellen Screens wie Größe, Position im dreidimensionalen Raum, perspektivische Ausrichtung, Transparenz usw. können bevorzugt unabhängig voneinander statisch und/oder dynamisch innerhalb des durch die Anzeigeeinheit darstellbaren Bereichs für Multimediainhalte festgelegt werden. Die Größe der jeweiligen virtuellen Screens legt jeweils für die anzuzeigenden Multimediainhalte einen maximalen Darstellungsbereich fest, der durch die jeweiligen Multimediainhalte vollständig oder nur teilweise ausgefüllt werden kann. Ferner können sich die jeweiligen virtuellen Screens teilweise oder auch vollständig überlappen.
  • Die mittels der AR-Brille empfangenen Multimediainhalte können beispielsweise von einer Multimedia-Wiedergabeeinrichtung des Fortbewegungsmittels bereitgestellt und über die oben beschriebene WLAN- und/oder Bluetooth-Schnittstelle des Fortbewegungsmittels an die AR-Brille übertragen werden. Eine solche Multimedia-Wiedergabeeinrichtung kann beispielsweise ein in ein Infotainmentsystem des Fortbewegungsmittels integriertes DVD- oder Blu-ray-Abspielgerät sein. Alternativ oder zusätzlich können die durch die AR-Brille darzustellenden Multimediainhalte über eine weitere Drahtloskommunikationsverbindung des Fortbewegungsmittels zu einem externen Server oder zu einem mit dem Fortbewegungsmittel gekoppelten mobilen Endgerät wie einem Smartphone in Form von Multimedia-Streaming-Daten durch das Fortbewegungsmittel empfangen werden. Die weitere Drahtloskommunikationsverbindung kann beispielsweise eine Mobilfunkverbindung sein. Die auf diesem Weg im Fortbewegungsmittel empfangenen und an die AR-Brille übertragenen Multimedia-Streaming-Daten können mittels der Auswerteeinheit der AR-Brille einem virtuellen Screen zugewiesen und in diesem zur Anzeige gebracht werden.
  • Unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels und der das Umfeld repräsentierenden Objektinformationen in der Auswerteeinheit der AR-Brille, lässt sich ein zur Darstellung von Multimediainhalten genutzter virtueller Screen perspektivisch angepasst in das reale Umfeld integrieren. D. h., dass sich die Position und die Ausrichtung des virtuellen Screens beispielsweise in Abhängigkeit eines Objektes im Umfeld des Fortbewegungsmittels festlegen lässt. Auf diese Weise kann der virtuelle Screen mit einem Bezugspunkt des Objektes verknüpft werden, so dass die im virtuellen Screen zur Anzeige gebrachten Multimediainhalte scheinbar fest mit diesem Objekt verbunden sind und seinen Bewegungen folgen. Die Auswerteeinheit der AR-Brille wertet zu diesem Zweck alle perspektivischen Änderungen der AR-Brille in Bezug zu diesem Objekt aus, um den virtuellen Screen bzw. die darin angezeigten Multimediainhalte stets perspektivisch korrekt am Bezugspunkt des Objektes anzeigen zu können. Ein solcher Bezugspunkt des Objektes aus dem Umfeld des Fortbewegungsmittels kann beispielsweise eine Oberfläche und/oder Kontur eines vorausfahrenden Fortbewegungsmittels sein. So ist es denkbar, dass die Multimediainhalte mittels der AR-Brille beispielsweise auf den Hecktüren eines vorausfahrenden Lastkraftwagens platziert werden. Indem die Auswerteeinheit der AR-Brille beispielsweise Abstandsänderungen zwischen dem Fortbewegungsmittel und dem vorausfahrenden Lastkraftwagen in die Berechnung zur Darstellung des virtuellen Screens einfließen lässt, kann sie in Abhängigkeit einer solchen Änderung die Größe des virtuellen Screens und/oder eine Wahrnehmungsebene (also die virtuelle Entfernung zur AR-Brille) entsprechend anpassen. Dies gilt in gleicher Weise für alle weiteren Relativbewegungen bzw. Lageänderungen zwischen dem Fortbewegungsmittel und dem vorausfahrenden Lastkraftwagen, die einen Einfluss auf die Position und Ausrichtung des virtuellen Screens haben können.
  • In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann sich eine Positionierung und Ausrichtung des virtuellen Screens an einer dem Fortbewegungsmittel vorausliegenden Fahrspur orientieren. D. h. konkret, dass sich auf Basis der in der AR-Brille vorliegenden Objektinformationen des Umfelds des Fortbewegungsmittels beispielsweise eine Fahrspurbegrenzungslinie einer aktuellen Fahrspur des Fortbewegungsmittels ermitteln lässt, die als Bezugspunkt zur Positionierung und Ausrichtung des virtuellen Screens dienen kann. In Kombination mit einem vordefinierten, oder durch einen Anwender wählbaren Abstand für die Wahrnehmungsebene des virtuellen Screens in Bezug zum Fortbewegungsmittel, kann der virtuelle Screen in einem festen Abstand vor dem Fortbewegungsmittel und in einem festen Abstand zur Fahrspurbegrenzungslinie verortet werden. Auf diese Weise folgen die im virtuellen Screen dargestellten Multimediainhalte scheinbar einem Verlauf der Fahrspurbegrenzungslinie. Ein bevorzugter Abstand der Wahrnehmungsebene des virtuellen Screens zum Fortbewegungsmittel bzw. zur AR-Brille liegt in einem Bereich von 10 m bis 50 m vor dem Fortbewegungsmittel bzw. dem Anwender der AR-Brille, ist aber nicht darauf beschränkt. Darüber hinaus kann auch der Abstand (horizontal und/oder vertikal) des virtuellen Screens zur Fahrspurbegrenzungslinie über einen vordefinierten Abstand oder durch einen durch den Anwender gewählten Abstand festgelegt werden. Ferner ist es auch denkbar, dass der virtuelle Screen stets in einem 90° Winkel zur Fahrspur Begrenzungslinie angezeigt wird. Dies hat zur Folge, dass der virtuelle Screen, der standardmäßig eine rechteckige Form besitzen kann, in einer vorausliegenden Kurve einer Trapezverzerrung unterzogen wird, sodass die Perspektive auf den virtuellen Screen bzw. auf dessen Multimediainhalte vergleichbar ist mit einer Perspektive auf ein vorausfahrendes Fortbewegungsmittel an derselben Position. Dies kann ggf. einen positiven Einfluss auf die Kinetosevermeidung haben, da sich die Darstellung des virtuellen Screens in einem solchen Fall an die perspektivische Wahrnehmung von realen Objekten im Umfeld des Fortbewegungsmittels anpasst und somit eine normale Umfeldwahrnehmung unterstützt.
  • Darüber hinaus kann sich ein Bezugspunkt für die Positionierung und Ausrichtung des virtuellen Screens auch an einem statischen Objekt im Umfeld des Fortbewegungsmittels befinden. Dies kann insbesondere dann von Vorteil sein, wenn der Anwender des erfindungsgemäßen Verfahrens mittels der AR-Brille Textnachrichten und/oder E-Mail-Nachrichten lesen möchte. Zu diesem Zweck kann der mittels des virtuellen Screens darzustellende Text durch die Auswerteeinheit der AR-Brille zunächst in einzelne, gut lesbare Segmente aufgeteilt werden. Anschließend kann die Auswerteeinheit aus den ihr vorliegenden Objektinformationen aus dem Umfeld des Fortbewegungsmittels, geeignete statische Objekte für eine Platzierung der Textsegmente auswählen. Geeignete statische Objekte können bevorzugt gut sichtbare und ggf. in einem festen Abstand wiederkehrende Objekte sein, wie Leitpfosten, Schilder, Schilderbrücken usw. Die einzelnen Textsegmente können anschließend einer Mehrzahl virtueller Screens zugeordnet werden. Die virtuellen Screens wiederum können den durch die Auswerteeinheit der AR-Brille ausgewählten, statischen Objekten zugewiesen werden, so dass diese bei einem Passieren der Objekte durch den Anwender segmentweise lesbar sind. Im Fall einer hohen Anzahl von darzustellenden Textsegmenten können die virtuellen Screens sukzessive über einen längeren Zeitraum an geeigneten Objekten im Umfeld platziert werden.
  • Gemäß einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann eine Transparenz und/oder Größe und/oder Position der Multimediainhalte in Abhängigkeit eines aktuellen Kinetoserisikos, insbesondere in Abhängigkeit eines Bewegungspfades und/oder Umfeldes des Fortbewegungsmittels, automatisch angepasst werden. D.h., dass beispielsweise durch das Fahren auf einer sehr kurvenreichen Strecke (bspw. Serpentinen) ein Kinetoserisiko für den Anwender steigen kann, auch wenn er aufgrund des Einsatzes der AR-Brille das reale Umfeld zumindest in Teilen permanent wahrnehmen kann. Um diesem Problem entgegenzuwirken kann die Auswerteeinheit der AR-Brille auf Basis zusätzlicher, von der Navigationseinheit des Fortbewegungsmittels bereitgestellter Streckeninformationen, eine Bewertung eines Kinetoserisikos für einen vor dem Fortbewegungsmittel liegenden Streckenabschnitt durchführen. Wird z.B. eine sehr kurvenreiche Strecke ermittelt, kann die Auswerteeinheit der AR-Brille für die Dauer des kritischen Streckenabschnittes beispielsweise die Transparenz der dargestellten Multimediainhalte erhöhen. Auf diese Weise sind die Multimediainhalte nach wie vor sichtbar, aber gleichzeitig tritt das reale Umfeld durch die höhere Transparenz stärker in den Vordergrund. Dadurch kann für den Anwender die Korrelation zwischen der wahrgenommenen Fahrzeugbewegung und dem realen Umfeldes verbessert werden und somit ein Kinetoserisiko verringert werden. Nach einem Verlassen eines solchen kritischen Streckenabschnittes kann die Transparenz der Multimediainhalte durch die Auswerteeinheit der AR-Brille automatisch auf den ursprünglichen Wert zurückgesetzt werden. Alternativ oder zusätzlich zur Anpassung der Transparenz kann auch eine vorübergehende automatische Veränderung der Größe und/oder der Position des virtuellen Screens vorteilhaft sein hinsichtlich einer Reduzierung eines Kinetoserisikos. D. h., dass der virtuelle Screen, der beispielsweise für die Darstellung eines Video-Streams genutzt wird, in Streckenabschnitten mit einem geringen Kinetoserisiko in einer bestimmten Wahrnehmungsebene eine horizontale und vertikale Ausdehnung umfassen kann, die beispielsweise einem maximalen Anzeigebereich der Anzeigeeinheit entspricht. In Streckenabschnitten mit einem erhöhten Kinetoseeisiko kann die horizontale und vertikale Ausdehnung des virtuellen Screens unter Beibehaltung der vorherigen Wahrnehmungsebene z.B. halbiert werden, um den Anteil des realen Umfelds im Sichtfeld der AR-Brille zu erhöhen, was wiederum die Korrelation zwischen der wahrgenommenen Fahrzeugbewegung und dem realen Umfeld verbessert. In diesem Zusammenhang ist es auch denkbar, alternativ oder zusätzlich die Position des virtuellen Screens zu verändern. Zum einen kann eine Positionsänderung darin bestehen, dass die Wahrnehmungsebene des virtuellen Screens, ausgehend vom Anwender des erfindungsgemäßen Verfahrens, durch eine Erhöhung des virtuellen Abstandes weiter in die Ferne verschoben wird. Da dies gleichzeitig mit einer Verkleinerung des Bereichs zur Anzeige der Multimediainhalte einhergeht, wird ein ähnlicher Effekt erzielt, wie durch eine reine Größenänderung des virtuellen Screens. Zum anderen kann sich eine Positionsänderung auch auf eine Verschiebung des virtuellen Screens in horizontaler und/oder vertikaler Richtung beziehen, indem ein virtueller Screen, der beispielsweise 50 Prozent des Sichtfeldes der AR-Brille einnimmt, in eine untere oder obere Ecke des Sichtfeldes verschoben wird, so dass für den Anwender im verbleibenden Sichtfeld ein größerer zusammenhängender Bereich des realen Umfeldes sichtbar wird.
  • Die oben beschriebenen Anpassungsmöglichkeiten des virtuellen Screens lassen sich auf unterschiedliche Weisen kombinieren, um einen optimalen Effekt für eine Kinetosevermeidung zu erzielen. Da sich eine Art und Weise und eine bestimmte Kombination dieser Anpassungsmöglichkeiten anwenderspezifisch unterschiedlich auswirken kann, ist es darüber hinaus denkbar, mittels einer Anwenderschnittstelle (z.B. mittels einer Bedieneinheit des Fortbewegungsmittels und/oder mittels eines an das Fortbewegungsmittel und/oder die AR-Brille gekoppelten mobilen Endgerätes) anwenderspezifische Profile festzulegen, welche für den jeweiligen Anwender eine maximale Reduzierung eines Kinetose Risikos bedeuten.
  • Alternativ oder zusätzlich zu einer dynamischen Veränderung der Größe und/oder Position und/oder einer Transparenz und/oder einer Ausrichtung des virtuellen Screens, kann der virtuelle Screen in Abhängigkeit eines aktuellen Kinetoserisikos und insbesondere in Abhängigkeit eines Bewegungspfades und/oder des Umfeldes des Fortbewegungsmittels automatisch pausiert und/oder ausgeblendet, bzw. eingeblendet und/oder fortgesetzt werden.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung umfassend eine Datenbrille für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel vorgeschlagen, wobei die Datenbrille bevorzugt eine AR-Brille ist. Die Vorrichtung kann des Weiteren eine Auswerteeinheit der AR-Brille umfassen, die wiederum einen Mikrocontroller umfassen kann. Der Mikrocontroller kann über eine integrierte Speichereinheit und/oder eine extern angebundene Speichereinheit verfügen. Ferner kann ein Dateneingang der Auswerteeinheit der AR-Brille an eine Drahtloskommunikationseinheit der AR-Brille angebunden sein, die beispielsweise eine WLAN und/oder eine Bluetooth Schnittstelle realisiert. Mittels der Drahtloskommunikationseinheit der AR-Brille ist die Auswerteeinheit der AR-Brille in der Lage, über eine Drahtloskommunikationsverbindung zum Fortbewegungsmittel Daten des Fortbewegungsmittels zur Umsetzung des erfindungsgemäßen Verfahrens zu empfangen.
  • Die Auswerteeinheit kann auf diese Weise in Verbindung mit dem Dateneingang Informationen zu einer ersten Position und ersten Ausrichtung der AR-Brille im Fortbewegungsmittel in Bezug zum Fortbewegungsmittel empfangen. Alternativ oder zusätzlich kann die AR-Brille die Informationen zur ersten Position und Ausrichtung im Bezug zum Fortbewegungsmittel auch selbst ermitteln. Dies kann beispielsweise durch eine in die AR-Brille integrierte Kamera realisiert werden, deren Bildsignale durch die Auswerteeinheit der AR-Brille dahingehend analysiert werden. So kann beispielsweise ein Ermitteln markanter Bezugspunkte im Innenraum des Fortbewegungsmittels dazu dienen, die erste Position und erste Ausrichtung der AR-Brille in Bezug zum Fortbewegungsmittels abzuleiten. Es ist auch denkbar, dass die durch das Fortbewegungsmittel ermittelten Informationen zur ersten Position und ersten Ausrichtung mit den durch die AR-Brille ermittelten Informationen kombiniert bzw. abgeglichen bzw. ergänzt werden. Des Weiteren ist die Auswerteeinheit der AR-Brille eingerichtet, in Verbindung mit dem Dateneingang Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels bezüglich dessen Umgebung zu empfangen, ein Umfeld des Fortbewegungsmittels repräsentierende Objektinformationen zu empfangen, und Multimediainhalte in einem durch eine Anzeigeeinheit der AR-Brille erzeugten virtuellen Screen unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels und der das Umfeld repräsentierenden Objektinformationen darzustellen.
  • Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches eine Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt umfasst. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erst- und zweitgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
  • Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
    • 1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
    • 2 eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel;
    • 3 ein Beispiel für einen im Umfeld eines Fortbewegungsmittels verorteten, virtuellen Screens einer AR-Brille zur Darstellung von Multimediainhalten; und
    • 4 ein Beispiel für mehrere im Umfeld eines Fortbewegungsmittels verortete, virtuelle Screens einer AR-Brille zur Darstellung von Multimediainhalten.
  • 1 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten 70 in einem Fortbewegungsmittel 80. Dabei wird im ersten Schritt 100 mittels einer Auswerteeinheit 10 des Fortbewegungsmittels 80, die einen Mikrocontroller umfasst, und einer Innenraumkamera 25 des Fortbewegungsmittels 80 eine erste Position und erste Ausrichtung einer AR-Brille 30 im Fortbewegungsmittel 80 in Bezug zum Fortbewegungsmittel 80 ermittelt. Die ermittelten Informationen über die erste Position und erste Ausrichtung werden mittels einer WLAN-Verbindung vom Fortbewegungsmittel 80 zur AR-Brille 30 übertragen. Im zweiten Schritt 200 empfängt die AR-Brille 30 mittels der WLAN Verbindung von der Auswerteeinheit 10 des Fortbewegungsmittels 80 Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels 80 bezüglich dessen Umfeldes. Im dritten Schritt 300 empfängt die AR-Brille 30 mittels der WLAN-Verbindung von der Auswerteeinheit 10 des Fortbewegungsmittels 80 Objektinformationen, die ein Umfeld des Fortbewegungsmittels 80 repräsentieren. Des Weiteren empfängt die AR-Brille 30 im Schritt 400 auf gleichem Wege Multimediainhalte 70, die durch eine Anzeigeeinheit 34 der AR-Brille 30 in einem virtuellen Screen 38, unter Berücksichtigung der Informationen zur ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels 80 und der das Umfeld des Fortbewegungsmittels 80 repräsentierenden Objektinformationen dargestellt werden.
  • 2 zeigt eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel 80. Die erfindungsgemäße Vorrichtung umfasst eine AR-Brille 30, die eingerichtet ist, mittels einer WLAN-Schnittstelle einer (nicht dargestellten) Drahtloskommunikationseinheit 32 vom Fortbewegungsmittel 80 Informationen über eine erste Position und Ausrichtung der AR-Brille 30 in Bezug zum Fortbewegungsmittel 80 bzw. einem Koordinatensystem des Fortbewegungsmittels 80 zu empfangen. Die AR-Brille 30 ist weiter eingerichtet, mittels der WLAN-Schnittstelle Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels 80 bezüglich dessen Umfeldes zu empfangen, Informationen zu empfangen, die ein Umfeld des Fortbewegungsmittels 80 repräsentieren, und Multimediainhalte 70 zu empfangen, die durch eine Anzeigeeinheit 34 der AR-Brille dargestellt werden können.
  • Die erste Position und Ausrichtung wird durch eine Innenraumkamera 25 des Fortbewegungsmittels 80 erfasst und mittels einer an die Innenraumkamera angebundenen Auswerteeinheit 10 des Fortbewegungsmittels 80 ermittelt. Die Auswerteeinheit 10 verfügt über einen Prozessor, der mit einer Speichereinheit 20 der Auswerteinheit 10 verbunden ist. Darüber hinaus ist die Auswerteeinheit 10 mit einem Fahrerassistenzsystem 60 für eine Umfelderfassung verbunden, welches wiederum mit einer Mehrzahl von Umfeldsensoren 62 des Fortbewegungsmittels 80 verbunden ist. Die durch die Umfeldsensoren 62 erzeugten Signale werden durch das Fahrerassistenzsystem 60 empfangen und ausgewertet. Auf diese Weise ermittelt das Fahrerassistenzsystem 60 im Umfeld des Fortbewegungsmittels 80 Objekte bzw. Informationen, die diese Objekte repräsentieren. Diese Informationen werden in Form von Objektdaten an die Auswerteeinheit 10 übertragen und in deren Speichereinheit 20 abgelegt. Anschließend führt die Auswerteeinheit 10 eine Filterung der Objektdaten durch, so dass Objektdaten, die Objekte repräsentieren, die vorübergehend und/oder permanent nicht im Sichtbereich der AR-Brille 30 liegen, verworfen werden. Die verbleibenden Objektdaten werden durch eine an Auswerteeinheit 10 angebundene Drahtloskommunikationseinheit 82, die über eine WLAN-Schnittstelle verfügt, an die AR-Brille 30 übertragen. Des Weiteren ist an die Auswerteinheit 10 eine Navigationseinheit 50 des Fortbewegungsmittels 80 angebunden, die eingerichtet ist, eine zweite Position und eine zweite Ausrichtung des Fortbewegungsmittels 80 auf Basis eines integrierten GPS-Systems und einer integrierten inertialen Messeinheit zu ermitteln. Durch die Schnittstelle zur Auswerteeinheit 10 werden jeweils aktuelle Daten zur zweiten Position und zweiten Ausrichtung an die Auswerteeinheit 10 übermittelt und durch diese über die Drahtloskommunikationseinheit 82 an die AR-Brille übertragen. Mittels der Drahtloskommunikationseinheit 82 ist die Auswerteinheit 10 ferner eingerichtet, über eine Mobilfunkverbindung zu einem externen Server Video-Streaming-Daten vom Server zu empfangen, die über die WLAN-Schnittstelle der Drahtloskommunikationseinheit 82 an die AR-Brille 30 weitergeleitet werden. Die AR-Brille 30 ist auf Basis der über die WLAN-Schnittstelle empfangenen Daten in der Lage, die Video-Streaming-Daten unter Berücksichtigung der weiteren empfangenen Informationen im Sichtfeld 36 der AR-Brille darzustellen.
  • 3 zeigt ein Beispiel für einen im Umfeld eines Fortbewegungsmittels 80 verorteten, virtuellen Screen einer AR-Brille 30 zur Darstellung von Multimediainhalten. Die AR-Brille 30 verfügt über eine Auswerteeinheit 40, an die eine Drahtloskommunikationseinheit 32 zur Herstellung einer WLAN-Verbindung mit dem Fortbewegungsmittel 80 angebunden ist. Über die WLAN-Verbindung empfängt die Auswerteeinheit 40 Multimediainhalte 70 in Form von Video-Streams. Die empfangenen Video-Stream-Daten werden mittels der Auswerteeinheit 40 derart aufbereitet, dass sie an eine an die Auswerteeinheit 40 angebundene (nicht dargestellte) Anzeigeeinheit 34 der AR-Brille 30 zur Ausgabe der Multimediainhalte 70 übertragen werden kann. Im Zuge der Aufbereitung der Daten des Video-Streams legt die Auswerteeinheit 40 unter anderem eine Position, eine Größe, eine Ausrichtung, eine Transparenz, eine Helligkeit, einen Kontrast usw. für einen virtuellen Screen 38 im Sichtfeld 36 der AR-Brille 30 fest. Der virtuelle Screen 38 wird anschließend genutzt, um die Multimediainhalte 70 innerhalb der Ausdehnung des virtuellen Screens 38 in der AR-Brille 30 auszugeben. Über die WLAN-Verbindung übertragene Informationen zu einer ersten Position und ersten Ausrichtung der AR-Brille 30 in Bezug zum Fortbewegungsmittel 80 und zu einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels 80 bezüglich dessen Umfeldes und zu einem dem Fortbewegungsmittel 80 vorausfahrenden, weiteren Fortbewegungsmittel 90 versetzen die Auswerteeinheit 40 in die Lage, den virtuellen Screen 38 fest an einem Bezugspunkt im Heckbereich des weiteren Fortbewegungsmittels 90 als Objektinformationen zu verorten. Somit lässt sich der empfangene Video-Stream virtuell im Heckbereich des weiteren Fortbewegungsmittels 90 darstellen. Auf diese Weise ist im Sinne einer Kinetosevermeidung eine Wahrnehmung des realen Umfelds während des Betrachtens des Video-Streams sichergestellt. Darüber hinaus folgt der virtuelle Screen bzw. dessen Inhalt stets den Bewegungen und der Lage des weiteren Fortbewegungsmittels 90, wodurch eine optimale Korrelation zwischen der Bewegungswahrnehmung und der visuellen Wahrnehmung der virtuell dargestellten Inhalte im Sichtfeld 36 der AR-Brille 30 sichergestellt wird.
  • 4 zeigt ein Beispiel für mehrere im Umfeld eines Fortbewegungsmittels 80 verortete, virtuelle Screens 38 einer AR-Brille 30 zur Darstellung von Multimediainhalten 70. Als Multimediainhalte 70 werden in diesem Beispiel durch die AR-Brille 30 empfangene Textnachrichten in einem realen Umfeld des Fortbewegungsmittels 80 dargestellt. Die Textnachrichten können innerhalb eines Anzeigebereichs 35 einer Anzeigeeinheit 34 der AR-Brille 30 an beliebigen Positionen ausgegeben werden. Die Fläche des Anzeigebereichs 35 deckt in diesem Beispiel nicht die vollständige Fläche des Sichtbereichs 36 der AR-Brille ab. Die Textnachrichten werden mittels einer Auswerteeinheit 40 der AR-Brille 30 zunächst in geeignete Segmente unterteilt. Anschließend werden die Textsegmente mittels der Auswerteeinheit 40 einer der Anzahl von Textsegmenten entsprechenden Anzahl von virtuellen Screens 38 zur Darstellung der Textsegmente zugeordnet. Auf Basis entsprechender Informationen über eine Position und Ausrichtung der AR-Brille 30 in Bezug zu einem Umfeld des Fortbewegungsmittels 80 und dort verorteter Schilderbrücken 75, werden die einzelnen virtuellen Screens 38 unter Wahrung der Reihenfolge der Textsegmente an aufeinanderfolgenden Schilderbrücken 75, virtuell positioniert. Bei einem Durchfahren der Schilderbrücken 75 mittels des Fortbewegungsmittels 80 können die in den virtuellen Screens 38 dargestellten Textsegmente auf diese Weise durch einen Anwender sukzessive gelesen werden.
  • Bezugszeichenliste
  • 10
    Auswerteeinheit
    12
    Dateneingang
    14
    Datenausgang
    20
    Speichereinheit
    25
    Innenraumkamera
    30
    AR-Brille
    32
    Drahtloskommunikationseinheit
    34
    Anzeigeeinheit
    35
    Anzeigebereich
    36
    Sichtfeld
    38
    Virtueller Screen
    40
    Auswerteeinheit
    42
    Dateneingang
    50
    Navigationseinheit
    60
    Fahrerassistenzsystem
    62
    Umfeldsensor
    70
    Multimediainhalt
    75
    Schilderbrücke
    80
    Fortbewegungsmittel
    82
    Drahtloskommunikationseinheit
    90
    weiteres Fortbewegungsmittel
    100-400
    Verfahrensschritte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 000010156219 C1 [0004]
    • DE 102015101183 A1 [0005]

Claims (11)

  1. Verfahren für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten (70) in einem Fortbewegungsmittel (80) umfassend die Schritte: • Ermitteln (100) einer ersten Position und ersten Ausrichtung einer Datenbrille (30) im Fortbewegungsmittel (80) in Bezug zum Fortbewegungsmittel (80), • Empfangen (200) von Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) bezüglich dessen Umfeldes, • Empfangen (300) von ein Umfeld des Fortbewegungsmittels (80) repräsentierenden Objektinformationen, • Empfangen (400) der Multimediainhalte (70) mittels der Datenbrille (30) und Darstellen der Multimediainhalte (70) in einem durch eine Anzeigeeinheit (34) der Datenbrille (30) erzeugten virtuellen Screen (38) unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) und der das Umfeld repräsentierenden Objektinformationen.
  2. Verfahren nach Anspruch 1, wobei die Multimediainhalte (70) • keine fortbewegungsmittelbezogenen Informationen beinhalten und/oder • von einer Multimedia-Wiedergabeeinrichtung des Fortbewegungsmittels (80) bereitgestellt werden und/oder • mittels einer Drahtloskommunikationsverbindung (82) durch das Fortbewegungsmittel (80) empfangen werden.
  3. Verfahren nach einem der vorstehenden Ansprüche, wobei die Datenbrille (30) eine Augmented-Reality-Brille oder eine Virtual-Reality-Brille ist.
  4. Verfahren nach einem der vorstehenden Ansprüche, wobei die Multimediainhalte (70) insbesondere • Video-Streams und/oder • Textnachrichten und/oder • E-Mail-Nachrichten und/oder • Bilder sind, und wobei sich eine Positionierung des virtuellen Screens (38) zu deren Darstellung • an einer dem Fortbewegungsmittel (80) vorausliegenden Fahrspur und/oder • an einem statischen Objekt im Umfeld des Fortbewegungsmittels (80) und/oder • an einem dem Fortbewegungsmittel (80) vorausfahrendem, weiteren Fortbewegungsmittel (90) orientiert.
  5. Verfahren nach einem der vorstehenden Ansprüche, wobei sich die Wahrnehmungsebene des virtuellen Screens (38) zur Darstellung der Multimediainhalte (70) außerhalb des Fortbewegungsmittels (80) und insbesondere in einem Abstand von 10 m bis 50 m vor dem Fortbewegungsmittel (80) befindet.
  6. Verfahren nach einem der vorstehenden Ansprüche, wobei die Position des virtuellen Screens (38) in Abhängigkeit eines vorausliegenden Bewegungspfades des Fortbewegungsmittels (80) angepasst wird und insbesondere in Abhängigkeit einer Oberfläche eines vorausfahrenden Fortbewegungsmittels (90) gewählt wird.
  7. Verfahren nach einem der vorstehenden Ansprüche, wobei die Multimediainhalte (70) in Segmente unterteilt und jeweilige virtuelle, in der Umgebung verortete virtuelle Screens (38) zu ihrer Darstellung verwendet werden.
  8. Verfahren nach einem der vorstehenden Ansprüche, wobei die Transparenz und/oder Größe und/oder Position der Multimediainhalte (70) in Abhängigkeit eines aktuellen Kinetoserisikos, insbesondere in Abhängigkeit eines Bewegungspfades und/oder Umfeldes des Fortbewegungsmittels (80), automatisch angepasst wird.
  9. Verfahren nach einem der vorstehenden Ansprüche, wobei die Wiedergabe der Multimediainhalte (70) und/oder Darstellung des virtuellen Screens (38) in Abhängigkeit eines aktuellen Kinetoserisikos und insbesondere in Abhängigkeit eines Bewegungspfades und/oder des Umfeldes des Fortbewegungsmittels (80) automatisch pausiert und/oder ausgeblendet, bzw. eingeblendet und/oder fortgesetzt wird.
  10. Vorrichtung umfassend eine Datenbrille (30) für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten (70) in einem Fortbewegungsmittel (80) umfassend: • einen Dateneingang (42), und • eine Auswerteinheit (40), wobei die Auswerteeinheit (40) eingerichtet ist, in Verbindung mit dem Dateneingang (42) • Informationen einer ersten Position und ersten Ausrichtung einer Datenbrille (30) im Fortbewegungsmittel (80) in Bezug zum Fortbewegungsmittel (80) zu empfangen und/oder zu ermitteln, • Informationen einer zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) bezüglich dessen Umgebung zu empfangen, • ein Umfeld des Fortbewegungsmittels (80) repräsentierende Objektinformationen zu empfangen, und • Multimediainhalte (70) in einem durch eine Anzeigeeinheit (34) der Datenbrille (30) erzeugten virtuellen Screen (38) unter Berücksichtigung der ersten Position und ersten Ausrichtung, der zweiten Position und zweiten Ausrichtung des Fortbewegungsmittels (80) und der das Umfeld repräsentierenden Objektinformationen zu empfangen und darzustellen.
  11. Fortbewegungsmittel (80) umfassend eine Vorrichtung nach Anspruch 10.
DE102018204325.6A 2018-03-21 2018-03-21 Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel Pending DE102018204325A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018204325.6A DE102018204325A1 (de) 2018-03-21 2018-03-21 Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018204325.6A DE102018204325A1 (de) 2018-03-21 2018-03-21 Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel

Publications (1)

Publication Number Publication Date
DE102018204325A1 true DE102018204325A1 (de) 2019-09-26

Family

ID=67848387

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018204325.6A Pending DE102018204325A1 (de) 2018-03-21 2018-03-21 Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel

Country Status (1)

Country Link
DE (1) DE102018204325A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213332A1 (de) 2021-11-26 2023-06-01 Continental Automotive Technologies GmbH Verfahren, Computerprogramm und Vorrichtung zum Steuern einer Augmented-Reality-Anzeigevorrichtung
DE102022107297A1 (de) 2022-03-28 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einer mobilen Einrichtung zur Anzeige von umgebungsbezogenen Anzeigeobjekten
DE102022118300A1 (de) 2022-07-21 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Übersetzung von Text
DE102022123223A1 (de) 2022-09-12 2024-03-14 Bayerische Motoren Werke Aktiengesellschaft Übertragung visueller Anzeigeinhalte zwischen einer fahrzeuggebundenen und einer brillengebundenen Darstellung in einem Fahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10156219C1 (de) 2001-11-15 2003-08-14 Daimler Chrysler Ag Verfahren und Vorrichtung zur Reduzierung von Kinetose-Störungen
US20150100179A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150097864A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102014220053A1 (de) * 2013-10-03 2015-07-23 Honda Motor Co., Ltd. System und verfahren für dynamische fahrzeuginterne virtuelle realität
DE102014214516A1 (de) * 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102014019579A1 (de) * 2014-12-30 2016-06-30 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
DE102015101183A1 (de) 2015-01-28 2016-07-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit Anzeige von Umgebungsdaten in einem autonomen Fahrmodus, Fahrerassistenzsystem sowie Kraftfahrzeug

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10156219C1 (de) 2001-11-15 2003-08-14 Daimler Chrysler Ag Verfahren und Vorrichtung zur Reduzierung von Kinetose-Störungen
US20150100179A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150097864A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102014220053A1 (de) * 2013-10-03 2015-07-23 Honda Motor Co., Ltd. System und verfahren für dynamische fahrzeuginterne virtuelle realität
DE102014214516A1 (de) * 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102014019579A1 (de) * 2014-12-30 2016-06-30 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
DE102015101183A1 (de) 2015-01-28 2016-07-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit Anzeige von Umgebungsdaten in einem autonomen Fahrmodus, Fahrerassistenzsystem sowie Kraftfahrzeug

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213332A1 (de) 2021-11-26 2023-06-01 Continental Automotive Technologies GmbH Verfahren, Computerprogramm und Vorrichtung zum Steuern einer Augmented-Reality-Anzeigevorrichtung
DE102022107297A1 (de) 2022-03-28 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einer mobilen Einrichtung zur Anzeige von umgebungsbezogenen Anzeigeobjekten
DE102022118300A1 (de) 2022-07-21 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Übersetzung von Text
DE102022123223A1 (de) 2022-09-12 2024-03-14 Bayerische Motoren Werke Aktiengesellschaft Übertragung visueller Anzeigeinhalte zwischen einer fahrzeuggebundenen und einer brillengebundenen Darstellung in einem Fahrzeug

Similar Documents

Publication Publication Date Title
DE102014019579B4 (de) System und Verfahren zum Betreiben einer Anzeigeeinrichtung
DE102015006612B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
DE102017216774B4 (de) Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
WO2013053438A2 (de) Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen
EP3762684A1 (de) Einblendung von zusatzinformationen auf einer anzeigeeinheit
DE102012001951A1 (de) Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung
DE102014214516A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102017216775A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
DE102017215163A1 (de) System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
EP3955046A1 (de) Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug
WO2020221575A1 (de) Verfahren zur erfassung von bildmaterial zur überprüfung von bildauswertenden systemen, vorrichtung und fahrzeug zur verwendung bei dem verfahren sowie computerprogramm
DE102019116713B4 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer virtuellen Flüssigkeit in einer Datenbrille im Fortbewegungsmittel
DE102019217642A1 (de) Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm
DE102019220040A1 (de) Verfahren und Vorrichtung zum Vorbeugen von Kinetose beim Betrachten eines auf einem Bildschirm angezeigten Bildinhalts in einem fahrenden Fahrzeug, insbesondere einem hochautomatisiert fahrenden Fahrzeug
DE102019212601A1 (de) Generieren einer Anzeige eines Augmented-Reality-Head-up-Displays für ein Kraftfahrzeug
DE102013016241A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung
WO2019154673A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102018222265A1 (de) Verfahren zur Berechnung der Bewegungsdaten einer Datenbrille, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren
DE102013019114B4 (de) Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung
DE102012213132B4 (de) Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen

Legal Events

Date Code Title Description
R163 Identified publications notified