DE102019119532A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug - Google Patents

Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug Download PDF

Info

Publication number
DE102019119532A1
DE102019119532A1 DE102019119532.2A DE102019119532A DE102019119532A1 DE 102019119532 A1 DE102019119532 A1 DE 102019119532A1 DE 102019119532 A DE102019119532 A DE 102019119532A DE 102019119532 A1 DE102019119532 A1 DE 102019119532A1
Authority
DE
Germany
Prior art keywords
viewing angle
data glasses
information
angle segment
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019119532.2A
Other languages
English (en)
Inventor
Alan Keim
Philipp Tiefenbacher
Wolfgang Haberl
Manfred Pauli
Eric Reum
Jörg Preißinger
Marian Kreplin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102019119532.2A priority Critical patent/DE102019119532A1/de
Publication of DE102019119532A1 publication Critical patent/DE102019119532A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eyeglasses (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten:- Bereitstellen (S1) einer Objektinformation, die mindestens ein anzuzeigendes Informationsobjekt zur Anzeige in der Datenbrille (3) und ein zugeordnetes Blickwinkelsegment angibt;- Bereitstellen (S2) einer Bewegungsangabe der Datenbrille (3) bezüglich einer Drehrichtung und/oder einer Kipprichtung des Kopfes;- Bestimmen (S3, S4) eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der Bewegungsangabe; und- Darstellen (S5) des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Betreiben einer Datenbrille, insbesondere zur Anzeige von blickrichtungsabhängigen I nform ationsobjekten.
  • Technischer Hintergrund
  • Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
  • Die Informationen können dem Träger der Datenbrille in der Regel kontaktanalog dargestellt werden, d.h. so dargestellt werden, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
  • Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es jedoch notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
  • Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
  • Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und auch das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
  • Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
  • Rein kamerabasierte Tracking-Verfahren sind zudem stark abhängig von der Beleuchtungssituation im Fahrzeuginnenraum und benötigen zusätzliche Vorkehrungen und weitere Sensorik für den Betrieb bei Nacht und bei starkem Sonnenlicht.
  • Das Realisieren der obigen Tracking-Lösungen ist insgesamt aufwendig und erfordert in der Regel erhebliche Datenverarbeitungskapazitäten in der Datenbrille. Diese sind jedoch bereits angesichts des hohen Energiebedarfs von Datenverarbeitungseinrichtungen schwierig zu realisieren, da Datenbrillen in der Regel keine permanente bzw. netzgebundene Energieversorgung aufweisen.
  • Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Anzeigesystem von einer Datenbrille in einem Kraftfahrzeug zur Verfügung zu stellen, das Informationsobjekte mit relativ geringem Datenverarbeitungsbedarf in der Datenbrille blickwinkelabhängig anzeigen kann.
  • Offenbarung der Erfindung
  • Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille gemäß Anspruch 1 sowie durch die Datenbrille und das Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
  • Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
  • Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille vorgesehen, insbesondere in einem Kraftfahrzeug. Das Verfahren umfasst die folgenden Schritte:
    • - Bereitstellen einer Objektinformation, die mindestens ein anzuzeigendes Informationsobjekt zur Anzeige in der Datenbrille und ein dem Informationsobjekt zugeordnetes Blickwinkelsegment angibt;
    • - Bereitstellen einer Bewegungsangabe der Datenbrille, die insbesondere mindestens eine Winkelbeschleunigung umfasst, bezüglich einer Drehrichtung und/oder einer Kipprichtung des Kopfes;
    • - Bestimmen eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der mindestens einen Winkelbeschleunigung; und
    • - Darstellen des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment.
  • Eine Idee des obigen Verfahrens besteht darin, eine Brillenbewegungsangabe mit der Datenbrille sensorisch zu erfassen. Da die Datenbrille vom Benutzer getragen wird, entspricht die Brillenbewegungsangabe einer Kopfbewegung des Benutzers. Die Brillenbewegungsangabe kann also einer Kopfbewegung zugeordnet werden, wie beispielsweise einem Seitenblick, einem Blick aufs Armaturenbrett. Die Brillenbewegungsangabe kann beispielsweise mit einer Beschleunigungssensorik in der Datenbrille sensorisch erfasst werden. Diese sensorische Erfassung ist zwar relativ ungenau, um durch Integration die Brillenpose kontinuierlich zu ermitteln, aber ausreichend Kopfbewegungsmuster zu erkennen. Die Kopfbewegungsmuster können dann einem Blickwinkelsegment zugeordnet werden, in das der Benutzer aktuell blickt. Entsprechend dem erkannten Blickwinkelsegment können die dem Blickwinkelsegment zugeordnete Informationsobjekte in der Datenbrille angezeigt werden.
  • Das obige Verfahren reduziert den Aufwand des Trackings in der Datenbrille erheblich, und es stellt trotzdem die Möglichkeit bereit, Informationsobjekte blickwinkelabhängig bzw. kontextabhängig anzuzeigen. So kann beispielsweise eine Geschwindigkeitsinformation in der Datenbrille bei einem Straßenblick in Vorwärts-Blickrichtung (Blickwinkelsegment) angezeigt werden, während dies bei einem Seitenblick (Blickwinkelsegment) ausgeblendet wird, und stattdessen ein Informationsobjekt über einen Zustand der Fahrzeugumgebung an der entsprechenden Fahrzeugseite oder einer Situation hinter dem Fahrzeug angezeigt werden.
  • Zur Erfassung der Ausrichtung des Kopfes bzw. der Datenbrille kann eine Beschleunigungssensorik verwendet werden, wie sie im Bereich von VR-Brillen (VR: Virtual Reality) an sich bekannt ist. Die Auswertung der Beschleunigungsinformation kann durch Integrieren der Winkelbeschleunigungen vorgenommen werden. Dabei wird ein Verlauf der Winkelgeschwindigkeit des Kopfes bestimmt. Wird eine Winkelgeschwindigkeit in Dreh- oder Kipprichtung des Kopfes für eine vorbestimmte Mindestzeitdauer erkannt, so kann ein zugeordnetes Blickwinkelsegment entsprechend der Richtung der Winkelgeschwindigkeit hin zu einem in der entsprechenden Richtung benachbarten Blickwinkelsegment geändert werden.
  • So kann das Blickwinkelsegment identifiziert werden und diesem kontextabhängig ein oder mehrere Informationsobjekte zur Anzeige zugeordnet werden. Dadurch ist eine automatische und/oder kontextsensitive Umschaltung von anzuzeigenden Informationsobjekten möglich, ohne ein vollständiges Tracking-Verfahren zur Bestimmung der Brillenpose bzw. Kopfpose zu benötigen. Insgesamt wird dadurch erheblich weniger Rechenkapazität in der Datenbrille benötigt, so dass diese mit einem erheblich geringeren Aufwand realisiert werden kann.
  • Insbesondere können Kopfbewegungen in Relation zu den Fahrzeugbewegungen analysiert werden, um Beschleunigungsanteile, die aufgrund einer Kopfbewegung auf die Brille wirken, von den Beschleunigungsanteilen, die über die Bewegung des Kraftfahrzeugs eingetragen werden, zu separieren. Dies ermöglicht eine präzisere Bestimmung des Blickwinkelsegments.
  • Insbesondere kann die Amplitude der Winkelgeschwindigkeit, d. h. der Winkelbeschleunigung des Kopfes, überwacht werden, und ab einem vorgegebenen Schwellenwert kann dies als Kopfdrehung bzw. als Spiegel oder Seitenblick interpretiert werden. Um die Zuverlässigkeit der Erkennung der Kopfdrehung zu verbessern, kann eine zeitliche Schwelle vorgesehen sein, um die Kopfdrehung zu einer Seite von einer geringfügigen Kopfbewegung zu unterscheiden. Dadurch können ungewollte Kopfbewegungen ausgeschlossen werden, so dass die Anzeige der kontextabhängigen Informationsobjekte in der Datenbrille robuster erfolgt.
  • Weiterhin kann das mindestens eine Informationsobjekt eine fahr- oder fahrzeugrelevante Information, eine Navigationsinformation, einen Warnhinweis oder eine Bedienungsrückmeldung umfassen.
  • Es kann vorgesehen sein, dass das aktuelle Blickwinkelsegment geändert wird, wenn festgestellt wird, dass die Winkelbeschleunigung für eine vorgegebene Zeitdauer betragsmäßig größer ist als ein vorgegebener Schwellenwert.
  • Insbesondere kann das Blickwinkelsegment zu einem Blickwinkelsegment geändert werden, das zu dem aktuellen Blickwinkelsegment in Richtung des Vorzeichens der mindestens einen Winkelbeschleunigung benachbart ist.
  • Gemäß einer Ausführungsform kann das aktuelle Blickwinkelsegment geändert werden, wenn mithilfe eines Machine-Learning-Verfahrens insbesondere unter Nutzung eines neuronalen Netzes, abhängig von dem Verlauf der mindestens einen Winkelbeschleunigung festgestellt wird.
  • Es kann vorgesehen sein, dass die mindestens eine Winkelbeschleunigung hochpassgefiltert wird, um den Einfluss von Fahrzeugbewegungen eines Kraftfahrzeugs, in dem sich der Benutzer der Datenbrille befindet, herauszufi ltern.
  • Es können mehrere Blickwinkelbereiche in Drehrichtung des Kopfes und/oder in Kipprichtung des Kopfes vorgesehen sein, die sich insbesondere an einen Vorwärtsblickwinkelbereich bei einer Geradeausblickrichtung anschließen und die Winkelbereiche von zwischen 10° und 50 ° umfassen.
  • Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einer Datenbrille, insbesondere in einem Kraftfahrzeug, vorgesehen, wobei die Datenbrille ausgebildet ist, um eine Objektinformation, die mindestens ein anzuzeigendes Informationsobjekt zur Anzeige in der Datenbrille und ein zugeordnetes Blickwinkelsegment angibt, zu erhalten; wobei die Datenbrille ausgebildet ist zum:
    • - Bereitstellen einer Bewegungsangabe der Datenbrille, die mindestens eine Winkelbeschleunigung umfasst, insbesondere in einer Drehrichtung und/oder einer Kipprichtung des Kopfes;
    • - Bestimmen eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der mindestens einen Winkelbeschleunigung; und
    • - Darstellen des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment auf einer Anzeigefläche der Datenbrille. Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem, insbesondere in einem Kraftfahrzeug, vorgesehen, wobei die Datenbrille ausgebildet ist zum
    • - Bereitstellen einer Bewegungsangabe der Datenbrille, die mindestens eine Winkelbeschleunigung umfasst, insbesondere in einer Drehrichtung und/oder einer Kipprichtung des Kopfes;
    • - Bestimmen eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der mindestens einen Winkelbeschleunigung; und
    • - Darstellen des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment auf einer Anzeigefläche der Datenbrille.
  • Figurenliste
  • Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung eines Anzeigesystems zum Einsatz in einem Kraftfahrzeug;
    • 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben einer Datenbrille;
    • 3 eine Darstellung von verschiedenen Blickwinkelsegmenten in einem Fahrzeuginnenraum aus Sicht des Fahrers; und
    • 4 ein Winkel-Zeit-Diagramm der Winkelgeschwindigkeiten des Kopfes und des Kraftfahrzeugs zur Veranschaulichung einer Kopfdrehung nach links und Zurückdrehung nach geradeaus sowie nach rechts und Zurückdrehung nach geradeaus.
  • Beschreibung von Ausführungsformen
  • 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
  • Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
  • Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Kraftfahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
  • Das Assistenzsystem 2 kann eine Prozessoreinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Kraftfahrzeugs und abhängig von einer durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Informationsobjekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt werden. Die Position des mindestens einen virtuellen Informationsobjekts wird bezüglich eines fahrzeugfesten Koordinatensystems angegeben. Die Position des virtuellen Informationsobjekts kann einem Blickwinkelsegment zugeordnet werden. Zur Darstellung in der Datenbrille 3 wird eine Objektinformation generiert, die entsprechend Blickwinkelsegment, Objektinhalt und Objektart der Darstellung des mindestens einen virtuellen Informationsobjekts in der Datenbrille 3 angibt.
  • Das Blickwinkelsegment umfasst einen Winkelbereich in Kopfdrehrichtung (um die Vertikalachse) und in Kopfkipprichtung (um die Querachse des Kraftfahrzeugs), in dem dem Benutzer, d.h. dem Träger der Datenbrille 3, brillenfeste Informationsobjekte, d.h. an einer festgelegten Position auf einer Anzeigefläche der Datenbrille 3 angezeigt werden sollen
  • Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
  • Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
  • Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Informationsobjekt, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
  • Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, so dass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.
  • Zur Anzeige von Informationsobjekte werden entsprechende Objektinformationen in Form von Objektdaten von dem Assistenzsystem 2 an die Datenbrille 3 übermittelt. Die Objektdaten geben dabei die Art des Informationsobjekts, wie z.B. ein Textobjekt, ein Icon oder eine sonstige Kennzeichnung eines Anzeigebereichs, den Blickwinkelbereich bzw. die Blickwinkelbereiche, in dem/denen das Informationsobjekt auf der Anzeigefläche angezeigt werden soll und die Objektposition auf der Anzeigefläche, an der das Informationsobjekt angezeigt werden soll.
  • Zur Posenerkennung der Datenbrille 3 kann eine Bewegungssensorik 38 vorgesehen sein, die z.B. in Form eines 6-DOF-Intertialsensors ausgebildet ist. Dieser stellt Bewegungsangaben in Form von translatorischen Beschleunigungen und Winkelbeschleunigungen zur Verfügung.
  • Mithilfe einer Steuereinheit 37 werden Objektinformationen über eine Kommunikationseinrichtung 39 von dem Assistenzsystem 2 empfangen und verarbeitet, so dass diese in dem jeweiligen Blickwinkelbereich, in den der Benutzer der Datenbrille blickt angezeigt werden. Ferner nutzt die Steuereinheit 37 die Bewegungsangaben, um eine aktuelle Pose der Datenbrille 3 durch Integration der Bewegungsanagaben zu ermitteln.
  • Nachfolgend wird anhand des Flussdiagramms der 2 ein Verfahren beschrieben, das eine kopfbewegungsabhängige Anzeige von Informationsobjekten in der Datenbrille 3 ermöglicht.
  • Dazu werden in Schritt S1 zunächst Objektinformationen über Informationsobjekte mit einer Kontextinformation empfangen, die angibt, in welchen Blickwinkelsegmenten welche Informationsobjekte anzuzeigen sind.
  • In Schritt S2 wird eine Bewegungsangabe mithilfe der Bewegungssensorik der Datenbrille 3 erfasst, so dass in der Datenbrille 3 ein zeitlicher Verlauf der Bewegungsangabe zur Verfügung steht. Beispielsweise kann die Bewegungsangabe in Form von Beschleunigungsangaben in den Raumrichtungen sowie als Winkelbeschleunigungen um die Raumachsen zur Verfügung stehen. Für die kontext- bzw. blickwinkelabhängige Anzeige von Informationsobjekten werden hierin lediglich die Bewegungsangaben bezüglich einer Kopfdrehung und einer Kopfkippung relevant, wobei die Bewegungsangabe einer Winkelbeschleunigung entspricht oder in diese umgerechnet wird. Insbesondere sind translatorische Beschleunigungsangaben, über die eine Position des Kopfes ermittelbar ist, für das vorliegende Verfahren nicht relevant.
  • Der Verlauf der Beschleunigungsangabe kann durch Integrieren in einen Winkelgeschwindigkeitsverlauf bzw. in einen Verlauf einer Ausrichtung des Kopfes umgewandelt werden, wie es beispielsweise in dem Verlaufsdiagramm der 3 dargestellt ist. 3 zeigt die zeitlichen Verläufe (als Drehwinkel) der Kopfdrehung K1, der Fahrzeugdrehung K2, sowie die Winkelgeschwindigkeiten K3, K4 der Drehung des Kopfes bzw. des Kraftfahrzeugs.
  • In Schritt S3 wird überprüft, ob die Winkelbeschleunigung in Seitendrehung einen vorbestimmten Beschleunigungswert für eine vorgegebene Mindestzeitdauer übersteigt. Bezüglich der Kopfdrehungsrichtung und bezüglich der Kopfkippungsrichtung können Blickwinkelsegmente vorgesehen sein, in denen unterschiedliche Informationsobjekte angezeigt werden. So kann bei Erkennung einer Kopfdrehung mit einem Betrag einer Winkelbeschleunigung über einem Schwellenwert für eine vorbestimmte Zeitdauer (Alternative: Ja) das Blickwinkelsegment in Schritt S4 geändert werden. Andernfalls (Alternative: Nein) wird das aktuelle Blickwinkelsegment beibehalten.
  • Die Änderungsrichtung der Blickwinkelsegmente wird durch das Vorzeichen der Winkelbeschleunigung vorgegeben. So kann abhängig von dem Vorzeichen der Winkelbeschleunigung zu der Anzeige von Informationsobjekten für das in entsprechender Richtung zu einem Vorwärts-Blickwinkelsegment benachbarten Blickwinkelsegment gewechselt werden. Ausgehend von dem aktuellen Blickwinkelsegment kann bei einer weiteren Kopfdrehung in durch das Vorzeichen der Winkelbeschleunigung ein entsprechender Wechsel des Blickwinkelsegments vorgenommen werden. Ausgehend von einer Vorwärtsblickrichtung (Vorwärtsblickwinkelsegment) können beispielsweise ein oder zwei weitere Blickwinkelsegmente rechts und links bezüglich einer Drehung des Kopfes und ein Blickwinkelsegment nach oben und unten bezüglich einer Kippbewegung des Kopfes definiert sein.
  • Die durch die Bewegungssensorik 38 der Datenbrille 3 erfassten Bewegungsangaben beinhalten neben der Kopfbewegung auch die dazu überlagerten Bewegungen des Kraftfahrzeugs. Insbesondere kann die Winkelbeschleunigung der Kopfdrehung und der Kopfkippung (entsprechend der Bewegungsangabe) hochpassgefiltert werden, da der Einfluss der Fahrzeugbewegung, insbesondere eine Gierrate des Fahrzeugs, erheblich niederfrequenter ist als die Winkelbeschleunigung bei einer bewussten Kopfbewegung. Dadurch können durch die Hochpassfilterung die Einflüsse der Fahrzeugbewegung im Wesentlichen eliminiert werden. Alternativ kann eine Fahrzeugbewegungsangabe, insbesondere die Winkelgeschwindigkeiten oder die Winkelbeschleunigungen des Kraftfahrzeugs, in den Raumachsen und im Fahrerassistenzsystem 2 an die Datenbrille 3 übertragen werden und dort durch Differenzbildung die Winkelgeschwindigkeiten für die Datenbrille 3 ermittelt werden.
  • In Schritt S5 werden in dem Blickwinkelsegment, das basierend auf dem Verlauf der Winkelbeschleunigung der Datenbrille 3 ermittelt worden ist, die dem Blickwinkelsegment zugeordnete Informationsobjekte in der Datenbrille 3 angezeigt. Somit kann durch Interpretation der Kopfbewegung basierend auf dem Verlauf der Winkelbeschleunigung abgeschätzt werden, in welche Richtung der Fahrer blickt und so die für die Blickrichtung relevanten Informationen angezeigt werden. Durch die einfache Überprüfung anhand des Verlaufs der Winkelbeschleunigung und einer entsprechenden Bewegungszeitdauer ist dieses Verfahren einfach zu implementieren und ist trotzdem dafür geeignet, dem Fahrer kontextrelevante Informationen anzuzeigen.
  • Beispielsweise kann bei einem Seitenblick, d.h. einer Änderung des Blickwinkelsegments von einem Vorwärtsblickwinkelsegment durch eine erkannte Kopfdrehung nach links eine Information über an der Seite oder hinter dem Fahrzeug befindliche Objekte angezeigt werden, während beispielsweise eine Geschwindigkeitsanzeige ausgeblendet werden kann. Bei einer Vorwärtsblickrichtung können dagegen eine Geschwindigkeitsanzeige und sonstige fahrzeugrelevante Informationen angezeigt werden, während Umgebungsinformationen vom Seitenbereich und hinteren Bereich des Kraftfahrzeugs nicht benötigt und nicht angezeigt werden.
  • In 4 sind beispielhaft für einen Fahrzeuginnenraum aus Sicht des Fahrers verschiedene Blickwinkelsegmente B1 -B10 veranschaulicht, die zueinander in benachbarten Winkelbereichen der Kopfausrichtung des Fahrers sichtbar sind. Die Blickwinkelsegmente B1 -B10 sind in 4 durch gestrichelte Linien voneinander abgetrennt.
  • Anstelle der oben beschriebenen Überprüfung anhand eines Schwellenwerts für die Winkelbeschleunigungen bzw. entsprechenden Zeitdauern kann die Kopfbewegung anhand einer Mustererkennung analysiert werden. Dazu können bekannte Machine-Learning-Verfahren basierend auf neuronalen Netzen oder dergleichen verwendet werden, die die Verläufe von Winkelbeschleunigungen der Datenbrille 3 über einen jeweils zurückliegenden festgelegten Zeitraum, wie beispielsweise zwischen 50 bis 200 ms, analysieren und diesem eine Drehbewegung, Kippbewegung oder Ruhezustand des Kopfes zuordnen. Entsprechend der erkannten Kopfbewegung wird das Blickwinkelsegment geändert und die entsprechenden zugeordneten Informationsobjekte in der Datenbrille 3 angezeigt.
  • Bezugszeichenliste
  • 1
    Anzeigesystem
    2
    Assistenzsystem
    3
    Datenbrille
    4
    Kommunikationsverbindung
    21
    Kommunikationseinheit
    22
    Umgebungserfassungssystem
    23
    Prozessoreinheit
    25
    Innenraumkamerasystem
    31
    Rahmen
    32
    Sichtscheiben
    33
    Brillenbügel
    35
    Anzeigefläche
    36
    Anzeigeeinrichtung
    37
    Steuereinheit
    38
    Bewegungssensorik
    39
    Kommunikationseinrichtung

Claims (9)

  1. Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Bereitstellen (S1) einer Objektinformation, die mindestens ein anzuzeigendes Informationsobjekt zur Anzeige in der Datenbrille (3) und ein zugeordnetes Blickwinkelsegment angibt; - Bereitstellen (S2) einer Bewegungsangabe der Datenbrille (3) bezüglich einer Drehrichtung und/oder einer Kipprichtung des Kopfes; - Bestimmen (S3, S4) eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der Bewegungsangabe; und - Darstellen (S5) des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment.
  2. Verfahren nach Anspruch 1, wobei das mindestens eine Informationsobjekt eine fahr- oder fahrzeugrelevante Information, eine Navigationsinformation, einen Warnhinweis oder eine Bedienungsrückmeldung umfasst.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Bewegungsangabe mindestens eine Winkelbeschleunigung umfasst, wobei das aktuelle Blickwinkelsegment geändert wird, wenn festgestellt wird, dass die Winkelbeschleunigung für eine vorgegebene Zeitdauer betragsmäßig größer ist als ein vorgegebener Schwellenwert.
  4. Verfahren nach Anspruch 3, wobei das Blickwinkelsegment zu einem Blickwinkelsegment geändert wird, das zu dem aktuellen Blickwinkelsegment in Richtung des Vorzeichens der mindestens einen Winkelbeschleunigung benachbart ist.
  5. Verfahren nach Anspruch 1 oder 2, wobei das aktuelle Blickwinkelsegment geändert wird, wenn mithilfe eines Machine-Learning-Verfahrens insbesondere unter Nutzung eines neuronalen Netzes, abhängig von dem Verlauf der Bewegungsangabe festgestellt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Bewegungsangabe, insbesondere mindestens eine Winkelbeschleunigung der Bewegungsangabe, hochpassgefiltert wird, um den Einfluss von Fahrzeugbewegungen eines Kraftfahrzeugs, in dem sich der Benutzer der Datenbrille (3) befindet, herauszufiltern.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei mehrere Blickwinkelbereiche in Drehrichtung des Kopfes und/oder in Kipprichtung des Kopfes vorgesehen sind, die sich insbesondere an einen Vorwärtsblickwinkelbereich bei einer Geradeausblickrichtung anschließen und die Winkelbereiche von zwischen 10° und 50 ° umfassen.
  8. Anzeigesystem (1) mit einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, wobei die Datenbrille (3) ausgebildet ist, um eine Objektinformation, die mindestens ein anzuzeigendes Informationsobjekt zur Anzeige in der Datenbrille (3) und ein zugeordnetes Blickwinkelsegment angibt, zu erhalten; wobei die Datenbrille (3) ausgebildet ist zum: - Bereitstellen einer Bewegungsangabe der Datenbrille (3) in einer Drehrichtung und/oder einer Kipprichtung des Kopfes; - Bestimmen eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der mindestens einen Winkelbeschleunigung; - Darstellen des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment auf einer Anzeigefläche der Datenbrille (3).
  9. Datenbrille (3) für ein Anzeigesystem (1), insbesondere in einem Kraftfahrzeug, wobei die Datenbrille (3) ausgebildet ist zum - Bereitstellen einer Bewegungsangabe der Datenbrille (3) in einer Drehrichtung und/oder einer Kipprichtung des Kopfes; - Bestimmen eines aktuellen Blickwinkelsegments abhängig von einem Verlauf der mindestens einen Winkelbeschleunigung; - Darstellen des mindestens einen Informationsobjekts abhängig von dem aktuellen Blickwinkelsegment auf einer Anzeigefläche der Datenbrille (3).
DE102019119532.2A 2019-07-18 2019-07-18 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug Pending DE102019119532A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019119532.2A DE102019119532A1 (de) 2019-07-18 2019-07-18 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019119532.2A DE102019119532A1 (de) 2019-07-18 2019-07-18 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102019119532A1 true DE102019119532A1 (de) 2021-01-21

Family

ID=74093887

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019119532.2A Pending DE102019119532A1 (de) 2019-07-18 2019-07-18 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102019119532A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022118300A1 (de) 2022-07-21 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Übersetzung von Text

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293447A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system
US20160187651A1 (en) * 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293447A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system
US20160187651A1 (en) * 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LAUBER, F.; BUTZ, A.: View management for driver assistance in an HMD. In: 2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2013. S. 1-6. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022118300A1 (de) 2022-07-21 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Übersetzung von Text

Similar Documents

Publication Publication Date Title
EP3298474B1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
DE112017005111T5 (de) Bordanzeigesteuervorrichtung
EP2987057B1 (de) Verfahren zum auswählen einer informationsquelle aus einer mehrzahl von informationsquellen zur anzeige auf einer anzeige einer datenbrille
WO2019149874A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
WO2019025310A1 (de) Verfahren zum betreiben eines bildschirms eines kraftfahrzeugs sowie kraftfahrzeug
EP3559725A1 (de) Head-up-display-vorrichtung für ein kraftfahrzeug, verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer head-up-display-vorrichtung
DE102014213285A1 (de) Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille
WO2018077520A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
DE102019116089A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
DE102019119532A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
EP3857339B1 (de) Datenbrillen mit automatischer ausblendung von angezeigten inhalten für fahrzeuge
DE102023002197A1 (de) Verfahren und Einrichtung zur Bildanzeige für ein Fahrzeug
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP3129861A1 (de) Bestimmung der pose einer datenbrille im fahrzeug
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
DE102018218746B4 (de) Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
EP3568737B1 (de) Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug
DE102019126905A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102017209798A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einem Kraftfahrzeug
DE102021100502A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Fahrzeug zur Anzeige von weltfesten Informationsobjekten

Legal Events

Date Code Title Description
R163 Identified publications notified