DE102020129068A1 - Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille - Google Patents

Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille Download PDF

Info

Publication number
DE102020129068A1
DE102020129068A1 DE102020129068.3A DE102020129068A DE102020129068A1 DE 102020129068 A1 DE102020129068 A1 DE 102020129068A1 DE 102020129068 A DE102020129068 A DE 102020129068A DE 102020129068 A1 DE102020129068 A1 DE 102020129068A1
Authority
DE
Germany
Prior art keywords
glasses
pose
data
movement
movement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020129068.3A
Other languages
English (en)
Inventor
Tobias Bauernfeind
Wolfgang Haberl
Manfred Pauli
Alan Keim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102020129068.3A priority Critical patent/DE102020129068A1/de
Publication of DE102020129068A1 publication Critical patent/DE102020129068A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik in einer Datenbrille zur Verwendung in einem technischen System, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten:- Ermitteln einer Brillenpose der Datenbrille mithilfe einer brillenexternen bildgebenden Einrichtung in einem Assistenzsystem;- Brillenexternes Erfassen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung der bildgebenden Einrichtung in einem ortsfesten Koordinatensystem;- Erfassen einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik in der Datenbrille;- Ermitteln der Einbaupose der Brillen-Inertialsensorik in der Datenbrille abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erkennung betrifft weiterhin Maßnahmen zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille, insbesondere zur Verwendung bei einer Posenerkennung der Datenbrille in einem Fahrzeug oder einem ortsfesten Koordinatensystem.
  • Technischer Hintergrund
  • Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
  • Die Informationen können dem Träger der Datenbrille in der Regel kontaktanalog dargestellt werden, d.h. so dargestellt werden, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
  • Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es jedoch notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
  • Die Bestimmung der Pose der Datenbrille wird aus Gründen einer möglichst latenzarmen Erfassung und schneller Posenaktualisierung in der Datenbrille mithilfe einer internen Posenerkennungseinheit vorgesehen. Die Posenerkennungseinheit weist in der Regel eine Inertialsensorik und eine Recheneinrichtung, z. B. in Form eines Mikroprozessors, auf. Mithilfe der Inertialsensorik können Bewegungen in Form von Beschleunigungen erfasst und diese durch Integration in eine aktuelle Pose der Datenbrille umgerechnet werden. Derartige in der Datenbrille integrierte Posenerkennungseinheiten weisen integrationsbedingt einen zunehmenden Posenerkennungsfehler auf, der mithilfe einer extern der Datenbrille vorgesehenen Posenerkennung korrigiert werden kann. Diese externen Posenerkennungen können beispielsweise kamerabasiert sein, insbesondere mithilfe einer Kamera, die auf den Kopf des Trägers der Datenbrille gerichtet ist, um daraus eine Pose der Datenbrille zu erkennen.
  • Um die Brillenpose mithilfe einer Integration von Sensorsignalen der Inertialsensorik zu ermitteln, sind sehr genaue Angaben zu translatorischen und rotatorischen Beschleunigungen erforderlich. Die genaue Zuordnung des Sensorsignals zu der jeweiligen Raumrichtung hängt jedoch von der Einbaupose der Inertialsensorik ab. Für die Integration von Datenbrillen in Anwendungen im Fahrzeugbereich ist es daher notwendig, die genaue Einbaupose, d.h. die Position und Orientierung der Inertialsensorik innerhalb der Datenbrille zu kennen.
  • Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Brillenpose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. mit einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
  • Aufgrund des Fertigungsprozesses kommt es bei der Platzierung des Inertialsensors in der Datenbrille häufig zu nicht vernachlässigbaren translatorischen und rotatorischen Abweichungen. Bislang werden diese Abweichungen der Einbaupose durch ein sehr aufwendiges Prüfstandsverfahren im Herstellungsprozess für jede hergestellte Datenbrille ermittelt. Eine Vereinfachung der Ermittlung der Einbaupose der Inertialsensorik ist daher wünschenswert und es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren zur Verfügung zu stellen, das es ermöglicht, auf den Schritt des Vermessens der Inertialsensorik zum Bestimmen der Einbaupose im Fertigungsprozess zu verzichten.
  • Offenbarung der Erfindung
  • Diese Aufgabe wird durch das Verfahren zum Ermitteln einer Einbaupose eines Inertialsensors in einer Datenbrille zur Verwendung in einem Anzeigesystem gemäß Anspruch 1 sowie eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
  • Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
  • Gemäß einem ersten Aspekt ist ein Verfahren zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik einer Posenerkennungseinheit in einer Datenbrille zur Verwendung in einem technischen System, insbesondere in einem Kraftfahrzeug, vorgesehen, mit folgenden Schritten:
    • - Ermitteln einer Brillenpose der Datenbrille mithilfe einer brillenexternen bildgebenden Einrichtung in einem Assistenzsystem;
    • - Brillenexternes Erfassen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung der bildgebenden Einrichtung in einem ortsfesten Koordinatensystem;
    • - Erfassen einer Brillenbewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik in der Datenbrille;
    • - Ermitteln der Einbaupose der Brillen-Inertialsensorik in der Datenbrille abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  • Mit einem herkömmlichen Trackingsystem kann eine Brillenpose einer Datenbrille innerhalb eines fahrenden Fahrzeugs mit Bezug auf dessen Fahrzeugkoordinatensystem bestimmt werden. Dieses Verfahren nutzt eine Brillen-Inertialsensorik in der Datenbrille als Teil einer Posenerkennungseinheit.
  • Zur exakten Bestimmung der Brillenpose ist jedoch die Einbaupose, d.h. die Position und Orientierung, der Brillen-Inertialsensorik notwendig, so dass eine Fehlerpropagation durch Integrationsfehler reduziert werden kann. Das Posenerkennungsverfahren sieht für eine schnelle Ermittlung der Brillenpose vor, Beschleunigungswerte einer Brillen-Inertialsensorik zu integrieren und diese regelmäßig basierend auf externen Brillenposen einem Assistenzsystem im Fahrzeug zu korrigieren.
  • Die Einbauposen der bildgebenden Einrichtung, wie z.B. eine auf den Träger der Datenbrille (Fahrer) gerichtete Kamera, und die ortsfeste Inertialsensorik des Assistenzsystems können in der Regel gut, z.B. von einem Fahrzeughersteller, kontrolliert werden. Jedoch ist die genaue Einbaupose der Brillen-Inertialsensorik in der Datenbrille nicht genau bekannt, da diese in der Regel von einem Fremdhersteller bereitgestellt werden.
  • Beim Anbinden eines neuen Datenbrillenmodells (anderer Hersteller) für die Realisierung von Datenbrillenfunktionalitäten im technischen System, insbesondere des Kraftfahrzeugs, ist eine genaue Bestimmung der Brillenpose aufgrund der unsicheren Einbaulage bzw. Einbaupose der Inertialsensorik nicht möglich.
  • Das obige Verfahren ermöglicht hierzu eine Feinkalibrierung eines Verfahrens zur Bestimmung einer Brillenpose einer Datenbrille basierend auf einer Brillen-Inertialsensorik, indem eine Einbaupose der Brillen-Inertialsensorik exakt bestimmt wird.
  • Die Feinkalibrierung erfolgt durch Abgleichen einer durch die ortsfeste Inertialsensorik erfasste ortsfeste Bewegungsangabe mit einer durch die Brillen-Inertialsensorik erfassten Brillen-Bewegungsangabe unter Berücksichtigung der Bewegung der Datenbrille in dem ortsfesten Koordinatensystem für das technische System.
  • Auf diese Weise kann die Kalibrierung der Datenbrille auf ein Anzeigesystem im Fahrzeug vollständig nach einer Inbetriebnahme der Datenbrille im Fahrzeug durchgeführt werden. Eine Kalibrierung am Prüfstand während des Herstellungsprozesses kann dadurch entfallen. Da die Ermittlung der Einbaupose während des tatsächlichen Betriebs der Datenbrille im technischen System erfolgen kann, ohne eine zusätzliche Interaktion mit dem Benutzer zu erfordern, führt dieses Verfahren zu keiner Beeinträchtigung des Trägers der Datenbrille.
  • Weiterhin kann die Einbaupose der Brillen-Inertialsensorik verwendet werden, um ein auf einer Integration von Beschleunigungsangaben der Brillen-Bewegungsangabe basierenden Bestimmung der Brillenpose durchzuführen.
  • Es kann vorgesehen sein, dass die Brillen-Bewegungsangabe und/oder die ortsfeste Bewegungsangabe jeweils eine bis drei translatorische Beschleunigungsangaben und/oder eine bis drei rotatorische Beschleunigungsangaben in mindestens einer Raumrichtung umfassen
  • Insbesondere kann die Einbaupose abhängig von einer Trajektorie der Brillenpose bestimmt werden, indem für einen Zeitpunkt aus der Trajektorie der Brillenpose eine translatorische und/oder rotatorische Beschleunigung der Datenbrille in einer oder mehreren Raumrichtungen bestimmt wird und ein Unterschied zwischen der Brillenbewegungsangabe und einer aus der Trajektorie der Brillenpose bestimmte translatorische und/oder rotatorische Beschleunigung der Datenbrille korrigierten ortsfesten Bewegungsangabe ermittelt wird.
  • Es kann vorgesehen sein, dass die Einbaupose abhängig von einer mathematisch optimalen Filterung durchgeführt wird, wobei die Einbaupose sich aus einer Abweichung zwischen der mithilfe der brillenexternen bildgebenden Einrichtung ermittelten Brillenpose und einer sich aus der doppelten Integration der Brillenbewegungsangabe ergebenden Brillenpose für einen Zeitpunkt bestimmt wird.
  • Insbesondere kann die Einbaupose abhängig von der Abweichung zwischen der mithilfe der brillenexternen bildgebenden Einrichtung ermittelten Brillenpose und einer sich aus der doppelten Integration der Brillenbewegungsangabe ergebenden Brillenpose auf Basis eines mathematischen Bewegungsmodells bestimmt werden.
  • Gemäß einem weiteren Aspekt ist ein Verfahren zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik in einer Datenbrille zur Verwendung in einem technischen System, insbesondere in einem Kraftfahrzeug, vorgesehen, mit folgenden Schritten:
    • - Empfangen einer Brillenpose der Datenbrille von einem Assistenzsystem;
    • - Empfangen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung in einem ortsfesten Koordinatensystem von dem Assistenzsystem;
    • - Erfassen einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik in der Datenbrille;
    • - Ermitteln der Einbaupose der Brillen-Inertialsensorik in der Datenbrille abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  • Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem in einem technischen System, insbesondere in einem Kraftfahrzeug, vorgesehen, wobei die Datenbrille ausgebildet ist zum
    • - Erhalten einer Brillenpose der Datenbrille von einem Assistenzsystem;
    • - Erhalten einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung von dem Assistenzsystem;
    • - Erfassen einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik;
    • - Ermitteln der Einbaupose der Brillen-Inertialsensorik abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  • Gemäß einem weiteren Aspekt ist ein Anzeigesystem zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik in einer Datenbrille vorgesehen, wobei das Anzeigesystem ein Assistenzsystem und eine Datenbrille umfasst und ausgebildet ist zum:
    • - Ermitteln einer Brillenpose der Datenbrille mithilfe einer brillenexternen bildgebenden Einrichtung in dem Assistenzsystem;
    • - Brillenexternes Erfassen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung der bildgebenden Einrichtung in einem ortsfesten Koordinatensystem;
    • - Erfassen einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik in der Datenbrille;
    • - Ermitteln der Einbaupose der Brillen-Inertialsensorik in der Datenbrille abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  • Figurenliste
  • Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug;
    • 2 ein Flussidagramm zur Veranschaulichung eines Verfahrens zum Bestimmen einer Einbaupose einer Brillen-Inertialsensorik in einer Datenbrille.
  • Beschreibung von Ausführungsformen
  • 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug als technisches System. Das Anzeigesystem 1 umfasst ein ortsfestes Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
  • Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
  • Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Kraftfahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
  • Das Assistenzsystem 2 kann eine Prozessoreinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Kraftfahrzeugs und abhängig von einer durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Informationsobjekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt werden. Die Position des mindestens einen virtuellen Informationsobjekts wird bezüglich eines fahrzeugfesten Koordinatensystems angegeben. Die Position des virtuellen Informationsobjekts kann einem Blickwinkelsegment zugeordnet werden. Zur Darstellung in der Datenbrille 3 wird eine Objektinformation generiert, die entsprechend Blickwinkelsegment, Objektinhalt und Objektart der Darstellung des mindestens einen virtuellen Informationsobjekts in der Datenbrille 3 angibt.
  • Das Blickwinkelsegment umfasst einen Winkelbereich in Kopfdrehrichtung (um die Vertikalachse) und in Kopfkipprichtung (um die Querachse des Kraftfahrzeugs), in dem dem Benutzer, d.h. dem Träger der Datenbrille 3, brillenfeste Informationsobjekte, d.h. an einer festgelegten Position auf einer Anzeigefläche der Datenbrille 3 angezeigt werden sollen
  • Es ist ein Innenraumkamerasystem als bildgebende Einrichtung 25 vorgesehen, das z.B. mit einer oder mehreren Innenraumkameras ausgestattet ist, um die kamerabasierte Brillenpose der Datenbrille 3 zu erfassen. Dazu sind die eine oder die mehreren Innenraumkameras auf den Träger der Datenbrille 3 ausgerichtet. Ferner sind die Einbaupositionen und Orientierungen der einen oder der mehreren Innenraumkameras im Fahrzeug genau bekannt. Die Prozessoreinheit 23 ist ausgebildet, die Aufzeichnungen des Innenraumkamerasystems zu erfassen und durch an sich bekannte Verfahren die kamerabasierte Brillenpose aus den Aufzeichnungen zu ermitteln. Die Information über die kamerabasierte Brillenpose der Datenbrille 3 steht damit in dem Assistenzsystem 2 zur Verfügung. Die kamerabasierte Brillenpose wird durch das Innenraumkamerasystem mit Bezug auf das Fahrzeugkoordinatensystem als Referenzkoordinatensystem, das fest dem Fahrzeug zugeordnet ist, bestimmt.
  • Ferner weist das Assistenzsystem 2 eine ortsfeste Inertialsensorik 24 auf, um eine Bewegungsangabe des Fahrzeugs bezüglich seiner Bewegung in der Umgebung zu erfassen. Die Bewegungsangabe umfasst translatorische und/oder rotatorische Beschleunigungsangaben jeweils in/bezüglich bis zu drei Raumrichtungen. Die genaue Einbauposition und Orientierung der ortsfesten Inertialsensorik 24 ist in der Regel ebenfalls bekannt.
  • Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
  • Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
  • Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Informationsobjekt, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
  • Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, so dass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.
  • Zur Anzeige von Informationsobjekten werden entsprechende Objektinformationen in Form von Objektdaten von dem Assistenzsystem 2 an die Datenbrille 3 übermittelt. Die Objektdaten geben dabei die Art des Informationsobjekts, wie z.B. ein Textobjekt, ein Icon oder eine sonstige Kennzeichnung eines Anzeigebereichs, den Blickwinkelbereich bzw. die Blickwinkelbereiche, in dem/denen das Informationsobjekt auf der Anzeigefläche angezeigt werden soll und die Objektposition auf der Anzeigefläche, an der das Informationsobjekt angezeigt werden soll.
  • Zur Erkennung der Brillenpose der Datenbrille 3 kann eine Brillen-Inertialsensorik 38 vorgesehen sein, der zum Beispiel in Form eines 6-DoF-Inertialsensors ausgebildet ist. Dieser weist in der Regel drei Gyroskope und drei Beschleunigungssensoren für alle Raumrichtungen auf. Dieser stellt eine Brillen-Bewegungsangabe in Form von einer bis drei translatorischen und/oder einer bis drei rotatorischen Beschleunigungsangaben zur Verfügung. Die Brillen-Bewegungsangabe bezieht sich zunächst auf ein Brillenkoordinatensystem, das durch die Einbaupose der Brillen-Inertialsensorik 38 vorgegeben ist.
  • Mithilfe einer Steuereinheit 37 werden Objektinformationen über eine Kommunikationseinrichtung 39 von dem Assistenzsystem 2 empfangen und verarbeitet, so dass diese in dem jeweiligen Blickwinkelbereich, in den der Benutzer der Datenbrille 3 blickt, angezeigt werden. Ferner nutzt die Steuereinheit 37 die Brillen-Bewegungsangaben, um eine aktuelle Pose der Datenbrille 3 durch Integration der Bewegungsangaben zu ermitteln.
  • Anhand des Flussdiagramms der 2 wird das Verfahren zum Ermitteln der Einbaupose der Brillen-Inertialsensorik näher beschrieben.
  • In Schritt S1 wird die Brillenpose anhand des Innenraumkamerasystems 25 als bildgebende Einrichtung bestimmt.
  • In Schritt S2 wird mithilfe der ortsfesten Inertialsensorik 24 eine ortsfeste Bewegungsangabe ermittelt.
  • In Schritt S3 wird mithilfe der Brillen-Inertialsensorik 38 die Brillen-Bewegungsangabe ermittelt.
  • In Schritt S4 werden die erfassten Informationen zusammengeführt entweder in dem Assistenzsystem 2 oder in der Datenbrille 3, so dass zeitsynchronisiert die ortsfeste Bewegungsangabe, die Brillen-Bewegungsangabe und die Brillenpose zu mindestens einem bestimmten Zeitpunkt bereitstehen. Die Brillenposen können basierend auf dem Brillen-Inertialsensorik 38 und der ortsfesten Inertialsensorik 24 jeweils durch zweifache Integration ermittelt werden.
  • Bei einer Bewegung des Fahrzeugs bewegen sich im Wesentlichen die Datenbrille 3 und das Fahrzeug, so dass die entsprechenden Brillen-Bewegungsangaben und die ortsfeste Bewegungsangabe und die durch das Assistenzsystem ermittelte Brillenpose gemeinsam zur Verfügung stehen.
  • Durch zeitliche Synchronisation einer aus den erfassten Brillenposen ermittelten Brillenposenänderung, der Brillen-Bewegungsangabe und der ortsfesten Bewegungsangabe kann auf die Orientierung der Brillen-Inertialsensorik 38 geschlossen werden. Beispielsweise kann ein solches Berechnungsverfahren die durch die Trajektorie der Brillenpose bestimmten, auf die Datenbrille einwirkenden Beschleunigungsangaben ermitteln, so dass die einzelnen Beschleunigungsvektoren von den entsprechenden Beschleunigungsvektoren der Brillenbewegungsangabe subtrahiert werden können, so dass diese der ortsfesten Bewegungsangabe entsprechen sollten.
  • Bei einer Abweichung der Einbaupose der Brillen-Inertialsensorik 38 kommt es zu entsprechenden Unterschieden, die Rückschlüsse auf die Einbaupose der Brillen-Inertialsensorik 38 zulassen.
  • Analog zur Bestimmung einer Orientierung der Einbaupose der Brillen Inertialsensorik 38 kann die Position der Brillen-Inertialsensorik 38 durch zeitliche Synchronisation einer aus den erfassten Brillenposen ermittelten Brillenposenänderung, der Brillen-Bewegungsangabe und der ortsfesten Bewegungsangabe ermittelt werden.
  • Die Sensorfusion basiert auf Basis der mathematisch optimalen Filterung. Wenn sich unterschiedliche Brillenposen ergeben, kann auf Basis eines mathematischen Bewegungsmodells der Fehler in eine Fehlorientierung und - position umgerechnet werden. Die Bestimmung der Einbaupose der Brillen-Inertialsensorik ermöglicht ein besonders genaues und schnelles Tracking der Brillenpose in der Datenbrille, so dass Objektinformationen weitestgehend verzögerungsfrei kontaktanalog einem Träger der Datenbrille 3 angezeigt werden können.
  • Bezugszeichenliste
  • 1
    Anzeigesystem
    2
    Assistenzsystem
    3
    Datenbrille
    4
    Kommunikationsverbindung
    21
    Kommunikationseinheit
    22
    Umgebungserfassungssystem
    23
    Prozessoreinheit
    24
    Brillen-Bewegungssensorik
    25
    Innenraumkamerasystem
    31
    Rahmen
    32
    Sichtscheiben
    33
    Brillenbügel
    35
    Anzeigefläche
    36
    Anzeigeeinrichtung
    37
    Steuereinheit
    38
    Bewegungssensorik
    39
    Kommunikationseinrichtung

Claims (9)

  1. Verfahren zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik (38) in einer Datenbrille (3) zur Verwendung in einem technischen System, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Ermitteln (S1) einer Brillenpose der Datenbrille (3) mithilfe einer brillenexternen bildgebenden Einrichtung (25) in einem Assistenzsystem (2); - Brillenexternes (S2) Erfassen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung der bildgebenden Einrichtung (25) in einem ortsfesten Koordinatensystem; - Erfassen (S3) einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik (38) in der Datenbrille (3); - Ermitteln (S4) der Einbaupose der Brillen-Inertialsensorik (38) in der Datenbrille (3) abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  2. Verfahren nach Anspruch 1, wobei die Einbaupose der Brillen-Inertialsensorik (38) verwendet wird, um ein auf einer Integration von Beschleunigungsangaben der Brillen-Bewegungsangabe basierenden Bestimmung der Brillenpose durchzuführen.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Brillen-Bewegungsangabe und/oder die ortsfeste Bewegungsangabe jeweils eine bis drei translatorische Beschleunigungsangaben und/oder eine bis drei rotatorische Beschleunigungsangaben in mindestens einer Raumrichtung umfassen.
  4. Verfahren nach Anspruch 3, wobei die Einbaupose abhängig von einer Trajektorie der Brillenpose bestimmt wird, indem für einen Zeitpunkt aus der Trajektorie der Brillenpose eine translatorische und/oder rotatorische Beschleunigung der Datenbrille (3) in einer oder mehreren Raumrichtungen bestimmt wird und ein Unterschied zwischen der Brillenbewegungsangabe und einer aus der Trajektorie der Brillenpose bestimmte translatorische und/oder rotatorische Beschleunigung der Datenbrille korrigierten ortsfesten Bewegungsangabe ermittelt wird.
  5. Verfahren nach Anspruch 3 oder 4, wobei die Einbaupose abhängig von einer mathematisch optimalen Filterung durchgeführt wird, wobei die Einbaupose sich aus einer Abweichung zwischen der mithilfe der brillenexternen bildgebenden Einrichtung (25) ermittelten Brillenpose und einer sich aus der doppelten Integration der Brillenbewegungsangabe ergebenden Brillenpose für einen Zeitpunkt bestimmt wird.
  6. Verfahren nach Anspruch 5, wobei die Einbaupose abhängig von der Abweichung zwischen der mithilfe der brillenexternen bildgebenden Einrichtung (25) ermittelten Brillenpose und einer sich aus der doppelten Integration der Brillenbewegungsangabe ergebenden Brillenpose auf Basis eines mathematischen Bewegungsmodells bestimmt wird.
  7. Verfahren zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik (38) in einer Datenbrille (3) zur Verwendung in einem technischen System, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Empfangen einer Brillenpose der Datenbrille (3) von einem Assistenzsystem (2); - Empfangen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung in einem ortsfesten Koordinatensystem von dem Assistenzsystem (2); - Erfassen (S3) einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik (38) in der Datenbrille (3); - Ermitteln (S4) der Einbaupose der Brillen-Inertialsensorik (38) in der Datenbrille (3) abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  8. Datenbrille (3) für ein Anzeigesystem (1), insbesondere in einem Kraftfahrzeug, wobei die Datenbrille (3) ausgebildet ist zum - Erhalten einer Brillenpose der Datenbrille von einem Assistenzsystem (2); - Erhalten einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung von dem Assistenzsystem (2); - Erfassen einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik; - Ermitteln (S4) der Einbaupose der Brillen-Inertialsensorik abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
  9. Anzeigesystem zum Ermitteln einer Einbaupose einer Brillen-Inertialsensorik (38), wobei das Anzeigesystem ein Assistenzsystem (2) und eine Datenbrille (3) umfasst und ausgebildet ist zum: - Ermitteln (S1) einer Brillenpose der Datenbrille (3) mithilfe einer brillenexternen bildgebenden Einrichtung (25) in dem Assistenzsystem (2); - Brillenexternes (S2) Erfassen einer ortsfesten Bewegungsangabe einer translatorischen und/oder rotatorischen Beschleunigung der bildgebenden Einrichtung (25) in einem ortsfesten Koordinatensystem; - Erfassen (S3) einer Brillen-Bewegungsangabe einer translatorischen und/oder rotatorischen Bewegung in Raumrichtung durch die Brillen-Inertialsensorik (38) in der Datenbrille (3); - Ermitteln (S4) der Einbaupose der Brillen-Inertialsensorik (38) in der Datenbrille (3) abhängig von der Brillenpose, der ortsfesten Bewegungsangabe und der Brillenbewegungsangabe.
DE102020129068.3A 2020-11-04 2020-11-04 Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille Pending DE102020129068A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020129068.3A DE102020129068A1 (de) 2020-11-04 2020-11-04 Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020129068.3A DE102020129068A1 (de) 2020-11-04 2020-11-04 Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille

Publications (1)

Publication Number Publication Date
DE102020129068A1 true DE102020129068A1 (de) 2022-05-05

Family

ID=81184667

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020129068.3A Pending DE102020129068A1 (de) 2020-11-04 2020-11-04 Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille

Country Status (1)

Country Link
DE (1) DE102020129068A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061653A1 (de) * 2022-09-21 2024-03-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum durchführen eines tracking-verfahrens für mehrere datenbrillen in einem innenraum eines fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040149036A1 (en) 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
DE102018201509A1 (de) 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040149036A1 (en) 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
DE102018201509A1 (de) 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061653A1 (de) * 2022-09-21 2024-03-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum durchführen eines tracking-verfahrens für mehrere datenbrillen in einem innenraum eines fahrzeugs

Similar Documents

Publication Publication Date Title
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE112017005111T5 (de) Bordanzeigesteuervorrichtung
WO2019149874A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
EP3620842A1 (de) Konzept zum einstellen eines head-up-displays in einem kraftfahrzeug
DE102019103197B4 (de) Insassenüberwachungsvorrichtung
US20200218065A1 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
DE102019116089A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2018077520A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017221317A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
EP3271774B1 (de) Vorrichtung und verfahren zur wiedergabe von daten in einer erweiterten realität
EP3607419A1 (de) Verfahren und vorrichtung zur darstellung einer bauteildokumentation
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102014206625A1 (de) Positionierung eines HMD im Fahrzeug
DE102017212446A1 (de) Verfahren zum Überwachen einer Anzeigevorrichtung
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
DE102021128357A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer fahrzeugfesten Inertialsensorik in einem Kraftfahrzeug
DE102019119532A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019131640A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102022107297A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einer mobilen Einrichtung zur Anzeige von umgebungsbezogenen Anzeigeobjekten
DE102021109082A1 (de) Verfahren und Vorrichtung zur Posenbestimmung in einer Datenbrille

Legal Events

Date Code Title Description
R163 Identified publications notified