-
Technisches Gebiet
-
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Bereitstellen von Objektinformationen zu in der Umgebung des Kraftfahrzeugs befindlichen Objekten.
-
Technischer Hintergrund
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
-
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
-
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
-
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
-
So ist aus der Druckschrift
DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
-
Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
-
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
-
Rein kamerabasierte Tracking-Verfahren sind zudem stark abhängig von der Belichtungssituation im Fahrzeuginnenraum und benötigen zusätzliche Vorkehrungen und weitere Sensorik für den Betrieb bei Nacht und bei starkem Sonnenlicht.
-
Bei einer Positionsbestimmungseinheit, die einen Beschleunigungssensor in der Datenbrille nutzt, besteht zudem eine Schwierigkeit darin, dass bei Tragen der Datenbrille innerhalb eines sich bewegenden Kraftfahrzeugs die Beschleunigungssensoren nur eine Gesamtbeschleunigung relativ zur Umgebung/Umwelt erfassen und daraus lediglich Bewegungsgeschwindigkeiten relativ zur Umgebung/Umwelt ermitteln können. Anhand der Messung innerhalb der Datenbrille ist die Bewegung der Datenbrille relativ zu einem Fahrzeugkoordinatensystem nicht ohne Weiteres ermittelbar. Für die kontaktanaloge Darstellung ist jedoch eine Kenntnis von Bewegungen der Datenbrille in Bezug zu dem Fahrzeugkoordinatensystem notwendig. Diese lassen sich nur bei Kenntnis der Fahrzeugbeschleunigung, Fahrzeugbewegungsgeschwindigkeit und Fahrzeugrotation bzw. Drehrate bestimmen.
-
Bei Verwendung eines Beschleunigungssensors können zudem nur relative Bewegungen seit der letzten Verfügbarkeit einer absoluten Posenangabe ausgewertet werden. Daher unterliegt die Posenbestimmung basierend auf Beschleunigungssensoren aufgrund der notwendigen Integrationsoperationen einer Drift über der Zeit, so dass die ermittelte Pose immer ungenauer wird, je länger keine absolute Posenangabe als Referenz bereitgestellt wird.
-
Aus der Druckschrift
DE 10 2015 208 737 A1 ein Head-up-Display für ein Fahrzeug bekannt, wobei das Head-up-Display ausgestaltet ist, um eine Relativbewegung des Kopfes des Fahrers zu dem Head-up-Display auszugleichen, um eine Relativbewegung zwischen dem virtuellen Bild und dem Kopf des Fahrers zu verringern. Die Relativbewegung zwischen der Projektionseinheit und einem Kopf des Fahrers wird mithilfe eines Gyrosensors erfasst.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Datenbrille und ein Anzeigesystem mit einer Datenbrille zur Verfügung zu stellen, bei der eine Posenangabe der Datenbrille mit höherer Genauigkeit und niedrigerer Latenz in der Datenbrille bereitgestellt werden kann. Zudem ist es eine Aufgabe, das Baugewicht und/oder das Bauvolumen von Datenbrillen mit Posenerkennung zu reduzieren und/oder den Bedarf der Datenbrille an elektrischer Energie zu begrenzen/reduzieren.
-
Offenbarung der Erfindung
-
Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben eines Anzeigesystems, eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- - Erfassen einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille bezüglich der Fahrzeugumgebung entspricht, durch die Datenbrille;
- - Empfangen einer Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille bezüglich des Fahrzeuginnenraums entspricht;
- - Empfangen einer Fahrzeugbewegungsinformation bestehend aus einer Fahrzeugbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht;
- - Ermitteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation;
- - Betreiben des Anzeigesystems abhängig von der aktuellen Brillenposenangabe.
-
Das obige Verfahren zum Betreiben der Datenbrille dient zur Bestimmung der aktuellen Brillenposenangabe, die einer absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht, durch eine Kombination eines brillengestützten Tracking-Verfahrens und eines fahrzeuggestützten Tracking-Verfahrens. Dabei werden rechenintensive Teile in dem Fahrzeugsystem und die Datenfusion in der Datenbrille realisiert, um möglichst niedrige Latenzen für die Bereitstellung der aktuellen Brillenposenangabe in der Datenbrille zu erreichen. Die relativen Fahrzeugbewegungsangaben und die relativen Brillenbewegungsangaben werden dabei mit niedriger Latenz und hoher Frequenz zu einer relativen Bewegungsangabe im fahrzeugfesten Koordinatensystem verrechnet und dann mit der mit höherer Latenz bereitgestellten absoluten Brillenposenangabe (bezogen auf das fahrzeugfeste Koordinatensystem) einer externen Posenerkennungseinrichtung kombiniert.
-
Insbesondere durch den Wegfall einer Kamera in der Datenbrille sind die technischen Anforderungen hinsichtlich Bauvolumen, Baugewicht, Rechenleistung und Energieversorgung in der Datenbrille gering, so dass gegebenenfalls auch Datenbrillen unterschiedlicher Hersteller und auch mehrere Datenbrillen gleichzeitig durch ein solches Anzeigesystem unterstützt werden können.
-
Das Vorsehen des Kamerasystems in der Posenerkennungseinrichtung des Anzeigesystems stellt in der Regel keinen oder nur begrenzten zusätzlichen Aufwand dar, da ein solches Kamerasystem zur Fahrerzustandsüberwachung bereits vielseitig eingesetzt wird. Es ergeben sich somit hohe Synergien zwischen dem Kamerasystem der Fahrerzustandsüberwachung und einem Anzeigesystem zum Betreiben einer Datenbrille.
-
Weiterhin können die Brillenbewegungsangabe aus einer erfassten Beschleunigung der Datenbrille in einer oder mehreren Raumrichtungen und/oder um eine oder um mehrere Schwenkachsen bestimmt werden und/oder die Fahrzeugbewegungsangabe aus einer erfassten Beschleunigung des Kraftfahrzeugs in einer oder mehreren Raumrichtungen und/oder um eine oder um mehrere Schwenkachsen bestimmt werden.
-
Es kann vorgesehen sein, dass die Brillenposenangabe mithilfe einer Posenerkennungseinrichtung, die insbesondere ein Kamerasystem umfasst, bestimmt wird.
-
Gemäß einer Ausführungsform kann die aktuelle Brillenposenangabe abhängig von der Brillenposenangabe der Brillenposeninformation und abhängig von einem Verlauf einer relativen Bewegungsangabe zwischen dem Zeitstempel der Brillenposenangabe und einem aktuellen Zeitpunkt bestimmt werden, wobei die relative Bewegungsangabe eine relative Bewegung der Datenbrille bezüglich eines fahrzeugfesten Koordinatensystems angibt, wobei der Verlauf der relativen Bewegungsangabe durch die Fahrzeugbewegungsangabe der Fahrzeugbewegungsinformation und die Brillenbewegungsangabe der Brillenbewegungsinformation bestimmt wird.
-
Insbesondere kann der Verlauf der relativen Bewegungsangabe bestimmt werden, indem zu jedem Berechnungszeitpunkt die Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt prädiziert wird und die Differenz zwischen der prädizierten Fahrzeugbewegungsangabe und der Brillenbewegungsangabe bestimmt wird.
-
Es kann vorgesehen sein, dass die Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt durch Extrapolation, einen linearen Kalman-Filter oder einen Extended Kalman-Filter oder durch ein vorgegebenes Bewegungsmodell prädiziert wird.
-
Weiterhin kann die Prädiktion der prädizierten Fahrzeugbewegungsangaben für die einzelnen Raumrichtungen und Schwenkachsen unterschiedlich durchgeführt werden, wobei insbesondere Geschwindigkeit, Beschleunigung, Drehrate, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung des Kraftfahrzeugs und/oder Detektionen von Fahrwerksensoren, die Aufschluss über eine Fahrbahnbeschaffenheit angeben, berücksichtigt werden können.
-
Gemäß einer Ausführungsform kann nach einem Empfangen der Brillenposeninformation die aktuelle Brillenposenangabe korrigiert werden, indem ausgehend von dem Zeitpunkt des Zeitstempels der empfangenen Brillenposeninformation die aktuelle Brillenposenangabe entsprechend der relativen Bewegungsangabe ermittelt wird, insbesondere durch Einsatz eines linearen Kalman Filters oder Extended Kalman Filters.
-
Insbesondere kann, wenn eine empfangene Brillenposenangabe mit einem zurückliegenden Zeitstempel zu einem Sprung der aktuellen Brillenposenangabe führt, die aktuelle Brillenposenangabe geglättet nachgeführt werden, wobei insbesondere die durch den Verlauf der Brillenposenangaben bestimmten Bewegungstrajektorien der Datenbrille 3 mithilfe eines Tiefpassfilters, eines linearen Kalman Filters oder eines Extended Kalman Filters geglättet werden.
-
Gemäß einem weiteren Aspekt ist eine Datenbrille in einem Anzeigesystem in einem Kraftfahrzeug mit einer Steuereinheit vorgesehen, die ausgebildet ist, um:
- - eine Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel zu erfassen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille bezüglich der Fahrzeugumgebung entspricht;
- - eine Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht;
- - eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht;
- - eine aktuelle Brillenposenangabe abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation zu ermitteln;
- - die Datenbrille abhängig von der aktuellen Brillenposenangabe zu betreiben.
-
Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit der obigen Datenbrille und einer fahrzeugfest montierten Posenerkennungseinrichtung vorgesehen, die ausgebildet ist, um die Brillenposeninformation und die Fahrzeugbewegungsinformation bereitzustellen.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille und einer Posenerkennungseinrichtung zum Einsatz in einem Kraftfahrzeug; und
- 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst eine Posenerkennungseinrichtung 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen der Posenerkennungseinrichtung 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
-
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des Trägers der Datenbrille projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann. Hierin wird davon ausgegangen, dass die Position der Datenbrille 3 relativ zu den Augen des Benutzers festgelegt und vorbekannt ist. Bei Erstbenutzung kann hierzu ein Kalibrierungsvorgang durch den Benutzer der Datenbrille 3 ausgeführt werden, bei dem die relative Pose der Datenbrille 3 relativ zum Kopf des Benutzers bestimmt wird.
-
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann die Posenerkennungseinrichtung 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
-
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Pose der Datenbrille 3 repräsentiert die Blickrichtung des Benutzers und dessen Blickbereich, da die Datenbrille 3 eine feste relative Position am Kopf des Benutzers hat.
-
Weiterhin umfasst die Datenbrille 3 eine Intertialsensorik 38, die vorzugsweise Beschleunigungen der Datenbrille 3 in drei Raumrichtungen und Winkelbeschleunigungen oder Winkelgeschwindigkeiten ein drei verschiedenen Schwenkachsen ermittelt. Die Beschleunigungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten werden als Brillenbewegungsangaben zusammengefasst und der Steuereinheit 37 bereitgestellt. Weiterhin kann eine Kommunikationseinheit 39 vorgesehen sein, die eine Kommunikation mit der Posenerkennungseinrichtung 2 ermöglicht.
-
Die Posenerkennungseinrichtung 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen. Die Posenerkennungseinrichtung 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und Posenerkennungseinrichtung 2 ermöglicht.
-
Die Posenerkennungseinrichtung 2 kann weiterhin mit einem Kamerasystem 22 versehen sein, das eine oder mehrere Kameras aufweist, die auf den Fahrer des Kraftfahrzeugs und/oder auf sonstige Insassen des Kraftfahrzeugs bzw. allgemein in den Innenraum des Kraftfahrzeugs gerichtet sind. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen. Weiterhin kann die Posenerkennungseinrichtung 2 im Kraftfahrzeug alternativ oder zusätzlich zu dem Kamerasystem 22 auch mit einem alternativen Trackingsystem zur Posenbestimmung ausgeführt sein, wie z.B. einem magnetischen Tracker, einem akustischen Tracker oder einem auf Tiefensensorik basierender Tracker.
-
Mithilfe einer geeigneten Prozessoreinheit 23 kann das Kamerabild der Fahrzeuginnenraumkamera 22 ausgewertet werden, um die absolute Pose mindestens einer in dem Fahrzeuginnenraum befindlichen Datenbrille 3 zu bestimmen und diese als absolute Posenangabe in der Posenerkennungseinrichtung 2 bereitzustellen. Die Prozessoreinheit 23 ist dazu mit entsprechenden Bildverarbeitungsalgorithmen programmiert, um die Bildposition des Kopfes des Benutzers oder der Datenbrille 3 aus den erfassten Kamerabildern zu extrahieren und aus der Bildposition, der Ausrichtung und Position der betreffenden Kamera die Pose, d.h. die Position und Ausrichtung der Datenbrille 3 bezogen auf das Fahrzeugkoordinatensystem in Form der absoluten Posenangabe zu ermitteln.
-
Zum einen kann aus den Kamerabildern mithilfe eines an sich bekannten Head-Tracking-Verfahrens die Kopfpose des Benutzers der Datenbrille 3 erfasst werden. Die absolute Pose der Datenbrille 3 kann dann durch Berücksichtigung der durch den Kalibrierungsvorgang erhaltenen relativen Pose der Datenbrille 3 zum Kopf des Trägers in an sich bekannter Weise ermittelt werden. Alternativ kann die Brillenpose der Datenbrille 3 über ein Objekt-Tracking-Verfahren des Bildverarbeitungsalgorithmus direkt bestimmt werden. Dabei können CAD-Daten und/oder visuelle Merkmale der Datenbrille 3 verwendet werden, um eine Kontur der Datenbrille 3 auf den Kamerabildern mithilfe des Bildverarbeitungsalgorithmus zu erkennen und daraus die Brillenpose zu ermitteln. Zur Verbesserung eines solchen Objekt-Tracking-Verfahrens kann der Suchbereich eingeschränkt werden, indem zunächst nach Kopfformen in den Kamerabildern gesucht wird und anschließend die Bereiche des Kamerabildes, in denen Kopfformen gefunden wurden, auf Unterbereiche, in denen die Brille auf dem Kopf getragen wird, begrenzt wird. Zudem können alternativ oder zusätzlich an der Datenbrille 3 durch das Kamerasystem 22 erkennbare Marker (durch Bildverarbeitung gut erkennbare Markierungen) angebracht werden, um die Pose der Datenbrille 3 zu erkennen. Die Marker können insbesondere am Rahmen 31 der Datenbrille 3 oder an den Sichtscheiben 32 oder auch Hologramme in den Sichtscheiben 32 sein.
-
Zur Kalibrierung kann das Kamerasystem 22 weiterhin verwendet werden, um durch Erkennung der Augenposition des Benutzers die relative Pose der Datenbrille 3 bezüglich der Augen des Trägers der Datenbrille 3 zu ermitteln.
-
Das Kamerasystem 22 kann ganz oder teilweise auch für sonstige Fahrzeugassistenzfunktionen verwendet werden. So kann beispielsweise eine Fahrerzustandsüberwachung, wie z. B. eine Müdigkeitserkennung und dergleichen, mithilfe des für das Erfassen der absoluten Pose der Datenbrille 3 verwendete Kamerasystems 22 durchgeführt werden. Die Posenerkennungseinrichtung 2 zur Unterstützung der Posenermittlung in der Datenbrille 3 kann auch separat von im Kraftfahrzeug eingebauten Assistenzsystemen vorgesehen werden.
-
Gleichzeitig wird in der Prozessoreinheit 23 der Zeitstempel des durch das Kamerasystems 22 aufgezeichneten Bildes gemeinsam mit der absoluten Posenangabe (Brillenposenangabe) zu einer absoluten Poseninformation kombiniert.
-
Weiterhin umfasst die Posenerkennungseinrichtung 2 einen Fahrzeugbeschleunigungssensor 24 oder ist mit einem solchen z. B. über den CAN-Bus verbunden, um eine Fahrzeugbeschleunigung mit Beschleunigungen in drei Raumrichtungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten um drei Schwenkachsen zu erhalten. Eine Fahrzeugbewegungsangabe entspricht der Fahrzeugbeschleunigung oder wird aus dieser generiert. Die Fahrzeugbewegungsangabe wird mit dem Zeitstempel des Erfassungszeitpunkts kombiniert bzw. diesem zugeordnet, um eine Fahrzeugbewegungsinformation zu erhalten.
-
Die Kommunikationseinheit 21 ist ausgebildet, die absolute Poseninformation als Brillenposeninformation und die Fahrzeugbewegungsinformation über die Kommunikationsverbindung 4 zu geeigneten Zeitpunkten oder sobald verfügbar an die Datenbrille 3 zu übertragen.
-
In der Steuereinheit 37 der Datenbrille 3 werden nun die Brillenbewegungsangabe und die Fahrzeugbewegungsangabe miteinander verrechnet, so dass eine relative Bewegungsangabe der Datenbrille 3 bezüglich eines fahrzeugfesten Koordinatensystems ermittelt wird. Durch Integration der durch die relative Bewegungsangaben angegebenen relativen Bewegungen in den Raumrichtungen und relativen Drehbewegungen (Winkelgeschwindigkeit bzw. Winkelbeschleunigung) um die Schwenkachsen kann eine relative Bewegungsangabe der Datenbrille 3 und weiter eine relative Posenangabe (Posenänderung) der Datenbrille 3 ausgehend von einen zurückliegenden Zeitpunkt, z.B. einem Zeitpunkt einer zuletzt bekannten absoluten Pose der Datenbrille 3, berechnet werden. Die relative Bewegungsangabe und die relative Posenangabe der Datenbrille 3 sind auf ein Fahrzeugkoordinatensystem bezogen.
-
Da die Fahrzeugbewegungsangaben nur mit einer durch die Kommunikationsverbindung 4 bewirkten Latenz in der Datenbrille 3 zur Verfügung stehen, werden die relativen Bewegungsangaben entsprechend der Zeitstempel der verfügbaren Brillenbewegungsangaben und der verfügbaren Fahrzeugbewegungsangaben ermittelt.
-
Da die Fahrzeugbewegungsangaben mit anderer und insbesondere einer niedrigeren Frequenz ermittelt und an die Datenbrille 3 übertragen werden als die Brillenbewegungsangaben in der Datenbrille 3 aktualisiert werden und zur Verfügung stehen, werden die relativen Bewegungsangaben der Datenbrille 3 basierend auf einer prädizierten Fahrzeugbewegung ermittelt. Die Fahrzeugbewegung wird dazu aus den zuletzt erhaltenen Fahrzeugbewegungsangaben durch Extrapolation oder vergleichbaren Verfahren prädiziert, um so eine auf den Zeitpunkt der zuletzt verfügbaren aktuellsten Brillenbewegungsangabe prädizierte Fahrzeugbewegungsangabe zu erhalten. Daraus kann dann die relative Bewegungsangabe für die Datenbrille 3 bestimmt werden. Dies ist zulässig, da die Fahrzeugbewegungen im Vergleich zu den Kopfbewegungen geringeren bzw. langsameren Veränderungen unterliegen.
-
Die Prädiktionen der Fahrzeugbewegungen können basierend auf vorgegebenen Bewegungsmodellen, einem linearen Kalman-Filter und/oder Extended-Kalman-Filter oder dergleichen vorgenommen werden. Die Prädiktionen ermöglichen es, einen möglichst aktuellen Wert der relativen Posenangabe für die Datenbrille zu erhalten.
-
Bei der Prädiktion können die Fahrzeugbewegungsangaben für die einzelnen Raumrichtungen und Schwenkachsen unterschiedlich behandelt werden, da beispielsweise Kurvenfahrten, Bremsen und Beschleunigung des Fahrzeugs für einen längeren Zeitraum in die Zukunft prädiziert werden können als die Ausschläge in vertikaler Richtung, die beispielsweise aufgrund von Schlaglöchern oder Vibrationen des Kraftfahrzeugs auftreten können. Zudem kann die Fahrzeugbewegungsangabe durch weitere Fahrzeugsensorik korrigiert oder präzisiert werden, wobei die weitere Fahrzeugsensorik Aussagen bzw. Prognosen über die Eigenbewegung des Fahrzeugs zulassen. Dies sind insbesondere Geschwindigkeit, Beschleunigung, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung sowie weitere Fahrwerksensoren, die Aufschluss z. B. über Schlaglöcher und dergleichen geben sowie Fahrzeugtypinformationen wie Gewicht, Radstand und weitere Informationen, die zur Prädiktion der Fahrzeugbewegung aus den Sensorwerten dienlich sind. Diese können in einer Sensordatenfusion entweder seitens der Posenerkennungseinrichtung 2 oder seitens der Datenbrille 3 berücksichtigt werden.
-
Eine absolute Posenangabe der Datenbrille 3, die für einen zurückliegenden Zeitpunkt bereitgestellt wird, kann mit der relativen Posenangabe, die eine Posenänderung seit dem zurückliegenden Zeitpunkt angibt, durch Addition beaufschlagt werden, um eine aktuelle Pose der Datenbrille 3 zu erhalten.
-
Die Übertragung der Fahrzeugbewegungsangaben an die Datenbrille 3 kann die Fahrzeugbeschleunigung umfassen und kann zudem in der Posenerkennungseinrichtung 2 daraus ermittelte weitere Bewegungsangaben, die aus der Fahrzeugbeschleunigung ermittelt werden, umfassen. Zudem können Informationen über die befahrene Fahrstrecke bzw. Kartendaten zusätzlich in geeigneter Weise berücksichtigt werden, um die in der Posenerkennungseinrichtung 2 ermittelten Fahrzeugbewegungsinformationen zu verbessern, insbesondere durch Kurveninformationen der Fahrstrecke, typische Haltepunkte, wie beispielsweise Ampeln, Stoppschilder und Kreuzungen, Informationen zum Straßentyp und Straßenbeschaffenheit, aktuelle Verkehrsinformationen, wie z. B. Verkehrsdichte, Stauende und dergleichen. Beispielsweise kann bei bekanntem Kurvenradius aus der Karte die Fahrzeugbewegung in der Kurve entsprechend diesem Radius in die Zukunft prädiziert werden, da in der Regel davon auszugehen ist, dass das Kraftfahrzeug dem Straßenverlauf folgt. Lediglich ein Abbiegen in der Kurve oder ein Überholmanöver in der Kurve würden dann zu fehlerhaften Prädiktionen führen. Ebenso ist bei Stoppschildern oder einem Stau-Ende davon auszugehen, dass der Kunde das Fahrzeug anhalten wird, so kann diese negative Beschleunigung entsprechend prädiziert werden. Auch Vertikalbeschleunigungen durch Hügel, Speed-Bumper oder andere in der Karte verzeichnete Höhenänderungen können entsprechend in der Fahrzeugbewegungsprädiktion berücksichtigt werden. In diesem Sinne kann jede Information über das Straßennetz und die aktuelle Verkehrssituation, die Einfluss auf Geschwindigkeits- und Beschleunigungswerten des Kraftfahrzeugs haben, bei der Prädiktion der Fahrzeugbewegung berücksichtigt werden.
-
Weiterhin kann vorgesehen sein, dass die Fahrzeugbewegungsinformationen und die Brillenbewegungsinformationen einmalig oder wiederkehrend zueinander kalibriert werden, so dass die exakte Lage deren Bezugskoordinatensysteme im Raum zueinander bestimmt werden. Insbesondere wird dadurch die Lage der Koordinatenachsen und der Schwenkachsen zueinander bestimmt.
-
In der Datenbrille 3 werden die Fahrzeugbewegungsinformation, die Brillenposeninformation, die an die Datenbrille übertragen werden, mit der in der Datenbrille 3 erfassten Brillenbewegungsinformation kombiniert. Dies erfolgt in der Berücksichtigung der Zeitstempel der jeweiligen Angaben, wobei bei Erhalten einer Angabe, die einem bezüglich des aktuellen Zeitpunkts zurückliegenden Zeitpunkt angibt, eine Korrektur der seit diesem zurückliegenden Zeitpunkt ermittelten Bewegungstrajektorie bzw. eine Korrektur durch die relative Posenangabe (Posenänderung) vorgenommen wird. Dadurch kann das unterschiedliche Alter der Bewegungsangaben und der Brillenposenangabe aufgrund der unterschiedlichen Berechnungs- und Übertragungszeiten berücksichtigt werden. Führt eine in der Datenbrille 3 neu empfangene Brillenposenangabe mit einem zurückliegenden Zeitstempel zu einem Sprung der aktuell ermittelten Brillenposenangabe, kann zur Vermeidung eines sichtbaren Springens einer daraufhin generierten Anzeige auf den Anzeigeflächen 35 die aktuelle Brillenposenangabe sanft nachgeführt werden, insbesondere können die durch den Verlauf der Brillenposenangaben bestimmten Bewegungstrajektorien der Datenbrille 3 mithilfe eines Tiefpassfilters geglättet werden, um sanftere Verläufe bei auf der Brillenposenangabe basierenden Anzeigen auf der Anzeigefläche 35 zu erreichen.
-
Insgesamt kann das Anzeigesystem mit der fahrzeugfesten Posenerkennungseinrichtung 2 und der Datenbrille 3 ein Verfahren ausführen, das in dem Flussdiagramm der 2 skizziert ist.
-
In Schritt S1 werden in der Datenbrille 3 Brillenbewegungsangaben erfasst und diese gemäß deren jeweiligen Zeitstempel für einen bestimmten Zeitabschnitt als Brillenbewegungsinformation gespeichert. Sind die Brillenbewegungsangaben latenzbehaftet, d. h. liegt eine signifikante Latenz vor, so werden in Schritt S2 die durch die Beschleunigungssensorik 38 der Datenbrille 3 erfassten Bewegungsangaben auf eine der oben beschriebenen Arten extrapoliert, um die aktuelle Brillenbewegungsangabe zu einem aktuellen Zeitpunkt zu ermitteln.
-
In Schritt S3 wird überprüft, ob eine neue Fahrzeugbewegungsinformation von der Posenerkennungseinrichtung 2 empfangen worden ist. Ist dies der Fall (Alternative: Ja), so wird das Verfahren mit Schritt S4 fortgesetzt, andernfalls (Alternative: Nein) wird das Verfahren mit Schritt S5 fortgesetzt.
-
In Schritt S4 wird aus der empfangenen Fahrzeugbewegungsinformation die Fahrzeugbewegungsangabe mit dem zugehörigen Zeitstempel erfasst und gespeichert, um einen zurückliegenden Verlauf der Fahrzeugbewegungsangaben für die Prädiktion vorzuhalten. Nachfolgend wird das Verfahren mit Schritt S5 fortgesetzt.
-
In Schritt S5 wird wie oben beschrieben eine entsprechende Prädiktion der Fahrzeugbewegungsangabe auf das aktuelle Zeitraster vorgenommen und als aktuelle Fahrzeugbewegungsangabe bereitgestellt.
-
In Schritt S6 wird entsprechend eine relative Bewegungsangabe aus der aktuellen Brillenbewegungsangabe und der aktuellen Fahrzeugbewegungsangabe ermittelt, die die relative Bewegung (Posenänderung) der Datenbrille 3 bezüglich eines fahrzeugfesten Koordinatensystems angibt und gespeichert. Dadurch erhält man für ein vorgegebenes Zeitfenster einen Verlauf der relativen Bewegungsangabe. Anschließend wird das Verfahren mit Schritt S7 fortgesetzt.
-
In Schritt S7 wird überprüft, ob eine Brillenposeninformation empfangen worden ist. Ist dies der Fall (Alternative: Ja), wird das Verfahren mit Schritt S8 fortgesetzt, anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S9 fortgesetzt.
-
In Schritt S8 wird in das Zeitraster, das dem Zeitstempel der empfangenen Brillenposeninformation entspricht, auf die übermittelte Brillenposenangabe aktualisiert. Gleichzeitig wird der Zeitstempel der Brillenposenangabe als festgelegter Zeitpunkt gespeichert. Nachfolgend wird das Verfahren mit Schritt S9 fortgesetzt.
-
In Schritt S9 wird nun basierend auf dem Zeitstempel der Brillenposenangabe und der seit diesem Zeitpunkt aufgetretenen Posenänderung eine aktuelle Brillenposenangabe ermittelt. Die seit diesem Zeitpunkt aufgetretene Posenänderung kann in einfacher Weise aus dem Verlauf der relativen Bewegungsangabe ggfs durch Integrationen (z.B. durch Integration von inkrementellen Posenänderungen), insbesondere durch lineare Kalman Filter oder extended Kalman Filter ermittelt werden.
-
In Schritt S10 wird die aktuelle Brillenposenangabe verwendet, um die Anzeige in der Datenbrille 3 zu generieren.
-
Das obige Verfahren wird zyklisch ausgeführt und ermöglicht eine möglichst genaue Posenangabe der Datenbrille 3 bei einem verringerten Rechenaufwand in der Datenbrille 3 basierend auf einer Unterstützung durch eine im Fahrzeug fest installierte Posenerkennungseinrichtung 2.
-
Zusätzlich oder alternativ kann vorgesehen sein, dass das obige Verfahren immer dann einen Berechnungsschritt ausführt, wenn mindestens eine der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation aktualisierte Werte beinhaltet. Der Berechnungsschritt erfolgt dann synchron in dem Moment, in dem die entsprechende Information eintrifft:
- Liegt eine aktualisierte Brillenbewegungsinformation vor, wird eine neue Pose generiert, wobei die Fahrzeugbewegungsinformation und die Brillenbewegungsinformation prädiziert werden. Liegt eine neue Fahrzeugbewegungsinformation vor, wird die Fahrzeugbewegungs-Prädiktion und damit die relative Position der Brille im Fahrzeug korrigiert. Liegt eine neue Brillenposeninformation aus der Posenerkennungseinrichtung 2 vor, wird die Pose der Datenbrille 3 im Kraftfahrzeug korrigiert.
-
Weiterhin könnte die Berechnung auch unabhängig von dem Vorleigen eines aktualisierten Werts vorgenommen werden und stattdessen die Berechnung entsprechend einer vorgegebenen Taktung zyklisch durchgeführt werden.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Posenerkennungseinrichtung
- 21
- Kommunikationseinheit
- 22
- Kamerasystem
- 23
- Prozessoreinheit
- 24
- Fahrzeugbeschleunigungssensor
- 3
- Datenbrille
- 31
- Rahmen
- 32
- Sichtscheiben
- 33
- Brillenbügel
- 35
- transparente Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Steuereinheit
- 38
- Intertialsensorik
- 39
- Kommunikationseinheit
- 4
- Kommunikationsverbindung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014206623 A1 [0006]
- DE 102015208737 A1 [0012]
