-
Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Dabei geht es im Besonderen um den Einsatz einer Datenbrille zur Anzeige von Zusatzinformationen. Solche Systeme werden sollen zukünftig vor allem in Fahrzeugen eingesetzt. Es könnte sich aber auch um ein anderes Objekt handeln, welches von einer Bedienperson geführt wird. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte Datenbrille, ein entsprechend ausgelegtes Fahrzeug zur Verwendung bei dem Verfahren sowie ein Computerprogramm.
-
Zur Zeit wird intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen Aufgaben zu entlasten, sondern dafür Sorge zu tragen, dass der Fahrer jederzeit die Steuerung des Fahrzeuges übernehmen kann. Der Fahrer nimmt außerdem Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der Fahrerinformationssysteme wie Head-Up Display (HUD) und Datenbrillen ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren.
-
Für die nahe Zukunft ist deshalb davon auszugehen, dass systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Backend-Anbindung, Cloud-Dienste, Server-Einsatz, Fahrzeugsensorik, etc.) umfassende Informationen über Objekte (insb. Fahrzeuge) im sichtbaren und verdeckten / nicht sichtbaren Umfeld des eigenen Fahrzeugs verfügbar sein werden. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung / -warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen, etc. herangezogen werden. Beispielsweise sind so Anzeigen / Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will. Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p. Solche Systeme sind relevant für das Gebiet des „autonomen Fahrens“. Der Begriff „autonomes Fahren“ wird in der Literatur teilweise unterschiedlich benutzt.
-
Zur Klärung dieses Begriffs wird deshalb hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomen Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs. nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden Autonomiestufen definiert.
- • Level 0: „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc.
- • Level 1: Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
- • Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent).
- • Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
- • Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
- • Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.
-
Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab.
-
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können.
-
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv, verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt.
-
Eine Zukunftsvision in der Automobilbranche ist es, die Windschutzscheibe des eigenen Fahrzeugs mit virtuellen Elementen bespielen zu können, um dem Fahrer einige Vorteile zu ermöglichen. Genutzt wird die sogenannte „Augmented Reality“-Technologie (AR) oder „Mixed Reality“ (MR)-Technologie. Weniger geläufig ist der entsprechende deutschsprachige Begriff der „erweiterten Realität“ bzw. „gemischten Realität“. Dabei wird die reale Umgebung mit virtuellen Elementen angereichert. Das hat mehrere Vorteile: Der Blick nach unten, auf andere Displays als der Windschutzscheibe, entfällt, da viele relevante Informationen beim Blick durch die Windschutzscheibe erscheinen. So muss der Fahrer seinen Blick nicht von der Fahrbahn abwenden. Außerdem ist durch die positionsgenaue Verortung der virtuellen Elemente in der realen Umwelt ein geringerer kognitiver Aufwand seitens des Fahrers wahrscheinlich, da keine Interpretation einer Grafik auf einem gesonderten Display erfolgen muss. Hinsichtlich des automatischen Fahrens kann ebenfalls ein Mehrwert erzeugt werden. Diesbezüglich wird auf den Artikel „3D-FRC: Depiction of the future road course in the Head-Up-Display“ von C.A. Wiesner, M. Ruf D. Sirim und G. Klinker in 2017 IEEE International Symposium on Mixed and Augmented Reality hingewiesen, in dem diese Vorteile genauer erläutert werden.
-
Da die technologischen Mittel heutzutage entsprechend begrenzt sind, kann davon ausgegangen werden, dass mittelfristig keine voll bespielbaren Windschutzscheiben in Fahrzeugen anzutreffen sein werden. Zurzeit werden Head-Up Displays in den Fahrzeugen eingesetzt. Diese haben auch den Vorteil, dass das Bild des HUD näher an der realen Umwelt erscheint. Bei diesen Displays handelt es sich eigentlich um Projektionseinheiten, die ein Bild auf die Windschutzscheibe projizieren. Dieses Bild befindet sich jedoch aus der Sicht des Fahrers je nach Bauart des Moduls wenige Meter bis 15 Meter vor dem Fahrzeug.
-
Das „Bild“ setzt sich dabei folgendermaßen zusammen: Es handelt sich dabei weniger um ein virtuelles Display, sondern eher um eine Art „Schlüsselloch“ in die virtuelle Welt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Die begrenzte Anzeigefläche des HUD hat zur Folge, dass davon nur ein Ausschnitt gesehen werden kann. Man schaut also durch die Anzeigefläche des HUD auf den Ausschnitt der virtuellen Welt. Da diese virtuelle Umgebung die reale Umgebung ergänzt, spricht man in diesem Fall auch von einer „Mixed Reality“.
-
Ein großer Vorteil der bisher bekannten „Augmented Reality“-Anzeigen (AR-Anzeigen) besteht darin, die entsprechenden Anzeigen direkt innerhalb bzw. als Teil der Umwelt darzustellen. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen (in herkömmlichen HUD) in der Regel schematische Darstellungen anzeigen (z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR-Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als „Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen für den Nutzer möglich.
-
Solche Head-Up Displays haben den Nachteil, dass bei ihnen die HUD Einblendungen nur in einem Ausschnitt des realen Sichtfeldes des Fahrers möglich sind. Ein Problem besteht auch darin, dass wenn der Fahrer den Kopf dreht oder neigt, der Ausschnitt, in dem die HUD Einblendungen sichtbar sind, sich aus dem zentralen Blickbereich des Fahrers herausbewegt, so dass es für den Fahrer schwieriger wird, die eingeblendeten Informationen zu erfassen.
-
Zur Lösung dieser Probleme gibt es den Ansatz der Verwendung von Datenbrillen für Fahrerassistenzsysteme. Bei diesen kann das gesamte Sichtfeld des Fahrers mit virtuellen Einblendungen bespielt werden.
-
Aus der
DE 102014206626 A1 ist das Prinzip einer solchen Datenbrille für den Einsatz im Fahrzeug als Fahrerassistenzsystem bekannt. Die Brille ist mit einer elektronischen Sensor- und Recheneinheit ausgestattet. Diese beherbergt eine Einheit zur Messung von Drehraten- und Beschleunigungswerten. Ebenfalls weist die Datenbrille ein Kommunikationsmodul zur drahtlosen Kommunikation gemäß Bluetooth-Standard auf. Über das Kommunikationsmodul sendet die Brille die Messdaten an eine externe Steuereinheit. Die externe Steuereinheit empfängt fortlaufend Messdaten zum Lenkwinkeleinschlag sowie zur Beschleunigung des Fahrzeuges. Aus diesen Daten errechnet die Steuereinheit die Beschleunigung und Drehrate des Fahrzeuges. Die externe Steuereinheit subtrahiert die jeweils zum gleichen Zeitpunkt errechneten Beschleunigungen und Drehraten des Fahrzeuges von den Beschleunigungs- und Drehratenwerten die in der Brille gemessen wurden. Die Brille ist auch mit wenigstens einer Kamera ausgestattet. Aus der Änderung der Abbildung von Gegenständen im Fahrzeuginnenraum kann auf die Bewegung der Datenbrille, also auf die Kopfbewegung rückgeschlossen werden. Die Datenbrille wird zur Müdigkeitserkennung des Fahrers eingesetzt.
-
Von der Firma Microsoft ist die HoloLens-Datenbrille bekannt geworden. HOLOLENS ist eine eingetragene Marke des Unternehmens Microsoft. Diese Brille enthält auch eine Spezialrecheneinheit (Holographie Processing Unit HPU), die die Berechnung der Kopfpose durchführt basierend auf den Messwerten einer IMU-Einheit (Inertial Measurement Unit) die die Drehraten- und Beschleunigungssensoren der Datenbrille enthält sowie basierend auf den Videobildern die von den Videokameras, mit denen die Brille ausgestattet ist, geliefert werden. Mit den Videokameras wird die Umgebung der Brille aufgenommen. Was die Kameras aufnehmen, entspricht einem wesentlich größeren Bereich als dem, was für den Träger der Brille sichtbar ist. Der Ausschnitt, der bespielt wird, wird eben mit Hilfe der berechneten Kopfpose festgelegt. Die anzuzeigenden Bilder werden über eine grafische Prozessoreinheit GPU berechnet. Daneben ist auch eine Zentraleinheit CPU Teil der Brille, auf der bestimmte Anwendungsprogramme abgearbeitet werden. Es erfolgt noch eine Ausschnittanpassung bei den von der GPU berechneten und ausgegebenen Einblend-Bildern bevor sie tatsächlich zur Anzeige gebracht werden. Hierdurch erhöht sich die Genauigkeit der Bildausgabe, weil die Berechnung der auszugebenden Bilder eine gewisse Latenz bedingt und durch die fortgeführte Kopfbewegung sonst eine Ungenauigkeit bei der Bildausgabe resultieren würde. Bei der HoloLens-Brille geschieht das Anzeigen durch Darstellung auf speziellen Bildausgabe-Displays.
-
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im Rahmen der Erfindung erkannt. Bei den heute bekannten Datenbrillen für den Einsatz im Fahrerassistenzbereich besteht das Problem, dass Kopfbewegung und Fahrzeugbewegung überlagert sind. Es kommt daher zu fehlerhaften Berechnungen der Kopfpose, wenn das Fahrzeug entlang einer oder mehrerer Richtungen positiv oder negativ beschleunigt (auch bei Kurvenfahrten oder bei Bodenunebenheiten). Da die Datenbrillen einen Bildausschnitt berechnen, wo die virtuellen Elemente eingeblendet werden, kann es durchaus passieren, dass der angezeigte Bildausschnitt fehlerhaft gewählt wird, wenn die Kopfbewegung durch die Fahrzeugbeschleunigung verfälscht wird.
-
Es besteht also der Bedarf für weitere Verbesserungen bei der Konstruktion von Datenbrillen, insbesondere bei der hochgenauen Berechnung der Kopfpose um das beschriebene Problem mit dem fehlerhaft angezeigten Bildausschnitt zu lösen.
-
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Diese Aufgabe wird durch ein Verfahren zur Berechnung von Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, der eine Datenbrille trägt, gemäß Anspruch 1, eine Datenbrille zur Verwendung des Verfahrens gemäß Anspruch 6 sowie ein Fahrzeug zur Verwendung des Verfahrens gemäß Anspruch 12 und ein Computerprogramm gemäß Anspruch 15 gelöst.
-
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
-
Wie bei dem Ansatz von
DE 102014206626 A1 werden die Bewegungsdaten von den Sensoren im Fahrzeug drahtlos an die Datenbrille übertragen. Sie werden dort mit den Bewegungsdaten der Datenbrille verrechnet. In der
DE 102014206626 A1 wird allerdings gefordert, dass die Daten zum selben Zeitpunkt gemessen werden. Dies ist wegen der nötigen Synchronisation und der Unterschiedlichkeit der Bewegungen von Fahrzeug und Kopfbewegungen schwierig. Die Erfindung geht hier einen anderen praktikableren Weg.
-
Es werden stattdessen die Beschleunigungen von Fahrzeugbewegung und Kopfbewegung mit den für die jeweilige Bewegung geeigneten Messintervallen erfasst. Die Daten für die Fahrzeugbewegung werden an die Datenbrille übertragen. Die Berechnung der Kopfpose erfolgt in einer Spezialprozessoreinheit der Datenbrille. Dafür ist in der Spezialprozessoreinheit ein Filter, z.B. ein Kalman-Filter, implementiert, der die Berechnungen für die Sensorfusion mit einer weiteren Brillen-Messeinheit durchführt. Die weitere Brillen-Messeinheit liefert von Zeit zu Zeit eine absolute Kopfpose, die unabhängig von der ersten Brillen-Messeinheit ist. Dies ist erforderlich, weil die erste Brillen-Messeinheit, die als IMU-Messeinheit ausgeführt sein kann, einer Drift unterliegt. Zusätzlich werden noch die Kopf-Bewegungsdaten der ersten Brillen-Messeinheit um den Anteil der Fahrzeug-Bewegungsdaten korrigiert, um den Einfluss der Fahrzeugbeschleunigung auf die Kopfbewegung zu eliminieren. So wird eine hochgenaue und stabile Kopfposenberechnung erzielt, die dem Fahrer ein echtes „Augmented Reality“-Erlebnis ermöglicht.
-
Es ist vorteilhaft, wenn die weitere Brillen-Messeinheit einer Bildauswerteeinheit in der Datenbrille entspricht, in der die Bilder von wenigstens einer Videokamera der Datenbrille ausgewertet werden, um die absolute Referenz-Kopfpose unabhängig zu berechnen. Durch Bildauswertung, bei der bekannte Referenzpunkte im Cockpit des Fahrzeuges bestimmt werden, kann die Kopfpose hochgenau errechnet werden. Allerdings ist die Bildwiederholrate der Videokamera klein und die Bildauswertung aufwendig, so dass diese Referenz-Kopfpose nur mit einem längeren Messintervall zur Verfügung gestellt werden kann.
-
Es ist weiterhin vorteilhaft, wenn die Korrektur der Bewegungsdaten der wenigstens einen Brillen-Messeinheit dadurch geschieht, dass der Anteil der Bewegungsdetektion, der auf der Fahrzeug-Beschleunigung beruht, von den Messwerten, die die wenigstens eine Brillen-Messeinheit ausgibt, abgezogen wird. Dies kann in einer Subtraktionsstufe in der Spezialprozessoreinheit erfolgen.
-
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens können die Bewegungsdaten von der wenigstens einen Brillen-Messeinheit und/oder die Bewegungsdaten der Fahrzeug-Messeinheit in einer gemeinsamen oder jeweils einer separaten Filtereinheit geglättet werden, bevor die Bewegungsdaten von der Fahrzeug-Messeinheit von den Bewegungsdaten der wenigstens einen Brillen-Messeinheit zur Korrektur abgezogen werden. Die Glättung ist optional, kann aber von Vorteil für die Stabilität der Kopfposen-Berechnung sein, wenn die Messeinheiten verrauschte oder gestörte Messsignale liefern.
-
Typischerweise liefert die Brillen-Messeinheit die Messergebnisse mit einer höheren Wiederholrate ab als die Fahrzeug-Messeinheit. Deshalb ist es vorteilhaft, wenn die Bewegungsdaten der Fahrzeug-Messeinheit in der Filtereinheit prädiziert werden, um zeitrichtige Zwischenwerte ausgeben zu können, die mit dem kürzeren Messintervall der Brillen-Messeinheit der Datenbrille zusammenzupassen.
-
Für eine Datenbrille zur Verwendung bei dem Verfahren ist es vorteilhaft, wenn die Datenbrille eine Anzeigeeinheit aufweist, mit der virtuelle Zusatzinformationen in das Sichtfeld des Fahrers eines Fahrzeuges eingeblendet werden können, wobei die Datenbrille wenigstens eine Brillen-Messeinheit aufweist, die die Bewegungen des Kopfes des Fahrers, erfasst. Weiterhin weist die Datenbrille eine Schnittstelle für die drahtlose Kommunikation mit einem Kommunikationsmodul eines Fahrzeuges auf, über die die Datenbrille die Daten einer im Fahrzeug vorhandenen Fahrzeug-Messeinheit zur Messung von wenigstens den Fahrzeugbeschleunigungen empfängt. Die Datenbrille zeichnet sich dadurch aus, dass die Datenbrille zur Berechnung der Kopfpose mit einer Spezialprozessoreinheit ausgestattet ist, die eine Implementierung eines Kalman-Filters beinhaltet, in dem die Bewegungsdaten von der Brillen-Messeinheit, korrigiert um die Bewegungsdaten der Fahrzeug-Messeinheit mit den Bewegungsdaten einer weiteren Brillen-Messeinheit fusioniert werden. Mit dieser Datenbrille ist eine hochgenaue und stabile Berechnung der Kopfpose möglich. Zur Erklärung wird erwähnt, dass die Kopfpose 3 Freiheitsgrade bzgl. der Kopfdrehungen (Rotation) und 3 Freiheitsgrade bzgl. der Fortbewegung (Translation) beschreiben kann.
-
Von Vorteil ist, wenn die weitere Brillen-Messeinheit einer Bildauswerteeinheit entspricht, die die Bilder von wenigstens einer Videokamera der Datenbrille auswertet um die Kopfpose unabhängig zu berechnen. Damit kann die Drift der Berechnung der Kopfpose auf den Bewegungsdaten der ersten Brillen-Messeinheit kompensiert werden.
-
Dies ist besonders vorteilhaft, wenn die wenigstens eine Brillen-Messeinheit aus einer IMU-Sensoreinheit, entsprechend Inertial Measurement Unit besteht. Solche Sensoreinheiten können zwar Messergebnisse in kurzen Messintervallen liefern, unterliegen aber einer Drift, so dass sie von Zeit zu Zeit korrigiert oder zurückgesetzt werden sollten.
-
Für die Genauigkeit der Bestimmung der Kopfpose ist es von Vorteil, wenn die Datenbrille eine gemeinsame oder jeweils eine separate Filtereinheit aufweist, in der die Bewegungsdaten von der wenigstens einen Brillen-Messeinheit und/oder die Bewegungsdaten der Fahrzeug-Messeinheit geglättet werden, bevor die Bewegungsdaten von der Fahrzeug-Messeinheit einer Subtraktionsstufe zugeleitet werden, in der die Bewegungsdaten von der Fahrzeug-Messeinheit von den Bewegungsdaten der wenigstens einen Brillen-Messeinheit zur Korrektur abgezogen werden.
-
Sehr vorteilhaft ist, wenn die Filtereinheit für die Fahrzeug-Messeinheit eine Prädiktionseinheit aufweist, die die Bewegungsdaten der Fahrzeug-Messeinheit prädiziert, um zeitrichtige Zwischenwerte ausgeben zu können, die mit dem kürzeren Messintervall der ersten Brillen-Messeinheit der Datenbrille zusammenpasst. Typischerweise liefert die Brillen-Messeinheit die Messergebnisse nämlich mit einer höheren Wiederholrate ab als die Fahrzeug-Messeinheit.
-
Von Vorteil ist noch, wenn die Schnittstelle für die drahtlose Kommunikation nach wenigstens einem der Kommunikationssysteme Bluetooth, entsprechend IEEE 802.15.1 Standard, WLAN entsprechend eines Standards der IEEE 802.11 Standard Familie, Zigbee entsprechend IEEE 802.15.4 Standard oder UWB, entsprechend einer Variante der Ultra Wide Band Kommunikation ausgelegt ist. Insbesondere die UWB-Kommunikation ermöglicht eine energieeffiziente Übertragung der Daten, so dass der Akku der Datenbrille geschont wird. Ebenfalls werden Beeinflussungen anderer drahtloser Kommunikationen wie Fahrzeug-zu-Fahrzeug-Kommunikationen reduziert.
-
Für ein Fahrzeug zur Verwendung bei dem Verfahren ist es vorteilhaft, dass das Fahrzeug mit einer Fahrzeug-Messeinheit ausgestattet ist, die wenigstens die Beschleunigungen des Fahrzeuges entlang definierter Achsen erfasst. Weiterhin sollte das Fahrzeug mit einem Kommunikationsmodul für die drahtlose Kommunikation mit einer Datenbrille ausgestattet sein, so dass die Übertragung der Daten der Fahrzeug-Messeinheit an die Datenbrille ermöglicht wird. Besonders vorteilhaft ist, wenn das Fahrzeug eine Filtereinheit aufweist, in der die Bewegungsdaten der Fahrzeug-Messeinheit geglättet werden, bevor sie über das Kommunikationsmodul an die Datenbrille übertragen werden.
-
Wie zuvor beschrieben ist es weiterhin vorteilhaft, wenn die Filtereinheit die Bewegungsdaten der Fahrzeug-Messeinheit ebenfalls prädiziert, um zeitrichtige Zwischenwerte ausgeben zu können, die mit dem kürzeren Messintervall einer Brillen-Messeinheit der Datenbrille zusammenpassen. So können dann die unterschiedlichen Messintervalle von Fahrzeug-Messeinheit und Brillen-Messeinheit ausgeglichen werden.
-
Wiederum von Vorteil ist, wenn das Fahrzeug ein Kommunikationsmodul aufweist, das für die Kommunikation zwischen Fahrzeug und Datenbrille auf Basis eines Kommunikationsprotokolls nach einem der Kommunikationssysteme Bluetooth, entsprechend IEEE 802.15.1 Standard, WLAN entsprechend eines Standards der IEEE 802.11 Standard Familie, Zigbee entsprechend IEEE 802.15.4 Standard oder UWB, entsprechend Ultra Wide Band ausgelegt ist.
-
Die entsprechenden Vorteile ergeben sich für ein Computerprogramm, das entsprechend ausgelegt ist, und bei Abarbeitung in einer Spezialprozessoreinheit einer Datenbrille.
-
Für ein Computerprogramm, das in Spezialprozessoreinheit der Datenbrille zur Abarbeitung kommt, um die Schritte zur Berechnung der Kopfpose nach dem erfindungsgemäßen Verfahren durchzuführen, gelten die entsprechenden Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
-
Es zeigen:
- 1 das typische Cockpit eines Fahrzeuges;
- 2 ein Blockschaltbild des Infotainment-Systems des Fahrzeuges;
- 3 eine zweite Darstellung des Cockpits des Fahrzeuges mit Fahrer, bei dem der Fahrer eine Datenbrille zur Fahrerinformation trägt;
- 4 eine Darstellung der Sicht durch die Datenbrille wie sie sich für den Fahrer ergibt ohne AR-Einblendungen
- 5 ein Blockschaltbild mit den Komponenten der Datenbrille;
- 6 ein Blockschaltbild der Spezialprozessoreinheit für die Durchführung der Sensorfusion mit Kalman-Filter; und
- 7 eine Darstellung der Sicht durch die Datenbrille wie sie sich für den Fahrer ergibt mit AR-Einblendungen.
-
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
-
1 zeigt das typische Cockpit eines Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen möglich.
-
In dem Cockpit sind zwei Anzeigeeinheiten eines Infotainment-Systems dargestellt. Es handelt sich um einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist und das Kombiinstrument 110, welches im Armaturenbrett angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers. Deshalb werden die Zusatzinformationen während der Fahrt nicht auf der Anzeigeeinheit 30 eingeblendet.
-
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainment-System“ gesprochen. Ein Infotainment-System bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Zur Bedienung des Infotainment-Systems wird hauptsächlich der berührungsempfindliche Bildschirm 30 („Touchscreen“) benutzt, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeugs 10, aber auch von einem Beifahrer des Fahrzeugs 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet.
-
2 zeigt schematisch ein Blockschaltbild des Infotainment-Systems 200 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainment-Systems. So umfasst die Bedienungs-Vorrichtung die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum Eingeben von Befehlen durch einen Benutzer.
-
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind die schon erwähnten Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann. Unter Eingabe wird allgemein das Anwählen einer ausgewählten Menüoption verstanden, wie auch das Ändern eines Parameters, das Ein- und Ausschalten einer Funktion usw.
-
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen. Hier können auch die Punkte / Symbole abgelegt sein, die für die Berechnung der Raster-Einblendung als Grundlage dienen.
-
Die weiteren Teile des Infotainment-Systems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainment-Systems verbunden. Als Datenbus 100 kommt die Highspeed-Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch eine Fahrzeug-Messeinheit 170 angeschlossen. Diese Fahrzeug-Messeinheit 170 dient der Erfassung der Bewegung des Fahrzeuges, insbesondere der Erfassung der Beschleunigungen des Fahrzeuges. Sie kann als konventionelle IMU-Einheit, entsprechend Inertial Measurement Unit, ausgebildet sein. In einer IMU-Unit finden sich typischerweise Beschleunigungssensoren und Drehratensensoren wie ein Laser-Gyroskop, oder ein Magnetometer-Gyroskop. Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht. Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen oder die Licht in einem anderen als dem sichtbaren Spektrum aufnimmt. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben könnten auch die schon erwähnten RADAR- oder LIDAR-Systeme ergänzend oder alternativ eingesetzt werden, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Unit bezeichnet. Es kann für die Mobilfunk-Kommunikation, z.B. nach LTE Standard, entsprechend Long Term Evolution, ausgelegt sein. Ebenfalls kann es für WLAN-Kommunikation, entsprechend Wireless LAN, ausgelegt sein, sei es für die Kommunikation zu Geräten der Insassen im Fahrzeug oder für die Fahrzeug-zu-Fahrzeug Kommunikation etc.
-
3 zeigt das Cockpit des Fahrzeuges 10 und den Kopf des Fahrers des Fahrzeuges 10, der eine Datenbrille 300 trägt. Da es sich um einen transparente Brille mit „Gläsern“ aus Glas oder Kunststoff oder einem anderen Material handelt, gestaltet sich die Sicht durch die Datenbrille wie in 4 gezeigt. Der Fahrer sieht die Straße auf der er fährt und die Umwelt des Fahrzeuges 10 durch die Scheiben des Fahrzeuges 10. Ebenso liegen in seinem Blickfeld weite Teile des Cockpits, wie Lenkrad, Kombiinstrument 110, berührungsempfindliche Anzeigeeinheit 30 und die Bedieneinheit 50. In dem dargestellten Fall werden keine AR-Einblendungen vor den Augen des Fahrers angezeigt, das Bild ist also so, wie bei einem Blick durch eine normale Brille.
-
Wie die Kopfpose hochgenau und stabil berechnet werden kann wird im Folgenden erläutert.
-
5 zeigt ein Blockschaltbild der erfindungsgemäßen Datenbrille 300. Die gezeigte Brille baut auf der Hardwarearchitektur der Hololens-Brille des Microsoft-Unternehmens auf. Mit der Bezugszahl 310 ist eine Spezialprozessoreinheit HPU entsprechend „Holographic Processing Unit“ bezeichnet. Daran angeschlossen ist eine Videokamera 312. Es können aber auch mehr Videokameras angeschlossen sein. Bei der von Microsoft erhältlichen Hololens-Brille sind 4 Videokameras angeschlossen. Diese ermöglichen die Aufnahme der Umwelt mit einem wesentlichen größeren Sichtwinkel als das, was der Fahrer bei Sicht durch die Brille erfassen kann. Weiterhin ist an die Spezialprozessoreinheit 310 eine Brillen-Messeinheit IMU 314 angeschlossen. Damit werden die Bewegungen des Kopfes des Fahrers, insbesondere Kopfdrehungen und Kopfneigungen gemessen. Die Spezialprozessoreinheit 310 steht eingangsseitig noch mit einer Schnittstelle 316 für die drahtlose Kommunikation in Verbindung. Im dargestellten Beispiel handelt es sich um ein WLAN-Modul. Es kann als konventionelles WLAN-Modul für die Kommunikation nach WLAN n Standard, also IEEE 802.11n handeln. Alternativ könnte das Kommunikationsmodul 316 nach einem anderen Kommunikationsstandard wie Bluetooth, entsprechend IEEE 802.15.1 Standard, Zigbee entsprechend IEEE 802.15.4 Standard oder UWB, entsprechend einer Variante der Ultra Wide Band Kommunikation ausgelegt sein. Die Variante mit einer Ultra Wide Band Kommunikation hätte den Vorteil der sehr energieeffizienten Übertragung der Daten, so dass der Akku der Datenbrille 300 weniger belastet werden würde. Auch sind da Beeinträchtigungen anderer drahtloser Übertragungen, wie sie in modernen Fahrzeugen vielfach stattfinden, z.B. für die Fahrzeug-zu-Fahrzeug-Kommunikation kaum beeinträchtigt. Dies liegt daran, dass die anderen Kommunikationen in schmalen Kanälen mit starker Energiekonzentration stattfinden, während die UWB-Kommunikation sehr breitbandig mit schwacher Energiekonzentration ist. Über das WLAN-Modul 316 werden die Messdaten der Fahrzeug-Messeinheit 170 empfangen. Die Datenbrille 300 ist weiterhin mit einer Zentraleinheit 320 ausgestattet, die die Daten für die gemessene Kopfpose von der Spezialprozessoreinheit 310 empfängt. Diese steht auch mit einer Speichereinheit 318 in Verbindung. Darin werden auch die Videodaten, die von der Kamera 312 geliefert werden zwischengespeichert. Die Zentraleinheit 320 liefert Anweisungen an die Grafikeinheit 322, die Berechnung der Bilder für die AR-Einblendungen vornimmt. Es handelt sich um eine Grafik-Engine nach Art einer Graphical Processing Unit GPU. Um die AR-Einblendungen lagerichtig entsprechend der Kopfpose zu berechnen, kommt es also auf eine möglichst genaue und stabile Kopfposenberechnung an. Wie bereits eingangs im Zusammenhang mit der Hololens-Brille beschrieben, erfolgt noch eine Ausschnittanpassung bei den von der GPU berechneten und ausgegebenen AR-Einblend-Bildern bevor sie tatsächlich zur Anzeige gebracht werden. Hierdurch erhöht sich die Genauigkeit der Bildausgabe, weil die Berechnung der auszugebenden Bilder eine gewisse Latenz bedingt und durch die fortgeführte Kopfbewegung sonst eine Ungenauigkeit bei der Bildausgabe resultieren würde. Der Bildausschnitt, der angezeigt werden soll, wird in der Nachbearbeitungseinheit 324 um den Wert gedreht (feinjustiert), der durch die in der Spezialprozessoreinheit 310 errechneten Fortführung der Kopfpose vorgegeben wird. Schließlich gelangen die fertig „gerenderten“ Bilder zur Anzeigeeinheit 326 der Datenbrille 300. Bei der Hololens-Brille ist die Anzeigeeinheit 326 vom Typ LCOS, entsprechend Liquid Crystal on Silicon, die die Bilder auf die Gläser der Brille projiziert.
-
Als Grundlage für die Berechnung der Kopfpose dienen auch die Daten, die von der Videokamera 312 der Datenbrille 300 geliefert werden. Dazu erfolgt eine Bildauswertung in einer Bildauswertungseinheit 319. Die von der Videokamera aufgenommenen Bilder enthalten markante Punkte im Cockpit, die als Referenz dienen. Die Lage dieser Punkte im Bild wird per Bildverarbeitungsalgorithmus ermittelt. Daraus ergibt sich dann der Messwert für die Kopfpose. Da die Messwerte von Brillen-Messeinheit 314 und Fahrzeug-Messeinheit 170 Drift-behaftet sind, findet über die von den Kameradaten ermittelten Messdaten ein „Rücksetzen“ des Trackings auf eine stabilen Kopfpose statt. Die Kameradaten liefern sozusagen Stützdaten für die fortlaufende Eichung der IMU-Daten von den Messeinheiten 314 und 170. Da die Videokamera 312 lediglich Bilder mit 30 Hz Bildrate liefert und auch die Bildauswertung Zeit benötigt, werden die Stützdaten mit geringerer Wiederholrate geliefert als die IMU-Daten von den Messeinheiten 314 und 170. Die Daten von der Fahrzeug-Messeinheit 170 werden typischerweise mit einer Frequenz von 100 Hz geliefert. Die Daten von der Brillen-Messeinheit 314 werden bei der Hololens-Brille sogar mit einer Frequenz von 1000 Hz geliefert. Zwischen den Eichungen mit den Stützdaten von der Kamera im Bereich 30 Hz wird die Drift bei den Daten von Fahrzeug-Messeinheit 170 und Brillen-Messeinheit 314 zugelassen.
-
6 zeigt ein Blockschaltbild für die Verarbeitung der verschiedenen Sensordaten in der Spezialprozessoreinheit 310. Die Daten von der Brillen-Messeinheit 314 werden in einer optionalen Filtereinheit 315 vorverarbeitet. Hier findet eine Glättung der Messwerte statt. Es kann sich um ein FIR-Filter, entsprechend Finite Impulse Response Filter handeln. Im einfachsten Fall kann ein Mittelwert-Filter hierfür eingesetzt werden. Parallel dazu werden die Daten der Fahrzeug-Messeinheit 170, die von dem WLAN-Modul 316 geliefert werden, in einer entsprechenden Filtereinheit 317 geglättet. In der nachfolgenden Subtraktionsstufe 313 werden die jeweiligen geglätteten Messdaten der Fahrzeug-Messeinheit 170 von den jeweiligen Messdaten der Brillen-Messeinheit 314 abgezogen. Der Grund dafür liegt darin, dass die Messdaten der Brillen-Messeinheit die kombinierte Bewegung aus der Bewegungskomponente des Fahrzeuges und der Bewegungskomponente des Kopfes wiederspiegeln. Durch die Subtraktion wird der Einfluss der Bewegungskomponente des Fahrzeuges 10 in den Messdaten eliminiert.
-
Bezüglich der unterschiedlichen Messraten von Brillen-Messeinheit 314 und Fahrzeug-Messeinheit 170 kann wie folgt vorgegangen werden. Das Fahrzeug-Messintervall ist wie beschrieben länger als das Brillen-Messintervall. Deshalb kann so vorgegangen werden, dass der zuletzt registrierte Messwert, den die Verarbeitung im Zweig der Fahrzeug-Messeinheit 170 geliefert hat, jeweils von jedem folgenden Messwert, im Zweig der Brillen-Messeinheit 314 abgezogen wird, bis ein neuer Messwert im Zweig der Fahrzeug-Messeinheit 170 eintrifft.
-
Alternativ kann ein Prädiktionsmodell in der Filtereinheit 317 den nächsten Messwert von der Fahrzeug-Messeinheit 170 vorhersagen. Zwischen dem aktuellen Zeitpunkt, an dem ein Fahrzeug-Messwert zur Verfügung steht und dem nächsten Zeitpunkt, an dem mit einem neuen Messwert der Fahrzeug-Messeinheit 170 gerechnet wird, kann stufenlos linear interpoliert werden. Diese lineare Interpolation wird so ausgelegt, dass für jeden Zeitpunkt, an dem ein Brillen-Messwert absehbar ist, ein interpolierter Prädiktionswert zur Verfügung steht. Im gezeigten Beispiel würde die Interpolation in der Filtereinheit 316 stattfinden. Es wäre aber auch möglich die gesamte Filtereinheit im Fahrzeug zu positionieren, dann würden schon die gefilterten Daten vom WLAN-Modul 316 geliefert werden und die Spezialprozessoreinheit 310 muss diese Operation nicht durchführen.
-
Die so kombinierten Messdaten von Fahrzeug-Messeinheit 170 ergeben eine Messung der Kopfpose. Diese Kopfposen-Messwerte werden in der nachfolgenden Kalman-Filtereinheit 311 zusammen mit den Kopfposen-Messwerten die von der Bildauswertungseinheit 319 stammen, fusioniert.
-
Für die Sensorfusion von Kopfposen-Messwerten sind Kalman-Filter sehr erfolgreich eingesetzt worden. Solche Kalman-Filtereinheiten sind aus der Literatur bekannt und werden deshalb hier nicht im Einzelnen genauer erläutert. Als Beispiel wird auf die Arbeit von Guy Berg: „Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen“ hingewiesen, in dem der Einsatz von Kalman-Filtern zu diesem Zweck beschrieben wird. Die genaue Referenz für diese Arbeit lautet:
- Guy Berg: „Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen“, Dissertation an der Fakultät für Luft- und
- Raumfahrttechnik der Universität der Bundeswehr München (2014), http://atheneforschung.unibw.de/node?id=97267.
-
Es wird hinsichtlich der Offenbarung der Erfindung ausdrücklich auf diese Literaturstelle Bezug genommen.
-
Am Ausgang der Kalman-Filtereinheit 311 werden die Daten für eine stabile Kopfpose geliefert, die von den Bewegungen / Beschleunigungen des Fahrzeugs „befreit“ ist. Diese Information wird an die Zentraleinheit 320 weitergeleitet, und dort umgesetzt in Anweisungen an die Grafikeinheit 322, wie zuvor beschrieben.
-
Ein Beispiel einer AR-Einblendung seitens der Datenbrille 300 ist in 6 gezeigt. Darin sind zwei AR-Einblendungen lagerichtig erkennbar. Zum einen ist das durch das Navigationssystem 130 vorgegebene Ziel der Fahrtroute im Anzeigebild der Datenbrille 300 markiert. Dabei wird die Einblendung unter Berücksichtigung der Kopfpose so berechnet, dass sie genau bei der Einfahrt zum Ziel, die durch die Windschutzscheibe erkennbar ist, positioniert wird. Zusätzlich ist das Wort „Destination“ daneben eingeblendet. Die zweite AR-Einblendung betrifft einen Bedienungshinweis für den Fahrer. Dort wird durch einen Hinweispfeil der Bedienknopf der Bedieneinheit 50 markiert, den der Fahrer drücken soll um die Navigation zu beenden, weil das Ziel erreicht wurde. Zusätzlich wird der Hinweis „Press Here“ daneben eingeblendet. Bei diesem Beispiel wird sowohl die reale Umwelt außerhalb des Fahrzeuges durch Zusatzinformationen angereichert, wie auch der Bedienbereich des Cockpits innerhalb des Fahrzeuges. Solch ein „Virtual Reality“ Erlebnis wäre mit einem Head-Up Display nicht möglich. Um solche AR-Einblendungen lagerichtig berechnen zu können, müssen weitere Informationen von der On-Board Unit 160 zu der Schnittstelle 316 der Datenbrille 300 übertragen werden. So wird zum Beispiel vom Navigationssystem 130 das einzublendende Ziel übertragen. Gleichzeitig muss die Position des Fahrzeuges 10 übertragen werden.
-
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
-
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
-
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
-
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
-
Auch bei ferngesteuerten Geräten wie Robotern, bei denen die Fernsteuerung über einen Monitor erfolgt, auf dem ein Kamerabild wiedergegeben wird, können AR Einblendungen die Bedienung erleichtern. Also besteht hier auch eine Einsatzmöglichkeit. Andere Einsatzmöglichkeiten betreffen ein Smartphone, ein Tablet Computer, ein Personal Assistant oder eine Virtual Reality Brille.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 30
- berührungsempfindliche Anzeigeeinheit
- 40
- Recheneinheit
- 50
- Eingabeeinheit
- 60
- Speichereinheit
- 70
- Datenleitung zur Anzeigeeinheit
- 80
- Datenleitung zur Speichereinheit
- 90
- Datenleitung zur Eingabeeinheit
- 100
- Datenbus
- 110
- Kombiinstrument
- 120
- Telefon
- 130
- Navigationsgerät
- 140
- Radio
- 150
- Kamera
- 160
- Kommunikationsmodul
- 170
- Fahrzeug-Messeinheit
- 200
- Infotainment-System
- 300
- Datenbrille
- 310
- Spezialprozessoreinheit
- 311
- Kalman-Filtereinheit
- 312
- Videokamera
- 313
- Subtraktionsstufe
- 314
- Brillen-Messeinheit
- 315
- Filtereinheit
- 316
- Kommunikationsschnittstelle
- 317
- Filtereinheit
- 318
- Speicher
- 319
- Bildauswerteeinheit
- 320
- Zentraleinheit
- 322
- Grafikeinheit
- 324
- Feinjustiereinheit
- 326
- Anzeigeeinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014206626 A1 [0014, 0020]
-
Zitierte Nicht-Patentliteratur
-
- ISO Standard 11898-2 [0046]
