DE102014217962B4

DE102014217962B4 - Positionierung einer Datenbrille im Fahrzeug

Info

Publication number: DE102014217962B4
Application number: DE102014217962.9A
Authority: DE
Inventors: Wolfgang Spießl; Michael Graef; Matthias Kaufmann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-09-09
Filing date: 2014-09-09
Publication date: 2024-03-21
Anticipated expiration: 2034-09-10
Also published as: DE102014217962A1

Abstract

System zum Bestimmen der Pose einer Datenbrille (1) in einem Fahrzeug, umfassend die Datenbrille (1), umfassend:Eine Anzeige (2), die beim Tragen der Datenbrille (1) nahe dem oder den Augen des Benutzers angeordnet ist;Eine Infrarotlicht-Kamera (3), die dazu eingerichtet ist, in den Kamera-Aufnahmen im Wesentlichen Infrarotlicht abzubilden;Elektronische Verarbeitungsmittel (4); wobei die Datenbrille (1) dazu eingerichtet ist, die folgenden Schritte auszuführen:Aufnehmen der Umgebung der Datenbrille (1) mithilfe der Infrarotlicht-Kamera (3);Erkennen zumindest eines von einer weiteren Anzeige (5) angezeigten vordefinierten Infrarotmusters (6) in den Aufnahmen;Bestimmen der Pose der Datenbrille (1), also die Ausrichtung und Position der Datenbrille (1) in Abhängigkeit des erkannten vordefinierten Infrarotmusters (6); wobei:die weitere Anzeige (5), die im Fahrzeug angeordnet ist, Mittel umfasst zum Anzeigen von Bildern im Bereich des sichtbaren Lichts und Mittel zum Aussenden von Infrarotlicht, wobei die Mittel zum Aussenden von Infrarotlicht dazu eingerichtet sind, das Infrarotlicht unabhängig von den Mitteln zum Anzeigen von Bildern im Bereich des sichtbaren Lichts auszusenden.

Description

Die Erfindung betrifft im Wesentlichen eine Auswerteeinheit zur Bestimmung der Pose einer Datenbrille.
Heutzutage sind Datenbrillen bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung und die Pose der Datenbrille in Relation zum Objekt bekannt sein, also die Position der Datenbrille und die Ausrichtung der Datenbrille.
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise WO 2013/012914 A2 .
Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Informationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer oder Objekte im Fahrzeug betreffen. Um kontaktanaloge Informationen anzeigen zu können, muss in den meisten Fällen auch hier die Pose der Datenbrille bekannt sein.
Die Druckschriften DE 10 2014 206 625 A1 , US 2004 / 0 113 885 A1 , DE 11 2005 001 825 T5 und JP 2009- 20 595 A offenbaren Lehren im Bereich von Anzeigen und/oder Datenbrillen.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Auswerteeinheit bereitzustellen, mit dem die Pose der Datenbrille bestimmt werden kann und darauf aufbauend auf kontaktanaloge Weise Informationen angezeigt werden können.
Die Aufgabe der Erfindung wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
Offenbart wird eine Datenbrille, umfassend: Eine Anzeige; Eine Infrarot-Kamera, die dazu eingerichtet ist, in den Kamera-Aufnahmen im Wesentlichen Infrarotlicht abzubilden; Elektronische Verarbeitungsmittel; wobei die Datenbrille dazu eingerichtet ist, die folgenden Schritte auszuführen: Aufnehmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen zumindest eines vordefinierten Musters in den Aufnahmen; Bestimmen der Pose der Datenbrille, also die Ausrichtung und Position der Datenbrille in Abhängigkeit des erkannten vordefinierten Musters; Anzeigen eines Hinweises, insbesondere auf kontaktanaloge Weise, auf der Anzeige in Abhängigkeit der bestimmten Pose der Datenbrille. Das Muster wird insbesondere von einer Anzeige mithilfe mindestens einer Infrarot-Lichtquelle angezeigt.
Hierin wird also vorgeschlagen, dass die Pose der Datenbrille dadurch bestimmt wird, dass ein vordefiniertes Infrarot (IR)-Muster in den Aufnahmen erkannt wird. Dazu wird ein solches Muster in der Umgebung der Datenbrille, insbesondere in einem Fahrzeuginnenraum, mithilfe einer bereits im Fahrzeug vorhandenen Anzeige angezeigt. Die Posenbestimmung der Datenbrille erfolgt somit anhand von speziell dafür im Fahrzeug angezeigten IR-Mustern, die auch als Marker bezeichnet werden können. Die Position und Orientierung dieser Muster ist der Datenbrille bekannt. Die Datenbrille schließt aus der geometrischen Form der erkannten Muster in den Aufnahmen der Kamera auf die Position und Ausrichtung der Datenbrille, also deren Pose. Verfahren für diesen Rückschluss sind im Stand der Technik bekannt. Die IR-Muster sind derart ausgelegt, dass sie die Posenbestimmung erleichtern, sie umfassen typischerweise gerade begrenzte geometrische Formen und Linien, und können einem zweidimensionalen QR-Code ähneln.
Die Anzeige, die die IR-Muster anzeigt, ist dazu ausgelegt auch Bilder im sichtbaren Bereich des Lichts anzuzeigen. Diese Anzeige dient im Fahrzeug dazu, Informationen einer Head-unit oder eines Kombi-Instruments, also Navigations-, Radio-, Musikwiedergabe- und/oder Fahrzeugzustandsinformationen anzuzeigen. Gegenüber den im Stand der Technik im Fahrzeug eingesetzten Anzeigen verfügt die erfindungsgemäße Anzeige über unabhängig ansteuerbare Mittel zum Aussenden von Infrarot-Strahlung. Diese Mittel sind vorzugsweise derart in der Anzeige angeordnet, dass sie und die Infrarot-Strahlung für das bloße menschliche Auge im Betrieb und im deaktiven Zustand nicht sichtbar sind. Das Tracking der Pose der Datenbrille wird somit ohne Einbau von Zusatzhardware, die für einen Menschen wahrnehmbar wäre, ermöglicht. Dadurch ist keine störende Technik sichtbar.
Weiterhin ist kein Einbau von Kameras in das Fahrzeug und Reflektoren auf Brille nötig, wie es beim Outside-In-Tracking der Fall wäre. Beim Outside-In-Tracking nimmt eine im Fahrzeug verbaute Kamera die Datenbrille mit (IR-)Mustern auf. Dadurch entsteht eine Kostenersparnis und höhere Geschwindigkeit der Posenbestimmung durch wegfallende Übertragungslatenzen, da die Pose direkt in der Datenbrille errechnet wird.
Hierin wird der gesamte Wellenlängenbereich elektromagnetischer Strahlung von ca. 780 nm bis 1 mm als Infrarotlicht verstanden. Dies schließt insbesondere die Unterbereiche von ca. 780 nm bis ca. 1400 nm und 900 nm bis ca. 1400 nm mit ein. Infrarotlicht hat den Vorteil, dass es vom menschlichen Auge nicht wahrgenommen werden kann und gleichzeitig gesundheitlich ungefährlich ist. Vom Infrarotlicht wird hierin das sichtbare Licht unterschieden, das Wellenlängen von 780 nm bis 380 nm aufweist.
Ferner offenbart wird eine Anzeige umfassend Mittel zum Anzeigen von Bildern im Bereich des sichtbaren Lichts und Mittel zum Aussenden von Infrarotlicht, wobei die Mittel zum Aussenden von Infrarotlicht dazu eingerichtet sind, das Infrarotlicht unabhängig von den Mitteln zum Anzeigen von Bildern im Bereich des sichtbaren Lichts auszusenden. Die Mittel zum Anzeigen von Bildern im Bereich des sichtbaren Lichts sind insbesondere typische LCD, LED oder OLED Anzeigen, wie sie im Stand der Technik wohlbekannt sind. Diese werden nun erfindungsgemäß durch Mittel ergänzt, die Infrarotlicht aussenden können und zwar unabhängig von der Bildanzeige im Bereich des sichtbaren Lichts. Diese Infrarotlicht-aussendenden Mittel können durch zusätzliche LEDs verwirklicht sein, die in die Matrix der LCD, LED oder OLED Elemente eingearbeitet sind. Dabei bilden die Infrarot-LEDs selbst dann das Muster, das zur Posenbestimmung verwendet wird. Alternativ können die Infrarot-LEDs in der Hinterleuchtung der Mittel zum Anzeigen von Bildern eingearbeitet sind. In diesem Fall ist die Infrarotemission nicht örtlich differenziert und damit im Wesentlichen gleichmäßig über die gesamte Fläche der Anzeige. In den Aufnahmen der Infrarot-Kamera erscheint die Anzeige als „weiße“ Fläche. Mit anderen Worten: Die Mittel zum Aussenden von Infrarotlicht umfassen (unabhängig voneinander steuerbare) Pixel oder Flächen, die jeweils im Wesentlichen nur Infrarotlicht aussenden.
In dem Fall einer flächigen Emission von Infrarotlicht, kann die Anzeige ferner eine Infrarotlicht-Maske umfassen, nämlich eine Maske, die Bereiche umfasst, die Infrarotlicht passieren lassen, insbesondere Auslassungen in der Maske, und Bereiche die Infrarotlicht im Wesentlichen blockieren, wobei die Infrarotlicht-Maske in Betrachtungsrichtung der Anzeige vor der Fläche angeordnet ist. Mit andern Worten: Durch das simple und kosteneffiziente Aufbringen einer stellenweise IR transparenten und stellenweise IR blockierenden Folie (z.B. durch Löcher in der Folie) kann im Anzeigenbereich ein Infrarot-Muster angezeigt werden, selbst wenn die Anzeige kein Bild im Bereich des sichtbaren Lichts anzeigt (schwarze Anzeige im Bereich des sichtbaren Lichts, jedoch dennoch Infrarotlicht durch Hintergrundbe-/Hinterleuchtung).
In einer vorteilhaften Weiterbildung können sich zusätzliche Infrarot-LEDs hinter infrarotdurchlässigen Glasscheiben der Spiegel (Innenspiegel, Seitenspiegel), Logos, schwarzen Abdeckungen etc. befinden, um einen größeren Erkennungsbereich, insbesondere nach oben und seitlichen abzudecken. Durch die zusätzlichen LEDs werden weitere Marker in Randbereichen des normalen Sichtfeldes des Fahrers oder Beifahrers geschaffen. Diese LEDs werden insbesondere dann von der Kamera aufgezeichnet, wenn der Fahrer oder Beifahrer seinen Kopf zur Seite dreht und die Kamera in solchen Fällen die Anzeige nicht mehr (oder nicht mehr vollständig) aufnimmt wodurch auch die IR-Muster der Anzeige nicht aufgenommen werden. In solchen Fällen kann durch die Kameraaufnahmen der zusätzlichen IR-Marker trotzdem die Pose der Datenbrille bestimmt werden.
Definiert wird ein Verfahren zum Bestimmen der Pose einer Datenbrille, umfassend: Aufnehmen der Umgebung der Datenbrille mithilfe einer Infrarotlicht-Kamera der Datenbrille; Erkennen zumindest eines vordefinierten Musters in den Aufnahmen; Bestimmen der Pose der Datenbrille, also die Ausrichtung und Position der Datenbrille in Abhängigkeit des erkannten vordefinierten Musters; Anzeigen eines Hinweises, insbesondere auf kontaktanaloge Weise, auf der Anzeige in Abhängigkeit der bestimmten Pose der Datenbrille. Dabei wird das Muster durch Infrarot-Lichtquellen einer Anzeige außerhalb der Datenbrille angezeigt, insbesondere durch die Anzeige eines Fahrzeugs. Die Infrarot-Lichtquellen unterscheiden sich insbesondere von Lichtquellen zur Anzeige von Bildern im Bereich des sichtbaren Lichts.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 zeigt schematisch eine Datenbrille gemäß einem Ausführungsbeispiel.
2 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel.

Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
1 zeigt schematisch eine Datenbrille 1 gemäß einem Ausführungsbeispiel. Die Datenbrille 1 umfasst zwei Teilanzeigen 2, je eine für das linke und das rechte Auge. Des Weiteren umfasst die Datenbrille 1 eine Kamera 3 und eine Auswerteeinheit 4. Nicht in 1 dargestellt, aber von der Datenbrille 1 umfasst ist ein Akkumulator und ein Wi-Fi Modul zur drahtlosen Funkübertragung. Die Datenbrille wird wie eine typische Sehhilfe auf dem Kopf getragen, wobei die Datenbrille auf der Nase und den Ohren aufliegt. Die Kamera 3 ist in Blickrichtung des Trägers (nicht gezeigt) der Datenbrille 1 ausgerichtet und nimmt im Wesentlichen das Blickfeld des Trägers der Datenbrille 1 auf. Die Kamera 3 macht fortlaufend Aufnahmen, also beispielsweise alle 16 ms, im Bereich des Infrarotlichts. Die Verwendung von Infrarotlicht hat generell den Vorteil, dass bei einem Einsatz im Fahrzeug auch bei Nacht die Funktion des Systems gewährleistet wird. Nicht in 1 dargestellt, aber von der Datenbrille 1 umfasst ist ein Akkumulator und ein Wi-Fi Modul zur drahtlosen Funkübertragung.
2 zeigt schematisch die Verwendung einer Datenbrille 1 in einem Fahrzeug (nicht dargestellt) gemäß einem Ausführungsbeispiel. Die Vorrichtung umfasst die Datenbrille 1 gemäß 1 und eine Anzeige 5, die im Armaturenbrett des Fahrzeugs verbaut ist. Die Anzeige 5 wird von einer Ansteuereinheit 7 mit Befehlen beaufschlagt. Die Anzeige 5 dient im Fahrzeug zunächst dazu, als Anzeige im Rahmen eines Anzeige-Bedien-Konzeptes Menüstrukturen, Auswahlen und graphische Elemente für den Fahrer des Fahrzeugs anzuzeigen. Zu diesem Zweck umfasst die Anzeige 5 ein OLED Display. Zusätzlich ist in der Hinterleuchtung des OLED Displays eine Infrarot-Hinterleuchtung integriert. Vor der Hinterleuchtung und auf der Fläche der Anzeige 5 ist eine IR-Maske aufgebracht, die IR Licht blockiert. Die IR-Maske ist allerdings mit Auslassungen versehen, durch die IR Licht die Maske passieren kann.
In 2 zeigt schematisch wie die IR-Kamera 3 das IR-Muster 6 der Anzeige 5 aufnimmt. Das IR-Muster umfasst zwei klar begrenzte stark kontrastierte Rechtecke 6, die aufgrund der Auslassungen in der Maske entstehen. Mithilfe dieses Musters kann die Pose der Datenbrille in der nachfolgenden Verarbeitung genau bestimmt werden. In dem von der Kamera 3 empfangenen Bildstrom wird die Abbildung des IR-Musters in den Aufnahmen erkannt. Mithilfe der Kenntnis der Position und Ausrichtung der Anzeige 5 bestimmt die Datenbrille 1 ihre Pose relativ zur Anzeige 5.
Die Datenbrille 1 empfängt von einer Recheneinheit mit Funkmodul des Fahrzeugs (nicht dargestellt) die Position eines zu markierenden Objekts im Umfeld des Fahrzeugs. Die Position des zu markierenden Objektes wird relativ zur Anzeige 5 angegeben. Ferner überträgt das Fahrzeug die Gestalt der kontaktanalogen Darstellung. Die Auswerteeinheit 4 ermittelt den Ort auf der Anzeige 2 der Datenbrille 1, an dem eine kontaktanaloge Darstellung anzuzeigen ist. Die Datenbrille 1 zeigt die Darstellung am ermittelten Ort an, wodurch die Darstellung für den Träger der Datenbrille auf kontaktanaloge Art erscheint.

Claims

System zum Bestimmen der Pose einer Datenbrille (1) in einem Fahrzeug, umfassend die Datenbrille (1), umfassend: Eine Anzeige (2), die beim Tragen der Datenbrille (1) nahe dem oder den Augen des Benutzers angeordnet ist; Eine Infrarotlicht-Kamera (3), die dazu eingerichtet ist, in den Kamera-Aufnahmen im Wesentlichen Infrarotlicht abzubilden; Elektronische Verarbeitungsmittel (4); wobei die Datenbrille (1) dazu eingerichtet ist, die folgenden Schritte auszuführen: Aufnehmen der Umgebung der Datenbrille (1) mithilfe der Infrarotlicht-Kamera (3); Erkennen zumindest eines von einer weiteren Anzeige (5) angezeigten vordefinierten Infrarotmusters (6) in den Aufnahmen; Bestimmen der Pose der Datenbrille (1), also die Ausrichtung und Position der Datenbrille (1) in Abhängigkeit des erkannten vordefinierten Infrarotmusters (6); wobei: die weitere Anzeige (5), die im Fahrzeug angeordnet ist, Mittel umfasst zum Anzeigen von Bildern im Bereich des sichtbaren Lichts und Mittel zum Aussenden von Infrarotlicht, wobei die Mittel zum Aussenden von Infrarotlicht dazu eingerichtet sind, das Infrarotlicht unabhängig von den Mitteln zum Anzeigen von Bildern im Bereich des sichtbaren Lichts auszusenden.
System nach Anspruch 1, wobei die Datenbrille (1) ferner dazu eingerichtet ist, folgenden Schritt auszuführen: Anzeigen eines Hinweises, insbesondere auf kontaktanaloge Weise, auf der Anzeige, die beim Tragen der Datenbrille (1) nahe dem oder den Augen des Benutzers angeordnet ist, in Abhängigkeit der bestimmten Pose der Datenbrille (1).
System nach Anspruch 1, wobei die Mittel zum Aussenden von Infrarotlicht Pixel, insbesondere LEDs, oder Flächen umfassen, die jeweils im Wesentlichen nur Infrarotlicht aussenden; wobei die Pixel insbesondere unabhängig voneinander ansteuerbar sind.
System nach Anspruch 3, wobei die Mittel zum Aussenden von Infrarotlicht dazu eingerichtet sind, Infrarotlicht im Wesentlichen gleichmäßig über eine Fläche auszusenden;
System nach Anspruch 4, wobei die Fläche im Wesentlichen den Bereich abdeckt, in dem Bilder im Bereich des sichtbaren Lichts angezeigt werden, und insbesondere als Hinterleuchtung oder Hintergrundbeleuchtung ausgestaltet ist.
System nach einem der Ansprüche 3 oder 4, wobei die weitere Anzeige ferner eine Infrarotlicht-Maske umfasst, nämlich eine Maske, die Bereiche umfasst, die Infrarotlicht passieren lassen, insbesondere Auslassungen in der Maske, und Bereiche die Infrarotlicht im Wesentlichen blockieren, wobei die Infrarotlicht-Maske in Betrachtungsrichtung der weiteren Anzeige vor der Fläche angeordnet ist.
Verfahren zum Bestimmen der Pose einer Datenbrille (1), wobei das Verfahren von einem System nach einem der vorhergehenden Ansprüche ausgeführt wird, wobei das Verfahren umfasst: Aufnehmen der Umgebung der Datenbrille (1) mithilfe einer Infrarotlicht-Kamera (3) der Datenbrille (1); Erkennen zumindest eines von der weiteren Anzeige (5) angezeigten vordefinierten Infrarotmusters (6) in den Aufnahmen; Bestimmen der Pose der Datenbrille (1), also die Ausrichtung und Position der Datenbrille (1) in Abhängigkeit des erkannten vordefinierten Infrarotmusters (6); Anzeigen eines Hinweises, insbesondere auf kontaktanaloge Weise, auf der Anzeige (2) der Datenbrille in Abhängigkeit der bestimmten Pose der Datenbrille (1).