-
Die Erfindung betrifft eine Vorrichtung zum kontaktanalogen Anzeigen von Informationen auf einem Head-mounted Display (HMD), hierin auch Datenbrille genannt.
-
Heutzutage sind Datenbrillen bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung und die Pose der Datenbrille in Relation zum Objekt bekannt sein, also die Position der Datenbrille und die Ausrichtung der Datenbrille.
-
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise
WO 2013/012914 .
-
Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Informationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer oder Objekte im Fahrzeug betreffen. Um kontaktanaloge Informationen anzeigen zu können muss in den meisten Fällen auch hier die Pose der Datenbrille bekannt sein.
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mit dem die Pose der Datenbrille bestimmt werden kann und darauf aufbauend auf kontaktanaloge Weise Informationen angezeigt werden können.
-
Die Aufgabe der Erfindung wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
In einem ersten Aspekt umfasst eine Vorrichtung zum Bestimmen der Pose einer Datenbrille: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel; Wobei die Vorrichtung zu Folgendem eingerichtet ist: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt. Insbesondere umfasst das Verfahren auch: kontaktanaloges Anzeigen von Informationen unter Verwendung der bestimmten Pose der Datenbrille. Zusätzlich kann das Verfahren das Bestimmen der Position des Merkmals in der Umgebung der Datenbrille umfassen. Die Pose der Datenbrille kann die Ausrichtung der Datenbrille in einem dreidimensionalen Raum und die Position der Datenbrille in einem dreidimensionalen Raum beschreiben. Der Bereich der Umgebung kann auch als „Area of Interest“ bezeichnet werden.
-
Gemäß der Erfindung wird vorgeschlagen die aufgenommene Umgebung nach vordefinierten Bereichen abzusuchen. Innerhalb der Bereiche werden dann ein oder mehrere Merkmale identifiziert, anhand derer die Pose der Datenbrille bestimmt werden kann. Dieses bzw. diese Merkmale sind typischerweise zunächst unbekannt und werden durch die Identifizierung erst „erlernt“. Ein Merkmal ist zunächst eine in der Aufnahme der Kamera erkannte Struktur bzw. Form, auf dessen bzw. deren Basis die Pose der Datenbrille ermittelt werden kann. Idealerweise kann mithilfe des Merkmals die Pose besonders gut ermittelt werden. Ein Merkmal entsteht typischerweise durch die Abbildung eines Gegenstand oder der Teil eines Gegenstands, der sich zur Ermittlung der Pose der Datenbrille eignet, beispielsweise ein Papierblatt oder klar gegenüber dem Hintergrund abgegrenzte Gegenstände. Das Merkmal ist idealerweise mit der Kamera gut erfassbar, also klar begrenzt und ausreichend kontrastiert.
-
Gerade in der Situation, dass die Datenbrille von dem Fahrer oder Beifahrer in einem Fahrzeug getragen wird, ergibt sich, dass die Aufnahmen der Kamera der Datenbrille sowohl den Innenraum des Fahrzeugs als auch das Umfeld des Fahrzeugs abbilden. Für die meisten Anwendungen wird jedoch die Pose der Datenbrille in Relation zum Fahrzeug benötigt. Deshalb kann für die Bestimmung der Pose der Datenbrille nicht auf die Aufnahmen der Umgebung außerhalb des Fahrzeugs zurückgegriffen werden, da sich diese typischerweise relativ zum Fahrzeug bewegt. Weiterhin sind Gegenstände im Umfeld des Fahrzeugs bei Fahrt des Fahrzeugs häufig nicht lange genug in der Aufnahme sichtbar, um sinnvoll für eine Posenermittlung verwendet werden zu können. Die vorliegende Erfindung schlägt für eine typische Implementierung vor, in der Aufnahme der Kamera diejenigen Bereiche des Umfeldes der Datenbrille zu erkennen, die den Innenraum des Fahrzeugs abbilden. Dafür werden vorgespeicherte Angaben zum Innenraum zur Verfügung gestellt, die die Erkennung des Innenraums ermöglichen. Im Innenraum erkannte Merkmale in der Aufnahme dienen dann zur Bestimmung der Pose der Datenbrille.
-
In einer typischen Implementierung wird das Bestimmen der Position des Merkmals und das Bestimmen der Pose der Datenbrille durch einen Algorithmus zum gleichzeitigen Positionieren und Kartenbilden ausgeführt, einem sogenannten SLAM (Simultaneous Localization and Mapping). Bei den Merkmalen handelt es sich typischerweise um ein Merkmal, dessen Position in der Umgebung der Datenbrille unbekannt ist. Beispielsweise ein Blatt Papier, das auf dem Armaturenbrett eines Fahrzeugs liegt. Die Position dieses Papiers ist veränderlich und wird durch den SLAM Algorithmus erst erlernt, woraufhin auch die Position der Datenbrille anhand des Merkmals ermittelt werden kann. Der SLAM Algorithmus wird dabei nicht auf die gesamte Kameraaufnahme angewandt, sondern nur auf den abgebildeten Bereich des Umfeldes, der der Vordefinition entspricht. Es wird also eine Vorprozessierung ausgeführt, die die Auswahl an Merkmalen für den SLAM Algorithmus einschränkt.
-
In einem typischen Szenario ist das Merkmal des Umfeldes zunächst unbekannt. Es ist beispielsweise nicht bekannt, ob und wo ein Blatt Papier auf dem Armaturenbrett eines Fahrzeugs liegt. Das Merkmal wird in einer Weiterbildung deshalb anhand einer vordefinierten Regel bestimmt. Diese Regel kann aus der Aufnahme der Kamera Merkmale bestimmen, die sich für die Bestimmung der Pose besonders gut eignen, natürlich nur innerhalb der erkannten vordefinierten Bereiche. Die Eignung kann sich aus der Form des Merkmals, dem Kontrast zum Hintergrund oder anhand einer Objektklassifizierung ergeben.
-
Die elektronischen Rechenmittel können einen Mikrocontroller, einen anwendungsspezifischen Schaltkreis oder eine typische CPU umfassen. Bevorzugt ist sogar die Datenbrille selbst mit den elektronischen Rechenmitteln ausgestattet. Zusätzlich umfasst die Datenbrille vorteilhafterweise einen Energiespeicher (Akkumulator oder Batterie) und Kommunikationsmittel, insbesondere zur drahtlosen Kommunikation mittels Protokollen wie Bluetooth oder Wi-Fi.
-
In einer vorteilhaften Weiterbildung umfasst das Erkennen der Abbildung des Bereiches: Bereitstellen mehrerer vordefinierter und gespeicherter Bereiche der Umgebung; wobei für die Bereiche eine Reihenfolge vorgegeben ist; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Bereiches der mehreren Bereiche in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Bereiches, dessen Abbildung zuerst erkennbar war. Es wird also eine Priorisierung von Bereichen des Umfeldes eingeführt. Die Reihenfolge kann sich danach richten, inwiefern in einem Bereich geeignete Merkmale vermutet werden. Im Bereich der Anzeige des Geschwindigkeitsmessers mit einem Zeiger in einem Fahrzeug beispielsweise würden eher keine geeigneten Merkmale vermutet, da sich der Zeiger bei der Fahrt bewegt und seine Position verändert. In Bereichen des Armaturenbretts, in denen typischerweise nur Gegenstände abgelegt werden, ohne dass sich dort sich fortlaufend bewegende Teile befinden, können jedoch geeignete Merkmale vermutet werden. Die Annahme, in einem Bereich des Umfeldes geeignete Merkmale zu finden, und die Quantifizierung dieser Annahme spiegelt sich vorteilhafterweise in der vorgegebenen Reihenfolge aus. Die Reihenfolge kann durch eine Wahrscheinlichkeitszahl vorgegeben sein. Die Bestimmung der Pose wird dann mithilfe eines Merkmals in dem Bereich ausgeführt, dem die höchste Priorität (in Form einer Position in der Reihenfolge) zugewiesen ist. Zusätzlich können natürlich auch weitere Merkmale in demselben Bereich oder in weiteren Bereichen zur Bestimmung der Pose verwendet werden.
-
In einer besonders bevorzugten Ausführungsform ist die Vorrichtung ferner zu Folgendem eingerichtet: Erkennen eines Fixmerkmals in den Aufnahmen, nämlich eines Merkmals, das vordefiniert ist; Abrufen der gespeicherten Position des Fixmerkmals in der Umgebung der Datenbrille; wobei das Fixmerkmal und dessen Position in der Umgebung in einer Datei gespeichert sind; Bestimmen der Pose der Datenbrille unter Berücksichtigung des erkannten Fixmerkmals, und insbesondere auch unter Berücksichtigung des bestimmten Merkmals. Es wird somit vorgeschlagen, zusätzlich zur Bestimmung der Pose über zuerst unbekannte Merkmale, auch bereits bekannte Merkmale in der Umgebung zu verwenden. Dazu werden bekannte (und gespeicherte) Merkmale in der Aufnahme der Kamera erkannt und deren Position abgerufen bzw. bereitgestellt. Aufbauend auf diesen Informationen kann dann die Pose der Datenbrille bestimmt werden.
-
In einer besonders bevorzugten Ausführungsform, wird die Pose der Datenbrille zunächst nur unter Berücksichtigung der erkannten Fixmerkmale bestimmt. Diese erste Posenbestimmung kann beim ersten Aktivieren der Vorrichtung vorgenommen werden. Anschließend können dann die Schritte des Erkennens des Bereiches, des Bestimmens eines (bisher unbekannten) Merkmals und des Bestimmens der Pose der Datenbrille auf dem (bisher unbekannten) Merkmal und ausgeführt werden. Der Algorithmus zur Bestimmung der Pose kann dazu ausgelegt sein, eine bereits vorhandene Bestimmung der Pose bei der Bestimmung der Pose unter zusätzlicher Verwendung von neu erlernten Merkmalen vorteilhaft zu verwenden. Dadurch können die neu erlernten Merkmale mit weniger Rechenaufwand für die Posenbestimmung verwendet werden und/oder die Genauigkeit der Posenbestimmung unter Berücksichtigung der neu erlernten Merkmale verbessert werden.
-
Die Verwendung der neu erlernten (und zusätzlichen) Merkmale dient generell der Steigerung der Genauigkeit der Posenbestimmung. Zudem kann die Posenbestimmung durch die Verwendung von Fixmerkmalen und neu erlernten Merkmalen robuster werden. Beispielsweise könnte es aufgrund der Ausrichtung der Datenbrille dazu kommen, dass keine oder eine nur unzureichende Anzahl an Fixmerkmalen durch die Kamera der Datenbrille aufgenommen werden. Ebenso könnte es dazu kommen, dass Fixmerkmale von anderen temporär vorhandenen Gegenständen verdeckt werden. Gegebenenfalls werden in dieser Ausrichtung der Datenbrille aber immer noch neu erlernte Merkmale aufgenommen, mit deren Hilfe dann eine Posenbestimmung vorgenommen werden kann. Die Vergrößerung der Anzahl und/oder der Verteilung der Merkmale ermöglicht eine robustere und genauere Posenbestimmung.
-
Das Erkennen eines Fixmerkmals umfasst insbesondere: Bereitstellen mehrerer Fixmerkmale; wobei für die Fixmerkmale eine Reihenfolge vorgegeben ist, insbesondere durch einen Wahrscheinlichkeitswert für jedes Merkmal; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Fixmerkmals in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Fixmerkmals, dessen Abbildung zuerst erkennbar war. Es kann ebenfalls vorgesehen sein, dass auch weitere erkannte Fixmerkmale bereitgestellt werden. Ein Fixmerkmal kann beispielsweise die Struktur des Rahmens der Windschutzscheibe sein, die in der Aufnahme der Kamera als klar begrenzte Form erkennbar ist. Weiterhin kann das Fixmerkmal eine erkennbare Kante im Armaturenbrett sein.
-
In einer Erweiterung umfasst die Datenbrille ferner einen Lagesensor umfasst, insbesondere ein Gyroskop und/oder einen Beschleunigungssensor; wobei die Vorrichtung ferner zu Folgendem eingerichtet ist: Empfangen von Sensormessungen; Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen basierend auf der mithilfe des Merkmals bestimmten Pose. Es wird also vorgeschlagen die Pose mithilfe des erkannten (des neu erlernten und ggf. des Fix-)Merkmals zu bestimmen. Aufbauend darauf können dann Sensormessungen von Lagesensoren verwendet werden, um die Pose weiterhin zu bestimmen. Hierin wird die Kamera nicht als ein Lagesensor verstanden.
-
In einer typischen Implementierung der Erweiterung wird das Bestimmen der Pose unter Berücksichtigung des bestimmten Merkmals wiederholt und mit einem ersten Zyklus ausgeführt; wobei das Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen wiederholt und mit einem zweiten Zyklus ausgeführt wird; wobei insbesondere der zweite Zyklus kürzer als der erste Zyklus ist und weiter insbesondere der erste Zyklus ein Vielfaches des zweiten Zyklus ist. Es wird somit vorgeschlagen die Pose mithilfe der Merkmale mit einem ersten Zyklus zu bestimmen und die Pose dann basierend auf den Sensormessungen und einem zweiten Zyklus fortzuschreiben. Die Bestimmung der Pose basierend auf Kameraaufnahmen und die dazugehörige Auswertung können im Vergleich zu einer Posenbestimmung basierend auf Messungen von Lagesensoren mehr Rechenzeit und mehr Energieverbrauch in Anspruch nehmen. Um die Pose möglichst häufig zu aktualisieren kann es sich deshalb anbieten zwischen den ersten Zyklen die Pose mithilfe der Sensormessungen fortzuschreiben. Typische Zykluszeiten für den ersten Zyklus sind beispielsweise 16 ms und Zykluszeiten für den zweiten Zyklus sind beispielsweise 1 ms. Die Pose wird also 15 mal zwischen zwei Bestimmungen über die Kameraaufnahme durch die Sensormessungen bestimmt. Typischerweise ist die Güte der Messungen von Lagesensoren und darauf aufbauend die Bestimmung der Pose aufgrund der Drift der Lagesensoren schlechter, als die Genauigkeit der Bestimmung der Pose basierend auf Kameraaufnahmen. Aus diesem Grund erscheint die Bestimmung der Pose basierend auf Kameraaufnahmen nötig, um eine ausreichende Genauigkeit der Posenbestimmung zu gewährleisten. Bei der Verwendung von hochgenauen Lagesensoren mit sehr geringer Drift kann in Betracht gezogen werden, die Zykluszeiten für die Posenbestimmung mithilfe der Kamera wesentlich zu erhöhen.
-
In einer Ausgestaltung kann die Posenbestimmung aufbauend auf Kameraaufnahmen mit der Posenbestimmung aufbauend auf Messungen der Lagesensoren verglichen werden und daraus die Messungenauigkeit (Drift) der Lagesensoren bestimmt und für zukünftige Bestimmungen der Pose aufbauend auf Lagesensormessungen berücksichtigt werden. Hierdurch wird die Genauigkeit der Posenbestimmung aufbauend auf Lagesensormessungen verbessert.
-
Es kann vorgesehen sein, dass ein Fahrzeug, insbesondere ein Personenkraftwagen, eine der obengenannten Vorrichtungen umfasst.
-
In einem anderen Aspekt umfasst ein Verfahren zum kontaktanalogen Anzeigen von Informationen auf einer Datenbrille, wobei die Datenbrille eine Anzeige und eine Kamera umfasst: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Position des Merkmals in der Umgebung der Datenbrille; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt; Kontaktanaloges Anzeigen der Informationen unter Verwendung der bestimmten Pose der Datenbrille. Das Verfahren wird bevorzugt von einer der vorhergehend aufgeführten Vorrichtungen ausgeführt.
-
In einer weiterführenden Ausprägung wird vorgeschlagen, das von einer in der Datenbrille eingebauten Kamera aufgenommene aktuelle Bild mit einem Referenzbild des Fahrzeuginnenraums abzugleichen und somit entsprechende Formen und Objekte erkennen zu können. Eine gleichzeitige Erlernung des Referenzbildes ist hier auch möglich. Zur Erkennung von Objekten werden in den Bildern gleiche Objekte gefunden und daraus Rückschlüsse gezogen. Ein Ansatz für die Lösung des Problems aus der Robotik ist z.B. der SLAM-Algorithmus, es gibt jedoch diverse andere verwendbare Algorithmen. Dabei wird eine interne Karte des Fahrzeuges auf Basis von eindeutigen und nicht veränderbaren Merkmalen des Interieurs erstellt. Da sich Teile dieses Interieurs aber bewegen oder verändern wie z.B. Lenkrad oder Schaltknauf, kann der Algorithmus durch Implementierung von „Areas of Interest“ optimiert werden.
-
Bei der Benutzung des Systems wird ein Abgleich mit dieser internen Karte durchgeführt und es ist somit möglich, die Datenbrille im Interieur zu lokalisieren. Nach jedem Durchlauf der Sensoren werden die Daten ausgewertet und die interne Karte des Innenraums erweitert und verbessert, um die Genauigkeit zu erhöhen. Dabei wird mit einer statischen Karte begonnen und diese während der Laufzeit dynamisch um neue erlernte Features, also Merkmale, erweitert. Der Grund für dynamische Karten sind Fremdobjekte im Sichtbereich, die gelernte Features in der statischen Karte überdecken, jedoch ihrerseits gute Features liefern können (beispielsweise Prospekt auf dem Armaturenbrett).
-
Durch das Verfahren wird nicht nur die Position in 3 Freiheitsgraden, sondern auch die rotatorische Ausrichtung in 3 Freiheitsgraden bestimmt. Dadurch kann die Kopfbewegung des Benutzers errechnet (6D-Pose), sein aktuelles Sichtfeld bestimmt und möglicherweise auf dieses reagiert werden.
-
Erweitert werden kann das Verfahren, indem nicht nur eine Kamera eingesetzt wird, sondern zusätzlich weitere Sensoren in der Brille verbaut werden, beispielsweise Inertialsensorik. Diese erlauben zwar alleine keine zuverlässige Bestimmung der Pose, bieten jedoch eine deutlich höhere Updaterate (z.B. 512 Hz anstelle von 30 Hz Kamera). Während mit der Kamera die Posen-Bestimmung präzise aber selten geschieht, kann in der Zwischenzeit mit Hilfe der Inertialsensorik eine ungenauere Zwischenpose ermittelt werden und somit eine hohe Updaterate der Pose erzielt werden. Zu jedem Zeitpunkt, an dem eine präzise Posen-Bestimmung durch die Kamera erfolgt, kann zudem der Drift der Inertialsensorik ausgeglichen werden und darüber hinaus sogar Drift und Fehler der Inertialsensorik geschätzt werden, sodass die zukünftige Ungenauigkeit bei der rein Inertialsensorik basierenden Zwischenposen-Bestimmung minimiert werden kann.
-
Weitere vorteilhafte Ausgestaltungen:
-
In einer ersten Ausgestaltung wird ein HUD (Head-Up Display) im gewohnten Funktionsumfang an der gewohnten, fahrzeugfesten Position simuliert, ohne dass jedoch im Fahrzeug ein echtes HUD verbaut sein muss. Hier können Bau Raum und Kosten gespart werden und später zusätzlich schneller und einfacher Aktualisierungen vorgenommen werden.
-
Eine zweiten Ausgestaltung wäre die kontaktanaloge, weltfeste Routenführung der Navigation, bei der die Routenanweisungen kontaktanalog auf der Straße platziert werden können (und somit nicht fahrzeugfest sondern weltfest).
-
In einer dritten Ausgestaltung könnten die bisher dargestellten Informationen durch weitere Funktionen wie z.B. einen komplett virtuellen Rückspiegel erweitert werden. Des Weiteren durch die Erkennung der Pose auch ein Rückschluss auf das Blickfeld des Benutzers möglich. Damit kann z.B. die Anzeige in einem Display bei Blickzuwendung entweder heller erscheinen oder die dargestellten Informationen könnten (aufgrund des offensichtlichen Interesses des Fahrers) vergrößert werden.
-
In einer vierten Ausgestaltung wird die Positionierung der Brille verwendet, um festzustellen, auf welchem Sitzplatz in einem Fahrzeug der aktuelle Benutzer sitzt. Denkbar ist hier der Fall, dass mehrere Insassen eine Datenbrille aufhaben und unterschiedliche Informationen sehen wollen. Die dargestellten Informationen lassen sich somit an den Träger anpassen, z.B. werden Warnungen nur der Person auf dem Fahrersitz dargestellt.
-
Durch das Verfahren können andere Baugruppen in Fahrzeugen wie ein Head-Up Display effizient ersetzt werden, was eine Energie- und Kostenersparnis mit sich bringt. Gleichzeitig ist das beschriebene System so flexibel, dass keine unerwünschte Überblendung realer Objekte erfolgt. Es wird erheblicher Bauraum im Fahrzeug eingespart.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel
-
2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel. Die Datenbrille 1 umfasst zwei Teilanzeigen 2, je eine für das linke und das rechte Auge. Des Weiteren umfasst die Datenbrille 1 eine Kamera 3 und eine Recheneinheit 4. Nicht in 1 dargestellt, aber von der Datenbrille 1 umfasst ist ein Akkumulator und ein Wi-Fi Modul zur drahtlosen Funkübertragung. Die Datenbrille wird wie eine typische Sehhilfe auf dem Kopf getragen, wobei die Datenbrille auf der Nase und den Ohren aufliegt. Die Kamera 3 ist in Blickrichtung des Trägers (nicht gezeigt) der Datenbrille 1 ausgerichtet und nimmt im Wesentlichen das Blickfeld des Trägers der Datenbrille 1 auf. Die Kamera 3 macht fortlaufend Aufnahmen, also beispielsweise alle 16 ms, im sichtbaren Bereich des Lichts. Zusätzlich nimmt die Kamera 3 auch im Infrarotlichtbereich auf. Bei einem Einsatz im Fahrzeug, bei dem der Fahrer und der Innenraum des Fahrzeugs bei Nacht mit Infrarotlicht beleuchtet werden, kann somit auch bei Nacht die Funktion des Systems gewährleistet werden.
-
2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Optionale Schritte sind in 2 gestrichelt dargestellt. Das Verfahren nach 2 wird von der Datenbrille 1 nach 1 ausgeführt. Im Schritt S1 werden Aufnahmen der Kamera 3 von der Umgebung der Datenbrille 1 bereitgestellt. Im Schritt S4 werden gespeicherte und vordefinierte Bereiche der Umgebung erkannt. Daraufhin werden bisher unbekannte Merkmale in den erkannten Abbildungen der Bereiche bestimmt, S5. Zusätzlich können in den Aufnahmen vordefinierte Fixmerkmale erkannt werden, deren Position im Fahrzeug bekannt ist, S2 und S3. Basierend auf den bestimmten Merkmalen und den erkannten Fixmerkmalen wird die Pose der Datenbrille bestimmt, S6. Es kann vorgesehen sein, dass die Aufnahmen der Umgebung sequentiell, also nacheinander bereitgestellt werden und die Schritte S2, S3, S4 und S5 für jede Aufnahme erneut ausgeführt werden. In einer Implementierung kann auch vorgesehen sein, zunächst anhand mehrerer Aufnahmen die Schritte S4 und S5 auszuführen. Anschließend werden die in Schritt S5 bestimmten Merkmale nur noch in den nachfolgend bereitgestellten Aufnahmen verfolgt. Es wird somit eine Sammlung (manchmal auch „dynamische Karte“ genannt) von neu erlernten Merkmalen aufgebaut, die dann getrackt werden. In vorgegebenen Intervallen können erneut die Schritte S4 und S5 ausgeführt werden, um die erlernten Merkmale zu aktualisieren.
-
Aufbauend auf der mithilfe der Kameraaufnahmen bestimmten Pose kann die Pose basierend auf Sensormessungen eines oder mehrerer Lagesensoren fortgeschrieben werden, Schritte S7 und S8. Dies kann fortlaufend in einem Zyklus B von z.B. 1 ms geschehen. Da allerdings die Genauigkeit der Lagesensoren typischerweise schlechter ist, als die Genauigkeit der Posenbestimmung mithilfe der Kameraaufnahmen, ist meist eine Posenbestimmung mithilfe der Kameraaufnahmen nach mehreren B-Zyklen nötig. Dies geschieht durch den Zyklus A, der beispielsweise 16 ms lang sein kann.
-
Die so fortlaufend bestimmten Posen können dazu verwendet werden, Informationen kontaktanalog anzuzeigen. Insbesondere lässt sich mit der so bestimmten Pose die Funktion eines „transparenten Teils“ eines Fahrzeugs realisieren. Dabei nimmt eine Kamera im Außenbereich des Fahrzeugs die Umgebung des Fahrzeugs auf. Diejenigen Teile dieser Aufnahmen (beispielsweise ein Videostream), die der Benutzer aufgrund von Verdeckungen durch die Karosserie des Fahrzeugs nicht sehen kann, werden dem Benutzer dann an den Stellen der Verdeckung über die Anzeigen der Datenbrille angezeigt. Ein typischer Anwendungsfall hierfür entsteht beim Einparken. Mithilfe der Bestimmten Pose der Datenbrille können einem Fahrer so zum Beispiel Videoaufnahmen im direkten Umfeld des Fahrzeugs angezeigt werden. Der Fahrer kann Bordsteine oder Stoßstangen der nächsten Fahrzeuge „durch die Karosserie hindurch“ erkennen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
