DE102017215024A1

DE102017215024A1 - Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen für eine Head-Up-Display-Vorrichtung für ein Kraftfahrzeug

Info

Publication number: DE102017215024A1
Application number: DE102017215024.6A
Authority: DE
Inventors: Stephan Max; Fabian Nikolayzik
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2019-02-28

Abstract

Ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug. In einem ersten Schritt werden statische Merkmale in Bilddaten einer Kamera des Kraftfahrzeugs detektiert (10). Durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten wird dann eine Position des Kraftfahrzeugs ermittelt (11). Die detektierten statischen Merkmale sowie statische Merkmale aus den Kartendaten werden anschließend auf einen Darstellungsbereich der Head-up-Display-Vorrichtung transformiert (12). Die transformierten detektierten statischen Merkmale und die transformierten statischen Merkmale aus den Kartendaten werden schließlich an eine Darstellungseinheit zum Generieren einer Anzeige der Head-up-Display-Vorrichtung ausgegeben (13).

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Erfindung betrifft weiterhin ein Kraftfahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.
Mit der stetigen Weiterentwicklung von Virtual & Augmented Reality-Technologien und - Anwendungen finden diese auch Einzug in das Automobil. Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt.
Eine mögliche technische Realisierung, um den Fahrerarbeitsplatz entsprechend mit perspektivisch korrekten virtuellen Erweiterungen anzureichern, bietet das Head-Up-Display (HUD). Dabei werden die Lichtstrahlen eines im Armaturenbrett verbauten Displays über mehrere Spiegel und Linsen gefaltet und über eine Projektionsfläche in das Auge des Fahrers gespiegelt, sodass dieser ein virtuelles Bild außerhalb des Fahrzeuges wahrnimmt. Als Projektionsfläche dient im Automobilbereich oftmals die Frontscheibe, deren gekrümmte Form bei der Darstellung berücksichtigt werden muss. Als Alternative wird zum Teil auch eine zusätzliche Scheibe aus Glas oder Kunststoff genutzt, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Durch die optische Überlagerung von Anzeige und Fahrszene sind weniger Kopf- und Augenbewegungen zum Ablesen der Informationen notwendig. Zudem verringert sich der Adaptationsaufwand für die Augen, da abhängig von der virtuellen Distanz der Anzeige weniger bis gar nicht akkommodiert werden muss. Aktuelle Serien-HUDs beschränken sich jedoch auf Anzeigen direkt unter dem primären Sichtbereich des Fahrers und enthalten redundante Informationen, wie z.B. die Geschwindigkeitsanzeige, die auch an anderer Stelle im Cockpit wiederzufinden sind. Diese Anzeigetechnologie reduziert zwar Blickabwendungen von der Straße, hat aber weiterhin den Nachteil, dass die präsentierten Informationen interpretiert und auf die reale Situation übertragen werden müssen, da sie nicht in der realen Szene registriert sind. Dies kann in komplexen Situationen einen mental beanspruchenden kognitiven Prozess darstellen. Durch Markieren von Objekten und Einblenden von Informationen an ihrem realen Bezugsort, d.h. durch eine kontaktanaloge Darstellung, lassen sich umweltbezogene Informationen im Sichtfeld des Fahrers direkt darstellen. Diese direkte grafische Anreicherung der Umwelt in Form von Augmented Reality kann die kognitiven Transferanforderungen erheblich reduzieren.
In diesem Zusammenhang offenbart die DE 10 2014 214 516 A1 eine Vorrichtung, insbesondere eine Datenbrille oder ein Head-Up Display, zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs. Die Vorrichtung ist eingerichtet Daten, insbesondere visuelle Medieninhalte, in einem Bildausschnitt des Sichtfelds des Insassen wiederzugeben, welcher momentan und voraussichtlich auch zukünftig keine für den Verkehr um das Fahrzeug wesentliche Umgebungsinformation enthält.
Augmented Reality bietet vielfältige Anwendungsmöglichkeiten zur Unterstützung des Fahrers durch kontaktanaloge Markierung von Fahrbahnen und Objekten. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen in herkömmlichen HUDs in der Regel schematische Darstellungen anzeigen, z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR-Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als „Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen durch den Nutzer möglich. In modernen Kraftfahrzeugen werden vielfältige Daten durch Umfeldsensoren erfasst. Ziel aktueller Entwicklungen ist es, diese Daten sinnvoll in Augmented-Reality-Darstellungen zu integrieren.
Gegenwärtig werden die Informationen der Umfeldsensoren separat gesammelt und von einer zentralen Vorverarbeitung perspektivisch richtig zusammengesetzt. Dazu muss eine Zeit-synchrone Datenerfassung zwischen den Sensoren sichergestellt werden. Zudem müssen die Daten entsprechend des Sichtbereichs des Fahrers transformiert werden. Dabei muss die Verarbeitung mit sehr geringen Latenzen umgesetzt werden, um die optische Wahrnehmung der Augmented-Reality-Darstellung zu erhalten.
Vor diesem Hintergrund beschreibt die DE 10 2013 226 969 A1 eine Head-up-Display-Einrichtung für ein Fahrzeug. Die Head-up-Display-Einrichtung nutzt eine Augmented-Reality-Darstellung und ist in der Lage, einen transversalen Fehler zwischen einer tatsächlichen Position eines Frontfahrzeugs vor dem Fahrzeug und seiner Position in einem graphischen Bild zu korrigieren, wenn das Frontfahrzeug auf einer kurvenförmigen Straße fährt und das graphische Bild des Frontfahrzeugs als AR-Darstellung erzeugt wird.
Ein weiteres Head-Up Display, das eine Augmented-Reality-Darstellung nutzt, ist aus der DE 10 2015 218 162 A1 bekannt. Das Head-Up Display ist in der Lage, Wahrnehmungsfehler bei AR-Graphiken, die durch den Fahrer oder Anwender wahrgenommen werden, zu minimieren. Zu diesem Zweck werden eine Position eines Objekts außerhalb des Fahrzeugs, auf welches der Fahrer blickt und eine Position eines Auges des Fahrers, während der Fahrer eine auf einer Windschutzscheibe des Fahrzeugs angezeigte AR-Information betrachtet, detektiert. Basierend auf der Objektposition werden AR-Anzeigekoordinaten des Objekts extrahiert. Basierend auf der Augenposition werden AR-Anzeigekoordinaten des Auges extrahiert. Mittels Fehlerkorrektur-Parametern werden dann Fehler in den AR-Anzeigekoordinaten des Objekts und Fehler in den AR-Anzeigekoordinaten des Auges korrigiert.
Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für das Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung aufzuzeigen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 9 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug die Schritte:

- Detektieren von statischen Merkmalen in Bilddaten einer Kamera des Kraftfahrzeugs;
- Ermitteln einer Position des Kraftfahrzeugs durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten;
- Transformieren der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten auf einen Darstellungsbereich der Head-up-Display-Vorrichtung; und
- Ausgeben der transformierten detektierten statischen Merkmale und der transformierten statischen Merkmale aus den Kartendaten an eine Darstellungseinheit zum Generieren einer Anzeige der Head-up-Display-Vorrichtung.

Gemäß einem weiteren Aspekt der Erfindung enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug auf:

- Eine Bildverarbeitungseinheit zum Detektieren von statischen Merkmalen in Bilddaten einer Kamera des Kraftfahrzeugs;
- Eine Positionsbestimmungseinheit zum Ermitteln einer Position des Kraftfahrzeugs durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten;
- Eine Transformationseinheit zum Transformieren der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten auf einen Darstellungsbereich der Head-up-Display-Vorrichtung; und
- Einen Ausgang zum Ausgeben der transformierten detektierten statischen Merkmale und der transformierten statischen Merkmale aus den Kartendaten an eine Darstellungseinheit zum Generieren einer Anzeige der Head-up-Display-Vorrichtung.

Erfindungsgemäß erfolgt eine perspektivisch korrekte Transformation der Merkmale direkt im Sensor, d.h. vorzugsweise in der Kamera bzw. in einem Steuergerät für die Kamera. Die transformierten Merkmale werden dann als Overlay oder in Form von Objektlisten an die Darstellungseinheit geschickt. Auf diese Weise werden die Anforderungen hinsichtlich einer Zeit-synchronen Datenerfassung zwischen den Sensoren verringert. Zudem kann so mit vertretbarem Aufwand die Verarbeitung mit sehr geringen Latenzen realisiert werden.
Gemäß einem Aspekt der Erfindung umfasst das Transformieren der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten auf einen Darstellungsbereich der Head-up-Display-Vorrichtung die Schritte:

- Umrechnen der detektierten statischen Merkmale und der statischen Merkmale aus den Kartendaten in ein Fahrzeugreferenzkoordinatensystem; und
- Transformieren der umgerechneten detektierten statischen Merkmale und der umgerechneten statischen Merkmale aus den Kartendaten für die Darstellung durch die Head-up-Display-Vorrichtung entsprechend einer Position der Head-up-Display-Vorrichtung, einer Position oder eines Blickwinkels des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung.

Die genaue Position und Ausrichtung der Kamera ist Fertigungstoleranzen unterworfen. Die Kamera wird daher im Rahmen der Produktion kalibriert oder ihre Position und Ausrichtung werden im laufenden Betrieb geschätzt. Um die Ungenauigkeiten zu beseitigen, welche die Kamera betreffen, rechnet die Kamera die Merkmale entsprechend der zugehörigen Transformationsregel auf ein Fahrzeugreferenzkoordinatensystem um. Die so umgerechneten Merkmale werden dann gemäß den vorliegenden Randbedingungen weiter auf die Darstellung transformiert. Randbedingungen sind beispielsweise eine Position der Head-up-Display-Vorrichtung, eine Position oder ein Blickwinkel des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung.
Gemäß einem Aspekt der Erfindung werden zusätzlich dynamische Merkmale in den Bilddaten der Kamera detektiert und verarbeitet. Dies erlaubt es, auch Hinweise auf dynamische Merkmale in die Augmented-Reality-Darstellung einzubinden. Dynamische Merkmale sind beispielsweise relevante Verkehrsteilnehmer, d.h. Fußgänger, Radfahrer, Motorräder, Autos, Busse, LKW, Straßenbahnen, etc.
Gemäß einem Aspekt der Erfindung werden Kartendaten für einen Bereich vor dem Kraftfahrzeug an die Kamera übermittelt. Auf diese Weise muss nur eine geringe Datenmenge in der Kamera vorgehalten sowie durch die ausgewertet werden. Für die Übermittlung kann beispielsweise das PSD-Protokoll (PSD: Prädiktive Streckendaten) verwendet werden.
Gemäß einem Aspekt der Erfindung korrigiert die Darstellungseinheit beim Generieren der Anzeige der Head-up-Display-Vorrichtung die Anzeige hinsichtlich Kopfbewegungen des Fahrers und Mikrobewegungen des Kraftfahrzeugs. Durch diese Maßnahme wird die optische Wahrnehmung der Augmented-Reality-Darstellung weiter verbessert, da trotz der Bewegungen eine kontaktanaloge Darstellung erreicht wird.
Gemäß einem Aspekt der Erfindung werden statische Merkmale, die in den Bilddaten der Kamera nicht detektiert werden können, aus den Kartendaten ermittelt. Es kann vorkommen, das statische Merkmale nicht von der Kamera erkannt werden. Dies kann durch eine Verdeckung der Merkmale, z.B. durch andere Fahrzeuge, schlechte Sicht, fehlende Sichtbereiche der Kamera, etc. verursacht sein. Da jedoch die Position des eigenen Kraftfahrzeugs in der Karte bekannt ist, können die Positionen der verdeckten Merkmale aus den Kartendaten berechnet werden.
Besonders vorteilhaft werden ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
2 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;
5 zeigt schematisch den allgemeinen Aufbau einer Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
6 zeigt ein Beispiel einer Augmented-Reality-Darstellung;
7 zeigt einen vereinfachten Systementwurf der erfindungsgemäßen Lösung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug; und
8 zeigt einen detaillierteren Systementwurf der erfindungsgemäßen Lösung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
1 zeigt schematisch ein Verfahren zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug. In einem ersten Schritt werden statische Merkmalen in Bilddaten einer Kamera des Kraftfahrzeugs detektiert 10. Optional können dabei auch zusätzlich dynamische Merkmale in den Bilddaten der Kamera detektiert 10 werden. Durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten wird dann eine Position des Kraftfahrzeugs ermittelt 11. Statische Merkmale, die in den Bilddaten der Kamera nicht detektiert 10 werden konnten, können bei dieser Gelegenheit aus den Kartendaten ermittelt werden, d.h. prädiziert werden. Die detektierten statischen Merkmale sowie statische Merkmale aus den Kartendaten werden anschließend auf einen Darstellungsbereich der Head-up-Display-Vorrichtung transformiert 12. Vorzugsweise werden dazu die detektierten statischen Merkmale und die statischen Merkmale aus den Kartendaten in ein Fahrzeugreferenzkoordinatensystem umgerechnet. Die umgerechneten detektierten statischen Merkmale und die umgerechneten statischen Merkmale aus den Kartendaten werden dann für die Darstellung durch die Head-up-Display-Vorrichtung entsprechend einer Position der Head-up-Display-Vorrichtung, einer Position oder eines Blickwinkels des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung transformiert. Die transformierten detektierten statischen Merkmale und die transformierten statischen Merkmale aus den Kartendaten werden schließlich an eine Darstellungseinheit zum Generieren einer Anzeige der Head-up-Display-Vorrichtung ausgegeben 13. Beispielsweise können die Merkmale als Overlay oder in Form von Objektlisten an die Darstellungseinheit ausgegeben 13 werden. Das Detektieren 10 der statischen Merkmale, das Ermitteln 11 der Position des Kraftfahrzeugs und das Transformieren 12 der statischen Merkmale erfolgt vorzugsweise durch die Kamera oder durch ein Steuergerät für die Kamera. Zu diesem Zweck können Kartendaten für einen Bereich vor dem Kraftfahrzeug an die Kamera oder an das Steuergerät für die Kamera übermittelt werden.
2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 20 hat einen Eingang 21, über den Bilddaten einer Kamera und Kartendaten empfangen werden können. Die Vorrichtung 20 hat zudem eine Bildverarbeitungseinheit 22 zum Detektieren von statischen Merkmalen in den Bilddaten der Kamera. Optional kann die Bildverarbeitungseinheit 22 auch zusätzlich dynamische Merkmale in den Bilddaten der Kamera detektieren. Eine Positionsbestimmungseinheit 23 ermittelt eine Position des Kraftfahrzeugs durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus den Kartendaten. Bei dieser Gelegenheit können zudem statische Merkmal, die in den Bilddaten der Kamera nicht detektiert werden konnten, aus den Kartendaten ermittelt werden. Eine Transformationseinheit 24 transformiert die detektierten statischen Merkmale und statische Merkmale aus den Kartendaten auf einen Darstellungsbereich der Head-up-Display-Vorrichtung. Beispielsweise werden dazu die detektierten statischen Merkmale und die statischen Merkmale aus den Kartendaten in ein Fahrzeugreferenzkoordinatensystem umgerechnet. Die umgerechneten detektierten statischen Merkmale und die umgerechneten statischen Merkmale aus den Kartendaten werden dann für die Darstellung durch die Head-up-Display-Vorrichtung entsprechend einer Position der Head-up-Display-Vorrichtung, einer Position oder eines Blickwinkels des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung transformiert. Über einen Ausgang 27 der Vorrichtung 20 werden die transformierten detektierten statischen Merkmale und die transformierten statischen Merkmale aus den Kartendaten an eine Darstellungseinheit 42 zum Generieren einer Anzeige der Head-up-Display-Vorrichtung ausgegeben, z.B. als Overlay oder in Form von Objektlisten. Die Bildverarbeitungseinheit 22, die Positionsbestimmungseinheit 23 und die Transformationseinheit 24 können von einer Kontrolleinheit 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen der Bildverarbeitungseinheit 22, der Positionsbestimmungseinheit 23, der Transformationseinheit 24 oder der Kontrolleinheit 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 26 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Bildverarbeitungseinheit 22, die Positionsbestimmungseinheit 23, die Transformationseinheit 24 sowie die Kontrolleinheit 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Vorzugsweise ist die Vorrichtung 20 in die Kamera oder in ein Steuergerät für die Kamera integriert.
3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Kameradaten. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 26, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 40 weist eine Head-up-Display-Vorrichtung 41 mit einer Darstellungseinheit 42 auf. Die Darstellungseinheit 42 kann integraler Bestandteil der Head-up-Display-Vorrichtung 41 oder als eigenständige Einheit realisiert sein. Weiterhin weist das Kraftfahrzeug 40 eine Kamera 43, ein Steuergerät 44 für die Kamera 43 und eine Vorrichtung 20 zum Bereitstellen von Informationen für die der Head-up-Display-Vorrichtung 41 auf. Die Vorrichtung 20 kann beispielsweise in die Kamera 43 oder in das Steuergerät 44 für die Kamera 43 integriert sein. Weitere Komponenten des Kraftfahrzeugs 40 sind ein Navigationssystem 45, eine Datenübertragungseinheit 46 sowie eine Reihe von Assistenzsystemen 47, von denen eines exemplarisch dargestellt ist. Mittels der Datenübertragungseinheit 46 kann eine Verbindung zu Dienstanbietern aufgebaut werden, beispielsweise für den Abruf von Kartendaten. Zur Speicherung dieser Kartendaten oder anderer Daten ist ein Speicher 48 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 40 erfolgt über ein Netzwerk 49.
Nachfolgend sollen bevorzugte Ausführungsformen der Erfindung anhand der 5 bis 8 beschrieben werden.
5 zeigt schematisch eine Head-up-Display-Vorrichtung 41 für ein Kraftfahrzeug 40, mit deren Hilfe Inhalte auf einer Projektionsfläche 52 des Kraftfahrzeugs 40 angezeigt werden können, beispielsweise auf der Frontscheibe oder auf einer zusätzlichen Scheibe aus Glas oder Kunststoff, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Die dargestellten Inhalte werden durch eine bildgebende Einheit 50 erzeugt und mit Hilfe eines optischen Moduls 51 auf die Projektionsfläche 52 projiziert. Typischerweise erfolgt die Projektion dabei in einen Bereich der Frontscheibe oberhalb des Lenkrades. Die bildgebende Einheit 50 kann beispielsweise ein LCD-TFT-Display sein. Die Augmented-Reality-Head-up-Display-Vorrichtung 41 ist in der Regel in einem Armaturenbrett des Kraftfahrzeugs 40 verbaut.
6 zeigt ein Beispiel einer Augmented-Reality-Darstellung einer Head-up-Display-Vorrichtung. Der tatsächlichen Umgebung sind eine Reihe von Elementen überlagert, zum Teil in kontaktanaloger Darstellung. Im Beispiel in 6 sind dies eine aktuelle Geschwindigkeit, ein Abstand zu einem vorausfahrenden Fahrzeug, Navigationsinformationen, ein Hinweispfeil für ein mögliches oder bevorstehendes Überholmanöver sowie eine „virtuelle Wand“ auf der rechten Seitenlinie als Sicherheitshinweis. Die dargestellten Elemente beruhen überwiegend auf Informationen, die von Fahrzeugsensoren erfasst wurden. Für die konkrete Gestaltung der Darstellung stehen dem Fachmann vielfältige Gestaltungsmöglichkeiten zur Verfügung.
7 zeigt einen vereinfachten Systementwurf der erfindungsgemäßen Lösung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung 41 für ein Kraftfahrzeug. Bei diesem Systementwurf ist die Vorrichtung zum Bereitstellen von Informationen in eine Kamera 43 des Kraftfahrzeugs integriert. Im Kraftfahrzeug befindet sich eine Karte 61 mit den benötigten statischen Elementen. Beispiele solcher statischer Elemente sind Spurmarkierungen, andere Bodenmarkierungen, Fahrbahnränder, Ampeln, Verkehrszeichen oder Landmarken in der Nähe der Fahrbahn. Die Karte 61 wird von einem Kartenlieferanten 60 zur Verfügung gestellt und kann beispielsweise in einem Speicher des Navigationssystems 45 abgelegt sein. Die Kartendaten 61 werden für den Bereich unmittelbar vor dem Kraftfahrzeug an die Kamera 43 transferiert. Hierzu kann exemplarisch das PSD-Protokoll verwendet werden. Durch einen Abgleich der aus den Bilddaten erkannten statischen Merkmale mit den aus der Karte bekannten statischen Merkmalen wird die Position des Kraftfahrzeugs relativ zur Karte 61 ermittelt. So wird erreicht, dass die Kartendaten 61 und die Kameradaten ein konsistentes Bild ergeben. Die Kamera 43 transformiert die Merkmale auf den Darstellungsbereich der Head-up-Display-Vorrichtung in Relation zu der Kopfposition des Fahrers und der Position des Kraftfahrzeugs in der Umwelt. Die Transformation umfasst dabei sowohl die aus den Bilddaten erkannten statischen Merkmale als auch aus den Kartendaten 61 prädizierte statische Merkmale sowie optional erkannte dynamische Merkmale. Prädizierte statische Merkmale sind Merkmale, welche von der Kamera 43 nicht erkannt werden. Dieses kann durch eine Verdeckung der Merkmale, z.B. durch andere Fahrzeuge, schlechte Sicht, fehlende Sichtbereiche der Kamera, etc. verursacht sein. Da jedoch die Position des eigenen Kraftfahrzeugs in der Karte bekannt ist, können die Positionen der verdeckten Merkmale berechnet, d.h. prädiziert werden. Auf diese Weise kann beispielsweise die „virtuelle Wand“ in 6 auch in Bereichen dargestellt werden, in denen keine Seitenlinie erfasst wurde. Die transformierten Merkmale werden entweder direkt oder in einer Overlay-Darstellung zusammengefasst und an eine Darstellungseinheit 42 der Head-up-Display-Vorrichtung 41 übertragen. Die Darstellungseinheit 42 korrigiert das Bild vorzugsweise hinsichtlich Kopfbewegungen des Fahrers und Mikrobewegungen des Kraftfahrzeugs und gibt dieses mittels der Head-up-Display-Vorrichtung 41 aus. Eine Aktualisierung des ausgegebenen Bildes kann beispielsweise all 12ms erfolgen.
8 zeigt einen detaillierteren Systementwurf der erfindungsgemäßen Lösung zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung 41 für ein Kraftfahrzeug. Auch hier ist die Vorrichtung zum Bereitstellen von Informationen in eine Kamera 43 des Kraftfahrzeugs integriert. Die Kamera 43 erkennt 10 dynamische und statische Merkmale. Durch Korrelation der erkannten statischen Merkmale mit den Kartendaten 61 wird die Position des Kraftfahrzeugs bestimmt 11. Auf Basis der Kartendaten 61 kann zudem die Existenz weiterer nicht sichtbarer Merkmale erkannt werden. Das Ergebnis dieser Erkennung sind Listen erkannter dynamischer, statischer und kartenbasierter Merkmale, die allerdings in den Kamerakoordinaten vorliegen. Dynamische Merkmale sind beispielsweise relevante Verkehrsteilnehmer, d.h. Fußgänger, Radfahrer, Motorräder, Autos, Busse, LKW, Straßenbahnen, etc. Beispiele für statische Merkmale sind Spurmarkierungen, andere Bodenmarkierungen, Fahrbahnränder, Ampeln, Verkehrszeichen oder Landmarken in der Nähe der Fahrbahn.
Die genaue Position und Ausrichtung der Kamera 43 ist Fertigungstoleranzen unterworfen, die Ausrichtung kann zwischen verschiedenen Kraftfahrzeugen um 1-2° abweichen. Die Kamera 43 wird daher im Rahmen der Produktion kalibriert oder ihre Position und Ausrichtung werden im laufenden Betrieb geschätzt. Die resultierenden Parameter werden in der Kamera 43 gespeichert. Die Kamera 43 rechnet daher die Merkmale entsprechend der zugehörigen Transformationsregel auf ein Fahrzeugreferenzkoordinatensystem oder Zielkoordinatensystem 62 um, z.B. die Mitte der Vorderachse. So werden alle Ungenauigkeiten beseitigt, welche die Kamera 43 betreffen. Im weiteren werden die Daten gemäß den Randbedingungen weiter auf die Darstellung transformiert 12, d.h. entsprechend einer Position der Head-up-Display-Vorrichtung 41, einer Position oder eines Blickwinkels des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung. In 8 werden die transformierten Merkmale exemplarisch als Liste transformierter Merkmale an die Head-up-Display-Vorrichtung 41 ausgegeben.
Bezugszeichenliste

10: Detektieren von statischen und, optional, dynamischen Merkmalen
11: Ermitteln einer Position des Kraftfahrzeugs anhand der Merkmale
12: Transformieren von Merkmalen auf einen Darstellungsbereich
13: Ausgeben der transformierten Merkmale an eine Darstellungseinheit
20: Vorrichtung
21: Eingang
22: Bildverarbeitungseinheit
23: Positionsbestimmungseinheit
24: Transformationseinheit
25: Kontrolleinheit
26: Speicher
27: Ausgang
28: Benutzerschnittstelle
30: Vorrichtung
31: Speicher
32: Prozessor
33: Eingang
34: Ausgang
40: Kraftfahrzeug
41: Head-up-Display-Vorrichtung
42: Darstellungseinheit
43: Kamera
44: Steuergerät der Kamera
45: Navigationssystem
46: Datenübertragungseinheit
47: Assistenzsystem
48: Speicher
49: Netzwerk
50: Bildgebende Einheit
51: Optisches Modul
52: Projektionsfläche
60: Kartenlieferant
61: Kartendaten
62: Zielkoordinatensystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014214516 A1 [0004]
DE 102013226969 A1 [0007]
DE 102015218162 A1 [0008]

Claims

Verfahren zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40), mit den Schritten: - Detektieren (10) von statischen Merkmalen in Bilddaten einer Kamera (43) des Kraftfahrzeugs (40); - Ermitteln (11) einer Position des Kraftfahrzeugs (40) durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten (61); - Transformieren (12) der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten (61) auf einen Darstellungsbereich der Head-up-Display-Vorrichtung (41); und - Ausgeben (13) der transformierten detektierten statischen Merkmale und der transformierten statischen Merkmale aus den Kartendaten (61) an eine Darstellungseinheit (42) zum Generieren einer Anzeige der Head-up-Display-Vorrichtung (41).
Verfahren gemäß Anspruch 1, wobei das Transformieren (12) der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten (61) auf einen Darstellungsbereich der Head-up-Display-Vorrichtung (41) umfasst: - Umrechnen der detektierten statischen Merkmale und der statischen Merkmale aus den Kartendaten (61) in ein Fahrzeugreferenzkoordinatensystem; und - Transformieren der umgerechneten detektierten statischen Merkmale und der umgerechneten statischen Merkmale aus den Kartendaten (61) für die Darstellung durch die Head-up-Display-Vorrichtung (41) entsprechend einer Position der Head-up-Display-Vorrichtung (41), einer Position oder eines Blickwinkels des Fahrers und Einstellungen des Fahrers bezüglich der Position der Darstellung.
Verfahren gemäß Anspruch 1 oder 2, wobei zusätzlich dynamische Merkmale in den Bilddaten der Kamera (43) detektiert (10) und verarbeitet werden.
Verfahren gemäß einem der vorherigen Ansprüche, wobei die Merkmale als Overlay oder in Form von Objektlisten an die Darstellungseinheit (42) ausgegeben werden.
Verfahren gemäß einem der vorherigen Ansprüche, wobei das Detektieren (10) der statischen Merkmale, das Ermitteln (11) der Position des Kraftfahrzeugs (40) und das Transformieren (12) der statischen Merkmale durch die Kamera (43) oder durch ein Steuergerät (44) für die Kamera (43) erfolgt.
Verfahren gemäß Anspruch 5, wobei Kartendaten (61) für einen Bereich vor dem Kraftfahrzeug (40) an die Kamera (43) oder an das Steuergerät (44) für die Kamera (43) übermittelt werden.
Verfahren gemäß einem der vorherigen Ansprüche, wobei die Darstellungseinheit (42) beim Generieren (14) der Anzeige der Head-up-Display-Vorrichtung (41) die Anzeige hinsichtlich Kopfbewegungen des Fahrers und Mikrobewegungen des Kraftfahrzeugs (40) korrigiert.
Verfahren gemäß einem der vorherigen Ansprüche, wobei statische Merkmale, die in den Bilddaten der Kamera (43) nicht detektiert (10) werden können, aus den Kartendaten (61) ermittelt werden.
Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40) veranlassen.
Vorrichtung (20) zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40), mit - Einer Bildverarbeitungseinheit (22) zum Detektieren (10) von statischen Merkmalen in Bilddaten einer Kamera (43) des Kraftfahrzeugs (40); - Einer Positionsbestimmungseinheit (23) zum Ermitteln (11) einer Position des Kraftfahrzeugs (40) durch Vergleichen der detektierten statischen Merkmale mit statischen Merkmalen aus Kartendaten (61); - Einer Transformationseinheit (24) zum Transformieren (12) der detektierten statischen Merkmale und statischer Merkmale aus den Kartendaten (61) auf einen Darstellungsbereich der Head-up-Display-Vorrichtung (41); und - Einem Ausgang (27) zum Ausgeben (13) der transformierten detektierten statischen Merkmale und der transformierten statischen Merkmale aus den Kartendaten (61) an eine Darstellungseinheit (42) zum Generieren einer Anzeige der Head-up-Display-Vorrichtung (41).
Vorrichtung (20) gemäß Anspruch 10, wobei die Vorrichtung (20) Bestandteil der Kamera (43) oder eines Steuergeräts (44) der Kamera (43) ist.
Kraftfahrzeug (40), dadurch gekennzeichnet, dass das Kraftfahrzeug (40) eine Vorrichtung (20) gemäß Anspruch 10 oder 11 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 8 zum Bereitstellen von Informationen für eine Head-up-Display-Vorrichtung (41) auszuführen.