-
Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs, wobei reale Bilddaten einer Umgebung des Fahrzeugs mittels zumindest einer Erfassungseinheit erfasst werden und als optische Umgebungsinformationen mittels zumindest einer Anzeigeeinheit derart dargestellt werden, dass den realen Bilddaten virtuelle Bilddaten überlagert werden.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung eines solchen Verfahrens.
-
Aus dem Stand der Technik sind allgemein verschiedene Verfahren und Vorrichtungen zur Darstellung von Umgebungsinformationen eines Fahrzeugs auf einer innerhalb des Fahrzeugs angeordneten Anzeigeeinheit bekannt. Dabei werden die Umgebungsinformationen in Form von realen Bilddaten, virtuellen Bilddaten oder gemeinsam mit den realen Bilddaten oder virtuellen Bilddaten diese überlagernd in Form einer erweiterten Realität, auch als Augmented Reality bekannt, dargestellt. Hierbei werden die virtuellen Bilddaten lagerichtig in Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Die Anzeigeeinheit ist beispielsweise eine teildurchsichtige Anzeigeeinheit, wie beispielsweise ein so genanntes Head-Up-Display oder so genanntes Head-Mounted-Display, oder eine undurchsichtige Anzeigeeinheit, wie beispielsweise ein herkömmlicher Bildschirm.
-
Zur lagerichtigen und realitätsnahen Darstellung der virtuellen Bilddaten ist bekannt, dass eine Fahrzeugpose bestimmt wird und die Darstellung der virtuellen Bilddaten in Abhängigkeit der Fahrzeugpose lagerichtig vorgenommen wird. Die Fahrzeugpose ist im Allgemeinen gekennzeichnet durch eine Fahrzeugposition, beispielsweise gegeben durch einen Längengrad, Breitengrad und eine Höhe, und durch eine Fahrzeugorientierung im Raum, beispielsweise gegeben durch den so genannten Eulerschen Winkel.
-
Aus dem Stand der Technik sind Verfahren bekannt, die die Fahrzeugpose aus einem zeitdiskret, beispielsweise in einem Abstand von einer Sekunde, empfangenen und ausgewerteten GPS-Signal ermitteln.
-
Ein solches Verfahren zur Bestimmung einer Fahrzeugpose mittels fahrzeugspezifischer Bewegungsparameter ist aus der
DE 10 2013 016 243 A1 bekannt, wobei eine Fahrzeugtrajektorie als Folge von berechneten Werten für Positions- und Richtungsparameter des Fahrzeugs ausgehend von einem eine Position des Fahrzeugs beschreibenden zeitdiskreten GPS-Signal zu einem Zeitpunkt, einem in der Position bestimmten Richtungsvektor und mindestens einem fortlaufend erfassten Bewegungsparameter des Fahrzeugs extrapoliert wird. Anhand der bestimmten Fahrzeugpose wird eine augmentierte Darstellung derart ausgeführt, dass Zusatzinformationen einem Bild einer Umgebung des Fahrzeugs überlagert und in der Umgebung vorhandenen Objekten zugeordnet dargestellt werden.
-
Weiterhin sind allgemein Verfahren bekannt, bei welchen in der Umgebung befindliche Objekte anhand von Markierungen, so genannten Markern, erkannt werden, auch wenn diese für das menschliche Auge nicht sichtbar sind.
-
Ein solches Verfahren zur Erkennung und Ausgabe von Objekten einer Umgebung beschreibt die
DE 10 2013 016 245 A1 , wobei ein Bild der Umgebung aufgenommen wird und als Ausgabebild einen Hintergrund bildend auf einer Anzeige ausgegeben wird. Ein mittels einer Markierung gekennzeichnetes Objekt wird anhand von reflektiertem Licht im nicht sichtbaren Wellenbereich detektiert und bei Detektion und Identifizierung der Markierung des Objekts wird für dieses eine virtuelle Zusatzinformation erzeugt und im Ausgabebild überlagert ausgegeben. Hierbei wird als Bild der Umgebung ein Fahrzeuginnenraum erfasst und innerhalb dieses Fahrzeuginnenraums angeordnete und beispielsweise als Bedienelemente ausgebildete Objekte werden mittels einer Aufnahmeeinheit anhand der die Objekte kennzeichnenden Markierungen erkannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs und eine verbesserte Vorrichtung zur Durchführung eines solchen Verfahrens anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 9 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs werden reale Bilddaten einer Umgebung des Fahrzeugs mittels zumindest einer Erfassungseinheit erfasst und als optische Umgebungsinformationen mittels zumindest einer Anzeigeeinheit derart dargestellt, dass den realen Bilddaten virtuelle Bilddaten überlagert werden.
-
Erfindungsgemäß wird eine Positionierung der virtuellen Bilddaten relativ zu den realen Bilddaten in Abhängigkeit einer Blickrichtung eines Betrachters auf die Umgebung des Fahrzeugs und zu dessen relativer Position zum Fahrzeug durchgeführt, wobei die Blickrichtung und die relative Position aus einer relativen Position der in unterschiedlichen Positionen relativ zum Fahrzeug variabel anordbaren und tragbar ausgebildeten Anzeigeeinheit und einer Fahrzeugpose ermittelt werden.
-
Somit ist es in besonders vorteilhafter Weise möglich, insbesondere positions- und richtungsabhängige virtuelle Bilddaten lagerichtig in Abhängigkeit der Blickrichtung des Betrachters, beispielsweise eines Fahrers des Fahrzeugs, und der Fahrzeugpose darzustellen. Somit ist eine sehr realitätsnahe augmentierte Darstellung für den Betrachter möglich, wobei in besonders vorteilhafter Weise auch außerhalb des Fahrzeugs befindliche Objekte sehr genau in der augmentierten Darstellung verortet und an eine Position des Betrachters bzw. der Anzeigeeinheit optimiert dargestellt sind. Bei der Anzeigeeinheit handelt es sich beispielsweise um eine tragbare Anzeigeeinheit, insbesondere eine Datenbrille, ein an einem Kopf des Betrachters anordenbares, zumindest teiltransparent ausgebildetes Display oder um ein Visier für einen Schutzhelm.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
-
1 schematisch ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zur Darstellung von Umgebungsinformationen eines Fahrzeugs.
-
In der einzigen 1 ist in einem Blockschaltbild ein mögliches Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 1 zur augmentierten Darstellung von Umgebungsinformationen eines Fahrzeugs gezeigt, wobei es sich bei dem Fahrzeug um ein Zweirad, einen Personenkraftwagen, einen Lastkraftwagen, einen Omnibus oder ein anderes beliebiges Fahrzeug handeln kann.
-
Hierbei werden reale Bilddaten rB einer Umgebung U des Fahrzeugs mittels zumindest einer Erfassungseinheit 2 erfasst und als optische Umgebungsinformationen UI in einem Ausgabebild A gemeinsam mit überlagerten virtuellen Bilddaten vB mittels einer Anzeigeeinheit 3 dargestellt. Zur Erzeugung des Ausgabebildes A werden die realen Bilddaten rB einer Verarbeitungseinheit 4 zugeführt.
-
Die Darstellung erfolgt dabei insbesondere derart, dass die realen Bilddaten rB als Hintergrund dargestellt werden und mittels der virtuellen Bilddaten vB überlagert werden.
-
Die Erfassungseinheit 2 kann eine herkömmliche Kamera und/oder eine Nachtsichtkamera und/oder eine Infrarot-Kamera, eine so genannte CCD-Kamera, eine so genannte CMOS-Kamera oder eine ähnliche Aufnahmeeinheit sein.
-
Die Erfassungseinheit 2 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale reale Bilddaten rB mit oder ohne Tiefeninformation der Umgebung U aufnimmt.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann bzw. können.
-
Die Anzeigeeinheit 3 ist insbesondere eine tragbare Anzeigeeinheit, beispielsweise eine so genannte Datenbrille, ein an einem Kopf eines Betrachters anordbares, zumindest teiltransparent ausgebildetes Display oder ein Visier für einen Schutzhelm.
-
Um für den Betrachter eine optimierte augmentierte Darstellung der Umgebung U zu realisieren, erfolgt die Darstellung der virtuellen Bilddaten vB derart, dass diese in Abhängigkeit einer Blickrichtung des Betrachters auf die Umgebung U des Fahrzeugs und der relativen Position des Betrachters zum Fahrzeug lagerichtig zu den realen Bilddaten rB im Ausgabebild A positioniert werden.
-
Die Blickrichtung und die relative Position des Betrachters werden dabei aus einer relativen Position der in Abhängigkeit der Position des Betrachters im oder auf dem Fahrzeug in unterschiedlichen Positionen relativ zum Fahrzeug variabel anordbaren Anzeigeeinheit 3 und einer Fahrzeugpose P ermittelt.
-
Zur Erfassung der Anzeigeeinheit 3 ist diese im dargestellten Ausführungsbeispiel mit einer Markierung M gekennzeichnet, wobei anhand einer Position der Markierung M die relative Position der Anzeigeeinheit 3 zum Fahrzeug ermittelt wird. Die Markierung M ist dabei insbesondere derart ausgebildet, dass diese Licht im nicht sichtbaren Wellenbereich reflektiert, so dass die Markierung M auch bei Dunkelheit und/oder schlechten Lichtverhältnissen wahrnehmbar und identifizierbar ist. Alternativ oder zusätzlich kann die Markierung M aus einem aktivierbaren Material gebildet sein, das durch Anstrahlung ein Rückleuchten und somit Ausstrahlen im nicht sichtbaren Wellenbereich ausführt, so dass ein kontrolliertes Rückleuchten ermöglicht ist und die Markierung M sicher erkennbar ist.
-
Hierzu kann in nicht näher dargestellter Weise beispielsweise im Innenraum eines geschlossenen Fahrzeugs eine Sendeeinheit, insbesondere eine Lichtquelle, angeordnet sein, welche so ausgerichtet ist, dass diese die Markierung M beleuchtet.
-
Des Weiteren ist in nicht näher dargestellter Weise eine fahrzeugfest angeordnete weitere optische Erfassungseinheit vorgesehen, mittels welcher die Markierung M erfasst wird.
-
Alternativ oder zusätzlich können zumindest eine weitere fahrzeugfeste optische Erfassungseinheit und/oder eine elektromagnetische Erfassungseinheit zur Erfassung der Anzeigeeinheit 3 und/oder von deren Position vorgesehen sein. Bei einer elektromagnetischen Erfassung ist die Anzeigeeinheit 3 mit einer entsprechend erfassbaren Markierung M gekennzeichnet.
-
Die Fahrzeugpose P, welche durch eine Fahrzeugposition, beispielsweise gegeben durch einen Längengrad, Breitengrad und eine Höhe, und eine Fahrzeugorientierung im Raum, beispielsweise gegeben durch den so genannten Eulerschen Winkel, gekennzeichnet ist, wird insbesondere aus einem zeitdiskret, beispielsweise in einem Abstand von einer Sekunde, empfangenen und ausgewerteten GPS-Signal ermittelt. Die Ermittlung der Fahrzeugpose P erfolgt dabei beispielsweise wie in der
DE 10 2013 016 243 A1 beschrieben, wobei eine Fahrzeugtrajektorie als Folge von berechneten Werten für Positions- und Richtungsparameter des Fahrzeugs ausgehend von einem eine Position des Fahrzeugs beschreibenden zeitdiskreten GPS-Signal zu einem Zeitpunkt, einem in der Position bestimmten Richtungsvektor und mindestens einem fortlaufend erfassten Bewegungsparameter des Fahrzeugs extrapoliert wird.
-
Alternativ oder zusätzlich ist eine Ermittlung der Fahrzeugpose P anhand von Bewegungsparametern des Fahrzeugs, die mittels Fahrzeugsensoren erfasst werden, möglich. Die Fahrzeugsensoren können beispielsweise als Geschwindigkeitssensoren, als Sensoren für eine Erfassung eines Lenkwinkelwerts oder als Sensoren für eine Erfassung von Umdrehungen einzelner Fahrzeugräder ausgebildet sein.
-
Nach Ermittlung der Blickrichtung des Betrachters auf die Umgebung U und der relativen Position des Betrachters zum Fahrzeug werden die virtuellen Bilddaten vB, welche beispielsweise Zusatzinformationen oder eine Abbildung für ein in der Umgebung U befindliches Objekt umfassen, lagerichtig zu den realen Bilddaten rB im Ausgabebild A positioniert.
-
Zu einer weiteren Optimierung der Darstellung und zu einer Erzeugung eines realitätsnahen Eindrucks für den Betrachter werden in einer möglichen Ausgestaltung zusätzlich außerhalb eines Sichtfelds des Betrachters befindliche und/oder durch Fahrzeugbauteile verdeckte Objekte und/oder verdeckte Bestandteile von Objekten aus den virtuellen Bilddaten vB ausgeblendet. Das heißt, die virtuellen Bilddaten vB werden nur dann in bestimmten Bereichen des Ausgabebildes A dargestellt, wenn diese beispielsweise durch die Scheiben des Fahrzeugs oder durch das Visier des Schutzhelms für den Betrachter sichtbar sind. Hierbei wird die Verdeckung der Objekte und/oder der Bestandteile von Objekten in Abhängigkeit der Blickrichtung des Betrachters auf die Umgebung U und dessen relativer Position zum Fahrzeug anhand eines dreidimensionalen Fahrzeughüllenmodells ermittelt. In diesem Zusammenhang wird überprüft, ob sich in Kenntnis der Blickrichtung ein Sichtstrahl des Betrachters mit undurchsichtigen Gegenständen der Fahrzeughülle oder des Schutzhelmes schneidet.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Erfassungseinheit
- 3
- Anzeigeeinheit
- 4
- Verarbeitungseinheit
- A
- Ausgabebild
- M
- Markierung
- P
- Fahrzeugpose
- rB
- reale Bilddaten
- U
- Umgebung
- UI
- Umgebungsinformation
- vB
- virtuelle Bilddaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013016243 A1 [0006, 0031]
- DE 102013016245 A1 [0008]
