-
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung gemäß dem Oberbegriff des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäß dem Oberbegriff des Anspruchs 8. Weiterhin betrifft die Erfindung ein Fahrzeug mit einer solchen Vorrichtung.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Information in Überlagerung mit einer aufgenommenen und wahrnehmbaren realen Umgebung. Dabei werden die Informationen lagerichtig in Umgebungsbildern oder die Umgebung überlagernd dargestellt, wobei die Umgebungsbilder im Hintergrund der augmentierten Darstellung wahrnehmbar sind. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine so genannte HUD-Anzeigeeinheit (HUD = Head-up-Display) und eine so genannte HMD-Anzeigeeinheit (HMD = Head-Mounted-Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.
-
Eine Vorrichtung zur augmentierten Darstellung und zur Ermittlung einer Anzeigeregion anhand einer die Umgebung repräsentierenden digitalen Karte, optional mittels mindestens eines vorgegebenen Kriteriums, und/oder anhand der erfassten realen Umgebung ist in der
DE 10 2014 008 152 A1 beschrieben. Hierbei wird die Information den Hintergrund des Bildes und/oder die reale Umgebung überlagernd innerhalb dieser Anzeigeregion dargestellt oder ausgegeben. Dabei erfolgt eine Verortung und Ausgabe der virtuellen Information unter Vermeidung von Überlagerungen mit anderen realen oder virtuellen Objekten innerhalb dieser Anzeigeregion.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung sowie ein verbessertes Fahrzeug anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß mit den in Anspruch 1 angegebenen Merkmalen, hinsichtlich der Vorrichtung mit den in Anspruch 8 angegebenen Merkmalen und hinsichtlich des Fahrzeugs mit den in Anspruch 10 angegebenen Merkmalen gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur augmentierten Darstellung wird mittels eines virtuellen Bilds mindestens eine Information einem Bild einer realen Umgebung, insbesondere einer Umgebung eines Fahrzeugs überlagert dargestellt.
-
Erfindungsgemäß wird ein virtueller Bildabstand zwischen einem Betrachter des virtuellen Bilds und der dargestellten Information in Abhängigkeit mindestens einer Objektposition mindestens eines in der realen Umgebung befindlichen Objekts derart eingestellt, dass der virtuelle Bildabstand einem zwischen dem Betrachter und dem mindestens einen Objekt vorhandenen Objektabstand entspricht oder kleiner als dieser ist.
-
Das erfindungsgemäße Verfahren ermöglicht eine augmentierte Darstellung der Information in Abhängigkeit von einer aktuellen und/oder einer in naher Zukunft eintretenden Fahrsituation, insbesondere der Objektposition des mindestens einen in der realen Umgebung befindlichen Objekts. Durch die situationsabhängige, d. h. objektpositions- und objektabstandsabhängige Einstellung des virtuellen Bildabstands wird vorteilhaft vermieden, dass die Information ein Objekt überlagernd dargestellt wird, das sich in einer geringeren Distanz als der virtuelle Bildabstand in der Anzeigeregion befindet.
-
Beispielsweise ist vorteilhaft vermieden, dass die Information ein vor dem Fahrzeug befindliches weiteres Fahrzeug überlagernd dargestellt wird.
-
Beispielsweise werden durch Head-up-Displays (HUD) in Fahrzeugen Informationen in einen bestimmten virtuellen Bildabstand dargestellt. Der virtuelle Bildabstand wird beispielsweise mit etwa zwei Meter eingestellt, um die Information für den Betrachter im Bereich der Motorhaube des Fahrzeugs darzustellen und die dort dargestellten Informationen als dem Fahrzeug zugeordnet darzustellen.
-
Um eine kontaktanaloge augmentierte Darstellung, auch als Augmented-Reality-Darstellung bezeichnet, zu realisieren, wird ein virtueller Bildabstand eingestellt, der eine Wahrnehmung der kontaktanalogen Information als der realen Umgebung zugeordnet ermöglicht. Ein solcher virtueller Bildabstand wird beispielsweise mit 10 m eingestellt. Eine derart großer virtueller Bildabstand führt allerdings zu Irritationen des Betrachters, insbesondere eines Fahrers des Fahrzeugs, wenn die Informationen reale Objekte überlagernd dargestellt werden, deren Objektabstand geringer ist als der virtuelle Bildabstand.
-
Solche Fahrsituationen treten beispielsweise bei geringen Fahrzeugabständen in einem Stau, an einer Ampel oder beim Einparken auf. In diesen Fällen wird die dargestellte Information von dem Betrachter beispielsweise innerhalb eines vorausfahrenden Fahrzeugs wahrgenommen. Mittels des erfindungsgemäßen Verfahrens wird aufgrund der Einstellung des virtuellen Bildabstands in Abhängigkeit des Objektabstands eine solche vom Fahrer des Fahrzeugs innerhalb eines vorausfahrenden Fahrzeugs wahrgenommene Darstellung der Information vermieden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 eine schematische Darstellung eines Bilds einer realen Umgebung eines Fahrzeugs, einer Anzeigeregion und in der Anzeigeregion dargestellter Informationen aus dem Blickwinkel eines Betrachters,
-
2 eine schematische Darstellung eines ersten Fahrzeugs in einer ersten Fahrsituation sowie eine Positionierung eines virtuellen Bilds, und
-
3 eine schematische Darstellung des ersten Fahrzeugs in einer zweiten Fahrsituation sowie eine angepasste Positionierung eines virtuellen Bilds.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch ein Blick eines in einem Fahrzeug 1 sitzenden Betrachters 6 in Fahrtrichtung des Fahrzeugs 1 dargestellt. Der Betrachter 6 sieht ein Bild B einer realen Umgebung des Fahrzeugs 1, insbesondere einen Ausschnitt der realen Umgebung vor dem Fahrzeug 1, in dem sich eine Anzahl von Objekten O1 bis On befindet.
-
Die Objekte O1 bis On sind beispielsweise andere parkende oder fahrende Fahrzeuge (= Objekte O1 bis O4, On). Weitere Objekte O5, O6 sind Gebäude oder Personen.
-
In dem Bild B ist in einer Anzeigeregion 4 der realen Umgebung wenigstens teilweise überlagernd eine Information Z dargestellt, wobei die Information Z beispielhaft ein Hinweiszeichen auf eine in der aktuell durchfahrenen realen Umgebung geltende Geschwindigkeitsbegrenzung darstellt. Die Information Z wird mittels einer Ausgabeeinheit 5 auf eine Frontscheibe 1.1 des Fahrzeugs 1 projiziert, so dass ein Head-up-Display realisiert wird.
-
In weiteren Ausgestaltungen des Verfahrens wird die Information Z auf einen nicht dargestellten transparenten Projektionsschirm projiziert, der in Blickrichtung des Betrachters 6 vorzugsweise vor der Frontscheibe 1.1 angeordnet ist.
-
In weiteren Ausgestaltungen des Verfahrens wird das Bild B zusätzlich oder alternativ auf einer so genannten HMD-Anzeigeeinheit (HMD = Head-Mounted-Display) oder auf einer undurchsichtigen Anzeigeeinheit, zum Beispiel einem herkömmlichen Bildschirm, ausgegeben.
-
Die Anzeigeregion 4 ist ein virtueller zwei- oder dreidimensionaler Bereich, innerhalb dessen die Information Z virtuell das Bild B oder einen Ausschnitt des Bilds B überlagernd dargestellt wird.
-
In weiteren Ausgestaltungen des Verfahrens ist die mindestens eine Information Z beispielsweise eine aktuelle Geschwindigkeit des Fahrzeugs 1, ein Navigationshinweis und/oder ein Zeichen für die Navigation des Fahrzeugs 1, wie beispielsweise ein eine Fahrbahn überlagernd dargestelltes Symbol. In einer Anzeigeregion 4 können mehrere Informationen Z, optional mit verschiedenen virtuellen Bildabständen C, dargestellt werden.
-
Dem Betrachter 6 wird das virtuelle Bild vB mit der Information Z in einem virtuellen Bildabstand C innerhalb des Bilds B dargestellt.
-
Der virtuelle Bildabstand C ist ein durch den Betrachter 6 empfundener Abstand zwischen sich und der Information Z und wird als ein Abstand zwischen dem Betrachter 6 und einem ausgewählten, in der 1 beispielhaft bezeichneten Punkt P der dargestellten Information Z bestimmt.
-
Ist die Information Z in weiteren Ausgestaltungen des Verfahrens in einer als dreidimensionaler Bereich ausgebildeten Anzeigeregion 4 dargestellt, wird der virtuelle Bildabstand C als ein Abstand zwischen dem Betrachter 6 und einem dem Betrachter 6 am nächsten liegend erscheinenden Punkt P bestimmt.
-
Zur Erzeugung der gezeigten augmentierten Darstellung umfasst das Fahrzeug 1 eine entsprechend ausgebildete Vorrichtung.
-
Die Vorrichtung umfasst mindestens eine Erfassungseinheit 2 zur Erfassung des Bilds B der realen Umgebung, mindestens eine Verarbeitungseinheit 3 und mindestens eine Ausgabeeinheit 5 zur Darstellung der Information Z.
-
Das Bild B der realen Umgebung wird mittels der mindestens einen Erfassungseinheit 2 erfasst, wobei die Erfassungseinheit 2 beispielsweise eine Stereokamera, eine omnidirektionale Kamera, eine Infrarotkamera, eine Laser-Scan-Einheit, mindestens einen Radarsensor und/oder mindestens einen Lidarsensor umfasst.
-
Die Erfassungseinheit 2 ist zur Erfassung des Bilds B und zur Weiterleitung des aufgenommenen Bilds B und/oder von Bilddaten an die Verarbeitungseinheit 3 ausgebildet. Vorteilhaft erfolgen die Aufnahme des Bilds B und die Weiterleitung des aufgenommenen Bilds B und/oder von Bilddaten in Echtzeit, um Verzögerungen der Einstellung des virtuellen Bildabstands C zumindest weitestgehend zu vermeiden.
-
Die Verarbeitungseinheit 3 ist zur Einstellung des virtuellen Bildabstands C ausgebildet. Dazu ist die Verarbeitungseinheit 3 mit der Erfassungseinheit 2 und der Ausgabeeinheit 5 gekoppelt. Die Verarbeitungseinheit 3 ist zur Verarbeitung von Bildern B und/oder Bilddaten der Erfassungseinheit 2, zur Erzeugung mindestens einer Information Z und zur Ermittlung der Anzeigeregion 4 in der realen Umgebung, in welcher die mindestens eine Information Z die reale Umgebung überlagernd dargestellt wird, ausgebildet. Die Darstellung der Information Z ist mittels Steuerbefehlen einstellbar, die von der Verarbeitungseinheit 3 an die Ausgabeeinheit 5 übermittelbar sind.
-
In einer weiteren Ausführung der Vorrichtung ist die Verarbeitungseinheit 3 zur Erkennung und Ermittlung einer jeweiligen Objektposition OP von in der Anzeigeregion vorhandenen Objekten O1 bis On, zur Ermittlung eines Objektabstands D zwischen einer Fahrzeugposition FP (siehe 2 und 3) und zumindest einem Objekt O1 bis On sowie zum Vergleich des Objektabstands D mit dem aktuellen virtuellen Bildabstand C und zur Änderung des virtuellen Bildabstands C in Abhängigkeit eines ermittelten Ergebnisses dieses Vergleichs ausgebildet. Dabei wird der virtuelle Bildabstand C derart eingestellt, dass dieser dem ermittelten Objektabstand D entspricht oder kleiner als dieser ist.
-
Die Ausgabeeinheit 5 ist wie bereits beschrieben als Projektor eines Head-up-Displays ausgebildet. In weiteren Ausführungen ist die Ausgabeeinheit 5 alternativ oder zusätzlich als HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder als Bildschirm ausgebildet.
-
Vorteilhaft ist der Ausgabeeinheit 5 in einem Projektionsstrahlengang S wenigstens ein strahlformendes Element 8 zur Einstellung des virtuellen Bildabstands C in einer Projektionsrichtung vorgeordnet.
-
Ein strahlformendes Element 8 ist beispielsweise eine Projektionsoptik mit variablem Zoom, so dass stets sichergestellt ist, dass der virtuelle Bildabstand C zumindest abschnittsweise stufenlos eingestellt wird.
-
Ergänzend oder alternativ ist das mindestens eine strahlformende Element 8 ein Prisma und/oder ein Strahlteiler, wobei das strahlformende Element 8 in den Projektionsstrahlengang S ein- und ausschwenkbar ausgebildet ist. Der virtuelle Bildabstand C ist somit zumindest abschnittsweise in diskreten Stufen einstellbar.
-
Eine Steuerung des strahlformenden Elements 8 ist durch Steuerbefehle der Verarbeitungseinheit 3, die an nicht dargestellte Stellmittel des strahlformenden Elements 8 übermittelbar sind, durchführbar.
-
Im Betrieb wird das Verfahren zur augmentierten Darstellung durchgeführt, indem eine Fahrsituation ermittelt und der virtuelle Bildabstand C in Abhängigkeit der ermittelten Fahrsituation und in Abhängigkeit mindestens einer Objektposition OP mindestens eines in der realen Umgebung befindlichen Objekts O1 bis On eingestellt wird, wie dies nachfolgend anhand der 1, 2 und 3 erläutert wird. Insbesondere wird dabei bei einer Verkleinerung des virtuellen Bildabstands C, C1, C2 die Darstellung der Information Z vergrößert; bei einer Vergrößerung des virtuellen Bildabstands C, C1, C2 wird die Darstellung der Information Z verkleinert, um für den Betrachter den Anschein zu erzeugen, dass der virtuelle Bildabstand C verändert wird.
-
Eine Fahrsituation ist durch zu einem betrachteten Zeitpunkt vorliegende aktuelle und/oder in naher Zukunft vorliegende Umgebungsbedingungen des Fahrzeugs 1, wie z. B. dessen Fahrzeugposition, Geschwindigkeit, Fahrtrichtung, durchfahrene Umgebung und sich in der Nähe des Fahrzeugs 1, insbesondere vor und neben dem Fahrzeug 1, befindliche Objekte O1 bis On bestimmt.
-
Eine Fahrsituation ist beispielsweise der Halt des Fahrzeugs 1 vor einer Lichtsignalanlage zusammen mit anderen Fahrzeugen. Eine weitere Fahrsituation ist beispielsweise eine Fahrt des Fahrzeugs 1 auf einer Landstraße, auf welcher sich in unmittelbarer Umgebung des Fahrzeugs 1 keine weiteren Fahrzeuge bewegen.
-
In 2 ist schematisch das Fahrzeug 1 in einer ersten Fahrsituation dargestellt. Vor dem Fahrzeug 1 befindet sich in einem ersten Objektabstand D1 ein als ein zweites Fahrzeug ausgebildetes Objekt O1. Der erste Objektabstand D1 ist größer als ein eingestellter und als erster virtueller Bildabstand C1 bezeichneter virtueller Bildabstand C der Anzeigeregion 4 zu dem in 1 dargestellten Betrachter 6.
-
Die Information Z wird dem Betrachter 6 als zwischen dem Fahrzeug 1 und dem Objekt O1 als die reale Umgebung überlagernd dargestellt.
-
Eine Fahrsituation wird vorteilhaft anhand einer Detektion von Objekten O1 bis On insbesondere in der Anzeigeregion 4 ermittelt. Dazu wird mittels der Erfassungseinheit 2 die reale Umgebung als Bild B erfasst und das Bild B und/oder Bilddaten an die Verarbeitungseinheit 3 übermittelt. Durch diese wird das Bild B analysiert, in der Anzeigeregion 4 vorhandene Objekte O1 bis On werden detektiert und jeweils eine als Strichmarke dargestellte Objektposition OP der Objekte O1 bis On wird ermittelt.
-
Weiterhin wird durch die Verarbeitungseinheit 3 unter Nutzung von Fahrzeug- und Umgebungsdaten, beispielsweise der Geschwindigkeit des Fahrzeugs 1 und Navigationsdaten, eine als Strichmarke dargestellte eigene Fahrzeugposition FP ermittelt. Der erste virtuelle Bildabstand C1 wird in Abhängigkeit der jeweils ermittelten Objektpositionen OP der in der realen Umgebung detektierten Objekte O1 bis On relativ zu der ermittelten eigenen Fahrzeugposition FP eingestellt.
-
Aus den jeweils ermittelten Objektpositionen OP wird ein erster Objektabstand D1 zur Fahrzeugposition FP ermittelt, die mittels der Verarbeitungseinheit 3 mit dem aktuellen ersten virtuellen Bildabstand D1 verglichen wird. Als Fahrzeugposition FP wird ein Ort gewählt, an dem sich erwartungsgemäß der Betrachter 6 in dem Fahrzeug 1 befindet.
-
Ergibt der Vergleich, dass der ermittelte erste Objektabstand D1 größer als der erste virtuelle Bildabstand C1 ist, wird der erste virtuelle Bildabstand C1 beibehalten.
-
In der 3 ist eine Fahrsituation dargestellt, bei der das Fahrzeug 1 dem Objekt O1 gegenüber der 2 angenähert dargestellt ist, d. h. der Objektabstand D1 hat sich auf einen Objektabstand D2 verringert.
-
Der Vergleich von Objektposition OP und Fahrzeugposition FP ergibt, dass der ermittelte zweite Objektabstand D2 geringer als der erste virtuelle Bildabstand C1 ist.
-
Bei einer Ausgabe der Information Z in dem bisherigen ersten virtuellen Bildabstand C1 wird für den Betrachter 6 der Anschein erzeugt, dass sich die mit Strichlinien gezeigte Anzeigeregion 4 mit der Information Z innerhalb des Objektes O1 befindet.
-
Deshalb wird ein zweiter virtueller Bildabstand C2 eingestellt, indem der erste virtuelle Bildabstand C1 verringert wird. Der zweite virtuelle Bildabstand C2 ist derart ausgebildet, dass die mit Volllinien gezeigte Anzeigeregion 4 zwischen dem Fahrzeug 1 und dem Objekt O1 liegt. Die Einstellung des virtuellen Bildabstands C, C1, C2 erfolgt dabei durch Einstellung einer Größe der Darstellung der Information Z. Insbesondere wird bei einer Verkleinerung des virtuellen Bildabstands C, C1, C2 die Darstellung der Information Z vergrößert; bei einer Vergrößerung des virtuellen Bildabstands C, C1, C2 wird die Darstellung der Information Z verkleinert.
-
Zusätzlich kann eine Einstellung des ersten oder zweiten virtuellen Bildabstands C1, C2 in weiteren Ausgestaltungen des Verfahrens durch ein Verschieben der Informationen Z in einen anderen Teilbereich der Anzeigeregion 4 erfolgen, in welchen der Objektabstand D1, D2 größer ist oder keine Objekte O1, O2 vorhanden sind.
-
Wird bei der Analyse wenigstens eines zu einem späteren Zeitpunkt aufgenommenen Bilds B festgestellt, dass alle ermittelten Distanzen größer als der zweite virtuelle Bildabstand C2 sind, kann dieser wieder vergrößert werden. Beispielsweise kann der erste virtuelle Bildabstand C1 eingestellt werden, wenn dieser ein bevorzugter virtueller Bildabstand C ist
-
Durch eine solche adaptive Steuerung des virtuellen Bildabstands C in Abhängigkeit der aktuellen Fahrsituation und in Abhängigkeit mindestens einer Objektposition OP mindestens eines in der realen Umgebung befindlichen Objekts O1 bis On ist vorteilhaft erreicht, dass der virtuelle Bildabstand C immer so eingestellt wird, dass die Darstellung der Information Z für den Betrachter 6 nicht innerhalb eines Objekts O1 bis On erscheint.
-
In einer Ausgestaltung des Verfahrens werden nur Objekte O1 bis On detektiert, die sich in der aktuell verwendeten Anzeigeregion 4 befinden. Dadurch ist vorteilhaft eine Analyse nicht relevanter Daten reduziert.
-
Die augmentierte Darstellung der Information Z wird in weiteren Ausgestaltungen des Verfahrens in Abhängigkeit mindestens einer Objektposition OP mindestens eines in der realen Umgebung befindlichen Objekts O1 bis On hinsichtlich mindestens eines Darstellungsparameters verändert. Dabei sind Darstellungsparameter beispielsweise eine Farbsättigung, Helligkeit, Kontrast und Transparenzgrad, geometrische Größe und/oder Schriftgrößen von Textbausteinen der Information Z.
-
Zur Detektion von Objekten O1 bis On und zur Ermittlung von deren Objektposition OP werden in weiteren Ausgestaltungen des Verfahrens eine transversale Position und ein lateraler Abstand des Fahrzeugs 1 zum Objekt O1 bis On ermittelt, indem insbesondere eine vorhandene Fahrzeugsensorik, wie zum Beispiel Radar-, Lidar- und/oder Ultraschallsensorik verwendet wird. Unter „transversal” ist in einer Querrichtung bezogen auf das Fahrzeug 1 zu verstehen und unter „lateral” ist in einer Längsrichtung bezogen auf das Fahrzeug 1 zu verstehen.
-
Diese Fahrzeugsensorik kann außerdem verwendet werden, um eine Verschiebung oder Verlagerung der Information Z und/oder die Darstellungsparameter zu steuern.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 1.1
- Frontscheibe
- 2
- Erfassungseinheit
- 3
- Verarbeitungseinheit
- 4
- Anzeigeregion
- 5
- Ausgabeeinheit
- 6
- Betrachter
- 8
- strahlformendes Element
- B
- Bild
- vB
- virtuelles Bild
- C
- virtueller Bildabstand
- C1
- erster virtueller Bildabstand
- C2
- zweiter virtueller Bildabstand
- D
- Objektabstand
- D1
- erster Objektabstand
- D2
- zweiter Objektabstand
- FP
- Fahrzeugposition
- Z
- Information
- P
- Punkt
- O1 bis On
- erstes Objekt bis n-tes Objekt
- OP
- Objektposition
- S
- Projektionsstrahlengang
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014008152 A1 [0003]
