DE102013016242A1

DE102013016242A1 - Verfahren und Vorrichtung zur Unterstützung mindestens eines Fahrassistenzsystems

Info

Publication number: DE102013016242A1
Application number: DE201310016242
Authority: DE
Inventors: Jens Desens; Jürgen Dickmann; Hans Fritz; Thomas Gens; Christian Grünler; Markus Hammori; Armin Joos; Eberhard Kaus; Florian Kerber; Carsten Knöppel; Lars Lütze; Marc Necker; Dirk Olszewski; Roland Schweiger
Original assignee: Daimler AG
Current assignee: Necker Marc Dr-Ing De
Priority date: 2013-10-01
Filing date: 2013-10-01
Publication date: 2015-04-02

Abstract

Die Erfindung betrifft ein Verfahren zur bildgeführten Unterstützung mindestens eines Fahrassistenzsystems, insbesondere eines Geschwindigkeits- und Abstandsregelsystems, durch augmentierte Darstellung mindestens einer Zusatzinformation (Z1 bis Zx) in mindestens einem Bild (Br, Bd) einer einem Fahrzeug vorausliegenden Fahrzeugumgebung (U), wobei das Bild (B) einen Hintergrund einer Anzeige (2) bildet und identifizierte vorausfahrende, benachbarte und/oder entgegenkommende Fahrzeuge (F) im Hintergrund (H) mittels mindestens einer zugehörigen Zusatzinformation (Z1 bis Zx) optisch gekennzeichnet werden, wobei in dem Hintergrund (H) als augmentierte Zusatzinformation (Z1 bis Zx) in Abhängigkeit vom momentanen Fahrzeugzustand und/oder der momentanen Fahrzeugposition zumindest ein die vorausliegende Fahrsituation repräsentierender Warnhinweis und/oder ein einen erforderlichen Fahrzeugsteuereingriff repräsentierender Steuerhinweis ausgegeben werden bzw. wird.

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung mindestens eines Fahrassistenzsystems gemäß den Merkmalen des Oberbegriffs des Anspruchs 1. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.
Aus der US 2010/0292886 A1 sind beispielsweise optische Kennzeichnungen vorausfahrender, benachbarter oder entgegenkommender Fahrzeuge durch deckungsgleiche oder angrenzende Überlagerung virtueller Objekte sowie eine Anzeige des Abstands zum vorausfahrenden oder benachbarten Fahrzeug sowie dessen Geschwindigkeit bekannt.
Aus der DE 10 2005 062 151 B4 ist darüber hinaus eine augmentierte Abstands- und Kollisionswarnung in Abhängigkeit auftretender Umgebungsbedingungen, wie auftretende virtuelle Verkehrsschilder, farbwechselnde Leitlinien und Fahrteppiche sowie augmentierte Abbiege- und Spurwechselhinweise, bekannt.
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 10. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Beim erfindungsgemäßen Verfahren zur insbesondere bildgeführten Unterstützung mindestens eines Fahrassistenzsystems, insbesondere eines Geschwindigkeits- und Abstandsregelsystems (Abstandsregeltempomats), durch augmentierte Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer einem Fahrzeug vorausliegenden Fahrzeugumgebung bildet das Bild einen Hintergrund auf einer Anzeige, wobei identifizierte vorausfahrende, benachbarte und/oder entgegenkommende Fahrzeuge im Hintergrund mittels mindestens einer zugehörigen Zusatzinformation optisch gekennzeichnet werden, und wobei als augmentierte Zusatzinformation zumindest in Abhängigkeit von einem momentanen Fahrzeugzustand und/oder einer momentanen Fahrzeugposition zumindest ein die vorausliegende Fahrsituation repräsentierender Warnhinweis und/oder ein einen erforderlichen Fahrzeugsteuereingriff repräsentierender Steuerhinweis ausgegeben werden bzw. wird.
Mittels des erfindungsgemäßen Verfahrens wird ein herkömmliches Fahrassistenzsystem, wie beispielsweise ein Abstandsregeltempomat, aktiv und dynamisch unterstützt und somit für den Fahrer des Fahrzeugs besser wahrnehmbar. Darüber hinaus wird durch die Einblendung von virtuellen Warn- und/oder Steuerhinweisen zustands- und/oder ortsabhängig der Fahrer des Fahrzeugs komfortabel in der Wahrnehmung der aktuellen Fahrsituation unterstützt. So kann der Fahrer des Fahrzeugs unter zur Hilfenahme der augmentierten Warn- und/oder Steuerhinweise, insbesondere der ortsabhängigen, gezielt die Fahrdynamik und das Fahrverhalten beeinflussende Maßnahmen ergreifen. Zudem können anhand der erzeugten virtuellen Warn- und/oder Steuerhinweise gegebenenfalls automatisch geeignete Maßnahmen zur Kollisionsvermeidung und/oder Unfallvermeidung durch eines der Fahrassistenzsysteme eingeleitet werden, wodurch die Sicherheit erhöht werden kann.
Bei dem Bild kann es sich um ein reales Bild einer vorausliegenden und somit im Sichtfeld des Fahrers liegende Umgebung oder um ein aufgenommenes digitales Bild dieser Umgebung handeln. Das Bild bildet den Hintergrund, so dass der Hintergrund der Anzeige bei einem realen Bild real ist und bei einem aufgenommen digitalen Bild als Ausgabebild auf der Anzeige ausgegeben wird.
In einer möglichen Ausführungsform wird als augmentierter Warnhinweis zumindest eine Grenzgeschwindigkeit für das eigene Fahrzeug ausgegeben. Dabei wird anhand von Sensordaten geeigneter Fahrzeugsensoren, wie Fahrzeuggeschwindigkeit, Giermoment, und anhand von erfassten Daten der vorausliegenden Fahrbahn, wie Kartendaten und/oder Daten der aufgenommenen oder realen Bilder der Umgebung, insbesondere daraus abgeleiteter Daten, wie Kurvenradius, Fahrbahnneigung, Geschwindigkeit eines vorausfahrenden Fahrzeugs, als eine mögliche Grenzgeschwindigkeit eine Kurvengrenzgeschwindigkeit ermittelt und überlagert ausgegeben, bei der das Fahrzeug in einer Kurve die Haftgrenze überschreitet (Schleudern) oder das Fahrzeug kippt. Hierdurch wird ein Fahrer des Fahrzeugs einfach und intuitiv das Gefährdungspotential beim Befahren der vorausliegenden Kurve vermittelt. Die angezeigte Geschwindigkeit kann auch mit einer vorgegebenen Toleranz zur Grenzgeschwindigkeit ausgegeben werden.
Alternativ oder zusätzlich kann anhand der erfassten Daten als Grenzgeschwindigkeit eine Verkehrsgrenzgeschwindigkeit ermittelt und überlagert ausgegeben werden, welche aufgrund gesetzlicher Vorgaben im vorausliegenden Fahrbahnbereich gilt. Ferner kann anhand der erfassten Daten, insbesondere bei identifizierten langsamer vorausfahrender Fahrzeuge als Grenzgeschwindigkeit eine Längsgrenzgeschwindigkeit ermittelt und überlagert ausgegeben werden.
Zusätzlich kann vorgesehen sein, dass zum augmentierten Warnhinweis eine im Hintergrund abgebildete Fahrbahnbegrenzung mit einer variierenden Grenzmarkierung überlagert wird. Hierdurch kann der Fahrer des Fahrzeugs der Anzeige fortlaufend unmittelbar entnehmen, auf welcher Seite gegebenenfalls ein zusätzlicher Eingriff erforderlich ist und/oder ob vorausliegend eine kritische Verkehrssituation eintritt und gegebenenfalls Gegenmaßnahmen erforderlich sind. Dabei kann die Grenzmarkierung in Abhängigkeit vom Warnhinweis und/oder erfolgtem Fahrzeugeingriff verändert im Hintergrund ausgegeben werden, so dass der Fahrer des Fahrzeugs fortlaufend über mögliche vorausliegende Gefahren informiert wird und diese besser abschätzen kann und somit die Folgen seines Handelns (Eingriff in die Fahrdynamik) besser und schneller abschätzen kann.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass als Warnhinweis ein aktuell benötigter Bremsweg zu dem identifizierten vorausfahrenden Fahrzeug in den Hintergrund überlagernd eingeblendet wird. Ausgehend von der momentanen Fahrzeugposition wird der Abstand zu einem vorausfahrenden Fahrzeug sowie die Relativgeschwindigkeit beider Fahrzeuge ermittelt und eine mögliche Kollisionsgefahr daraus abgeleitet und diese dem Fahrer des Fahrzeugs in einfacher Art und schnell erfassbarer Weise überlagert im Hintergrund der Anzeige ausgegeben. Zusätzlich oder alternativ kann als Steuerhinweis mindestens ein notwendiger Lenkeingriff einer Querführung des eigenen Fahrzeugs in das Ausgabebild eingeblendet werden. Hierdurch erhält der Fahrzeugführer unmittelbar eine Rückmeldung über möglicherweise erforderliche Eingriffe in die Fahrdynamik des Fahrzeugs vor einem Durchfahren einer in der Fahrbahn vorausliegenden Kurve, so dass eine kritische Situation besser abgeschätzt und gegebenenfalls ein weiterer Eingriff erfolgen kann.
Darüber hinaus kann als Steuerhinweis eine Systembereitschaft eines aktiven Fahrassistenzsystems, wie aktive Querführung, und mindestens ein notwendiger manueller Eingriff, insbesondere ein Lenkeingriff einer Querführung des eigenen Fahrzeugs, in den Hintergrund eingeblendet werden. Hierdurch wird dem Fahrer des Fahrzeugs auch bei einem aktivierten Fahrassistenzsystem ein Hinweis auf eine mögliche kritische Situation gegeben, so dass der Fahrer frühzeitig erforderliche Eingriffe in die Fahrdynamik des Fahrzeugs vornehmen kann und dessen Auswirkungen anhand der Anpassung der eingeblendeten Steuerhinweise und/oder Warnhinweise schnell und einfach einschätzen kann.
Gemäß einem Ausführungsbeispiel wird der Steuerhinweis in demjenigen Bildbereich des Hintergrundes ausgegeben, der dem realen Ort in der vorausliegenden Umgebung entspricht, an dem ein manueller Fahrzeugsteuereingriff voraussichtlich erforderlich ist. Hierdurch werden bzw. wird dem Fahrer des Fahrzeugs einfach und intuitiv der Ort und/oder der Zeitpunkt des erforderlichen manuellen Fahrzeugsteuereingriffs vermittelt.
Anhand einer fortlaufenden Anpassung der augmentierten Warn- und/oder Steuerhinweise an Fahrzeugzustandsdaten und/oder an die vorausliegende Fahrsituation ist es darüber hinaus möglich, dass das Maß an Sicherheit, mit welcher das Fahrzeug unfallfrei eine Kurve passieren kann und/oder sich einem vorausfahrenden Fahrzeug nähert, in dem Hintergrund aktualisiert dargestellt wird. Somit wird unmittelbar von dem Fahrer des Fahrzeugs jede Veränderung wahrgenommen, insbesondere dann wenn der Fahrer des Fahrzeugs aufgrund eines der Hinweise regelnd auf das Fahrzeug einwirkt, z. B. die Geschwindigkeit des eigenen Fahrzeugs reduziert oder Eingriff in die Lenkung vornimmt.
Des Weiteren kann vorgesehen sein, dass die Zusatzinformation, insbesondere ereignisgesteuert und gegebenenfalls wechselweise, als 2D-Darstellung und/oder als 3D-Darstellung ausgegeben wird. So können beispielsweise eine als Zusatzobjekt ausgegebene Zusatzinformation, z. B. ein virtuelles Verkehrsschild, in 3D-Darstellung und/oder eine als Zusatztext ausgegebene Zusatzinformation, insbesondere eine Beschriftung eines realen oder virtuellen Objektes im Ausgabebild, in 2D-Darstellung im Hintergrund eingeblendet werden. Dies erhöht die Übersichtlichkeit der Anzeige und ermöglicht eine verbesserte Wahrnehmung und Erkennbarkeit von relevanten Informationen im Hintergrund.
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Ermittlung oder Aufnahme eines Bildes einer Umgebung, welches einen Hintergrund einer Anzeige bildet, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung des aufgenommenen digitalen Bildes sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in den Hintergrund und mindestens eine Ausgabeeinheit zur Ausgabe der Zusatzinformation überlagernd auf dem Hintergrund.
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass einem Fahrer beim Fahren des Fahrzeugs Eingriffe in die Fahrdynamik des Fahrzeugs, aktiviert durch ein Fahrerassistenzsystem und/oder manuell durch den Fahrer selbst, durch Einblendungen von Warn- und/oder Steuerhinweisen orts- und/oder zustands- und/oder situationsbezogen einfach und intuitiv in den realen oder digitalen Hintergrund einer Anzeige wahrnehmbar gemacht werden. Dies führt zu einer Entlastung des Fahrers, da er die Gefahren besser abschätzen kann und die Folgen seines Handelns und/oder des Handelns des Fahrassistenzsystems besser und schneller abschätzen kann.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1A schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Ausgabebild,
1B schematisch ein Fahrzeug mit mehreren Aufnahmeeinheiten,
2A, 2B schematisch ein Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D-Zusatzinformationen zur Markierung von vorausfahrenden oder benachbarten Fahrzeugen,
3 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D-Zusatzinformationen zur Anzeige der Geschwindigkeit von vorausfahrenden oder benachbarten Fahrzeugen,
4 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 3D-Zusatzinformationen zur Anzeige einer Grenzgeschwindigkeit des eigenen Fahrzeugs,
5 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 3D-Zusatzinformationen zur Anzeige eines erforderlichen Bremsweges,
6 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D- und 3D-Zusatzinformationen zur Anzeige eines Mindestabstandes zum vorausfahrenden Fahrzeug,
7 schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D- und 3D-Zusatzinformationen zur Anzeige eines Steuerhinweises, insbesondere eines erforderlichen Lenkeingriffs,
8A, 8B schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D- und 3D-Zusatzinformationen zur Anzeige eines Warn- und/oder Steuerhinweises, insbesondere eines erforderlichen Lenkeingriffs,
9A, 9B schematisch ein weiteres Ausführungsbeispiel für ein Ausgabebild mit überlagerten 2D- und 3D-Zusatzinformationen zur Anzeige eines Warn- und/oder Steuerhinweises, insbesondere eines erforderlichen Spurwechsels, und
10 schematisch ein weiteres Ausführungsbeispiel für eine Sequenz von Ausgabebildern mit sich situationsbedingt verändernden überlagerten 2D- und 3D-Zusatzinformationen zur Anzeige eines Warn- und/oder Steuerhinweises, insbesondere eines erforderlichen Spurwechsels.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
1A zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z1 bis Zx in einem Bild, das einen Hintergrund H auf einer Ausgabeeinheit 2 bildet. Das Bild kann dabei ein reales Bild Br einer im Sichtfeld des Benutzers liegenden Umgebung U sein oder ein digital aufgenommenes Bild Bd der vorausliegenden Umgebung U.
Mit anderen Worten: Das den Hintergrund H bildende Bild ist in einer Ausführungsform die reale vorausliegende Umgebung U. In einer alternativen Ausführungsform, welche hier näher beschrieben wird, wird als Bild ein digitales Bild Bd der realen vorausliegenden Umgebung U aufgenommen und in ein Ausgabebild A transformiert, das den Hintergrund H auf der Ausgabeeinheit 2 bildet.
Die Vorrichtung 1 umfasst optional eine Aufnahmeeinheit 3, welche ein digitales Bild Bd der Umgebung U aufnimmt. Das digitale Bild Bd wird einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A und der Zusatzinformation Z1 bis Zx im Ausgabebild A zugeführt. Das erzeugte und ausgegebene Ausgabebild A bildet in dieser Ausführungsform den Hintergrund H.
Die Vorrichtung 1 ist beispielsweise in einem in 1B dargestellten Fahrzeug F integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs F, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung (einem Verkehrsumfeld). Das Fahrzeug F umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera (oder eine Radareinheit, eine Ultraschallsensoreinheit, eine Lidareinheit), welche zumindest im Frontbereich angeordnet ist. Zusätzlich kann das Fahrzeug F, wie in 1B dargestellt, weitere Aufnahmeeinheiten 3, z. B. integriert im Seitenspiegel und/oder im Heckbereich des Fahrzeugs F, umfassen.
Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale digitale Bilder Bd mit oder ohne Tiefeninformation der Umgebung U aufnimmt.
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
Bei Ausbildung der Ausgabeeinheit 2 als Bildschirm wird im Hintergrund H das erzeugte Ausgabebild A ausgegeben. Bei Ausbildung der Ausgabeeinheit 2 als Projektionsbildschirm oder Head-up-Display bildet die reale vorausliegende Umgebung U den Hintergrund H, auf welchen die Zusatzinformationen Z1 bis Zx eingeblendet werden.
Nachfolgend wird die Erfindung für die Ausführung der Ausgabeeinheit 2 als ein Bildschirm beschrieben und somit mit einem aus einem aufgenommenen digitalen Bild Bd transformierten Ausgabebild A, welches den Hintergrund H (auch H(A) genannt) bildet. Das beschriebene Verfahren ist analog zur augmentieren Darstellung der Zusatzinformationen Z1 bis Zx auf einem Projektionsbildschirm oder Head-up-Display anwendbar, wobei dort der Hintergrund H (auch H(Br) genannt) durch das reale Bild Br der vorausliegenden Umgebung U mit den Objekten O1 bis Oz gebildet ist.
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4 ist derart ausgebildet, dass das aufgenommene digitale Bild Bd der Umgebung U in ein Ausgabebild A der Anzeige 2 als Hintergrund transformiert wird, wobei die Zusatzinformation Z1 bis Zx in Abhängigkeit von dem zugehörigen Hintergrundbereich des Ausgabebildes A, situationsbedingt (in Abhängigkeit von der vorausliegenden Verkehrssituation) und/oder ortsabhängig (in Abhängigkeit von der momentanen eigenen Position) und somit verändert/angepasst in diesem überlagert ausgegeben werden kann.
Das heißt, durch einfache Anpassung oder Veränderung der virtuellen einzublendenden Zusatzinformation Z1 bis Zx kann diese optisch hervorgehoben im Ausgabebild A und somit vor dem Hintergrund – dem vorausliegenden Verkehrsumfeld – erscheinen.
2A und 2B zeigen ein mögliches Ausführungsbeispiel, bei welchem anhand des beispielsweise als Farbbild aufgenommenen digitalen Bildes Bd der vorausliegenden Umgebung U ein Ausgabebild A als Hintergrundbild auf der Anzeige 2 erzeugt und ausgegeben wird. Das den Hintergrund bildende Ausgabebild A und dessen Objekte O1 bis Oz sind durch eine dünne Punktliniendarstellung in den 2A und 2B gezeigt.
Das Ausgabebild A zeigt hierbei eine dem eigenen Fahrzeug F vorausliegende Umgebung U. Das erfasste Bild B dieser Umgebung U wurde beispielsweise als ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert oder als ein Infrarot-Bild in einem für den Menschen nicht wahrnehmbaren Wellenbereich aufgenommen.
Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, können zu gewünschten oder relevanten Objekten O1 bis Oz zusätzliche Informationen als virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau und perspektivisch korrekt im Ausgabebild A eingeblendet werden.
Mit anderen Worten: Das Ausgabebild A, repräsentierend die umgebende Realität und die vorausliegende Verkehrssituation, wird mit zusätzlichen digitalen Informationen – den virtuellen Zusatzinformationen Z1 bis Zx – überlagert, wobei die Überlagerung im Ausgabebild A perspektivisch korrekt zu den realen Objekten O1 bis Oz erfolgt. Dadurch korrespondieren die virtuellen Zusatzinformationen Z1 bis Zx direkt mit den realen Objekten O1 bis Oz in der realen Umgebung U.
Im beschriebenen Ausführungsbeispiel bei einer Anwendung im Fahrzeug F bewegt sich das Ausgabebild A der Umgebung U mit der Fahrt des eigenen Fahrzeugs F mit. Hierzu wird eine Abfolge von Ausgabebildern A in Art einer Videosequenz der in der Umgebungen U aufgenommenen digitalen Bilder Bd erzeugt (siehe hierzu 10).
Aufgrund der Korrespondenz von virtuellen Zusatzinformationen Z1 bis Zx und zu einem oder mehreren realen Objekten O1 bis Oz in der Umgebung U kann in einer Weiterbildung die Lage und/oder Form der virtuellen Zusatzinformation Z1 bis Zx kontinuierlich an eine geänderte Verkehrssituation und/oder einen geänderten Fahrzeugzustand angepasst werden.
Beispielsweise repräsentieren im Ausgabebild A nach 2A und 2B die virtuelle Zusatzinformation Z1 in Art eines Auswahl-/Aktivhinweises eine rahmenförmige Markierung und das reale Objekt O1 ein dem eigenen Fahrzeug F vorausfahrendes Fahrzeug. Die Zusatzinformation Z1 wird insbesondere bei Erfassung und Identifizierung des Objekts O1 als unmittelbar vorausfahrendes Fahrzeug automatisch erzeugt und zusätzlich im Ausgabebild A als eine das erfasste Objekt O1 kennzeichnende Markierung eingeblendet.
Die realen Objekte O2 repräsentieren erfasste reale benachbarte Fahrzeuge, welche im aufgenommenen Verkehrsumfeld auf benachbarten Fahrspuren fahren. Die realen Objekte O3 repräsentieren erfasste reale Elemente eines Verkehrsleitsystems. Die realen Objekte O4 repräsentieren erfasste reale Fahrbahn- und/oder Fahrspurbegrenzungen.
Die Erfindung findet insbesondere Anwendung zur bildgeführten, insbesondere augmentierten Unterstützung eines Fahrassistenzsystems des eigenen Fahrzeugs F, insbesondere eines Geschwindigkeits- und Abstandsregelsystems (im Weiteren Abstandsregeltempomat genannt). Herkömmliche Abstandsregeltempomate umfassen lediglich eine Anzeige über eine Aktivierung. Daher bleiben mittels des Abstandsregeltempomats vorgenommene Eingriffe bis zum Zeitpunkt deren Wirkung weitgehend in ihrer Funktion unbemerkt. Für eine einfache und intuitive Information der Wirkung von möglichen oder erforderlichen Eingriffen in die Fahrdynamik des eigenen Fahrzeugs F manuell durch den Fahrer oder automatisch durch den Abstandsregeltempomat wird das Systemverhalten des Abstandsregeltempomaten durch Nutzung der augmentierten Darstellung der möglichen, erforderlichen und/oder momentan ausgeführten Eingriffe unterstützt und somit besser erlebbar.
Wie in 2A und 2B am Beispiel des Objekts O1 und der Zusatzinformation Z1 gezeigt, können vorausfahrende oder benachbarte Fahrzeuge (= Objekte O2) mittels möglichst kontaktanaloger Augmentierung – entweder in der Headup-Anzeige oder in einer Live-Kameraansicht einer konventionellen Anzeige 2, wie z. B. einer Kombi- oder Zentralanzeige – markiert werden, um dem Betrachter zu verdeutlichen, dass die Vorrichtung 1 bzw. der Abstandsregeltempomat das betreffende Objekt O1 (das vorausfahrende Fahrzeug) erkannt hat und weiterhin überwacht. Die Live-Videodarstellung und somit die Sequenz von Ausgabebildern A kann dabei sowohl in Farbe als auch in Graustufendarstellung mit farbiger Augmentierung der sich mitbewegenden gleichbleibenden oder sich verändernden Zusatzinformation Z1 erfolgen. Die Markierung des vorausfahrenden Fahrzeugs kann beispielsweise in Form eines rechteckigen Rahmens um die Fahrzeugsilhouette herum erfolgen, wie in 2A gezeigt, oder aber in Form von Winkelelementen, deren waagerechte Teilelemente sich in einer weiteren Ausprägung an der Fahrbahnoberfläche orientieren, wie in 2B dargestellt.
Die Markierung und somit die virtuelle Zusatzinformation Z1 selbst kann in beliebiger Farbe, mit beliebigem Transparenzgrad oder auch opak ausgeführt sein. In jedem Fall aber wird die Markierung möglichst in Echtzeit mit der Bewegung des vorausfahrenden Fahrzeugs (= Objekt O1) nachgeführt. Hierzu können Algorithmen der Bilderkennung und der Bildverarbeitung verwendet werden. Es können jedoch auch Daten anderer Sensoren, wie Radarsensor oder Lidar-Sensor, verwendet werden.
3 zeigt zur augmentierten Unterstützung des Abstandsregeltempomaten weitere eingeblendete virtuelle Zusatzinformationen Z2 und Z3 als Zustandshinweise. Dabei repräsentiert die Zusatzinformation Z2 als Zustandshinweis eine Anzeige der momentanen Geschwindigkeit (im Beispiel 103 km/h) des vorausfahrenden Fahrzeugs O1. Die virtuelle Zusatzinformation Z3 repräsentiert als Zustandshinweis den momentanen Abstand (im Beispiel 12 m) des eigenen Fahrzeugs F vom vorausfahrenden Fahrzeug O1.
Dabei wird die Geschwindigkeit vorausfahrender oder benachbarter Fahrzeuge (Objekt O1) über die Sensorik des Abstandsregeltempomaten durch Vergleich mit der eigenen Geschwindigkeit ermittelt und mittels Augmentierung als Zahlenwert angezeigt. In vorteilhafter Weise erfolgt zusätzlich eine Augmentierung anhand der in 2A und 2B beschriebenen Markierung des jeweiligen vorausfahrenden Fahrzeugs (= Objekt O1), um die Zugehörigkeit der angezeigten Geschwindigkeit (= Zusatzinformation Z2) zum jeweiligen vorausfahrenden Fahrzeug (= Objekt O1) zu verdeutlichen.
Die Anzeige der Geschwindigkeit kann sowohl absolut als auch relativ zur eigenen Geschwindigkeit erfolgen. Die Anzeige von Geschwindigkeit und Abstand können zudem mit verschiedenen Symbolen ergänzt werden, um die Bedeutung der beiden Zahlenwerte zu verdeutlichen. Alternativ könnte die Geschwindigkeit auch als Tachometergrafik dargestellt werden. In einer weiteren Ausprägung der Erfindung kann per Konfiguration oder interaktiv ausgewählt werden, ob die Augmentierung von Zustandshinweisen lediglich für ein einziges und hier in vorteilhafter Weise für das vorausfahrende Fahrzeug (= Objekt O1) erfolgt oder aber für mehrere bis hin zu allen vom Abstandsregeltempomat erfassten Fahrzeugen (= Objekte O1 und O2) gleichzeitig.
4 zeigt ein weiteres Ausführungsbeispiel der Erfindung. Dabei wird eine weitere augmentierte Zusatzinformation Z4 als ein Warnhinweis in das Ausgabebild A eingeblendet, welche eine in einer vorausliegenden Fahrsituation, insbesondere in einer vorausliegenden Kurve maximale Grenzgeschwindigkeit (= Kurvengrenzgeschwindigkeit), z. B. 70 km/h, repräsentiert.
Zusätzlich wird gemäß dem Ausführungsbeispiel nach 5 die eigene Setzgeschwindigkeit, z. B. 100 km/h, als ein Zustandshinweis durch die augmentierte Zusatzinformation Z5 im Ausgabebild A eingeblendet. Falls aufgrund der vorausliegenden Fahrsituation nicht auf die Setzgeschwindigkeit sondern eine andere Grenzgeschwindigkeit, z. B. eine Verkehrsgrenzgeschwindigkeit oder Längsgrenzgeschwindigkeit, geregelt wird bzw. diese relevant ist, kann diese Grenzgeschwindigkeit (= Zusatzinformation Z4) anstelle der Setzgeschwindigkeit (= Zusatzinformation Z5) oder auch zusätzlich zur Setzgeschwindigkeit angezeigt werden.
Als Warnhinweise können beispielsweise folgende Grenzgeschwindigkeiten augmentiert und den Abstandsregeltempomat unterstützend im Ausgabebild A ausgegeben werden:

– Grenzgeschwindigkeit bei Kurvenfahrten (= Kurvengrenzgeschwindigkeit): Eine Kurvengrenzgeschwindigkeit für eine identifizierte vorausliegende Kurve wird beispielsweise aus Kartendaten oder anhand von im aufgenommenen digitalen Bild Bd erfassten Verkehrsschildern ermittelt. Um das Einregeln auf eine Kurvengrenzgeschwindigkeit in Kurvenfahrten verständlich im Ausgabebild A darzustellen, kann zusätzlich ein relevanter Fahrbahnrand oder eine Fahrbahnbegrenzung mittels einer weiteren virtuellen Zusatzinformation Z7 als Warnhinweis augmentiert werden. Hierbei wird die Fahrbahnbegrenzung der geschwindigkeitsbegrenzenden Kurve mittels der ausgegebenen virtuellen Zusatzinformation Z7 in geeigneter Form, z. B. farblich, oder in anderen Gestaltungsmerkmalen abgehoben von der Darstellung der realen geraden oder weniger gekrümmten Fahrbahnbegrenzung gekennzeichnet. In einer weiteren Ausgestaltung kann zusätzlich die jeweilige Kurvengrenzgeschwindigkeit als Zahlenwert oder, wie anhand der Zusatzinformation Z4 dargestellt, als virtuelles Verkehrsschild oder Symbol an die Stelle der Fahrbahn augmentiert werden, von der an die Kurvengrenzgeschwindigkeit relevant ist. Die virtuelle Zusatzinformation Z6 repräsentiert im Fahrbahnbereich vor der Kurvengrenzgeschwindigkeit die vorgegebene Setzgeschwindigkeit anhand einer die Fahrbahnbegrenzung überlagernden Balkendarstellung, die bis an die Stelle augmentiert wird, bis die Kurvengrenzgeschwindigkeit relevant wird. Dabei wird beispielsweise der eingeblendete Balken entlang der Fahrbahnbegrenzung für die Setzgeschwindigkeit (= Zusatzinformation Z6) als Zustandshinweis grün markiert und der nachfolgend eingeblendete Balken entlang der Fahrbahnbegrenzung für die Kurvengrenzgeschwindigkeit (= Zusatzinformation Z7) in der Kurve als Warnhinweis rot markiert. Die Kurvengrenzgeschwindigkeit kann als Warnhinweis überlagernd im Ausgabebild A ausgegeben werden und kann an die aktuelle Fahrsituation, dem momentanen Fahrzeugzustand und/oder der momentanen Fahrzeugposition als sich verändernder Warnhinweis, z. B. wechselnde Farbe von rot nach grün oder umgekehrt, zur Kenntlichmachung eines kritischen oder unkritischen Fahrens des eigenen Fahrzeugs F ausgegeben werden.
– Grenzgeschwindigkeiten aufgrund einer gesetzlichen Vorgabe (= Verkehrsgrenzgeschwindigkeit). Eine solche augmentierte Verkehrsgrenzgeschwindigkeit kann anhand von Daten aus einer Verkehrszeichenerkennung und/oder einer Navigationskarte ermittelt werden. Diese Verkehrsgrenzgeschwindigkeit kann als Zustands- und/oder als Warnhinweis überlagernd im Ausgabebild A ausgegeben werden und kann an die aktuelle Fahrsituation, dem momentanen Fahrzeugzustand und/oder der momentanen Fahrzeugposition als sich verändernder Hinweis ausgegeben werden. Abhängig von der eigenen Geschwindigkeit und einer möglichen Geschwindigkeitsbegrenzung kann die Darstellung der Augmentierung variiert werden. Wenn der Fahrer zu schnell unterwegs ist, könnte eine Augmentierung und somit eine der eingeblendeten Zusatzinformationen Z1 bis Zx beispielsweise die Farbe in rot wechseln.
– Als eine weitere Grenzgeschwindigkeit kann die Relativgeschwindigkeit aufgrund langsamer vorausfahrender Fahrzeuge (= Längsgrenzgeschwindigkeit) als eine Zusatzinformation Zx, wie oben beispielhaft als Balkendarstellung und/oder Pfeildarstellung, ausgegeben werden.

In ähnlicher Weise kann auch eine gesetzte Geschwindigkeitsbegrenzung augmentiert angezeigt werden, wenn statt der Abstandsregeltempomat-Funktion lediglich eine sogenannte Limiter-Funktion aktiviert ist. In diesem Ausführungsbeispiel wird ein Limiter als Fahrassistenzsystem durch eine augmentierte Darstellung von Zusatzinformationen Z1 bis Zx unterstützt. Die augmentierte Anzeige von virtuellen Zusatzinformationen Z1 bis Zx kann hier beispielsweise als am Straßenrand mitbewegtes Geschwindigkeits-Begrenzungsschild erfolgen. Auch eine Augmentierung erfasster realer Geschwindigkeitsbegrenzungen anhand in der Umgebung U erfasster Verkehrsschilder mit zusätzlicher Augmentierung der Limiter-Geschwindigkeit mittels Einblendung weiterer Zusatzinformationen Z1 bis Zx ist möglich.
5 und 6 zeigen weitere Ausgestaltungen der Erfindung, wobei in einem Ausgabebild A einer erfassten Umgebung U mit einem dem eigenen Fahrzeug F vorausliegenden Verkehrsumfeld wird der eigene Bremsweg als Warnhinweis anhand einer virtuellen Zusatzinformation Z8 im vorausliegenden Fahrbahnbereich augmentiert dargestellt. Die Ermittlung des Bremswegs erfolgt hierbei zumindest unter Berücksichtigung der eigenen Geschwindigkeit und einer fahrzeugspezifischen, als konstant angenommenen Verzögerung. Darüber hinaus können weitere Parameter in die Berechnung mit einbezogen werden, wie z. B. Reaktionszeit des Fahrers, Beladung, Geländeneigung, Wetterverhältnisse, wie z. B. Regen, Schnee, Glatteis, Gegen-/Rückenwind.
Die augmentierte Darstellung des eigenen Bremswegs kann z. B. in Form von mehreren auf der Fahrbahnoberfläche hintereinander liegenden Querbalken, wie anhand der Zusatzinformation Z8 in der 5 gezeigt, oder als opake Fläche jeweils perspektivisch korrekt bzw. in Fluchtpunktperspektive dargestellt werden, wie 6 anhand der Zusatzinformation Z9 gezeigt.
Alternativ oder zusätzlich kann der Einstellvorgang des Abstands zum vorausfahrenden Fahrzeug (= Objekt O1) im Ausgabebild A das reale Verkehrsumfeld überlagernd eingeblendet werden. In ähnlicher Form wie der augmentierte Bremsweg kann der Abstand zum vorausfahrenden Fahrzeug (= Objekt O1) anhand von auf der realen Fahrbahnoberfläche eingeblendeten Querbalken augmentiert im Ausgabebild A ausgegeben werden. Dabei erstrecken sich die Balken in Fahrtrichtung auf der Fahrbahn entsprechend dem jeweils eingestellten Abstand zum vorausfahrenden Fahrzeug (= Objekt O1).
Anstelle der Darstellung mehrerer hintereinander liegender Querbalken kann auch ein einziger Balken oder eine waagerechte Linie auf der realen Fahrbahnoberfläche überlagernd eingeblendet werden. In einer weiteren Ausführungsform ist bei deaktiviertem Abstandsregeltempomaten die zugehörige Sensorik üblicherweise immer noch aktiv, so dass weiterhin der Abstand zum vorausfahrenden Fahrzeug (= Objekt O1) überwacht werden kann. Sinkt der tatsächliche Abstand zum vorausfahrenden Fahrzeug unter eine bestimmte Schwelle, z. B. gesetzlicher Mindestabstand oder minimaler Bremsweg bei automatischer Notbremsung, kann zusätzlich zum Bremsweg in einer weiteren Ausgestaltung der Erfindung eine Abstands- oder Kollisionswarnung augmentiert dargestellt werden. Abhängig vom Abstand kann sich die Darstellungsform ändern. Beispielsweise können die Balken in rot gekennzeichnet werden, wenn der Abstand zu gering wird, oder in grün gekennzeichnet werden, wenn der Abstand im zulässigen Bereich ist. Ebenso kann die Farbe der eingeblendeten Zusatzinformationen Z1 bis Zx, wie Balken, angepasst werden an die Geschwindigkeitsdifferenz beider Fahrzeuge (das erfolgt analog zur Warnung vor einem deutlich langsamer fahrenden Fahrzeug).
Dabei kann sich beispielsweise die Farbe der Fahrzeugmarkierung (= rahmenförmige virtuelle Zusatzinformation Z1) des vorausfahrenden Fahrzeugs (= reales Objekt O1), der virtuellen Anzeige von Geschwindigkeit und Abstand (= virtuelle Zusatzinformationen Z2, Z3) und/oder des Bremsweges (= virtuelle Zusatzinformation Z8) ändern, z. B. von grün auf rot wechseln. Alternativ oder zusätzlich können virtuelle Warnsymbole als Warnhinweis eingeblendet und in einer der oben beschriebenen Art und Weise augmentiert werden. Des Weiteren ist es möglich, dass zusätzlich akustische Warnungen ausgegeben werden.
In einer weiteren Ausprägung der Erfindung kann zusätzlich oder alternativ zur Unterstützung des Abstandsregeltempomats ein weiteres Fahrassistenzsystem, insbesondere ein Querführungssystem (Lane-Keeping-Assistent) unterstützt werden. Bei zusätzlich vorhandener und aktiver Querführung können beispielsweise im Ausgabebild A als Steuerhinweise erforderliche/notwendige Fahrzeugsteuereingriffe, wie entsprechende Lenkeingriffe der Querführung, visualisiert werden. Die Visualisierung kann dabei in einer zuvor beschriebenen Art und Weise beispielsweise durch Balkendarstellungen erfolgen. Hierbei kann z. B. derjenige von der Aufnahmeeinheit 3 erfasste und mittels der Verarbeitungseinheit 4 identifizierte Fahrbahnrand durch die virtuelle Zusatzinformation Z10 in Form eines überlagerten Balken augmentiert werden, von dem aus das Fahrzeug F gerade weggelenkt wird, wie in 7 gezeigt. Die Anzeigedauer der Augmentierung kann sich dabei nach der Dauer des Lenkeingriffs richten oder bei sehr kurzzeitigen Eingriffen auch über ein bestimmtes Zeitintervall hinweg sichtbar bleiben. Die Augmentierung kann sich hierbei auf den identifizierten realen Fahrbahnrand beschränken, sie kann aber auch durch Einblendung verschiedener Symbole ergänzt werden, z. B. durch Pfeile, welche die Richtung der Lenkbewegung andeuten, wie in 7 anhand der Zusatzinformation Z11 angedeutet.
Darüber hinaus ist in diesem Zusammenhang alternativ auch eine dauerhafte Augmentierung erkannter Fahrbahnränder bei aktiver Querführung möglich, um dem Fahrer die Bereitschaft des aktiven Fahrassistenzsystems und somit der aktiven Querführung zu verdeutlichen. Bei Bedarf, also beispielsweise bei zu starker Annäherung an den Fahrbahnrand, wird dann mittels der aktiven Querführung automatisch ein entsprechender Lenkeingriff ausgeführt, der beispielsweise durch einen Farbumschlag der betreffenden virtuellen Zusatzinformation Z10 visualisiert wird, so dass der Fahrer des Fahrzeugs die Funktion des Fahrassistenzsystems besser wahrnehmen kann.
In einer weiteren Ausprägung der Erfindung könnte sich die Markierung der virtuellen Fahrbahnränder in Form, Farbe und/oder Abmessung im Ausgabebild A ändern und unterscheiden, je nachdem,

– ob die aktuellen Fahrparameter, wie Geschwindigkeit und Kurvenradius, vom betreffenden Fahrassistenzsystem beherrscht werden, also ein Eingriff des Fahrers voraussichtlich unnötig wäre, oder
– ob sich abzeichnet, dass in naher Zukunft ein manueller Lenkeingriff des Fahrers erforderlich wird, beispielsweise durch sich verringernden Kurvenradius bei beibehaltener Geschwindigkeit oder bei Beschleunigung bei gleichbleibendem Kurvenradius.

Darüber hinaus kann ein notwendiger manueller Eingriff und somit die Übergabe der Fahrzeugführung vom unterstützten Fahrassistenzsystem an den Fahrer im Ausgabebild A augmentiert werden.
Die augmentierte Darstellung von erforderlichen manuellen Fahrzeugsteuereingriffen durch den Fahrer mittels virtueller Steuerhinweise können bei autonomem Fahren dazu verwendet werden, um die Übergabe der Fahrzeugführung vom Fahrassistenzsystem an den Fahrer rechtzeitig und leicht verständlich in der Anzeige 2 auszugeben. In diesem Zusammenhang kann zusätzlich ein augmentierter Warn- und/oder Steuerhinweis an denjenigen Ort der realen Fahrbahn überlagernd eingeblendet werden, an dem ein Eingriff des Fahrers bzw. eine Übergabe der Fahrzeugführung an den Fahrer voraussichtlich erforderlich wird. Dabei kann das Einblenden des virtuellen Warn- und/oder Steuerhinweises zeitlich und örtlich mit einem bestimmten Vorlauf, das heißt, zeitlich und örtlich vor dem erforderlichen manuellen Eingriff, erfolgen, um dem Fahrer ausreichend Reaktionszeit einzuräumen.
Auch kann das oder die aktiven Fahrassistenzsysteme mittels eines mehrstufigen Hinweissystems unterstützt werden, bei welchem mehrere Zusatzinformationen Z12 bis Z14 als Warn- und/oder Steuerhinweise zeitlich nacheinander und ereignisgesteuert, d. h. in Abhängigkeit vom momentanen Fahrzeugzustand, der momentanen Fahrposition und/oder der vorausliegenden identifizierten Fahrsituation, in der Sequenz von Ausgabebildern A eingeblendet werden. 8A und 8B zeigen zwei zeitlich aufeinanderfolgende Ausgabebilder A mit nacheinander aufgrund der vorausliegenden Verkehrssituation unterschiedlich eingeblendeten Zusatzinformationen Z12 bis Z13, wobei die Zusatzinformation Z12 den Abstand bis zur Kurve und insbesondere der Position am Anfang der Kurve repräsentiert, die einen Lenkeingriff erforderlich macht. Die Zusatzinformation Z13 repräsentiert den erforderlichen Lenkeingriff. Die Zusatzinformation Z14 repräsentiert den Fahrbahnbereich, in welchem ein Lenkeingriff aufgrund eines abnehmenden Kurvenradius erforderlich ist.
In einer weiterentwickelten Ausgestaltung der Erfindung zur augmentierten Unterstützung des Abstandsregeltempomats mit Längs- und Querführung sowie automatischem Spurwechsel kann die Durchführung eines Spurwechsels bzw. das geplante Vorhaben eines solchen Manövers anhand einer weiteren virtuellen Zusatzinformation Z15 im Ausgabebild A augmentiert werden, wie in den 9A und 9B gezeigt. Sobald der Abstandsregeltempomat beispielsweise beim Heranfahren an ein langsameres vorausfahrendes Fahrzeug (= reales Objekt O1) auf der eigenen Fahrbahn ein Überholmanöver aktiviert, kann dieses geplante automatische Überholmanöver mittels automatischer Einblendung der virtuellen Zusatzinformation Z15 als geplanter Fahrhinweis im Ausgabebild A ausgegeben werden. Dabei wird die Zusatzinformation Z15 beispielhaft anhand eines perspektivisch korrekt auf der Fahrbahnoberfläche liegenden Pfeils dargestellt. Sobald das Überholvorhaben gefahrlos durchführbar ist und dementsprechend auch gestartet wird, kann dies durch eine Variation der vorherigen Grafik, dem Pfeil, angezeigt werden.
Beispielsweise kann, wie in 9A dargestellt, ein Pfeil zunächst lediglich umrandet ausgegeben werden, wenn der Spurwechsel zwar geplant ist, aber noch nicht durchgeführt wird. Sobald der Spurwechsel gestartet wird, kann dieser Pfeil, wie in 9B dargestellt, ausgefüllt werden oder auch die Farbe wechseln oder ähnlich geändert werden.
In einer weiteren Ausgestaltung kann die Pfeilgrafik auch animiert werden, so dass z. B. die Pfeilspitze weiterhin auf der Zielfahrbahn ausgegeben, aber das hintere Pfeilende je nach Spurwechselfortschritt zunehmend verkürzt wird und letztendlich beim Abschließen des Spurwechselvorgangs gänzlich verschwindet, wie beispielhaft in der Videosequenz mehrere Ausgabebilder A in 10 gezeigt. Dabei kann die Pfeilspitze entweder ortsfest auf einem festen Punkt auf der Zielfahrbahn liegenbleiben oder sich mit einer bestimmten Relativgeschwindigkeit zur Fahrbahn mitbewegen.
Bezugszeichenliste

1: Vorrichtung
2: Ausgabeeinheit (Anzeige)
3: Aufnahmeeinheit
4: Verarbeitungseinheit
A: Ausgabebild
Bd: digitales Bild
Br: reales Bild
F: Fahrzeug
H: Hintergrund
O1 bis Oz: Objekte
U: Umgebung
Z1 bis Zx: Zusatzinformation

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2010/0292886 A1 [0003]
DE 102005062151 B4 [0004]

Claims

Verfahren zur Unterstützung mindestens eines Fahrassistenzsystems, insbesondere eines Geschwindigkeits- und Abstandsregelsystems, durch augmentierte Darstellung mindestens einer Zusatzinformation (Z1 bis Zx) in mindestens einem Bild (Br, Bd) einer einem Fahrzeug vorausliegenden Fahrzeugumgebung (U), wobei das Bild (Br, Bd) einen Hintergrund (H) einer Anzeige (2) bildet und identifizierte vorausfahrende, benachbarte und/oder entgegenkommende Fahrzeuge (F) im Hintergrund (H) mittels mindestens einer zugehörigen Zusatzinformation (Z1 bis Zx) optisch gekennzeichnet werden, wobei als augmentierte Zusatzinformation (Z1 bis Zx) in Abhängigkeit von einem momentanen Fahrzeugzustand und/oder einer momentanen Fahrzeugposition zumindest ein die vorausliegende Fahrsituation repräsentierender Warnhinweis und/oder ein einen erforderlichen Fahrzeugsteuereingriff repräsentierender Steuerhinweis ausgegeben werden bzw. wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als augmentierter Warnhinweis zumindest eine Grenzgeschwindigkeit für das eigene Fahrzeug ausgegeben wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zusätzlich zum augmentierten Warnhinweis eine im Hintergrund (H) abgebildete Fahrbahnbegrenzung mit einer variierenden Grenzmarkierung überlagert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Grenzmarkierung in Abhängigkeit vom Warnhinweis verändert den Hintergrund (H) überlagernd ausgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Warnhinweis ein aktuell benötigter Bremsweg zu dem identifizierten vorausfahrenden Fahrzeug (F) in den Hintergrund (H) eingeblendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Steuerhinweis mindestens ein notwendiger Lenkeingriff einer Querführung des eigenen Fahrzeugs in den Hintergrund (H) eingeblendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Steuerhinweis eine Systembereitschaft eines aktiven Fahrassistenzsystems, wie aktive Querführung, und mindestens ein notwendiger Eingriff, insbesondere ein Lenkeingriff einer Querführung des eigenen Fahrzeugs in den Hintergrund (H) eingeblendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Steuerhinweis in demjenigen Bildbereich des Hintergrunds (H) ausgegeben wird, der dem realen Ort in der vorausliegenden Umgebung (U) entspricht, an dem ein manueller Fahrzeugsteuereingriff voraussichtlich erforderlich ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation (Z1 bis Zx) als 2D-Darstellung und/oder als 3D-Darstellung ausgegeben wird.
Vorrichtung (1) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9, umfassend: – mindestens eine Aufnahmeeinheit (3) zur Erfassung oder Aufnahme eines Bildes (Br, Bd) einer Umgebung (U), das einen Hintergrund (H) bildet, – mindestens eine Verarbeitungseinheit (4) zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes (Bd) sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation (Z1 bis Zx) in dem Hintergrund (H) und – mindestens eine Ausgabeeinheit (2) zur Ausgabe der Zusatzinformation (Z1 bis Zx) in dem Hintergrund (H).