-
Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Dabei geht es im Besonderen um ein Verfahren zum Einblenden von Zusatzinformationen in das Sichtfeld des Fahrers eines Fahrzeuges. Solche Systeme werden vor allem in Fahrzeugen eingesetzt. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte Vorrichtung sowie ein Fahrzeug, das mit einer entsprechenden Vorrichtung ausgestattet ist.
-
Zur Zeit wird intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen Aufgaben zu entlasten, sondern der Fahrer kann jederzeit die Steuerung des Fahrzeuges übernehmen und nimmt außerdem Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der Fahrerinformationssysteme wie Head-Up Display HUD ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren. Auch andere Anzeigen werden zu diesem Zweck eingesetzt, etwa ein freiprogrammierbares Kombiinstrument, welches im Armaturenbrett positioniert ist.
-
Für die nahe Zukunft ist deshalb davon auszugehen, dass systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Fahrzeugsensorik etc.) umfassende Informationen über Objekte (insb. Fahrzeuge) im direkten Umfeld des eigenen Fahrzeugs verfügbar sein werden. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung/-warnung und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen etc. herangezogen werden. Beispielsweise sind so Anzeigen/Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will.
-
Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p.
-
Der Begriff „autonomes Fahren“ wird in der Literatur teilweise unterschiedlich benutzt.
-
Zur Klärung dieses Begriffs wird deshalb hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomem Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs. nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden Autonomiestufen definiert.
- • Level 0: „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc.
- • Level 1: Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
- • Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent).
- • Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
- • Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
- • Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.
-
Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab.
-
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge, und nicht erst langfristig für hochautomatisierte Systeme, genutzt werden können.
-
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt.
-
Aus der
DE 10 2014 003 550 A1 ist ein Verfahren und eine Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeuges bekannt. Das Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs umfasst, dass eine Umgebung des Fahrzeugs überwacht wird, an einer Straßenkreuzung oder Straßeneinmündung Verkehrsteilnehmer erfasst werden und Hinweise zu Vorfahrtsregeln an den Fahrer ausgegeben werden.
-
Aus der
DE 10 2017 119 834 A1 ist ein Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Abbiegevorgang und ein Fahrerassistenzsystem und ein Kraftfahrzeug bekannt. Das Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Abbiegevorgang betrifft insbesondere einen Linksabbiegevorgang mit den Schritten: Erfassen der Absicht des Fahrers zu einem Abbiegevorgang; Erfassen zumindest eines weiteren Verkehrsteilnehmers und Bestimmen zumindest der Geschwindigkeit des zumindest einen weiteren Verkehrsteilnehmers; Bestimmen, ob der Abbiegevorgang sicher möglich ist in Abhängigkeit von zumindest der bestimmten Geschwindigkeit; Anzeigen einer Information betreffend die Sicherheit des Abbiegevorgangs, die der direkten Ansicht des zumindest einen weiteren Verkehrsteilnehmers für den Fahrer überlagert wird.
-
Die bekannten Lösungen sind mit einem Nachteil behaftet. Dies wurde im Rahmen der Erfindung erkannt. Bei den bekannten Lösungen besteht das Problem, dass die Sicherheit des empfohlenen Fahrmanövers basierend auf den Informationen, die die Umgebungserfassungssensoren liefern, abgeschätzt wird. Die Abschätzung ist deshalb von verschiedenen Annahmen abhängig. Unter anderem, dass der erkannte umgebende Verkehrsteilnehmer seine Bewegung wie erkannt beibehält. Mögliche starke Beschleunigungen müssen durch Toleranzbereiche berücksichtigt werden. Die Abschätzung der Sicherheit kann deshalb nicht sehr genau sein.
-
Es besteht deshalb der Bedarf für eine genauere Abschätzung der Sicherheit und eine dementsprechende Information des Fahrers. Dies ist Aufgabe der Erfindung.
-
Diese Aufgabe wird durch ein Verfahren zum Einblenden von Zusatzinformationen in das Sichtfeld eines Fahrers eines Fahrzeuges gemäß Anspruch 1, eine Vorrichtung zum Einblenden von Zusatzinformationen in das Sichtfeld eines Fahrers eines Fahrzeuges gemäß Anspruch 8 sowie ein Fahrzeug gemäß Anspruch 11 gelöst.
-
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
-
Die Erfindung betrifft ein Verfahren zum Einblenden von Zusatzinformationen in das Sichtfeld eines Fahrers eines Fahrzeuges, bei dem die Zusatzinformationen über eine AR-Anzeigeeinheit, insbesondere ein Head-Up Display, dargestellt werden.
-
In einer allgemeinen Ausprägung betrifft die Erfindung ein Verfahren zum Einblenden von Zusatzinformationen in das Sichtfeld eines Fahrers eines Fahrzeuges, bei dem die Zusatzinformationen über eine AR-Anzeigeeinheit entsprechend Augmented Reality-Anzeige, insbesondere ein Head-Up Display dargestellt werden, wobei ein empfohlenes Fahrmanöver auf der AR-Anzeigeeinheit dargestellt wird. Dabei wird von einem umgebenden anderen Verkehrsteilnehmer eine Nachricht zur Gewährung der Priorität für das empfohlene Fahrmanöver gegenüber dem von dem anderen Verkehrsteilnehmer geplanten Fahrmanöver empfangen und die Gewährung der Priorität für das empfohlene Fahrmanöver auf der AR-Anzeigeeinheit zur Anzeige gebracht. Das Verfahren bietet besonders bei umgebenden Fahrzeugen mit automatischen Fahrfunktionen Vorteile. Wenn diese Fahrzeuge signalisieren, dass sie dem anderen Fahrzeug Priorität einräumen, kann sich das abschätzende Fahrzeug mehr darauf verlassen, dass die Gewährung der Priorität eingehalten wird und das Fahrzeug mit der automatischen Fahrfunktion sein Fahrverhalten entsprechend anpasst, als dies bei manuell gesteuerten Fahrzeugen der Fall ist.
-
Dabei besteht eine vorteilhafte Variante darin, dass das empfohlene Fahrmanöver von dem Fahrzeug in einer Nachricht an die umgebenden Verkehrsteilnehmer gesendet wird. Damit werden die umgebenden Verkehrsteilnehmer über das beabsichtigte Fahrmanöver seitens des Fahrzeuges in Kenntnis gesetzt und es besteht keine Unsicherheit über das geplante Fahrmanöver. Bei manuell gesteuerten Fahrzeugen kann durchaus eine Unsicherheit bestehen bleiben, z.B. wenn der Fahrer es übersieht, die Abbiegeabsicht durch „Blinken“ anzukündigen.
-
Die Gewährung der Priorität kann in einer besonders bevorzugten Variante durch farbliche Veränderung der Fahrempfehlung bei dem mitteilenden Fahrzeug angezeigt werden. Derartige Anzeigen sind den Fahrern geläufig, z.B. von Verkehrsampeln. Die grüne Farbe wäre dafür geeignet, die Priorität für das abschätzende Fahrzeug anzuzeigen. Die rote Farbe wäre geeignet, dem Fahrer kenntlich zu machen, dass sein Fahrzeug keine Priorität genießt, sondern der umgebende Verkehrsteilnehmer die Priorität hat.
-
In einer weiteren Variante wird die Priorität durch Einblendung in Textform angezeigt. Diese Form der Darstellung ist eindeutig für den Fahrer. Allerdings muss der Fahrer den Hinweis auch lesen, was je nach Fahrsituation unterbleiben könnte, wenn der Fahrer sich sehr stark auf den Verkehr konzentrieren muss.
-
Ein besonders wichtiger Anwendungsfall für die Angabe der Priorität besteht darin, dass die Priorität einer Vorfahrtsberechtigung entspricht. Dies ist für viele Fahrsituationen interessant, besonders für Abbiegevorgänge an Kreuzungen, das Befahren von Kreiseln und bei Einmündungen.
-
Bei einer erweiterten Ausführungsform wird in von dem umgebenden Verkehrsteilnehmer mit einer Anzahl von Umgebungserfassungssensoren eine Umgebungserfassung durchgeführt und es erfolgt eine Abschätzung, ob das mitgeteilte Fahrmanöver gefahrlos mit Bezug zu dem umgebenden Verkehrsteilnehmer durchgeführt werden kann, ohne den umgebenden Verkehrsteilnehmer zu behindern, wobei als Umgebungserfassungssensoren eine oder mehrere Kameras und/oder ein RADAR- oder LIDAR-Sensor eingesetzt werden, deren aufgenommene Bilder mit einer Anzahl von Objekterkennungsalgorithmen ausgewertet werden. Dies hat den Vorteil, dass der umgebende Verkehrsteilnehmer selbst unabhängig verifizieren kann, ob das mitgeteilte Fahrmanöver gefahrlos oder beeinträchtigungslos durchführbar ist. Mit den Kameras und/oder dem RADAR- oder LIDAR-Sensor wird eine Sequenz von Bildern aufgenommen und bei den aufgenommenen Bildern eine Objekterkennung durchgeführt wird.
-
Dabei ist es vorteilhaft, wenn zur Abschätzung, ob das mitgeteilte Fahrmanöver gefahrlos mit Bezug zu dem umgebenden Verkehrsteilnehmer durchgeführt werden kann, eine Auswertung des Abstandes zwischen dem abschätzenden Verkehrsteilnehmer zu dem mitteilenden Fahrzeug und der relativen Geschwindigkeit zwischen dem abschätzenden Fahrzeug und dem umgebenden Fahrzeug durchgeführt wird. Es können gängige Methoden zur Objekterkennung durch verschiedene Algorithmen der Bildauswertung eingesetzt werden, die sich mit Mikrorechnern, z.B. in einem Board-Computer des Fahrzeuges des umgebenden Verkehrsteilnehmers realisieren lassen.
-
In einer anderen Ausprägung betrifft die Erfindung eine Vorrichtung zum Einblenden von Zusatzinformationen in das Sichtfeld des Fahrers eines Fahrzeuges, aufweisend eine AR-Anzeigeeinheit, durch die die Zusatzinformationen in das Sichtfeld des Fahrers eingeblendet werden, wobei die Vorrichtung ein Kommunikationsmodul aufweist, das für die Fahrzeug-zu-X-Kommunikation ausgelegt ist, wobei das Kommunikationsmodul so ausgelegt ist, von einem umgebenden anderen Verkehrsteilnehmer eine Nachricht zur Gewährung der Priorität für das empfohlene Fahrmanöver gegenüber dem von dem anderen Verkehrsteilnehmer geplanten Fahrmanöver zu empfangen, und die Vorrichtung eine Recheneinheit aufweist, die ausgelegt ist, eine Einblendung für die Anzeigeeinheit so zu berechnen, dass die Gewährung der Priorität für das empfohlene Fahrmanöver in das Sichtfeld des Fahrers eingeblendet wird. Die so ausgebildete Vorrichtung weist die gleichen Vorteile auf wie das entsprechende erfindungsgemäße Verfahren.
-
Dabei kann die Vorrichtung ebenfalls so erweitert werden, dass die Recheneinheit zur Auswertung der von einer Anzahl von Umgebungserfassungssensoren aufgenommenen Bilder zur Objekterkennung ausgelegt ist, wobei die Umgebungserfassungssensoren in Form einer oder mehrerer Kameras und/oder wenigstens eines RADAR- oder LIDAR-Sensors realisiert werden, und die Recheneinheit so ausgelegt ist, eine Abschätzung durchzuführen, ob ein empfohlenes Fahrmanöver gefahrlos mit Bezug zu einem umgebenden Verkehrsteilnehmer durchgeführt werden kann, ohne den umgebenden Verkehrsteilnehmer zu behindern, wobei die Recheneinheit so ausgelegt ist, eine Einblendung so zu berechnen, dass die gefahrlose Durchführung des empfohlenen Fahrmanövers in das Sichtfeld des Fahrers eingeblendet wird. Dies entspricht der Variante des erfindungsgemäßen Verfahrens, bei der das mitteilende Fahrzeug selbst verifizieren kann, ob die sichere Durchführung des Fahrmanövers möglich ist. Dies steigert die Sicherheit nochmals.
-
In einer besonders vorteilhaften Variante ist das Kommunikationsmodul ausgelegt, das empfohlene Fahrmanöver von dem Fahrzeug in einer Nachricht an die umgebenden Verkehrsteilnehmer zu senden. Damit ist es möglich, die umgebenden Fahrzeuge frühzeitig auf die geplante Durchführung des Fahrmanövers hinzuweisen.
-
Schließlich betrifft die Erfindung in einer weiteren Variante ein Kraftfahrzeug, das eine erfindungsgemäße Vorrichtung aufweist.
-
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird nachfolgend anhand der Figuren näher erläutert.
-
Es zeigen:
- 1 das Cockpit eines Fahrzeuges mit verschiedenen Anzeigeeinheiten als Teil eines Infotainmentsystems;
- 2 das Prinzip der Fahrzeug-zu-Fahrzeug-Kommunikation über Mobilfunk;
- 3 ein Blockschaltbild der Bordelektronik eines Fahrzeuges;
- 4 ein Beispiel einer Einblendung einer Fahrmanöver-Empfehlung in das Sichtfeld des Fahrers durch eine Head-Up-Anzeigeeinheit des Fahrzeuges bei einer typischen Fahrsituation mit einem Linksabbiegevorgang bei einem entgegenkommenden Fahrzeug;
- 5 das Beispiel der Fahrsituation gemäß 4, bei der die Einblendung der Fahrmanöver-Empfehlung durch farbliche Gestaltung die Prioritätseinräumung für die eingeblendete Fahrmanöver-Empfehlung seitens des entgegenkommenden Fahrzeuges anzeigt;
- 6 das Format des Nutzdatenfeldes einer Prioritätsgewährungsnachricht; und
- 7 das Beispiel der Fahrsituation gemäß 4, bei der die Einblendung der Fahrmanöver-Empfehlung durch Texteinblendung die Prioritätseinräumung für die eingeblendete Fahrmanöver-Empfehlung seitens des entgegenkommenden Fahrzeuges anzeigt.
-
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
-
1 zeigt das Cockpit des Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Motorräder, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen einsetzbar.
-
In dem Cockpit sind drei Anzeigeeinheiten eines Infotainmentsystems dargestellt. Es handelt sich um das Head-Up-Display 20, das Kombiinstrument 110 und einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers.
-
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainmentsystem“ gesprochen. Ein Infotainmentsystem bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Die Vorrichtung zum Bedienen eines Infotainmentsystems weist im Bereich einer Mittelkonsole des Fahrzeugs 10 eine Anzeigeeinrichtung in Form des berührungsempfindlichen Bildschirms 30, auch als „Touchscreen“ bezeichnet, auf, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeugs 10, aber auch von einem Beifahrer des Fahrzeugs 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet.
-
Das Head-Up Display 20 ist im Fahrzeug 10 aus Sicht des Fahrers hinter dem Kombiinstrument 110 im Armaturenbrettbereich angebracht. Es handelt sich um eine Bildprojektionseinheit. Durch Projektion auf die Windschutzscheibe werden Zusatzinformationen in das Sichtfeld des Fahrers eingeblendet. Diese Zusatzinformationen erscheinen so, als seien sie auf eine Projektionsfläche 21 im Abstand von 7 - 15 m vor dem Fahrzeug 10 projiziert. Durch diese Projektionsfläche 21 hindurch bleibt aber die reale Welt sichtbar. Mit den eingeblendeten Zusatzinformationen wird quasi eine virtuelle Umgebung erzeugt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Es wird aber nur auf einen Teil der Windschutzscheibe projiziert, so dass die Zusatzinformationen nicht beliebig im Sichtfeld des Fahrers angeordnet werden können. Diese Darstellungsart ist auch unter dem Begriff „augmented reality“ bekannt.
-
2 zeigt eine Systemarchitektur für die Fahrzeugkommunikation mittels Mobilfunk. Die Fahrzeuge 10 sind mit einem On-Board-Kommunikationsmodul 160 mit entsprechender Antenneneinheit ausgestattet, so dass es an den verschiedenen Arten der Fahrzeugkommunikation V2V und V2X teilnehmen kann. 1 zeigt, dass das Fahrzeug 10 mit der Mobilfunk-Basisstation 210 eines Mobilfunk-Anbieters kommunizieren kann.
-
Eine solche Basisstation 210 kann eine eNodeB-Basisstation eines LTE-Mobilfunkanbieters (Long Term Evolution) sein. Die Basisstation 210 und die entsprechende Ausrüstung ist Teil eines Mobilfunk-Kommunikationsnetzwerks mit einer Vielzahl von Mobilfunkzellen, wobei jede Zelle von einer Basisstation 210 bedient wird.
-
Die Basisstation 210 ist nahe einer Hauptstraße positioniert, auf der die Fahrzeuge 10 fahren. In der Terminologie von LTE entspricht ein mobiles Endgerät einer Benutzerausrüstung UE, die es einem Benutzer ermöglicht, auf Netzwerkdienste zuzugreifen, wobei er sich über die Funkschnittstelle mit dem UTRAN oder dem Evolved-UTRAN verbindet. Typischerweise entspricht eine solche Benutzerausrüstung einem Smartphone. Solche mobilen Endgeräte werden von den Passagieren in den Fahrzeugen 10 verwendet. Zusätzlich sind die Fahrzeuge 10 jeweils mit einem On-Board-Kommunikationsmodul 160 ausgestattet. Dieses On-Board-Kommunikationsmodul 160 entspricht einem LTE-Kommunikationsmodul, mit dem das Fahrzeug 10 mobile Daten empfangen kann (Downlink) und solche Daten in Aufwärtsrichtung senden kann (Uplink). V2V- und V2X-Kommunikation wird aber auch durch die 5. Generation von Mobilfunksystemen unterstützt. Dort wird die entsprechende Funkschnittstelle als PC5-Schnittstelle bezeichnet. In Bezug auf das LTE-Mobilfunk-Kommunikationssystem besteht das Evolved UMTS Terrestrial Radio Access-Netzwerk E-UTRAN von LTE aus mehreren eNodeBs, die die E-UTRA-Benutzerebene (PDCP / RLC / MAC / PHY) und die Steuerebene (RRC) bereitstellen. Die eNodeBs sind mittels der sogenannten X2-Schnittstelle miteinander verbunden. Die eNodeBs sind auch über die sogenannte S1-Schnittstelle mit dem EPC (Evolved Packet Core) 200 verbunden.
-
Aus dieser allgemeinen Architektur zeigt 2, dass die Basisstation 210 über die S1-Schnittstelle mit dem EPC 200 verbunden ist und der EPC 200 mit dem Internet 300 verbunden ist. Ein Backend-Server 320, an den die Fahrzeuge 10 Nachrichten senden können und von diesem empfangen können, ist ebenfalls mit dem Internet 300 verbunden. Der Backend-Server 320 kann in einem Rechenzentrum des Fahrzeugherstellers oder eines anderen Mobilitätsdienstleisters oder in einem Rechenzentrum einer Behörde, z.B. einer Verkehrsleitstelle untergebracht sein. Schließlich ist auch eine Straßeninfrastrukturstation 310 gezeigt. Diese kann beispielsweise durch eine straßenseitige Einheit, die im Fachjargon oft als Road Side Unit RSU 310 bezeichnet wird, veranschaulicht werden. Zur Vereinfachung der Implementierung wird davon ausgegangen, dass allen Komponenten eine Internetadresse zugewiesen wurde, typischerweise in Form einer IPv6-Adresse, so dass die Pakete, die Nachrichten zwischen den Komponenten transportieren, entsprechend geroutet werden können. Die erwähnten verschiedenen Schnittstellen sind standardisiert. Es wird diesbezüglich auf die entsprechenden LTE Spezifikationen verwiesen, die veröffentlicht sind.
-
3 zeigt schematisch ein Blockschaltbild der Bordelektronik, zu der auch das Infotainmentsystem des Fahrzeuges 10 gehört. Zur Bedienung des Infotainmentsystems dient die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und ein Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum Eingeben von Befehlen durch einen Benutzer. Sie kann als LCD-Touchscreen-Display ausgebildet sein.
-
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Sie ist über die Datenleitung 90 mit der Recheneinheit 40 verbunden.
-
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen.
-
Die weiteren Teile des Infotainmentsystems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainmentsystems verbunden. Als Datenbus 100 kommt die Highspeed-Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch eine Fahrzeug-Messeinheit 170 angeschlossen. Diese Fahrzeug-Messeinheit 170 dient der Erfassung der Bewegung des Fahrzeuges, insbesondere der Erfassung der Beschleunigungen des Fahrzeuges. Sie kann als konventionelle IMU-Einheit, entsprechend Inertial Measurement Unit, ausgebildet sein. In einer IMU-Unit finden sich typischerweise Beschleunigungssensoren und Drehratensensoren wie ein Laser-Gyroskop oder ein Magnetometer-Gyroskop. Die Fahrzeug-Messeinheit 170 kann als Teil der Odometrie des Fahrzeuges 10 angesehen werden. Dazu gehören aber auch die Raddrehzahlsensoren.
-
Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht. Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen, oder die Licht in einem anderen als dem sichtbaren Spektrum aufnimmt. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben werden auch die schon erwähnten RADAR- oder LIDAR-Systeme 152 und 154 ergänzend oder alternativ eingesetzt, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit dem Kommunikationsmodul 160 ausgestattet, wie bereits erwähnt.
-
Die Kamera 150 wird hauptsächlich zur Objekterkennung eingesetzt. Typische Objekte, die erkannt werden sollen, sind Verkehrszeichen, vorausfahrende/umgebende/parkende Fahrzeuge und andere Verkehrsteilnehmer, Kreuzungen, Abbiegestellen, Schlaglöcher usw. Wenn ein Objekt mit einem Bedeutungspotenzial erkannt worden ist, kann über das Infotainmentsystem eine Information ausgegeben werden. Typischerweise werden z.B. Symbole für die erkannten Verkehrszeichen eingeblendet. Es kann sich auch um eine Warnmeldung handeln, wenn von dem Objekt eine Gefahr ausgeht. Über das HUD 20 werden die Informationen direkt in das Sichtfeld des Fahrers projiziert. Als Beispiel für ein Objekt, von dem eine Gefahr ausgeht, wird der Fall genannt, dass die Bildauswertung der von der Kamera 150 gelieferten Bilder ergeben hat, dass sich von Vorne ein Fahrzeug der Abbiegestelle nähert, auf die sich das Fahrzeug 10 selber zubewegt. Die Bildauswertung findet in der Recheneinheit 40 statt. Dazu können bekannte Algorithmen zur Objekterkennung eingesetzt werden. Die Objekterkennungsalgorithmen werden von der Recheneinheit 40 abgearbeitet. Es hängt von der Leistungsfähigkeit dieser Recheneinheit ab, wie viele Bilder pro Sekunde analysiert werden können. Zudem muss das Fahrzeug 10 auf einer hochgenauen digitalen Karte basierend auf seiner GNSS-Position geortet werden.
-
Die Daten werden zum Generieren eines dreidimensionalen Umgebungsmodells genutzt und stellen Informationen zu dynamischen und statischen Objekten rund um das Fahrzeug bereit (Objektliste). Unter bestimmten Bedingungen reicht die Genauigkeit der GNSS-Position nicht aus. Deshalb werden auch die Odometriedaten im Fahrzeug herangezogen, um die Genauigkeit der Positionsbestimmung zu verbessern.
-
Mit der Bezugszahl 181 ist ein Motorsteuergerät bezeichnet. Die Bezugszahl 182 entspricht einem ESP-Steuergerät und die Bezugszahl 183 bezeichnet ein Getriebe-Steuergerät. Weitere Steuergeräte, wie ein zusätzliches Fahrdynamik-Steuergerät (für Fahrzeuge mit elektrisch verstellbaren Dämpfern), Airbag-Steuergerät usw., können im Fahrzeug vorhanden sein. Die Vernetzung solcher Steuergeräte, die alle der Kategorie des Antriebsstrangs zugerechnet werden, geschieht typischerweise mit dem CAN-Bussystem (Controller Area Network) 104, welches als ISO Norm standardisiert ist, meist als ISO 11898-1. Für verschiedene Sensoren 171 bis 173 im Kraftfahrzeug, die nicht mehr nur an einzelne Steuergeräte angeschlossen werden sollen, ist es ebenfalls vorgesehen, dass sie an das Bussystem 104 angeschlossen werden und deren Sensordaten über den Bus zu den einzelnen Steuergeräten übertragen werden. Beispiele von Sensoren im Kraftfahrzeug sind Raddrehzahlsensoren, Lenkwinkelsensoren, Beschleunigungssensoren, Drehratensensoren, Reifendrucksensoren, Abstandssensoren, Klopfsensoren, Luftgütesensoren usw. Insbesondere die Raddrehzahlsensoren und die Lenkwinkelsensoren sind der Odometrie des Fahrzeuges zuzurechnen. Die Beschleunigungssensoren und Drehratensensoren können auch direkt an die Fahrzeug-Messeinheit 170 angeschlossen sein.
-
Die Bezugszahl 144 bezeichnet eine On-Board-Diagnoseschnittstelle (OBD). Diese dient zum Anschluss eines Diagnosegerätes bei einem Aufenthalt in der Werkstatt. Darüber können die im Fahrzeug abgespeicherten Fehlerdaten ausgelesen werden. Die On-Board-Diagnoseschnittstelle 144 ist über den Kommunikationsbus 102 mit dem Gateway 142 verbunden. Das Gateway 142 dient dazu, einen Austausch von Informationen aus den verschiedenen Kommunikationszweigen zu ermöglichen. Es führt dazu eine Formatwandlung durch, um z.B. eine Nachricht, die es im Format des Bussystems 100 empfängt, in das Format des Bussystems 104 umzuwandeln. Entsprechendes findet auch bei den Weiterleitungen zwischen den anderen Bussystemen der Bordelektronik statt.
-
Mit der Bezugszahl 180 ist ein weiteres Steuergerät bezeichnet, das für eine automatisierte Fahrfunktion bzw. für ein oder mehrere Fahrerassistenzsysteme zuständig ist. Es können damit die eingangs erwähnten verschiedenen Fahrstufen bzgl. autonomes Fahren realisiert werden. Es muss eine entsprechend leistungsfähige Recheneinheit in dem Steuergerät 180 vorgesehen werden, um die jeweils gewünschte Fahrstufe implementieren zu können.
-
Das erfindungsgemäße Verfahren zum Anreichern des Sichtfeldes eines Fahrers eines Fahrzeuges mit Zusatzinformationen wird im Folgenden anhand von Ausführungsbeispielen erläutert.
-
In 4 ist die schon beschriebene Fahrsituation mit einem Abbiegevorgang dargestellt. Sie zeigt die Sicht des Fahrers des Fahrzeuges 10 durch die Frontscheibe. Durch das Head-Up-Display 20 wird ein empfohlenes Fahrmanöver in das Sichtfeld des Fahrers projiziert. Die Empfehlung kann dabei von dem Steuergerät 180 stammen, in dem die automatische Fahrfunktion realisiert wird. Es wird im gezeigten Beispiel ein Abbiegesymbol 24 eingeblendet. Das Abbiegesymbol 24 hat die Form eines aufgestellten Pfeils. In anderen Varianten können andere Formen von Abbiegesymbolen 24 eingeblendet werden. Zusätzlich wird die Navigationsroute 22 eingeblendet. In der gezeigten Ausführungsform wird die Navigationsroute mit einer Abfolge von Fahrtrichtungspfeilen angezeigt. Die Navigationsroute 22 kann aber auch in anderer Form dargestellt werden. Als weiteres Beispiel werden durchlaufende Linien erwähnt, die auch gestrichelt oder punktiert dargestellt werden können. Das Abbiegesymbol 24 wird so eingeblendet, dass es in der realen Umgebung an der Stelle erscheint, wo das Fahrzeug 10 tatsächlich abbiegen soll, also auf Höhe der Straße, in die abgebogen werden soll. Nun ist weiterhin dargestellt, dass ein entgegenkommendes Fahrzeug 12 auf der Gegenseite der Fahrbahn fährt. Diesem Fahrzeug muss laut Verkehrsregel die Vorfahrt gewährt werden, wenn der Abbiegevorgang vor dem Fahrzeug 12 ohne Behinderung/Gefährdung des entgegenkommenden Fahrzeuges 12 nicht mehr möglich ist. In herkömmlicher Weise beurteilt der Fahrer selber die Situation und entscheidet, ob der Abbiegevorgang ohne Behinderung des entgegenkommenden Fahrzeuges 12 möglich ist. In der gezeigten Variante von 4 sind deshalb das Abbiegesymbol 24 und die Navigationsroute 22 mit neutraler Farbe dargestellt. Als Beispiel wird die Farbe Blau genannt.
-
Wie beschrieben, werden die Fahrzeuge mit immer intelligenteren Fahrfunktionen bis hin zur vollständigen Autonomie ausgestattet. Zusätzlich werden sie mit der Möglichkeit zur Fahrzeug-zu-Fahrzeug-Kommunikation ausgestattet. Dies wird gemäß der Erfindung für eine weitergehende Ausgestaltung von Fahrmanöverempfehlungen ausgenutzt.
-
5 zeigt eine solche Variante der Anzeige einer erweiterten Fahrmanöverempfehlung. Dabei wird durch andere farbliche Gestaltung die Fahrempfehlung mit einer Zusatzinformation angereichert. 5 zeigt die gleiche Fahrsituation wie 4. Auch die Form der Einblendung der Fahrmanöverempfehlung ist genau gleich wie in 4. Es wird aber statt der neutralen Farbe Blau die Navigationsroute 22 und der Abbiegepfeil 24 in grüner Farbe dargestellt. Die grüne Farbe bedeutet dem Fahrer des Fahrzeuges 10, dass er den Abbiegevorgang sofort durchführen kann, weil das entgegenkommende Fahrzeug 12 ihm Priorität einräumt. Das Fahrzeug 10 erfährt dabei davon, dass ihm Priorität eingeräumt wird, über eine Fahrzeug-zu-Fahrzeug-Kommunikation zwischen entgegenkommenden Fahrzeug 12 und Fahrzeug 10. Dabei wird davon ausgegangen, dass das entgegenkommende Fahrzeug 12 mit automatischer Fahrfunktion ausgestattet ist. Es beinhaltet deshalb ebenfalls eine Bordelektronik, wie in 3 dargestellt. Das Steuergerät 180 bewertet dabei die Situation basierend auf den eigenen Umfeldbeobachtungen und den eigenen Odometriedaten. Genauer gesagt, misst es die Entfernung zum Fahrzeug 10 und beurteilt anhand der eigenen Geschwindigkeit und der verbleibenden Strecke, ob dem Fahrzeug 10 noch genug Zeit zum Durchführen des Abbiegevorgangs verbleibt. Falls ja, gibt das Steuergerät 180 eine Aufforderung zum Senden der Nachricht mit der Prioritätseinräumung an das Kommunikationsmodul 160. Dieses sendet dann die Nachricht mit der Prioritätseinräumung an das Fahrzeug 10 über die Fahrzeug-zu-Fahrzeug-Kommunikation.
-
Die 6 zeigt das Format des Nutzdatenfeldes der Prioritätsgewährungsnachricht PGN, die von dem entgegenkommenden Fahrzeug 12 an das Fahrzeug 10 gesendet wird. Zuvor sendet allerdings das Fahrzeug 10 eine erste Nachricht an das entgegenkommende Fahrzeug 12, mit der das Fahrzeug 10 auf das empfohlene Fahrmanöver hinweist, das dem Fahrer eingeblendet wird. Das Nutzdatenfeld der Prioritätsgewährungsnachricht PGN enthält die Datenfelder P1 bis P5. Im Datenfeld P1 wird eine Positionsinformation übertragen. Sie entspricht dem Ort des Fahrzeuges 12 zum Zeitpunkt der Aussendung der Prioritätsgewährungsnachricht PGN. Im Datenfeld P2 wird die Uhrzeit eingetragen zum Zeitpunkt der Aussendung der Prioritätsgewährungsnachricht PGN. Im Datenfeld P3 wird die Abbiegestelle bezeichnet, bei der das empfohlene Fahrmanöver durchgeführt werden soll. Die Bezeichnung wird möglichst von der ersten Nachricht übernommen, mit der das Fahrzeug 10 auf das empfohlene Fahrmanöver hingewiesen hat. Im Datenfeld P4 wird ein Zeitlimit tmax eingetragen. Dieses Zeitlimit gibt an, bis zu welchem Zeitpunkt die Gewährung der Priorität gültig sein soll. Nach Überschreitung des Zeitlimits darf das empfohlene Fahrmanöver nicht mehr vor dem entgegenkommenden Fahrzeug durchgeführt werden. Dies soll durch entsprechende Ausblendung der Prioritätsgewährung zum Zeitpunkt tmax im Fahrzeug 10 kenntlich gemacht werden. Im Datenfeld P5 wird schließlich die Information der Prioritätsgewährung eingetragen.
-
In der 7 ist jetzt noch eine andere Variante der Anzeige einer erweiterten Fahrmanöverempfehlung dargestellt. Danach wird die Einräumung der Priorität in Textform eingeblendet. Im gezeigten Beispiel wird der Text „Vorfahrt erhalten“ eingeblendet. Die Fahrmanöverempfehlung wird wieder in Form der Navigationsroute 22 und des Abbiegepfeils 24 mit neutraler Farbe Blau eingeblendet.
-
Sollte die automatische Fahrfunktion in dem entgegenkommenden Fahrzeug 12 die Fahrsituation so einschätzen, dass aus seiner Sicht das geplante Abbiegemanöver nicht ohne Behinderung oder Gefährdung des eigenen Fahrzeuges möglich ist, wird es statt der Prioritätsgewährungsnachricht PGN eine Prioritätsablehnungsnachricht an das Fahrzeug 10 zurücksenden. Diese Prioritätsablehnungsnachricht unterscheidet sich von der Prioritätsgewährungsnachricht PGN zumindest darin, dass im Datenfeld P5 eine Prioritätsablehnungsinformation eingetragen wird.
-
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können.
-
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und/oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
-
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
-
Die beschriebenen Lösungen können in Fahrzeugen eingesetzt werden, die mit AR-Anzeigeeinheiten ausgestattet sind. Dazu zählen insbesondere Head-Up-Displays. Möglich ist der Einsatz aber auch bei Verwendung von AR-Brillen. Durch diese kann die reale Umgebung betrachtet werden und es können Zusatzinformationen in das Sichtfeld eingeblendet werden. Fußgänger und Fahrradfahrer und andere Verkehrsteilnehmer können solche AR-Brillen ebenfalls einsetzen.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- umgebendes Fahrzeug
- 20
- Head-Up Display
- 22
- Navigationsroute
- 24
- Abbiegesymbol
- 26
- Prioritätsinformation
- 30
- berührungsempfindliche Anzeigeeinheit
- 40
- Recheneinheit
- 50
- Eingabeeinheit
- 60
- Speichereinheit
- 70
- Datenleitung zur Anzeigeeinheit
- 80
- Datenleitung zur Speichereinheit
- 90
- Datenleitung zur Eingabeeinheit
- 100
- Datenbus
- 110
- Kombiinstrument
- 120
- Telefon
- 130
- Navigationsgerät
- 140
- Radio
- 142
- Gateway
- 144
- On-Board-Diagnoseschnittstelle
- 150
- Kamera
- 160
- Kommunikationsmodul
- 170
- Fahrzeug-Messeinheit
- 171
- Sensor 1
- 172
- Sensor 2
- 173
- Sensor 3
- 180
- Steuereinheit für automatische Fahrfunktion
- 181
- Motorsteuergerät
- 182
- ESP-Steuergerät
- 183
- Getriebesteuergerät
- 200
- Evolved Packet Core
- 300
- Internet
- 310
- Road Side Unit
- 320
- Backend-Server
- PGN
- Prioritätsgewährungsnachricht
- P1 - P5
- verschiedene Datenfelder des Nutzdatenfeldes der Prioritätsgewäh ru ngsnachri cht
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014003550 A1 [0010]
- DE 102017119834 A1 [0011]
-
Zitierte Nicht-Patentliteratur
-