DE102019009104A1 - Vorrichtung zur optischen Verkehrskommunikation - Google Patents

Vorrichtung zur optischen Verkehrskommunikation Download PDF

Info

Publication number
DE102019009104A1
DE102019009104A1 DE102019009104.3A DE102019009104A DE102019009104A1 DE 102019009104 A1 DE102019009104 A1 DE 102019009104A1 DE 102019009104 A DE102019009104 A DE 102019009104A DE 102019009104 A1 DE102019009104 A1 DE 102019009104A1
Authority
DE
Germany
Prior art keywords
vehicle
traffic
integrated
led
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019009104.3A
Other languages
English (en)
Inventor
Prof. Dr. Deinzer Arnulf
Steven Harms
Michael Bacher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102019009104.3A priority Critical patent/DE102019009104A1/de
Publication of DE102019009104A1 publication Critical patent/DE102019009104A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Durch erhöhtes Verkehrsaufkommen und schnellere Prozessabläufe kann die menschliche Reaktionszeit und Konzentration nicht mithalten. Wenn der Fahrer ohne Assistenz die heutigen Anforderungen bewältigen soll, können gefährliche und verzögernde Situationen entstehen.Die Vorrichtung zur optischen Kommunikation im Straßenverkehr soll dem menschlichen Fahrer assistieren. Aufgabe der Vorrichtung ist es, eine optische Kommunikation im Straßenverkehr mit Verkehrszeichenerkennung zu entwickeln, ergänzend zur Funkkommunikation den Menschen das Fahren im Verkehr leichter, sicherer, effizienter, gesundheits- und umweltfreundlicher gestaltet. Sie ermöglicht optische Kommunikation im Nahfeld zwischen Verkehrszeichen und Fahrzeugen und zwischen Fahrzeugen untereinander ergänzend zur großräumigen Funkkommunikation 5G. Dabei werden wichtige, zusätzliche Informationen über eingebaute Steuergeräte ausgewertet.Die optische Kommunikation im Straßenverkehr soll für PKW, LWK, Busse, Zweiräder und Fußgänger einsetzbar sein. Die Kameras und das System sind bei PKW, LWK und Busse im Fahrzeug verbaut und bei Zweirädern im Schutzhelm integriert. Fußgänger sind mit einer Augmented Reality Brille ausgestattet.

Description

  • Technisches Gebiet
  • Die Erfindung ist dem Gebiet Fahrassistenzsysteme für Fahrzeuge zuzuordnen.
  • Stand der Technik
  • Die in (Efler, 2019) beschriebene Problematik des Fahrens mit Fahrerassistenzsystemen besteht darin, dass Kameras und Sensoren am Fahrzeug allein nicht ausreichen, um das Fahrzeug sicher durch den Verkehr zu leiten. Es wird eine weitere Säule benötigt, die Kommunikation zwischen Fahrzeugen untereinander und mit Verkehrszeichen ermöglicht. Vorgesehen für diese Kommunikation ist eine Funklösung im Bereich des 5G Protokolls.
  • In (Pluta, 2011) wird eine Kommunikation über LED-Beleuchtung beschrieben, die in verschiedenen Anwendungsgebieten schon gegeben ist. Intensitätsänderungen der Beleuchtung können von Kameras in Räumen erfasst werden und wird somit als Kommunikation umsetzbar. Verfahren zur optischen Erkennung eines Objekts sind bekannt und in zuverlässigen Implementierungen in der Quell-offenen Programmierbibliothek OpenCV verfügbar. (SP-X, 2011) beschreibt Verkehrsschilder, welche bereits in Fahrassistenzsystemen erkannt werden. Entsprechende Informationen am „virtual cockpit“ anzeigen zu können ist machbar. Das „virtual cockpit“ ist eine vollständig digitale Anzeige, dass wichtige Fahrerinformationen darstellt, wie typischerweise Geschwindigkeit, Drehzahl, Außentemperatur, Navigation und vieles mehr, siehe : „Virtual cockpit“ (vergrößerte Darstellung).
  • Es gibt bereits korrelierende Patente, die Ansätze dieses Patentes beinhalten. In den Patenten (Deutschland Patentnr. DE 10 2015 204 122 A1 , 2015) und (USA Patentnr. US9834218(B2), 2017) wird über Funk kommuniziert, bei dem Informationen über die Ampelphasen und Entscheidungshilfe für den Fahrer, ob ein Bremsvorgang nötig ist oder nicht. In weiteren Patenten wie (USA Patentnr. US9731661 (B2), 2017), (USA Patentnr. US 10 1 52886 (B2), 2018) und (World Intellectual Property Organization Patentnr. WO2018140327(A1), 2017) werden Verkehrszeichen anhand ihrer Formfaktoren über eine Kamera erkannt und am Display, vergleichbar mit dem „virtual cockpit“, wiedergegeben. Des Weiteren werden die erkannten Verkehrszeichen analysiert, ob diese relevant sind aufgrund ihrer ermittelten Position gegenüber dem Fahrzeug.
  • Technische Probleme oder Nachteile
  • Eine entsprechende Kombination der vorhandenen, im Stand der Technik beschriebenen Technologien als Fahrassistenzsystem ist momentan aber nicht gegeben.
  • Die optische Kommunikation zwischen menschlichen und nicht menschlichen Akteuren ist nicht optimal. Wenn ein Fahrzeug durch den Ampelzustand „rot“ zum Anhalten gezwungen wird, sind viele Ampeln aus der Sicht des Fahrers nicht optimal einsehbar. Somit sind diese, z. B. für in ihrer Beweglichkeit eingeschränkte Menschen, schlecht zu erkennen. Dadurch werden ungewollte verkrampfte Bewegungen verursacht.
  • Der Fahrer/die Fahrerin könnte z.B. durch niedrigstehende Sonne geblendet sein, während wenigstens eine Kamera einen anderen, nicht geblendeten, Sichtwinkel hat. Auch kann die Bildverarbeitung mit entsprechenden Filtern arbeiten und die Ampelfarben und -nachrichten trotz Blendung detektieren.
  • Abgesehen davon ist die Kommunikation zwischen menschlichen und nicht menschlichen Akteuren zu langsam. Bei schlechter oder mangelnder Konzentration kann während des Fahrens der Ampelzustand „rot“ oder andere wichtige Ereignisse zu spät erkannt werden, beispielsweise ein Kind verhält sich an der Ampel nicht verkehrssicher. Nachrichten über derartige Ereignisse können von LED beleuchteten Verkehrszeichen oder LED Scheinwerfern eines Fahrzeugs in Echtzeit gesendet werden, was gegenüber der Reaktionszeit eines Fahrers eine Verbesserung darstellt.
  • Durch echtzeitfähige Kommunikation kann das Fahrverhalten verbessert werden. Durch zu langes Beschleunigen und somit erzeugten kürzeren Bremswegs des Fahrzeugs wird zusätzlich das Fahrverhalten verschlechtert, da unnötigerweise Kraftstoff verbraucht wird und Verschleiß der Bremsanlage erhöht wird. Ohne diese in Echtzeit übermittelten Informationen ist die Sicherheit für die Umgebung, beispielsweise Kind auf der Straße, oder für sich selbst, beispielsweise Glatteis auf der Straße, nicht optimal abgedeckt. Auch Zeitverluste, wie beispielsweise durch unwissenden bevorstehenden Stau, entstehen und damit auch Erhöhung von Kosten durch unnötigen Kraftstoffverbrauch oder erhöhte Nutzung von Verschleißteilen entstehen.
  • Angedacht für diese Kommunikation des Verkehrs ist das 5G Funksystem. Die 5G Technik hat aber gegenüber dem hier beschriebenen optischen Kommunikationssystem weitreichende Nachteile.
  • Bei (Steingart, 2019) wird beschrieben, dass für 5G viele Basisstationen mit hohem Platzbedarf benötigt werden, sodass man beispielsweise bei 5G über das 10-fache an Basisstationen im Vergleich zu 4G benötigt. Dadurch müsste das Umfeld der Straße geändert werden, beispielsweise im Weg stehende Bäume gefällt werden, welche die Strahlung abschirmen. Evtl. aus demselben Grund müssten Lärmschutzwälle abgebaut werden wegen der Sensibilität des 5G Signals in einem festen Medium.
  • Aufgrund der hohen Frequenz und starken Sendeleistung ist das 5G Funksystem umstritten in Bezug auf gesundheitliche und umwelttechnische Schäden, wie in (Harald Schumann, 2019) und (Lennart Hardell, 2017) beschrieben. Vorbeugend wird in dieser Patentschrift ein ergänzendes Kommunikationskonzept auf optischer Basis speziell für das Nahfeld vorgestellt. Mit einer optischen Kommunikation zwischen LED beleuchteten Verkehrszeichen oder LED Scheinwerfer und Kamera des Fahrzeugs können alle wichtigen Informationen, individuell für den Fahrer je nach Umgebung und Fahrtrichtung bezogen, übermittelt werden. Im Vergleich dazu ist die bereits angedachte Funkkommunikation störanfälliger wegen zu kurzen Funkwellen oder Funküberlagerungen und deswegen nicht zuverlässig, teurer und größerer Aufwand durch enorme Erweiterung mehrerer Basisstationen, umweltschädlich, gesundheitsschädlich und manipulierbar durch Hackangriffe.
  • Aufgabe
  • Die Aufgabe besteht darin, eine optische Verkehrskommunikation zu entwickeln, als Schnittstelle für Fahrerassistenzsysteme und autonomes Fahren.
  • Technische Lösung
  • Die Erfindung beschreibt die optische Kommunikation zwischen Fahrzeugen untereinander und mit Verkehrszeichen, die sowohl unidirektional als auch bidirektional sein kann. Zu diesem Zweck sind integrierte Kameras als Empfänger und LED-Beleuchtungen als Sender erforderlich. Es werden alle Verkehrszeichen erkannt und am „virtual cockpit“ aktuell wiedergegeben. Bei Nebel muss ein spezieller Modus aktiviert werden, bei allen Kommunikationsteilnehmern, ähnlich mit der Helligkeits-Intensitätssteigerung der klassischen Nebelschlussleuchte. Verkehrsampeln werden für Fahrzeuge, Fahrräder und Fußgänger unterschieden. Die Kommunikation findet optisch, über eine Luftstrecke, zwischen einer LED Beleuchtung und einer Kamera statt.
  • In Anspruch 1 findet eine unidirektionale Kommunikation vom Verkehrszeichen zum Fahrzeug statt. Beispielsweise können Informationen über das Verkehrszeichen selbst, über den Schaltphasenplan und über weitere aktuelle Ereignisse der Umgebung an das Fahrzeug übermittelt werden.
  • In Anspruch 2 findet die unidirektionale Kommunikation vom Fahrzeug zum Verkehrszeichen analog zu der Funktionsweise zu Anspruch 1 statt. Das Fahrzeug sendet eine Identifikation, die Geschwindigkeit und die gewünschte Fahrtrichtung.
  • In Anspruch 3 werden die technischen Verfahren aus Anspruch 1 und 2 zu einer bidirektionalen Kommunikation kombiniert. Durch bidirektionale Kommunikation zwischen Verkehrszeichen und Fahrzeug sind erweiterte Informationsflüsse und weitergehende Handlungen, wie beispielsweise Bestätigung von Nachrichten möglich.
  • Eine Erweiterung von Anspruch 3 wird in Anspruch 4 durch unidirektionale Kommunikation des LED-beleuchteten Heckscheinwerfers zu einer integrierten Kamera eines Empfängers, beispielsweise die Frontkamera eines nachfolgenden Fahrzeugs oder die Heckkamera eines sich in der Gegenfahrtrichtung entfernenden Fahrzeugs wie in Anspruch 5 beschrieben, auch Auto zu Auto Kommunikation genannt, wie in (Efler, 2019) beschrieben.
  • In Anspruch 5 wird die Kommunikation im Heck des Fahrzeugs bidirektional erweitert, das heißt es wird eine weitere Kamera im Heck integriert. Dadurch können Nachrichten aus dieser Richtung bestätigt werden und Aktionen mit Beteiligung weiterer folgender Fahrzeuge koordiniert werden.
  • Schließlich können in Anspruch 6 hintereinanderfahrende Fahrzeuge durch Anspruch 5 bidirektional konkateniert werden, sodass eine kommunizierende Fahrzeugkette entsteht, beispielsweise das gleichzeitige Losfahren bei der Ampelfarbe „grün“ wie in Anspruch 9 beschrieben.
  • In Anspruch 7 wird vom LED beleuchteten Verkehrszeichen der aktuelle Ampelzustand des betreffenden Fahrzeugs gesendet, wie in Anspruch 1 und 4 beschrieben, um beispielsweise bei unvorhersehbaren, schlechten Sichtverhältnissen des Verkehrszeichens die Informationsübergabe zum Fahrer am „virtual cockpit“ zu ermöglichen.
  • In Anspruch 8 wird vom vorausfahrenden Fahrzeug über die LED beleuchteten Rückscheinwerfen zur betreffenden, des Fahrzeugs integrierten Kamera der zukünftige, beispielsweise durch ein Navigationsgerät ermittelte Abbiegewunsch gesendet, wie in Anspruch 4 beschrieben, um beispielsweise unnötige, gefährliche Überholmanöver des Fahrers zu vermeiden.
  • In Anspruch 10 wird vom betreffenden Fahrzeug bei einem wichtigen Ereignis eine Hauptnachricht mittels eines Flutalgorithmus in allen Senderichtungen verteilt, wie in Anspruch 6 beschrieben, um beispielsweise bei einem Notfall des betreffenden Fahrzeugführers im Nahfeld in Echtzeit eine Hilfsbereitschaftsanfrage senden und im „virtual cockpit“ der angefragten Fahrzeuge anzeigen zu können oder der Ampelzustand wird an die Verkehrssituation angepasst, wie in Anspruch 3 beschrieben. Andere Kommunikationssysteme werden nicht beeinflusst oder gestört, beispielsweise das 5G Funksystem.
  • Im Folgenden wird die technische Lösung beschrieben, welche auf alle Ansprüche zutrifft. Es wird mit einer Kamera durchgehend nach Verkehrszeichen- und LED-Scheinwerferumrissen gescannt, bei Verkehrsampeln wird der aktuelle Zustand am „virtual cockpit“ wiedergegeben. Nachrichten der LED beleuchteten Verkehrszeichen oder LED Scheinwerfer werden ebenfalls mit einer Kamera erkannt, mit einem Steuergerät ausgewertet und am „virtual cockpit“ wiedergegeben. Um den Überblick aller LED beleuchteten Verkehrszeichen und LED Scheinwerfern von oben und von der Seite zu erhalten, werden die Kameras am hinteren und vorderen Bereich des Fahrzeugs angebracht.
  • Die LED beleuchteten Verkehrszeichen und LED Scheinwerfer werden von mehreren Kameras mit einem Bildverarbeitungssystem erkannt, beispielsweise mit der Quell-offenen Programmierbibliothek OpenCV. Die Kameras werden am hinteren und vorderen Bereich des Fahrzeugs integriert und haben somit eine optimale Frontansicht, um LED beleuchtete Verkehrszeichen und Scheinwerfer von weiter bzw. naher Entfernung und von oben bzw. von der Seite erfassen zu können, wie in zu sehen.
  • Alle mit LED beleuchteten Verkehrszeichen und Scheinwerfer haben einen einfach zu erkennenden Formfaktor, ein Beispiel ist in zu sehen, die aktuellen Ampelzustände und Nachrichten werden anhand des Formfaktors, der Position, der Farbe und der Farbenhelligkeit ermittelt. Hierfür kann ein Kamerasensor für Kontur-, Farben- und Farbenhelligkeitserkennung verwendet werden. Üblicherweise wird hier ein Bildverarbeitungssystem zum Einsatz kommen. Die individuell benötigten Daten über die vorliegende Straßenkreuzung werden durch Abrufung von Informationen aus einer Datenbank des Navigationssystems gewonnen, wie man in erkennen kann.
  • Die gesendeten Nachrichten des mit LED beleuchteten Verkehrszeichens oder des LED Scheinwerfers werden über Intensitätsänderungen der Farbenhelligkeit anhand einer verbauten Kamera am Fahrzeug erkannt. Ein bestimmter Wert der Farbenhelligkeit entspricht der logischen 1 und die vollständige Intensität der Farbenhelligkeit entspricht der logischen 0. In einer weiteren vorteilhaften Ausprägung der Vorrichtung könnte man für den bestimmten Wert der Farbhelligkeit der logischen 1 beispielsweise 90% annehmen.
  • Außerdem kann eine mehrwertige Logik zum Einsatz kommen mit geringeren prozentualen Licht-Intensitätsabständen, um die Toleranz der Erkennung von Intensitätswerten zu verringern und damit Fehler zu vermeiden. Durch die Priorisierung der mehrwertigen Logik kann das Kommunikationsprotokoll optimiert werden. Folgende Wertekombinationen seien als Beispiel gegeben: fünf Signalwerte; 80% Intensität entspricht dem Signalwert 0 und hat eine Priorität von 0; 85% Intensität entspricht dem Signalwert 1 und hat eine Priorität von 0,5; 90% Intensität entspricht dem Signalwert 2 und hat eine Priorität von 1; 95% Intensität entspricht dem Signalwert 3 und hat eine Priorität von 1,5; 100% Intensität entspricht dem Signalwert 4 und hat eine Priorität von 2. In diesem Beispiel betragen die Abstände der Intensitätswerte nur 5 %, bei einer Toleranz von 5 % käme zu Überschneidungen der Intensitäts-Erkennungsbereiche. Durch den Einsatz der Bildbearbeitungsfilter einer SMART-Kamera kann die Toleranz gesenkt werden und damit können die Intensitäts-Erkennungsbereiche genauer voneinander abgegrenzt werden.
  • Jeder der vier Ampelzustände, rot, rot-gelb, grün und gelb kann Nachrichten übermitteln. In jeder Nachricht werden eine Hauptnachricht und mehrere Nebennachrichten übertragen, wie in zu erkennen ist. Nebennachrichten beinhalten Informationen, wie lange die Ampelfarbe der nächsten Ampel noch aktiv ist, welches nicht relevant für die kurzzeitigen Ampelzustände rot-gelb und gelb ist, die Fahrtrichtung, welche wichtig ist für die Relevanzermittlung, und Dauer bzw. Aktualität der Hauptnachricht. Die Hauptnachricht beinhaltet die eigentliche Information für das Steuergerät, wie in erkennbar ist. Diese Nachrichten werden mit den drei Fällen „Relevanz“, „Teilrelevanz“ und „keine Relevanz“ im Steuergerät bewertet. Die Relevanz-Bewertung hängt von der Fahrtrichtung und Umgebung des Fahrzeugs ab. Bei dem Ergebnis „Relevanz“ der Relevanz-Bewertung des Steuergeräts werden alle wichtigen Informationen für die zukünftig fahrende Richtung am „virtual cockpit“ angezeigt, wie z.B. „Glatteis voraus“, „X km Stau voraus wegen...‟, „Mensch bzw. Tier verhält sich nicht verkehrssicher“, „Gegenstand auf der Fahrtrichtung“, „Falschfahrer auf dieser Fahrtrichtung“ u.v.m. Eine „Teilrelevanz“ Nachricht wird demjenigen am „virtual cockpit“ angezeigt, der zwar nicht direkt betroffen ist, aber ausreichend genug mit dem aktuellen Geschehen zu tun hat. Eine typische „Teilrelevanz“-Information ist beispielsweise „Vorsicht - Not- bzw. Rettungsdienst nähert sich“ und anschließend „Bitte Rettungsgasse bilden“, da die Fahrtrichtung des Rettungsfahrzeugs nicht bekannt ist. Wenn der Weg des Rettungsfahrzeugs im System bekannt ist, kann durch die vorhandene Kommunikation die Relevanz-Bewertung verbessert werden. Diese Information wird bei allen Fahrzeugen angezeigt, die sich in dieser geschehensbezogenen Kreuzung befinden. Die Nachricht wird mit „keine Relevanz“ bewertet, wenn diese nicht für den Fahrer hilfreich oder nützlich ist. Das sind beispielsweise alle Informationen, die nicht in seiner zukünftig fahrenden Richtung liegen. Eine Dauer der Hauptnachricht wird dann angezeigt, wenn beispielsweise eine vorhandene exakte Zeit der Verkehrsanlage bekannt ist. Eine Aktualität der Hauptnachricht signalisiert den Anfangs- und Endzustand. Die Auswertung der Nachrichten geschieht anhand des Steuergeräts, wie in gezeigt wird. Es gibt ein Nachrichtenprotokoll, was genutzt wird und jederzeit erweitert werden kann, wie in zu sehen. Eine erhöhte Sicherheit wird durch Übernahme der Kontrolle im Falle von Störfaktoren oder Ausfall bzw. Fehlverhalten des Fahrers durch die Zusammenarbeit des autonomen Fahrens, des 5G Funksystems und des optischen Kommunikationssystems ermöglicht. Alle genannten Systeme können sich in den Ausführungen von Teilaufgaben gegenseitig vertreten.
  • Das Fahrzeug nähert sich den Ampeln, bei Erkennung der Ampelsituation „rot“ wird durch die empfangene Nachricht die Zeit tsoll ermittelt, wie lange noch die Ampel „rot“ bleibt. Anschließend wird durch aktuelle Geschwindigkeit des Fahrzeugs und Entfernung der Ampel die Zeit tist berechnet, bis das Fahrzeug an der Ampel angekommen ist. Daraufhin wird im Steuergerät ein Vergleich zwischen dem Soll- und Istwert durchgeführt. Bei dem Ergebnis tsoll>tist wird am „virtual cockpit“ die Aufforderung „Geschwindigkeit reduzieren“ angezeigt. Bei dem Ergebnis tsoll<tist wird am „virtual cockpit“ die Aufforderung „Geschwindigkeit halten“ angezeigt.
  • Es gibt verschiedene Automatisierungsgrade der Steuerung eines Fahrzeugs. Von rein manueller Steuerung über Unterstützung durch Fahrerassistenzsysteme bis hin zum Autonomen Fahren.
  • In welche Richtung der Fahrer tatsächlich fahren möchte, wird durch bestimmtes Lenkverhalten kurz vor dem Halten vor der Ampel und dem Blinker vom Steuergerät erfasst. Mit der voraussichtlichen Fahrtrichtung des Fahrers kann somit die Ampel der voraussichtlich fahrenden Richtung automatisch am „virtual cockpit“ hervorgehoben werden, wie in gezeigt. Hiermit wird gleichzeitig die Relevanz der Nachricht im Fahrzeug erkannt, wie in zu sehen ist. Durch Erkennung der Fahrtrichtung wird jetzt anhand der Information der empfangenen Nachricht verglichen, ob es sich um eine Hauptnachricht der Kategorie „Relevanz“, „Teilrelevanz“ oder „keine Relevanz“ handelt. Bei Übereinstimmung der tatsächlichen Fahrtrichtung und der Relevanz-Information der Nachricht wird die Hauptnachricht am „virtual cockpit“ angezeigt, dies entspricht dem Fall 1 „Relevanz“. Umgekehrt bei Übereinstimmung mit „keine Relevanz“ wird die Hauptnachricht nicht angezeigt, dies entspricht dem Fall 3 „keine Relevanz“. Wenn eine Nachricht der Kategorie „Teilrelevanz“ gesendet wird, wird diese Nachricht automatisch in jedem Fahrzeug angezeigt, dies entspricht dem Fall 2 „Teilrelevanz“. Es besteht die Möglichkeit, mit einem Joystick, manuell und individuell, alle vorhandenen Verkehrsampeln und Nachrichten je nach Gebrauch als „hervorgehoben“ oder „minimieren“ aus- und abwählen zu können.
  • Wenn das Steuergerät des Fahrzeugs erkennt, dass in der zur fahrenden Richtung der Ampelzustand „rot“ übersehen bzw. zu spät vom Fahrer erkannt wird, erfolgt eine automatische Notbremsung. Das Übersehen bzw. zu späte Erkennen des Ampelzustands „grün“ der Fußgänger und Fahrradfahrer wird nur beim Abbiegen berücksichtigt. Hier erfolgt auch eine automatische Notbremsung, jedoch nur, wenn tatsächlich Fußgänger oder Fahrradfahrer die Straße überqueren und der Benutzer gar nicht oder nicht ausreichend stark bremst, wie man in erkennen kann.
  • Zusätzlich werden Fußgängerampeln überwacht, um diese Werte bzw. Kenntnisse mit der Nachricht der Ampel zu vergleichen. Durch diese Werte bzw. Kenntnisse hat das System einen gewissen Zeitvorsprung durch eine Abschätzung der Zeitspanne vom Umschalten der Fußgängerampel bis zur Umschaltung der Ampel für Fahrzeuge, denn wenn sich der Fußgängerampelzustand von „griin“ auf „rot“ ändert, ist damit zu rechnen, dass die entsprechende Ampelrichtung in kurzer Zeit von „rot“ auf „grün“ umgeschaltet wird. Dieser Umstand wird aus Sicherheitsgründen mitberücksichtigt. Im Falle einer Abweichung der beiden gewonnenen Informationen wird der Fahrer durch ein Signal im „virtual cockpit“ zur Vorsicht gewarnt. Zweistufige Sicherheit bedeutet, dass die aus der optischen Kommunikation und mit Hilfe der Kameras aus der Umgebung gewonnenen Informationen abgeglichen werden. Durch Prüfsummenverfahren kann die Nachricht kontrolliert werden, ob sie richtig übertragen wurde. Bei erkannten Fehlern fordert der Empfänger den Sender zur Wiederholung der Sendung der Nachricht auf. Die korrigierte Nachricht kann von anderen Verkehrsobjekten gesendet werden. Das Signal der zukünftigen „grünen“ Ampelrichtung wird durch pulsierendes Ändern der Farbhelligkeit am „virtual cockpit“ gegeben.
  • Durch generelle Nutzung dieses Systems wird das gleichzeitige Losfahren an der Ampel gefördert, welches zu einer Zeitersparnis führt. Hierbei ist ein Auto zu Auto - Austausch einschließlich Quittung der detektierten Ampelstellung hilfreich und ggf. sogar erforderlich. Die Quittung ist eine Rückmeldung vom empfangenden Fahrzeug zum Sender als Bestätigung der richtig empfangenen Nachricht.
  • Bei komplizierter Geometrie der zu überwachenden Verkehrszeichen- und Ampelpositionen wird der gleichzeitige Einsatz mehrerer Kameras durchgeführt.
  • Das optische Kommunikationssteuergerät wird in den FlexRay- oder CAN-Bus integriert, was die Programmierung und Codierung der einzelnen Busteilnehmer beinhalten. Auch die mit LED beleuchteten Scheinwerfer erfordern eine hardware- und softwaretechnische Überarbeitung des entsprechenden Steuergeräts.
  • Die von den Kameras aufgenommenen Nachrichten werden durch das optische Kommunikationssteuergerät dem FlexRay- oder CAN-Bus zugeführt. Von dort aus werden sie über das Gateway Steuergerät in den MOST-Bus übertragen, um die Nachrichten im „virtual cockpit“ anzuzeigen. In die entgegengesetzte Richtung können vom Navigationsgerät Informationen für das optische Kommunikationssteuergerät übermittelt werden. Blinker, Bremspedalwinkel und Lenkwinkel können über das entsprechende Steuergerät Informationen an das optische Kommunikationssteuergerät innerhalb des FelxRay- oder CAN-Buses übermitteln, wie in erkennbar ist. Das optische Kommunikationssteuergerät kann Nachrichten an Steuergeräte im FlexRay- oder CAN-Bus senden, wie beispielsweise das Bremsensteuergerät, um an das Steuergerät angeschlossene Aktoren anzusprechen, wie beispielsweise die Bremse oder des ABS.
  • Technische Maschinen fehlen wichtige Kompetenzen, welche Menschen von der Maschine unterscheidet, wie beispielsweise Kreativität und Intuition bei Problemlösungen. Es bietet sich an, diese Fähigkeiten im Gesamtsystem einzubinden, um die Problemlösungen zu optimieren. Die Daten, die aus dem Fahrverhalten des Menschen entstehen, beinhalten Zeit, Geschwindigkeit, Bremsdruck, Gaspedalstellung und Lenkwinkel. Diese Daten werden zur nächsten Empfangsstelle gesendet und ausgewertet. Die Auswertung und Bewertung findet im Rahmen von maschinellem Lernen statt, speziell deep learning bzw. neuronale Netze. Zeitverläufe, Aktualität und erfolgreiche Handlung der Verkehrssituationen wird aus den Daten ermittelt und verarbeitet. Der Erfolg der Problemsituation wird durch den Werteverlauf gewisser Parameter, wie beispielsweise Geschwindigkeit, Lenkwinkel, Bremsdruck und GPS Koordinaten, erkannt. Zusätzlich als Unterstützung kann der Fahrer manuell über eine Bestätigung eines Knopfes am Lenkrad eine Bewertung der Situation geben. Beispielsweise wird eine neu entstandene Ölpfütze durch ein Verkehrszeichen mit integrierter Kamera erkannt. Das System verarbeitet diese Information und vergleicht die vorhandenen Daten auf ähnliche Fälle. Wenn ein ähnlicher Fall im System erkannt wird, werden die vorhandenen Daten genutzt, um bei Bedarf erfolgreiche Maßnahmen für zukünftige Fahrer zu geben. Bei dem 2. Fall, wenn die Problemsituation nicht in der Datenbank vorhanden ist, bekommt das System die Daten des Fahrverhaltens von den Fahrern, die das erste Mal sich in dieser Problemsituation befinden und lernt durch deren Fahrverhalten. Sinn dieses Assistenzsystems ist es, das Fahren bei Problemsituationen abzunehmen und zu optimieren.
  • Ausführungsbeispiele
  • Eine prototypische Realisierung wird aus einem aktuellen Fahrzeug bestehen, beispielsweise PKW, LKW und Busse, indem Stereo-Kameras inklusive optisches Kommunikationssteuergerät zur Datenauswertung integriert wird, wie in und zu sehen ist. Damit wird die komplette Umgebung abgedeckt.
  • Durch die so vollzogenen Änderungen können dann Ampelzustände und Nachrichten der mit LED beleuchteten Verkehrszeichen oder LED-Scheinwerfer am „virtual cockpit“ angezeigt werden.
  • Die optische bidirektionale Kommunikation kann erweitert werden auf eine Augmented Reality Brille für Fußgänger.
  • Bei Zweirädern können die Kameras und das System im Schutzhelm integriert und Nachrichten in einem speziellen Visier wiedergegeben werden, analog dem „virtual cockpit“ der Fahrzeuge.
  • Erreichte Vorteile
  • Das Verfahren ist eine Erleichterung und steigert Sicherheit für das tägliche Fahren im Verkehr. Die zusätzlichen Informationen im „virtual cockpit“, welche durch die optische Kommunikation übermittelt werden, stellen eine Erleichterung für den Fahrzeugfuhrer dar. Ungünstige Verkehrssituationen, z.B. schlecht einsehbare Verkehrszeichen oder Ampeln, ungünstige Lichtverhältnisse durch Sonnenblenden, können durch die Nachrichten des „virtual cockpits“ kompensiert werden. Dadurch können unvorteilhafte Bewegungen, vor allem von behinderten bzw. in ihrer Bewegung eingeschränkten Menschen, vermieden werden. In gefährlichen Situationen können auf Basis der Information aus der optischen Kommunikation entsprechende Fahrerassistenzsysteme reagieren, wie z.B. automatische Notbremsung. Durch diese optische Kommunikation kann die Effizienz verbessert werden. Durch die in Echtzeit übermittelte Information der aktuellen Ampelzustände, kann eine Vorhersage für ein optimales Fahrverhalten errechnet werden. Als Beispiel sei gegeben, wenn ein Fahrzeug auf eine Ampel zufährt, welche in einer bestimmten Zeitspanne umschaltet, wird die Beschleunigung optimal parametrisiert und zum Fahrer kommuniziert. Dies führt zu geringerem Verschleiß des Fahrzeugs und weniger Kraftstoffverbrauch.
  • Die optische Verkehrskommunikation kennt einige Probleme der draht- und funkgebundenen Kommunikation nicht. So können logische Signale, also insbesondere Rechtecksignale ohne kapazitive und induktive Einflüsse übertragen werden. Dadurch können zeit- und rechenaufwändige Kodierungen erspart bleiben.
  • Zusätzlich ist dieses Verfahren im Vergleich zu strahlungsintensiven und hochfrequenten Technologien gesundheits- und umweltfreundlich, wie in (Harald Schumann, 2019), (Lennart Hardell, 2017) und (Steingart, 2019) beschrieben. Damit können diese Probleme verringert werden. Für die optische Kommunikation müssen im Vergleich zu dem 5G Verfahren keine große Umweltveränderung erfolgen, wie z.B. Abholzen der Böschungen und Bäume am Straßenrand, das zur Verbesserung der Funkkommunikation beitragen soll. Statt der enormen Vergrößerung der Anzahl von 5G Basisstationen müssen für das optische Kommunikationssystem alle Verkehrszeichen mit kommunikationsfähigen LEDen ausgestattet werden. Auch Beeinflussung von biorelevanten Informationen der Lebewesen durch Funkstrahlung ist durch das optische Kommunikationsverfahren nicht gegeben. Somit stellt das optische Kommunikationsverfahren keine gesundheitliche Bedrohung der Lebewesen dar. Ein evtl. niedriger Energieverbrauch des optischen Kommunikationssystem gegenüber dem 5G Funksystem wird vermutet, ist aber noch zu untersuchen.
  • Bezugszeichenliste
  • 1
    Front- und Seitenansicht
    1 a
    Kamera für nahe Entfernung, obere Sicht
    1b
    Kamera für nahe Entfernung, seitliche Sicht
    1c
    Kamera für weite Entfernung
    2
    Formfaktoren einer Ampel (senkrecht und waagerecht, nach Straßenverkehrsordnung EU - DE)
    3
    Nachrichtenprotokoll - Beispiel
    4
    „Virtual cockpit“ (vergrößerte Darstellung, nach Straßenverkehrsordnung EU - DE)
    5
    Schema des Prozessablaufs
    6
    Zustandsdiagramm für Steuergerät, „virtual cockpit“ und Aktoren (Bremse)
    7
    Zustandsdiagramm Nachricht bewertend
    8
    Prototypische Realisierung: Modifiziertes Bussystem (vereinfachte Darstellung)
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102015204122 A1 [0004]
    • US 9731661 [0004]
    • US 10152886 [0004]

Claims (10)

  1. Vorrichtung zur optischen Kommunikation im Straßenverkehr, wobei die Vorrichtung in Verkehrszeichen eine LED-Beleuchtung und im Fahrzeug eine integrierte Kamera beinhaltet, wobei die integrierte LED-Beleuchtung des Verkehrszeichen unidirektional optische Nachrichten an die im Fahrzeug integrierte Kamera senden kann, wobei dort die Informationen der optischen Nachricht in einem eingebauten Steuergerät ausgewertet werden, wobei ein Bildverarbeitungssystem die Formfaktoren des Verkehrszeichen erkennt, sowie die Position und Farben der Sender, wobei für das menschliche Auge nicht wahrnehmbare Nachrichten durch Intensitätsänderungen der Farbenhelligkeit gesendet werden.
  2. Vorrichtung nach Anspruch 1, wobei die Kommunikationsrichtung unidirektional in umgekehrte Richtung, nämlich von der LED Beleuchtung des Frontscheinwerfers des Fahrzeugs zur integrierten Kamera des Verkehrszeichens erfolgt.
  3. Vorrichtung nach Anspruch 1 bis 2, wobei beide Kommunikationsrichtungen aus den beiden vorhergehenden Ansprüchen zu einer bidirektionalen Kommunikation zusammengefasst werden, Verkehrszeichen und Fahrzeug sind mit integrierter Kamera und LED Beleuchtung ausgestattet.
  4. Vorrichtung nach Anspruch 3, wobei zusätzlich eine Kommunikationsrichtung unidirektional von den LED beleuchteten Rückscheinwerfern des Fahrzeugs zu einer integrierten Kamera eines Empfängers eines Folgefahrzeugs stattfindet.
  5. Vorrichtung nach Anspruch 4, wobei die Kommunikationsrichtung bidirektional inklusive Quittung der kommunizierenden Fahrzeuge erweitert wird, vom LED beleuchtetem Rückscheinwerfer des Fahrzeugs zur integrierten Kamera des Empfängers des Folgefahrzeugs und zusätzlich vom LED beleuchteten Frontscheinwerfer zur integrieren Kamera im Heck des Fahrzeugs.
  6. Vorrichtung nach Anspruch 5, wobei die bidirektionale Kommunikation über eine aneinanderreihende Fahrzeugkette stattfindet, indem jeweils die LED beleuchteten Heckscheinwerfer mit der integrierten Frontkamera des nachfolgenden Fahrzeugs und die LED beleuchteten Frontscheinwerfer mit der integrierten Heckkamera des vorhergehenden Fahrzeugs kommuniziert.
  7. Vorrichtung nach Anspruch 1 und 4, wobei der aktuelle Ampelzustand vom LED beleuchteten Verkehrszeichen zu einer betreffenden, im Fahrzeug integrierten Kamera zusätzlich als Nebennachricht gesendet und im „virtual cockpit“ des betreffenden Fahrzeugs dargestellt wird.
  8. Vorrichtung nach Anspruch 4, wobei der zukünftige Abbiegewunsch des im vorausfahrenden Fahrzeugs über den LED beleuchteten Rückscheinwerfer zu einer betreffenden, im Fahrzeug integrierten Kamera zusätzlich als Nebennachricht gesendet und im „virtual cockpit“ des betreffenden Fahrzeugs dargestellt wird.
  9. Vorrichtung nach Anspruch 1 und 6, wobei der Umschaltzeitpunkt des Verkehrszeichens auf „grün“ als Nebennachricht gesendet und im „virtual cockpit“ dargestellt wird, um somit ein gleichzeitiges Losfahren zu ermöglichen.
  10. Vorrichtung nach Anspruch 3 und 6, wobei in wichtigen Ereignissen das betreffende Fahrzeug dies als Hauptnachricht in allen Senderichtungen mittels eines Flutalgorithmus im Nahfeld verteilt, um Hilfebereitschaft anfragen oder wichtige Information senden zu können.
DE102019009104.3A 2019-12-21 2019-12-21 Vorrichtung zur optischen Verkehrskommunikation Withdrawn DE102019009104A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019009104.3A DE102019009104A1 (de) 2019-12-21 2019-12-21 Vorrichtung zur optischen Verkehrskommunikation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019009104.3A DE102019009104A1 (de) 2019-12-21 2019-12-21 Vorrichtung zur optischen Verkehrskommunikation

Publications (1)

Publication Number Publication Date
DE102019009104A1 true DE102019009104A1 (de) 2021-06-24

Family

ID=76205712

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019009104.3A Withdrawn DE102019009104A1 (de) 2019-12-21 2019-12-21 Vorrichtung zur optischen Verkehrskommunikation

Country Status (1)

Country Link
DE (1) DE102019009104A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210383692A1 (en) * 2020-12-23 2021-12-09 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Signal lamp recognition method, device, and storage medium
WO2023186045A1 (zh) * 2022-04-02 2023-10-05 李公健 一种通过探测识别设备识别车辆使用情况的智能头盔系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210383692A1 (en) * 2020-12-23 2021-12-09 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Signal lamp recognition method, device, and storage medium
US11715372B2 (en) * 2020-12-23 2023-08-01 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Signal lamp recognition method, device, and storage medium
WO2023186045A1 (zh) * 2022-04-02 2023-10-05 李公健 一种通过探测识别设备识别车辆使用情况的智能头盔系统

Similar Documents

Publication Publication Date Title
EP3426535B1 (de) Verfahren zum betreiben des fahrerassistenzsystems und fahrerassistenzsystem
DE102015213884B4 (de) Vorrichtung zum Bestimmen einer Gefahr in einer Fahrtumgebung und Vorrichtung zum Anzeigen einer Gefahr in einer Fahrtumgebung
EP2985182B1 (de) Verfahren zur warnung von verkehrsteilnehmern vor möglichen gefahrenbereichen, die durch ein fahrzeug entstehen, das ein fahrmanöver ausführt oder ausführen will
DE102009009472A1 (de) Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
WO2007096308A1 (de) Assistenzsystem zur unterstützung eines fahrers
DE102011081382A1 (de) Verfahren und Vorrichtung zum Ändern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102013004271A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102010049721A1 (de) Verfahren und Vorrichtung zur Anzeige einer Kritikalität
DE102016002230B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102013226336A1 (de) Kommunikation zwischen autonomen Fahrzeugen und Menschen
EP3931033B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
DE102012008659A1 (de) Verhahren zur Situationsanalyse von Einscher,-Ausscher-, Einfädel- und/oder Ausfädelvorgängen von Fahrzeugen
DE102010052129A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102011081360A1 (de) Verfahren zur Steuerung einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
EP3380362B1 (de) Kraftfahrzeugscheinwerfer mit einer intelligenten autobahn-lichthupe
WO2020173772A1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
DE102018206042A1 (de) Verfahren zur Kommunikation eines Kraftfahrzeugs mit einem Verkehrsteilnehmer sowie Kraftfahrzeug zur Durchführung des Verfahrens
DE102015210780A1 (de) Verfahren und Steuereinheit zur Kommunikation zwischen einem autonomen Fahrzeug und einem Insassen
DE102019009104A1 (de) Vorrichtung zur optischen Verkehrskommunikation
DE102020122566B4 (de) Verfahren für eine Assistenzfunktion für Einsatzfahrzeuge mit Sondersignalen zur Erstellung eines Ansteuerungssignals, sowie Sondersignalsteuergerät, Warneinrichtung und Kraftfahrzeug
DE102017103862A1 (de) System für eine Verkehrsfläche und Verfahren mit einem System für eine Verkehrsfläche
DE102012023054A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Dunkelfahrt
DE102023100985A1 (de) Ampelanzeigesystem mit unterdrückter benachrichtigung für ein fahrzeug
EP3994040B1 (de) Verfahren zum koordinieren von verkehrsteilnehmern durch eine servervorrichtung sowie eine servervorrichtung und eine steuerschaltung zum durchführen des verfahrens
AT524418A4 (de) Verfahren zum Durchführen einer Testfahrt mit zumindest einem Testfahrzeug

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee