-
Die Erfindung betrifft ein Verfahren zum Sicherstellen einer Echtzeitfähigkeit eines Fahrerassistenzsystems, welches eine Längsführung und/oder Querführung eines Kraftfahrzeugs durchführt. Mit „Echtzeitfähigkeit“ ist hierbei gemeint, dass das Fahrerassistenzsystem auf ein Ereignis in einer Umgebung mit einer Reaktionszeit reagiert, die kleiner als eine vorbestimmte maximale Reaktionszeit ist. Zu der Erfindung gehört auch ein System, mittels welchem das Verfahren durchgeführt werden kann.
-
Damit ein Fahrerassistenzsystem ein Kraftfahrzeug vollautomatisch (autonom) führen oder einen Fahrer durch Übernehmen der Längsführung (Beschleunigen und Bremsen) oder Querführung (Lenken) unterstützen kann, muss das Fahrerassistenzsystem Umgebungsdaten der Umgebung des Kraftfahrzeugs auswerten, um einzelne Verkehrsobjekte verfolgen oder tracken zu können, was hier jeweils als Überwachungsaktivität für ein Verkehrsobjekt bezeichnet ist. Jedes Verkehrsobjekt kann also einen eigenen Überwachungsprozess erfordern. In einer komplexen Umgebung, beispielsweise an einer Kreuzung, wo sich mehrere Verkehrsobjekte (Kraftfahrzeuge und/oder Fußgänger) aufhalten können, kann die Anzahl der benötigten Überwachungsaktivitäten (Verfolgen oder Tracken jeweils eines Verkehrsobjekts) derart groß werden, dass eine Prozessoreinrichtung des Fahrerassistenzsystems sämtliche Überwachungsaktivitäten nicht derart schnell durchführen oder prozessieren kann, dass die Echtzeitfähigkeit erhalten bleibt. Entsprechend kann das Kraftfahrzeug dann auch seine Entscheidungen nur mit einer Zeitverzögerung fällen, die größer als die vorgegebene maximale Reaktionszeit ist.
-
Ein vollautomatisch geführtes Kraftfahrzeug ist beispielsweise aus der
WO 2017 / 125 209 A1 bekannt. Das bekannte Kraftfahrzeug nutzt eine Methode des maschinellen Lernens (Machine-Learning-Methode), um Umgebungsdaten auszuwerten. Die Rechenleistung für das maschinelle Lernen muss vollständig im Kraftfahrzeug bereitgestellt werden, was zu einer Überlastung der Prozessoreinrichtung führen kann.
-
Aus der
US 2017 / 0 135 621 A1 ist ein Verfahren bekannt, um einem Fahrerassistenzsystem für autonomes Fahren Fahrmanöver anzutrainieren, indem diese Fahrmanöver von einem menschlichen Fahrer vorgemacht werden. Auch hier muss die Rechenleistung für das maschinelle Lernen vollständig im Kraftfahrzeug verfügbar sein, was zu der besagten Überlastung führen kann.
-
In einem Fachbeitrag von Jason Cong (CONG, Jason: Machine learning on FPGAs [keynote talk]. Workshop on Hardware and Algorithms for Learning On-a-chip (HALO) 2015, November 5th, 2015, Doubletree Hotel, Austin, TX. S. 1-32. URL: http://cadlab.cs.ucla.edu/~cong/slides/HALO15_keynote.pdf) ist beschrieben, wie maschinelles Lernen mittels eines FPGA (Field programmable gate array) optimiert werden kann. Zudem sind weitere Optimierungsmöglichkeiten auf Prozessorebene und Serverebene/Backendebene genannt.
-
Aus der
DE 10 2008 049 824 A1 ist für ein Kraftfahrzeug ein Verfahren zur Kollisionsvermeidung bekannt, welches für Verkehrsteilnehmer, beispielsweise Fußgänger, mittels Mobiltelefon eine Ortung und eine Bewegungsprädiktion durchführt, um eine bevorstehende Kollisionsgefahr zu erkennen. Befinden sich mehrere Verkehrsteilnehmer in der Umgebung, so kann eine Auswahl relevanter Signale und damit relevanter Mobiltelefone und zugeordneter Verkehrsteilnehmer getroffen werden. Nicht ausgewählte Signale werden nicht berücksichtigt.
-
Aus der
DE 10 2007 058 092 A1 ist für Kraftfahrzeuge eine serverbasierte Optimierung von Fahrtrouten bekannt, wobei die Optimierung als Optimierungskriterium beispielsweise den Kraftstoffverbrauch zugrunde legen und auch Verkehrsstörungen sowie widrige äußere Umstände, wie beispielsweise schlechtes Wetter, berücksichtigen kann.
-
Der Erfindung liegt die Aufgabe zugrunde, eine Echtzeitfähigkeit eines Fahrerassistenzsystems eines Kraftfahrzeugs sicherzustellen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figur beschrieben.
-
Durch die Erfindung ist ein Verfahren zum Sicherstellen der Echtzeitfähigkeit eines Fahrerassistenzsystems bereitgestellt. Das Verfahren geht davon aus, dass das Fahrerassistenzsystem Umgebungsdaten z.B. aus zumindest einem Umfeldsensor und/oder aus zumindest einer Kamera empfängt und eine Längsführung (Beschleunigen und Abbremsen) und/oder eine Querführung (Lenken) in dem Kraftfahrzeug insbesondere in Abhängigkeit von den Umgebungsdaten durchführt. Es kann sich also um ein autonomes Führen oder ein teilautonomes Führen des Kraftfahrzeugs handeln. Die Echtzeitfähigkeit ist hierbei insbesondere dahingehend definiert, dass das Fahrerassistenzsystem eine Reaktionszeit auf ein Ereignis in seiner Umgebung aufweist, die kleiner als eine vorbestimmte maximale Reaktionszeit ist. Kreuz beispielsweise ein Verkehrsobjekt den Fahrweg des Kraftfahrzeugs und besteht Kollisionsgefahr mit dem Verkehrsobjekt, so wird dies durch das Fahrerassistenzsystem innerhalb der maximalen Reaktionszeit erkannt und eine Gegenmaßnahme ausgelöst, beispielsweise ein Bremsmanöver oder ein Ausweichmanöver. Die maximale Reaktionszeit kann in einem Bereich von 50 Millisekunden bis 2 Sekunden liegen. Wie bei herkömmlichen Fahrerassistenzsystemen bekannt, sieht das Verfahren vor, dass mittels einer Erfassungseinrichtung Umgebungsdaten der Umgebung des Kraftfahrzeugs für Überwachungsaktivitäten erfasst werden. Die Erfassungseinrichtung kann beispielsweise zumindest eine Kamera und/oder zumindest ein Lidar und/oder zumindest einen Radar und/oder zumindest einen Ultraschallsensor umfassen. Als Umgebungsdaten können entsprechend Kameradaten und/oder Lidar-Daten und/oder Radardaten und/oder Ultraschalldaten erfasst werden.
-
Die Prozessierung dieser Umgebungsdaten stellt die besagten Überwachungsaktivitäten des Fahrerassistenzsystems dar, das heißt das Fahrerassistenzsystem muss für einzelne Verkehrsobjekte in der Umgebung, beispielsweise das Überwachen von Verkehrssignalen, Straßenbedingungen, Passanten, Tiere, der Wettersituation, Rettungswagen und/oder Polizeiwagen (um nur Beispiele zu nennen), jeweils eine Überwachungsaktivität durchführen. Sind beispielsweise zehn Kraftfahrzeuge in der Umgebung des Kraftfahrzeugs, die durch Umgebungsdaten abgebildet oder beschrieben werden, so löst dies in dem Fahrerassistenzsystem zehn Überwachungsaktivitäten aus. Allgemein ergeben sich also für N Verkehrsobjekte in der Umgebung auch N Überwachungsaktivitäten. Dies kann in der beschriebenen Weise das Fahrerassistenzsystem überfordern, sodass die Echtzeitfähigkeit verloren geht.
-
Gemäß der Erfindung ist deshalb vorgesehen, dass durch eine Prädiktionseinrichtung des Kraftfahrzeugs eine Aktivitätsprädiktion von umgebenden Verkehrsobjekten durchgeführt wird. Die Prädiktionseinrichtung ermittelt beispielsweise, ob ein Verkehrsobjekt in einem vorbestimmten zukünftigen Zeitraum oder Zeitintervall für das Fahrerassistenzsystem relevant sein wird. Beispielsweise kann bei einem bewegten Verkehrsobjekt ermittelt werden, ob eine extrapolierte oder geschätzte Bewegungsbahn des Verkehrsobjekts eine geplante Bewegungsbahn des Kraftfahrzeugs kreuzen wird und/oder ob ein Abstand des Verkehrsobjekts kleiner als ein vorbestimmter Schwellenwert werden wird. Bei einem statischen Verkehrsobjekt, beispielsweise einem Verkehrszeichen, kann überprüft werden, ob dieses für das Fahrerassistenzsystem relevant wird, ob also beispielsweise eine Verkehrsampel auf Rot schalten wird oder ob bei einem Verkehrsschild das Kraftfahrzeug in den Geltungsbereich des Verkehrsschilds fahren wird, z.B. in einen Bereich mit begrenzter Geschwindigkeit. In Abhängigkeit von der Aktivitätsprädiktion wird dann eine Priorisierung von Überwachungsaktivitäten des Fahrerassistenzsystems durchgeführt. Es wird dem Fahrerassistenzsystem also durch die Priorisierung mitgeteilt, welches der Verkehrsobjekte das Fahrerassistenzsystem mit welcher Priorität überwachen soll, das heißt mit einer Überwachungsaktivität belegen soll. Es kann z.B. für das besagte zukünftige Zeitintervall eine Abstandsprädiktion des Abstands zwischen dem jeweiligen Verkehrsobjekt und dem Kraftfahrzeug vorgesehen sein und die Verkehrsobjekte können dann gemäß ihrem voraussichtlichen minimalen Abstand geordnet werden. Die Aktivitätsprädiktion kann aber auch unabhängig von konkreten Verkehrsobjekten erfolgen: Ermittelt die Prädiktionseinrichtung beispielsweise, dass das Kraftfahrzeug an einer Schule vorbeifährt und gerade Schulschluss ist, so kann die Priorisierung vorsehen, dass Überwachungsaktivitäten betreffend Fußgänger eine höhere Priorität aufweisen als außerhalb des Schulbereichs, da damit zu rechnen ist, dass Kinder spontan auf die Straße laufen werden. Durch die Priorisierung ist also festgelegt, welchem Objekttyp von Verkehrsobjekten das Fahrerassistenzsystem mehr Bedeutung zumessen soll als anderen Verkehrsobjekten, weil durch die Aktivitätsprädiktion ermittelt wird, dass jene eine größere Relevanz oder Unvorhersehbarkeit für die aktuelle Verkehrssituation aufweisen.
-
Das Fahrerassistenzsystem verlässt sich also aufgrund der Aktivitätsprädiktion darauf, dass die Überwachung bestimmter, höchstpriorer Überwachungsaktivitäten ausreicht, um das Kraftfahrzeug in der Umgebung sicher zu führen. Damit dies auch tatsächlich der Fall ist, wird zusätzlich durch eine fahrzeugexterne Backendvorrichtung eine Verkehrsprädiktion eines Verkehrsflusses für die Umgebung durchgeführt. Eine Backendvorrichtung kann hierbei beispielsweise ein Server (Internetserver/Servervorrichtung), ein Computerzentrum (Computercenter), ein Computercluster, ein Clouddienst oder ein verteiltes und dezentrales Rechenzentrum sein. Die Backendvorrichtung ermittelt beispielsweise eine Verkehrsdichte oder eine Bewegungsrichtung von mobilen Verkehrsobjekten, insbesondere von anderen Kraftfahrzeugen. Anhand der Verkehrsprädiktion wird durch die Backendvorrichtung eine Routenempfehlung für das Fahrerassistenzsystem ermittelt und diesem bereitgestellt. Die Routenempfehlung ist dabei daraufhin optimiert oder eingerichtet, dass das Kraftfahrzeug ein geplantes Fahrziel unter Umgehung solcher Umgebungsbereiche anfahren kann, die ein vorbestimmtes Verkehrsdichtekriterium erfüllen. Gibt es also zwei mögliche Routen zu dem geplanten Fahrziel, so wird diejenige Route gewählt, die verkehrsärmer ist.
-
Durch eine Entscheidungseinrichtung des Fahrerassistenzsystems, welche über durchzuführende Fahrmanöver für die Längsführung und/oder die Querführung entscheidet, welche also die eigentliche Längsführung und/oder Querführung des Kraftfahrzeugs durchführt, wird eine Routenplanung zu dem geplanten Fahrziel unter Einhaltung der Routenempfehlung durchgeführt. Mit anderen Worten entscheidet das Fahrerassistenzsystem immer noch selbst, welche Route es plant oder fährt. Die Routenempfehlung dient hier als Randbedingung oder Vorgabe für einen Routenplan. Beispielsweise kann die Routenempfehlung einen Routenkorridor vorgeben, also einen Streifen, der von der aktuellen Position des Kraftfahrzeugs hin zu dem Fahrziel führt.
-
Beim Befahren der daraufhin geplanten Route muss das Fahrerassistenzsystem mittels der Entscheidungseinrichtung natürlich die Umgebung berücksichtigen, um sich für geeignete, unfallfreie Fahrmanöver zu entscheiden. Beim Befahren der geplanten Route werden hierbei durch die Entscheidungseinrichtung die hierzu nötigen, beschriebenen Überwachungsaktivitäten durchgeführt, um die Verkehrsobjekte in der Umgebung zu überwachen oder der Aktivität zu verfolgen. Um die Echtzeitfähigkeit zu erhalten, werden die notwendigen Überwachungsaktivitäten gemäß der Priorisierung geordnet durchgeführt. Mit anderen Worten führt die Entscheidungseinrichtung die Überwachungsaktivitäten durch und beginnt dabei mit der höchstprioren Überwachungsaktivität und arbeitet dann die übrigen Überwachungsaktivitäten gemäß der Ordnung ihrer Priorisierung ab. Da das Kraftfahrzeug hierbei innerhalb der Routenempfehlung der Backendvorrichtung geführt wird, besteht nun eine erhöhte Wahrscheinlichkeit, dass alle Überwachungsaktivitäten rechtzeitig durchgeführt werden können, um die Echtzeitfähigkeit des Fahrerassistenzsystems zu erhalten. Gibt es mehr Überwachungsaktivitäten, als innerhalb der maximalen Reaktionszeit durchgeführt werden können, so können die nicht innerhalb der maximalen Reaktionszeit durchführbaren Überwachungsaktivitäten, also diejenigen Überwachungsaktivitäten, welche die Echtzeitfähigkeit verletzen würden, wegfallen oder ignoriert werden, da sichergestellt ist, dass die wichtigsten Überwachungsaktivitäten bereits durchgeführt wurden.
-
Durch die Erfindung ergibt sich der Vorteil, dass das Fahrerassistenzsystem durch die Backendvorrichtung auf der verkehrsärmsten Route zum Fahrziel gelangen kann und die Entscheidungseinrichtung des Fahrerassistenzsystems dabei die verbleibenden, wichtigsten Überwachungsaktivitäten mit höchster Priorität bearbeitet oder prozessiert. Es ist vorgesehen, dass die Überwachungsaktivitäten zyklisch durchlaufen werden, wobei eine Zyklusdauer durch die maximale Reaktionszeit vorgegeben ist. Wird ein Zyklus nicht vollständig beendet, weil mehr Überwachungsaktivitäten vorhanden sind als von dem Fahrerassistenzsystem innerhalb der maximalen Reaktionszeit bearbeitet werden können, so kann der Überwachungszyklus abgebrochen und neu begonnen werden, wobei dann wieder mit der höchstprioren Überwachungsaktivität begonnen wird. Insgesamt wird die Wahrscheinlichkeit verringert, dass das Fahrerassistenzsystem in eine Verkehrssituation gerät, in welcher es nicht alle notwendigen Überwachungsaktivitäten rechtzeitig durchführen kann.
-
Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass durch die Prädiktionseinrichtung die Aktivitätsprädiktion und/oder die Priorisierung mittels einer Machine-Learning-Methode und/oder einer Predictive-Analytics-Methode (prädiktive Analyse) durchgeführt wird. Die Prädiktionseinrichtung kann hierzu beispielsweise auf der Grundlage eines Programmmoduls für eine Prozessoreinrichtung des Fahrerassistenzsystems oder eines anderen Steuergeräts realisiert sein. Eine Machine-Learning-Methode kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks realisiert sein. Als Trainingsmethode ist insbesondere das bestärkende Lernen (Reinforcement Learning) vorteilhaft. Bestärkendes Lernen erzeugt eine bewertende Rückkopplung an das Fahrerassistenzsystem für die von diesem getroffenen Entscheidungen. Daher kann dies gut für die Verbesserung des automatisierten Fahrens genutzt werden. Die Rückkopplung kann z.B. mittels Umfeldsensoren (z.B. Abstandsmessung) erzeugt werden. Ein Beispiel für eine Predictive-Analytics-Methode ist die logistische Regressionsanalyse (Logistic Regression Analysis). Die beiden besagten Methoden weisen den Vorteil auf, dass sie durch ein Trainingsverfahren oder ein Analyseverfahren an eine aktuelle Verkehrssituation angepasst werden können. Sie können damit also im Betrieb des Kraftfahrzeugs angepasst werden. Es muss nicht bereits bei der Herstellung des Kraftfahrzeugs jede Information über mögliche Verkehrssituationen im Voraus bekannt sein. Stattdessen ist eine Lernfähigkeit ermöglicht.
-
Eine Ausführungsform sieht vor, dass die besagte Entscheidungseinrichtung die Routenplanung und/oder die Überwachungsaktivitäten mittels einer Machine-Learning-Methode und/oder einer Predictive-Analytics-Methode durchführt. Die Entscheidungseinrichtung kann hierbei ebenfalls in der beschriebenen Weise als ein Programmmodul für eine Prozessoreinrichtung des Fahrerassistenzsystems realisiert sein. Die Verwendung der besagten Methoden für die Routenplanung und/oder die Überwachungsaktivitäten weist den Vorteil auf, dass auch in diesem Fall eine Anpassung an den Betrieb des Kraftfahrzeugs möglich ist, also nicht zum Zeitpunkt der Herstellung des Kraftfahrzeugs jede mögliche Verkehrssituation im Voraus bekannt sein muss, um eine geeignete Routenplanung und/oder Überwachungsaktivität zu ermöglichen.
-
Eine Ausführungsform sieht vor, dass in dem Fahrerassistenzsystem die Machine-Learning-Methode und/oder die Predictive-Analytics-Methode als Hardwareimplementierung, insbesondere mittels eines FPGA (Field Programmable Gate Array) und/oder als Bestandteil eines Betriebssystems und/oder einer Middleware-Ebene des Fahrerassistenzsystems (also außerhalb des eigentlichen Programmmoduls für die Prädiktionseinrichtung und/oder die Entscheidungseinrichtung) betrieben oder bereitgestellt werden. Mit anderen Worten wird also die Implementierung der Machine-Learning-Methode und/oder der Predictive-Analytics-Methode in einem FPGA und/oder auf Betriebssystemebene und/oder auf Middleware-Ebene vorgesehen, also auf niederer Implementierungsebene außerhalb des eigentlichen Programmmoduls für die Prädiktionseinrichtung und/oder die Entscheidungseinrichtung, um hierdurch beispielsweise einen Chip oder integrierten Schaltkreis und/oder ein SOC (System on Chip) für die Durchführung zu beschleunigen. Somit wird also zur weiteren Steigerung der Echtzeitfähigkeit eine schnellere Durchführung der Prozessierschritte ermöglicht.
-
Falls dies nicht ausreicht, können weitere Ausführungsformen vorteilhaft sein.
-
Eine Ausführungsform sieht vor, dass Prozessierschritte betreffend die Machine-Learning-Methode und/oder betreffend die Predictive-Analytics-Methode in Abhängigkeit von einem Aufteilungskriterium zwischen dem Fahrerassistenzsystem und der Backendvorrichtung aufgeteilt werden. Mit anderen Worten kann auch die Backendeinrichtung Rechenleistung beitragen, um die Aufgabe der Prädiktionseinrichtung und/oder der Entscheidungseinrichtung zu erledigen.
-
Das Aufteilungskriterium kann einen Auslastungsgrad der Prozessoreinrichtung des Fahrerassistenzsystems betreffen. Je größer der Auslastungsgrad der Prozessoreinrichtung des Fahrerassistenzsystems ist, also beispielsweise der Wert des sogenannten Load-Parameters, desto mehr Prozessierschritte können außerhalb des Fahrerassistenzsystems von der Backendvorrichtung durchgeführt werden. Die Backendvorrichtung kann dann die Ergebnisdaten dieser Prozessierschritte an das Fahrerassistenzsystem übermitteln.
-
Die Prozessoreinrichtung nicht zu überlasten ist nur ein Grund. Das Aufteilungskriterium kann zusätzlich oder alternativ dazu zumindest einen der folgenden Aspekte umfassen: Reichweitenerhöhung (durch Einsparen von Energie), Energieeffizienz, Verfügbarmachen von elektrischer Leistung im Kraftfahrzeug, Geschwindigkeitssteigerung für andere Berechnungen.
-
Das Aufteilungskriterium kann konfigurierbar ausgestaltet sein und/oder über der Zeit verändert werden (dynamische Aufteilung der Prozessorlast). Je nach Konfiguration können sich folgende Vorteile ergeben:
- - Vergrößerte Reichweite, falls die Backendvorrichtung mehr prozessiert,
- - Vergrößerte Energieeffizienz, falls Prozessierschritte in der Backendvorrichtung optimierter ausgeführt werden können als im Fahrerassistenzsystem,
- - Kraftfahrzeuge können schneller mit automatisierter Längs- und Querführung fahren.
-
Die Kernidee besteht bei diesem Aspekt darin, insbesondere die maschinellen Lernberechnungen, d.h. die Prozessierschritte für maschinelles Lernen, zwischen dem Fahrerassistenzsystem des Kraftfahrzeugs und der Backendvorrichtung aufzuteilen. Dieses dynamische Aufteilen wird auch als „Scheduling“ bezeichnet. Darüber hinaus können die Berechnungen in der Backendvorrichtung selbst auf einer zweiten Ebene verteilt bzw. parallelisiert werden.
-
Ziel der Aufteilung kann variieren und konfigurierbar sein:
- 1. Um die Prozessiereinrichtung des Fahrerassistenzsystems im Fahrzeug nicht zu überlasten. Besonders hoher Verkehrsaufkommen und das Fahrzeug benötigt mehr Rechenressourcen, um den Echtzeitanforderungen gerecht zu werden.
- 2. Wenig Energie im Fahrzeug zu verbrauchen, so dass die Laufleistung des Fahrzeugs hoch oder erhöht ist.
- 3. Wiederverwendung bereits vorhandener Berechnungsergebnisse aus der Backendvorrichtung, wo sie verfügbar sein können.
- 4. Beschleunigung der Berechnungen durch Parallelisieren.
- 5. Aufgrund der Komplexität großer Datenmengen für spezielle automatisierte Fahrdienste.
-
Damit können Kraftfahrzeuge automatisierte Fahrdienste umsetzen. Zum Beispiel würde ein Kraftfahrzeug mehr Rechenressourcen/Algorithmen aus der Backendvorrichtung erhalten. Es würde im Straßenverkehr schneller gefahren werden können als ein Kraftfahrzeug, das nur bord-eigene Rechenressourcen verwendet..
-
Eine Anforderung oder Aufforderung für die Aufteilung kann vom Fahrzeug oder der Backendvorrichtung oder von beiden ausgelöst werden.
-
Die Aufteilung einschließlich der Zeitplanung kann für Fahrzeuge, Modelle und individuelle automatische Fahrdienste konfiguriert werden.
-
Eine Ausführungsform sieht vor, dass für den Fall, dass das Fahrerassistenzsystem eine Überlastung signalisiert, durch die Backendvorrichtung zumindest ein Führungsbefehl an das Kraftfahrzeug ausgesendet wird und mittels des zumindest einen Führungsbefehls das überlastete Kraftfahrzeug an einen sicheren Standort geführt wird, beispielsweise an einen Straßenrand. Das Fahrerassistenzsystem muss dies dabei nicht selbst bewältigen können, sondern die Backendvorrichtung erteilt den dazu nötigen zumindest einen Führungsbefehl, also beispielsweise den jeweiligen Führungsbefehl für eine Längsführung und/oder Querführung. Eine Überlastung kann beispielsweise dadurch erkannt werden, dass das Fahrerassistenzsystem nicht mehr innerhalb der maximalen Reaktionszeit solche Überwachungsaktivitäten durchführen kann, die aber eine vorbestimmte Priorität aufweisen. Wenn das Fahrerassistenzsystem selbst diese Überwachungsaktivitäten nicht durchführen kann, ist es überlastet. Ein zusätzlich oder alternativ dazu ausgewertetes Maß für die Überlastung kann beispielsweise eine Auslastung der Prozessoreinrichtung des Fahrerassistenzsystems sein, beispielsweise eine mittlere Auslastung. Liegt diese über einem Schwellenwert, so kann eine Überlastung signalisiert werden. Zusätzlich oder alternativ zum Aussenden eines Führungsbefehls an das überlastete Kraftfahrzeug selbst sieht eine Ausführungsform vor, dass für den Fall, dass das Fahrerassistenzsystem eine Überlastung signalisiert, zumindest ein Ausweichbefehl zum Umfahren des überlasteten Kraftfahrzeugs an zumindest ein anderes Kraftfahrzeug in der Umgebung ausgesendet wird und mittels des zumindest einen Ausweichbefehls dadurch eine verkehrsfreie Zone um das überlastete Kraftfahrzeug geschaffen wird. Mit anderen Worten wird eine Komplexität oder Verkehrsdichte der Umgebung des Kraftfahrzeugs reduziert, weil die anderen Kraftfahrzeuge sich von dem überlasteten Kraftfahrzeug fern halten, indem sie dieses umfahren. Dann kann das überlastete Kraftfahrzeug die dann noch verbleibenden Überwachungsaktivitäten ohne Überlastung durchführen.
-
Die Überlastung ist aber nur eine mögliche Situation, in welcher die beschriebene Aufteilung der Prozessierschritte erfolgen kann. Eine Anforderung oder Aufforderung zur Verlagerung oder Aufteilung der Prozessierschritte kann allgemein vom Kraftfahrzeug und/oder von der Backendeinrichtung ausgehen, wie dies bereits beschrieben wurde.
-
Eine Ausführungsform sieht vor, dass die Überlastung durch das Fahrerassistenzsystem daran erkannt wird, dass Überwachungsaktivitäten, deren Priorität größer als eine vorbestimmte Mindestpriorität ist, nicht mehr mit Echtzeitfähigkeit durchgeführt werden.
-
Eine Ausführungsform sieht vor, dass die Backendvorrichtung beim Ermitteln der Routenempfehlung eine Deep-Learning-Einrichtung (Methode des maschinellen Lernens mit Tiefenlernen) und/oder eine Predictive-Analytics-Einrichtung für eine globale Verkehrsoptimierung betreibt. Die Routenempfehlung wird also nicht einfach nur in Reaktion auf bereits vorhandene Verkehrshindernisse hin ermittelt, sondern durch Ermitteln einer Routenempfehlung für das Kraftfahrzeug und zusätzlich weiterer Routenempfehlungen für andere Kraftfahrzeuge wird insgesamt eine globale Verkehrsoptimierung erreicht. Mit anderen Worten wird der Verkehr beispielsweise gleichmäßig oder gemäß einem vorbestimmten Verteilungskriterium auf die zur Verfügung stehenden Straßen oder Fahrwege aufgeteilt, um hierdurch beispielsweise eine Gesamtwartezeit oder Gesamtfahrzeit aller Kraftfahrzeuge zu ihrem jeweiligen Fahrziel zu minimieren. Für die Backendvorrichtung hat sich insbesondere ein tiefes bestärkendes Lernen (deep reinforcement learning) als vorteilhaft erwiesen. Zusätzlich oder alternativ dazu kann auch ein verteiltes maschinelles Lernen (distributed machine learining) vorgesehen sein, bei welchem die Prozessierschritte des maschinellen Lernens auf mehrere unterschiedliche Computer aufgeteilt werden. Die Computer können auch an verschiedenen Standorten stehen. Die Backendvorrichtung kann somit optimiert werden und/oder es können Ergebnisse der Prozessierschritte wiederverwendet werden (z.B. für ein anderes Fahrerassistenzsystem).
-
Somit kann es also zwei Ebenen der Aufteilung der Prozessierschritte geben: einmal zwischen dem Fahrerassistenzsystem und der Backendvorrichtung und zum anderen innerhalb der Backendvorrichutng.
-
Gemäß einer Ausführungsform empfängt die Backendvorrichtung für die Verkehrsoptimierung auch Fahrzeug-Telematikdaten und/oder Fahrzeug-Diagnosedaten mehrerer Kraftfahrzeuge und/oder Daten von zumindest einer weiteren Backendvorrichtung für Auslastungsdaten von städtischen Einrichtungen (zum Beispiel Parkplätze) und/oder Energiedaten (von Ladestationen beispielsweise) und/oder Wetterdaten aus zumindest einer anderen Backendvorrichtung. Die bisher beschriebene Backendvorrichtung für das Fahrerassistenzsystem kann somit integriert sein in ein Netzwerk aus mehreren Backendvorrichtungen. Die anderen Backendvorrichtungen können somit als Datenquellen (Content Provider) dienen. Z.B. kann somit enie Vernetzung mit einer sogenannten Smart-City erreicht werden. Bei der Smart-City-Technology wird eine städtische Umgebung mit Sensoren versehen, die sämtliche erfassten Daten in einer Datencloud (Internet) verfügbar machen. So entsteht eine permanente Interaktion zwischen den Komponenten der städtischen Umgebung und der sie umgebenden Technologie. Zusätzlich oder alternativ dazu kann eine Vernetzung mit einem loT (Internet of Things) vorgesehen sein, um Sensordaten, insbesondere Echtzeit-Sensordaten, für die Backendvorrichtung verfügbar zu machen. Werden die besagten Daten bei der Verkehrsoptimierung berücksichtigt, so kann auch auf die genannten weiteren Randbedingungen (verfügbare Parkplätze und/oder Ladestationen und/oder Wetterereignisse) eingegangen werden.
-
Solche Lösungen sind besonders umweltfreundlich, denn sie optimieren den Verkehrsfluss global innerhalb einer ganzen Stadt.
-
Um das erfindungsgemäße Verfahren durchzuführen, ist ein Zusammenspiel aus dem besagten Kraftfahrzeug mit seinem Fahrerassistenzsystem einerseits und einer Backendvorrichtung andererseits vorgesehen. Entsprechend sind durch die Erfindung auch ein System umfassend die Backendvorrichtung und zumindest ein Fahrerassistenzsystem bereitgestellt. Mehrere Fahrerassistenzsysteme können vorgesehen sein, wenn mehr als ein Kraftfahrzeug (mit jeweils einem Fahrerassistenzsystem pro Kraftfahrzeug) in der beschriebenen Weise davor geschützt sein sollen, dass die Echtzeitfähigkeit des Fahrerassistenzsystems abhandenkommt. Das System ist dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Das Fahrerassistenzsystem kann jeweils beispielsweise auf der Grundlage eines Steuergeräts für das jeweilige Kraftfahrzeug oder eines Verbunds aus Steuergeräten bereitgestellt sein. Die Backendvorrichtung kann in der beschriebenen Weise realisiert sein.
-
Das Kraftfahrzeug, welches das Fahrerassistenzsystem aufweisen kann, ist insbesondere als Kraftwagen, bevorzugt als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur:
- Fig. eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
Die Figur zeigt ein System 10, von dem ein Kraftfahrzeug 11 und eine Backendvorrichtung 12 jeweils einen Bestandteil darstellen können. Das Kraftfahrzeug 11 kann ein Fahrerassistenzsystem 13 aufweisen, durch welches das Kraftfahrzeug 11 autonom oder teilautonom geführt werden kann. Beim autonomen Führen des Kraftfahrzeugs 11 führt das Fahrerassistenzsystem 13 sowohl eine Längsführung als auch eine Querführung des Kraftfahrzeugs 11 durch. Beim teilautonomen Führen wird durch das Fahrerassistenzsystem 13 die Längsführung oder die Querführung durchgeführt. Der Fahrer führt dann die verbleibende Fahraufgabe durch. Das Fahrerassistenzsystem 13 kann beispielsweise auf der Grundlage eines Steuergeräts oder eines Verbunds aus mehreren Steuergeräten des Kraftfahrzeugs 11 gebildet sein. Die Backendvorrichtung 12 kann beispielsweise als eine Servervorrichtung des Internets 14 ausgestaltet sein. Zwischen dem Fahrerassistenzsystem 13 und der Backendvorrichtung 12 kann eine Kommunikationsverbindung 15 bereitgestellt sein, die eine Internetverbindung und/oder eine Funkverbindung 16 umfassen kann. Die Funkverbindung 16 kann beispielsweise zwischen einer Kommunikationseinrichtung 17 des Kraftfahrzeugs 11, beispielsweise einem WLAN-Funkmodul (WLAN - Wireless Local Area Network) und/oder einem Mobilfunkmodul einerseits und einer Kommunikationseinrichtung 18 andererseits, beispielsweise einem WLAN-Router und/oder einem Mobilfunknetz, bereitgestellt sein.
-
Das Kraftfahrzeug 11 kann eine Erfassungseinrichtung 19 aufweisen, mittels welcher das Kraftfahrzeug 11 Umgebungsdaten 20 erzeugen kann, die eine Umgebung 21 des Kraftfahrzeugs 11 beschreiben können. Beispielsweise kann durch die Umgebungsdaten 20 zumindest ein Verkehrsobjekt 22, beispielsweise ein anderes Kraftfahrzeug und/oder ein Fußgänger, durch die Umgebungsdaten 20 beschrieben sein. Während das Kraftfahrzeug 11 auf einer Straße 23 durch die Umgebung 21 fahren kann, kann mittels der Erfassungseinrichtung 19 das zumindest eine Verkehrsobjekt 22 erfasst werden. Die Umgebungsdaten 20 können dem Fahrerassistenzsystem 13 bereitgestellt werden.
-
Das Fahrerassistenzsystem 13 kann nun mittels einer Entscheidungseinrichtung 24 anhand der Umgebungsdaten 20 Fahrmanöver ermitteln, welche dazu eingerichtet sind, das Kraftfahrzeug 11 durch das Fahrerassistenzsystem 13 auf der Straße 23 unfallfrei an dem zumindest einen Verkehrsobjekt 22 vorbei zu führen und/oder im Straßenverkehr der Umgebung 21 unfallfrei zu fahren. Hierdurch kann das Fahrerassistenzsystem 13 das Kraftfahrzeug 11 zu einem vorbestimmten Fahrziel 25 führen.
-
Dazu muss das Fahrerassistenzsystem 13 aber das zumindest eine Verkehrsobjekt 22 überwachen, was mittels der Umgebungsdaten 20 durch die Entscheidungseinrichtung 24 erfolgt, die eine jeweilige Überwachungsaktivität 26 für jeweils ein Verkehrsobjekt 22 durchführen kann. Die Überwachungsaktivität 26 kann vorsehen, dass ermittelt wird, wo sich das jeweilige Verkehrsobjekt 22 aktuell befindet und/oder in welche Bewegungsrichtung es sich bewegen wird und/oder welchen Zustand es innerhalb eines zukünftigen Zeitintervalls aufweisen wird (beispielsweise bei einer Verkehrsampel deren Schaltverhalten). Daraufhin kann dann entschieden werden, welches Fahrmanöver das Kraftfahrzeug 11 als nächstes durchführen soll. Allerdings kann bei entsprechend vielen Verkehrsobjekten 22 die Anzahl der Überwachungsaktivitäten 26 derart groß werden, dass das Fahrerassistenzsystem 13 mit seiner Prozessoreinrichtung diese Überwachungsaktivitäten 26 nicht alle vollständig innerhalb einer vorbestimmten Reaktionszeit durchführen kann und damit eine vorgegebene Echtzeitbedingung nicht mehr einhalten kann, also nicht echtzeitfähig bleiben kann.
-
Um die Echtzeitfähigkeit dennoch sicherzustellen, kann eine Prädiktionseinrichtung 27 beispielsweise anhand der Umgebungsdaten 20 eine Aktivitätsprädiktion 28 von dem umgebenden zumindest einen Verkehrsobjekt 22 durchführen und in Abhängigkeit von der Aktivitätsprädiktion eine Priorisierung 29 für die Überwachungsaktivitäten 26 festlegen.
-
Zusätzlich kann die Backendvorrichtung 12 eine Verkehrsprädiktion 30 durchführen, welche angibt, wie sich der Verkehrsfluss in der Umgebung 21 entwickeln wird. Das Fahrerassistenzsystem 13 oder allgemein das Kraftfahrzeug 11 kann dazu die Umgebungsdaten 20 auch an die Backendvorrichtung 12 übermitteln. Anhand der Verkehrsprädiktion 30 kann durch die Backendvorrichtung 12 eine Routenempfehlung 31 über die Kommunikationsverbindung 15 dem Fahrerassistenzsystem 13 bereitgestellt werden. Anhand der Routenempfehlung 31 kann durch die Entscheidungseinrichtung 24 eine Route zum Fahrziel 25 geplant werden.
-
Die Entscheidungseinrichtung 24 kann nun anhand der Priorisierung 29 die Überwachungsaktivitäten 26, von denen jede jeweils einem Verkehrsobjekt 22 zugeordnet sein kann, auf der Fahrt der geplanten Route in der Reihenfolge ihrer Priorität durchführen: und zum anderen hierbei eine Reihenfolge für die Überwachungsaktivitäten 26 ermitteln.
-
Hierbei kann vorgesehen sein, dass die Prädiktionseinrichtung 27 und/oder die Entscheidungseinrichtung 24 auf der Grundlage einer Machine-Learning-Methode, beispielsweise eines künstlichen neuronalen Netzwerks, und/oder einer Predictive-Analytics-Methode realisiert wird. Um die Prozessierung der notwendigen Schritte dieser Methoden zu ermöglichen, kann vorgesehen sein, dass die Machine-Learning-Methode und/oder die Predictive-Analytics-Methode als Bestandteil einer Hardwareimplementierung 32, beispielsweise eines FPGA, und/oder als Bestandteil eines Betriebssystems 33 und/oder einer Middleware realisiert ist.
-
Zusätzlich oder alternativ können maschinelle Lernberechnungen, d.h. die Prozessierschritte für maschinelles Lernen, die für den Betrieb der Fahrerassistenzeinrichtung notwendig sein können, zwischen dem Fahrerassistenzsystem und der Backendvorrichtung aufgeteilt werden. Dieses Aufteilen kann in der beschriebenen Weise dynamisch und/oder nach den genannten Kriterium erfolgen. Darüber hinaus können die dort auszuführenden Lernberechnungen in der Backendvorrichtung selbst auf einer zweiten Ebene verteilt bzw. parallelisiert werden, wie dies bereits beschrieben wurde..
-
Die Backendvorrichtung 12 kann zudem beim Ermitteln der Routenempfehlung 31 auch dafür sorgen, dass durch die Routenempfehlung und/oder weitere Routenempfehlungen für andere Kraftfahrzeuge insgesamt eine Verkehrsoptimierung 34 für die Umgebung 21 durchgeführt wird, sodass ein Verkehrsfluss oder Bewegungen von mehreren Kraftfahrzeugen koordiniert werden, um beispielsweise eine Gesamtreisezeit der koordinierten Kraftfahrzeuge zu ihrem jeweiligen Fahrziel 25 zu minimieren. Hierzu kann eine Deep-Learning-Einrichtung 35 und/oder eine Predictive-Analytics-Einrichtung in der Backendvorrichtung 12 betrieben werden.
-
Des Weiteren kann z.B. bei der Verkehrsoptimierung 34 auch zumindest eine weitere Backendvorrichtung 36 und/oder ein Internet of Things (IoT) genutzt werden. Die zumindest eine weitere Backendvorrichtung 36 und/oder das Internet of Things kann z.b. Auslastungsdaten von städtischen Einrichtungen und/oder Energiedaten und/oder Wetterdaten 37 für die Backendvorrichtung 12 bereitstellen. Somit kann die Backendvorrichtung 12 in ein Netzwerk aus mehreren Backendvorrichtungen 12, 36 und/oder in ein Internet of Things eingebettet sein.
-
Insgesamt kann hierdurch für das Fahrerassistenzsystem 13 eine Performance gesteigert werden, sodass Entscheidungen über notwendige Fahrmanöver für das Kraftfahrzeug 11 in der Umgebung 21 mit Echtzeitfähigkeit ermittelt werden können.
-
Dabei können die Überwachungsaktivitäten 26 durchgeführt oder beibehalten werden, die Ampelsignale und/oder Verkehrsschilder und/oder Straßenbedingungen und/oder Passaten und/oder Tiere und/oder die Wettersituation und/oder ein Rettungsfahrzeug und/oder ein Polizeifahrzeug berücksichtigen können.
-
Für das Fahrerassistenzsystem 13 können somit drei Ebenen der Verbesserung oder Beschleunigung für die Entscheidungen vorgesehen werden.
- 1. Innerhalb des Kraftfahrzeugs 11 werden mittels der Prädiktionseinrichtung 27 die Aktivitätsprädiktion 28 des umgebenden Straßenverkehrs, das heißt des zumindest einen Verkehrsobjekts 22, mittels maschinellen Lernens und/oder einer prädiktiven Analyse durchgeführt. Basierend auf dieser Aktivitätsprädiktion 28 kann die Priorisierung 29 der Überwachungsaktivitäten 26 erfolgen für das Fahrerassistenzsystem 13, sodass die Überwachungsaktivitäten 26 für die Längsführung und/oder Querführung durch das Fahrerassistenzsystem 13 geordnet sind.
- 2. Das Fahrerassistenzsystem 13 kann nun automatisiert Entscheidungen beispielsweise auf der Grundlage einer Methode des maschinellen Lernens anhand der priorisierten Überwachungsaktivitäten 26 durchführen.
- 3. Die Backendvorrichtung 12 kann mittels der Verkehrsprädiktion 30 eine Verkehrsoptimierung 34 durchführen und daraufhin eine Routenempfehlung 31 und optional auch Fahrempfehlungen und/oder Fahrbefehle, zu dem Kraftfahrzeug 11 übermitteln oder aussenden, sodass insgesamt der Verkehr in der Umgebung global optimiert ist und dabei die Sicherheit des Kraftfahrzeugs 11 gewährleistet werden kann.
-
Um in dem Fahrerassistenzsystem 13 hochperformante Entscheidungen für Fahrmanöver zu ermöglichen, ist bevorzugt eine primäre Machine-Learning-Einrichtung, beispielsweise ein künstliches neuronales Netz, in dem Fahrerassistenzsystem 13 auf Applikationsebene für die Prädiktionseinrichtung 27 und/oder die Entscheidungseinrichtung 24 nutzt. Eine sekundäre Machine-Learning-Einheit kann als Hardwareimplementierung 32 (beispielsweise mittels eines FPGA) oder im Betriebssystem 33 oder auf Middleware-Ebene bereitgestellt sein, sodass insbesondere die Entscheidungseinrichtung 24 beim Ermitteln der Entscheidungen unterstützt werden kann.
-
So können in dem Kraftfahrzeug 11 Entscheidungen für Fahrmanöver mit Echtzeitfähigkeit ermittelt werden, ohne hierdurch das Fahrerassistenzsystem 13 zu überlasten, selbst wenn es beispielsweise durch eine komplexe Umgebung 21, beispielsweise im Berufsverkehr oder bei einer Fahrt durch eine Fahrzeuggruppe fährt.
-
Der Straßenverkehr ist global optimiert, sodass auch Staus vermieden werden können. Die koordinierten Kraftfahrzeuge und das Ökosystem werden hierdurch energie- und zeiteffizient.
-
Da das Kraftfahrzeug 11 auch teilweise durch die Backendvorrichtung 12 geführt werden kann, kann es bei einer Überlastung des Fahrerassistenzsystems 13 automatisiert durch die Backendvorrichtung 12 mittels zumindest eines Führungsbefehls 38 aus dem Straßenverkehr separiert oder heraus manövriert werden an einen sicheren Platz oder in einen sicheren Zustand und es können dann Rettungsmaßnahmen schnell und effizient eingeleitet werden.
-
Automatisiertes Fahren ist auch menschen- und umweltfreundlich.
-
Zudem ergeben sich neue Möglichkeiten für Geschäftsmodelle und/oder das Eingliedern von Kraftfahrzeugen in sogenannte Smart-City-Konzepte.
-
Das System 10 basiert auf den folgenden zusätzlichen Elementen für ein Kraftfahrzeug und eine Backendvorrichtung. Das Steuergerät für ein Fahrerassistenzsystem 13 (das heißt für einen Autopiloten oder eine teilautonome Fahrunterstützung) ist mit einer Machine-Learning-Einrichtung ausgestattet, das heißt es wird eine Methode des maschinellen Lernens oder eine Machine-Learning-Methode durchgeführt. In der Backendvorrichtung kann eine Deep-Learning-Methode und eine Predictive-Analytics-Methode mittels einer entsprechenden Einrichtung bereitgestellt werden, um den Straßenverkehr global zu optimieren, beispielsweise innerhalb einer Smart-City, und um die Routenempfehlung 31 oder Fahrempfehlung bereitzustellen. Hierbei können Fahrzeug-Telematik-Daten und/oder Diagnosedaten, Verkehrsdaten und Daten von weiteren Backendvorrichtungen 36 berücksichtigt werden, um beispielsweise von einer Backendvorrichtung einer Smart-City, eines elektrischen Verteilungsnetzes (Power Grit) und/oder eines Wetter-Vorhersagesystems in der Backendvorrichtung 12 zu nutzen.
-
Die Backendvorrichtung 12 kann des Weiteren auch das Fahrerassistenzsystem 13 beim Prozessieren von Daten unterstützen. Es können also Prozessierschritte für das Fahrerassistenzsystem 13 auch ausgelagert werden in die Backendvorrichtung 12. Hierzu kann auf die Technologie des sogenannten Edge-Computing oder Fog-Computing zurückgegriffen werden. So kann beispielsweise ein Training eines künstlichen neuronalen Netzwerks des Fahrerassistenzsystems 13 auch durch die Backendvorrichtung 12 ganz oder teilweise durchgeführt werden.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine hochperformante Entscheidungsfindung für automatisiertes Fahren / eine Fahrerassistenz bereitgestellt werden kann.
