-
Die Erfindung betrifft ein Verfahren und ein System zur Steuerung eines Fahrzeugs. Insbesondere betrifft die Erfindung ein Verfahren und ein System zur Steuerung eines Fahrzeugs, bei dem die Verkehrssicherheit unter Verwendung von Modellen zur Beschreibung des Verhaltens von verletzlichen Verkehrsteilnehmern verbessert werden kann.
-
Stand der Technik
-
Es zeichnet sich ab, dass aufgrund der voranschreitenden Automatisierung von Fahrzeugen zukünftig im erhöhten Maße Technologien zur Analyse des Verhaltens anderer Verkehrsteilnehmer zum Einsatz kommen werden. Hierbei werden Computer immer mehr Aufgaben übernehmen, die bisher nur von einem Menschen (hier: dem Fahrer) erledigt werden können. So stellt insbesondere die Analyse des Verhaltens von Fußgängern komplexe Herausforderungen dar, weil diese beispielsweise in der Lage sind, sehr schnell ihre Bewegungsrichtung und Geschwindigkeit zu ändern.
-
Die Druckschrift
DE 10 2013 202 463 A beschreibt ein Verfahren zur Ermittlung eines Bewegungsmodells eines verletzlichen Verkehrsteilnehmers. Dabei werden Bewegungseinflusskenngrößen ermittelt, die repräsentativ für eine vorgegebenen Situation und/oder eine vorgegebene Vorrichtung und/oder einen vorgegebenen signifikanten Punkt sind und die ferner einen Einfluss auf eine Bewegung des detektierten verletzlichen Verkehrsteilnehmers haben können. Abhängig von den ermittelten Bewegungseinflusskenngrößen und der ermittelten Position des verletzlichen Verkehrsteilnehmers wird ein Bewegungsmodell des verletzlichen Verkehrsteilnehmers ermittelt, mittels dessen eine Position des verletzlichen Verkehrsteilnehmers vorhersagbar ist.
-
Es besteht der Bedarf, die Verkehrssicherheit in Hinsicht auf das Verhalten von verletzlichen Verkehrsteilnehmern wie Fußgängern weiterhin zu steigern und Verfahren und Systeme zur verbesserten Vorhersage des Bewegungsverhaltens der verletzlichen Verkehrsteilnehmer bereitzustellen.
-
Offenbarung der Erfindung
-
Es werden ein Verfahren zur Steuerung eines Fahrzeugs nach dem unabhängigen Anspruch 1 und ein System nach dem Anspruch 12 bereitgestellt.
-
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zur Steuern eines Fahrzeugs geschaffen, bei dem, wenn sich das Fahrzeug einem vorgegebenen Ort nähert, ein ortsbezogenes Modell, das ein typisches Verhalten eines verletzlichen Verkehrsteilnehmers an dem vorgegebenen Ort abbildet, an eine Steuerungseinheit des Fahrzeugs bereitgestellt wird. Ferner wird aus Messwerten einer Umfelderfassung bezüglich des verletzlichen Verkehrsteilnehmers ein Kontext bestimmt, in dem sich der verletzliche Verkehrsteilnehmer momentan befindet. Mit dem ortsbezogenen Modell wird unter Verwendung des bestimmten Kontextes eine Vorhersage des Verhaltens des verletzlichen Verkehrsteilnehmers ermittelt, und durch die Steuerungseinheit des Fahrzeugs wird eine Reaktion auf die ermittelte Vorhersage bestimmt.
-
Durch das bereitgestellte Verfahren kann vorteilhaft eine Vorhersagegenauigkeit bezüglich eines Verhaltens eines verletzlichen Verkehrsteilnehmers erhöht werden. Insbesondere kann eine Prognose eines Bewegungsverhaltens und des Verlaufs einer Bewegungstrajektorie des verletzlichen Verkehrsteilnehmers verbessert werden.
-
Dies wird insbesondere durch die Bereitstellung des ortsbezogenen Modells und die Verwendung des jeweiligen Kontextes ermöglicht. So wird verfahrensgemäß ein Modell verwendet, das speziell für den speziellen, bestimmen Ort bestimmt ist. Dadurch, dass das Modell quasi nur an diesem Ort anwendbar ist beziehungsweise lediglich an diesem einem bestimmten Ort gilt und entsprechend zur Verfügung gestellt wird, können insbesondere örtliche Besonderheiten wie Zäune, Mauern, Verkehrsaufkommen usw. deutlich besser abgebildet werden. Die jeweilige individuelle Ausgangssituation kann durch den jeweiligen Kontext berücksichtigt werden, der insbesondere als Parameter in Form eines Vektors in eine jeweilige Auswertung beziehungsweise Vorhersage einfließen kann. Es wird somit ermöglicht, eine größtmögliche Vorbereitung zur effizienten Prädiktion an dem bestimmten Ort zu treffen, und ein vorbereitetes Modell zu verwenden, wobei der Kontext sich aus beliebigen Messungen zusammensetzen kann, die insbesondere vom jeweiligen Modell abhängen können. Der Rechenaufwand zur Laufzeit bei Durchfahrt an dem Ort kann minimiert beziehungsweise besser ausgenutzt werden.
-
Mit dem Begriff „verletzlicher Verkehrsteilnehmer“ wird beispielsweise ein Fußgänger bezeichnet. Das Verfahren ist aber nicht auf Fußgänger beschränkt. Vielmehr ist das Verfahren auf beliebige verletzliche Verkehrsteilnehmer anwendbar, wie beispielsweise Fahrräder und sonstige leicht- oder nichtmotorisierte Fahrzeuge, oder auch auf Tiere, wie beispielsweise Hunde.
-
Durch das Verfahren kann insbesondere ermöglicht werden, das typische Verhalten von Fußgängern so genau abzubilden, dass Prädiktionen mit einem im Vergleich zum Stand der Technik deutlich erhöhten Zeithorizont von mehreren Sekunden durchgeführt werden können, gegenüber bisherigen wenige hundert Millisekunden für zuverlässige Aussagen über das Fußgängerverhalten.
-
Das Verfahren kann besonders vorteilhaft bei einer Straßenkreuzung oder einem Fußgängerüberweg angewandt werden. Der Fußgängerüberweg kann dabei beispielsweise durch einen Zebrastreifen oder eine Verkehrsinsel gekennzeichnet sein. Verfahrensgemäß kann somit die Verkehrssicherheit insbesondere an diesen Orten erhöht werden, jedoch ist das Verfahren nicht auf solche Orte beschränkt.
-
Nach einer Ausführungsform wird das ortsbezogene Modell in Antwort auf eine Anfrage des Fahrzeugs hin von einem Server an das Fahrzeug übermittelt. Dazu nimmt das Fahrzeug mit dem Server Kontakt auf. Jedoch ist nach einer Variante der Ausführungsform auch denkbar, dass der Server beziehungsweise eine zugehörige Kommunikationseinheit eine Übertragung von bereitstehenden Modellen an das Fahrzeug initiiert.
-
Auf diese Weise können aktuelle, ortsbezogenen Bewegungs- und Verhaltensmodelle allen nahegelegenen beziehungsweise interessierten Fahrzeugen zur Verfügung gestellt werden. Insbesondere können erlernte ortsbezogene Modelle auf dem Server abgelegt werden und später abgerufen, evaluiert, und/oder erweitert oder ersetzt werden. Dabei können Modelle, die einen bestimmten Ort betreffen, spezialisiert lokal eingesetzt werden. Dies betrifft insbesondere Modelle, die durch einen vergleichsweise hohen Rechenaufwand gelernt wurden oder besonders fein oder langwierig an den betrachteten Ort angepasst wurden und nun verfahrensgemäß vorbereitet zur Verfügung stehen. Mit dem Verfahren kann im Vergleich zu bisherigen Fußgängerprädiktionen mit den bisherigen sehr einfachen Modellen, die nur einen niedrigen Zeithorizont ermöglichen, eine hohe Verbesserung und Zunahme der Genauigkeit erreicht werden.
-
Ferner können die Modelle zusätzlich oder alternativ auch in dem Fahrzeug gespeichert werden beziehungsweise zur Wiederverwendung beispielsweise bei einer wiederholten Durchfahrt der Kreuzung bereitstehen. In einem solchen Fall kann bei Annäherung oder Vorbeifahrt an dem vorgegebenen Ort eine Synchronisierung zwischen Server und Fahrzeug durchgeführt werden.
-
Bei dem Server kann es sich um eine lokale Einheit vor Ort handeln, mit der beispielsweise über WLAN kommuniziert werden kann, oder um einen zentralen Server. Der Server kann somit als eine lokale Einheit an dem vorgegebenen, speziellen Ort installiert sein. Dabei kann die Kommunikation zwischen Server und Fahrzeug beispielsweise mittels WLAN oder einer Car2X Technologie erfolgen. Die Car2X-Kommunikation ermöglicht im Allgemeinen den Austausch beliebiger Daten zwischen einem Fahrzeug und anderen Objekten, wie andere Fahrzeuge, Server, Smartphones von Fußgängern usw. Alternativ oder zusätzlich kann ein zentraler Server vorhanden sein, der beispielsweise über Funk, beispielsweise über LTE, erreicht werden kann. Dabei kann eine lokale Einheit beispielsweise ein jeweiliges Modell für einen Fußgängerüberweg oder eine Kreuzung aufweisen, wohingegen ein zentraler Server oder ein entsprechendes Netzwerk beispielsweise die zugehörigen Daten für eine ganze Stadt verwalten kann.
-
Die Umfelderfassung kann durch das Fahrzeug und/oder durch vor Ort installierte Sensoren vorgenommen werden. Dies kann beispielsweise durch Stereokameras, Laserscanner, Infrarotkameras, Ultraschallsensoren, Radar, Lidar, usw. erfolgen. Ferner kann die lokale Einheit mit eigenen Sensoren, wie beispielsweise stationären Kameras, ausgestattet sein. Es kann ferner auch das gesamte Umfeld des Fahrzeugs oder das gesamte Verkehrsszenario vor Ort detektiert werden.
-
Bei Durchführung der Umfelderfassung durch die lokale Einheit können Fahrzeuge auch Informationen über Teilnehmer erhalten, die sie selbst nicht sehen können. Dadurch können beispielsweise Verdeckungen oder fehlende oder defekte Sensoren kompensiert werden. Auch Fahrzeuge, die über keine eigenen Sensoren verfügen, können von diesen Informationen profitieren.
-
Die Ermittlung der Vorhersage kann durch die Steuerungseinheit des Fahrzeugs durchgeführt werden.
-
Alternativ oder unterstützend kann die Ermittlung auch durch den Server vorgenommen werden. Dabei kann beispielsweise die komplette Verhaltensanalyse durch den Server übernommen werden.
-
Auf diese Weise können insbesondere aufwändige Berechnungen nur einmal auf dem Server ausgeführt werden, so dass der jeweilige fahrzeuginterne Computer weniger Rechenleistung benötigt. Dazu kann das Fahrzeug beispielsweise bei Annäherung an einen Überweg/eine Kreuzung alle beobachteten Verkehrsteilnehmer periodisch an den Server melden. Der Server kann dann zum Beispiel eine Vorhersage ermitteln und an das Fahrzeug zurückmelden.
-
Ferner können durch das Modell wahrscheinliche Bewegungstrajektorien beschrieben werden, wobei basierend auf den bestimmten Kontext eine wahrscheinlichste Bewegungstrajektorie bestimmt wird.
-
Nach einer Ausführungsform ist die Steuerungseinheitseinheit mit einem Fahrerassistenzsystem des Fahrzeugs verbunden.
-
Nach einer anderen bevorzugten Ausführungsform ist das Fahrzeug ein automatisch fahrendes Fahrzeug.
-
Somit kann verfahrensgemäß vor allem Fahrerassistenzsystemen und automatisierten Fahrzeugen eine ideale Entscheidungsfindung an dem bestimmten Ort ermöglicht werden.
-
Zusammenfassung kann durch das Verfahren verstärkt dem Umstand Rechnung getragen werden, dass das Verhalten von Fußgängern stark von den lokalen Begebenheiten abhängt.
-
Das Verfahren kann auch vorteilhaft durch ein entsprechendes Lernverfahren erweitert oder unterstützt werden, und es kann insbesondere dazu angewandt werden, aktuelle, ortsbezogene Bewegungs- und Verhaltensmodelle für Verkehrsteilnehmer zu erlernen. Insbesondere kann ermöglicht werden, durch Anwendung von Lernverfahren das Modell ständig zu erweitern und so jedwede Änderung, die beispielsweise durch Zu/Abnahme im lokalen Verkehrsauskommen bedingt ist, im Verhalten der verletzlichen Verkehrsteilnehmer abzubilden.
-
Nach einer Ausführungsform werden bei der Umfelderfassung laufend Bewegungstrajektorien aller Verkehrsteilnehmer in dem jeweiligen lokalen Verkehrsszenario erfasst.
-
Bevorzugt werden dabei die erfassten Bewegungstrajektorien nach Verlassen des Sichtbereichs der Umfelderfassung jeweils automatisch gekennzeichnet. Mit anderen Worten, es erfolgt ein automatisches Labeln der Trajektorien, insbesondere der Fußgängerbewegungstrajektorien. Auf diese Weise kann eine kontinuierliche Messdatensammlung zur Erzeugung geordneter Daten vorgenommen werden. Diese können als Trainings- und oder Testdaten zum Lernen und/oder für eine Kategorisierung verwendet werden.
-
Die Kennzeichnung bzw. das angebrachte Label oder die Markierung kann je nach Messung als binärer Wert gespeichert werden und beispielsweise aussagen, ob in einem erfassten Verkehrsszenario ein Fußgänger eine jeweilige Straße überquert hat oder nicht, oder ob ein Fahrzeug an einer bestimmten Haltelinie gehalten hat oder nicht. Der jeweilige Ort und der zugehörige Zeitpunkt können ebenfalls gespeichert werden. Das Labeln kann auch als eine Grundlage zum Erzeugen eines Modells dienen.
-
Ferner kann durch das Labeln für gemessene Bewegungstrajektorien eine nachträgliche Beurteilung bzw. Zuordnung zu einem regelkonformen Verhalten oder nicht-regelkonformen Verhalten geschehen und ein entsprechendes Modell gelernt werden. Die Beurteilung, ob ein nicht regelkonformes Verhalten vorliegt oder nicht, kann beispielsweise unter Berücksichtigung zugehöriger Lichtsignalstati oder nach anderen Kriterien vorgenommen werden, die während der Erfassung der Bewegungstrajektorie vorliegen.
-
Auf diese Weise kann das Verfahren vorteilhaft dazu genutzt werden, abgeschlossene Trajektorien in Abhängigkeit des jeweils aufgezeichneten Status der relevanten Lichtsignalanlage entweder als Normverhalten oder nicht-regelkonformes Verhalten einzustufen. Diese Einstufung kann nun genutzt werden, um ein automatisches Lernverfahren, welches das vorher genannte situationsspezifische Normverhalten abbildet, zu verbessern. Dazu können alle nicht-regelkonformen Trajektorien bei dem Lernen des Normverhaltens ignoriert werden.
-
Nach einer bevorzugten Weiterbildung werden parallel ein erstes und ein zweites ortsbezogenes Modell verwendet, wobei das erste ortsbezogene Modell zur präzisen Vorhersage von Bewegungstrajektorien des verletzlichen Verkehrsteilnehmers dient und das zweite ortsbezogene Modell zum Abbilden ein normgerechtes Verhalten des verletzlichen Verkehrsteilnehmers dient. Bei einer signifikanten gegenseitigen Abweichung einer Vorhersage des ersten Modells und des zweiten Modells kann ein nicht regelkonformes Verhalten durch die Steuerungseinheit des Fahrzeugs erkannt werden.
-
Dadurch kann vorteilhaft basierend auf eine Trajektorienvorhersage atypisches bzw. nicht regelkonformes oder illegales, d.h. potentiell gefährliches Verhalten des verletzlichen Verkehrsteilnehmers zuverlässig erkannt werden. Das atypische bzw. illegale Verhalten kann sich beispielsweise darin wiederspiegeln, dass ein Fußgänger trotz roter Ampel die Straße überquert oder beispielsweise die Fußgängerfurt neben den ausgewiesenen Bereichen überschreitet. Fahrerassistenzsystemen und Systemen zum automatischen Fahren wird somit insbesondere ermöglicht, ein Fußgängerfehlverhalten in ihrer Aktionsplanung besonders zu berücksichtigen und/oder einen menschlichen Fahrer vor einer potentiellen Gefahr zu warnen.
-
Die Erkennung von Verkehrsteilnehmern mit atypischem bzw. illegalem Verhalten kann mit der frühzeitigen Erkennung einer möglichen Kollisionsgefahr gleichgesetzt werden. Diese ermöglicht es beispielsweise einem Fahrerassistenzsystem, eine entsprechende Warnung zu generieren und so einen menschlichen Fahrer für diese Gefahr zu sensibilisieren.
-
Besonderer Nutzen ergibt sich für Systeme des automatischen Fahrens. Diese können auf eine mögliche Gefahrensituation beispielsweise durch angepasste Parameter reagieren. Eine mögliche Reaktion des Fahrzeugs kann beispielsweise zu einem erhöhten Sicherheitsabstand, insbesondere bezüglich des Bordsteins, oder einer defensiveren Fahrweise, wie frühzeitiges Abbremsen bei der Annäherung an einen Fußgängerüberweg, führen.
-
In einer weiteren vorteilhaften Ausführungsform erlaubt das erfindungsgemäße System auch das Erlernen von Normverhalten an einer jeden Überquerungssituation, zum Beispiel durch die Beobachtung der Trajektorien der Fußgänger und die Assoziation mit bekannten Lichtsignalstati. Dadurch kann der Datensatz nach „Normverhalten" und „nicht regelkonformen Verhalten" unterschieden und nachträglich zur Anpassung der Klassifikation- und Prädiktionsmodelle genutzt werden.
-
Nach einer Variante kann, wenn in einem momentan vorliegenden Verkehrsszenario eine Abweichung einer momentanen Bewegung eines verletzlichen Verkehrsteilnehmers in Bezug auf eine durch das Modell vorhergesagte Bewegungstrajektorie festgestellt wird, die Bewegung als nicht regelkonformes Verhalten interpretiert werden. Insbesondere kann das aktuelle Verhalten eines Fußgängers beobachtet und prädiziert werden und nachgelagert mit einer Trajektoriendatenbank bzw. einem Modell von situationsspezifischem Normverhalten abgeglichen werden. Beispielsweise kann dabei explizit ein aktueller Status aller relevanten Ampeln berücksichtigt werden. Liegen Differenzen vor, kann von einem atypischen Verhalten ausgegangen werden.
-
Daraufhin kann beispielsweise eine entsprechende Warnung an einen Fahrer und/oder ein Befehl an eine Steuereinheit eines Fahrerassistenzsystems ausgegeben werden oder ein autonomes Fahrzeug entsprechend gesteuert werden.
-
Ferner können nach einer bevorzugten Ausführungsform nach Durchfahrt des Ortes mit dem Fahrzeug Daten über eine aktuell erfasste Bewegungstrajektorie des verletzlichen Verkehrsteilnehmers an den Server übertragen werden.
-
Nach einer bevorzugten Ausführungsform werden in einem jeweiligen Verkehrsszenario fortlaufend Messungen zur Erfassung von Bewegungstrajektorien von Verkehrsteilnehmern, die dem Verkehrsszenario zugeordnet werden können, durchgeführt, wobei die erfassten Bewegungstrajektorien jeweils einem Trainingsdatensatz oder einem Testdatensatz zugeordnet werden.
-
Dadurch kann die Datengrundlage laufend erweitert und/oder aktualisiert werden, wodurch die Zuverlässigkeit der ermöglichten Vorhersagen weiterhin erhöht wird. Durch eine entsprechende Aufteilung der alten sowie der neuen Daten in Trainingsdaten und Testdaten wird jederzeit ein optimierter Trainingslauf ermöglicht.
-
Nach einer bevorzugen Ausführungsform werden in einem jeweiligen Verkehrsszenario fortlaufend Messungen zur Ermittlung von aktuellen Werten für in dem verwendeten ausgewählten Modell verwendete Merkmale und zur Erfassung von Bewegungstrajektorien von Verkehrsteilnehmern, die dem Verkehrsszenario zugeordnet werden können, durchgeführt, wobei die erfassten Bewegungstrajektorien jeweils einem Trainingsdatensatz oder einem Testdatensatz zugeordnet werden.
-
Bevorzugt wird das ortsbezogene Modell automatischen generiert, beispielsweise indem eine Zusammenarbeit einer Vielzahl von Fahrzeugen erfolgt.
-
Dazu können grundsätzlich Schritte durchgeführt werden, bei denen ein vorgegebener Merkmalssatz von Merkmalen, die zur Beschreibung eines lokalen Verkehrsszenarios an dem Ort geeignet sind, bestimmt wird, ein auszuwählender Teilsatzes des vollständigen Merkmalssatzes bestimmt wird, und das Modell mit dem ausgewählten Teilsatz gelernt wird.
-
Dadurch kann die Vorhersagegenauigkeit weiterhin erhöht werden. Dies kann beispielsweise darin begründet sein, dass aufgrund der verringerten Anzahl von Merkmalen bzw. Features, auf die das Modell basiert, eine zur Verfügung stehende Rechenleistung besser ausgenutzt wird und eine schnellere Berechnung durchgeführt werden kann, wobei die Komplexität der verwendeten Algorithmen vorteilhaft verringert ist. Es wird vorteilhaft ermöglicht, explizit nicht alle verfügbaren Informationen, sondern nur die aktuell wirklich relevanten Informationen zu verwenden. Eine Überanpassung durch die Verwendung von zu vielen Merkmalen kann vermieden werden, wodurch die Genauigkeit vergleichsweise weiterhin zunimmt. Das Verfahren ist insbesondere an beliebigen Orten im urbanen Raum anwendbar.
-
Bevorzugt wird das ortsbezogene Modell basierend auf die Umfelderfassung evaluiert, wobei insbesondere eine erfasste Bewegungstrajektorie des verletzlichen Verkehrsteilnehmers hinzugezogen werden kann. Dabei kann die Größe einer Abweichung einer aktuell erfassten Bewegung eines verletzlichen Verkehrsteilnehmers bezüglich einer auf dem ortsbezogenen Modell basierenden Vorhersage ermittelt werden.
-
Nach einer besonders vorteilhaften Ausführungsform wird ein Trainingslauf zum Anpassen des ortsbezogenen Modells durchgeführt, wenn basierend auf die Evaluierung eine Fehlerquote ermittelt wird, die einen vorbestimmten unteren Schwellenwert überschreitet. Dabei kann zur Aktualisierung der Daten eine Vielzahl von erfassten Bewegungstrajektorien verletzlicher Verkehrsteilnehmer in Trainingsdaten und Testdaten aufgeteilt werden, und der Schritt des Identifizierens eines auszuwählenden Teilsatzes mit den aktuellen Daten kann wiederholt werden.
-
Nach einer anderen Weiterbildung des Verfahrens wird zum Identifizieren des auszuwählenden Teilsatzes eine Iteration durchgeführt, indem Fahrzeuge und/oder die lokale Einheit mehrmals hintereinander vergleichende Messungen nach einem bestimmten Verfahren durchführen. Insbesondere kann dadurch eine ein Iteration durchgeführt werden, wobei in jedem Iterationsschritt ein testweiser Teilsatz bestimmt wird, bei dem eine vordefinierte Anzahl von Merkmalen entfernt wird und/oder Merkmale geändert werden. Aus dem testweisen Teilsatz wird ein vorläufiges Modell gelernt, das jeweils anhand eines vordefinierten Gütemaßes bewertet wird.
-
Dabei können zur Bestimmung des Kontextes Messungen zur Ermittlung von aktuellen Werten für die Merkmale des ausgewählten Teilsatzes in vordefinierten Zeitschritten vorgenommen werden. Ferner können auch historische Werte aus einer vordefinierten Anzahl vorheriger Zeitschritte verwendet werden.
-
Nach weiteren Aspekten der Erfindung werden ein entsprechendes System zum Durchführen des Verfahrens und ein entsprechend ausgestattetes Fahrzeug bereitgestellt,
-
Kurzbeschreibung der Zeichnungen
-
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
-
1 eine schematisches Diagramm einer Situation an einem Fußgängerüberweg, zur Veranschaulichung einer Ausführungsform der Erfindung,
-
2 eine schematisches Diagramm einer Situation an einem Fußgängerüberweg, zur Veranschaulichung einer Ausführungsform der Erfindung, wobei im Vergleich zu 1 ein zusätzliches Hindernis, das die Sicht zwischen Fahrzeug und Fußgänger erschwert, vorhanden ist,
-
3 eine schematisches Diagramm einer Situation an einem Fußgängerüberweg, zur Veranschaulichung einer Ausführungsform der Erfindung, wobei im Vergleich zu 2 eine lokale Einheit mit eigenen stationären Sensoren ausgestattet ist,
-
4 ein Ablaufdiagramm eines Verfahrens zur Steuerung eines Fahrzeugs nach einer Ausführungsform der Erfindung,
-
5 ein Blockdiagramm eines Systems zur Steuerung eines Fahrzeugs, nach einer Ausführungsform der Erfindung,
-
6 ein schematisches Diagramm einer Situation an einem Fußgängerüberweg und ein zugehöriger Systemaufbau, zur Veranschaulichung einer Ausführungsform der Erfindung, wobei ein nicht regelkonformes Verhalten eines verletzlichen Verkehrsteilnehmers berücksichtigt werden kann, und
-
7 ein Ablaufdiagramm eines Verfahrens zur Steuerung eines Fahrzeugs nach einer Ausführungsform der Erfindung.
-
Beschreibung von Ausführungsformen
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche bzw. funktionsgleiche Elemente.
-
Die 1 zeigt ein schematisches Diagramm, das eine Situation eines typischen Verkehrsszenarios an einem Fußgängerüberweg 1 darstellt, zur Veranschaulichung einer Ausführungsform der Erfindung. Der Fußgängerüberweg 1 ist durch einen Zebrastreifen gekennzeichnet. Die Umgebung/der Bereich des Fußgängerüberwegs 1 wird nach den Aspekten der Erfindung auch als vorgegebener Ort 2 bezeichnet. Wie in der 1 gezeigt wird, nähert sich ein Fahrzeug 3 dem Fußgängerüberweg 1 an. Dabei nimmt das Fahrzeug 3 Kontakt zu einem Server 4 auf und fordert die Bewegungs-/ Verhaltensmodelle 5 für Fußgänger 6 an diesem Ort 2 an. Daraufhin wird durch den Server 4 ein ortsbezogenes Modell 5 ausgewählt, das auf die Art der vorliegenden Situation an dem speziellen Ort 2 angepasst ist. Dabei kann ein gespeichertes Modell 5 auch in mehrere Teile aufgeteilt sein. Beispielsweise kann in einer Variante des erfindungsgemäßen Systems und des Verfahrens auch ein Iänderspezifisches Teilmodell vorgesehen sein, welches bereits allgemein das Verhalten in einem bestimmten Land abbildet, so dass länderspezifische Unterschiede in das Teilmodell mit einfließen. Dieses Teilmodell kann dann durch ein lokales Modell, welches insbesondere die lokalen baulichen Besonderheiten abbildet, ergänzt werden, woraus das Gesamtmodell 5 gebildet wird. Nach einer Variante der Ausführungsform können die Modelle 5 statt in dem Server 4, der direkt vor Ort als lokale Einheit 8 installiert ist, auch auf einem fernen Server (nicht gezeigt) gespeichert sein. In einer solchen Variante kann der ferne Server die Modelle 5 für eine Vielzahl von vorgegebenen Orten einer ganzen Region oder Stadt verwalten.
-
Im Allgemeinen übermittelt der Server 4 die geforderten Modelle 5 an die vorbeifahrenden interessierten Fahrzeuge. Das Modell 5 bildet dabei das typische Verhalten von Fußgängern an diesem Ort ab. Das Fußgängerverhalten kann beispielsweise durch sogenannte Annäherungstrajektorien 9 bzw. Bewegungstrajektorien 9 beschrieben werden. Somit kann ein Modell 5 eine Schar von Bewegungstrajektorien 9 beschreiben. In der gezeigten Ausführungsform beschreibt die Summe aller Annäherungstrajektorien 9 alle bisher beobachteten Wege, auf denen der Fußgängerüberweg 1 oder die Kreuzung bisher überquert wurde.
-
Dadurch, dass das spezielle ortsbezogenes Modell 5 an das Fahrzeug 3 übermittelt wird, wird dem Fahrzeug 3 ermöglicht, das Verhalten des von der Fahrzeugsensorik 10 erfassten Fußgängers 6 zu bestimmen.
-
In der 2 wird eine zu 1 ähnliche Situation dargestellt, wobei sich jedoch die wahrscheinlichste Bewegungstrajektorie 9 gegenüber der in 1 gezeigten unterscheidet, da ein Hindernis 11, beispielsweise eine Mauer, vorhanden ist.
-
Der Kontext, der in der Regel als Vektor dargestellt wird, kann aus beliebigen Messungen zusammengesetzt werden. Die Fahrzeugsensorik 10 kann beispielsweise Kameras, Laserscanner, Radar, usw. umfassen. Der Kontextvektor kann beispielsweise Messungen aufweisen über die Geschwindigkeit und Beschleunigung aller Teilnehmer, hier: die momentane Geschwindigkeit und Beschleunigung des Fahrzeugs 3 und des Fußgängers 6, den relativen Abstand zwischen Fußgänger 6 und Fahrzeug 3, den Abstand des Fußgängers 6 zum Bordstein 12, und den Abstand zum Fußgängerüberweg 1 oder zur Kreuzung für alle Teilnehmer 3, 6.
-
Je nach Modell 5 kann sich der Kontext aus anderen Messungen zusammensetzen. Beispielsweise kann der Kontext aus Messwerten für bestimmte Merkmale bzw. Features zusammengesetzt sein, auf die das jeweilige Modell 5 beruht. Dabei kann insbesondere berücksichtigt werden, dass der Fußgänger 6 die Straße 7 in einer Richtung überquert, die in der Zeichnung von oben nach unten verläuft, wobei zur Bestimmung des Kontextes ein Abstand zu dem naheliegenden Bordstein 12 ermittelt wird. Das Modell 5 nach 2 unterscheidet sich im Allgemeinen von dem Modell 5 nach 1, aufgrund des Vorhandenseins der Mauer 11.
-
In Antwort auf die Vorhersage der Bewegungstrajektorie wählt die Steuerungseinheit 13 des Fahrzeugs 2 eine passende Reaktion aus, wie beispielsweise die Einleitung eines Bremsvorgangs.
-
Nach dem Überqueren des Überwegs 1 oder der Kreuzung kann das Fahrzeug 3 optional die Trajektorien 9 aller beobachteten Fußgänger 6 an den Server 4 übermitteln.
-
Der Server 4 kann dann bei Bedarf unter Nutzung eines Lernverfahrens das Bewegungs-/ Verhaltensmodell 5 aktualisieren.
-
Das ursprüngliche Bewegungs-/ Verhaltensmodell 5 wurde mit demselben Lernverfahren aus einem gegebenen Trainingsdatensatz erstellt. Alternativ kann die Inbetriebnahme an einem neuen Fußgängerüberweg/einer neuen Kreuzung, allerdings auch ohne einen solchen Trainingsdatensatz erfolgen. In diesem Fall kann das System in den ersten Tagen nur die Messdaten aller Fahrzeuge sammeln. Wenn eine gewisse Menge an Fußgängertrajektorien beobachtet wurde, beispielsweise einige hundert, werden die ersten Modelle 5 generiert und übermittelt.
-
In der 3 wird eine ähnliche Situation wie in 2 gezeigt, wobei das Fahrzeug 3 jedoch aus der anderen Richtung kommt und den Fußgänger 6 nicht sehen kann. Die lokale Einheit 8 nach 3 ist mit eigenen Sensoren 14, beispielsweise Kameras, ausgestattet und kann den Fußgänger 6 innerhalb des Sichtbereichs 15 sehen. Die lokale Einheit 8 kann beispielsweise an einer Ampel angebracht sein. Aus der Sicht des Fahrzeugs 3 werden fehlende Informationen durch die zusätzliche Kamera 14 der lokalen Einheit 8 bereitgestellt. Auf diese Weise können auch dann Verkehrsteilnehmer, insbesondere der Fußgänger 6, beobachtet werden, wenn gerade kein mit Sensoren ausgestattetes Fahrzeug in der Nähe ist oder in Sichtkontakt ist.
-
Die 4 zeigt ein Ablaufdiagramm eines Verfahrens zur Steuerung eines Fahrzeugs nach einer Ausführungsform der Erfindung. In dem Schritt S1 nähert sich ein Fahrzeug einen vorgegebenen Ort, wie beispielsweise einer Straßenkreuzung oder einem Fußgängerüberweg. In dem Schritt S2 wird ein ortsbezogenes Modell bereitgestellt, das ein typisches Verhalten eines verletzlichen Verkehrsteilnehmers an dem vorgegebenen Ort abbildet. Dabei wird das Modell an die Steuerungseinheit des Fahrzeugs übermittelt. In dem Schritt S3 wird eine Umfelderfassung am vorgegeben Ort durchgeführt. Dies kann durch lokal installierte Sensoren oder durch fahrzeugeigene Sensoren geschehen. Die Verarbeitung der Messdaten kann in dieser Ausführungsform insbesondere durch eine Steuerungseinheit des Fahrzeugs und/oder durch eine vor Ort installierte Steuerungseinheit durchgeführt werden. In dem Schritt S4 wird bezüglich des Verkehrsteilnehmers der aktuelle Kontext bestimmt, in dem sich der Verkehrsteilnehmer an dem Ort befindet. Dies geschieht beispielsweise durch eine selektive Auswahl von Messdaten bzw. eine selektive Messung von vorgegebenen Features/Merkmalen. In dem Schritt S5 wird eine Vorhersage des Verhaltens, insbesondere des Bewegungsverhaltens des verletzlichen Verkehrsteilnehmers mit dem ortsbezogenen Modell basierend auf den bestimmten Kontext durchgeführt. In dem Schritt S6 wird schließlich durch die Steuerungseinheit eine Reaktion des Fahrzeugs auf die ermittelte Vorhersage bestimmt und dem Fahrer oder einem Fahrzeugsteuerungssystem bereitgestellt.
-
Die 5 zeigt ein System 20 zur Steuerung und eines Fahrzeugs. Das System 20 weist ein Messdatenerfassungssystem 21 mit einer Vielzahl von Sensoren 22 zur Erfassung des Umfelds in einem lokalen Verkehrsszenario auf. Ferner weist das System 20 eine mit dem Messdatenerfassungssystem 21 gekoppelte Messdatenanalyseeinheit 23 auf, die zum Zuordnen der erfassten Messdaten zu definierten Merkmalen eines vordefinierten vollständigen Merkmalssatzes zur Beschreibung des lokalen Verkehrsszenarios dient. Die Messdatenanalyseeinheit 23 hat ferner eine Bewegungstrajektorien-Identifizierungseinheit 24 zur Identifizierung von Bewegungstrajektorien aus den erfassten Messdaten und eine Teilsatzauswahleinheit 25 zum Identifizieren eines auszuwählenden Teilsatzes des vollständigen Merkmalssatzes. Ferner ist in dem System 20 eine Steuerungseinheit 26 angeordnet, die mit der Messdatenanalyseeinheit 23 und einem Steuerungssystem 13 eines Fahrzeugs 3 gekoppelt ist.
-
Die 6 zeigt ein schematisches Diagramm einer Situation an einem Fußgängerüberweg und einen zugehörigen Systemaufbau nach einer Ausführungsform der Erfindung. Dabei wird nach der hier gezeigten Ausführungsform ein nicht regelkonformes Verhalten eines verletzlichen Verkehrsteilnehmers explizit berücksichtigt.
-
Das System weist eine zentrale Steuerungseinheit 8 auf, die zum einen Statusinformationen aller für den aktuellen Überweg relevanten Ampeln 16 erhält (rot/gelb/grün) und ferner mit Sensoren, wie beispielsweise Kameras, ausgestattet ist, mit denen eine Detektion aller anwesender Verkehrsteilnehmer ermöglicht wird. Die Steuerungseinheit 8 ist hier als lokale stationäre Einheit 8 dargestellt, kann jedoch auch zumindest teilweise in dem Fahrzeug 3 angeordnet sein. Die Kameras sind in der Zeichnung nicht explizit dargestellt, stattdessen wurden nur zwei exemplarische Sichtbereiche 17 von möglichen an den Ampeln 16 befestigten Kameras skizziert. Darüber hinaus ist auch eine Funktionsausprägung denkbar, bei der zusätzlich die in einem Fahrzeug 3 verbauten Sensoren verwendet werden. Eine angedeutete Bewegungstrajektorie eines am Bordstein anhaltenden Fußgängers wird mit dem Bezugszeichen 18 bezeichnet, und eine angedeutet Bewegungstrajektorie eines querenden Fußgängers wird mit dem Bezugszeichen 19 bezeichnet.
-
Ausgangspunkt für das Verfahren ist die aktuelle Position bzw. die bisher beobachtete Trajektorie der relevanten verletzlichen Verkehrsteilnehmer 6. Unter Annahme einer roten Fußgängerampel 16 soll mit dem System zwischen am Bordstein anhaltenden Fußgängern 6 und querenden Fußgängern 6 unterschieden werden. Letztere würden in diesem Fall das „illegale" Verhalten repräsentieren.
-
Dazu werden zwei Systeme kombiniert: Ein erstes System dient zur Vorhersage von Fußgängerverhalten, insbesondere Fußgängertrajektorien 9, um atypisches Fußgängerverhalten zu erkennen. Damit wird zunächst eine präzise Vorhersage von Fußgängertrajektorien 9 basierend beispielsweise auf der bisherigen Trajektorie des Fußgängers ermöglicht. Das zweite System weist ein Bewegungsmodell 5 auf, welches das ortsbezogene, typische Verhalten/ situationsspezifische Normverhalten, unter Berücksichtigung der relevanten Ampeln 16, abbildet.
-
Sollten beim Vergleich der beiden Prädiktionen signifikante Unterschiede erkannt werden, so kann davon ausgegangen werden, dass sich der Fußgänger 6 atypisch verhält und zum Beispiel bei Rot die Straße 7 überquert. Dies kann beispielsweise dadurch erkannt werden, dass sich der Fußgänger 6 mit konstanter oder sogar wachsender Geschwindigkeit der roten Ampel 16 nähert, obwohl das Normverhalten eine sinkende Geschwindigkeit vorsieht. Dieses Wissen kann nun genutzt werden, um entweder mit einem Fahrerassistenzsystem eine Warnung für den Fahrer zu generieren oder eine Notbremsung vorzubereiten, zum Beispiel durch Anlegen der Bremsscheiben. In hoch- oder vollautomatischen Systemen kann die Parametrierung relevanter Subsysteme angepasst werden, wie zum Beispiel durch eine Erhöhung des Sicherheitsabstands zum Bordstein 12, frühzeitiges Verzögern bei Annäherung an den Überweg 1, usw.
-
Das Verfahren ist nicht auf eine Erkennung von atypischen Verfahren in Hinblick auf Ampelstati beschränkt. Stattdessen können auch andere atypische Verhaltensmuster erkannt werden, wie beispielsweise ein Verhalten eines betrunkenen Fußgängers. Dieser Fall wäre unter Umständen an einer schlangenlinienförmigen Form einer aktuell erfassten Trajektorie erkennbar. Ferner können abgelenkte Fußgänger erkannt werden, die zum Beispiel mit einem Smartphone beschäftigt sind und dabei eine zu geradlinige Trajektorie anstelle der bei einer Annäherung an einen Überweg üblichen zumindest leicht gekrümmten Trajektorie verfolgen. Gegebenenfalls ist es möglich, spielende und damit unaufmerksame Kinder zu erkennen. Dies kann sich beispielsweise in vielen kurz aufeinanderfolgenden Richtungsänderungen und Geschwindigkeitsänderungen abbilden. Erweitert denkbar sind Szenarien mit alleine laufenden Kindern, die gegebenenfalls unbeabsichtigt ohne Aufsichtsperson am Straßenverkehr teilnehmen.
-
Die 7 zeigt ein Ablaufdiagramm eines Verfahrens zur Steuerung eines Fahrzeugs nach einer bevorzugten Ausführungsform der Erfindung.
-
In Schritt S11 startet das Verfahren. In Schritt S12 werden kontinuierlich Bewegungstrajektorien von allen Verkehrsteilnehmern erfasst und anschließend jeweils automatisch gelabelt, d.h. beschrieben bzw. gekennzeichnet. Die benötigten Trajektorien können sowohl durch stationäre Sensoren, wie beispielsweise Überwachungskameras, als auch durch mit verschiedenen Sensoren ausgestattete Fahrzeuge bereitgestellt werden. Die Trajektorien können dann beispielsweise auf einem Server gesammelt und ausgewertet werden. Ein automatisches Labeln/Kennzeichnen ist möglich, sobald der Verkehrsteilnehmer den Sichtbereich aller Sensoren verlassen hat, d.h. sobald aus Systemsicht die Bewegung abgeschlossen ist. In Abhängigkeit des zu erstellenden Modells kann ein solches Label zum Beispiel die Informationen aufweisen, ob der Fußgänger die Straße überquert hat oder nicht, als binären Wert, und wenn ja, wo und wann der Verkehrsteilnehmer die Straße verlassen, und ob das Fahrzeug an einer bestimmten Haltelinie angehalten oder nicht, als binären Wert.
-
In Schritt S13 wird eine kontinuierliche Evaluierung der Modelle anhand der zur Laufzeit aufgenommen Trajektorien durchgeführt. Dabei wird geprüft, ob die Fehlerquote eine vordefinierte Schwelle überschreitet. Falls dies nicht der Fall ist, startet das Verfahren neu, und beginnt erneut mit Schritt S11.
-
Falls in Schritt S13 die Fehlerquote die Schwelle überschreitet, wird in den Schritten S14 bis S16 ein neuer Trainingslauf durchgeführt. Dazu werden in dem Schritt S14 die erfassten Trajektorien sinnvoll in einen Trainings- und einen Testdatensatz aufgeteilt. In dem Schritt S15 wird ein Merkmals-Teilsatz bzw. Feature-Subset identifiziert, das sowohl die örtlichen Gegebenheiten als auch die Interaktionen zwischen mehreren Verkehrsteilnehmern sowie zwischen einem Verkehrsteilnehmer und der Umwelt bestmöglich beschreibt.
-
Durch die Identifikation des bestmöglichen Merkmalssatzes wird aus einer großen Menge an Merkmalen des vorgegebenen Merkmalssatzes eine kleine Teilmenge ausgewählt, die die aktuelle, lokale Situation bestmöglich beschreibt. Dazu muss zunächst die vorgegebene Merkmalsmenge definiert werden. Diese kann die folgenden Merkmale/Features aufweisen: Allgemeine Merkmale, wie eine Geschwindigkeit in 2D/3D Koordination mit Betrag und Richtung und/oder. eine Bewegungsrichtung („heading") und/oder eine Position in 2D/3D Koordinaten. Ferner kann der vorgegebene Merkmalssatz Merkmale bezüglich einer Interaktion mit der Umgebung aufweisen, die beispielsweise durch eine Karte gegeben ist. Diese Merkmale umfassen beispielsweise einen Abstand zu vordefinierten Punkten/Objekten, wie zum Beispiel einen Abstand zum Bordstein, für Fußgänger, Fahrradfahrer, usw., einen Abstand zu einem definierten offiziellen Fußgängerüberweg, der zum Beispiel durch einen Zebrastreifen gekennzeichnet ist, einer Ampel oder einer Verkehrsinsel, oder einen Abstand zu einer realen oder gedachten Haltelinie, für Fahrzeuge. Der Abstand kann dabei jeweils durch einen euklidischen Abstand und unter Beachtung möglicher bekannter Hindernisse als minimaler verbleibender Weg bis zu dem betrachteten Punkt/Objekt definiert werden. Es ist aber auch denkbar, alle Abstände unter Berücksichtigung der aktuellen oder theoretischen, zum Beispiel maximalen Geschwindigkeit, als Zeiten darzustellen. Ferner können fußgängerspezifische Features verwendet werden. Diese können aufweisen zum Beispiel eine Blickrichtung oder eine Bewegung einzelner Körperteile, wie dem Oberkörper, der Arme, Beine, usw. Es können auch Merkmale bezüglich einer Interaktion zwischen mindestens zwei Verkehrsteilnehmern berücksichtigt werden. Diese können zum Beispiel einen Abstand zwischen den Teilnehmern betreffen, wie zum Beispiel einen euklidischen Abstand, unter Berücksichtigung bekannter Hindernisse als minimaler verbleibender Weg, oder eine relative Geschwindigkeit in 2D/3D Koordinaten, einen Betrag, eine Richtung, oder eine sogenannte Time-To-Collision. Die Liste der möglichen vorgegebenen Features bzw. Merkmale kann beliebig auf geeignete Weise erweitert werden.
-
Normalerweise werden Messwerte für die Merkmale bzw. ausgewählten Merkmale jeweils für den aktuell zu berechnenden Zeitschritt bestimmt. Zur Erweiterung des Feature-Raumes kann auch die Historie aller Objekte durch die zusätzliche Bestimmung aller oben genannten Features für eine beliebige Anzahl von vorhergehenden Zeitschritten berücksichtigt werden.
-
Zur Auswahl eines Teilsatz aus dem vergebenen Satz an Merkmalen, d.h. zur Bestimmung einer kleinstmöglichen Feature-Menge mit dem bestmöglichen Modellierungsergebnis kann insbesondere eine Iteration durchgeführt werden. In jedem Iterationsschritt wird dabei ein Modell erzeugt und anhand eines definierten Gütemaßes bewertet. Dieses Gütemaß ermöglicht ein Ranking aller Features. Nun kann eine definierte Anzahl an Merkmalen, mindestens eins, mit dem niedrigsten Ranking aus der Merkmalsmenge entfernt werden und eine neue Iteration begonnen werden.
-
Zu jedem Iterationsschritt wird, mit Hilfe des Testdaten-Satzes, eine Evaluierung durchgeführt, die die Vorhersagegenauigkeit des jeweiligen Modells untersucht.
-
Nach der Eliminierung aller Merkmale kann an Hand der Evaluierungsergebnisse der Teilsatz ausgesucht werden, der die höchste Vorhersagegenauigkeit erzielte.
-
In dem Schritt S16 wird ein neues Bewegungs-/Verhaltensmodelle mit dem ausgewählten Feature-Set gelernt. Unter Berücksichtigung von möglicherweise begrenzten Rechenkapazitäten für die Analyse von Trajektorien zur Laufzeit („Online") ist es auch denkbar, ein minimal schlechteres Modell auszuwählen, falls dadurch signifikant Rechenleistung gespart werden kann. In dem Schritt S17 endet das Verfahren, und geht zurück zum Start in Schritt S11. Verfahrensgemäß kann das Modell somit zur Laufzeit ständig überprüft werden. Sollte dabei eine Verschlechterung der Vorhersagegenauigkeit erkannt werden, so kann jederzeit ein neuer Trainingslauf, inklusive einer erneuten Bestimmung einer besten zugehörigen Feature-Menge, d.h. eines geeigneten Merkmalteilsatzes angestoßen werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
