-
Die Erfindung betrifft ein Verfahren zur Zuordnung von Ampeln zu den zugehörigen Fahrspuren einer Fahrbahn aus Schwarmdaten einer Vielzahl von Fahrzeugen sowie eine Verwendung des Verfahrens in einem Fahrzeug.
-
Beim autonomen bez. automatischen Fahren eines Kraftfahrzeugs muss dieses an Kreuzungen mit komplexen Ampelsituationen zurechtkommen. Dazu ist eine automatische Erkennung der an einer Kreuzung vorhandenen Ampeln notwendig, wobei diese Erkennung auch eine Zuordnung der Ampeln zu den jeweiligen Fahrspuren umfassen muss, für die die Signale der Ampeln zuständig sind. Eine derartige automatische Erkennung von Ampeln an Kreuzungen ist aber nicht nur beim autonomen Fahren einsetzbar, sondern kann auch beim unterstützten oder halbautonomen Fahren eines Kraftfahrzeugs eingesetzt werden, um dem Fahrer beim Führen des Kraftfahrzeugs zu unterstützen.
-
Eine automatische Erkennung von Ampeln an einer Kreuzung beim automatischen Fahren verfolgt die folgenden Ziele:
- - dem Fahrer eine mögliche Geschwindigkeit zur Ampelanlage zu empfehlen,
- - automatisch vor der Ampel anzuhalten,
- - den Fahrer bei einen versehentlichen Überfahren der Ampel zu warnen, und
- - dem Fahrer einen Weiterfahrhinweis zu geben, wenn die Ampel wieder grün wird.
-
Zur Umsetzung dieser Beispiele wird versucht, die Ampel mit der Frontkamera im Fahrzeug zu beobacheten. Dabei muss die folgende Messaufgabe bewältigt werden:
- - Die Kamera erkennt die Ampel im Vorfeld und vermisst diese hinsichtlich Position und Ausrichtung.
- - Die Kamera erkennt die Spuren und Markierungen auf dem Boden und stellt so einen Zuordnung der Ampel zu den Spuren fest.
- - Die Kamera beobachtet fortlaufend den Zustand der relevanten Ampel und gibt diese Information an die entsprechenden Funktion weiter.
-
In der Realität ist allerdings die Zuordnung von Ampel zu Fahrstreifen bedingt durch vielfältige und komplexe Kreuzungssituationen sehr schwierig zu ermitteln, was zu hohen Fehlraten bei der Zuordnung von Ampel zu Fahrstreifen führt.
-
Die Druckschrift
DE 10 2014 205 953 A1 betrifft ein Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs mit einem Navigationssystem und einem Sensorsystem, wobei das Navigationssystem eine Fahrzeugposition ermittelt und das Sensorsystem Bewegungsdaten des Fahrzeugs erfasst sowie ein Bewegungsverhalten des Fahrzeugs in Form von Bewegungstrajektorien des Fahrzeugs ermittelt, wobei die Fahrzeugposition und die Bewegungstrajektorien des Fahrzeugs einen Rückschluss auf das Vorhandensein und/oder die Art wenigstens eines Merkmals der Umgebung ermöglichen, wobei ein Sensor des Sensorsystems das Merkmal erfasst und wenigstens eine Zusatzinformation über das Merkmal abspeichert.
-
Die Druckschrift
DE 10 2018 210 125 A1 beschreibt ein Verfahren zur Zuordnung von Ampeln einer Ampelanlage eines von dieser Ampelanlage gesteuerten Fahrbahnabschnitts zu den Fahrspuren des Fahrbahnabschnitts, wobei der Fahrbahnabschnitt mindestens eine Fahrspur aufweist, die Fahrspuren des Fahrbahnabschnitts eine gemeinsame Fahrtrichtung aufweisen, und eine Vielzahl von Fahrzeugen den Fahrbahnabschnitt befahren, umfassend die Schritte:
- - Erkennen einer vorausliegenden Ampelanlage durch jedes Fahrzeug, welches den Fahrbahnabschnitt befährt und sich auf die Ampelanlage zubewegt,
- - kontinuierliches Erfassen der Ampelzustände der Ampeln der Ampelanlage, der befahrenen Fahrspur, der Fahrzeuggeschwindigkeit und der Fahrzeugposition durch jedes Fahrzeug, wobei die Erfassung in einer vorbestimmten Entfernung von der Ampelanlage beginnt und bis zum Passieren der Ampelanlage fortgeführt wird,
- - Übermitteln der von jedem Fahrzeug aufgezeichneten Daten „Ampelzustände“, „Fahrspur“ und „Geschwindigkeit“ in Form eines Datensatzes an einen Backend-Rechner,
- - Durchführen folgender Auswertungen durch den Backend-Rechner für jeden fahrzeugspezifischen Datensatz:
- - Ermitteln der erkannten Ampelanlage auf einer Karte,
- - Erkennung der Bewegung des Fahrzeugs durch den Fahrbahnabschnitt,
- - Feststellung der Ampelzustände beim Passieren der Ampelanlage durch das Fahrzeug, und
- - Erstellen einer Zuordnungstabelle für die erkannte Ampelanlage aus den ausgewerteten Datensätzen, wobei die Zuordnungstabelle die Ampeln der Ampelanlage den Fahrspuren des Fahrbahnabschnitts zuordnet.
-
Voraussetzung für das Erstellen einer Zuordnung der Ampeln einer Ampelanlage zu den Fahrspuren ist die genaue relative Lokalisierung der Egofahrzeuge in globalen Koordinaten. Als globales Koordinatensystem kann beispielsweise das semiglobale ENU-Koordinatensystem verwendet werden, wobei ENU für East-North-Up steht, welches für einen Bereich von mehreren hundert Metern um einen Referenzpunkt gültig ist. Dies lässt sich einerseits erreichen durch eine hochgenaue Lokalisierung basierend auf Odometrie-Daten, GPS-Daten und gegebenenfalls weiteren visuellen Daten. Ist dies nicht gegeben, so kann andererseits eine Ad-hoc-Lokalisierung basierend auf einem nachträglichen Matching von Odometrie-Daten, GPS-Daten und Ampel-Daten des jeweiligen Egofahrzeugs erfolgen.
-
Aus der genauen Lokalisierung der Egofahrzeuge lassen sich dann die Positionen der von den Egofahrzeugen bei der Zufahrt auf die Ampeln erfassten Ampelobjekte bestimmen.
-
Nun werden mit bekannten, wie dem oben beschriebenen Verfahren unter Umständen einige Ampeln nicht zuverlässig erkannt, beispielsweise Abbiegeampeln. Außerdem werden Verkehrszeichen wie der statische Rechtsabbiegepfeil nicht berücksichtigt. Da diese Informationen nicht vorliegen, kann eine falsche Ampel zu Spur Zuordnung erfolgen. Dies ist besonders dann problematisch, wenn dadurch eine einzige Ampelgruppe übrigbleibt. In diesem Fall wird der Zuordnungsalgorithmus zwangsläufig jede Spur dieser Ampelgruppe zuordnen und dieser Zustand wird auch undetektiert bleiben.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur verbesserten Zuordnung von Ampeln zu Fahrspuren anzugeben, um falsche Ampel zu Spur Zuordnungen zu vermeiden.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch die Verwendung des Verfahrens mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Das erfindungsgemäße Verfahren zur Zuordnung von Ampeln und Ampelgruppen zu den zugehörigen Fahrspuren einer Fahrbahn für eine vorgegebene Anfahrtsrichtung aus Schwarmdaten einer Vielzahl von Ego-Fahrzeugen in einem Backend-Server umfasst die Schritte:
- - Empfangen konsolidierter Daten pro Ampelüberfahrt der Fahrzeuge eines Schwarms für die Fahrbahn in entsprechender Fahrtrichtung, wobei die konsolidierten Daten für jede Kreuzungsüberfahrt die von jedem Fahrzeug erfassten Ampeldaten, nämlich Positionen und Phasenverläufe der Ampelobjekte, fahrzeugbezogene Daten und Umfelddaten enthält,
- - Identifizieren der Ampeln und Ampelgruppen aus den empfangenen Ampelobjekten einer vorgegebenen Anzahl m, m>1, von Ampelüberfahrten für die Kombination aus Fahrbahn und Anfahrtsrichtung und Bestimmen der Anzahl n der realen Ampelgruppen,
- - Zufügen einer Dummy-Ampelgruppe zu den identifizierten realen Ampelgruppen,
- - Zuordnen der Ampelgruppen zu den Fahrspuren der Fahrbahn mittels einer auf einem Bayes-Filter basierenden Iteration, indem für die vorgegebene Anzahl von Ampelüberfahrten für eine vorgegebene Fahrspur aus jeder Ampelüberfahrt aus einer a priori Wahrscheinlichkeits-Verteilung eine a posteriori Wahrscheinlichkeits-Verteilung berechnet wird, wobei
die a posteriori Wahrscheinlichkeitsverteilung des (m-1)-ten Schrittes die a priori Wahrscheinlichkeitsverteilung des m-ten Schrittes bildet, wobei
- - die a priori Wahrscheinlichkeitsverteilung des 0-ten Schrittes für die realen Ampelgruppen mit dem Wert 2/2n+1 initialisiert wird, wobei n die Anzahl der realen Ampelgruppen ist,
- - die a priori Wahrscheinlichkeitsverteilung des 0-ten Schrittes für die Dummy-Ampelgruppe mit dem Wert 1/2n+1 initialisiert wird, wobei n die Anzahl der realen Ampelgruppen ist.
-
Durch die Bayes-Iteration unter Verwendung einer Dummy-Ampelgruppe wird einerseits eine Zuordnung von Ampelgruppen zu Fahrspuren ermöglicht und andererseits kann eine fehlerhafte Zuordnung erkannt werden.
-
Vorzugsweise umfassen die fahrzeugbezogenen Daten zumindest Bewegungszustand und Bewegungsrichtung des Ego-Fahrzeugs, Ausrichtungsvektor der Fahrzeugtrajektorie, Ampellinie und Haltelinie auf der Ego-Trajektorie sowie Abbiegerichtung und Ego-Events, wobei Ego-Events das Überfahrtsevent, welches dem Zeitpunkt entspricht an dem das Ego-Fahrzeug die Haltelinie überfährt, und das Stillstandsevent, welches dem Zeitpunkt entspricht an dem das Ego-Fahrzeug einen Stillstand erreicht, umfassen.
-
Weiter bevorzugt ist die a posteriori Wahrscheinlichkeit des Bayes-Filters proportional zu einer Likelihood-Funktion multipliziert mit der a priori Wahrscheinlichkeit, wobei die Likelihood-Funktion eine Funktion des Bewegungszustands des Ego-Fahrzeugs zum Zeitpunkt des Ego-Events, eine Funktion der Position des Ego-Fahrzeugs relativ zur Haltelinie zum Zeitpunkt des Ego-Events und eine Funktion der Existenz bzw. des Bewegungszustands des vorausfahrenden Fahrzeugs zum Zeitpunkt des Ego-Events ist.
-
Mittels der Messgrößen Bewegungszustand des Egofahrzeugs und Position des Egofahrzeugs zum Zeitpunkt eines Ego-Events, sowie des Bewegungszustands eines vorausfahrenden Fahrzeugs, falls vorhanden, kann auf einfache Weise die Likelihood-Funktion dieser Überfahrt bestimmt werden.
-
Vorzugsweise werden die Ampeln aus den überfahrtsspezifischen Ampelobjekten abgeleitet, wobei
- - aus den Ampelobjekt-Punktwolken eine Gesamtpunktwolke erstellt wird, nachdem eine Vorfilterung einzelner Ampelobjektpunkte in Längsrichtung entlang des Fahrbahnverlaufs erfolgt ist und die einzelnen Ampelobjektpunkte in Querrichtung zum Fahrbahnverlauf projiziert werden, wobei die Höhe der Ampelpositionspunkte beibehalten wird, und
- - ein Clustering der Ampelobjektpunkte der Gesamtpunktwolke zum Erhalt der Ampeln durchgeführt wird.
-
Vorzugsweise werden die Ampelgruppen anhand des Phasenverlaufs der Ampeln bestimmt.
-
Weiter bevorzugt wird zur Gruppierung der Ampeln in Ampelgruppen die Korrelation zwischen den Phasenverläufen einzelner Paare von Ampelobjekten bei derselben Überfahrt berechnet und basierend auf den paarweisen Korrelationen werden die einzelnen Ampelobjektphasenverläufe mittels einem Hierarchical Clustering Verfahren in Ampelgruppen unterteilt.
-
Weiter bevorzugt wird eine Ampelgruppe einer Fahrspur zugeordnet, wenn über die Anzahl der Überfahrten die vom Bayes-Filter errechnete a priori Verteilung auf eine hohe Wahrscheinlichkeit konvergiert. Hohe Wahrscheinlichkeit bedeutet in diesem Zusammenhang eine Wahrscheinlichkeit nahe 1, also P ≈ 1. Eine niedrige Wahrscheinlichkeit bedeutete umgekehrt, dass die betrachtete Fahrspur einer Ampelgruppe nicht zugeordnet werden kann.
-
Weiter bevorzugt werden die Zuordnungen der Ampelgruppen zu den Spuren einer Fahrbahn als Funktion der Anfahrtrichtung und Kreuzungsidentifikation in einer Datenbank abgespeichert, die von autonomen oder semiautonomen Fahrzeugen abrufbar ist. Auf diese Weise kann das abrufende Fahrzeug immer auf aktuelle Daten einer vorgegebenen Kreuzung zugreifen.
-
Weiter bevorzugt erfolgt eine Überprüfung der Ampeln und der Ampelgruppen, insbesondere einer Kreuzung, wenn die Zuordnungen der Ampelgruppen zu den Spuren nicht eindeutig sind. Dabei bedeutet nicht eindeutig, dass die Zuordnungswahrscheinlichkeit nicht gegen Eins oder Null konvergiert, sondern zwischen diesen Werten schwankt. Auf diese Weise können Fehler bei der Zuordnung erkannt werden.
-
Bei der erfindungsgemäßen Verwendung des im Vorangegangenen erläuterten Verfahrens zur Zuordnung von Ampeln und Ampelgruppen zu den zugehörigen Fahrspuren einer Fahrbahn für eine vorgegebene Anfahrtsrichtung aus Schwarmdaten einer Vielzahl von Ego-Fahrzeugen in einem Backend-Server in einem autonomen oder semiautonomen Fahrzeug ruft das Fahrzeug bei einer Annäherung an eine ampelgesteuerte Kreuzung die Zuordnung aus einer externen Datenbank ab.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
- 1 die Erfassung von Schwarmdaten und deren Verarbeitung zur Zuordnung von Ampeln zu Fahrstreifen,
- 2 Clustern der Ampelobjekte zur Bestimmung von Ampelpositionen,
- 3 graphische Darstellung des Bayes-Filters,
- 4 ein reales Beispiel zur Zuordnung von Ampeln zu Fahrspuren,
- 5 die aus der 4 abgeleiteten Ampelgruppen,
- 6 die Wahrscheinlichkeit, dass Spur 1 der ersten Ampelgruppe zugeordnet ist,
- 7 die Wahrscheinlichkeit, dass Spur 2 der ersten Ampelgruppe zugeordnet ist,
- 8 die Wahrscheinlichkeit, dass Spur 3 der zweiten Ampelgruppe zugeordnet ist,
- 9 ein weiteres Beispiel eines Teils einer fiktiven Kreuzung,
- 10 die Spur zur Ampel Zuordnung der Spur 1 der Kreuzung der 9,
- 11 Zuordnungsergebnis bei nur einer erkannten Ampel und ohne Dummy-Ampelgruppe des Beispiels der 9, und
- Fig-. 12 eine nicht konvergente Ampel zu Spur Zuordnung bei einer fehlerhaften Ampelerkennung für den Fall der 9.
-
1 zeigt die dem Verfahren zugrundeliegende schematische Aufteilung der Datenerhebung und Verarbeitung zur Zuordnung von Ampeln zu Fahrspuren aus Schwarmdaten.
-
Fahrzeugseitig wird die Erfassung der Ampeln A im Fahrzeugbereich F bei jeder Überfahrt der Kreuzung K gestartet. Dabei werden die notwendigen Signale, nämlich Bewegung des Egofahrzeugs EF, Ampeln A und Objekte (nicht dargestellt) im Umfeld des Ego-Fahrzeugs EF mittels einer Kamera (nicht dargestellt) aufgenommen und es wird eine erste Verarbeitung DE im Ego-Fahrzeug EF ausgeführt. Im Anschluss wird der aus der ersten Verarbeitung DE resultierende Datensatz mittels einer Übertragungsstrecke Ü, beispielsweise einer Mobilfunkverbindung, an den Backend-Server S übertragen.
-
Die einzelnen Schritte im Fahrzeugbereich F sind:
- - Erkennung der Ampelsignale,
- - Tracking und Ego-Kompensation der erfassten Ampeln pro Überfahrt,
- - Filtern von ungültigen Ampelobjekten,
- - Erkennung relevanter „Ego-Events“, nämlich das Überfahrtsevent, welches dem Zeitpunkt entspricht an dem das Ego-Fahrzeug die Haltelinie überfährt, und das Stillstandsevent, welches dem Zeitpunkt entspricht an dem das Ego-Fahrzeug einen Stillstand erreicht, und
- - Übertragung der konsolidierten Daten an den Server, nämlich zumindest
- - Ampeldaten, nämlich Positionen und Phasenverläufe eines Ampelobjekts,
- - fahrzeugbezogene Daten wie Bewegungszustand und Bewegungsrichtung des Fahrzeugs, Ausrichtungsvektor der Fahrzeugtrajektorie, Ampellinie und Haltelinie auf der Ego-Trajektorie sowie Abbiegerichtung, Ego-Events und
- - Umfelddaten, wie vorrausfahrende Fahrzeuge inklusive deren Geschwindigkeit.
-
Damit im Bereich des Backend-Servers S eine Zuordnung von Spuren zu Ampeln erfolgen kann, sind die an den Backend-Server S übertragenen Positionsdaten der Ampeldaten in Koordinaten (x, y, z) eines globalen Koordinatensystems ausgedrückt, beispielsweise im bereits erwähnten ENU-System (East-North-Up).
-
Der Backend-Serverbereich S bekommt die beschriebenen Daten aus dem Fahrzeugbereich F von den Kreuzungsüberfahrten mehrerer Fahrzeuge zugeführt und bearbeitet sie in der Datenverarbeitung und Zuordnung DV, also dem externen Backend-Server, folgendermaßen:
- - Abgleich und Clustering der gesammelten Ampeldaten um ein Ampelbild pro Kreuzung und Anfahrtrichtung zu erstellen,
- - Gruppierung der resultierenden Ampeln in Gruppen mit gemeinsamem Phasenverlauf,
- - Zuordnung der resultierenden Ampelgruppen zu Fahrspuren, und
- - Eintragung der Ergebnisse in eine Datenbasis T und/oder eine digitale Karte K.
-
Die Funktion der Zuordnung von Ampeln zu Fahrspuren aus Schwarmdaten muss mit Ampeln A auf unterschiedliche Ebenen arbeiten. Um Verwirrungen zu vermeiden werden folgende Begriffe verwendet:
- Ampelobjekt: Ein vom Erfassungssystem, beispielsweise von einer entsprechenden Kamera geliefertes (getracktes) Ampelobjekt. Fehlerhafte Erfassung kann dazu führen, dass mehrere Ampelobjekte für dasselbe physikalische Ampelsignal während derselben Überfahrt erzeugt werden.
- Ampel: Diese stehen stellvertretend für eine physikalische Ampel A an einer gegebenen Kreuzung K und Anfahrtsrichtung und wird erzeugt, indem mehrere Ampelobjekte geclustert werden.
- Ampelgruppe: Gruppe von Ampeln die das gleiche Phasenverhalten aufweisen und somit einer einzigen logischen Ampel entsprechen.
-
Um die hier interessierende Datenverarbeitung im Backend-Server S durchführen zu können, sammelt der Backend-Server S also Daten unterschiedlicher Fahrzeuge bezüglich deren Kreuzungsüberfahrten und ordnet diese zunächst nach der Kreuzungs-Identifikation und der Anfahrtrichtung in einer entsprechenden Tabelle.
-
Der Backend-Serverbereich S hat folglich zwei Hauptaufgaben:
- - Die Ampelpositionen der hier aus mehreren Überfahrten gelieferten Ampelobjekte zu matchen und zu clustern, um daraus Ampeln und Ampelgruppen abzuleiten. Dieser Schritt kann normalerweise dann erfolgen, wenn Daten von mindestens 20 Überfahrten vorliegen, und zwar unabhängig von der gefahrenen Spur, und sollte in regelmäßigen Abständen mit neuen Daten wiederholt werden, um den Fall abzudecken, dass bauliche oder programmtechnische Änderungen an der Kreuzung vorgenommen worden sind.
- - Die Zuordnung von Spuren zu Ampelgruppen. Dieses Online-Verfahren kann beginnen, sobald die Ampelpositionen und Ampelobjekte feststehen. Mit jedem neuen Datensatz aus einzelnen Überfahrten kann die Zuordnung nach korrigiert werden.
-
Bei der Verarbeitung im Backend-Serverbereich S muss unterschieden werden zwischen Daten, die aus unterschiedlichen Überfahrten stammen. Dazu werden die relevanten Variablen, insbesondere Positionen der Ampelobjekte und der Ampellinien, mit einem zusätzlichen Index c versehen, c = 1... C, mit C Anzahl der übertragenen Überfahrtsdatensätze. Folglich würde der Ausdruck pnc das nc - te Ampelobjekt der c-ten Überfahrt bezeichnen.
-
2 zeigt das Clustern der von den Ego-Fahrzeugen an den Backend-Rechner S übertragenen Ampelobjekte zur Bestimmung von Ampelpositionen. Aus den korrigierten, überfahrtsspezifischen Ampelobjekt-Punktwolken wird eine Gesamtpunktwolke erstellt, die alle bisher von den Fahrzeugen gesehenen Ampelpositionen enthält. Dabei werden, wie in 2 dargestellt, anhand der von den Fahrzeugen übermittelten Egotrajektorien die Ampelpositionen einer vorgegebenen Richtung ausgewählt, wobei in der Darstellung die Ampelobjekte unterschiedlicher Fahrspuren unterschiedlich dargestellt sind. So bedeutet im Beispiel der 2 das Zeichen „+“ Ampelobjekte einer ersten Fahrspur und das Zeichen „x“ Ampelobjekte einer zweiten Fahrspur.
-
Die von der Vielzahl von Fahrzeugen bezüglich einer Kreuzungsüberfahrt an den Server übermittelten Ampelobjekte und deren Positionen weisen eine relativ hohe Streuung in der Längsrichtung, das heißt entlang des Straßenverlaufs, auf, sodass eine Filterung der einzelnen Ampelobjektpunkte in Längsrichtung erfolgt und Ampelobjektpunkte verworfen werden, die in Längsrichtung nicht einer vorgegebenen Bedingung gehorchen. Eine mögliche Bedingung wäre, dass Ampelobjekte, die in Längsrichtung weiter als zwei Standardabweichungen vom Medianwert über alle Punkte liegen, verworfen werden.
-
Die einzelnen Ampelobjektpunkte werden auf die Querrichtung Q projiziert, wobei die Höhe H direkt übernommen wird, wie dies in 2 dargestellt ist. Die Ampelobjektpunkte werden mi dem bekannten DBSCAN-Algorithmus geclustert, um einzelne „physikalische“ Ampeln abzuleiten. Der genannte Algorithmus bildet Cluster von sogenannten „dichte-verbundenen“ Punkten, d.h. von Punkten, die die sich nicht weiter als eine vorgegebene Distanz von einem Kernpunkt im selben Cluster befinden. Im vorliegenden Fall beträgt die vorgegebene Distanz 2 m. Mittels dem genannten DBSCAN-Algorithmus ergeben sich so die diskreten Ampeln A1, A2, A3 und A4.
-
Der nächste Schritt ist nun die identifizierten Ampeln in Gruppen mit gleich Phasenverlauf zu gruppieren, um Ampelgruppen ermitteln zu können. In 2 wurden die dargestellten Ampelobjektpunkte zweier Fahrspuren dargestellt. Anhand der Phasenverläufe ergibt sich, dass die physikalischen Ampeln A2 und A4 eine Ampelgruppe AG1 sowie die Ampeln A1 und A3 einer zweiten Ampelgruppe AG2 zugehörig sind. Grundsätzlich erfolgt diese Zuordnung von Ampeln zu Ampelgruppen in zwei Schritten:
- - Basis für die Klassifizierung der Ampeln zu Ampelgruppen ist die Korrelation zwischen den Phasenverläufen einzelner Paare von Ampelobjekten, die bei derselben Überfahrt erfasst wurden. Für jedes solches Paar Ampelobjekte werden sowohl die Gesamtzeit, mit der sich beide Phasenverläufe zeitlich überschneiden, als auch die Übereinstimmungszeit (Matchzeit), in der die beiden Phasenverläufe den gleichen Phasenwert annehmen, bestimmt. Der Quotient der beiden Werte entspricht der Korrelation zwischen den beiden Phasenverläufe.
- - Basierend auf solchen paarweisen Korrelationen können die einzelnen Phasenverläufe der Ampelobjekte mittels dem Hierarchical Clustering Verfahren Ampelgruppen zugeordnet werden. Dieser Hierarchical Clustering Algorithmus bildet Gruppen, bei denen jedes Gruppenelement, d.h. Ampel, eine Mindestkorrelation mit allen anderen Elementen der Gruppe aufweist. Diese Zuordnung erfolgt iterativ, indem die bestehenden Cluster bzw. Gruppen in sukzessiven Schritten um neue Elemente erweitert werden, die eine kleine Korrelation zu allen sich schon in Cluster befindlichen Elementen haben.
-
3 zeigt in schematischer Darstellung den Iterations-Algorithmus, mit dem es basierend auf den vorliegenden Informationen und die daraus abgeleiteten Ampeln bzw. Ampelgruppen es nun möglich ist eine Zuordnung Spur-zu-Ampelgruppe vorzunehmen. Dies erfolgt über einen Online-Algorithmus, in den die einzelnen Überfahrtevents der Reihe nach eingespeist werden, sodass der Algorithmus über den zeitlichen Verlauf auf eine feste Wahrscheinlichkeit konvergiert, welche aussagt, dass eine gegebene Fahrspur einer gegebenen Ampelgruppe zugeordnet ist.
-
Angenommen, dass das Egofahrzeuges bei einer gegebenen Überfahrt auf der Spur s
ego gefahren ist. Die zu errechnete Wahrscheinlichkeit, dass eine gewisse Ampelgruppe g* dieser Spur zuzuordnen ist, beträgt
-
Mit anderen Worten, es wird eine Zufallsvariable Gsego definiert, welche die Zuordnung der Egospur sego zu einer Ampelgruppe G beschreibt und der obige Ausdruck beschreibt die Wahrscheinlichkeit, dass die zur Egospur sego zugehörige Ampelgruppe G die Ampelgruppe g* ist, mit g* ∈ g1, ... gn.
-
Die Ermittlung der Zuordnung der Ampelgruppen G zur Egospur s
ego basiert auf einem Bayes-Filter, der auf einem Modell beruht mit dem die Wahrscheinlichkeit ermittelt werden kann, dass ein gewisser Satz an Variablen D gegebene Werte d annehmen kann, wenn G
sego einen gegebenen Wert g annimmt. Das Modell nimmt daher die folgende Form an:
-
Diese Funktion wird in diesem Zusammenhang auch als Likelihood-Funktion L(gld) bezeichnet.
-
Zu jedem Update-Schritt, was im vorliegenden Fall einem gegebenen Ego-Event entspricht, werden die Variablen in D gemessen, wobei hier angenommen wird, dass diese die Werte d* annehmen. Aus der bisher ermittelten Wahrscheinlichkeit P(G
sego = g*), in diesem Zusammenhang auch als a priori Wahrscheinlichkeit bezeichnet wird, kann über den Satz von Bayes eine aktualisierte oder a posteriori Wahrscheinlichkeit berechnet werden:
-
Mit anderen Worten, die a posteriori Wahrscheinlichkeit ist proportional zur Likelihood - Funktion multipliziert mit der a priori Wahrscheinlichkeit. Der Nenner in der oben angegebenen Bayes-Formel entspricht einem Normalisierungsfaktor.
-
Weiter wird angenommen, dass die Variable D nicht nur von g abhängt, sondern auch von einem zusätzlichen Satz weitere Variablen M, der zu jedem Update-Schritt, der einem Ego-Event entspricht, gemessen werden kann, wobei der gemessene Wert einer Variablen M durch m* gegeben ist.
-
Im vorliegenden Fall werden die folgenden Variablen genutzt, welche alle in den Ego-Fahrzeugen gemessen und an den Server übermittelt werden:
- - Abhängige Variable D:
- - Vego ist der Bewegungszustand des Ego-Fahrzeugs zum Zeitpunkt des Events, wobei die Variable einen von folgenden Werten annehmen kann:
- vego = hält, und
- vego = fährt.
- - Unabhängige Variablen M:
- - Xego ist die Position des Ego-Fahrzeugs relativ zur Haltelinie zum Zeitpunkt des Events mit den folgenden Werten:
- xego = an der Haltelinie, und
- xego = vor der Haltelinie.
- - Vobj ist die Existenz bzw. der Bewegungszustand des vorausfahrenden Fahrzeugs zum Zeitpunkt des Events mit den folgenden Werten:
- vobj = kein vorausfahrendes Fahrzeug
- vobj = das vorausfahrende Fahrzeug hält, und
- vobj = das vorausfahrende Fahrzeug fährt.
-
Somit ergibt sich die folgende Likelihood-Funktion:
-
Diese Situation wird in
3 schematisch als Iterationsverfahren dargestellt. Im ersten Schritt wird die a priori Wahrscheinlichkeit bestimmt, nämlich:
-
Basierend auf dieser a priori Wahrscheinlichkeit wird im nächsten Schritt die Likelihood-Funktion unter Einschluss der unabhängigen Variablen M, nämlich der Position des Ego-Fahrzeugs relativ zur Haltelinie zum Zeitpunkt des Events und die Existenz bzw. den Bewegungszustand des vorausfahrenden Fahrzeugs zum Zeitpunkt des genannten Events, bestimmt:
woraus sich die a posteriori Wahrscheinlichkeit
ergibt. Mit anderen Worten, in jedem Update Schritt wird die aktuelle a priori Zuordnungswahrscheinlichkeit über die Likelihood-Funktion unter Einbeziehung der gemessenen Variablen korrigiert, um eine aktualisierte a posteriori Zuordnungswahrscheinlichkeit zu erzeugen. Diese dient im darauffolgenden Schritt wieder als a priori Wahrscheinlichkeit, wobei in
3 die Iteration durch die gestrichelte Linie angedeutet ist.
-
Nun kann es passieren, dass eine oder mehrere Ampeln vom verwendeten Kamerasystem nicht korrekt erfasst wurden oder dass sie bei der Bildung der Ampelgruppen, dem Matching bzw. Clustering abhandengekommen sind. Wenn auf diese Weise eine komplette Ampelgruppe sozusagen ausfällt wird der Zuordnungsalgorithmus, welcher die Ampelgruppen den Fahrspuren zuordnet, mit hoher Wahrscheinlichkeit eine falsche Zuordnung machen. Dies ist besonders dann problematisch, wenn bei der Bildung der Ampelgruppen nur eine einzige Ampelgruppe übrigbleibt. Der Zuordnungsalgorithmus wird dann zwangsläufig jede Fahrspur dieser Ampelgruppe zuordnen, wobei diese fehlerhafte Zuordnung undetektiert bleibt, was zu einem Gefährdungspotenzial führen kann.
-
Ein ähnliches, verwandtes Problem stellen Abbiegeampel bzw. Abbiegeschilder dar. Diese können nur unzuverlässig erkannt werden und insbesondere ist die Ampelphaseninformation nicht interpretierbar.
-
Um beide Probleme beherrschbar zu machen, wird eine zusätzliche „Dummy‟-Ampelgruppe in das Verfahren eingeführt. Somit ist die Gesamtzahl der in dem Bayes-Algorithmus verwendeten Ampelgruppen n+1 und für jede Ampelgruppe g* gilt:
wobei die Ampelgruppe g
n+1 die Dummy-Ampelgruppe ist.
-
Damit hat der Zuordnungsalgorithmus immer die Wahl zwischen mindestens zwei Ampelgruppen und es ist zu erwarten, dass in den Fällen, in denen keine richtige Zuordnung möglich ist, der Algorithmus zwischen der Dummy-Ampelgruppe und den anderen realen Ampelgruppen schwankt, ohne auf eine zu konvertieren. Dies eröffnet die Möglichkeit sich die Kreuzung gezielt anzuschauen.
-
Es wird neben den n erkannten Ampelgruppen g1 bis gn eine weitere Ampelgruppe gn+1 hinzugefügt. Treten also widersprüchliche Beobachtungen auf, die nicht von n Ampelgruppen abgebildet werden können, so können diese kann es auf die n+1te Gruppe abgebildet werden. Ziel ist es nicht in erster Linie, eine korrekte Ampel zu Spur Zuordnung zu bekommen, sondern eine fehlerhafte Zuordnung zu erkennen und gegebenenfalls manuell einzugreifen.
-
Das Ziel des Algorithmus ist es nun für jede der n realen Ampelgruppen g*, g* ∈ g1, ... gn, die Wahrscheinlichkeit zu berechnen, dass die aktuell befahrene Egospur sego dieser Ampelgruppe zugeordnet ist oder nicht. Für die Dummy-Ampelgruppe g* = gn+1 muss daher im konkreten Fall die Zuordnungswahrscheinlichkeit nach einigen Überfahrten gegen Null konvergieren.
-
Bevor die Egospur s
ego überhaupt überfahren worden ist, werden alle Zuordnungswahrscheinlichkeiten einschließlich die der Dummy-Ampel initialisiert, sodass die initiale a priori Verteilung der Bayes-Iteration wie folgt definiert wird:
-
Mit anderen Worten, die initiale a priori Wahrscheinlichkeit ist für alle realen Ampelgruppen g1, ... gn gleichverteilt und die oben genannte Funktion der Anzahl n der Ampelgruppen und für die Dummy-Ampelgruppe gn+1 beträgt die a Priori Wahrscheinlichkeit die Hälfte der initialen a priori Wahrscheinlichkeit der realen Ampelgruppen.
-
Nach jeder Überfahrt der Kreuzung auf einer Egospur sego wird also die Ego-Likelihood-Funktion berechnet und die Wahrscheinlichkeit wird über das Bayers-Update aktualisiert, um die oben angegebene a posteriori Verteilung zu erhalten. Diese a posteriori Verteilung wird im nächsten Schritt, d.h. bei der nächsten Überfahrt eines Egofahrzeugs auf derselben Kreuzung und Spur, als a priori Verteilung benutzt. Über die Zeit sollte die a priori Verteilungen auf die richtigen Wahrscheinlichkeiten konvertieren, d.h. hohe und im Prinzip gegen Eins konvergierende Wahrscheinlichkeit für die betrachtete Ampelgruppe, niedrige und gegen Null gehende Wahrscheinlichkeiten für alle anderen.
-
4 zeigt eine reale Kreuzungssituation in Wolfsburg, nämlich die Kreuzung Lessingstraße und Goethestraße mit Anfahrt Richtung Süden. Zu erkennen sind von rechts nach links die drei Spuren S1, S2 und S3, wobei die rechte Spur S1 eine geradeaus Spur und Abbiegespur nach rechts, die mittlere Spur S2 eine reine Geradeausspur und die linke Spur S3 eine reine Abbiegespur nach links bilden. Gesteuert wird das Verkehrsverhalten dieser Anfahrtrichtung durch zwei Ampelgruppen g1 und g2, wobei die erste Ampelgruppe g1 die Ampeln a1 und a3 umfasst und die zweite Ampelgruppe g2 aus den Ampeln a2 und a4 besteht. Dabei steuert die Ampelgruppe g1 die Spuren S1 und S2 und die Ampelgruppe g2 ist für die Linksabbiegerspur S3 zuständig.
-
5 zeigt das sich für die in 4 dargestellte Kreuzung mit Anfahrtrichtung Süden ergebende Ampelbild, wobei dieses Ampelbild im Server anhand einer Vielzahl von Überfahrten analog zu dem anhand der 2 beschriebenen Verfahren erzeugt wird. Dargestellt ist das Ampelbild mit den Ampeln a1, a2, a3 und a4 in einem Koordinatensystem mit der Querrichtung Q und der Höhe H in metrischen Einheiten, wobei die Ampeln a1 und a3 zu einer ersten Ampelgruppe g1 und die Ampeln a2 und a4 zu einer zweiten Ampelgruppe g2 gehören, wie aus der Analyse der zu jeweiligen Überfahrtsevent gemessenen Phasenverläufe folgt.
-
6 zeigt das Ergebnis der oben erläuterten Bayes-Iteration für die rechte Spur S1 der 4. Dargestellt ist die Wahrscheinlichkeit P(g1, S1), dass die Ampelgruppe g1 die rechte Spur S1 steuert, gegenüber der Anzahl N der Ampelüberfahrten der Ego-Fahrzeuge auf dieser Spur. Ausgangspunkt ist die Initialisierung des Verfahrens mit der Wahrscheinlichkeit 0,4 für die 0te Überfahrt, da es zwei reale Ampelgruppen g1 und g2 gibt und folglich die initiale Überfahrtswahrscheinlichkeit 2/5 = 0,4 beträgt. Es ist zu erkennen, dass das Verfahren mit ab etwa acht Überfahrten gegen die Wahrscheinlichkeit P(g1, S1) von Eins konvergiert, dass die Fahrspur S1 von der Ampelgruppe g1 gesteuert wird.
-
7 zeigt das Ergebnis für die Spur S2 der 4. Auch hier ist zu erkennen, dass mit einer Initialisierung des Verfahrens mit der Wahrscheinlichkeit 0,4 mit ca. sechs Überfahrten das Ergebnis feststeht, nämlich das die Ampelgruppe g1 mit einer Wahrscheinlichkeit P(g1, S2) von ca. Eins für die Spur S2 zuständig ist.
-
8 zeigt ebenfalls den Verlauf der Wahrscheinlichkeit P(g2, S3) als Funktion der Überfahrten N, dass die Ampelgruppe g2 für die Linksabbiegespur S3 zuständig ist beginnend mit der Initialisierung der Wahrscheinlichkeit P(g2 ,S3) mit 0,4. Spätestens bei der vierten Überfahrt konvergiert das Bayes-Verfahren gegen den Wahrscheinlichkeitswert P(g2, S3) von Eins. Folglich kristallisiert sich innerhalb weniger Überfahrten heraus, dass die Ampelgruppe g2 die Linksabbiegerspur S3 kontrolliert.
-
9 zeigt in schematischer Darstellung einen Teil einer Kreuzung K, wobei in 9 von rechts nach links in Fahrtrichtung auf die Kreuzung K zu zwei Spuren S1 und S2 dargestellt sind, nämlich eine Abbiegespur S1 nach rechts und eine geradeaus führende Spur S2. Die rechte Spur S1 wird dabei von einer Ampel a1 gesteuert. Ferner kann anstelle der Ampel a1 ein Abbiegepfeil ap für die rechte Abbiegespur zuständig sein, welcher ein Rechtsabbiegen ermöglicht. Im Fall der Abbiegeampel a1 ist diese mit der zur Bayes-Iteration notwendigen Ampelgruppe g1 identisch, da. es sich in dem Beispiel nur um eine Ampel handelt. Die geradeausführende linke Spur S2 wird im Beispiel von einer Ampel a2 kontrolliert, die ebenfalls mit ihrer Ampelgruppe g2 identisch ist.
-
10 zeigt nun das Ergebnis der Zuordnung von Spur zur Ampelgruppe für die rechte Abbiegespur S1, wobei die Ampelgruppe g1 durch die Ampel a1 und die Ampelgruppe g2 durch die Ampel a2 realisiert sind. Ferner wird im Iterationsverfahren eine virtuelle Ampelgruppe g3 als Dummy-Ampelgruppe eingesetzt. Dargestellt ist die Wahrscheinlichkeit P gegenüber der Anzahl der Überfahrten N.
-
Die obere Kurve zeigt die Wahrscheinlichkeit P(g1, S1), dass die Spur S1 der 9 von der Ampelgruppe g1 gesteuert wird. Es ist offensichtlich, dass bereits nach sieben Überfahrten diese Wahrscheinlichkeit P(g1, S1) gegen den Wert Eins konvergiert, wobei die initiale Wahrscheinlichkeit der 0-ten Überfahrt den Wert 0,4 hat entsprechend der obigen Definition, da zwei reale Ampelgruppe existieren.
-
Die mittlere Kurve der 10 zeigt die als Funktion der Überfahrten N ermittelte Wahrscheinlichkeit P(g2, S1), dass die Ampelgruppe g2 die rechte Spur S1 steuert, was offensichtlich in dem Beispiel nicht zutrifft. Bereits nach sechs Überfahrten konvergiert die Wahrscheinlichkeit gegen Null. Auch diese Kurve beginnt mit der initialen Wahrscheinlichkeit von 0,4.
-
Gleiches gilt für die Wahrscheinlichkeit P(g3, S1), dass die virtuelle Ampelgruppe g3 irgendetwas mit der Spur S1 zu tun hätte. Auch hier konvergiert das Verfahren für die Dummy-Ampelgruppe g3 schnell gegen Null, ausgehend von dem initialen Wert 0,2 = 1/5 entsprechend der obigen Definition.
-
Ferner ist aus der
10 ersichtlich, dass gilt:
da die Summe aller möglichen Wahrscheinlichkeiten der Zuordnungen von Ampelgruppen zu der betrachteten Spur immer Eins ergeben muss.
-
11 zeigt die Ampelspurzuordnung an der Kreuzung K der 9, wobei angenommen wird, dass entweder die erste Ampelgruppe g1, die die Rechtsabbiegung auf der Spur S1 steuert, nicht erkannt wurde, beispielsweise weil die Ampel a1 außer Betrieb oder defekt ist, oder der Fall vorliegt, dass anstelle der Ampel a1 ein Rechtsabbiegepfeil ap den Verkehr auf der rechten Spur S1 steuert, der nicht erkannt wurde. In beiden Fällen wird also nur die Ampelgruppe g2, die mit der Ampel a2 identisch ist, erkannt.
-
Mit anderen Worten, für dieses Szenario existiert also nur eine reale Ampelgruppe g2, realisiert durch die Ampel a2 der 9.
-
11 zeigt nun den Fall einer Bayes-Iteration ohne eine Dummy-Ampelgruppe. Im Beispiel der defekten Ampel a1 oder des nicht erkannten Abbiegepfeils ap beträgt die Anzahl n der erkannten realen Ampelgruppen n = 1, da es nur eine reale Ampelgruppe g2 gib. Folglich wird der rechten Abbiegespur S1 diese Ampelgruppe g2 zugeordnet, was durch die Zuordnungswahrscheinlichkeit P(g2, S1) dargestellt ist, die für alle Überfahrten den Wert 1 annimmt. Dabei hat auch die initiale Zuordnungswahrscheinlichkeit für die 0-te Überfahrt den Wert 1, da die Summe aller Wahrscheinlichkeiten für eine Spur immer 1 ergeben muss. Es ist also nicht erkennbar, dass an dieser Stelle etwas falsch gelaufen ist.
-
12 zeigt nun eine Bayes-Iteration einschließlich einer fiktiven Dummy-Ampelgruppe im Fall des Beispiels einer defekten Ampel a1 oder eines nicht erkannten Abbiegepfeils ap in der Situation der
9. Wird dem Verfahren eine Dummy-Ampelgruppe hinzugefügt, hier mit g3 bezeichnet, so kann für die Spur S1 sowohl die Zuordnungswahrscheinlichkeit P(g1, S1) als auch die Zuordnungswahrscheinlichkeit P(g3, S1) ermittelt werden, wobei gelten muss:
-
Es ist ersichtlich, dass die beiden Zuordnungen nicht gegen Eins oder Null konvergieren, sondern sich zwischen den genannten Werten Eins und Null als Funktion der Anzahl der Überfahrten N oszillieren. Mit anderen Worten, da das Verfahren mit der Dummy-Ampelgruppe g3 nicht zu einer eindeutigen Aussage konvergiert, welche Ampelgruppe zu welcher Spur zuzuordnen ist, ist der Zustand der Kreuzung sozusagen unbestimmt. In diesem Fall kann das Verfahren also eine Warnung erzeugen und die Kreuzung K kann überprüft werden.
-
Bezugszeichenliste
-
- F
- Fahrzeugbereich
- EF
- Egofahrzeug
- K
- Kreuzung
- A
- Ampeln
- DE
- Datenerfassung und Vorverarbeitung
- Ü
- Übertragung (drahtlos)
- S
- Server
- DV
- Datenverarbeitung und Zuordnung
- T
- Tabelle
- K
- Karte
- H
- Höhe in m
- Q
- Querrichtung in m
- A1
- Ampel 1
- A2
- Ampel 2
- A3
- Ampel 3
- A4
- Ampel 4
- AG1
- Ampelgruppe 1
- AG2
- Ampelgruppe 2
- S1
- Spur 1
- S2
- Spur 2
- S3
- Spur 3
- g2
- Ampelgruppe
- g1
- Ampelgruppe
- a1
- Ampel
- a2
- Ampel
- a3
- Ampel
- a4
- Ampel
- ap
- Abbiegepfeil
- N
- Anzahl der betrachteten Überfahrten
- P
- Wahrscheinlichkeit
- P(g1, S1)
- Wahrscheinlichkeit der Zuordnung der Ampelgruppe g1 zur Spur S1
- P(g1, S2)
- Wahrscheinlichkeit der Zuordnung der Ampelgruppe g1 zur Spur S2
- P(g2, S3)
- Wahrscheinlichkeit der Zuordnung der Ampelgruppe g2 zur Spur S3
- P(g2, S1)
- Wahrscheinlichkeit der Zuordnung der Ampelgruppe g2 zur Spur S1
- P(g3, S1)
- Wahrscheinlichkeit der Zuordnung der Dummy-Ampelgruppe g3 zur Spur S1
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014205953 A1 [0006]
- DE 102018210125 A1 [0007]