DE102016217558A1

DE102016217558A1 - Verfahren zum Zuordnen einer Ampel zu einer Fahrspur, Fahrzeug und Speichermedium

Info

Publication number: DE102016217558A1
Application number: DE102016217558.0A
Authority: DE
Inventors: Ralph Grewe; Thomas Grotendorst; Bastian Zydek
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Teves AG and Co OHG
Priority date: 2016-09-14
Filing date: 2016-09-14
Publication date: 2018-03-15
Also published as: WO2018050181A1; DE112017003090A5

Abstract

Die Erfindung betrifft ein Verfahren zum Zuordnen einer Ampel zu einer Fahrspur, wobei erkannte Phasenfolgen mit erwarteten Phasenfolgen verglichen werden. Die Erfindung betrifft des Weiteren ein zugehöriges Fahrzeug und ein zugehöriges Speichermedium.

Description

Die Erfindung betrifft ein Verfahren zum Zuordnen einer Ampel zu einer Fahrspur sowie ein Fahrzeug und ein Speichermedium zum Ausführen eines solchen Verfahrens.
Ampeln werden in vielen Fällen eingesetzt, um den Verkehr zu regeln. Dabei können Ampeln auch in einer Weise eingesetzt werden, dass eine Ampel nur für eine bestimmte Fahrspur gilt, insbesondere wenn mehrere Fahrspuren nebeneinander angeordnet sind. Derartige Ampeln werden typischerweise unmittelbar über den Fahrspuren aufgehängt.
Es existieren Algorithmen, die in Einzelbildern oder Bildfolgen Ampeln sowie deren aktuelle Phase erkennen. Unter einer Phase ist dabei insbesondere zu verstehen, welches Licht oder welche Farbe gerade aufleuchtet. Typischerweise sind dies rot, gelb und grün. Nach der Detektion von Ampeln sowie deren aktueller Phase besteht das nächste Problem in der Bestimmung der für das eigene Fahrzeug bzw. Ego-Fahrzeug relevanten Ampel bzw. der allgemeinen Zuordnung von Ampeln zu Fahrspuren. Dies wird gemäß dem Stand der Technik beispielsweise mit regelbasierten Verfahren durchgeführt, welche beispielsweise auf einer Position der Ampel und/oder einer Reihenfolge basieren. Ein weiteres Problem besteht darin, dass für eine auf der Ampeldetektion aufbauende Funktion der zeitliche Verlauf der Phasenfolge bekannt sein sollte, zum Beispiel die genaue zeitliche Abfolge grün-gelb-rot. Diese Information ist typischerweise rein kamerabasiert aus einer Einzelfahrt nicht verfügbar, da die Schaltzeiten von Ampel zu Ampel unterschiedlich sein können und daher keine sichere Prädiktion möglich ist.
Über ein Backend bzw. eine Fahrzeug-zu-X-Kommunikation kann ein zweiter Kanal für Ampelinformationen realisiert werden, welcher auch eine mögliche Prädiktion der Ampelschaltzeitpunkte in der Zukunft ermöglicht. Allerdings ist die erhaltene Information zum einen zeitlich unsicher, da unklar ist, wann eine Schaltung rot-gelb-grün ausgelöst wird (zum Beispiel durch einen Fußgänger, einen Bus oder ein Einsatzfahrzeug), und da die Kommunikation mit erheblichen Latenzzeiten behaftet sein kann.
Es ist deshalb eine Aufgabe der Erfindung, ein Verfahren vorzusehen, welches im Vergleich zum Stand der Technik alternativ ausgeführt ist, beispielsweise eines oder mehrere der genannten Probleme löst. Es ist des Weiteren eine Aufgabe der Erfindung, ein Fahrzeug vorzusehen, welches dazu konfiguriert ist, ein solches Verfahren auszuführen. Außerdem ist es eine Aufgabe der Erfindung, ein Speichermedium vorzusehen, welches Programmcode enthält, bei dessen Ausführung ein Prozessor ein solches Verfahren ausführt.
Dies wird erfindungsgemäß durch ein Verfahren nach Anspruch 1, ein Fahrzeug nach Anspruch 13 und ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 15 erreicht. Vorteilhafte Ausgestaltungen können beispielsweise den jeweiligen Unteransprüchen entnommen werden. Der Inhalt der Ansprüche wird durch ausdrückliche Inbezugnahme zum Inhalt der Beschreibung gemacht.
Die Erfindung betrifft ein Verfahren zum Zuordnen einer Ampel zu einer Fahrspur, welches folgende Schritte aufweist:

– Aufnehmen einer Bildfolge von der Ampel,
– Erkennen einer Phasenfolge der Ampel in der Bildfolge,
– Vergleichen der erkannten Phasenfolge mit Phasendaten, wobei die Phasendaten eine Anzahl erwarteter Phasenfolgen für jeweilige Fahrspuren beinhalten, und
– Zuordnen der Ampel zu einer Fahrspur, wenn die erkannte Phasenfolge mit einer für diese Fahrspur erwarteten Phasenfolge übereinstimmt.

Mittels des erfindungsgemäßen Verfahrens ist in vorteilhafter Weise eine zuverlässige Zuordnung einer Ampel zu einer Fahrspur möglich. Hierzu kann auf die Phasendaten zurückgegriffen werden, wobei erkannte Phasenfolgen den Daten zugeordnet werden können.
Eine Phasenfolge kann insbesondere einen Übergang zwischen zwei oder drei beleuchteten Flächen und/oder Farben der Ampel beinhalten. Typischerweise handelt es sich dabei um die Farben rot, gelb und grün, welche durch unterschiedliche beleuchtete Flächen bzw. Lampen realisiert sind.
Eine Phasenfolge kann insbesondere eine Zeitdauer aufweisen, für welche eine beleuchtete Fläche und/oder eine Farbe der Ampel aufleuchtet. Dies kann die Zuordnung erleichtern, da derartige Zeitdauern typischerweise gut erkannt und verglichen werden können.
Eine Phasenfolge kann insbesondere eine Uhrzeit aufweisen, zu welcher eine beleuchtete Fläche und/oder eine Farbe der Ampel eingeschaltet wird oder ausgeschaltet wird. Auch dies kann eine besonders genaue und zuverlässige Zuordnung ermöglichen.
Die Phasendaten können gemäß einer Ausführung in einer fahrzeuginternen Datenbank gespeichert sein. Die Phasendaten der fahrzeuginternen Datenbank können insbesondere aus vorher erkannten Phasendaten gebildet sein. Dadurch kann ein Fahrzeug sich selbst seine eigene Datenbank mit Phasendaten aufbauen.
Gemäß einer weiteren Ausführung, welche alternativ zur eben beschriebenen Ausführung sein kann oder auch mit dieser kombiniert werden kann, können die Phasendaten mittels Fahrzeug-zu-X-Kommunikation oder mittels einer anderen Funkkommunikation erhalten werden. Dies erlaubt eine Versorgung von Fahrzeugen mit Phasendaten über Funkkommunikation, was laufende Aktualisierungen und Abgleichsoperationen durch eine Zentralstelle ermöglicht.
Die Phasendaten jeder Ampel können insbesondere mit einer Fahrspur verknüpft sein. Dies ermöglicht eine genaue Zuordnung der jeweiligen Fahrspur zu einer Ampel und umgekehrt.
Bei der Bildfolge kann es sich insbesondere um eine Bildfolge einer Mehrzahl von Ampeln handeln, wobei eine jeweilige Phasenfolge für jede der Ampeln erkannt wird, und wobei eine Anzahl der Ampeln oder jede der Ampeln einer jeweiligen Fahrspur zugeordnet werden. Dadurch kann eine Zuordnung mehrerer Ampeln zu jeweiligen Fahrspuren, wie sie typischerweise bei mehrspurigen Straßen vorkommen, in vorteilhafter Weise erreicht werden.
Gemäß einer vorteilhaften Ausführung weist das Verfahren ferner folgenden Schritt auf:

– Erkennen, dass zumindest eine erwartete Phasenfolge der Phasendaten mit keiner erkannten Phasenfolge übereinstimmt, und
– darauf ansprechend Feststellen, dass eine zu der erwarteten Phasenfolge zugeordnete Ampel nicht erkannt oder nicht aufgenommen wurde. Damit können beispielsweise Fehler im Erkennungssystem oder in den Phasenfolgen erkannt werden.

Gemäß einer vorteilhaften Ausführung weist das Verfahren ferner folgenden Schritt auf:

– Voraussagen einer künftigen Ampelphase einer Ampel basierend auf der erkannten Ampelphase und der erwarteten Ampelphase.

Die Bildfolge kann insbesondere mittels einer Kamera aufgenommen werden. Es kann jedoch grundsätzlich auch die Bildfolge durch andere Kommunikationswege aufgenommen werden, beispielsweise kann die Ampel entsprechende Signale aussenden, welche das Fahrzeug erkennen kann. Dabei kann es sich beispielsweise um Fahrzeug-zu-X-Nachrichten handeln.
Die Erfindung betrifft des Weiteren ein Fahrzeug, welches dazu konfiguriert ist, ein Verfahren gemäß der Erfindung auszuführen. Dabei kann auf alle hierin beschriebenen Ausführungen und Varianten zurückgegriffen werden.
Das Fahrzeug kann bevorzugt ferner dazu konfiguriert sein, eine jeweilige Zuordnung einer Ampel zu einer Fahrspur einem Fahrer des Fahrzeugs anzuzeigen und/oder für eine autonome Fahrzeugsteuerung zu verwenden. Dies entspricht einer typischen Verwendung der durch das erfindungsgemäße Verfahren erhaltenen Information.
Die Erfindung betrifft des Weiteren ein nichtflüchtiges computerlesbares Speichermedium, welches Programmcode enthält, bei dessen Ausführung ein Prozessor ein erfindungsgemäßes Verfahren ausführt. Dabei kann auf alle hierin beschriebenen Ausführungen und Varianten zurückgegriffen werden.
Es kann davon gesprochen werden, dass die beispielsweise über Backend- bzw. Fahrzeug-zu-X-Kommunikation bereitgestellten Informationen so mit den kamerabasierten Informationen verbunden werden können, dass aus Sicht einer ADAS/AD-Funktion ein Mehrwert erzeugt werden kann.
Eine Möglichkeit besteht darin, die Zuordnung der von der Kamera detektierten Ampeln zum Ego-Fahrzeug bzw. zum Fahrstreifen zu verbessern, indem die Schaltzeitpunkte der Ampeln berücksichtigt werden. So werden zum Beispiel zum aktuellen Zeitpunkt t0 zwei Ampeln und zwei Fahrstreifen A und B detektiert, die zum Zeitpunkt t0 beide grün sind. Über das Backend wird die Information erhalten, dass die Ampel für Fahrstreifen A zum (zukünftigen) Zeitpunkt t1 auf gelb schaltet, während die Ampel für Fahrstreifen B zunächst grün bleibt. Wenn die Kamera zur Zeit t1 detektiert, dass eine der zwei Ampeln auf gelb schaltet, kann sie diese sicher dem Fahrstreifen A zuordnen.
Insbesondere kann der zeitliche Verlauf auch in wenig eindeutigen Situationen für eine Verbesserung der Zuordnung verwendet werden. So können zum Beispiel drei Ampeln 1, 2 und 3 für die zwei Fahrstreifen A und B detektiert werden, womit eine eindeutige Zuordnung nicht mehr möglich ist. Wird jedoch zum Zeitpunkt t1 detektiert, dass die zwei Ampeln 1 und 2 auf gelb schalten, können beide Ampeldetektionen dem Fahrstreifen A zugeordnet werden.
Ebenso kann erkannt werden, ob eine Ampel nicht detektiert werden konnte. Wenn zum Beispiel nur eine Ampel detektiert wurde, die zum Zeitpunkt t1 ihre Phase nicht ändert, kann mit einer gewissen Wahrscheinlichkeit davon ausgegangen werden, dass die Ampel für den Fahrstreifen A nicht detektiert wurde.
Neben der Bereitstellung über ein Backend bzw. eine Fahrzeug-zu-X-Kommunikation kann auch eine Datenbank im Fahrzeug aufgebaut werden, welche typische Schaltzeiten und Schaltzeitpunkte für regelmäßig befahrene Stammstrecken enthält.
Ein weiterer Vorteil kann nach erfolgter Zuordnung der kamerabasierten Detektionen zu dem vom Backend erhaltenen Informationen über die zeitlichen Phasenverläufe erhalten werden, da bei den vom Backend erhaltenen Daten zwar eine hohe Sicherheit über den zeitlichen Verlauf nach erfolgter Schaltung besteht (zum Beispiel ist genau klar, dass die Gelbphase fünf Sekunden dauert), aber es besteht eine Rest-Unsicherheit, wann genau die Schaltfolge eingeleitet wird. Nachdem mit der Kamera erkannt wurde, dass eine Ampel auf gelb geschaltet hat, ist sicher, dass die Schaltung eingeleitet wurde. In Kombination mit den Backend-Informationen kann dann mit großer Sicherheit der zukünftige Verlauf der Ampelphasen vorhergesagt werden, was rein kamerabasiert nicht möglich ist.
Weitere Merkmale und Vorteile wird der Fachmann dem nachfolgend mit Bezug auf die beigefügte Zeichnung beschriebenen Ausführungsbeispiel entnehmen. Dabei zeigt:
1: eine Situation, in welcher das erfindungsgemäße Verfahren durchgeführt werden kann.
1 zeigt schematisch eine Straße 1, welche eine rechte Fahrspur 5 und eine linke Fahrspur 6 aufweist. Über der rechten Fahrspur 5 ist eine erste Ampel 15 aufgehängt. Über der linken Fahrspur 6 ist eine zweite Ampel 16 aufgehängt. Die beiden Ampeln 15, 16 sind als normale Verkehrsampeln mit den drei Farben rot, gelb und grün ausgebildet. Sie sperren jeweils nur diejenige Fahrspur, über welcher sie aufgehängt sind, bzw. geben diese frei.
Auf der rechten Fahrspur 5 fährt ein Fahrzeug 10, welches hier lediglich schematisch dargestellt ist. Das Fahrzeug 10 weist eine Kamera 12 und ein Fahrzeug-zu-X-Kommunikationsmodul 13 auf. Mittels der Kamera 12 kann das Fahrzeug 10 die beiden Ampeln 15, 16 erfassen und dabei auch erkennen, in welcher Phase sich die Ampeln 15, 16 gerade befinden. Insbesondere kann dabei erkannt werden, welche Farbe bzw. welche Fläche der jeweiligen Ampel 15, 16 gerade leuchtet. Auch Umschaltzeiten können entsprechend erkannt werden. Daraus können Phasenfolgen ermittelt werden.
Über das Fahrzeug-zu-X-Kommunikationsmodul 13 kann das Fahrzeug 10 Phasendaten von einem nicht gezeigten zentralen Server empfangen, wobei diese Phasendaten unter anderem angeben, zu welchen Zeiten die beiden Ampeln 15, 16 eine jeweilige Phase einnehmen bzw. ihre Phase wechseln sollen. Derartige Daten können als erwartete Phasenfolge bezeichnet werden. Wird eine solche Phase bzw. ein Phasenwechsel mittels durch die Kamera 12 aufgenommener Bilder erkannt, so kann eine entsprechende Zuordnung erfolgen. Anders ausgedrückt erkennt das Fahrzeug 10 anhand einer Übereinstimmung von mittels der Kamera 12 erkannten Phasendaten und über das Fahrzeug-zu-X-Kommunikationsmodul 13 erkannten Phasendaten, dass eine Ampel 15, 16 einer jeweiligen Fahrspur 5, 6 zugeordnet ist. Entsprechende Zuordnungsinformationen sind hierzu in den über Fahrzeug-zu-X-Kommunikation erhaltenen Phasendaten enthalten.
Es sei verstanden, dass dieses Ausführungsbeispiel lediglich schematisch ist und grundsätzlich alle weiter oben beschriebenen Ausführungen und Varianten des erfindungsgemäßen Verfahrens verwendet werden können.
Allgemein sei darauf hingewiesen, dass unter Fahrzeug-zu-X-Kommunikation insbesondere eine direkte Kommunikation zwischen Fahrzeugen und/oder zwischen Fahrzeugen und Infrastruktureinrichtungen verstanden wird. Beispielsweise kann es sich also um Fahrzeug-zu-Fahrzeug-Kommunikation oder um Fahrzeug-zu-Infrastruktur-Kommunikation handeln. Sofern im Rahmen dieser Anmeldung auf eine Kommunikation zwischen Fahrzeugen Bezug genommen wird, so kann diese grundsätzlich beispielsweise im Rahmen einer Fahrzeug-zu-Fahrzeug-Kommunikation erfolgen, welche typischerweise ohne Vermittlung durch ein Mobilfunknetz oder eine ähnliche externe Infrastruktur erfolgt und welche deshalb von anderen Lösungen, welche beispielsweise auf ein Mobilfunknetz aufbauen, abzugrenzen ist. Beispielsweise kann eine Fahrzeug-zu-X-Kommunikation unter Verwendung der Standards IEEE 802.11p oder IEEE 1609.4 erfolgen. Eine Fahrzeug-zu-X-Kommunikation kann auch als C2X-Kommunikation bezeichnet werden. Die Teilbereiche können als C2C (Car-to-Car) oder C2I (Car-to-Infrastructure) bezeichnet werden. Die Erfindung schließt jedoch Fahrzeug-zu-X-Kommunikation mit Vermittlung beispielsweise über ein Mobilfunknetz explizit nicht aus.
Erwähnte Schritte des erfindungsgemäßen Verfahrens können in der angegebenen Reihenfolge ausgeführt werden. Sie können jedoch auch in einer anderen Reihenfolge ausgeführt werden. Das erfindungsgemäße Verfahren kann in einer seiner Ausführungen, beispielsweise mit einer bestimmten Zusammenstellung von Schritten, in der Weise ausgeführt werden, dass keine weiteren Schritte ausgeführt werden. Es können jedoch grundsätzlich auch weitere Schritte ausgeführt werden, auch solche welche nicht erwähnt sind.
Die zur Anmeldung gehörigen Ansprüche stellen keinen Verzicht auf die Erzielung weitergehenden Schutzes dar.
Sofern sich im Laufe des Verfahrens herausstellt, dass ein Merkmal oder eine Gruppe von Merkmalen nicht zwingend nötig ist, so wird anmelderseitig bereits jetzt eine Formulierung zumindest eines unabhängigen Anspruchs angestrebt, welcher das Merkmal oder die Gruppe von Merkmalen nicht mehr aufweist. Hierbei kann es sich beispielsweise um eine Unterkombination eines am Anmeldetag vorliegenden Anspruchs oder um eine durch weitere Merkmale eingeschränkte Unterkombination eines am Anmeldetag vorliegenden Anspruchs handeln. Derartige neu zu formulierende Ansprüche oder Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen.
Es sei ferner darauf hingewiesen, dass Ausgestaltungen, Merkmale und Varianten der Erfindung, welche in den verschiedenen Ausführungen oder Ausführungsbeispielen beschriebenen und/oder in den Figuren gezeigt sind, beliebig untereinander kombinierbar sind. Einzelne oder mehrere Merkmale sind beliebig gegeneinander austauschbar. Hieraus entstehende Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen.
Rückbezüge in abhängigen Ansprüchen sind nicht als ein Verzicht auf die Erzielung eines selbständigen, gegenständlichen Schutzes für die Merkmale der rückbezogenen Unteransprüche zu verstehen. Diese Merkmale können auch beliebig mit anderen Merkmalen kombiniert werden.
Merkmale, die lediglich in der Beschreibung offenbart sind oder Merkmale, welche in der Beschreibung oder in einem Anspruch nur in Verbindung mit anderen Merkmalen offenbart sind, können grundsätzlich von eigenständiger erfindungswesentlicher Bedeutung sein. Sie können deshalb auch einzeln zur Abgrenzung vom Stand der Technik in Ansprüche aufgenommen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Standards IEEE 802.11p [0034]
IEEE 1609.4 [0034]

Claims

Verfahren zum Zuordnen einer Ampel (15, 16) zu einer Fahrspur (5, 6), welches folgende Schritte aufweist: – Aufnehmen einer Bildfolge von der Ampel (15, 16), – Erkennen einer Phasenfolge der Ampel (15, 16) in der Bildfolge, – Vergleichen der erkannten Phasenfolge mit Phasendaten, wobei die Phasendaten eine Anzahl erwarteter Phasenfolgen für jeweilige Fahrspuren (5, 6) beinhalten, und – Zuordnen der Ampel (15, 16) zu einer Fahrspur (5, 6), wenn die erkannte Phasenfolge mit einer für diese Fahrspur (5, 6) erwarteten Phasenfolge übereinstimmt.
Verfahren nach Anspruch 1, – wobei eine Phasenfolge einen Übergang zwischen zwei oder drei beleuchteten Flächen und/oder Farben der Ampel (15, 16) beinhaltet.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei eine Phasenfolge eine Zeitdauer aufweist, für welche eine beleuchtete Fläche und/oder eine Farbe der Ampel (15, 16) aufleuchtet.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei eine Phasenfolge eine Uhrzeit aufweist, zu welcher eine beleuchtete Fläche und/oder eine Farbe der Ampel (15, 16) eingeschaltet wird oder ausgeschaltet wird.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei die Phasendaten in einer fahrzeuginternen Datenbank gespeichert sind.
Verfahren nach Anspruch 5, – wobei die Phasendaten der fahrzeuginternen Datenbank aus vorher erkannten Phasendaten gebildet sind.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei die Phasendaten mittels Fahrzeug-zu-X-Kommunikation oder mittels einer anderen Funkkommunikation erhalten werden.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei die Phasendaten jeder Ampel (15, 16) mit einer Fahrspur (5, 6) verknüpft sind.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei es sich bei der Bildfolge um eine Bildfolge einer Mehrzahl von Ampeln (15, 16) handelt, – wobei eine jeweilige Phasenfolge für jede der Ampeln (15, 16) erkannt wird, und – wobei eine Anzahl der Ampeln (15, 16) oder jede der Ampeln (15, 16) einer jeweiligen Fahrspur (5, 6) zugeordnet werden.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner folgenden Schritt aufweist: – Erkennen, dass zumindest eine erwartete Phasenfolge der Phasendaten mit keiner erkannten Phasenfolge übereinstimmt, und – darauf ansprechend Feststellen, dass eine zu der erwarteten Phasenfolge zugeordnete Ampel (15, 16) nicht erkannt oder nicht aufgenommen wurde.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner folgenden Schritt aufweist: – Voraussage einer künftigen Ampelphase einer Ampel (15, 16) basierend auf der erkannten Ampelphase und der erwarteten Ampelphase.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei die Bildfolge mittels einer Kamera (12) aufgenommen wird.
Fahrzeug (10), welches dazu konfiguriert ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Fahrzeug (10) nach Anspruch 13, welches ferner dazu konfiguriert ist, eine jeweilige Zuordnung einer Ampel (15, 16) zu einer Fahrspur (5, 6) einem Fahrer des Fahrzeugs (10) anzuzeigen und/oder für eine autonome Fahrzeugsteuerung zu verwenden.
Nichtflüchtiges computerlesbares Speichermedium, welches Programmcode enthält, bei dessen Ausführung ein Prozessor ein Verfahren nach einem der Ansprüche 1 bis 12 ausführt.