-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen, die insbesondere für den Einsatz in Fahrerassistenzsystemen geeignet sind.
-
Für die automatische Erkennung und Interpretation von Lichtsignalanlagen für die Verkehrsregelung bzw. Ampeln durch Fahrerassistenzsysteme ist es erforderlich, dass die Anlagen bzw. Ampeln in Betrieb sind und Lichtzeichen abgeben. Die in Systemen zur Ampelerkennung implementierten Algorithmen verarbeiten von Farbkameras erfasste Bilder und erkennen in den Bildern die Ampel-Lichtzeichen rot-gelb-grün.
-
Aufgabe der vorliegenden Erfindung ist es nun, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen vorzuschlagen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass aktuelle Erkennungssysteme für Ampeln nur angeschaltete Lichtzeichen berücksichtigen, wodurch zwei Probleme auftreten können: zum einen gibt es Schilder, die einen Einfluss auf die Bedeutung einer Ampel haben wie in Deutschland z.B. der „grüne Pfeil“ zum Rechtsabbiegen, und zum anderen werden Ampeln zum Teil durch nicht vollständige Lichtzeichen ergänzt, die für bestimmte Richtungen Sonderregelungen treffen, beispielsweise eine zusätzliche Ampel für Rechts- oder Linksabbieger an einer Kreuzung. Dies kann zu Problemen bei der automatischen Interpretation von Ampeln und/oder Kreuzungssituationen führen. Hier setzt nun die der vorliegenden Erfindung zugrunde liegende Idee an. Wenn sich ein Fahrzeug mit einem System zur automatischen Ampelerkennung einer Ampel nähert oder an dieser steht, können durch einen oder mehrere Zusatzerkenner das Umfeld der schon erkannten Ampeln überwacht und die oben genannten Sonderfälle erkannt werden, um eine richtige Interpretation der Situation an Ampeln bzw. Kreuzungen zu ermöglichen. Eine bereits erkannte Ampel kann beispielsweise nur dann berücksichtigt werden, wenn eine Zusatzinformation erkannt wurde. Dies erhöht die Wahrscheinlichkeit, dass die Ampel auch tatsächlich relevant, und nicht eine Fußgängerampel oder eine andere nicht relevante Ampel ist. Von einem Zusatzerkenner gemäß der Erfindung erkannte Informationen können auch nur in bestimmten Ampelphasen gesucht werden, beispielsweise wenn das Fahrzeug die dafür relevante Spur befährt. Es kann ferner vorgesehen sein, dass ein Zusatzzeichen nur dann relevant ist, wenn das Fahrzeug die entsprechende Spur befährt oder wenn der Fahrtrichtungsanzeiger oder die Navigation diese Richtung anzeigt. Verbessere Interpretation der Situation in Kreuzungsszenarien durch erweiterte Bildverarbeitungsalgorithmen, bezogen auf Sonderampeln und Verkehrszeichen. Durch die Erfindung kann die Interpretation von Kreuzungs- und Ampelsituationen verbessert werden. Außerdem kann die Erfindung die Rechenlast auf einem Steuergerät eines Fahrerassistenzsystems reduzieren, weil Algorithmen nur in Sonderfällen (Ampelsituationen) laufen müssen.
-
Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen aufweisend die folgenden Schritte:
Erkennen einer Lichtsignalanlage,
Erkennen eines von der erkannten Lichtsignalanlage angezeigten primären Signals,
Erkennen von einem oder mehreren sekundären Signalen in einem vorgegebenen Umfeld der erkannten Lichtsignalanlage, und
Interpretieren des primären Signals unter Berücksichtigung von erkannten sekundären Signalen.
-
Das Interpretieren des primären Signals unter Berücksichtigung von erkannten sekundären Signalen kann insbesondere folgendes aufweisen: Interpretieren des primären Signals nur dann, wenn ein sekundäres Signal erkannt wurde. Dadurch kann die Rechenbelastung durch eine Algorithmus reduziert werden, der das Verfahren implementiert, die in bestimmten Situationen weniger Operationen ausgeführt werden müssen.
-
In einer Ausführungsform des Verfahrens kann der Schritt des Erkennens von einem oder mehreren sekundären Signalen in einem vorgegebenen Umfeld der erkannten Lichtsignalanlage nur dann ausgeführt werden, wenn ein vorgegebenes primäres Signal erkannt wurde. Auch hierdurch kann die Rechenbelastung durch einen das Verfahren implementierende Algorithmus reduziert werden.
-
Schließlich kann in einer Ausführungsform des Verfahrens der Schritt des Erkennens von einem oder mehreren sekundären Signalen in einem vorgegebenen Umfeld der erkannten Lichtsignalanlage auch nur dann ausgeführt werden, wenn eine vorgegebene Fahrspur befahren wird. Hierdurch können unnötige Operationen durch einen das Verfahren implementierenden Algorithmus vermieden werden, da beispielsweise beim Befahren einer mittleren Spur, in der weder Rechts- noch Links-Abbiegen erlaubt ist, nur das primäre Signal von Bedeutung ist.
-
Erkannte sekundäre Signale können in einer weiteren Ausführungsform des Verfahrens auch nur dann beim Interpretieren des primären Signals berücksichtigt werden, wenn eine vorgegebene Fahrspur befahren wird und/oder wenn ein Richtungssignal eine von einem erkannten Signal signalisierte Richtung anzeigt. Beispielsweise kann beim Befahren einer rechten Fahrspur oder bei einem eingeschalteten rechten Blinklicht eine Berücksichtigung von erkannten sekundären Signalen bei der Interpretation des primären Signals ausgeführt werden, um spezielle Rechtsabbieger-Sekundär-Lichtsignale oder -Zeichen berücksichtigen zu können.
-
Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen mit ersten Mitteln zum Erkennen einer Lichtsignalanlage und zum Erkennen eines von der erkannten Lichtsignalanlage angezeigten primären Signals, zweiten Mitteln zum Erkennen von einem oder mehreren sekundären Signalen in einem vorgegebenen Umfeld der erkannten Lichtsignalanlage, und dritten Mitteln zum Interpretieren des primären Signals unter Berücksichtigung von erkannten sekundären Signalen.
-
Die ersten und zweiten Mittel können durch einen oder mehrere Bildverarbeitungsalgorithmen implementiert sein, die mit einer Farbkamera erfasste Bilder verarbeiten, und der mindestens eine Bildverarbeitungsalgorithmus kann derart konfiguriert sein, dass er in den erfassten Bildern eine Lichtsignalanlage und ein von der Lichtsignalanlage angezeigtes primäres Signal und in einem vorgegebenen Umfeld der Lichtsignalanlage ein oder mehrere sekundäre Signale erkennen kann und das primäre Signal unter Berücksichtigung erkannter sekundärer Signale interpretieren kann.
-
Der mindestens eine Bildverarbeitungsalgorithmus kann ferner derart konfiguriert sein, dass die Erkennung von Sekundärsignalen nur bei bestimmten erkannten primären Signalen ausgeführt wird oder umgekehrt.
-
Die Vorrichtung kann weiterhin zum Ausführen eines Verfahrens nach der Erfindung und wie hierin beschrieben ausgebildet sein.
-
Schließlich betrifft eine Ausführungsform der Erfindung ein Fahrerassistenzsystem mit einer Vorrichtung nach der Erfindung und wie hierin beschrieben.
-
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
-
Die Zeichnungen zeigen in
-
1 eine Ampel mit Zusatzampel für Rechtsabbieger, die mittels eines Verfahrens gemäß der Erfindung erkannt und interpretiert werden kann und typischerweise in Deutschland an Kreuzungen aufgestellt ist;
-
2 eine Ampel mit Schild für Rechtsabbieger, die mittels eines Verfahrens gemäß der Erfindung erkannt und interpretiert werden kann und typischerweise in Deutschland an Kreuzungen aufgestellt ist;
-
3 ein Flussdiagram eines Ausführungsbeispiels Verfahren zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen gemäß der Erfindung; und
-
4 ein Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen gemäß der Erfindung.
-
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.
-
1 zeigt eine Ampel 10 mit einer Zusatzampel für Rechtsabbieger, die herkömmlichen Algorithmen zur Ampelerkennung Probleme aufgrund der Zusatzampel bereiten kann. Auch die in 2 gezeigte Ampel 24 mit einem sogenannten Rechtsabbieger- oder Grün-Pfeil, der gemäß der deutschen Straßenverkehrs-Ordnung eine nicht leuchtende Ergänzung an einer Ampel ist, bereitet herkömmlichen Ampelerkennungsalgorithmen Probleme bei der Interpretation der gezeigten Situation. Selbstverständlich ist die vorliegende Erfindung nicht auf die Erkennung von Lichtsignalanlagen und Verkehrszeichen gemäß der deutschen Straßenverkehrs-Ordnung beschränkt, sondern kann prinzipiell zur Erkennung und Interpretation von internationalen Lichtzeichenanlagen, Verkehrszeichen und Regelungen verwendet werden. Nachfolgend wird die Erfindung vor allem unter Bezug auf in Deutschland typischerweise an Kreuzungen aufgestellten Ampeln, wie die in 1 und 2 gezeigten Anlagen erläutert.
-
Im Folgenden wird nun unter Bezug auf das in 3 gezeigte Flussdiagramm eines erfindungsgemäßen Algorithmus zum automatischen Erkennen und Interpretieren von Lichtzeichenanlagen wie die in 1 und 2 dargestellten Beispiele erläutert, wie derartige Ampelanlagen automatisch erkannt und korrekt interpretiert werden. Der Algorithmus verarbeitet als Eingangsdaten Bilder einer Verkehrsszenerie, die mit einer Fahrzeugkamera erfasst wurden, insbesondere einer Farbkamera, die im Bereich des Rückspiegels an der Windschutzscheibe eines Fahrzeugs angebracht sein kann und die Szenerie vor dem Fahrzeug erfasst. Die erfassten Bilder werden in digitaler Form von einem Kameramodul an eine Vorrichtung zum automatischen Erkennen und Interpretieren von Lichtsignalanlagen übermittelt, wie sie beispielsweise in 4 anhand eines Blockschaltbilds dargestellt ist. Die Vorrichtung führt den erwähnten erfindungsgemäßen Algorithmus aus, der beispielsweise in einer Firmware oder Software der Vorrichtung implementiert sein kann und von einem Prozessor der Vorrichtung ausgeführt wird. Als Ausgangsdaten kann die Vorrichtung Daten zu erkannten und interpretierten Ampeln erzeugen und beispielsweise an ein Fahrerassistenzsystem ausgeben, das die Daten weiterverarbeiten kann. Der Algorithmus kann verschiedene Bildverarbeitungsalgorithmen implementieren, die speziell zum Erkennen verschiedener Signale einer Ampelanlage konfiguriert sind, wie im Folgenden erläutert wird.
-
In einem ersten Schritt S10 des Algorithmus führt ein erster Bildverarbeitungsalgorithmus eine Ampelerkennung durch, bei welcher in erfassten Bildern die Ampel 12 erkannt wird. Dies kann auf bekannte Art und Weise geschehen, beispielsweise durch Erkennen der typischen Merkmale einer Ampel wie drei auf einer vertikalen Linie angeordnete Lichtzeichen oder durch Erkennen von horizontal angeordneten Lichtzeichen einer um 90° verdrehten Ampel (wie beispielsweise an Tunneleinfahrten angebrachte Ampeln). Die erkannte Ampel 10 bzw. 24 wird durch den ersten Bildverarbeitungsalgorithmus durch eine bounding box (einen Begrenzungskasten) 14 in den erfassten Bildern gekennzeichnet.
-
In einem darauffolgenden Schritt S12 führt der erste Bildalgorithmus in der bounding box 14 eine Erkennung eines primären Signals der erkannten Ampel 12 durch und erkannt als primäres Signal ein Rotlichtsignal 16 der Ampel 12. Das erkannte Rotlichtsignal 16 bewirkt nun, dass ein zweiter Bildverarbeitungsalgorithmus ausgeführt wird. Es kann vorgesehen sein, dass der zweite Bildverarbeitungsalgorithmus nur unter bestimmten Voraussetzungen ausgeführt wird, beispielsweise um die Rechenlast durch den Algorithmus zu reduzieren.
-
Folgende Varianten des Algorithmus in Bezug auf das bedingte ausführen des zweiten Bildverarbeitungsalgorithmus können beispielsweise vorgesehen sein:
- 1. Ausführen nur bei Erkennen eines vorgegebenen primären Signals. beispielsweise kann vorgesehen sein, dass eine Ausführung des zweiten Bildverarbeitungsalgorithmus bei den in 1 und 2 dargestellten Ampelanlagen nicht erforderlich ist, wenn im Schritt S12 anstelle des Rotlichtsignals 16 ein Grünlichtsignal als primäres Signal erkannt wird, und der Algorithmus kann nach dem Schritt S12 entweder stoppen oder wieder zu Schritt S10 zurückverzweigen, um die Ampelerkennungsroutine weiter auszuführen.
- 2. Ausführen nur bei Befahren einer bestimmten Fahrspur: beispielsweise kann vorgesehen sein, dass eine Ausführung des zweiten Bildverarbeitungsalgorithmus bei den in 1 und 2 dargestellten Ampelanlagen nur dann erforderlich ist, wenn das Fahrzeug die rechte Fahrspur befährt. Befährt das Fahrzeug dagegen eine mittlere oder linke Fahrspur, kann der Algorithmus nach dem Schritt S12 entweder stoppen oder wieder zu Schritt S10 zurückverzweigen, um die Ampelerkennungsroutine weiter auszuführen.
-
Die vorgenannten Varianten des Algorithmus können beispielsweise durch Routinen implementiert werden, die bestimmte Bedingungen wie „erkanntes primäres Signal = Rotlichtsignal?“ oder „befahrene Fahrspur = rechte Fahrspur?“ überprüfen.
-
Im Folgenden wird nun davon ausgegangen, dass der zweite Bildverarbeitungsalgorithmus ausgeführt wird und mit Schritt S14 fortgefahren wird, in dem eine Erkennung eines vorgegebenen Umfelds der erkannten Lichtsignalanlage ausgeführt wird. Hierzu wird in einem rechts von der bounding box 14 der im Schritt S10 erkannten Ampel angeordneten vorgegebenen Umfeld 20 eine Erkennung durchgeführt, um sekundäre Signale in diesem Umfeld 20 zu identifizieren.
-
Bei der in 1 dargestellten Anlage 10 wird im Umfeld 20 eine Zusatzampel 18 für Rechtsabbieger erkannt, die gerade ein Grünlichtsignal 22 für Rechtsabbieger anzeigt. Das Grünlichtsignal 22 wird vom zweiten Bildverarbeitungsalgorithmus als sekundäres Signal erkannt.
-
Bei der in 2 dargestellten Anlage 24 wird im Umfeld 20 ein Schild 26 für Rechtsabbieger erkannt, das den oben erwähnten Rechtsabbiegeroder Grün-Pfeil zeigt. Der Rechtsabbieger- oder Grün-Pfeil 28 wird vom zweiten Bildverarbeitungsalgorithmus in diesem Fall als sekundäres Signal erkannt.
-
Der zweite Bildverarbeitungsalgorithmus interpretiert nun im Schritt S16 das primäre (Licht-)Signal, d.h. für die in 1 und 2 dargestellten Fälle das erkannten Rotlichtsignal unter Berücksichtigung vom erkannten sekundären Signal, d.h. dem Grünlichtsignal (1) bzw. dem Grün-Pfeil (2). Die Interpretation wird vom Algorithmus hierbei wie folgt durchgeführt:
- – Ausgabe „Stopp“ wenn (primäres Signal = Rotlicht) und ((sekundäres Signal = Rotlicht) oder (sekundäres Signal <> Grünpfeil))
- – Ausgabe „Rechtabbiegen erlaubt“ wenn (primäres Signal = Rotlicht) und ((sekundäres Signal = Grünlicht) oder (sekundäres Signal = Grünpfeil)
-
Es kann auch vorgesehen sein, dass der Schritt S16 des Interpretierens nur ausgeführt wird, wenn überhaupt ein sekundäres Signal erkannt wurde. Wurde beispielsweise kein sekundäres Signal im Schritt S14 erkannt, kann der Algorithmus entweder stoppen oder wieder zu Schritt S10 zurückverzweigen, ohne den Schritt S16 überhaupt auszuführen. Hierdurch können unnötige Rechenoperationen durch den zweiten Bildverarbeitungsalgorithmus vermieden werden.
-
In einer weiteren Variante kann ferner vorgesehen sein, dass im Schritt S16 sekundäre Signale für das Interpretieren des primären Signals nur berücksichtigt werden, wenn bestimmte Bedingungen erfüllt sind, wie beispielsweise Befahren einer vorgegebenen Fahrspur und/oder wenn ein Richtungssignal wie ein Blinker eine Richtung anzeigt, die einer von einem sekundären Signal signalisierten Richtung entspricht. Beispielsweise kann im Schritt S16 das Grünlichtsignal 22 oder der Grünpfeil 28 ignoriert werden, wenn sich das Fahrzeug nicht auf der rechten, sondern beispielsweise auf der mittleren oder linken Spur einer mehrspurigen Fahrbahn befindet, oder wenn ein Fahrer des Fahrzeugs das Blinklicht als Richtungsanzeige auf „links“ gesetzt hat, da er nach links fahren oder abbiegen will.
-
4 zeigt schließlich ein Blockschaltbild einer Lichtsignalanlagen-Erkennungs- und Interpretationsvorrichtung 30, die beispielsweise in Hardware (als ASIC oder FPGA) oder in Hard- und Software (Prozessor mit Software) ausgeführt sein kann. In 4 sind schematisch die wesentlichen Komponenten der Vorrichtung gezeigt:
- – Erste Erkennungsmittel 32 sind dazu vorgesehen, die oben beschriebenen Schritte S10 und S12 auszuführen; hierzu werden den Mitteln 32 von einer Farbkamera erfasste Bilder in digitaler Form zugeführt.
- – Zweite Erkennungsmittel 34 sind dazu vorgesehen, den oben beschriebenen Schritt S14 auszuführen. Hierzu empfange diese Mittel 34 ebenfalls die von der Farbkamera erfassten digitalen Bilder sowie Ausgangsdaten der ersten Mittel 32, die steuern, ob überhaupt eine Erkennung durch die zweiten Mittel erforderlich ist (siehe die oben beschriebenen Varianten des erfindungsgemäßen Algorithmus). Die Ausgangsdaten der ersten Mittel 32 dienen den zweiten Mitteln 34 auch dazu, das vorgegebene Umfeld festzulegen, das von der von den ersten Mitteln 32 erkannten Lichtzeichenanlage abhängig ist.
- – Interpretationsmittel 36, denen das von den ersten Mitteln 32 erkannte primäre Signal und von den zweiten Mitteln 34 erkannte sekundäre Signale zugeführt werden und die dazu vorgesehen sind, den oben beschriebenen Schritt S16 auszuführen. Die Mittel 36 geben als Ergebnis Interpretationsdaten aus, wie beispielsweise die oben beschriebenen Ausgaben „Stopp“ oder „Rechtsabbiegen erlaubt“.
-
Die Vorrichtung von 4 kann als eigenständiges Modul oder Steuergerät zum Einbau in ein Fahrzeug ausgebildet sein, oder in ein Fahrerassistenzsystem integriert sein, beispielsweise als Teil einer umfassenden Software, die verschiedene Fahrerassistenzfunktionen basierend auf einer Bilderkennung und -verarbeitung implementiert.
-
In der vorhergehenden Beschreibung von Ausführungsbeispielen der Erfindung wurde die Erkennung und Interpretation vor allem unter Bezug auf in Deutschland gebräuchliche und typische Ampeln an Kreuzungen erläutert, was aber nicht als die vorliegende Erfindung einschränkend zu verstehen ist. Die Erkennung und Interpretation von Lichtsignalanlagen gemäß der vorliegenden Erfindung ist vielmehr universell zu verstehen und kann auf international gängige und typische Lichtsignalanlagen ausgelegt sein. Beispielsweise kann die Erkennung von primären Signalen einer Lichtsignalanlage derart ausgestaltet sein, dass alle möglichen Arten von primären Signalen erkannt werden, beispielsweise auch primäre Signale mit horizontal angeordneten Lichtsignalen. Ebenso kann die Erkennung von sekundären Signalen derart ausgestaltet sein, dass verschiedenste und in unterschiedlichen Ländern gebräuchliche und typische Sekundärsignale erkannt werden können. Schließlich kann auch die Interpretation eines primären Signals unter Berücksichtigung von erkannten sekundären Signalen speziell an die Straßenverkehrs-Ordnungen oder Regelungen verschiedener Ländern angepasst sein. Beispielsweise kann die Interpretation so ausgelegt sein, dass in Gr0ßbritannien gängige Ampeln mit einem grünen Lichtzeichen allgemein und einem roten Lichtzeichen für eine Geradeaus-Fahrtrichtung korrekt interpretiert wird.
-
Bezugszeichenliste
-
- 10
- Lichtsignalanlage mit Ampel und Zusatzampel für Rechtsabbieger
- 12
- Ampel
- 14
- Bounding box der erkannten Ampel
- 16
- erkanntes Rotlichsignal der Ampel 12 (primäres Signal)
- 18
- Zusatzampel für Rechtsabbieger
- 20
- vorgegebenes Umfeld der Ampel 12
- 22
- erkanntes Grünlichtsignal für Rechtsabbieger der Zusatzampel (sekundäres Signal)
- 24
- Lichtsignalanlage mit Ampel und Schild für Rechtsabbieger
- 26
- Schild für Rechtsabbieger
- 28
- erkannter Pfeil für Rechtsabbieger (sekundäres Signal)
- 30
- Lichtsignalanlagen-Erkennungs- und Interpretationsvorrichtung
- 32
- erste Erkennungs-Mittel
- 34
- zweite Erkennungs-Mittel
- 36
- Interpretations-Mittel
