DE102012108863A1

DE102012108863A1 - Verfahren zur Erkennung eines Ampelzustands mittels einer Kamera

Info

Publication number: DE102012108863A1
Application number: DE201210108863
Authority: DE
Inventors: Stefan Hegemann; Dr. Lüke Stefan; Matthias Komar
Original assignee: Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2012-09-20
Filing date: 2012-09-20
Publication date: 2014-05-28

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung eines Zustands einer Ampel mittels einer Kamera. Ein erfindungsgemäßes Verfahren umfasst die folgenden Schritte: Mit einer Kamera wird eine Folge von Bildern einer Fahrzeugumgebung aufgenommen. Aus den aufgenommenen Bilddaten wird ein wahrscheinliches Vorhandensein einer Ampel detektiert bzw. erkannt, also mindestens ein potentieller Ampelzustand. Der detektierte aktuelle Ampelzustand (R; Y; G) wird klassifiziert. Die Klassifikation des aktuellen Ampelzustands wird unter Berücksichtigung mindestens eines Ampelzustands plausibilisiert, der aus einem vorangegangenen Bild der Bildfolge klassifiziert wurde.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung eines Zustands einer Ampel mittels einer Kamera.
Die Erkennung von Verkehrszeichen mittels einer Fahrzeugkamera ist seit längerem bekannt und findend zunehmend Verbreitung in modernen Fahrzeugen, was die Erkennung von Geschwindigkeitsbegrenzungen und evtl. auch Überholverboten angeht.
U. Franke et al. zeigen in Autonomous Driving approaches Downtown IEEE Intelligent Systems, Vol. 13, Nr. 6, 1999, dass mittels einer Farbsegmentierung und Objektbildung aus farblich verbundenen Segmenten unter Zuhilfenahme eines neuronalen Netzwerks zur Klassifikation der Objekte aus Kamerabildern Ampeln und Ampelsignale erkannt werden können. Bei Erkennungsraten von über 90 Prozent und Falsch-Positiv-Raten von unter zwei Prozent wird jedoch klar, dass deutliche Verbesserungen erzielt werden müssen, bevor ein Ampelerkennungsassistent in Serie gehen kann.
WO 2005/102765 A1 zeigt ein Assistenzsystem für Kraftfahrzeuge mit wenigstens einer Steuereinheit, welche bei einer durch die Steuereinheit erkannter Vorgabe des Fahrzeugführers aus drei Gruppen sogenannter globaler, lokaler und interner Daten je wenigstens ein Datum auswählt und dergestalt miteinander verknüpft, dass hiervon abhängig ein auf die Fahrdynamik des Kraftfahrzeuges bezogenes Ausgangssignal erzeugbar ist. In der Ausgestaltung des Assistenzsystems als Rechts-vor-Links Assistent werden als lokale Daten auch Ampeln, die Ampelfarbe, der Abstand des eigenen Fahrzeugs zur Ampel, Abbiegpfeile, sowie weitere richtungsregelnde Zeichen berücksichtigt.
Neben einer Erkennung von Ampelsignalen mittels einer Kamera gibt es Konzepte, die eine Kommunikation zwischen der Ampel und einer im Fahrzeug verbauten Kommunikationseinheit bzw. Telematikeinheit vorsehen.
DE 10 2008 035 992 A1 zeigt einen entsprechenden Ampelphasenassistent, der durch Umfeldsensoren unterstützt wird. Dadurch kann gewährleistet werden, dass eine Ampel während einer erlaubten Durchfahrtphase ohne Kollision mit anderen, insbesondere vorausfahrenden Verkehrsteilnehmern passiert werden kann.
Während es also bereits Konzepte zur Unterstützung eines Fahrers beim Passieren von Ampeln gibt, finden sich entsprechende Assistenzfunktionen bis heute nicht in Fahrzeugen, die serienmäßig auf dem Markt erhältlich sind.
Aufgabe der vorliegenden Erfindung ist es, die Detektion von Ampeln und Ampelsignalen aus Kamerabildern zu verbessern, so dass Fehldetektionen minimiert werden.
Eine Grundidee der Erfindung besteht darin, neben aktuell erkannten Signalfarben einer Ampel auch mindestens einen vorhergehenden Ampelzustand in eine Erkennung des aktuellen Ampelzustands mit einzubeziehen. Ein Ampelzustand ist charakterisiert durch das Leuchten bzw. Blinken einzelner Signalfarben der Ampel. Ein Ampelsignal ist i. d. R. dasselbe wie ein Ampelzustand. Als Ampelphase wird ein andauernder unveränderter Ampelzustand bezeichnet (z.B. Rotphase). Ampeln werden auch als Lichtzeichenanlage oder Lichtsignalanlage bezeichnet.
Für Ampeln gibt es typischerweise festgelegte Abläufe von Ampelzuständen, sowohl was die einzelnen Signalfarben einer Ampelphase als auch die Dauer einer Ampelphase angeht. Eine typische Reihenfolge in vielen Ländern ist beispielsweise die Signalfarbenabfolge Grün-Gelb-Rot. Die Gelbphase ist hierbei typischerweise deutlich kürzer als die beiden übrigen Phasen. Zusätzlich gibt es in einigen Ländern eine Gelb-Rot-Phase zwischen Rot- und Grün-Phase, in einigen anderen Ländern eine Grün-Gelb-Phase zwischen Grün und Rot. Ein solches a-priori-Wissen über Abläufe und Dauer der einzelnen Signalphasen kann bevorzugt zur Plausibilisierung oder Validierung von Ampelzuständen verwendet werden, die aus Kamerabildern erkannt wurden.
Da eine Fehldetektion bei einem Bildverarbeitungssystem schwer auszuschließen ist, trägt diese Erfindung dazu bei, dass die Ampelzustandsinformationen an Ampelkreuzungen in anzeigenden oder eingreifenden Assistenzsystemen genutzt werden kann. Dies können z.B. die Vorsteuerung von Start-Stopp-Systemen, die Warnung oder das Einbremsen bei unberechtigter Einfahrt in eine Kreuzung oder eine akustische Anfahrinformation an den Fahrer sein.
Ein erfindungsgemäßes Verfahren umfasst die folgenden Schritte:
Mit einer Kamera wird eine Folge von Bildern einer Fahrzeugumgebung aufgenommen. Aus den aufgenommenen Bilddaten wird ein wahrscheinliches Vorhandensein einer Ampel detektiert bzw. erkannt, also mindestens ein potentieller Ampelzustand. Der detektierte aktuelle Ampelzustand wird klassifiziert. Die Klassifikation des aktuellen Ampelzustands wird unter Berücksichtigung mindestens eines Ampelzustands plausibilisiert, der aus einem vorangegangenen Bild der Bildfolge klassifiziert wurde.
Die Erfindung sieht also vor, nicht nur die aktuell von einem Detektor detektierte und von einem oder mehreren Klassifikatoren klassifizierten Ampelzustände in die Bewertung einzubeziehen, sondern zusätzlich auch das Verhalten der Ampel vor diesem Ampelzustand mit einzubeziehen.
In einer vorteilhaften Ausführungsform ist der vorangegangene klassifizierte Ampelzustand ein anderer Ampelzustand als der aktuelle. Aus den bereits klassifizierten Ampelzuständen aus vorangegangenen Bildern der Bildfolge wird also der zuletzt erkannte Ampelzustand berücksichtigt, der sich von dem aktuell erkannten unterscheidet. Dadurch wird ein Wechsel des Ampelzustands für die Plausibilisierung berücksichtigt.
Vorteilhaft wird bei der Plausibilisierung eine typische Reihenfolge von verschiedenen Ampelzuständen berücksichtigt.
Gemäß einer bevorzugten Ausführungsform wird eine typische Dauer eines einzelnen Ampelzustands bei der Plausibilisierung berücksichtigt.
Bevorzugt kann die typische Reihenfolge und/oder die typische Dauer von Ampelzuständen für die Plausibilisierung voreingestellt werden. Beispielsweise kann die Dauer einer jeden Ampelphase oder die minimale Dauer einer jeden Ampelphase für eine bestimmte Ampel in einer digitalen Karte hinterlegt sein.
Dies kann in besonderen Fällen dazu führen, dass bestimmte Funktionsumfänge einer Fahrerassistenzfunktion erst nach einer solchen erkannten Ampelphasenänderung freigegeben werden, wohingegen die Erfassung einer Ampelphase alleine nicht ausreicht (z.B. Einleiten eines automatischen Bremsvorgangs nach dem Erkennen eines roten Lichts, das ein Ampelsignal darstellen könnte).
Alternativ oder zusätzlich kann die typische Reihenfolge und/oder die typische Dauer von Ampelzuständen für die Plausibilisierung gelernt oder trainiert werden. (z.B. selbe Strecke regelmäßig).
Es ist also möglich, mit voreingestellten Ausgangswerten (typische Reihenfolge/Dauer) zu beginnen und diese im Laufe der Ampelerkennung anzupassen.
In einer vorteilhaften Ausführungsform werden die typische Reihenfolge bzw. die typische Dauer unter Berücksichtigung eines Länderinformationssignals ausgewählt (aus voreingestellten bzw. trainierten Reihenfolgen bzw. Dauern). Das Länderinformationssignal kann z.B. von folgenden Quellen geliefert werden:

• Beim Überschreiten der Grenze wird aus den Kamerabilddaten das neue Land anhand des Landesschilds identifiziert und ein entsprechendes Länderinformationssignal bereitgestellt.
• Die Erkennung kann über RDS (Radio) erfolgen.
• Das Fahrzeug erkennt mit einer Positionserkennungsvorrichtung z.B. GPS oder Galileo seine Position. In Kombination mit einer hinterlegten digitalen Karte, die Landesgrenzen umfasst, kann dann auf das Land geschlossen werden.

Bevorzugt sind die typischen Reihenfolgen und/oder die typische Dauern für einzelne Ampeln in einer digitalen Karte hinterlegt oder werden dort fortlaufend aktualisiert hinterlegt.
Falls die Reichweite des Systems ausreicht um zwei Ampelphasenwechsel zu erfassen oder falls das Fahrzeug vor der Ampel steht, kann die Evidenz für einen zweiten Ampelphasenwechsel durch den vorher beobachteten Ampelphasenwechsel unterstützt werden. Dies gilt insbesondere dann, wenn sie in den in einer Karte vermerkte Zeitrahmen fallen.
Wird die Strecke regelmäßig gefahren, können Uhrzeiten und Dauer zwischen Ampelphasenwechseln auch aktiv erfasst und gespeichert werden. Diese können dann den nachfolgenden Assistenzsystemen zur Verfügung gestellt werden.
Vorteilhaft können Informationen bezüglich des aktuell klassifizierten Ampelzustands und bezüglich des Ergebnisses der Plausibilisierung an weitere Fahrerassistenzfunktionen übergeben werden.
Bevorzugt kann vorgesehen werden, potentiell erkannte Ampelanlagen von der Berücksichtigung durch Fahrerassistenzfunktionen auszuschließen, wenn sie ein unplausibles Verhalten aufweisen.
Die Erfindung umfasst ferner eine Vorrichtung zur Erkennung eines Zustands einer Ampel umfassend eine Kamera sowie Mitteln zum: Aufnehmen einer Folge von Bildern einer Fahrzeugumgebung mit der Kamera, Erkennen des wahrscheinlichen Vorhandenseins einer Ampel aus den aufgenommenen Bilddaten, Klassifizieren des aktuellen Ampelzustands sowie Plausibilisieren des klassifizierten aktuellen Ampelzustands unter Berücksichtigung mindestens eines aus einem vorangegangenen Bild der Bildfolge klassifizierten Ampelzustands.
Im Folgenden wird die Erfindung anhand von einer Figur und Ausführungsbeispielen näher erläutert.
1 zeigt vier Phasen bzw. Zustände einer Ampel. In Phase 1 leuchtet die untere, grüne Signalfarbe (G, diagonal aufsteigend schraffiert) und die Einfahrt ist freigegeben. In Phase 2 leuchtet die mittlere, gelbe Signalfarbe (Y, diagonal absteigend schraffiert) und der Fahrer soll auf das nächste Signal warten. In Phase 3 leuchtet die obere, rote Signalfarbe (R, diagonal gitterförmig schaffiert) und der Fahrer hat keine Einfahrerlaubnis. In manchen Ländern leuchten in Phase 4 die rote und die gelbe Signalfarbe (R, Y) gemeinsam, wodurch der Fahrer weiß, dass die Einfahrt gleich freigegeben wird. Daneben kann es zum Beispiel vorkommen, dass die gelbe Signalfarbe (Y) blinkt, wenn die Ampelanlage außer Betrieb ist. Hierbei können nur die gelben Signalfarben (Y) auf den Seiten der Kreuzung blinken, die Vorfahrt gewähren müssen. Es können aber auch sämtliche gelben Signalfarben (Y) der Ampelanlage blinken. Bei einem Stromausfall kann es dagegen passieren, dass keine Signalfarbe (R, Y, G) leuchtet. In Fällen, in denen die Ampelanlage außer Betrieb ist, wird die Vorfahrt häufig durch vorfahrtsregelnde Verkehrszeichen geregelt. In Europa ist dies typischerweise der Fall. Durch die Plausibilisierung kann bei einem aktuellen gelben (Y) Ampelsignal bzw. -zustand erkannt werden, ob der Fahrer auf das nächste Signal warten soll (Phase 2 der 1) oder ob die Ampelanlage außer Betrieb ist und er gegebenenfalls Vorfahrt gewähren muss. Im ersten Fall war der vorangegangene Ampelzustand i. d. R. grün (G), während im zweiten Fall der vorangegangene Ampelzustand schwarz bzw. „kein Signal“ war, weil die gelbe Signalfarbe (Y) der Ampelanlage blinkt. In diesem Fall kann die Verkehrszeichenerkennung informiert werden, dass trotz Existenz einer Ampelanlage vorfahrtsregelnde Verkehrszeichen hier die Vorfahrt regeln.
Die Kamera kann mitunter auch grüne, gelbe und/oder rote Lichter in der Fahrzeugumgebung detektieren, die gar nicht zu einer Ampel gehören. Mittels der geschilderten Klassifizierung können derartige Fehldetektionen verhindert werden. So ist eine potentielle Ampel, die zunächst in mehreren Zeitschritten als rot (R) und nicht als gelb (Y) oder grün (G) klassifiziert wurde und die dann durchgängig in mehreren Zeitschritten als grün (G) klassifiziert wird, wahrscheinlicher tatsächlich eine Ampel als eine „Ampel“, die seit Ihrer erstmaligen Detektion durchgängig als grün (G) klassifiziert worden ist. Speziell in Nachtszenarien ist diese Plausibilisierung von Vorteil, wenn Umgebungsinformationen fehlen, weil z.B. eine Erkennung eines Ampelkastens als Ampelbox mangels Umgebungslichts aus den Bilddaten nicht möglich ist.
Entsprechend kann eine Ampel, die vor 2 Sekunden von grün (G) auf rot (R) umgeschaltet wurde, und von der aktuellen Klassifikation bereits wieder als grün (G) erkannt wird, als unplausibel ausgeschlossen werden. Bei nicht erfolgreicher Plausibilisierung eines potentiellen Ampelsignals können hieraus auch genauere Untersuchungen bzw. längere Beobachtungszeiten abgeleitet werden, bevor möglicherweise nach einer erfolgreichen zweiten Plausibilisierung doch noch Aktionen in Folge des nun plausibel erkannten Ampelzustands eingeleitet werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2005/102765 A1 [0004]
DE 102008035992 A1 [0006]

Zitierte Nicht-Patentliteratur

U. Franke et al. zeigen in Autonomous Driving approaches Downtown IEEE Intelligent Systems, Vol. 13, Nr. 6, 1999 [0003]

Claims

Verfahren zur Erkennung eines Zustands einer Ampel mittels einer Kamera mit den Schritten: – Aufnahme einer Folge von Bildern einer Fahrzeugumgebung mit der Kamera – Erkennen des wahrscheinlichen Vorhandenseins einer Ampel aus den aufgenommenen Bilddaten, – Klassifikation des aktuellen Ampelzustands (R; Y; G), – Plausibilisierung der Klassifikation des aktuellen Ampelzustands unter Berücksichtigung mindestens eines Ampelzustands, der aus einem vorangegangenen Bild der Bildfolge klassifiziert wurde.
Verfahren nach Anspruch 1, wobei der vorangegangene klassifizierte Ampelzustand ein anderer Ampelzustand als der aktuelle ist.
Verfahren nach Anspruch 1 oder 2, wobei die Plausibilisierung eine typische Reihenfolge von verschiedenen Ampelzuständen berücksichtigt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Plausibilisierung eine typische Dauer eines einzelnen Ampelzustands berücksichtigt.
Verfahren nach Anspruch 3 oder 4, wobei die typische Reihenfolge und/oder die typische Dauer voreingestellt wurde.
Verfahren nach Anspruch 3, 4 oder 5, wobei die typische Reihenfolge und/oder die typische Dauer gelernt wird.
Verfahren nach einem der Ansprüche 3 bis 6, wobei die typische Reihenfolge und/oder die typische Dauer unter Berücksichtigung eines Länderinformationssignals ausgewählt werden.
Verfahren nach einem der Ansprüche 3 bis 7, wobei die typische Reihenfolge und/oder die typische Dauer für einzelne Ampeln in einer digitalen Karte hinterlegt sind oder hinterlegt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Informationen bezüglich des aktuell klassifizierten Ampelzustands und bezüglich des Ergebnisses der Plausibilisierung an weitere Fahrerassistenzfunktionen übergeben werden.
Vorrichtung zur Erkennung eines Zustands einer Ampel umfassend eine Kamera sowie Mitteln zum: – Aufnehmen einer Folge von Bildern einer Fahrzeugumgebung mit der Kamera – Erkennen des wahrscheinlichen Vorhandenseins einer Ampel aus den aufgenommenen Bilddaten, – Klassifizieren des aktuellen Ampelzustands (R; Y; G), – Plausibilisieren des klassifizierten aktuellen Ampelzustands unter Berücksichtigung mindestens eines aus einem vorangegangenen Bild der Bildfolge klassifizierten Ampelzustands.