DE102013101175A1

DE102013101175A1 - System und Verfahren zur Erkennung von Verkehrssignalen

Info

Publication number: DE102013101175A1
Application number: DE102013101175A
Authority: DE
Inventors: Avdhut S. JOSHI; Danil V. Prokhorov
Original assignee: Toyota Motor Engineering and Manufacturing North America Inc; Toyota Engineering and Manufacturing North America Inc
Current assignee: Toyota Motor Engineering and Manufacturing North America Inc
Priority date: 2012-02-13
Filing date: 2013-02-06
Publication date: 2013-08-14
Also published as: US9731661B2; US20130211682A1; US8831849B2; JP6196044B2; JP2013164853A; US20150012200A1

Abstract

Das Erkennen einer Verkehrssignalisierung einer mobilen Umgebung enthält Empfangen von Bildrahmen bzw. Einzelbildern, welche durch eine Bildaufnahmevorrichtung aufgenommen werden, um einen Verkehrssignal-Kandidaten daraus zumindest basierend auf einer Fahrzeugposition zu erfassen. Ein Zähler mit einem vorbestimmten Wert wird für den Verkehrssignal-Kandidaten geschaffen. Der Verkehrssignal-Kandidat wird durch Erhöhen des Zählers verfolgt, wenn basierend auf einem probabilistischen Schätzer, welcher einen voraussichtlichen Wert für einen Standort des Verkehrssignal-Kandidaten angibt, bestimmt wird, dass der Verkehrssignal-Kandidat in einem verfolgten Bildrahmen der aufgenommenen Bildrahmen erscheint. Der Zähler wird verringert, wenn basierend auf dem probabilistischen Schätzer ermittelt wird, dass der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint. Der Verkehrssignal-Kandidat wird basierend darauf, ob sich der Zähler über einer spezifizierten Schwelle befindet, als ein Verkehrssignal erkannt.

Description

Gebiet der Offenbarung
Diese Anmeldung betrifft ein Erkennen des Vorhandenseins von Verkehrssignalen aus Verkehrssignal-Kandidaten, welche aus Bildrahmen bzw. Einzelbildern erfasst werden, die durch eine auf einem Fahrzeug montierte Kamera erfasst werden, unter Verwendung von historischen Beobachtungsdaten, welche unter Verwendung eines probabilistischen Schätzers bzw. Bestimmers erhalten werden.
Stand der Technik
Die hierin vorgesehene Beschreibung des „Standes der Technik” dient dem Zwecke des allgemeinen Darstellens des Zusammenhangs der Offenbarung. Eine hierin beschriebene Arbeit, in dem Ausmaß, wie in diesem Abschnitt des Standes der Technik beschrieben, sowie Aspekte der Beschreibung, welche unter anderen Umständen zum Zeitpunkt der Anmeldung nicht als Stand der Technik betrachtet werden können, sind weder direkt noch indirekt als Stand der Technik zugestanden.
Die Verkehrssignal-Erkennung bezieht sich auf den Vorgang des Identifizierens und Kennzeichnens von Bereichen eines Bildrahmens bzw. Einzelbildes, welche ein Verkehrssignal, wie beispielsweise eine Verkehrsampel, enthalten. Eine Kamera erhält die Bildrahmen, welche einzeln verarbeitet werden. Verkehrsampel-Kandidaten und Bereiche in der unmittelbaren Umgebung werden basieren auf einem Vergleichen einer tatsächlichen Verkehrs-Vorlage bzw. -Template mit einer Vorlage aus einer Vorlagen-Bibliothek ermittelt. Die Genauigkeit der Verkehrssignal-Erkennung kann durch die Verwendung von adaptiven Vorlagen erhöht werden. Adaptive Vorlagen werden gemäß einer voraussichtlichen Größe des Verkehrsampel-Kandidaten und/oder der tatsächlichen Verkehrsampel-Vorlage, was auf einem Abstand eines Fahrzeuges vom dem Verkehrsampel-Kandidaten basiert, angepasst. Eine am besten geeignete Vorlage wird basierend auf einer Anzahl von möglichen Vorlagen, welche in der Größe mit dem tatsächlichen Bildrahmenbereich entsprechend des Verkehrsampel-Kandidaten verglichen werden, validiert. Beispielsweise kann eine der möglichen Vorlagen verwendet werden, wenn ein grüner Kreis in dem Verkehrsampel-Kandidaten erleuchtet, und eine andere der möglichen Vorlagen kann verwendet werden, wenn ein roter Kreis in dem Verkehrsampel-Kandidaten erleuchtet. Dies liegt daran, da sich die roten und grünen Kreise innerhalb des Verkehrsampel-Gehäuses bei unterschiedlichen Positionen befinden.
Kurzfassung
Diese Offenbarung behandelt verschiedene Probleme in Zusammenhang mit bekannten Verkehrssignal-Erkennungsvorgängen, welche die Erfinder erforschten. Insbesondere bei dem Verkehrssignal-Erkennungsvorgang einschließlich eines Vorlagen-Abgleichs ist für jede Vorlage in einer Vorlagen-Bibliothek eine Vorlagen-Beschreibung erforderlich, was für zuvor nicht sichtbare Verkehrsampeln schwer oder unmöglich durchzuführen ist. Ferner werden benachbarte Bildrahmen bzw. Einzelbilder in einer Sequenz von aufgenommenen Bildrahmen oder einem Video ohne Berücksichtigung zeitlicher und räumlicher Beziehungen unabhängig voneinander verarbeitet. Um beispielsweise Verkehrsampel-Kandidaten innerhalb eines Bildrahmen zu identifizieren, müssen sämtliche Bereiche des Rahmens analysiert werden, was einen Vorgang mit hohem Rechenaufwand darstellt. Zusätzlich kann der Vorgang noch mehr Computerressourcen benötigen, wenn die Bildrahmen viele Objekte enthalten. Darüber hinaus können Objekte innerhalb des Bildrahmens basierend auf einem zum Durchführen der Verkehrsampel-Erkennung verwendeten Verkehrsampel-Erkennungsalgorithmus falsch identifiziert werden. Diese resultiert in einer Zunahme der Zeit, welche ein Benutzer dafür aufwenden muss, um diese falschen Identifizierungen zu korrigieren.
Diese Offenbarung ist auf ein Verkehrssignal-Erkennungsverfahren gerichtet, welches in einer nicht beschränkenden Ausführungsform Kandidaten für Verkehrssignale basierend auf einer Navigationskarte und/oder einer Position eines Fahrzeugs eines globalen Positionsbestimmungssystems (GPS) erfasst. Das Verfahren verwendet einen Farbfilter, um die von einer fahrzeugmontierten Kamera aufgenommenen Bildrahmen bzw. Einzelbilder zu filtern. Die gefilterten Bilder werden dazu verwendet, um Verkehrssignal-Kandidaten zu erfassen. In einer nicht beschränkenden Ausführungsform wird das Verkehrssignal-Erkennungsverfahren in einer der nachfolgenden Vorrichtungen durchgeführt, ist jedoch nicht darauf beschränkt: einer persönlichen Kommunikationsvorrichtung (zum Beispiel ein Mobiltelefon, ein zur Datenübermittlung fähiges Mobiltelefon, ein Smartphone) und einer tragbaren elektronischen Vorrichtung (zum Beispiel ein Hand-GPS-Empfänger, eine tragbare Spielkonsole, ein Laptop, ein Tablet-Computer). In einer weiteren nicht beschränkenden Ausführungsform enthält die Vorrichtung, in welcher das Verkehrssignal-Erkennungsverfahren durchgeführt wird, folgendes, ist jedoch nicht darauf beschränkt: eine Bildaufnahmefunktion; eine Netzwerkverbindung (zum Beispiel ein Cloud-Netzwerk, das Internet, Intranet); und eine GPS-Funktion.
Bei einer weiteren nicht beschränkenden Ausführungsform wird ein Abstand des Fahrzeugs von dem Verkehrssignal-Kandidaten dazu verwendet, um eine voraussichtliche Größe des Verkehrssignal-Kandidaten zu ermitteln. Die voraussichtliche Größe des Verkehrssignal-Kandidaten wird verwendet, um nach Verkehrssignal-Kandidaten-Bereichen zu suchen und um Umgebungen von möglichen Verkehrssignal-Kandidaten-Bereichen zu untersuchen. Ein Gestalt-Detektor wird verwendet, um falsche Verkehrssignal-Kandidaten zu verwerfen, welche aufgrund von Rauschen in Bildrahmen, welche durch die Kamera aufgenommen werden, erzeugt werden.
Ein probabilistischer Bestimmer bzw. Schätzer wird anschließend bei einer Rahmen-für-Rahmen- bzw. Einzelbild-Verfolgung der erfassten Verkehrsampel-Kandidaten eingesetzt. Der Verfolgungs-Vorgang ermöglicht einen zu sammelnden Nachweis für jeden Verkehrsampel-Kandidaten, wenn der Verkehrsampel-Kandidat in einem Rahmen beobachtet wird. Ein Verkehrsampel-Kandidat wird nicht mehr betrachtet, wenn der gesammelte Nachweis unter eine spezifizierte Schwelle fällt, beispielsweise wenn der Verkehrsampel-Kandidat für einen spezifizierten Zeitraum nicht beobachtet wird.
Bei einer weiteren nicht beschränkenden Ausführungsform enthält das Verfahren außerdem das Überwachen von Verkehrssignalen, bei denen beispielsweise ein Licht mit einer bestimmten Farbe bzw. eine bestimmte Lichtfarbe ausgeht bzw. erlischt und ein Licht mit einer anderen Farbe anschließend aufleuchtet. Dies ermöglicht es, einen Verkehrsampel-Kandidaten in der unmittelbaren Umgebung des Lichts, welches ausgeschaltet wurde bzw. erloschen ist, zu erfassen (zum Beispiel in den Aufwärts- oder Abwärtsrichtungen). Daher werden Verkehrssignal-Kandidaten verfolgt, um Verkehrssignale, beispielsweise Verkehrsampeln, ungeachtet der Gestalt und Größe eines Gehäuses für die Verkehrsampel zuverlässig zu erkennen. Falsch-Positiv-Identifikationen von Verkehrssignalen werden außerdem basierend auf konsistentem räumlichen und/oder zeitlichen Verhalten verworfen.
Die vorstehenden Absätze wurden zur allgemeinen Einführung vorgesehen und sind nicht dazu gedacht, um den Schutzumfang der nachfolgenden Ansprüche zu beschränken. Die beschriebenen Ausführungsformen zusammen mit weiteren Vorteilen werden unter Bezugnahme auf die nachfolgende detaillierte Beschreibung, welche in Zusammenhang mit den beigefügten Abbildungen ausgeführt ist, am besten verstanden.
Kurze Beschreibung der Abbildungen
Ein umfassenderes Verständnis dieser Offenbarung und viele der dazugehörigen Vorteile davon werden auf einfache Weise erhalten, während gleiche unter Bezugnahme auf die nachfolgende detaillierte Beschreibung besser verstanden wird, wenn diese in Zusammenhang mit den beigefügten Abbildungen betrachtet wird.
1 ist ein Blockdiagramm, welches Hardwarekomponenten eines Verkehrssignal-Erkennungssystems zeigt;
2 zeigt einen beispielhaften Algorithmus für die Verkehrssignal-Erkennung;
3 zeigt eine beispielhafte elektronische Fahrzeug-Steuerungseinheit, welche eine Verkehrssignal-Erkennung durchführt;
4 stellt eine Ansicht aus Sicht eines Fahrzeugs dar, welches das Verkehrssignal-Erkennungssystem enthält und erkannte Verkehrsampeln angezeigt; und
5 ist ein beispielhafter Bildrahmen, welcher erkannte Verkehrssignale angibt.
Detaillierte Beschreibung
In den Abbildungen bezeichnen Bezugszeichen durchgängig bei allen Ansichten gleiche oder entsprechende Bauteile. 1 zeigt eine beispielhafte Struktur für ein Erkennungssystem 100. Das Erkennungssystem 100 enthält Computerhardware-Komponenten, welche entweder individuell programmiert sind oder einen Programmcode ausführen, welcher auf verschiedenen Aufzeichnungsmedien gespeichert ist. Bei einer beispielhaften Ausführungsform enthält das Erkennungssystem 100 eine zentrale Verarbeitungseinheit (CPU) 102, einen oder mehrere anwendungsspezifische Prozessoren (ASPs) 104, einen Speicher 106, eine Festplatten-Steuerungsvorrichtung 108, welche Vorgänge eines Festplattenlaufwerks 110 und/oder eines optisches Laufwerk 112 (zum Beispiel eines CD-ROM-Laufwerks) steuert, eine Anzeigen-Steuerungsvorrichtung 114, eine Netzwerkschnittstelle 116 und eine I/O-Schnittstelle 118. Die I/O-Schnittstelle 118 ist mit einer Peripherievorrichtung 120, einer globalen Positionsbestimmungssystem(GPS)-Einheit 112 und einer Bildaufnahmevorrichtung 130 verbunden. Die Anzeigen-Steuerungsvorrichtung 114 ist mit einem Monitor 124 verbunden. Bei einigen Ausführungen ist der Monitor 124 eine Komponente der Peripherievorrichtung 120, welche sich einen Kommunikations-/Datenkanal mit dem Monitor 124 teilen kann. Bei einigen Implementierungen ist die I/O-Schnittstelle 118 ferner mit Benutzereingabe-Peripheriegeräten, wie einer Touch-Screen-Monitor-Steuerungsvorrichtung, einer Tastatur und einer Maus verbunden. Die in 1 gezeigten Komponenten teilen sich ferner einen gemeinsamen BUS 126 zum Übertragen von Daten und die Steuerungsvorrichtungen können anwendungsspezifische integrierte Steuerungsvorrichtungen und weitere programmierbare Komponenten enthalten.
Die Netzwerkschnittstelle 116 ermöglicht es dem Erkennungssystem 100, mittels eines Netzwerks 128, wie dem Internet, zu kommunizieren. Bei einigen Aspekten sind die Peripherievorrichtung 120, die GPS-Einheit 122 und die Bildaufnahmevorrichtung 130 mittels des Netzwerks 128 mit dem Erkennungssystem 100 gekoppelt.
Bezugnehmend auf 2 werden in Schritt S200 Kandidaten-Bereiche, welche eine relativ hohe A-priori-Wahrscheinlichkeit dahingehend aufweisen, dass diese ein Verkehrssignal enthalten, von Bildrahmen ausgewählt, die durch eine fahrzeugmontierte Kamera erhalten werden. Bei einer nicht beschränkenden Ausführungsform wird eine Navigationskarte dazu verwendet, um die wahrscheinlichsten Positionen für Verkehrssignale zu ermitteln, um die Notwendigkeit eines anfänglichen Suchens in großen Bereichen der Bildrahmen zu reduzieren oder zu beseitigen. Bei einer weiteren nicht beschränkenden Ausführungsform wird eine GPS-Position und Orientierung des Fahrzeugs dazu verwendet, um eine Liste von Kandidaten-Bereichen einzugrenzen. Bei einer noch weiteren nicht beschränkenden Ausführungsform wird aus der Kamera-Projektion eine Salienzkarte geschaffen.
Bei Schritt S202 werden aus den Kandidaten-Bereichen Verkehrssignal-Kandidaten erhalten und jeweils als ein Ziel initiiert. Bei einer nicht beschränkenden Ausführungsform wird ein Filter, beispielsweise ein Top-Hat-Filter bzw. Rechteckfilter, bei spezifischen Farbkanälen eines aufgenommenen Bildrahmens, welche bestimmten Frequenzen entsprechen, verwendet. Im Fourier-Raum wählt der Rechteckfilter durch Spezifizieren von unteren und oberen Grenzfrequenzen ein gewünschtes Frequenzband aus. Bei einer weiteren nicht beschränkenden Ausführungsform wird ein Gestalt-Detektor bei den gefilterten Bildrahmen verwendet, um falsche Verkehrssignal-Kandidaten zu verwerfen, welche aufgrund von Rauschen in den aufgenommenen Bildrahmen erzeugt werden. Wenn beispielsweise basierend auf Informationen, welche von der Navigationskarte erhalten werden, bekannt ist, dass sich das Verkehrssignal in einem bestimmten Abstand von der fahrzeugmontierten Kamera befindet, werden Objekte von der Größe entsprechend dem gegebenen Abstand mit beispielsweise einer runden Gestalt gesucht. Alternativ werden Umgebungen von möglichen Verkehrssignal-Kandidaten auf den Bildrahmen entsprechend dem vorherigen Zeitschritt untersucht. Bei einer noch weiteren nicht beschränkenden Ausführungsform wird eine Teilmenge der Bildrahmen durchsucht, um den Verbrauch von Verarbeitungsressourcen zu reduzieren. Auf diese Art und Weise werden Verkehrssignale mit vielen Gestaltungen und Formen genau erkannt. Der Schritt S202 enthält außerdem das Überwachen von Verkehrssignalen, bei denen beispielsweise eine bestimmte Verkehrslicht-Farbe erlischt und eine andere Verkehrslicht-Farbe aufleuchtet. Daher wird in der unmittelbaren Umgebung des Lichts, welches ausgeschaltet wurde bzw. erloschen ist (zum Beispiel in den Aufwärts- oder Aufwärtsrichtungen), ein Verkehrssignal-Kandidat erfasst.
Bei Schritt S204 wird jeder Verkehrssignal-Kandidat mit einem initialisierten Zähler in Zusammenhang gebracht, um einen Nachweis für die Verkehrssignal-Kandidaten zu verfolgen und zu sammeln.
Bei Schritt S206 tritt eine Rahmen-für-Rahmen-Verfolgung für jeden Verkehrsampel-Kandidaten unter Verwendung eines probabilistischen Schätzers bzw. einer Schätzfunktion auf. Bei einer nicht beschränkenden Ausführungsform ist der probabilistische Schätzer durch eines der nachfolgenden Elemente gebildet, ist jedoch nicht darauf beschränkt: ein Kalman-Filter, ein iterierter Kalman-Filter, ein erweiterter Kalman-Filter, ein Sigma-Punkt-Filter. Die vorliegende Offenbarung beschreibt den probabilistischen Schätzer, welcher in Form eines Kalman-Filters implementiert ist. Dem Fachmann ist es jedoch verständlich, dass der probabilistische Schätzer durch andere Filter, wie die vorstehend dargelegten, implementiert werden kann. Der probabilistische Schätzer (zum Beispiel ein Kalman-Filter) wird dazu verwendet, um Verkehrssignale zu verfolgen. Das heißt, der Kalman-Filter erzeugt einen vorherbestimmten Standort für jeden Verkehrssignal-Kandidaten basierend auf vorherigen Schätzungen bzw. Bestimmungen und Verfolgungen von Verkehrssignal-Kandidaten in vorherigen Bildrahmen. Die Prognose wird durch die Zustands-Dynamik des Kalman-Filters modelliert und basiert auf Informationen über die Eigenbewegung des Fahrzeugs (das heißt, die Bewegung der Kamera in dem Fahrzeug), dem relativen stationären Charakter der Verkehrssignale und bei einer nicht beschränkenden Ausführungsform der Größe des Verkehrssignal-Kandidaten, um das Resultat des Verfolgungsalgorithmus zu verbessern (nachfolgend detaillierter beschrieben).
Der Verfolgungsalgorithmus sammelt Nachweise für jeden Verkehrssignal-Kandidaten, das heißt, durch Erhöhen des Zählers, jedes Mal, wenn ein Verkehrssignal-Kandidat in einem verfolgten Bildrahmen erscheint. Der Zähler, welcher mit dem Verkehrssignal-Kandidaten in Zusammenhang steht, wird verringert, wenn der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint. Insbesondere wird der Kalman-Filter basierend auf x-, y-, und bei einer nicht beschränken Ausführungsform, z-Koordinaten-Informationen für jeden Verkehrssignal-Kandidaten sowie einer Wahrscheinlichkeit P aktualisiert, und basierend auf der vorherigen Erfassung oder Klassifikation wird eine Prognose für den wahrscheinlichsten Standort des Verkehrssignals erzeugt. Die Prognose steht mit einem Verkehrssignal-Kandidaten in der gespeicherten Liste von zuvor beobachteten Verkehrssignal-Kandidaten in Zusammenhang. Falls ein neuer Verkehrssignal-Kandidat beobachtet wird, werden ein neuer Kalman-Filter und ein neues Ziel initialisiert. Eine Kalman-Filter-Nach-Aktualisierung wird unter Verwendung einer neuen Beobachtung durchgeführt und der Zähler wird für beobachtete Verkehrssignal-Kandidaten erhöht. Bei einer nicht beschränkenden Ausführungsform wird, wenn die Prognose für die zuvor beobachteten Objekte nicht verfügbar ist (zum Beispiel aufgrund der temporären Überdeckungen), der Zähler verringert.
Ein Kalman-Filter basiert auf einem linearen dynamischen System, welches im Zeitbereich diskretisiert ist. Dieser wird basierend auf einer Markovkette modelliert, welche auf durch Gaußsches Rauschen gestörte lineare Operatoren aufgebaut ist. Der Zustand des Systems wird als ein Vektor von realen Zahlen dargestellt. Bei jedem diskreten Zeitschritt wird ein linearer Operator auf den Zustand angewendet, um einen neuen Zustand zu erzeugen, welcher mit etwas Rauschen und Informationen von Steuerungen in dem System gemischt wird, falls diese bekannt sind. Dann erzeugt ein weiterer linearer Operator, welcher mit mehr an Rauschen gemischt ist, die beobachteten Ausgänge von dem wahren („versteckten”) Zustand: x_k = F_kx_k-1 + B_ku_k + w_k (Gleichung 1) wobei

F_k: das Zustands-Übergangs-Modell ist, welches auf den vorherigen Zustand x_k-1 angewendet wird;
B_k: das Steuerungs-Eingangs-Modell ist, welches auf den Steuervektor u_k angewendet wird; und
w_k: das Prozess-Rauschen ist, wobei angenommen wird, dass dieses von einer Null-Mittelwert multivarianten Normalverteilung mit Kovarianz Q_k bezogen wird.

w_k ~ N(0, Q_k) (Gleichung 2)

Zu einem Zeitpunkt k wird eine Beobachtung (oder Messung) z_k des wahren Zustandes x_k durchgeführt, gemäß z_k = H_kx_k + v_k (Gleichung 3) wobei

H_k: ein Beobachtungs-Modell ist, welches einen Wahr-Zustands-Raum in einen beobachteten Raum abbildet; und
v_k: das Beobachtungs-Rauschen ist, wobei angenommen wird, dass dieses ein Null-Mittelwert-Gaußsches-Weißes-Rauschen mit Kovarianz R_k ist.

v_k ~ N(0, R_k) (Gleichung 4)

Daher ist der Vorgang gegenüber unmittelbaren Klassifikationsfehlern (zum Beispiel Falschmeldungen aufgrund von Rauschen, welches typischerweise nicht zeitlich voranschreitet) und zeitlichen Verdeckungen der Verkehrssignal-Kandidaten robust.
In Schritt S206 werden die Verkehrssignal-Kandidaten außerdem hinsichtlich Veränderungen, beispielsweise Lichtveränderungen, überwacht. Das Überwachen wird eingeleitet, wenn das Licht erlischt und wenn irgendwelche Verkehrssignal-Kandidaten in der unmittelbaren Umgebung des erloschenen Lichts erfasst werden (zum Beispiel in den Aufwärts- oder Abwärtsrichtungen), bei welchen ein unterschiedliches Licht aufleuchtet. Für den neuen Verkehrssignal-Kandidaten wird ein Ziel instanziiert und ein Filter wird initialisiert. Zu beachten ist, dass sich die Gestalt des neuen Verkehrssignal-Kandidaten basierend auf unterschiedlichen Betrachtungswinkeln und aufgrund unterschiedlicher Ausrichtung (zum Beispiel Gier- und Nickwinkel) der On-Board-Kamera in dem Fahrzeug zumindest geringfügig verändern kann.
Bei Schritt S208 wird basierend auf dem Kalman-Filter und dem Verfolgungsalgorithmus eine Ermittlung durchgeführt, ob der Verkehrssignal-Kandidat in einer spezifizierten Anzahl von aufeinanderfolgenden Bildrahmen nicht vorhanden war. Der Verkehrssignal-Kandidat wird bei Schritt S212 nicht mehr weiter betrachtet, falls der Verkehrssignal-Kandidat in der spezifizierten Anzahl von aufeinanderfolgenden Bildrahmen nicht vorhanden war. Falls der Verkehrsignalen Kandidat in der spezifizierten Anzahl von aufeinanderfolgenden Bildrahmen vorhanden war, schreitet der Vorgang zu Schritt S210, bei welchem der Zähler mit einer vorbestimmten Schwelle verglichen wird. Bei Schritt S214 wird eine Ermittlung durchgeführt, ob der Zähler kleiner als die vorbestimmte Schwelle ist, und falls dies der Fall ist, wird der Verkehrsignal-Kandidat bei Schritt S212 als ein Kandidat fallengelassen.
Andererseits schreitet der Vorgang zu Schritt S216, wo ermittelt wird, ob jeder zu verfolgende Bildrahmen verfolgt wurde, und falls dies der Fall ist, werden die verbleibenden Verkehrssignal-Kandidaten bei Schritt S218 als Verkehrssignale erkannt und klassifiziert. Falls nicht, kehrt der Vorgang zu Schritt S206 zurück. Bei Schritt S220 wird ein optischer Indikator der erkannten Verkehrssignale, welche in Schritt S218 ermittelt wurden, auf einem Bildschirm, einer Armaturentafel, einer Windschutzscheibe oder einer anderen fahrzeugmontierten Anzeige angezeigt und der Vorgang endet.
Bezugnehmend auf 3 wird eine Systemabbildung einer elektronischen Fahrzeug-Steuerungseinheit 300 gezeigt. 3 stellt eine funktionale Beziehung von Hardware dar, welche durch Software oder computerausführbare Anweisungen modifiziert wird. Das heißt, die in 3 gezeigte elektronische Fahrzeug-Steuerungseinheit 300 entspricht Hardware oder einer Kombination von Hardware und Software. Die elektronische Fahrzeug-Steuerungseinheit wird insbesondere durch einen Abschnitt der in 1 gezeigten greifbaren Hardware und/oder optional Software oder computerausführbaren Anweisungen entsprechend dem in 2 gezeigten Algorithmus implementiert.
Die Fahrzeug-Steuerungseinheit 300 empfängt Bildrahmen von einer fahrzeugmontierten Bildaufnahmevorrichtung bzw. einem Bildgebungsgerät, beispielsweise einer Videokamera. Die Fahrzeug-Steuerungseinheit 300 empfängt außerdem irgendeines oder mehr aus dem Nachfolgenden, ist jedoch nicht darauf beschränkt: eine Navigationskarte einschließlich beispielsweise Straßen und Kreuzungs-Positionen, einen Fahrzeug-Standort und -Ausrichtung (zum Beispiel Pose bzw. Stellung oder GPS-Koordinaten), einen Gestalt-Erfassungsalgorithmus und einen Farbfilter-Algorithmus. Unter Verwendung der Bildrahmen verwendet ein Kandidaten-Bereich-Selektor 302 die Navigationskarte oder den Fahrzeug-Standort und -Ausrichtung oder beide, um Kandidaten-Bereiche für Verkehrssignal-Kandidaten in jedem der Bildrahmen zu ermitteln. Die Bildrahmen mit den identifizierten Kandidaten-Bereichen werden zu einem Kandidaten-Detektor 304 weitergegeben.
Der Kandidaten-Detektor 304 erfasst Verkehrssignal-Kandidaten von den Kandidaten-Bereichen und jeder wird mit einem Ziel oder einer Datenstruktur in Zusammenhang gebracht. Alternativ oder zusätzlich werden die Verkehrssignal-Kandidaten basierend auf einer Analyse des gesamten Bilderrahmes erfasst. Wie vorstehend beschrieben ist, werden die Verkehrssignal-Kandidaten durch Einsetzen eines Farbfilters oder eines Gestalt-Detektors oder beider erhalten. Eine Liste von Verkehrssignal-Kandidaten wird zu einem Kandidaten-Tracker bzw. -Verfolger 306 weitergegeben.
Wie vorstehend beschrieben, steht jeder Verkehrssignal-Kandidat mit einem initialisierten Zähler in Zusammenhang. Ein probabilistischer Schätzer, beispielsweise ein Kalman-Filter, wird dazu verwendet, um die Verkehrssignal-Kandidaten zu verfolgen. Wie vorstehend beschrieben ist, erzeugt der Kalman-Filter einen vorherbestimmten Standort für jeden Verkehrssignal-Kandidaten basierend auf vorherigen Schätzungen bzw. Bestimmungen und Beobachtungen von Verkehrssignal-Kandidaten in vorhergehenden Bildrahmen. Ein Nachweis für Verkehrssignal-Kandidaten wird durch Erhöhen eines Zählers, welcher mit einem Verkehrssignal-Kandidaten in Zusammenhang steht, jedes Mal, wenn der Verkehrssignal-Kandidat in einem verfolgten Bildrahmen erscheint, gesammelt. Der Kandidaten-Tracker 306 verringert den mit dem Verkehrssignal-Kandidaten in Zusammenhang stehenden Zähler, wenn der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint. Wenn der mit dem Verkehrssignal-Kandidaten in Zusammenhang stehende Zähler unter eine vorbestimmte Schwelle fällt, oder wenn der Verkehrssignal-Kandidat in einer spezifizierten aufeinanderfolgenden Anzahl von Bildrahmen nicht erschienen ist, wird der Verkehrssignal-Kandidat fallen gelassen und das mit diesem in Zusammenhang stehende Ziel wird von der Liste entfernt. Die Liste der Verkehrssignal-Kandidaten wird dann zu einem Verkehrssignal-Ermittler 308 weitergeleitet.
Der Verkehrssignal-Ermittler 308 ermittelt, ob jeder zu verfolgende Bildrahmen verfolgte wurde, und ermittelt, falls dies der Fall ist, dass die verbleibenden Verkehrssignal-Kandidaten in der Liste als Verkehrssignale klassifiziert und erkannt werden. Positionsinformationen entsprechend den Verkehrssignal-Kandidaten werden zu einer Anzeigen-Ausgabevorrichtung 310 weitergegeben. Die Anzeigen-Ausgabevorrichtung 310 gibt ein Signal aus, um einen optischen Hinweis anzugeben, welcher bei einem der nachfolgenden Elemente angezeigt werden soll, hierauf jedoch nicht beschränkt ist: einem Bildschirm, einer Armaturentafel, einer Windschutzscheibe, einer fahrzeugmontierten Anzeige, einer persönlichen Kommunikationsvorrichtung und einer tragbaren elektronischen Vorrichtung. Der optische Hinweis ist beispielsweise ein farbiges Vieleck oder eine Freiform, welche einen Standort entsprechend des erkannten Verkehrssignals auf der Anzeige umgibt oder in anderer Art und Weise angibt. Als weiteres Beispiel ist der optische Hinweis gemustert, um farbblinde oder farbbehinderte Fahrer zu unterstützen. Als noch weiteres Beispiel ist der optische Hinweis ein Text, wie beispielsweise Worte wie „FAHREN”, „STOP”, „BEREIT”, „ROT”, „GRÜN” oder „GELB”.
Bei einer weiteren nicht beschränken Ausführungsform werden entweder zusätzlich oder alternativ zu dem Ausgeben eines optischen Hinweises Positionsinformationen entsprechend der Verkehrssignal-Kandidaten, welche durch den Verkehrssignal-Ermittler 308 ermittelt werden, als Eingang eines Fahrzeug-Steuerungssystems verwendet. Die Positionsinformationen können beispielsweise einer Fahrzeug-Steuerungsvorrichtung eingegeben werden, die ein Aktiv-Sicherheits-Modul anweist, welches das Fahrzeug derart steuert, um automatisch zu stoppen, zu fahren oder zu beschleunigen.
In 4 ist eine Ansicht von innerhalb des Fahrzeugs dargestellt. Eine Kamera 400 ist nahe einer Windschutzscheibe 402 des Fahrzeuges montiert. Bei einer nicht beschränkenden Ausführungsform ist die Kamera 400 außerhalb des Fahrzeugs oder auf dem Dach des Fahrzeugs montiert. Für den Fachmann ist es verständlich, dass die Kamera 400 überall auf oder um das Fahrzeug montiert werden kann, solange Bildrahmen aufgenommen werden, welche das sich annähernde Gelände zeigen (mit einem ausreichend breiten Blickwinkel). Bei einer nicht beschränkenden Ausführungsform sind erfasste Verkehrssignale 404 und 406 mit erleuchteten gestrichelten Boxen umgeben oder in anderer Art und Weise auf der Fahrzeug-Windschutzscheibe 402 angegeben. Bei einer weiteren nicht beschränkenden Ausführungsform sind erfasste Verkehrssignale mit erleuchteten gestrichelten Boxen umgeben oder in anderer Art und Weise auf einer fahrzeugmontierten Anzeige 408 angegeben.
In 5 ist ein Beispiel-Bildrahmen mit optischen Zeichen um drei Verkehrssignale gezeigt. Zwei Verkehrsignale 500 und 502 werden zu einem spezifizierten Grad an Wahrscheinlickkeit erkannt und sind daher mit Boxen einer bestimmten Farbe, Gestalt oder Muster gekennzeichnet. Das Vorliegen des dritten Verkehrssignals 504, welches vorübergehend durch ein vorbeifahrendes Fahrzeug 500 verdeckt ist, wird jedoch basierend auf Nachweisen, welcher während Erfassungsergebnissen in den vorherigen Bildrahmen gesammelt werden, und der Kalman-Filtrierung für die Kandidaten entsprechend dem spezifizierten Verkehrssignal nach wie vor erkannt. In 5 wird außerdem jedes Verkehrssignal 500, 502 und 504 mit dessen Index in einer Liste von Verkehrssignal-Kandidaten und einem Zähler für gesammelte Nachweise, welcher beispielsweise auf einer Anzahl von Bildrahmen basiert, in welchen der Verkehrssignal-Kandidat erscheint, gezeigt. Bei der beispielhaften Darstellung von 5 besitzt das Verkehrssignal 500 einen Index von 1 und einen Zähler für gesammelte Nachweise von 87; das Verkehrssignal 502 besitzt einen Index von 2 und einen Zähler für gesammelte Nachweise von 99; und das Verkehrssignal 504 besitzt einen Index von 5 und einen Zähler für gesammelte Nachweise von 94. Der Index von 5 für das Verkehrssignal 504 gibt an, dass Verkehrssignal-Kandidaten bei den Indizes 3 und 4 während der Filterung als Kandidaten verworfen wurden.
Es ist offensichtlich, dass im Lichte der vorstehenden Lehren zahlreiche Modifikationen und Variationen der vorliegenden Offenbarung möglich sind. Daher ist es verständlich, dass die Erfindung innerhalb des Schutzbereichs der beigefügten Ansprüche in anderer Art und Weise als hierin spezifisch beschrieben angewendet werden kann.

Claims

Steuerungsvorrichtung zum Erfassen einer Verkehrssignalisierung einer mobilen Umgebung, aufweisend: eine zentrale Verarbeitungseinheit, mit einem Kandidaten-Detektor, um durch eine Bildaufnahmevorrichtung aufgenommene Bildrahmen zu empfangen, um einen Verkehrssignal-Kandidaten daraus basierend auf zumindest einem Fahrzeugstandort zu erfassen; einem Kandidaten-Tracker, um einen Zähler mit einem vorbestimmten Wert für den Verkehrssignal-Kandidaten zu schaffen und um den Verkehrssignal-Kandidaten durch Erhöhen des Zählers, wenn basierend auf einem probabilistischen Schätzer, welcher einen voraussichtlichen Wert für einen Standort des Verkehrssignal-Kandidaten angibt, ermittelt wird, dass der Verkehrssignal-Kandidat in einem verfolgten Bildrahmen der aufgenommenen Bildrahmen erscheint, und Verringern des Zählers, wenn basierend auf dem probabilistischen Schätzer ermittelt wird, dass der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint, zu verfolgen; und einem Verkehrssignal-Ermittler, um basierend darauf, ob sich der Zähler oberhalb einer spezifizierten Schwelle befindet, zu ermitteln, ob der Verkehrssignal-Kandidat ein Verkehrssignal ist.
Steuerungsvorrichtung nach Anspruch 1, wobei der Verkehrssignal-Ermittler ermittelt, dass der Verkehrssignal-Kandidat kein Verkehrssignal ist, wenn der Verkehrssignal-Kandidat in einer spezifizierten Anzahl von aufeinanderfolgenden Bildrahmen der aufgenommenen Bildrahmen nicht erscheint.
Steuerungsvorrichtung nach Anspruch 1, ferner aufweisend: eine Grafik-Steuerungsvorrichtung, um ein optisches Indikatorsignal auszugeben, welches einen Standort des Verkehrssignals spezifiziert.
Steuerungsvorrichtung nach Anspruch 1, wobei der probabilistische Schätzer durch einen Kalman-Filter, einen iterierten Kalman-Filter, einen erweiterten Kalman-Filter, oder einen Sigma-Punkt-Filter implementiert ist.
Steuerungsvorrichtung nach Anspruch 1, wobei der probabilistische Schätzer eine Eigenbewegung des Fahrzeugs als Eingang verwendet, um den voraussichtlichen Wert für den Standort des Verkehrssignal-Kandidaten in dem verfolgten Bildrahmen zu ermitteln.
Steuerungsvorrichtung nach Anspruch 1, wobei der Kandidaten-Detektor den Verkehrssignal-Kandidaten ferner basierend auf einem Gestalt-Detektor erfasst.
Steuerungsvorrichtung nach Anspruch 1, wobei der Kandidaten-Detektor den Verkehrssignal-Kandidaten ferner basierend auf einem Farbfilter erfasst.
Steuerungsvorrichtung nach Anspruch 1, wobei der Kandidaten-Detektor den Verkehrssignal-Kandidaten in Abwesenheit einer Vorlage für ein Ampelgehäuse erfasst.
Verfahren zum Erfassen einer Fahrzeug-Verkehrssignalisierung in einer mobilen Umgebung, aufweisend: Empfangen von Bildrahmen, die durch eine Bildaufnahmevorrichtung aufgenommen werden, um einen Verkehrssignal-Kandidaten daraus basierend auf zumindest einem Fahrzeugstandort zu erfassen; Schaffen eines Zählers mit einem vorbestimmten Wert für den Verkehrssignal-Kandidaten und Verfolgen des Verkehrssignal-Kandidaten durch Erhöhen des Zählers, wenn basierend auf einem probabilistischen Schätzer, welcher einen voraussichtlichen Wert für einen Standort des Verkehrssignal-Kandidaten angibt, ermittelt wird, dass der Verkehrssignal-Kandidat in einem verfolgten Bildrahmen der aufgenommenen Bildrahmen erscheint, und Verringern des Zählers, wenn basierend auf dem probabilistischen Schätzer ermittelt wird, dass der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint; und Ermitteln, ob der Verkehrssignal-Kandidat ein Verkehrssignal ist, basierend darauf, ob sich der Zähler oberhalb einer spezifizierten Schwelle befindet.
Verfahren nach Anspruch 9, ferner aufweisend: Anzeigen eines optischen Indikators, welcher eine Farbe des Verkehrssignals auf einem Bildschirm der Bildaufnahmevorrichtung spezifiziert.
Verfahren nach Anspruch 9, ferner aufweisend: Anzeigen eines optischen Indikators, welcher eine Farbe des Verkehrssignals auf einem Bildschirm der Bildaufnahmevorrichtung spezifiziert.
Verfahren nach Anspruch 11, wobei der optische Indikator einer Farbgrafik und/oder einer Mustergrafik und/oder einem Text entspricht.
Verfahren nach Anspruch 9, wobei eine Teilmenge der aufgenommenen Bildrahmen verfolgt wird.
Verfahren nach Anspruch 9, wobei der Verkehrssignal-Kandidat als das Verkehrssignal ermittelt wird, wenn der Verkehrssignal-Kandidat in zumindest einem verfolgten Bildrahmen der aufgenommenen Bildrahmen verdeckt ist.
Verfahren nach Anspruch 9, ferner aufweisend: Steuern der Fahrzeugbewegung, einschließlich Beschleunigen, Verzögern und Bremsen, durch eine elektronische Fahrzeug-Steuerungsvorrichtung, wenn ermittelt wird, dass der Verkehrssignal-Kandidat das Verkehrssignal ist.
Verfahren nach Anspruch 14, wobei der Verkehrssignal-Kandidat für ein erstes Licht, welches ausgeschaltet wird, und ein zweites Licht, welches in der Nähe des ausgeschalteten Lichts eingeschaltet wird, überwacht wird.
Nichtflüchtiges computerlesbares Speichermedium mit computerlesbaren Programmcodes, welche in dem computerlesbaren Speichermedium zum Erfassen einer Fahrzeug-Verkehrssignalisierung in einer mobilen Umgebung ausgeführt sind, wobei die computerlesbaren Programmcodes, wenn diese ausgeführt werden, bewirken, dass ein Computer folgendes ausführt: Empfangen von Bildrahmen, welche durch eine Bildaufnahmevorrichtung aufgenommen werden, um einen Verkehrssignal-Kandidaten daraus basierend auf zumindest einem Fahrzeugstandort zu erfassen; Schaffen eines Zählers mit einem vorbestimmten Wert für den Verkehrssignal-Kandidaten und Verfolgen des Verkehrssignal-Kandidaten durch Erhöhen des Zählers, wenn basierend auf einem probabilistischen Schätzer, welcher einen voraussichtlichen Wert für einen Standort des Verkehrssignal-Kandidaten angibt, ermittelt wird, dass der Verkehrssignal-Kandidat in einem verfolgten Bildrahmen der aufgenommenen Bildrahmen erscheint, und Verringern des Zählers, wenn basierend auf dem probabilistischen Schätzer ermittelt wird, dass der Verkehrssignal-Kandidat in dem verfolgten Bildrahmen nicht erscheint; und Ermitteln, ob der Verkehrssignal-Kandidat ein Verkehrssignal ist, basierend darauf, ob sich der Zähler oberhalb einer spezifizierten Schwelle befindet.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 17, wobei der Verkehrssignal-Kandidat basierend auf einer Fahrzeug-Stellung erfasst wird, welche den Standort des Fahrzeugs und eine Fahrzeugorientierung bezüglich einer Karte enthält.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 17, ferner aufweisend: Ausgeben eines Signals, das einen Standort des Verkehrssignals spezifiziert, zu einer Fahrzeug-Steuerungsvorrichtung, welche die Fahrzeugbewegung steuert.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 17, wobei der Verkehrssignal-Kandidat bezüglich Veränderungen überwacht wird.