DE102014118779A1

DE102014118779A1 - Pfeilsignal-Erkennungsvorrichtung

Info

Publication number: DE102014118779A1
Application number: DE102014118779.2A
Authority: DE
Inventors: c/o FUJI JUKOGYO KABUSHIKI KAISHA Nakagawa Ryo
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-12-27
Filing date: 2014-12-16
Publication date: 2015-07-02
Anticipated expiration: 2034-12-17
Also published as: CN104751116B; CN104751116A; JP2015125709A; DE102014118779B4; US9405980B2; JP5852637B2; US20150186734A1

Abstract

Es wird eine Pfeilsignal-Erkennungsvorrichtung bereitgestellt. Basierend auf einem Bild, aufgenommen von einer Onboardkamera 2, setzt eine Pfeilsignalerkennungseinrichtung 14 Pfeilsignalbereiche N1 bis N6 auf der Basis eines Signallichtabstandes Ls zwischen einem erleuchteten Rotsignallicht 21r eines Verkehrslichts 21 und einem Fahrzeug 1, zählt die Anzahl von Farbtoneffektivpixeln IOK, von denen angenommen wird, dass sie erleuchtet sind, innerhalb jedes Pfeilsignalbereichs, sucht weiterhin und zählt Farbtonineffektivpixel in den Farbtoneffektivpixeln auf der Basis von Pixelinformation in der Nähe von jedem Farbtoneffektivpixel und berechnet eine Pfeileffektivpixelanzahl YOK aus der Differenz zwischen der Anzahl von Farbtoneffektivpixeln IOK und der Anzahl von Farbtonineffektivpixeln YOK.

Description

Die vorliegende Erfindung betrifft eine Pfeilsignal-Erkennungsvorrichtung, die ein Pfeilsignallicht erkennt, mit dem ein Verkehrslichtzeichen beziehungsweise eine Verkehrslichtzeichenanlage versehen ist, auf der Basis eines Bildes, aufgenommen von einer Onboardkamera.
Bekannt ist eine Technologie, gemäß der ein Verkehrslichtzeichen und ein Pfeilsignallicht, mit dem eine Verkehrslichtzeichenanlage versehen ist, erkannt werden basierend auf einer Fahrtumgebung vor einem Fahrzeug, die von einer Kamera (im Folgenden „Onboardkamera” genannt) aufgenommen wird, die in dem Fahrzeug angebracht ist.
Die japanische ungeprüfte Patentanmeldungsveröffentlichung Nr. 2012-168592 offenbart beispielsweise eine Technologie des Extrahierens eines Pfeilsignallichts durch Detektieren eines Rotsignals eines Verkehrslichts beziehungsweise einer Verkehrslichtzeichenanlage, basierend auf einem Bild, das von einer Onboardkamera aufgenommen wird, und Setzen eines Suchbereichs für das Pfeilsignallicht basierend auf der Position des roten Signallichts beziehungsweise Rotsignallichts innerhalb des Bildes, um ein Pixel zu detektieren, das einen Farbmerkmalbetrag eines vorbestimmten RGB-Verhältnisses innerhalb des gesetzten Suchbereichs aufweist.
Als Verkehrslichter werden Verkehrslichtzeichenglühlampen und LED Verkehrslichtzeichen verwendet. Naturgemäß gibt es auch bei Pfeilsignallichtern solche, die Glühlampen sind, und solche die als LED ausgeführt sind. Bei LED-Pfeilsignallicht wird ein Pfeil geformt durch LEDs, die in vorbestimmten Intervallen angeordnet sind. Die Luminanz ist daher durchgehend annähernd konstant. Bei Verkehrslichtzeichen aus Glühlampen nimmt die Luminanz jedoch graduell von der Glühlampe aus ab, da eine Abdecklinse in der Farbe des Verkehrslichtzeichens mit einem Blaufilter oder dergleichen eingefärbt ist. Zudem ist die Helligkeit der Glühlampe selbst nicht konstant.
Dies führt dazu, dass dann, wenn eine Extraktion des Pfeilsignallichts durchgeführt wird mit einem Grenzwert, der ein Farbmerkmalbetrag eines vorbestimmten RGB-Verhältnisses ist, wie in dem zuvor erwähnten Dokument offenbart, die Erkennung des Pfeilsignallichts selbst schwierig sein kann aus der Ferne, wenn beispielsweise ein mit dieser Technologie ausgerüstetes Fahrzeug sich relativ weit von einem Verkehrslichtzeichen entfernt befindet. Als eine Lösung hiervon ist denkbar, einen geringen Farbmerkmalbetrag zu setzen. Dies führt jedoch zu dem Problem, dass die Präzision der Erkennung des Pfeilsignallichts beziehungsweise Pfeilsignallichtzeichens abnimmt.
Im Hinblick auf die vorstehend beschriebenen Umstände liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Pfeilsignal-Erkennungsvorrichtung bereitzustellen, die ein Pfeilsignallicht beziehungsweise Pfeilsignallichtzeichen mit hoher Präzision selbst von relativer Ferne aus detektieren kann.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Pfeilsignal-Erkennungsvorrichtung bereitgestellt, welche aufweist: eine Onboardkamera, das heißt bordeigene Kamera, die ein Bild einer Fahrtumgebung vor einem Fahrzeug aufnimmt, das mit der Pfeilsignal-Erkennungsvorrichtung ausgerüstet ist, einen Bilderkennungsprozessor, der ein erleuchtetes beziehungsweise leuchtendes Signallicht erkennt, das bei einer Verkehrslichtzeichenanlage bereitgestellt ist, und einen Signallichtabstand berechnet zwischen dem leuchtenden Signallicht und dem Fahrzeug auf der Basis von einem Einzelbild (Frame) des Bildes, aufgenommen von der Onboardkamera, und einen Pfeilsignaldetektor, der ein Pfeilsignallicht beziehungsweise ein Pfeilsignallichtzeichen einer Verkehrslichtzeichenanlage detektiert. Der Pfeilsignaldetektor weist auf: ein Pfeilsignalbereichsetzmodul, das einen Pfeilsignalbereich setzt in Bezug auf das leuchtende Signallicht auf der Basis des Signallichtabstandes, ein Farbtoneffektivpixelsuchmodul, das ein Farbtoneffektivpixel sucht, von dem angenommen wird, dass es leuchtet von einem Farbton innerhalb eines Pfeilsignalbereichs, gesetzt durch das Pfeilsignalbereichsetzmodul, und die Anzahl der Farbtoneffektivpixel zählt, ein Farbtonineffektivpixelsuchmodul, das jedes von dem Farbtoneffektivpixelsuchmodul aufgefundene Farbtoneffektivpixel und ein Pixel in einer Nähe des Farbtoneffektivpixels vergleicht und daraufhin das Farbtoneffektivpixel auf ein Farbtonineffektivpixel hin untersucht und darüber hinaus die Anzahl der Farbtonineffektivpixel zählt, ein Pfeileffektivpixelanzahlberechnungsmodul, das eine Pfeileffektivpixelanzahl berechnet durch Subtrahieren der Anzahl von Farbtonineffektivpixeln, aufgefunden durch das Farbtonineffektivpixelsuchmodul, von der Anzahl der Farbtoneffektivpixel, aufgefunden von dem Farbtoneffektivpixelsuchmodul, und ein Pfeilpixelbestimmungsmodul, das bestimmt, dass ein Pfeilpixel vorhanden ist in einem Fall, in dem die Pfeileffektivpixelanzahl, berechnet von dem Pfeileffektivpixelanzahlberechnungsmodul, einen Pfeileffektivpixelgrenzwert, gesetzt basierend auf dem Signallichtabstand, überschreitet.
Die Erfindung wird im Folgenden weiter erläutert anhand eines Ausführungsbeispiels unter Bezug auf die Zeichnungen, in denen
1 eine schematische Konfigurationsdarstellung einer Pfeilsignal-Erkennungsvorrichtung ist,
2 ein erstes Flussdiagramm ist, das ein Pfeilsignalerkennungsprozessprogramm zeigt,
3 ein zweites Flussdiagramm ist, das ein Pfeilsignalerkennungsprozessprogramm zeigt,
4 eine Darstellung ist, die ein Bild zeigt einer Ansicht vor einem Fahrzeug, ausgerüstet mit der Pfeilsignalerkennungsvorrichtung, das von einer Onboardkamera aufgenommen ist,
5 eine Darstellung ist, die ein Positionsverhältnis einer Verkehrslichtzeichenanlage beziehungsweise eines Verkehrslichts und des Fahrzeugs zeigt,
6 eine Darstellung ist, die einen Suchbereich für ein Pfeilsignallicht zeigt, der gesetzt wird unter Bezug auf ein Rotsignallicht beziehungsweise rotes Signallicht,
7A eine Darstellung ist, die einen Zustand zeigt, in dem ein Pfeilsignallicht in einer horizontalen Verkehrslichtzeichenanlage angeordnet ist, und 7B eine Darstellung ist eines Zustandes, in dem ein Pfeilsignallicht in einer vertikalen Verkehrslichtzeichenanlage angeordnet ist,
8A eine Darstellung ist, in der Farbtoneffektivpixel extrahiert sind von einem Pfeilsignalsuchbereich und 8B eine Darstellung ist, in der Pfeileffektivpixel extrahiert sind von Farbtoneffektivpixeln, und
9A eine Darstellung ist, in der Ineffektivpixel extrahiert sind von extrahierten Pfeileffektivpixeln, basierend auf der G-Randdifferenz relativ zu Pixeln in der Nähe, und 9B eine Darstellung ist, in der ein Ineffektivpixel extrahiert ist von einem extrahierten Pfeileffektivpixel, basierend auf Pixeln in der Nähe.
Bezugszeichen 1 in 1 bezeichnet ein Fahrzeug wie beispielsweise ein Automobil. In einem vorderen Bereich des Inneren des Fahrzeugs 1 ist eine Onboardkamera 2 in einem oberen Bereich einer vorderen Windschutzscheibe angeordnet. Die Onboardkamera 2 ist eine Stereokamera, gebildet aus einer Hauptkamera 2a und einer Nebenkamera 2b. Die jeweiligen Kameras 2a und 2b sind aufgebaut mit einem Bilderzeugungselement (Bildsensor), wie beispielsweise einem CCD oder CMOS, und beispielsweise angeordnet in symmetrischen Positionen links und rechts über einem Rückspiegel, der in der Mitte in der Fahrzeugbreitenrichtung angeordnet ist. Hierin bezeichnet Onboardkamera 2 sowohl die Hauptkamera 2a als auch die Nebenkamera 2b zum Zwecke der Vereinfachung, soweit nicht anders angegeben.
Die Onboardkamera 2 ist eine Farbkamera, die ein Farbbild aufnimmt einer Fahrtumgebung eines Weges, längs dessen das Fahrzeug 1 fährt. Pixeldaten von jedem Bildelement werden gesetzt mit einem Luminanzwert (Pixelwert) von 8 Bits (Ton von 0 bis 255) für jeden von R, G und B. Der Luminanzwert ist nicht auf 8 Bits begrenzt.
Die Hauptkamera 2a nimmt ein Referenzbild (rechtes Bild) auf, erforderlich zum Durchführen eines Stereoverfahrens, und die Hilfskamera 2b nimmt ein Vergleichsbild (linkes Bild) auf zur Verarbeitung. In einem miteinander synchronisierten Zustand werden entsprechende Analogbilder von R, G und B, ausgegeben von den zwei Kameras 2a und 2b, konvertiert in ein Digitalbild eines vorbestimmten Tons durch einen A/D-Konverter (analog/digital Wandler) 3. Das digital umgewandelte Bild wird an eine Bilderkennungseinheit 11 ausgegeben.
Die Bilderkennungseinheit 11 ist hauptsächlich konfiguriert durch einen Microcomputer und beinhaltet eine bekannte CPU, ROM, RAM und dergleichen. Für eine Pfeilsignal-Erkennungsfunktion, die in der CPU verarbeitet wird, sind ein Bilderkennungsprozessor 12, eine Kamerasteuerungseinrichtung 13 und eine Pfeilsignalerkennungseinrichtung 14, dienend als der Pfeilsignaldetektor der vorliegenden Erfindung, eingeschlossen. Des Weiteren enthält die Bilderkennungseinheit 11 einen Speicher 15. Der Speicher 15 speichert entsprechende Elemente von Daten wie Werte einer Pfeileffektivpixelanzahl YOK, detektiert für jeden Pfeilsignalbereich, der später beschrieben wird, einen Pfeileffektivpunkt PNiOK und einen Pfeilineffektivpunkt PNiNG, von denen einer in jedem Einzelbild aktualisiert wird, und ein Pfeilsignallichtbestimmungsflag FNi, das für jeden Pfeilsignalbereich gesetzt wird.
Der Bilderkennungsprozessor 12 erkennt ein dreidimensionales Objekt vor dem Fahrzeug 1 und berechnet einen Durchschnittsluminanzwert, basierend auf Bilddaten, erhalten von der Onboardkamera 2. Das heißt, wie in 4 zum Beispiel gezeigt, ein vorausfahrendes Auto 22, ein Verkehrszeichen 23, eine weiße Linie 24, ein Bordstein 25 sowie ein entgegenkommendes Auto, Fußgänger oder dergleichen, die nicht gezeigt sind, sind von einer Verkehrslichtzeichenanlage beziehungsweise einem Verkehrslicht 21 verschiedene dreidimensionale Objekte in Bilddaten, aufgenommen von der Onboardkamera 2. Diese werden erkannt als entsprechende dreidimensionale Objekte und die Abstände zwischen diesen und dem Fahrzeug 1 werden erhalten aus der Parallaxe in der Hauptkamera 2a und der Nebenkamera 2b. Erkennung der entsprechenden dreidimensionalen Objekte wird durchgeführt unter Verwendung einer bekannten Musterabgleichmethode oder dergleichen. Es ist bekannt, wie der Abstand zwischen einem dreidimensionalen Objekt und dem Fahrzeug 1 erhalten wird. Diese Beschreibung wird daher weggelassen.
In dem in 4 gezeigten Bild beinhaltet das Verkehrslicht 21 ein rotes Signallicht beziehungsweise Rotsignallicht 21r, ein Gelbsignallicht 21y und ein Grünsignallicht 21b. Des Weiteren sind unterhalb der entsprechenden Signallichter entsprechende Pfeilsignallichter 22r, 22f und 22l zum Rechtsabbiegen, Geradeausfahren und Linksabbiegen bereitgestellt. In Folge der Installation entsprechend der Straßensituation können auch nur ein oder zwei der entsprechenden Pfeilsignallichter 22r, 22f und 22l installiert sein.
Die Kamerasteuerungseinrichtung 13 liest den Durchschnittsluminanzwert der Bilddaten, verarbeitet in dem Bilderkennungsprozessor 12, setzt die Belichtungszeit (Verschlussgeschwindigkeit) für die optimale Helligkeit beim Aufnehmen eines Bildes für das nächste Einzelbild und führt eine Belichtungssteuerung der entsprechenden Kameras 22a und 22b aus, basierend auf der Belichtungszeit. Die Belichtungszeit wird auch gelesen von der Pfeilsignalerkennungseinrichtung 14.
Die Pfeilsignalerkennungseinrichtung 14 überprüft, ob ein Leuchten des Rotsignallichts 21r des Verkehrslichts 21 detektiert wird oder nicht, basierend auf den Bilddaten, verarbeitet in dem Bilderkennungsprozessor 12 und, wenn ein Leuchten detektiert wird, überprüft, ob ein Pfeilsignal an dem Verkehrslicht vorgesehen ist.
Der Pfeilsignalerkennungsprozess, ausgeführt von der Pfeilsignalerkennungseinrichtung 14, wird insbesondere durchgeführt entsprechend einem Pfeilsignalerkennungsprozessprogramm, das in den 2 und 3 gezeigt ist.
Das Programm wird initiiert in Synchronisation mit Bildinformation für jedes Einzelbild, übertragen von dem Bilderkennungsprozessor 12. Zuerst wird in Schritt S1 überprüft, ob ein Leuchten des Rotsignallichts 21r des Verkehrslichts 21 detektiert wird oder nicht. In dem Fall, dass ein Leuchten detektiert wird, geht das Programm weiter zu Schritt S2. In dem Fall, dass ein Leuchten nicht detektiert wird, wird das Programm verlassen, um die Detektion von Leuchten des Rotsignallichts 21r in dem nächsten Einzelbild vorzubereiten.
Die Größe (Durchmesser) der entsprechenden Signallichter 21r, 21y und 21b ist im Voraus gegeben. Somit kann, wenn der Abstand (Signallichtabstand) Ls von dem Fahrzeug 1 zu dem Rotsignallicht 21r und der tatsächliche Durchmesser des Rotsignallichts 21r herausgefunden sind, wie in 5 gezeigt, das Signallicht erkannt werden durch Musterabgleich von einem Bild, gebildet in der Hauptkamera 2a, und einem Muster des Signallichts, das vorab gesetzt wird. Zudem kann, basierend auf dem Farbmerkmalbetrag (vorbestimmtes RGB-Verhältnis) oder der Luminanz des Rotsignallichts 21r, das leuchtende Signallicht, das heißt das Rotsignallicht 21r, das das leuchtende Signallicht ist, erkannt werden.
Wenn bestimmt wird, dass das Rotsignallicht 21r als leuchtend detektiert wird und das Programm weiterschreitet zu Schritt S2, werden Pfeilsignalbereiche N1 bis N6 gesetzt, basierend auf dem Signallichtabstand Ls, und das Programm geht weiter zu Schritt S3. Der Prozess in Schritt S2 entspricht dem Prozess durch das Pfeilsignalbereichsetzmodul gemäß der vorliegenden Erfindung.
Bezüglich des Verkehrslichts 21 ist in 7B ein vertikaler Typ gezeigt, der von dem in 7A gezeigten horizontalen Typ verschieden ist. Bei dem horizontalen Verkehrslicht 21 sind die Pfeilsignallichter 22r, 22f und 22l unterhalb des Rotsignallichts 21r vorgesehen. Bei dem vertikalen Verkehrslicht 21 sind die Pfeilsignallichter 22r, 22f und 22l auf der rechten Seite des Rotsignallichts 21r, von der Vorderseite aus gesehen, vorgesehen. Entsprechend den Anordnungen der Pfeilsignallichter 22r, 22f und 22l werden die Pfeilsignalbereiche N1 bis N6 dementsprechend unterhalb und auf der rechten Seite, von vorne gesehen, des Rotsignallichts 21r gesetzt. In diesem Fall ist die Größe (Durchmesser) des Pfeilsignallichts ungefähr die gleiche wie das Rotsignallicht 21r und der ungefähre Abstand der entsprechenden Pfeilsignallichter 22r, 22f und 22l ist gegeben. Zudem sind die entsprechenden Pfeilsignallichter 22r, 22f und 22l vorgesehen in Positionen in einem vorab gegebenen Abstand weg von den entsprechenden Signallichtern 21r, 21y und 21b.
Basierend auf dem Abstand des Fahrzeugs 1 zu dem Rotsignallicht 21r, dem tatsächlichen Durchmesser des Rotsignallichts 21r, dem Abstand der entsprechenden Pfeilsignallichter 22r, 22f und 22l und der gegebenen Position der Pfeilsignallichter 22r, 22f und 22l in Bezug auf die entsprechenden Signallichter 21r, 21y und 21b wird der tatsächliche Abstand per Pixelpitch beziehungsweise Pixelabstand auf einer Bildoberfläche der Hauptkamera 2a berechnet und die entsprechenden Pfeilsignalbereiche N1 bis N6 werden gesetzt in Bezug auf das Rotsignallicht 21r (siehe 6).
Das Programm geht dann weiter zu Schritt S3 und die Schritte S3 bis S17 werden wiederholt, um zu überprüfen, ob ein Pfeilsignallicht in einem der entsprechenden Pfeilsignalbereiche N1 bis N6 vorhanden ist oder nicht. Zuerst wird in Schritt S3 ein Pfeilsignalbereich Ni gesetzt. Der Anfangswert des Pfeilsignalbereichs Ni ist 0 und wird inkrementiert jedes Mal dann, wenn das Programm wiederholt wird (Ni ← N(i + 1), wobei i gleich 1 bis 6). In diesem Beispiel wird somit zunächst eine Suche begonnen für den Pfeilsignalbereich N1 an dem linken Ende und der nächste Pfeilsignalbereich N2 und der Pfeilsignalbereich N3 werden in dieser Reihenfolge untersucht, wie in 6 gezeigt. Die Pfeilsignalbereiche N1 bis N3 entsprechen den entsprechenden Pfeilsignallichtern 22l, 22f und 22r, angeordnet in dem horizontalen Verkehrslicht 21, gezeigt in 7A.
Als Nächstes wird der Pfeilsignalbereich N4 unmittelbar rechts von dem detektierten Rotsignallicht 21r, von vorne gesehen, untersucht und der Pfeilsignalbereich N5 und der Pfeilsignalbereich N6 darunter werden in dieser Reihenfolge untersucht. Die Pfeilsignalbereiche N4 bis N6 entsprechen den entsprechenden Pfeilsignallichtern 22r, 22f und 22l, angeordnet in dem vertikalen Verkehrslicht 21, gezeigt in 7B.
Daraufhin, wenn das Programm weitergeht zu Schritt S4, werden Pixel in den gesetzten Pfeilsignalbereichen Ni (zum Beispiel Bereich N1) untersucht, um ein Farbtoneffektivpixel zu extrahieren. Das heißt, in dem Fall, in dem das Pfeilsignallicht ein LED ist, ist die Luminanz annähernd konstant in einem erleuchteten Zustand und der Rand wird klar detektiert. Daher ist der Farbmerkmalbetrag des Pfeilsignals groß und die meisten der Farbtoneffektivpixel können somit direkt gesetzt werden als Pfeileffektivpixel. Der Farbmerkmalbetrag ist ein Bildmerkmalsbetrag, der sich auf Farbinformation bezieht, und wird wiedergegeben durch Pixelwerte von entsprechenden R-, G- und B-Komponenten eines in Rede stehenden Pixels.
In diesem Beispiel wird die Referenz zum Bestimmen der Größe des Farbmerkmalbetrags gesetzt wie folgt. G > 150 B > 0,6 G R < 0,5 G
Ein Pixel, bei dem der Pixelwert überschritten wird, wird dahingehend bestimmt, einen großen Farbmerkmalbetrag aufzuweisen.
Das Farbtoneffektivpixel betrifft ein Pixel, bei dem der Pixelwert kleiner ist als der oben beschriebene Farbmerkmalbetrag, bei dem jedoch aufgrund des Farbtons (Tönung oder Farbtiefe) angenommen werden kann, dass er erleuchtet ist. In diesem Ausführungsbeispiel wird dasjenige als das Farbtoneffektivpixel extrahiert, das die zwei nachfolgend beschriebenen Bedingungen erfüllt. Die Pfeileffektivpixelanzahl, die nachfolgend beschrieben wird, nimmt Bezug auf die verbleibende Anzahl von Pixeln, wenn die Anzahl von Pixeln (Farbtonineffektivpixel), die temporär angenommen werden als ein Farbtoneffektivpixel, jedoch ineffektiv werden in Bezug zur Luminanzinformation oder dergleichen der Nähe, von der Farbtoneffektivpixelanzahl subtrahiert wird. Im Fall eines LED-Pfeilsignallichts ist somit die Farbtoneffektivpixelanzahl annähernd gleich der Pfeileffektivpixelanzahl, da es sehr wenige Farbtonineffektivpixel gibt.
Die Bestimmungsbedingungen zum Annehmen eines Farbtoneffektivpixels sind wie folgt.

(1) Der Abstand von dem Fahrzeug 1 zu dem Pfeilsignallicht ist der gleiche wie der Signallichtabstand Ls.
(2) Das RGB-Verhältnis erfüllt eine vorbestimmte Bedingung in Bezug auf die Luminanzinformation im nahen Bereich.

Die Bedingung gemäß (1) dient dazu, sicherzustellen, dass es sich um das gleiche Verkehrslicht 21 handelt. Die Bedingung gemäß (2) dient dazu, zu bestimmen, ob ein Pfeilsignallicht (zum Beispiel ein Glühbirnenpfeilsignallicht mit niedriger Luminanz oder verschwommenen Umrissen) erleuchtet ist oder nicht. Genauer gesagt, wenn das Rotsignallicht 21r erleuchtet ist, wird jedes Pixel innerhalb jedes Pfeilsignalbereichs Ni untersucht, wobei die Vergleichsreferenz die Luminanzinformation (RGB-Verhältnis) des Signallichts (zum Beispiel Gelbsignallicht 21y), das in dem gleichen Verkehrslicht 21 nicht erleuchtet ist, ist. Das heißt, da angenommen wird, dass das erleuchtete Pfeilsignallicht heller ist als zumindest das nicht erleuchtete Signallicht (zum Beispiel Gelbsignallicht 21y), wird ein Pixel, dessen detektierte Luminanz heller ist als die Luminanzinformation von dem nicht erleuchteten Signallicht, als das Farbtoneffektivpixel extrahiert.
Ein Pixel, das die oben beschriebenen Bedingungen (1) und (2) erfüllt, wird als das Farbtoneffektivpixel extrahiert. Wenn beispielsweise die Luminanzinformation (RGB-Verhältnis) von entsprechenden Pixeln in dem Pfeilsignalbereich Ni, gesetzt in der Bildfläche, und ein Grenzwert, vorab gesetzt, verglichen werden zur Binarisierung in Farbtoneffektivpixel (OK) und Ineffektivpixel (NG), wie in 8A gezeigt, werden Farbtoneffektivpixel extrahiert, wie in 8B gezeigt.
Dann, wenn das Programm zu Schritt S5 weitergeht, wird eine Zahl (Farbtoneffektivpixelanzahl) IOK der Farbtoneffektivpixel, die in dem Pfeilsignalbereich Ni extrahiert werden, gezählt und das Programm geht weiter zu Schritt S6. Der Prozess in den Schritten S4 und S5 entspricht dem Prozess des Farbtoneffektivpixelsuchmoduls der vorliegenden Erfindung.
In Schritt S6 wird das Farbtonineffektivpixel gesucht für die entsprechenden Farbtoneffektivpixel, extrahiert Pixel für Pixel in dem Pfeilsignalbereich Ni, basierend auf Pixelinformation in der nahen Umgebung beziehungsweise Nähe. Das heißt, wie zuvor beschrieben, es ist denkbar, dass ein Pixel, das als ein Farbtoneffektivpixel angenommen wurde, ein Pixel ist, das tatsächlich nicht erleuchtet ist, sondern irrtümlich extrahiert wurde in Folge der niedrigen Luminanz oder eines verschwommenen Umrisses.
In dem Fall, dass eine oder beide Bedingungen von (1) und (2), nachfolgend beschrieben, zutreffen, wird das Farbtoneffektivpixel gesetzt als ein Farbtonineffektivpixel.

(1) In dem Fall, in dem eine Differenz ΔG in G-Werten eines Pixels, extrahiert als das Farbtoneffektivpixel, und eines Pixels in der Nähe, das extrahiert ist als das Farbtoneffektivpixel, in einem zuvor gesetzten Bereich ist, das heißt ein großer Unterschied in den G-Werten nicht vorliegt, wird das Pixel in der Nähe als ein Farbtonineffektivpixel gesetzt.
(2) In dem Fall, in dem ein als das Farbtoneffektivpixel extrahierte Pixel neben einem Ineffektivpixel (NG) liegt, wird das Farbtoneffektivpixel als ein Farbtonineffektivpixel gesetzt.

Genauer gesagt, bezüglich der Bedingung (1) werden der G-Wert des Farbtoneffektivpixels und der G-Wert des Farbtoneffektivpixels in der Nähe verglichen, da die Farbe des Pfeilsignallichts grün ist und am meisten signifikant ist in dem G-Wert. In dem Fall, in dem ein großer Unterschied in den G-Werten nicht vorliegt, ist die Luminanz durchgehend gleichförmig und es besteht eine Möglichkeit einer irrtümlichen Bestimmung für ein Pfeilsignal. Daher wird solch ein Pixel in der Nähe gesetzt als ein Farbtonineffektivpixel. Beispielsweise in dem Fall, in dem der Fokus auf einem Pixel in der Mitte liegt, wie in 9A gezeigt, ist der Unterschied (Randunterschied) zwischen dem G-Wert dieses Pixels und dem G-Wert von Pixeln unmittelbar rechts und unterhalb praktisch nicht vorhanden und es wird angenommen, dass der Einfluss der Luminanz des Farbtoneffektivpixels in der Mitte lediglich eine Verzerrung verursacht. Daher werden die Pixel unmittelbar rechts und unterhalb als Farbtonineffektivpixel gesetzt. Für den G-Wert von Pixeln unmittelbar links und oberhalb besteht ein Unterschied bezüglich des G-Werts des Pixels in der Mitte und es wird angenommen, dass kein Einfluss von Unschärfe vorliegt. Daher wird das Farbtoneffektivpixel so belassen, wie es ist. In 9A sind somit die Pixel unmittelbar rechts und unterhalb Farbtonineffektivpixel und die Pixel unmittelbar links und oberhalb sind Farbtoneffektivpixel.
Bezüglich der Bedingung (2) werden die Farbtoneffektivpixel normalerweise in gewissem Umfang durchgehend detektiert. In dem Fall, in dem umgebende Pixel in der Nähe Ineffektivpixel (NG) sind, liegt keine Durchgängigkeit vor und es besteht eine hohe Wahrscheinlichkeit, dass ein Farbtoneffektivpixel irrtümlich extrahiert wurde. Daher wird solch ein Pixel als ein Farbtonineffektivpixel gesetzt.
Dann, wenn das Programm weitergeht zu Schritt S7, wird eine Zahl (Farbtonineffektivpixelanzahl) ING der in dem oben beschriebenen Schritt S6 gesetzten Farbtonineffektivpixel gezählt und das Programm geht weiter zu Schritt S8. Das Verfahren in Schritt S7 entspricht dem Prozess durch das Farbtonineffektivpixelsuchmodul der vorliegenden Erfindung.
In Schritt S8 wird die Pfeileffektivpixelanzahl YOK berechnet aus der Differenz zwischen der Farbtoneffektivpixelanzahl IOK und der Farbtonineffektivpixelanzahl ING (YOK ← IOK – ING) und das Programm geht weiter zu Schritt S9. Das Verfahren in Schritt S8 entspricht dem Prozess durch das Pfeileffektivpixelanzahlberechnungsmodul der vorliegenden Erfindung.
In Schritt S9 wird ein Pfeileffektivpixelgrenzwert SLY erhalten, basierend auf dem Signallichtabstand Ls. Das heißt, in dem Fall, in dem der Signallichtabstand Ls groß ist, ist die Anzahl von Pixeln für ein Bild des Pfeilsignallichts, das auf der Bildoberfläche gebildet wird, klein, wobei der Signallichtabstand Ls abnimmt, wenn sich das Fahrzeug 1 dem Rotsignallicht 21r nähert, und der Pfeilsignalbereich Ni (wobei i gleich 1 bis 6) wird entsprechend gesetzt. Daher wird der Pfeileffektivpixelgrenzwert SLY zum Bestimmen, ob ein Pfeilsignal erleuchtet ist oder nicht, auf einen größeren Wert gesetzt, wenn der Signallichtabstand Ls abnimmt.
In Schritt S10 werden die Pfeileffektivpixelanzahl YOK und der Pfeileffektivpixelgrenzwert SLY verglichen. In dem Fall, dass bestimmt wird, dass YOK > SLY, wird bestimmt, dass ein Pfeilpixel in dem entsprechenden Pfeilsignalbereich Ni vorhanden ist, und das Programm geht weiter zu Schritt S11. In dem Fall, in dem YOK ≤ SLY, wird bestimmt, dass ein Pfeilpixel nicht vorhanden ist und es wird abgezweigt zu Schritt S12. Der Prozess in Schritt S10 entspricht der Verarbeitung durch das Pfeilpixelbestimmungsmodul der vorliegenden Erfindung.
In Schritt S11 wird der Pfeileffektivpunkt PNiOK, bezogen auf den entsprechenden Pfeilsignalbereich Ni, aktualisiert durch Inkrementieren des derzeit gehaltenen Pfeileffektivpunkts PNiOK(n – 1) (PNiOK ← PNiOK(n – 1) + 1) und das Programm geht weiter zu Schritt S13. Wenn das Programm von Schritt S10 zu Schritt S12 weitergeht, wird der Pfeilineffektivpunkt PNiNG, bezogen auf den entsprechenden Pfeilsignalbereich Ni, aktualisiert durch Inkrementieren des derzeit gehaltenen Pfeileffektivpunkts PNiNG(n – 1) (PNiNG ← PNiNG(n – 1) + 1), und das Programm geht weiter zu Schritt S15. Es wird somit eine Addition durchgeführt für jedes Flussdiagramm, das heißt für jedes Einzelbild, in einem der entsprechenden Punkte PNiOK und PNiNG, wie zuvor beschrieben. Es ist zu beachten, dass (n – 1) ein Referenzzeichen ist, das den Wert vor der Aktualisierung zeigt. Die Prozesse in Schritt S11 und Schritt S12, später beschrieben, entsprechen dem Prozess durch das Pfeilpunktadditionsmodul der vorliegenden Erfindung.
Wenn das Programm von Schritt S11 zu Schritt S13 weitergeht, werden der Pfeileffektivpunkt PNiOK und ein Pfeileffektivgrenzwert SLOK, der vorab gesetzt wird, verglichen. Wenn das Programm von Schritt S12 zu Schritt S15 weitergeht, werden der Pfeilineffektivpunkt PNiNG und ein Pfeilineffektivgrenzwert SLNG, der vorab gesetzt wird, verglichen. Wie zuvor beschrieben, sind die entsprechenden Punkte PNiOK und PNiNG Werte, von denen einer hinzugefügt wird für jedes Einzelbild dann, wenn das vorneliegende Verkehrslicht 21 von der Onboardkamera 2, die an dem Fahrzeug 1 angebracht ist, erkannt wird und das Pfeilsignalverarbeitungsprogramm gestartet wird.
Da die Präzision des Erkennens des Leuchtens eines Pfeilsignallichtes erhöht wird, wenn sich das Fahrzeug 1 dem Verkehrslicht 21 nähert, erhöht somit das Setzen der entsprechenden Grenzwerte SLOK und SLNG auf einen größeren Wert die Präzision des Detektierens des Pfeilsignallichts, die Zeit, die zur Detektion erforderlich ist, nimmt jedoch zu. Das Setzen der Grenzwerte für SLOK und SLNG auf einen kleineren Wert reduziert die zur Detektion erforderliche Zeit, verringert jedoch die Präzision der Detektion. Bei diesem Ausführungsbeispiel können daher Werte, mit denen ein gewisses Maß an Präzision der Detektion erhalten werden kann, und die Zeit, die zur Detektion erforderlich ist, nicht ansteigt, erhalten werden durch Versuche beziehungsweise Experimente und dergleichen und als die Grenzwerte SLOK und SLNG gesetzt werden. In diesem Ausführungsbeispiel ist das Setzen so, dass SLOK und SLNG ungefähr gleich 15 bis 20 ist in dem Fall, dass die Einzelbildrate (Frame-Rate) 30 (fps (Einzelbilder pro Sekunde)) ist.
In dem Fall, dass in Schritt S13 bestimmt wird, dass PNiOK > SLOK, das heißt, ein erleuchtetes Pfeilsignallicht vorhanden ist in dem entsprechenden Pfeilsignalbereich Ni, geht das Programm weiter zu Schritt S14, um ein Pfeilsignallichtbestimmungsflag FNi zu setzen (wobei i gleich 1 bis 6), und das Programm geht weiter zu Schritt S17. In dem Fall, dass PNiOK ≤ SLOK, wird der Grenzwert SLOK nicht erreicht und es springt daher weiter zu Schritt S17.
In dem Fall, dass in Schritt S15 bestimmt wird, dass PNiNG > SLNG, das heißt, ein erleuchtetes Pfeilsignallicht nicht vorhanden ist oder ein Pfeilsignallicht selbst nicht vorhanden ist in dem entsprechenden Pfeilsignalbereich Ni, geht das Programm weiter zu Schritt S16, so dass beide Punkte PNiOK und PNiNG gelöscht werden (PNiOK ← 0 und PNiNG ← 0) und das Programm geht weiter zu Schritt S17. In dem Fall, in dem das gleiche Verkehrslicht 21 erkannt wird zu dem Zeitpunkt des Ausführens des nächsten Programms, wird die Detektion eines Pfeilsignallichtes daher wiederum durchgeführt für das entsprechende Verkehrslicht 21. Die Prozesse in den Schritten S13, S14, S15 und S16 entsprechen dem Prozess durch das Pfeilsignalbestimmungsmodul der vorliegenden Erfindung.
Wenn das Programm von einem der Schritte S13 bis S16 weitergeht zu Schritt S17, wird geprüft, ob der Wert Ni des Pfeilsignalbereichs Ni N6 erreicht hat oder nicht, das heißt, ob das Untersuchen aller Pfeilsignalbereiche N1 bis N6 (siehe 6) beendet wurde oder nicht. In dem Fall, dass es nicht beendet wurde (Ni ≠ N6), wird zu Schritt S3 zurückgekehrt und die Suche des nächsten Pfeilsignalbereichs N (i + 1) wird durchgeführt. In dem Fall, dass die Überprüfung aller Pfeilsignalbereiche Ni beendet ist (Ni = N6), wird der Wert des Pfeilsignalbereichs Ni gelöscht (Ni ← NO) in Schritt S18 und das Programm geht weiter zu Schritt S19.
In Schritt S19 wird der Wert des Pfeilsignallichtbestimmungsflags FNi aller Pfeilsignalbereiche Ni (wobei i gleich 1 bis 6) geprüft. In dem Fall, in dem zumindest ein Pfeilsignallichtbestimmungsflag FNi gesetzt ist, geht das Programm weiter zu Schritt S20, so dass ein Pfeilerkennungsflag FY gesetzt wird (FY ← 1), und das Programm wird verlassen. In dem Fall, in dem ein Pfeilsignallichtbestimmungsflag FNi nicht gesetzt ist, wird abgezweigt zu Schritt S21, so dass das Pfeilerkennungsflag FY gelöscht wird (FY ← 0), und das Programm wird verlassen.
Durch Lesen des Wertes des Pfeilerkennungsflags FY in einer Verkehrslichterkennungsvorrichtung, die die erleuchtete Farbe (rot, gelb oder grün) eines Verkehrslichts erkennt, kann beispielsweise Information darüber erhalten werden, ob ein Pfeilsignallicht bei dem erkannten Verkehrslicht vorgesehen ist oder nicht.
Auf diese Weise sind bei diesem Ausführungsbeispiel die Pfeilsignalbereiche N1 bis N6 gesetzt in der Nähe von und in Bezug auf das Rotsignallicht 21r des Verkehrslichts 21, von dem ein Bild gebildet wird auf der Bildoberfläche des Bildaufnahmeelements der Onboardkamera 2, das Farbtoneffektivpixel in den entsprechenden Pfeilsignalbereichen N1 bis N6 wird extrahiert, das Farbtonineffektivpixel wird dann extrahiert basierend auf Pixelinformation neben dem beziehungsweise in der Nähe des extrahierten Farbtoneffektivpixels und die Pfeileffektivpixelanzahl YOK wird detektiert aus der Differenz zwischen der Anzahl der extrahierten Farbtoneffektivpixel IOK und der Anzahl der Farbtonineffektivpixel INC. Es kann daher mit hoher Präzision detektiert werden, ob ein Pfeilsignal in jedem Pfeilsignalbereich Ni vorhanden ist oder nicht.
In dem Fall, in dem die Anzahl YOK der Pfeileffektivpixel, die für jeden Pfeilsignalbereich Ni extrahiert werden, den Pfeileffektivpixelgrenzwert SLY, gesetzt für jedes Einzelbild basierend auf dem Signallichtabstand Ls, überschreitet, wird der Pfeileffektivpunkt PNiOK(n – 1) inkrementiert und aktualisiert. In dem Fall, in dem der aktualisierte Pfeileffektivpunkt PNiOK den Pfeileffektivgrenzwert SLOK überschreitet, wird bestimmt, dass ein Pfeilsignallicht vorhanden ist. Ein Pfeilsignallicht kann daher präzise erkannt werden.
In dem Fall, dass die Pfeileffektivpixelanzahl YOK gleich oder kleiner als der Pfeileffektivpixelgrenzwert SLY ist, wird der Pfeilineffektivpunkt PNiNG(n – 1) inkrementiert und aktualisiert. In dem Fall, in dem der aktualisierte Pfeilineffektivpunkt PNiNG den Pfeilineffektivgrenzwert SLNG überschreitet, werden die zwei Punkte PNiOK und PNiNG gelöscht und eine Detektion eines Pfeilsignallichts wird erneut durchgeführt. Die Frequenz einer fehlerhaften Detektion wird daher reduziert und eine höhere Präzision der Detektion eines Pfeilsignallichtes kann durch die erneute Durchführung erreicht werden.
Die vorliegende Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Beispielsweise wird das Setzen des Pfeilsignallichtbestimmungsflags FNi in Schritt S14 durchgeführt für jeden Pfeilsignalbereich Ni (wobei i gleich 1 bis 6). Es ist daher ebenfalls möglich, zu spezifizieren, an welches Signallicht ein Pfeilsignallicht angrenzt auf der Basis des Wertes des Pfeilsignallichtbestimmungsflags FNi.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Pfeilsignal-Erkennungsvorrichtung bereitgestellt. Basierend auf einem Bild, aufgenommen von einer Onboardkamera 2, setzt eine Pfeilsignalerkennungseinrichtung 14 Pfeilsignalbereiche N1 bis N6 auf der Basis eines Signallichtabstandes Ls zwischen einem erleuchteten Rotsignallicht 21r eines Verkehrslichts 21 und einem Fahrzeug 1, zählt die Anzahl von Farbtoneffektivpixeln IOK, von denen angenommen wird, dass sie erleuchtet sind, innerhalb jedes Pfeilsignalbereichs, sucht weiterhin und zählt Farbtonineffektivpixel in den Farbtoneffektivpixeln auf der Basis von Pixelinformation in der Nähe von jedem Farbtoneffektivpixel und berechnet eine Pfeileffektivpixelanzahl YOK aus der Differenz zwischen der Anzahl von Farbtoneffektivpixeln IOK und der Anzahl von Farbtonineffektivpixeln YOK.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012-168592 [0003]

Claims

Pfeilsignal-Erkennungsvorrichtung, umfassend: eine Onboardkamera, die ein Bild einer Fahrtumgebung vor einem Fahrzeug, das mit der Pfeilsignal-Erkennungsvorrichtung versehen ist, aufnimmt, einen Bilderkennungsprozessor, der ein erleuchtetes Signallicht, mit dem ein Verkehrslicht versehen ist, erkennt und einen Signallichtabstand zwischen dem erleuchteten Signallicht und dem Fahrzeug berechnet, basierend auf einem Einzelbild des von der Onboardkamera aufgenommenen Bildes, und einen Pfeilsignaldetektor, der ein an dem Verkehrslicht vorgesehenes Pfeilsignallicht detektiert, wobei der Pfeilsignaldetektor aufweist: ein Pfeilsignalbereichsetzmodul, das einen Pfeilsignalbereich setzt in Bezug auf das erleuchtete Signallicht auf der Basis des Signallichtabstands, ein Farbtoneffektivpixelsuchmodul, das ein Farbtoneffektivpixel sucht, von dem angenommen wird, dass es erleuchtet ist, von Farbtönen innerhalb eines von dem Pfeilsignalbereichsetzmodul gesetzten Pfeilsignalbereichs und die Anzahl der Farbtoneffektivpixel zählt, ein Farbtonineffektivpixelsuchmodul das jedes Farbtoneffektivpixel, aufgefunden von dem Farbtoneffektivpixelsuchmodul, und ein Pixel in einer Nähe jedes Farbtoneffektivpixels vergleicht, das Farbtoneffektivpixel auf ein Farbtonineffektivpixel hin untersucht und die Anzahl der Farbtonineffektivpixel zählt, ein Pfeileffektivpixelanzahlberechnungsmodul, das eine Pfeileffektivpixelanzahl berechnet durch Subtrahieren der Anzahl von Farbtonineffektivpixeln, aufgefunden von dem Farbtonineffektivpixelsuchmodul, von der Anzahl von Farbtoneffektivpixeln, aufgefunden von dem Farbtoneffektivpixelsuchmodul, und ein Pfeilpixelbestimmungsmodul, das bestimmt, dass ein Pfeilpixel vorhanden ist in einem Fall, in dem die Pfeileffektivpixelanzahl, berechnet von dem Pfeileffektivpixelanzahlberechnungsmodul, einen Pfeileffektivpixelgrenzwert, gesetzt auf der Basis des Signallichtabstandes, überschreitet.
Pfeilsignal-Erkennungsvorrichtung nach Anspruch 1, wobei das Farbtoneffektivpixelsuchmodul das Farbtoneffektivpixel annimmt in einem Fall, in dem ein Abstand zu dem Pfeilsignallicht von dem Fahrzeug identisch ist mit dem Signallichtabstand und eine vorbestimmte Bedingung eines RGB-Verhältnisses in Bezug auf Luminanzinformation bezüglich eines nicht erleuchteten Signallichtes, vorgesehen an dem gleichen Verkehrslicht, erfüllt ist.
Pfeilsignal-Erkennungsvorrichtung nach Anspruch 1 oder 2, wobei in einem Fall, in dem eine Differenz in einem G-Wert zwischen dem Farbtoneffektivpixel und einem Farbtoneffektivpixel in der Nähe des Farbtoneffektivpixels unter einen vorab gesetzten engen Bereich fällt, das Farbtonineffektivpixelsuchmodul das Farbtoneffektivpixel in der Nähe auf ein Farbtonineffektivpixel setzt.
Pfeilsignal-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei in einem Fall, in dem das Farbtoneffektivpixel durch ein Ineffektivpixel benachbart ist, das Farbtonineffektivpixelsuchmodul das Farbtoneffektivpixel auf ein Farbtonineffektivpixel setzt.
Pfeilsignal-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Pfeilsignaldetektor weiterhin aufweist: ein Pfeilpunktadditionsmodul, das einen Pfeileffektivpunkt, aktualisiert zu einem Zeitpunkt der Berechnung für jedes Einzelbild, inkrementiert in einem Fall, in dem das Pfeilpixelbestimmungsmodul bestimmt hat, dass ein Pfeilpixel vorhanden ist, und ein Pfeilsignalbestimmungsmodul, das bestimmt, dass ein erleuchtetes Pfeilsignal vorhanden ist in einem Fall, in dem der von dem Pfeilpunktadditionsmodul gesetzte Pfeileffektivpunkt einen vorab gesetzten Pfeileffektivgrenzwert überschreitet.