DE112014000910T5 - Straßenzeichenerkennungsvorrichtung - Google Patents

Straßenzeichenerkennungsvorrichtung Download PDF

Info

Publication number
DE112014000910T5
DE112014000910T5 DE112014000910.5T DE112014000910T DE112014000910T5 DE 112014000910 T5 DE112014000910 T5 DE 112014000910T5 DE 112014000910 T DE112014000910 T DE 112014000910T DE 112014000910 T5 DE112014000910 T5 DE 112014000910T5
Authority
DE
Germany
Prior art keywords
road sign
region
light source
luminance
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE112014000910.5T
Other languages
English (en)
Inventor
Taiji Morishita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112014000910T5 publication Critical patent/DE112014000910T5/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

In einem Straßenzeichenerkennungssystem wird eine Region mit hoher Leuchtdichte, die eine Region mit einer Leuchtdichte, die höher als eine vorbestimmte Referenzleuchtdichte ist, in dem aufgenommenen Bild angibt, extrahiert (S120, S220), und eine Fahrzeuglichtquelle, die eine Lichtquelle repräsentiert, die von dem Fahrzeug stammt, in dem aufgenommenen Bild wird extrahiert (S130, S230). Dann wird eine Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, ausgeschlossen (S140, S240), und eine andere Region ausschließlich der Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, wird als eine Zielregion zum Erkennen des Straßenzeichens festgelegt (S150, S250), und das Straßenzeichen wird in der Zielregion erkannt. Demzufolge ist es möglich, die Region zum Ausführen der Verarbeitung zum Erkennen des Straßenzeichens zu verkleinern, wodurch es möglich ist, die Verarbeitungslast während des Erkennens des Straßenzeichens zu reduzieren.

Description

  • [Technisches Gebiet]
  • Die vorliegende Erfindung betrifft eine Straßenzeichenerkennungsvorrichtung, die ein Straßenzeichen in einem aufgenommenen Bild erkennt.
  • [Hintergrund]
  • Eine Straßenzeichenerkennungsvorrichtung, die im Nahinfrarot abstrahlt, sucht ein Straßenzeichen in Regionen außer schwarzen Bereichen, die offensichtlich kein Straßenzeichen sind, und erkennt, dass das gesuchte Straßenzeichen bekannt ist (vgl. beispielsweise Patentdokument 1).
  • [Stand der Technik]
  • [Patentdokument]
    • [Patentdokument 1] Japanische Patentanmeldungsoffenlegung mit der Nr. 2006-115624
  • [Offenbarung der Erfindung]
  • [Durch die Erfindung zu lösende Probleme]
  • Jedoch wird in der vorstehenden Straßenzeichenerkennungsvorrichtung eine Verarbeitung zum Erkennen des Straßenzeichens über einen weiten Bereich ausgeführt, wodurch ein Problem darin besteht, dass die Verarbeitungslast groß ist. Demnach ist es hinsichtlich der vorstehenden Probleme in einer Straßenzeichenerkennungsvorrichtung, die ein Straßenzeichen in einem aufgenommenen Bild erkennt, eine Aufgabe der vorliegenden Erfindung, es zu ermöglichen, die Verarbeitungslast beim Erkennen des Straßenzeichens zu reduzieren.
  • [Mittel zum Lösen der Probleme]
  • In einer Straßenzeichenerkennungsvorrichtung der vorliegenden Erfindung, die gemacht wurde, um die Aufgabe zu lösen, extrahiert ein erstes Mittel eine Region mit hoher Leuchtdichte, die eine Region mit einer Leuchtdichte, die höher als eine vorbestimmte Referenzleuchtdichte ist, in dem aufgenommenen Bild angibt, und ein zweites Mittel extrahiert einer Fahrzeuglichtquelle, die eine Lichtquelle repräsentiert, die von dem Fahrzeug stammt, in dem aufgenommenen Bild. Dann schließt ein drittes Mittel eine Region aus, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, und ein viertes Mittel legt eine andere Region ausschließlich der Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, als eine Zielregion zum Erkennen des Straßenzeichens fest, und erkennt des Straßenzeichens in der Zielregion.
  • Gemäß der Straßenzeichenerkennungsvorrichtung ist es, da es möglich ist, die Region zum Ausführen der Verarbeitung zum Erkennen des Straßenzeichens zu verkleinern, möglich, die Verarbeitungslast während des Erkennens des Straßenzeichens zu reduzieren. Um die vorstehende Aufgabe zu lösen, kann ein Computer ein Straßenzeichenerkennungsprogramm zum Verwirklichen der jeweiligen Mittel sein, die die Straßenzeichenerkennungsvorrichtung bilden. Zusätzlich kann die Beschreibung von jedem der Ansprüche so lange wie möglich beliebig kombiniert werden. In diesem Fall ist es möglich, manche Konfigurationen innerhalb des Umfangs auszuschließen, der die Aufgabe der vorliegenden Erfindung lösen kann.
  • [Kurzbeschreibung der Zeichnungen]
  • 1 zeigt ein Blockschaltbild einer schematischen Konfiguration eines Straßenzeichenerkennungssystems 1;
  • 2 zeigt ein Ablaufdiagramm einer Straßenzeichenerkennungsverarbeitung, die eine CPU 11 eines Operationsteils 10 ausführt;
  • 3(a) und 3(b) zeigen schematische Ansichten eines Beispiels eines aufgenommenen Bilds mit Abbildungsparametern zum Abbilden eines Straßenzeichens eines Typs, der selbst Licht emittiert, bzw. eines Beispiels eines aufgenommenen Bilds mit Abbildungsparametern zum Abbilden eines Straßenzeichens eines Typs, der nicht selbst Licht emittiert; und
  • 4 zeigt eine Illustration eines Beispiels eines Extraktionsbereichs eines Straßenzeichens.
  • [Ausführungsform der Erfindung]
  • Eine Ausführungsform gemäß der vorliegenden Erfindung wird mit Bezug auf die Zeichnungen erläutert.
  • [Struktur der vorliegenden Ausführungsform]
  • Ein Straßenzeichenerkennungssystem 1, auf das die vorliegende Erfindung angewandt wird, wird in einem Fahrzeug eingesetzt, das auf einer Straße fährt, wie beispielsweise einem Personenkraftwagen (nachfolgend ebenso als Eigenfahrzeug bezeichnet), und hat eine Funktion zum Erkennen eines Straßenzeichens nicht nur in einer Straßenumgebung mit hellen Bedingungen wie am Tag, sondern in einer Straßenumgebung mit dunklen Bedingungen wie in der Nacht oder in einem Tunnel. Im Detail beinhaltet das Straßenzeichenerkennungssystem 1, wie in 1 dargestellt ist, einen Operationsteil 10, eine Kamera 20 und eine Anzeigeeinheit 30.
  • Die Kamera 20 führt Abbilden zu einem vorbestimmten Zyklus (beispielsweise einmal alle 50 ms) unter Annahme einer Fahrtrichtung des Eigenfahrzeugs (für gewöhnlich vor dem Eigenfahrzeug) als einen Abbildungsbereich durch und sendet aufgenommene Bilder an den Operationsteil 10. Die Kamera 20 hat eine Funktion zum Einstellen eines Abbildungsparameters, der eine Einstellung während einer Bildaufnahme durch die Kamera 20 repräsentiert, durch einen Befehl vom Operationsteil 10.
  • Wenn jedoch der Abbildungsparameter nicht durch den Operationsteil 10 eingestellt wird, stellt die Kamera 20 selbst den Abbildungsparameter durch eine Umgebungsleuchtdichte (Betrag von Licht oder dergleichen, das in die Kamera 20 einzugeben ist) ein und bildet unter Verwendung des Abbildungsparameters ab. Eine Verstärkung, die einen Verstärkungsfaktor zum Verstärken eines Signals repräsentiert, das erzeugt wird, wenn ein Licht durch einen Bildsensor gemessen wird, mit dem die Kamera 20 ausgestattet ist, oder eine Blendengeschwindigkeit oder dergleichen, die die Zeit zum Beaufschlagen des Bildsensors mit Licht repräsentiert, wird beispielsweise als der Abbildungsparameter in Betracht gezogen.
  • Der Operationsteil 10 ist als eine bekannte elektronische Steuereinheit einschließlich einer CPU 11, eines ROM und eines Speichers 12 wie beispielsweise eines RAM konfiguriert. Die CPU 11 führt unterschiedliche Verarbeitungen wie beispielsweise eine Straßenzeichenerkennungsverarbeitung, die später beschrieben wird, gemäß Programmen (einschließlich eines Straßenzeichenerkennungsprogramms) aus, die in dem Speicher 12 gespeichert sind.
  • Ferner beinhaltet der Operationsteil 10 ebenso eine Datenbank (DB) 13. Bilder der Straßenzeichen und Werte der Bilder der Straßenzeichen, die durch Farbe, Leuchtdichte, Farbbalance und dergleichen quantifiziert sind, werden als Zeichendaten für jedes Straßenzeichen in der Datenbank 13 aufgezeichnet. Die Zeichendaten in der Datenbank 13 werden verwendet, um das Straßenzeichen bei einem Musterabgleich zu identifizieren.
  • Ferner wird eine Aufzeichnung zum Einstellen der Abbildungsparameter der Kamera 20 ebenso in der Datenbank 13 aufgezeichnet. Diese Aufzeichnung wird in der Straßenzeichenerkennungsverarbeitung verwendet, die später beschrieben wird.
  • Die Anzeigeeinheit 30 ist als eine bekannte Anzeige zum Anzeigen von Bildern konfiguriert, die durch den Operationsteil 10 erzeugt werden. Die Anzeigeeinheit 30 befindet sich an einer Position, die für einen Fahrer des Eigenfahrzeugs während der Fahrt sichtbar ist.
  • [Verarbeitung der vorliegenden Ausführungsform]
  • Der Operationsteil 10 führt die Straßenzeichenerkennungsverarbeitung aus, die eine Verarbeitung zum Erkennen des Straßenzeichens aus den aufgenommenen Bildern ist. Die Straßenzeichenerkennungsverarbeitung beginnt, wenn beispielsweise eine Energiequelle des Fahrzeugs eingeschaltet wird, und ist eine Verarbeitung, die mit einem vorbestimmten Zyklus (beispielsweise einmal alle 100 ms) ausgeführt wird.
  • Wie in 2 dargestellt ist, gibt die Straßenzeichenerkennungsverarbeitung die durch die Kamera 20 aufgenommenen Bilder ein (S110). In dieser Verarbeitung werden die aufgenommenen Bilder basierend auf dem Abbildungsparameter eingegeben, den die Kamera 20 selbst eingestellt hat.
  • Als Nächstes wird eine Extrahierung einer Lichtquelle ausgeführt (S120). In dieser Verarbeitung wird verglichen mit einer voreingestellten Referenzleuchtdichte für jedes Pixel, das das aufgenommene Bild bildet, ein Satz von Pixeln, die einen Leuchtdichtewert aufweisen, der höher als die voreingestellte Referenzleuchtdichte ist, als eine Lichtquelle extrahiert (eine Region mit hoher Leuchtdichte).
  • Dann wird eine Fahrzeuglichtquelle, die eine Lichtquelle repräsentiert, die von dem Fahrzeug stammt, in dem aufgenommenen Bild extrahiert (S130). In dieser Verarbeitung wird die Fahrzeuglichtquelle von der Lichtquelle extrahiert, die in der Verarbeitung von S110 extrahiert wird. Es ist zu beachten, dass, wenn die Fahrzeuglichtquelle extrahiert wird, es nicht notwendig ist, die Fahrzeuglichtquelle von der Lichtquelle zu extrahieren, die in der Verarbeitung von S110 extrahiert wird, sondern die Fahrzeuglichtquelle in irgendeiner Verarbeitung extrahiert werden kann.
  • Ferner ist es möglich, irgendeine Verarbeitung als eine Extrahierungsverarbeitung für die Fahrzeuglichtquelle einzusetzen. Beispielsweise ist es möglich, eine bekannte Verarbeitung zum Spezifizieren der Fahrzeuglichtquelle basierend auf beispielsweise einem Paar von Lichtquellen, einer Bewegungsrichtung der Lichtquelle oder Koordinaten der Lichtquelle zu verwenden.
  • Dann wird die Fahrzeuglichtquelle von der Lichtquelle ausgeschlossen (S140). In dieser Verarbeitung werden die als Fahrzeuglichtquellen identifizierten (die zwischen der Lichtquelle und der Fahrzeuglichtquelle übereinstimmen) von den extrahierten Lichtquellen ausgeschlossen.
  • Im Allgemeinen ist, da die Fahrzeuglichtquelle relativ weit weg (beispielsweise 500 bis 1000 m) erfasst werden kann, eine Wahrscheinlichkeit, dass die Fahrzeuglichtquelle korrekt erkannt wird, bei einem Abstand, bei dem beabsichtigt ist, das Straßenzeichen zu erkennen (wird beispielsweise zwischen 100 und 200 m angenommen), hoch. Demzufolge wird die Fahrzeuglichtquelle in dieser Verarbeitung genau entfernt, und eine Wahrscheinlichkeit, dass das Straßenzeichen in dem erkennbaren Bereich versehentlich entfernt wird, ist gering.
  • Als Nächstes wird die Erkennung des Straßenzeichens ausgeführt (S150). In dieser Verarbeitung wird die Fahrzeuglichtquelle von der Lichtquelle ausgeschlossen und das Straßenzeichen wird durch Ausführen eines Musterabgleich in jeder verbleibenden Region (jeder Zielregion) erkannt. Während des Musterabgleichs wird für jede Zielregion ein Bildmuster der Zielregion (Leuchtdichte oder Farbanordnung usw.) mit den jeweiligen Zeichendaten in der Datenbank 13 kollationiert und ein Zeichen, für das ein bestimmter Übereinstimmungsgrad erlangt wird, oder ein Zeichen mit der größten Übereinstimmung wird als ein Straßenzeichen erkannt.
  • In den Verarbeitungen bis S150 wird davon ausgegangen, dass ein relativ helles Straßenzeichen in dem aufgenommenen Bild durch das aufgenommene Bild gemäß dem Abbildungsparameter erkannt werden kann, der durch die Kamera 20 selbst eingestellt wird. Beispielsweise wird ein aufgenommenes Bild, das in 3(a) dargestellt ist, erlangt und ein Straßenzeichen 41 eines Typs, der selbst Licht emittiert, kann erkannt werden.
  • Jedoch ist es schwierig, ein Straßenzeichen 42, das kein Licht emittiert, nur aus dem aufgenommenen Bild zu erkennen. Dies kommt daher, dass eine Leuchtdichte zum Erkennen eines Straßenzeichens 42, das kein Licht emittiert, unzureichend ist. Demnach wird der Abbildungsparameter in der vorliegenden Ausführungsform geändert (S160), um das Straßenzeichen 42, das kein Licht emittiert, zufriedenstellend zu erkennen.
  • Ein aufgenommenes Bild, das durch Ändern des Abbildungsparameters wie nachfolgend beschrieben, erlangt wird, ist beispielsweise in 3(b) dargestellt. Das heißt, das Straßenzeichen 41 eines Typs, der selbst Licht emittiert, wird aufgrund eines Lichthofs erkannt nicht länger, aber es ist ersichtlich, dass das Straßenzeichen 42, das kein Licht emittiert, zufriedenstellend erkannt wird.
  • Werden die Abbildungsparameter eingestellt, werden sie basierend auf der Leuchtdichte von zeichenbeinhaltenden Regionen 51, 52 (Regionen, die in 4 durch unterbrochene Linien eingeschlossen sind) eingestellt, die Regionen repräsentieren, in denen die Straßenzeichen in dem aufgenommenen Bild, das bereits erlangt ist, wahrscheinlich existieren, wie in 4 dargestellt ist. Jedoch wird der Abbildungsparameter basierend auf der Leuchtdichte von Bereichen außer der Fahrzeuglichtquelle unter den zeichenbeinhaltenden Regionen 51, 52 eingestellt. Der Grund dafür ist, den Einfluss von Leuchtdichte von Fahrzeuglichtquellen zu vermeiden.
  • Wenn beispielsweise eine durchschnittliche Leuchtdichte der zeichenbeinhaltenden Regionen 51, 52 (ausschließlich der Bereiche der Fahrzeuglichtquellen) bestimmt wird, wird der Abbildungsparameter unter Verwendung der Aufzeichnung (in der Datenbank 13 aufgezeichnet), wo die Abbildungsparameter (Verstärkung und Blendenzeit) eindeutig erlangt werden können, eingestellt. In dieser Aufzeichnung wird er so eingestellt, dass die Verstärkung oder die Blendenzeit zunimmt, da die durchschnittliche Leuchtdichte der zeichenbeinhaltenden Regionen (ausschließlich der Bereiche der Fahrzeuglichtquellen) niedriger wird, so dass eine vorbestimmte durchschnittliche Leuchtdichte und eine Auflösung in dem aufgenommenen Bild erlangt werden kann.
  • Hierbei kann, wenn eine Funktion zum Erkennen einer Grenzlinie (weiße Linien usw.), die einen Fahrbereich in eine Innenseite und eine Außenseite unterteilen, bereitgestellt wird, die zeichenbeinhaltende Region außerhalb der Grenzlinie (außerhalb des Fahrbereichs) festgelegt werden.
    Als Nächstes wird das aufgenommene Bild eingegeben, das durch die Kamera 20 unter Verwendung des durch den Operationsteil 10 eingestellten Abbildungsparameters aufgenommen wird (S210). Dann werden Verarbeitungen ähnlich den Verarbeitungen, die vorstehend bei S120 bis S150 beschrieben sind, für das aufgenommene Bild ausgeführt (S220 bis S250).
  • Als Nächstes wird ein Zeichen, das ähnlich dem Straßenzeichen ist, das in den Verarbeitungen von S150 und S250 erkannt wird, auf der Anzeigeeinheit 30 angezeigt (S310). In diesem Fall kann das anzuzeigende Bild ein Bild der Straße sein, das in der Datenbank 13 aufgezeichnet wird, oder ein anderes Bild, das entsprechend dem erkannten Straßenzeichen aufgezeichnet wird.
  • Wenn solche Verarbeitungen abgeschlossen sind, endet die Straßenzeichenerkennungsverarbeitung.
  • [Wirkungen der vorliegenden Ausführungsform]
  • In dem vorstehend im Detail beschriebenen Straßenzeichenerkennungssystem 1 extrahiert der Operationsteil 10 die Region mit hoher Leuchtdichte, die eine Region mit einer Leuchtdichte, die höher als eine vorbestimmte Referenzleuchtdichte ist, in dem aufgenommenen Bild angibt, und extrahiert die Fahrzeuglichtquelle, die eine Lichtquelle repräsentiert, die von einem Fahrzeug in dem aufgenommenen Bild stammt. Dann wird eine Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, ausgeschlossen, eine andere Region, die die Region ausschließt, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, wird als eine Zielregion zum Erkennen des Straßenzeichens festgelegt und das Straßenzeichen wird in dieser Zielregion erkannt.
  • Gemäß dem Straßenzeichenerkennungssystem 1 ist es, da es möglich ist, die Region zum Ausführen der Verarbeitung zum Erkennen des Straßenzeichens zu verkleinern, möglich, die Verarbeitungslast während des Erkennens des Straßenzeichens zu reduzieren. Ferner können, da die Fahrzeuglichtquelle weit weg von dem Straßenzeichen erfasst werden kann, die Regionen hinsichtlich der Fahrzeuglichtquelle früher ausgeschlossen werden, wenn die Fahrzeuglichtquelle weiter weg als eine Distanz erfasst wird, bei der das Straßenzeichen erkannt werden kann.
  • Ferner stellt der Operationsteil 10 in dem Straßenzeichenerkennungssystem 1 die Abbildungsparameter (Blendengeschwindigkeit oder Verstärkung der Kamera 20 usw.), die die Einstellungen repräsentieren, wenn die Kamera 20 die Bilder aufnimmt, basierend auf der Leuchtdichte der zeichenbeinhaltenden Regionen ein, die die Regionen repräsentieren, in denen die Straßenzeichen in dem aufgenommenen Bild wahrscheinlich existieren. Dann wird das aufgenommene Bild, das mit den Abbildungsparametern aufgenommen wird, erlangt und das Straßenzeichen wird aus dem aufgenommenen Bild, das mit den Abbildungsparametern aufgenommen wird, erkannt.
  • Gemäß dem Straßenzeichenerkennungssystem 1 wird die Bildaufnahme erneut mit den Abbildungsparametern ausgeführt, die zur Bildaufnahme der Zielregion geeignet sind, und da das Straßenzeichen unter Verwendung des aufgenommenen Bilds erkannt wird, ist es möglich, die Genauigkeit beim Erkennen des Straßenzeichens zu verbessern. Ferner kann, da die Abbildungsparameter richtig eingestellt werden, eine Zusatzvorrichtung wie beispielsweise eine Konfiguration zum Abstrahlen von Infrarotstrahlen so weit wie möglich unnötig gemacht werden.
  • Ferner stellt der Operationsteil 10 in dem Straßenzeichenerkennungssystem 1 die Abbildungsparameter basierend auf der Leuchtdichte der Region ausschließlich der Region, die mit der Fahrzeuglichtquelle übereinstimmt, unter den zeichenbeinhaltenden Regionen ein.
    Gemäß dem Straßenzeichenerkennungssystem 1 ist es möglich, die Abbildungsparameter einzustellen, ohne dass sie durch die Leuchtdichte der Fahrzeuglichtquelle beeinträchtigt werden.
  • Ferner führt der Operationsteil 10 in dem Straßenzeichenerkennungssystem 1 voreingestellte Informationen entsprechend dem erkannten Straßenzeichen aus.
    Gemäß dem Straßenzeichenerkennungssystem 1 ist es, da die Informationen entsprechend dem erkannten Straßenzeichen ausgeführt werden, möglich zu unterdrücken, dass das Straßenzeichen übersehen wird.
  • Ferner zeigt der Operationsteil 10 in dem Straßenzeichenerkennungssystem 1 das Bild, das das erkannte Straßenzeichen repräsentiert, auf der Anzeigeeinheit 30 an.
    Gemäß dem Straßenzeichenerkennungssystem 1 ist es, da das Bild, das das erkannte Straßenzeichen (das Straßenzeichen selbst oder ein Bild, das Bedeutungen des Straßenzeichens durch Buchstaben usw. angibt) repräsentiert, angezeigt wird, möglich, zufriedenstellend über das Straßenzeichen sogar in dem Fall zu informieren, in dem es schwierig ist, das Straßenzeichen mit bloßen Augen zu erkennen.
  • [Weitere Ausführungsformen]
  • Die vorliegende Erfindung wird nicht als auf irgendeine Weise durch die vorstehende Ausführungsform eingeschränkt interpretiert. Ferner ist ein Aspekt, bei dem ein Teil der Konfiguration der vorstehenden Ausführungsform weggelassen wird, ebenso eine Ausführungsform der vorliegenden Erfindung, solange er das Problem lösen kann. Ferner ist ein Aspekt, der durch angemessenes Kombinieren mehrerer vorstehend beschriebener Ausführungsformen konfiguriert ist, ebenso eine Ausführungsform der vorliegenden Erfindung. Ferner ist jeder Aspekt, der als nicht von dem Wesen der Erfindung abweichend betrachtet werden kann, die nur durch die in den Ansprüchen offenbarten Wörter identifiziert ist, ebenso eine Ausführungsform der vorliegenden Erfindung. Ferner werden, obwohl Bezugszeichen, die in der Beschreibung der vorstehenden Ausführungsformen verwendet werden, ebenso angemessen in den Ansprüchen verwendet werden, die Bezugszeichen zum Zweck eines einfacheren Verständnisses der Erfindung in jedem Anspruch verwendet und sollen den Umfang der Erfindung in jeglichem Anspruch nicht beschränken.
  • Beispielsweise kann in der vorstehenden Ausführungsform, obwohl dieselben Verarbeitungen wie die Verarbeitungen von S120 bis S140 in den Verarbeitungen von S220 bis S240 für das mit den Abbildungsparametern aufgenommene Bild, die durch den Operationsteil 10 eingestellt werden, ausgeführt werden, mindestens eine der Verarbeitungen von S220 bis S240 weggelassen werden. Das heißt, da gesagt werden kann, dass das aufgenommene Bild, das erlangt wird, bevor die Abbildungsparameter geändert werden (aufgenommenes Bild, das bei der Verarbeitung von S110 erlangt wird), und eine Position der Lichtquelle oder eine Position der Fahrzeuglichtquelle im Wesentlichen dieselben sind, kann die Erkennung des Straßenzeichens durch Verwenden der Informationen dieser Positionen durch Bezugnahme auf die Informationen über die Positionen (d. h. Erlangen mindestens einer der Koordinaten der Lichtquelle oder der Koordinaten der Fahrzeuglichtquelle) ausgeführt werden.
  • Ferner ist es möglich, dass beim Erkennen des Straßenzeichens in der vorstehenden Verarbeitung nur die Verarbeitung von S150 oder die Verarbeitung von S250 ausgeführt wird. Ferner kann, obwohl das erkannte Straßenzeichen konfiguriert ist, um auf der Anzeigeeinheit 30 in der vorstehenden Ausführungsform angezeigt zu werden, Unterrichtung durch Sprache oder Klang usw. ausgeführt werden.
  • [Beziehung zwischen der Konfiguration der vorliegenden Ausführungsform und der Konfiguration der Erfindung]
  • Das Straßenzeichenerkennungssystem 1 der vorstehenden Ausführungsform entspricht einer Straßenzeichenerkennungsvorrichtung in der vorliegenden Erfindung, und die Kamera 20 der Ausführungsform entspricht einem Bildaufnahmeabschnitt in der vorliegenden Erfindung. Ferner entsprechen unter den Verarbeitungen, die der Operationsteil 10 ausführt, die Verarbeitungen von S120 und S220 dem ersten Mittel zum Extrahieren einer Region mit hoher Leuchtdichte in der vorliegenden Erfindung und die Verarbeitungen von S130 und S230 entsprechen einem zweiten Mittel zum Extrahieren einer Fahrzeuglichtquelle in der vorliegenden Erfindung.
  • Ferner entsprechen unter den Verarbeitungen, die der Operationsteil 10 ausführt, die Verarbeitungen von S140 und S240 dem dritten Mittel zum Ausschließen einer Region, die mit der Fahrzeuglichtquelle übereinstimmt, in der vorliegenden Erfindung und die Verarbeitungen von S150 und S250 entsprechen einem vierten Mittel zum Erkennen eines Straßenzeichens in der vorliegenden Erfindung. Ferner entspricht die Verarbeitung von S160 einem fünften Mittel zum Einstellen eines Abbildungsparameters in der vorliegenden Erfindung, die Verarbeitung von S210 entspricht einem sechsten Mittel zum Erlangen eines aufgenommenen Bilds, das durch den Abbildungsparameter aufgenommen wird, in der vorliegenden Erfindung und die Verarbeitung von S310 entspricht einem siebten Mittel zum Ausführen von Informationen in der vorliegenden Erfindung.
  • [Bezugszeichenliste]
    • 1 ... Straßenzeichenerkennungssystem, 10 ... Operationsteil, 11 ... CPU, 12 ... Speicher, 13 ... Datenbank, 20 ... Kamera, 30 ... Anzeigeeinheit

Claims (5)

  1. Straßenzeichenerkennungsvorrichtung (1), die in einem Fahrzeug eingesetzt wird und ein Straßenzeichen in einem aufgenommenen Bild erkennt, aufweisend: ein erstes Mittel (S120, S220) zum Extrahieren einer Region mit hoher Leuchtdichte, die eine Region mit einer Leuchtdichte, die höher als eine vorbestimmte Referenzleuchtdichte ist, in dem aufgenommenen Bild angibt; ein zweites Mittel (S130, S230) zum Extrahieren einer Fahrzeuglichtquelle, die eine Lichtquelle repräsentiert, die von dem Fahrzeug stammt, in dem aufgenommenen Bild; ein drittes Mittel (S140, S240) zum Ausschließen einer Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt; und ein viertes Mittel (S150, S250) zum Festlegen einer anderen Region ausschließlich der Region, die mit der Fahrzeuglichtquelle in der Region mit hoher Leuchtdichte übereinstimmt, als eine Zielregion zum Erkennen des Straßenzeichens, und zum Erkennen des Straßenzeichens in der Zielregion.
  2. Straßenzeichenerkennungsvorrichtung gemäß Anspruch 1, wobei ein fünftes Mittel (S160) zum Einstellen von Abbildungsparametern bereitgestellt wird, die Einstellungen repräsentieren, wenn ein Bildaufnahmeabschnitt (20) die Bilder basierend auf einer Leuchtdichte von zeichenbeinhaltenden Regionen aufnimmt, die Regionen repräsentieren, in denen die Straßenzeichen in dem aufgenommenen Bild wahrscheinlich existieren; und ein sechstes Mittel (S210) zum Erlangen des aufgenommenen Bilds, das mit den Abbildungsparametern aufgenommen wird, bereitgestellt wird; wobei das Straßenzeichen aus dem aufgenommenen Bild, das mit den Abbildungsparametern aufgenommen wird, erkannt wird.
  3. Straßenzeichenerkennungsvorrichtung gemäß Anspruch 2, wobei das fünfte Mittel die Abbildungsparameter basierend auf der Leuchtdichte der Region ausschließlich der Region, die mit der Fahrzeuglichtquelle übereinstimmt, unter den zeichenbeinhaltenden Regionen einstellt.
  4. Straßenzeichenerkennungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei ein siebtes Mittel (S310) zum Ausführen voreingestellter Informationen entsprechend dem erkannten Straßenzeichen bereitgestellt wird.
  5. Straßenzeichenerkennungsvorrichtung gemäß Anspruch 4, wobei das siebte Mittel das Bild, das das erkannte Straßenzeichen repräsentiert, auf einer Anzeigeeinheit (30) anzeigt.
DE112014000910.5T 2013-02-20 2014-01-24 Straßenzeichenerkennungsvorrichtung Ceased DE112014000910T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013031266A JP6094252B2 (ja) 2013-02-20 2013-02-20 道路標識認識装置
JP2013-031266 2013-02-20
PCT/JP2014/051499 WO2014129266A1 (ja) 2013-02-20 2014-01-24 道路標識認識装置

Publications (1)

Publication Number Publication Date
DE112014000910T5 true DE112014000910T5 (de) 2015-11-05

Family

ID=51391062

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112014000910.5T Ceased DE112014000910T5 (de) 2013-02-20 2014-01-24 Straßenzeichenerkennungsvorrichtung

Country Status (4)

Country Link
US (1) US20160012307A1 (de)
JP (1) JP6094252B2 (de)
DE (1) DE112014000910T5 (de)
WO (1) WO2014129266A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
EP3396410A4 (de) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. Bilderfassungsvorrichtung für fahrzeuge, steuerungsvorrichtung, mit der bilderfassungsvorrichtung für fahrzeuge und der steuerungsvorrichtung ausgestattetes fahrzeug bilderfassungsverfahren für fahrzeuge
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
CN108541305A (zh) 2015-12-21 2018-09-14 株式会社小糸制作所 车辆用图像获取装置和包括该装置的车辆
US10891496B2 (en) 2016-11-01 2021-01-12 Mitsubishi Electric Corporation Information presentation method
JP6868932B2 (ja) * 2018-01-12 2021-05-12 日立Astemo株式会社 物体認識装置
US11132577B2 (en) 2019-07-17 2021-09-28 Cognizant Technology Solutions India Pvt. Ltd System and a method for efficient image recognition

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59127200A (ja) * 1983-01-11 1984-07-21 株式会社デンソー 車載交通情報報知装置
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
US7342609B2 (en) * 2000-05-09 2008-03-11 Eastman Kodak Company Exposure adjustment in an imaging apparatus
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
TWI408625B (zh) * 2010-04-15 2013-09-11 Univ Nat Chiao Tung 車輛追蹤系統及其方法
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置

Also Published As

Publication number Publication date
JP6094252B2 (ja) 2017-03-15
US20160012307A1 (en) 2016-01-14
JP2014160408A (ja) 2014-09-04
WO2014129266A1 (ja) 2014-08-28

Similar Documents

Publication Publication Date Title
DE112014000910T5 (de) Straßenzeichenerkennungsvorrichtung
DE102015212349B4 (de) Fehlererfassungsvorrichtung und fehlererfassungsprogramm
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102015121339B4 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
DE102014118779B4 (de) Pfeilsignal-Erkennungsvorrichtung
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
DE102007034657B4 (de) Bildverarbeitungsvorrichtung
DE102012209463A1 (de) Vorrichtung und verfahren zum erfassen einer blendung des fahrers und system und verfahren zum blockieren einer blendung unter verwendung derselben
DE102009036844B4 (de) Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung
DE102016111307B4 (de) Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
DE102012209488A1 (de) Erkennungsobjekt-Erfassungsvorrichtung
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102015207902A1 (de) Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE102015207443A1 (de) Fahrzeugerkennungseinrichtung
DE102015205685A1 (de) Fahrbahnmarkierungserkennungseinrichtung
DE102011004463A1 (de) Spurmarkierungserkennungssystem mit verbessertem erkennungsverhalten
DE102014117102A1 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE112014002331T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE112013001647T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren im Fahrzeug
DE102017122432A1 (de) Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016208768A1 (de) Bilderzeugungsvorrichtung
DE102015211871A1 (de) Objekterkennungsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final