DE102017220307B4

DE102017220307B4 - Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen

Info

Publication number: DE102017220307B4
Application number: DE102017220307.2A
Authority: DE
Inventors: Ha-Bit PARK; Ki-Man Kim; Beom-Kyu Kim; Shin-Wook Kim
Original assignee: HL Klemove Corp
Current assignee: HL Klemove Corp
Priority date: 2017-05-30
Filing date: 2017-11-14
Publication date: 2023-12-28
Anticipated expiration: 2037-11-15
Also published as: US10445602B2; US20180349716A1; KR101834778B1; DE102017220307A1

Abstract

Vorrichtung zum Erkennen von Verkehrszeichen, welche aufweist:eine Bildsensoreinheit (30) zum Erwerben eines Bildrahmens;ein neuromorphes System, in welchem eine Vielzahl von Neuronen, die einen Merkmalsmustervektor, der in der Lage ist, ein Zeichen, welches eine Kante eines Verkehrszeichens umfasst, zu spezifizieren, und einen Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, speichern, durch einen parallelen Bus verbunden sind; undeine Steuereinheit (10), die (a) einen bestimmten Bereich als einen interessierenden Bereich setzt auf der Grundlage eines oberen Endes des Bildrahmens, der von der Bildsensoreinheit eingegeben wird, (b) ein Fenster einer ersten Größe, die für den gesetzten interessierenden Bereich voreingestellt ist, normiert, indem das Fenster in einer solchen Weise bewegt wird, dass es um eine erste Anzahl von Pixeln überlappt, (c) einen ersten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (d) den erzeugten ersten Eingabevektor in das neuromorphe System eingibt, (e) einen Kandidatenbereich des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons mit einem Merkmalsmustervektor, der dem eingegebenen ersten Eingabevektor am ähnlichsten ist, aus der Vielzahl von in dem neuromorphen System gespeicherten Neuronen herauszieht, (f) die Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs speichert, (g) die Bildgröße des herausgezogenen Kandidatenbereichs umwandelt, (h) ein Fenster einer zweiten Größe, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, normiert, indem das Fenster in einer solchen Weise bewegt wird, dass es um eine zweite Anzahl von Pixeln überlappt, (i) einen zweiten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (j) den erzeugten zweiten Eingabevektor in das neuromorphe System eingibt, (k) Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der dem eingegebenen zweiten Eingabevektor aus der Vielzahl von in dem neuromorphen System gespeicherten Neuronen am ähnlichsten Ist, bestimmt, (I) die bestimmten Verkehrszeichen-Inhaltsinformationen speichert, (m) die Prozesse (a) bis (I) durchführt, bis das Verkehrszeichen über das Sichtfeld hinaus ist, und (n) den Ort und den Inhalt des Verkehrszeichens auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens erkennt, wenn das Verkehrszeichen von einem Schirm verschwindet.

Description

QUERVERWEIS AUF BEZOGENE ANMELDUNG
Diese Anmeldung beansprucht den Nutzen der koreanischen Patentanmeldung Nr. 2017-0066998 , die am 30. Mai 2017 beim Koreanischen Amt für Geistiges Eigentum eingereicht wurde und deren Offenbarung hier einbezogen wird.
HINTERGRUND
1. Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung und ein Verfahren zum Erkennen von Verkehrszeichen, und insbesondere auf eine Vorrichtung und ein Verfahren zum Erkennen von Verkehrszeichen durch Analysieren von von einer Kamera erfassten Straßenbildern.
2. Beschreibung des Standes der Technik
Im Allgemeinen können verschiedene Situationen einer Straße anhand von von einer Kamera erfassten Bildinformationen bestimmt werden. Auf der Grundlage derartiger Bildinformationen einer Straße ist es möglich, einem Fahrer Behaglichkeit zu vermitteln und einen Unfall zu verhindern.
Eine Verkehrszeichenerkennungs(TSR)-Technologie kann die Unachtsamkeit eines Fahrers hervorrufen durch Führen von Warnzeichen auf Straßen, die der Fahrer ohne große Beachtung passieren kann.
Herkömmlich wurden verschiedene Arten von Bildverarbeitungsalgorithmen verwendet, um die TSR-Funktion zu implementieren, so dass es wesentlich ist, eine Hochleistungs-CPU (zentrale Verarbeitungseinheit) und einen DSP (digitalen Signalprozessor) zu verwenden.
Nichtsdestoweniger ist ein großer Rechenaufwand in dem Prozess der Bildvorverarbeitung und der Mustererkennung erforderlich, so dass es schwierig ist, die Verarbeitung in einer eingebetteten Umgebung in Echtzeit durchzuführen. Zusätzlich besteht der Nachteil, dass die Erkennungsrate stark von der Änderung der Straßenumgebung oder der Fahrumgebung abhängt.
Für das Verständnis des technologischen Hintergrunds der vorliegenden Erfindung sachdienlicher Stand der Technik ist auch den Druckschriften DE 10 2014 006 488 A1 , KR 10 2016 093 464 A , KR 10 2015 085 988 A und US 7,466,841 B2 zu entnehmen.
KURZFASSUNG
Es ist eine Aufgabe der vorliegenden Offenbarung, eine Vorrichtung und ein Verfahren zum Erkennen eines Verkehrszeichen anzugeben, die ein Verkehrszeichen auf einem von einer Kamera erfassten Straßenbild unter Verwendung eines neuromorphen Systems effektiver erkennen können. Diese Aufgabe wird durch die Vorrichtung und das Verfahren gemäß den unabhängigen Ansprüchen gelöst. Einzelne Ausführungsbeispiele sind in den abhängigen Ansprüchen angegeben.
Gemäß einem Aspekt der vorliegenden Offenbarung kann eine Vorrichtung zum Erkennen von Verkehrszeichen vorgesehen sein, welche enthält: eine Bildsensoreinheit zum Erwerben eines Bildrahmens, ein neuromorphes System, in welchem eine Vielzahl von Neuronen, die einen Merkmalsmustervektor, der in der Lage ist, ein Zeichen, welches eine Kante eines Verkehrszeichens umfasst, zu spezifizieren, und ein Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, speichern, durch einen parallelen Bus verbunden sind, und eine Steuereinheit, die (a) einen bestimmten Bereich als interessierenden Bereich setzt auf der Grundlage eines oberen Endes des von der Bildsensoreinheit eingegebenen Bildrahmens, (b) ein Fenster einer ersten Größe normiert, das für den gesetzten interessierenden Bereich voreingestellt ist, indem bewirkt wird, dass sich das Fenster in einer solchen Weise bewegt, dass es um eine erste Anzahl von Pixeln überlappt, (c) einen ersten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (d) den erzeugten ersten Eingabevektor in das neuromorphe System eingibt, (e) einen Kandidatenbereich des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons, das einen Merkmalsmustervektor hat, der unter der Vielzahl von in dem neuromorphen System gespeicherten Neuronen dem eingegebenen ersten Eingabevektor am ähnlichsten ist, herauszieht, (f) die Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs speichert, (g) die Bildgröße des herausgezogenen Kandidatenbereichs umwandelt, (h) ein Fenster einer zweiten Größe normiert, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, durch Bewirken, dass sich das Fender in einer solchen Weise bewegt, dass es um eine zweite Anzahl von Pixeln überlappt, (i) einen zweiten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (j) den erzeugten zweiten Eingabevektor in das neuromorphe System eingibt, (k) Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der unter den in dem neuromorphen System gespeicherten Neuronen dem eingegebenen zweiten Eingabevektor am ähnlichsten ist, bestimmt, (I) die bestimmten Verkehrszeichen-Inhaltsinformationen speichert, (m) die Prozesse (a) bis (I) durchführt, bis das Verkehrszeichen über das Sichtfeld hinaus ist, und (n) den Ort und den Inhalt des Verkehrszeichens erkennt auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens, wenn das Verkehrszeichen von einem Schirm verschwindet.
Weiterhin kann ein Bereich entsprechend 70% auf der Grundlage des oberen Endes des von der Bildsensoreinheit eingegebenen Bildrahmens als der interessierende Bereich gesetzt werden.
Weiterhin kann die Steuereinheit den Ort und den Inhalt des Verkehrszeichens erkennen durch Verwendung eines Moduswerts unter den Koordinaten der gespeicherten Verkehrszeichen-Kandidatenbereiche und der Verkehrszeichen-Inhaltsinformationen, die in den Kandidatenbereichen bestimmt sind, oder durch Wichten der Koordinaten des aus dem letzten Bildrahmen, nach dem das Verkehrszeichen von dem Schirm verschwunden ist, herausgezogenen Verkehrszeichen-Kandidatenbereichs und der in dem herausgezogenen Verkehrszeichen-Kandidatenbereich bestimmten Verkehrszeichen-Inhaltsinformationen.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung kann ein Verfahren zum Erkennen von Verkehrszeichen durch Verwendung einer Bildsensoreinheit zum Erwerben eines Bildrahmens und eines neuromorphen Systems, in welchem eine Vielzahl Neuronen, die einen Merkmalsmustervektor, der in der Lage ist, ein Zeichen, welches eine Kante des Verkehrszeichens umfasst, zu spezifizieren, und einen Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, speichern, durch einen parallelen Bus verbunden sind, vorgesehen sein, das enthält: (a) Setzen eines bestimmten Bereichs als einen interessierenden Bereich auf der Grundlage eines oberen Endes des von der Bildsensoreinheit eingegebenen Bildrahmens, (b) Normieren eines Fensters einer ersten Größe, die für den gesetzten interessierenden Bereich voreingestellt ist, indem bewirkt wird, dass das Fenster in einer solchen Weise bewegt wird, dass es um eine erste Anzahl von Pixel überlappt, (c) Erzeugen eines ersten Eingabevektors, der das normierte Fenster vektorisiert, (d) Eingeben des erzeugten ersten Eingabevektors in das neuromorphe System, (e) Herausziehen eines Kandidatenbereichs des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons mit einem Merkmalsmustervektor, der unter der Vielzahl von in dem neuromorphen System gespeicherten Neuronen dem eingegebenen ersten Eingabevektor am ähnlichsten ist, (f) Speichern der Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs, (g) Umwandeln der Bildgröße des herausgezogenen Kandidatenbereichs, (h) Normieren eines Fensters einer zweiten Größe, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, durch Bewirken, dass das Fenster in einer solchen Weise bewegt wird, dass es um eine zweite Anzahl von Pixeln überlappt, (i) Erzeugen eines zweiten Eingabevektors, der das normierte Fenster vektorisiert, (j) Eingeben des erzeugten zweiten Eingabevektors in das neuromorphe System, (k) Bestimmen von Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der unter der Vielzahl von in dem neuromorphen System gespeicherten Neuronen dem eingegebenen zweiten Eingabevektor am ähnlichsten ist, (I) Speichern der bestimmten Verkehrszeichen-Inhaltsinformationen, (m) Durchführen der Prozesse (a) bis (I), bis das Verkehrszeichen über das Sichtfeld hinaus ist, und (n) Erkennen des Orts und des Inhalts des Verkehrszeichens auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens, wenn das Verkehrszeichen von einem Schirm verschwindet.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Steuerblockschaltbild einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
2 ist ein Diagramm, das das Lernen von Daten zeigt, die durch Lernen eines Nichtzeichen-Teilbereichs eines Verkehrszeichens in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung erhalten wurden.
3 ist eine Illustration, die das Lernen von Daten zeigt, die durch Lernen eines Zeichenbereichs eines Verkehrszeichens in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung erhalten wurden.
4 ist ein Steuerflussdiagramm einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
5 ist eine Ansicht zum Erläutern eines interessierenden Bereichs, der in einem in eine Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung eingegebenen Bild gesetzt wurde.
6 ist eine Ansicht, die Lernmuster zum Auswählen von Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
7 ist eine Ansicht, die ein Ergebnis des Suchens von Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
8 ist eine Ansicht zum genauen Erläutern des Suchens von Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
9 ist eine Ansicht zum Erläutern des Verfolgens eines Verkehrszeichens in jedem Bildrahmen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
10 ist eine Ansicht zum genauen Erläutern von in einem Verkehrszeichen-Kandidatenbereichs-Managementstapel in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung gespeicherten Daten.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsbeispiele der vorliegenden Offenbarung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. Die folgenden Ausführungsbeispiele sind vorgesehen, einem Fachmann auf dem Gebiet der vorliegenden Offenbarung den Geist der vorliegenden Offenbarung vollständig zu vermitteln. Die vorliegende Offenbarung ist nicht auf die hier gezeigten Ausführungsbeispiele beschränkt, sondern kann in anderen Formen verkörpert sein. Um die vorliegende Offenbarung klar zu illustrieren, sind Teile, die nicht auf die Beschreibung bezogen sind, in den Zeichnungen weggelassen, und in den Zeichnungen kann die Breite, Länge, Dicke und dergleichen von Komponenten aus Zweckmäßigkeitsgründen übertrieben dargestellt sein. Gleiche Bezugszahlen beziehen sich in der gesamten Beschreibung auf gleiche Elemente.
Im Allgemeinen befinden sich hunderte von Milliarden Nervenzellen (d.h., Neuronen) in dem Gehirn, die aus einem komplexen nervennetz zusammengesetzt sind. Neuronen üben ihre intellektuellen Fähigkeiten wie Lernen und Speichern mittels Synapsen aus, die Signale mit tausenden von anderen Neuronen austauschen. Neuronen sind die strukturellen und funktionellen Einheiten eines Nervensystems und eine Basiseinheit für Informationsübertragung. Eine Synapse zeigt die Verbindung zwischen Neuronen an und bezieht sich auf den Bereich, in welchem die Axone eines Neurons mit den Dendriten von anderen Neuronen verbunden sind. Ein Neuron ist mit tausenden von anderen Neuronen über Synapsen verbunden.
Ein neuromorphes System ist eine solche Vorrichtung wie eine Halbleiterschaltung, die zum Simulieren der Verarbeitung von Informationen im Gehirn gestaltet ist, indem ein künstliches Nervensystem ein biologisches Nervensystem auf dem Neuronenpegel imitiert. Das neuromorphe System verwendet künstliche Neuronen, die die vorbeschriebene biologische Neuronenstruktur imitieren und die Funktion eines biologischen Neurons vereinfachen.
Das neuromorphe System wird zunehmend in intelligenten Systemen verwendet, die sich selbst an eine unspezifizierte Umgebung anpassen können, z.B. Computer, Roboter, Haushaltsgeräte, autonome Fahrzeuge und dergleichen, die eine Spracherkennung, Gefahrenerkennung, Echtzeit-Signalverarbeitung mit hoher Geschwindigkeit, Erkennung und Schätzung, und dergleichen.
Eine Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung lernt Muster, die Merkmale eines Zeichens auf tausenden Neuronen, die ein neuromorphes System bilden, darstellen. Die Lernmuster eines zu lernenden Zeichens können grob in zwei Typen eingeteilt werden. Einer ist ein Merkmalsmuster (beispielsweise ein Kantenbereich; in dem Ausführungsbeispiel der vorliegenden Offenbarung wird das Merkmalsmuster als ein „Nichtzeichen-Teilbereichsmuster“) bezeichnet, das ein Zeichen in einem Abstand spezifizieren kann, und der andere ist ein Zeicheninhaltsmuster (in dem Ausführungsbeispiel der vorliegenden Offenbarung wird das Inhaltsmuster als ein „Zeichenbereichsmuster“ bezeichnet), wie ein Geschwindigkeitszeichen oder ein Pfeil, ein Verbotszeichen und dergleichen zum Identifizieren des Zeichentyps. In dem Fall, in welchem das Zeichen weit entfernt angeordnet ist, werden einige Bereiche des Zeichens wie ein roter Kantenbereich schnell gesucht, um den Kandidatenbereich, in welchem das Zeichen existiert, zu identifizieren. Falls erforderlich, kann die Größe des Kandidatenbereichs verändert werden, wie vergrößert/verkleinert, und der Kandidatenbereich kann graduell verkleinert werden durch Vergleichen des gesamten entsprechenden Bereichs mit dem Zeichentypmuster.
Wenn der Typ des Zeichens in diesem Prozess erkannt ist, wird das Bestimmungsergebnis in einem Kandidatenbereichs-Managementstapel 14 gespeichert, und der vorbeschriebene Prozess wird wiederholt, bis das Zeichen auf dem Schirm verschwindet. Nachdem das Zeichen verschwunden ist, werden die Bestimmungswerte des Kandidatenbereichs-Managementstapels, der sämtliche Bestimmungsergebnisse speichert, analysiert, und das endgültige Erkennungsergebnis wird zu einem Benutzer ausgegeben. Die Bestimmung kann durch eine Operation wie einen Moduswert erfolgen.
1 ist ein Steuerblockschaltbild einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 1 kann eine Vorrichtung zum Erkennen von Verkehrszeichen eine Steuereinheit 10, eine neuromorphe Hardwareeinheit 20, die ein neuromorphes System ist, eine Bildsensoreinheit 30 und eine Anzeigeeinheit 40 enthalten.
Die Steuereinheit 10, die neuromorphe Hardwareeinheit 20, die Bildsensoreinheit 30 und die Anzeigeeinheit 40 sind elektrisch verbunden. Die Steuereinheit 10 setzt einen bestimmten Bereich eines von der Bildsensoreinheit 30 eingegebenen Bildrahmens als einen interessierenden Bereich.
Die Steuereinheit 10 normiert ein Fenster einer ersten Größe, die für den gesetzten interessierenden Bereich voreingestellt ist, indem bewirkt wird, dass das Fenster in einer solchen Weise gleitet, dass es um einen ersten Pixelwert überlappt.
Die Steuereinheit 10 erzeugt einen ersten Eingabevektor, der das normierte Fenster vektorisiert.
Die Steuereinheit 10 gibt den erzeugten ersten Eingabevektor in die neuromorphe Hardwareeinheit 20 ein.
Die Steuereinheit 10 zieht einen Kandidatenbereich des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons mit einem Merkmalsmustervektor, der dem eingegebenen ersten Eingabevektor am ähnlichsten ist, aus einer Vielzahl von in der neuromorphen Hardwareeinheit 20 gespeicherten Neuronen heraus.
Die Steuereinheit 10 speichert Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs.
Die Steuereinheit 10 wandelt eine Bildgröße des herausgezogenen Kandidatenbereichs um.
Die Steuereinheit 10 normiert ein Fenster einer zweiten Größe, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, indem bewirkt wird, dass das Fenster in einer solchen Weise gleitet, dass es um einen zweiten Pixelwert überlappt.
Die Steuereinheit 10 erzeugt einen zweiten Eingabevektor, der das normierte Fenster vektorisiert.
Die Steuereinheit 10 gibt den erzeugten zweiten Eingabevektor in die neuromorphe Hardwareeinheit 20 ein.
Die Steuereinheit 10 bestimmt Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der dem eingegebenen zweiten Eingabevektor am ähnlichsten ist, aus der Vielzahl von in der neuromorphen Hardwareeinheit 20 gespeicherten Neuronen.
Die Steuereinheit 10 speichert die bestimmten Verkehrszeichen-Inhaltsinformationen.
Die Steuereinheit 10 führt wiederholt die vorstehenden Prozesse durch, bis das Verkehrszeichen über das Sichtfeld hinaus ist.
Die Steuereinheit 10 erkennt den Ort und den Inhalt des Verkehrszeichens auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens, wenn das Verkehrszeichen verschwindet.
Die Steuereinheit 10 kann einen Extraktionsteil 11 für einen interessierenden Bereich, einen Vektorerzeugungsteil 12, einen Kandidatenbereichs-Extraktionsteil 13, den Kandidatenbereichs-Managementstapel 14 und einen Verkehrszeichen-Bestimmungsteil 15 enthalten.
Die neuromorphe Hardwareeinheit 20 kann einen Lernteil 22, einen Erkennungsteil 21 und eine Vielzahl von Neuronen 23 enthalten. Der Lernteil 22 fungiert zum Speichern der Merkmalsmuster und der Inhaltsmuster der vorher gelernten Zeichen in der Vielzahl von Neuronen 23.
2 ist eine Ansicht, die Lerndaten zeigt, die durch Lernen eines Nichtzeichen-Teilbereichs eines Verkehrszeichens in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung erhalten werden, und 3 ist eine Illustration, die Lerndaten zeigt, die durch Lernen eines Zeichenbereichs eines Verkehrszeichens in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung erhalten werden.
Gemäß den 2 und 3 teilt der Lernteil 22 Zeichenlerndaten in zwei Kategorien und lernt diese. Die beiden Kategorien sind ein Nichtzeichen-Teilbereich eines Verkehrszeichens und ein Zeichenbereich des Verkehrszeichens. Die Lerndatengröße für den Nichtzeichen-Teilbereich ist beispielsweise 16 × 16. Die Lerndatengröße des Zeichenbereichs ist beispielsweise 32 × 32.
Der Lernteil 22 lernt Daten, die in verschiedenen Umfeldern wie Beleuchtung, Luminanz, Positionsänderung und Winkeländerung erworben wurden, wodurch die Empfindlichkeit für Änderungen in dem Kameraaufnahmeumfeld verringert wird.
Der Lernteil 22 speichert die Lerndaten für den Nichtzeichen-Teilbereich und die Lerndaten für den Zeichenbereich in der Vielzahl von Neuronen 23. Gemäß einem derartigen Lernergebnis werden in der Vielzahl von Neuronen 23 ein Merkmalsmustervektor, der in der Lage ist, ein Verkehrszeichen wie eine Kante des Verkehrszeichens zu spezifizieren, und ein Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, gespeichert.
Gemäß 1 führt der Extraktionsteil 11 für interessierende Bereiche der Steuereinheit 10 eine Funktion zum Setzen eines interessierenden Bereichs (ROI) in einem von der Bildsensoreinheit 30 eingegebenen Bildsignal und zum Herausziehen nur des Bilds des entsprechenden Bereichs durch.
Während ein Fenster einer vorbestimmten Größe wiederholt in einer solchen Weise gleitet, dass es entlang des in dem vorbeschriebenen Prozess gesetzten interessierenden Bereichs überlappt, wandelt der Vektorerzeugungsteil 12 der Steuereinheit 10 Pixelwerte des entsprechenden Fensters in eine Vektorform um. Zu dieser Zeit führt der Vektorerzeugungsteil 12 einen Abgleichvorgang derart durch, dass jedes Fenster eine Robustheit gegen eine Helligkeitsänderung oder eine Farbänderung hat, führt einen Normierungsprozess unter Verwendung eines Histogrammglättungs- oder eines min-max-Abgleichverfahrens durch, und wandelt das normierte Fenster in eine Vektorform einer Größe [1 × N] um. Der Vektorerzeugungsteil 12 führt eine Funktion zum Senden des erzeugten Vektors zu der neuromorphen Hardwareeinheit 20 durch.
In der neuromorphen Hardwareeinheit 20 sind die Vielzahl von Neuronen 23, in denen ein Merkmalsmustervektor, der in der Lage ist, ein Zeichen wie eine Kante eines Verkehrszeichens zu spezifizieren, und ein Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, gespeichert sind, durch einen parallelen Bus verbunden. Die Vielzahl von Neuronen 23 enthält viele Neuronen, in denen ein Merkmalsmustervektor, der in der Lage ist, ein Zeichen wie eine Kante eines Verkehrszeichens zu spezifizieren, gespeichert ist, und viele Neuronen, in denen ein Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, gespeichert ist.
Der Erkennungsteil 21 der neuromorphen Hardwareeinheit 20 empfängt einen Eingabevektor und leitet gleichzeitig den eingegebenen Vektor zu den gesamten Neuronen über den parallelen Bus weiter. Jedes Neuron berechnet automatisch den relativen Abstand zwischen dem empfangenen eingegebenen Vektor und dem gelernten Mustervektor, der in jedem Neuron gespeichert ist, und sendet ihn als ein Ergebnis. Zu dieser Zeit beginnt jedes Neuron, den relativen Abstand zwischen dem eingegebenen Vektor und dem in dem Neuron gespeicherten Mustervektor zu messen, wenn der Eingabevektor beginnt, eingegeben zu werden, und aktualisiert kontinuierlich den Abstandswert, bis der eingegebene Vektor beendet ist. Schließlich bestimmt, wenn die Berechnung des Abstands zwischen dem eingegebenen Vektor und dem gespeicherten Muster beendet ist, der Erkennungsteil 21 ein Neuron aus tausenden Neuronen, das den kleinsten relativen Abstandswert hat, und sendet einen Rückführungswert entsprechend dem in dem Neuron gespeicherten Lernmustervektor.
Der Erkennungsteil 21 gibt die Ergebniswerte aus, die in zwei Arten von Kontexten auf der Grundlage des Musters des gelernten Lernteils 22 geteilt sind.
In einem Fall des Suchens des gesamten interessierenden Bereichs zum Herausziehen von Kandidatenbereichen führt der Erkennungsteil 21 einen Erkennungsmodus durch durch Berechnen des relativen Abstands zwischen dem eingegebenen Vektor und dem Merkmalsmustervektor, der als der Nichtzeichen-Teilbereich (z.B. Kante) auf dem Zeichen gelernt wurde. Andererseits führt in dem Fall des Zeicheninhalts-Bestimmungsschritts der Erkennungsteil 21 einen Erkennungsmodus durch durch Berechnen des relativen Abstands zwischen dem Eingabevektor und dem Inhaltsmustervektor, der als der Zeichenbereich (z.B. maximale Geschwindigkeit, U-Wendepfeil und dergleichen) des Zeichens gelernt wurde.
Der Kandidatenbereichs-Extraktionsteil 13 der Steuereinheit 10 synthetisiert die Erkennungsergebnisse des Erkennungsteils 21 für den gesamten ROI, wenn eine Operation zum Herausziehen von Kandidatenbereichen durchgeführt wird, und speichert die Koordinaten des Bereichs, in welchem das Zeichen existieren kann, in dem Kandidatenbereichs-Managementstapel 14. Der Kandidatenbereichs-Extraktionsteil 13 ändert auch die Größe der entsprechenden Bereiche gemäß der Bezugsgröße, und sendet den gesamten Bereich zu dem Erkennungsteil 21, um den Inhalt des Zeichens zu bestimmen. Das Ergebnis wird auch in dem Stapel gespeichert.
Der Kandidatenbereichs-Managementstapel 14 der Steuereinheit 10 führt eine Funktion zum Speichern von Daten, die durch Synthetisieren der erkannten Ergebnisse erhalten und zu dem Erkennungsteil 21 der neuromorphen Hardwareeinheit 20 zurückgeführt wurden, durch. Die in dem Kandidatenbereichs-Managementstapel 14 gespeicherten Daten werden in den Verkehrszeichen-Bestimmungsteil 15 eingegeben.
Der Verkehrszeichen-Bestimmungsteil 15 der Steuereinheit 10 synthetisiert die Suchergebnisstapel, nachdem das Zeichen, das verfolgt und verwaltet wurde, von dem Schirm verschwunden ist, und bestimmt die Position und den Inhalt des Zeichens. Als ein Beispiel kann ein Verfahren des Berechnens des Moduswerts der in dem Kandidatenbereichs-Managementstapel 14 gespeicherten Ergebniswerte oder ein Verfahren des Wichtens und Bestimmens des Ergebnisses des letzten Rahmens, das die höchste Erkennungswahrscheinlichkeit haben kann, verwendet werden.
Die Anzeigeeinheit 40 gibt das von dem Verkehrszeichen-Bestimmungsteil 15 empfangene Ergebnis als Zeitinformation aus.
4 ist ein Steuerflussdiagramm einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 4 können enthalten sein: ein Schritt 100 des Eingebens eines Bilds, ein Schritt 102 des Setzens eines interessierenden Bereichs, ein Schritt 104 des Suchens eines Kandidatenbereichs eines Zeichens, ein Schritt 106 des Herausziehens eines Zeichenkandidatenbereichs, einen Schritt 108 der Änderung der Größe des Kandidatenbereichsbilds, ein Schritt 110 des Erkennens eines Typs des Zeichens, ein Schritt 112 des Aktualisierens des Kandidatenbereichs-Managementstapels unter Verwendung des Zeichenerkennungsergebnisses, ein Schritt 114 des Bestimmens, ob das Zeichen über das Sichtfeld (FOV) hinaus ist, und ein Schritt 116 des Bestimmens des Zeichens und des Ausgebens des Bestimmungsergebnisses.
In dem Bildeingabeschritt 100 empfängt der Extraktionsteil 11 für einen interessierenden Bereich das von der Bildsensoreinheit 30 ausgegebene Bild.
In dem Setzschritt 102 für einen interessierenden Bereich zieht der Extraktionsteil 11 für einen interessierenden Bereich nur das Bild des entsprechenden Bereichs durch Setzen des interessierenden Bereichs in das von der Bildsensoreinheit 30 eingegebene Bild heraus.
5 ist eine Ansicht zum Erläutern eines interessierenden Bereichs, der in einem in eine Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung eingegebenen Bild gesetzt ist.
Gemäß 5 ist ein Bereich, der den Bereich ausschließt, in welchem das Zeichen nicht in einem von der Bildsensoreinheit 30 eingegebenen Bild existieren kann, als ein interessierender Bereich gesetzt.
Beispielsweise wird in dem Fall, in welchem der verbleibende Bereich außer dem Bereich, in welchem ein Zeichen nicht existieren kann, als ein interessierender Bereich (ROI) bezeichnet ist, der obere 70%-Bereich des Bilds als der interessierende Bereich (ROI) gesetzt werden.
Zurückkehrend zu 4 wandelt in dem Zeichenkandidatenbereich-Suchschritt 104, während ein Fenster einer vorbestimmten Größe wiederholt in einer solchen Weise gleitet, dass es entlang des in dem eingegebenen Bild gesetzten interessierenden Bereichs überlappt, der Vektorerzeugungsteil 12 Pixelwerte des entsprechenden Fensters in eine Vektorform um.
Die Fenstergröße wird gleich der Bildgröße des in einem Neuron gelernten „Nichtzeichen-Teilbereichs“ gesetzt. Wenn beispielsweise das Bild des „Nichtzeichen-Teilbereichs“ mit einer Größe von 16 × 16 in einem Neuron gelernt ist, werden Pixelwerte durch wiederholtes Gleiten von Fenstern mit einer Größe 16 × 16 in der X-Achsen- und der Y-Achsen-Richtung in einer solchen Weise, dass jeweils 8 Pixel um 50% überlappen, gelesen. Der erzeugte Vektor wird in den Erkennungsteil 21 der neuromorphen Hardwareeinheit 20 eingegeben.
Der Erkennungsteil 21 vergleicht den von dem Vektorerzeugungsteil 12 eingegebenen interessierenden Bereich mit dem Nichtzeichen-Teilbereichsmuster und führt den hierzu entsprechenden Kategoriewert zurück, wenn der Ähnlichkeitsgrad höher als ein Bezugswert ist. Der Rückführungswert wird wieder in den Kandidatenbereichs-Extraktionsteil 13 der Steuereinheit 10 eingegeben.
6 ist eine Ansicht, die Lernmuster zum Auswählen von Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert, und 7 ist eine Ansicht, die ein Ergebnis der Suche nach Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
Gemäß den 6 und 7 stellen die in 6 gezeigten rechteckigen Felder ein Lernmuster zum Auswählen von Nichtzeichen-Teilbereichen in dem Verkehrszeichen-Kandidatenbereich dar, und die in 7 gezeigten rechteckigen Felder stellen ein Ergebnis der Suche von Nichtzeichen-Teilbereichen in dem Verkehrszeichen-Kandidatenbereich dar.
Rückkehrend zu 4 zieht der Kandidatenbereichs-Extraktionsteil 13 in dem Zeichenkandidatenbereichs-Extraktionsschritt 106 Kandidatenbereiche entsprechend den Rückführungswerten auf der Grundlage der von dem Erkennungsteil 21 eingegebenen Rückführungswerte heraus. Der Kandidatenbereichs-Extraktionsteil 13 speichert die Koordinaten der herausgezogenen Kandidatenbereiche jeweils in dem Kandidatenbereichs-Managementstapel 14.
Der Kandidatenbereichs-Extraktionsteil 13 führt in dem Bildgrößenveränderungsschritt 108 für den herausgezogenen Kandidatenbereich eine Größenumwandlungsoperation durch, um die herausgezogenen Kandidatenbereiche einer Bezugsgröße anzupassen, und liefert die Kandidatenbereiche zu dem Vektorerzeugungsteil 12.
Der Kandidatenbereichs-Extraktionsteil 13 führt eine Größenumwandlungsoperation wie eine Vergrößerung/Verkleinerung des herausgezogenen Kandidatenbereichs durch und gibt den Kandidatenbereich in den Vektorerzeugungsteil 12 ein (siehe 8).
Zurückkehrend nach 4 wandelt der Vektorerzeugungsteil 12 in dem Zeichentyp-Erkennungsschritt 110, während ein Fenster einer vorbestimmten Größe wiederholt in einer solchen Weise, dass es entlang des von dem Kandidatenbereichs-Extraktionsteil 13 eingegebenen größenveränderten Kandidatenbereichs überlappt, gleitet, Pixelwerte des entsprechenden Fensters in eine Vektorform um. Die Fenstergröße ist gleich der Bildgröße des in einem Neuron gelernten Zeichenbereichs gesetzt. Wenn beispielsweise das Zeichenbereichsbild mit einer Größe von 32 × 32 in einem Neuron gelernt ist, werden Pixelwerte durch wiederholtes Gleiten von Fenstern einer Größe von 32 × 32 in der X-Achsen- und der Y-Achsen-Richtung in einer solchen Weise, dass jeweils 4 Pixel um 12,5% überlappen, gelesen. Der erzeugte Vektor wird in den Erkennungsteil 21 der neuromorphen Hardwareeinheit 20 eingegeben.
Der Erkennungsteil 21 vergleicht den größenveränderten Kandidatenbereichs-Eingabevektor mit dem Zeichenbereichsmuster und führt den entsprechenden Kategoriewert zurück, wenn der Ähnlichkeitsgrad höher als ein voreingestellter Wert ist. Der Moduswert unter den zurückgeführten Kategoriewerten wird in den Kandidatenbereichs-Managementstapel 14 eingegeben.
8 ist eine Ansicht zum genauen Erläutern des Suchens nach Verkehrszeichen-Kandidatenbereichen in einer Vorrichtung zum Erkennen von Verkehrszeichen nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 8 zeigt eine Identifizierungszahl 200 auf einem Zeichen S eines Bildrahmens F einem durch den Erkennungsteil 21 bestimmten Kandidatenbereich als ein Ergebnis der Suche nach einem interessierenden Bereich an, dass ein Merkmalsmuster auf dem Zeichen existiert. Eine Identifizierungszahl 210 zeigt an, dass der Kandidatenbereich aus dem Bildrahmen herausgezogen ist. Eine Identifikationszahl 220 zeigt ein Ergebnis der Größenveränderung des herausgezogenen Kandidatenbereichs, der für die Zeichenbestimmung zu verwenden ist, an. Eine Identifizierungszahl 230 zeigt ein in der Vielzahl von Neuronen 23 gespeichertes Lernmuster an.
Es wird angenommen, dass 10 Rückführungswerte eines ‚80 km‘-Zeichens und zwei Rückführungswerte eines ‚60 km‘-Zeichens als ein Ergebnis der Eingabe des größenveränderten Vektors zu dem Erkennungsteil 21 ausgegeben werden, und der Moduswert von 80 km als das Kandidatenbereichs-Suchergebnis zurückgeführt und in den Kandidatenbereichs-Managementstapel 14 eingegeben wird.
Zurückkehrend zu 4 werden in dem Kandidatenbereichs-Managementstapel-Aktualisierungsschritt 112 die Koordinaten des durch den vorbeschriebenen Prozess erfassten Kandidatenbereichs und der Typ des bestimmten Zeichens in dem Kandidatenbereichs-Managementstapel 14 gespeichert.
In dem Schritt 114 des Bestimmens, ob das Zeichen über das Sichtfeld (FOV) hinaus ist, bestimmt der Verkehrszeichen-Bestimmungsteil 15, ob das Zeichen, das verfolgt und verwaltet wurde, von dem Schirm verschwunden ist.
Wenn das Zeichen als ein Ergebnis der Bestimmung in dem Operationsmodus 114 nicht von dem Schirm verschwindet, wird zu dem Operationsmodus 100 zurückgekehrt, um die nachfolgenden Operationsmodi durchzuführen.
Wenn andererseits als ein Ergebnis der Bestimmung in dem Operationsmodus 114 das Zeichen von dem Schirm verschwindet, bestimmt der Verkehrszeichen-Bestimmungsschritt 15 in dem Zeichenschildbestimmungs- und Ergebnisausgabeschritt 116 den Typ des Zeichens durch Synthetisieren der Suchergebnisstapel, nachdem das Zeichen, das verfolgt und verwaltet wurde, von dem Schirm verschwunden ist. Das heißt, der Verkehrszeichen-Bestimmungsteil 15 synthetisiert den Inhalt des Kandidatenbereichs-Managementstapels 14, um zu bestimmen, ob ein Kandidat vorhanden ist, der dem Zeichenbestimmungskriterium genügt oder nicht. Als ein Beispiel für das Zeichenbestimmungskriterium kann ein Verfahren des Berechnens des Moduswerts der resultierenden Werte, die in dem Kandidatenbereichs-Managementstapel 14 gespeichert sind, oder ein Verfahren des Wichtens und Bestimmens eines in dem letzten Bildrahmen bestätigten Ergebnisses, das die höchste Erkennungswahrscheinlichkeit haben kann, verwendet werden (siehe 9 und 10.
Der Verkehrszeichen-Bestimmungsteil 15 gibt das endgültige Erkennungsergebnis zu der Anzeigeeinheit 40 aus, wenn ein Kandidat vorhanden ist, der dem Zeichenbestimmungskriterium genügt.
Wie aus dem Vorstehenden ersichtlich ist, können die Ausführungsbeispiele der vorliegenden Offenbarung die bestehenden Bildverarbeitungsalgorithmen, die einen hohen Rechenaufwand erfordern, ersetzen durch vorheriges Lernen eines Nichtzeichenbereichs und eines Zeichenbereichs eines verschiedenen Umfeldern ausgesetzten Verkehrszeichens unter Verwendung des neuromorphen Systems und dann durch Erkennen eines Verkehrszeichens anhand eines von einer Kamera fotografierten Straßenbilds durch die gelernten Daten, wodurch die TSR-Durchführungsgeschwindigkeit erhöht und eine hohe Erkennungsrate gewährleistet werden, selbst in dem Fall von partieller Verzerrung und einer Beschädigung von Verkehrszeichen.
Die Ausführungsbeispiele der vorliegenden Offenbarung können das Vertrauen in die CPU und den DSP durch Verwendung des neuromorphen Systems relativ verringern, wodurch die Wirkung einer Kostenherabsetzung und einer reduzierten Wärmeerzeugung erzielt werden.
Die Ausführungsbeispiele der vorliegenden Offenbarung können leicht länderspezifische TSR-Systeme durch Erwerben von länderspezifischen Lerndaten selbst in dem Fall von Zeichen mit unterschiedlichen länderspezifischen Standards entwickeln.

Claims

Vorrichtung zum Erkennen von Verkehrszeichen, welche aufweist: eine Bildsensoreinheit (30) zum Erwerben eines Bildrahmens; ein neuromorphes System, in welchem eine Vielzahl von Neuronen, die einen Merkmalsmustervektor, der in der Lage ist, ein Zeichen, welches eine Kante eines Verkehrszeichens umfasst, zu spezifizieren, und einen Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, speichern, durch einen parallelen Bus verbunden sind; und eine Steuereinheit (10), die (a) einen bestimmten Bereich als einen interessierenden Bereich setzt auf der Grundlage eines oberen Endes des Bildrahmens, der von der Bildsensoreinheit eingegeben wird, (b) ein Fenster einer ersten Größe, die für den gesetzten interessierenden Bereich voreingestellt ist, normiert, indem das Fenster in einer solchen Weise bewegt wird, dass es um eine erste Anzahl von Pixeln überlappt, (c) einen ersten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (d) den erzeugten ersten Eingabevektor in das neuromorphe System eingibt, (e) einen Kandidatenbereich des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons mit einem Merkmalsmustervektor, der dem eingegebenen ersten Eingabevektor am ähnlichsten ist, aus der Vielzahl von in dem neuromorphen System gespeicherten Neuronen herauszieht, (f) die Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs speichert, (g) die Bildgröße des herausgezogenen Kandidatenbereichs umwandelt, (h) ein Fenster einer zweiten Größe, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, normiert, indem das Fenster in einer solchen Weise bewegt wird, dass es um eine zweite Anzahl von Pixeln überlappt, (i) einen zweiten Eingabevektor erzeugt, der das normierte Fenster vektorisiert, (j) den erzeugten zweiten Eingabevektor in das neuromorphe System eingibt, (k) Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der dem eingegebenen zweiten Eingabevektor aus der Vielzahl von in dem neuromorphen System gespeicherten Neuronen am ähnlichsten Ist, bestimmt, (I) die bestimmten Verkehrszeichen-Inhaltsinformationen speichert, (m) die Prozesse (a) bis (I) durchführt, bis das Verkehrszeichen über das Sichtfeld hinaus ist, und (n) den Ort und den Inhalt des Verkehrszeichens auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens erkennt, wenn das Verkehrszeichen von einem Schirm verschwindet.
Vorrichtung nach Anspruch 1, bei der ein Bereich entsprechend 70% auf der Grundlage des oberen Endes des von der Bildsensoreinheit (30) eingegebenen Bildrahmens als der interessierende Bereich gesetzt ist.
Vorrichtung nach Anspruch 1 oder Anspruch 2, bei der die Steuereinheit (10) den Ort und den Inhalt des Verkehrszeichens durch Verwendung eines Moduswerts aus den Koordinaten der gespeicherten Verkehrszeichen-Kandidatenbereiche und den in den Kandidatenbereichen bestimmten Inhaltsinformationen oder durch Wichten der Koordinaten des aus einem letzten Bildrahmen, nach dem das Verkehrszeichen von dem Schirm verschwunden ist, herausgezogenen Verkehrszeichen-Kandidatenbereichs und den in dem herausgezogenen Verkehrszeichen-Kandidatenbereich bestimmten Verkehrszeichen-Inhaltsinformationen erkennt.
Verfahren zum Erkennen von Verkehrszeichen durch Verwendung einer Bildsensoreinheit (30) zum Erwerben eines Bildrahmens und eines neuromorphen Systems, in welchem eine Vielzahl von Neuronen, die einen Merkmalsmustervektor, der in der Lage ist, ein Zeichen, das eine Kante des Verkehrszeichens umfasst, zu spezifizieren, und einen Inhaltsmustervektor, der auf Inhaltsinformationen des Verkehrszeichens bezogen ist, speichern, durch einen parallelen Bus verbunden sind, welches aufweist (a) Setzen eines bestimmten Bereichs als einen interessierenden Bereich auf der Grundlage eines oberen Endes des von der Bildsensoreinheit eingegebenen Bildrahmens, (b) normieren eines Fensters einer ersten Größe, die für den gesetzten interessierenden Bereich voreingestellt ist, durch Bewegen des Fensters in einer solchen Weise, dass es um eine erste Anzahl von Pixeln überlappt, (c) Erzeugen eines ersten Eingabevektors, der das normierte Fenster vektorisiert, (d) Eingeben des erzeugten ersten Eingabevektors in das neuromorphe System, (e) Herausziehen eines Kandidatenbereichs des Verkehrszeichens auf der Grundlage von Merkmalsmusterinformationen eines Neurons mit einem Merkmalsmustervektor, der unter der Vielzahl von in dem neuromorphen System gespeicherten Neuronen dem eingegebenen ersten Eingabevektor am ähnlichsten ist, (f) Speichern der Koordinaten des herausgezogenen Verkehrszeichen-Kandidatenbereichs, (g) Umwandeln der Bildgröße des herausgezogenen Kandidatenbereichs, (h) Normieren eines Fensters einer zweiten Größe, die für den Kandidatenbereich der umgewandelten Bildgröße voreingestellt ist, durch Bewegen des Fensters in einer solchen Weise, dass es um eine zweite Anzahl von Pixeln überlappt, (i) Erzeugen eines zweiten Eingabevektors, der das normierte Fenster vektorisiert, (j) Eingeben des erzeugten zweiten Eingabevektors in das neuromorphe System, (k) Bestimmen von Verkehrszeichen-Inhaltsinformationen eines Neurons mit einem Inhaltsmustervektor, der unter der Vielzahl von in dem neuromorphen System gespeicherten Neuronen dem eingegebenen zweiten Eingabevektor am ähnlichsten ist, (I) Speichern der bestimmten Verkehrszeichen-Inhaltsinformationen, (m) Durchführen der Prozesse (a) bis (I), bis das Verkehrszeichen über das Sichtfeld hinaus ist, und (n) Erkennen des Orts und des Inhalts des Verkehrszeichens auf der Grundlage der Koordinaten der gespeicherten Kandidatenbereiche und der Inhaltsinformationen des gespeicherten Verkehrszeichens, wenn das Verkehrszeichen von einem Schirm verschwindet.
Verfahren nach Anspruch 4, wobei ein Bereich entsprechend 70% auf der Grundlage des oberen Endes des von der Bildsensoreinheit (30) eingegebenen Bildrahmens als der interessierende Bereich gesetzt ist.
Verfahren nach Anspruch 4, weiterhin umfassend: Erkennen des Orts und des Inhalts des Verkehrszeichens durch Verwendung eines Moduswerts aus den Koordinaten der gespeicherten Verkehrszeichen-Kandidatenbereiche und den in den Kandidatenbereichen bestimmten Inhaltsinformationen oder durch Wichten der Koordinaten des aus dem einem letzten Bildrahmen, nach dem Verkehrszeichen von dem Schirm verschwunden ist, herausgezogenen Verkehrszeichen-Kandidatenbereichs und den in dem herausgezogenen Verkehrszeichen-Kandidatenbereich bestimmten Verkehrszeichen-Inhaltsinformationen.