-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens, auf ein Verfahren zur Erkennung eines Verkehrszeichens, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Zur Verkehrszeichenerkennung kann ein Polynomklassifikator eingesetzt werden, bei dem es sich um ein Standardverfahren zur Multiklassen-Klassifikation handelt, d. h., es wird die Zuordnung eines Testsamples in eine von mehreren zuvor definierten Klassen ermöglicht. Problematisch bei der Verwendung des Polynomklassifikators sind Samples, die der Klassifikator nicht aus dem Training kennt, wobei diese in der Regel zu unerwünschten oder irrelevanten Klassen gehören. Die
DE 199 42 223 C2 offenbart ein Klassifikationsverfahren mit Rückweisungsklasse.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden ein Verfahren zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens, ein Verfahren zur Erkennung eines Verkehrszeichens, weiterhin eine Vorrichtung, welche zumindest eines dieser Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Ein Verfahren zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens kann folgende Schritte aufweisen:
Einlesen einer Trainingsmatrix, die eine Mehrzahl von Klassen aufweist, wobei jede Klasse einem Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnet ist und Eigenschaften des Verkehrszeichens oder des sonstigen Bildausschnittes repräsentiert, wobei jeweils eine Spalte oder Zeile der Trainingsmatrix eine Klasse der Mehrzahl von Klassen repräsentiert; und
Erstellen der Auswertematrix basierend auf der Trainingsmatrix, wobei in der Auswertematrix Spalten oder Zeilen der Trainingsmatrix, die einem irrelevanten Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnete Irrelevanzklassen repräsentieren, entfernt sind und Spalten oder Zeilen der Trainingsmatrix, die einem relevanten Verkehrszeichen zugeordnete Positivklassen repräsentieren, beibehalten sind.
-
Das Verfahren zum Bereitstellen einer Auswertematrix kann in einer Trainingsphase oder einem Trainingsmodus für ein Verfahren zur Erkennung eines Verkehrszeichens durchgeführt werden. Die Trainingsmatrix enthält Koeffizienten. Die Verkehrszeichen und sonstigen Schilder, deren Eigenschaften die Trainingsmatrix repräsentiert, können erfasste Verkehrszeichen und sonstige Bildausschnitte bzw. systematische Bildausschnitte z. B. andere Schilder, Radkappen, etc. sein. Je nach Leistungsfähigkeit eines Zeichendetektors bei einem Vorverarbeitungsschritt können beliebige Kandidatenausschnitte in die Klassifikation gelangen, d. h. diese brauchen keinen ausgeprägten Rand haben, es kann sich z. B. um Wolken, Büsche oder insbesondere nachts sogar um Bildrauschen handeln. Zur Klassifikation kann eine Beschränkung auf Ausschnitte erfolgen, die in irgendeiner Form eine Systematik aufweisen. Es kann jeweils eine Spalte der Trainingsmatrix eine Klasse der Mehrzahl von Klassen repräsentieren, wobei die Spalten der Trainingsmatrix der Mehrzahl von Klassen zugeordnet sind. Alternativ kann jeweils eine Zeile der Trainingsmatrix eine Klasse der Mehrzahl von Klassen repräsentieren, wobei die Zeilen der Trainingsmatrix der Mehrzahl von Klassen zugeordnet sind. Eine Klasse kann hierbei verifizierte Eigenschaften eines Verkehrszeichens und sonstigen Bildausschnittes repräsentieren. Bei dem Verfahren zum Bereitstellen wird die Trainingsmatrix in geeigneter Weise verändert, um die Auswertematrix zu erzeugen. So kann die Auswertematrix lediglich Positivklassen umfassen, welche für eine beabsichtigte nachfolgende Auswertung relevante bzw. interessierende Verkehrszeichen repräsentieren, wie beispielsweise für die Erkennung eines Verkehrszeichens in einem definierten geografischen Bereich gültige Verkehrszeichen. Ein Verkehrszeichen kann als zu einer Positivklasse gehörig klassiert werden, wenn das Verkehrszeichen für eine nachfolgende Auswertung von Bedeutung ist oder das Verkehrszeichen in einer nachfolgenden Auswertung unter Verwendung der Trainings- oder Auswertematrix oder einer von einer der genannten Matrizen abgeleiteten Matrix erkannt oder identifiziert werden soll. Die in der Auswertematrix entfernten Irrelevanzklassen der Trainingsmatrix können irrelevante Verkehrszeichen, die beispielsweise für die Erkennung eines Verkehrszeichens in einem definierten geografischen Bereich ungültig sind, sonstige Schilder ohne Verkehrszeichencharakter oder beliebige Bildausschnitte sein, die z. B. durch systematische Fehler in den der Klassifikation vorausgehenden Verarbeitungsschritten entstehen.
-
Ein Verfahren zur Erkennung eines Verkehrszeichens, wobei das Verfahren in Verbindung mit einem Fahrzeug ausführbar ist, das eine Verkehrszeichenerfassungseinrichtung zum Ausgeben eines Erfassungssignals mit einer Bildinformation eines erfassten Verkehrszeichens oder sonstigen Schildes aufweist, kann folgende Schritte aufweisen:
Generieren eines Merkmalsvektors, der aus der Bildinformation des Erfassungssignals ermittelte Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes repräsentiert, unter Verwendung des Erfassungssignals;
Einlesen einer bereitgestellten Auswertematrix, insbesondere die gemäß einer Variante des vorstehend genannten Verfahrens erstellt wurde; und
Bestimmen eines Klassenzugehörigkeitsvektors unter Verwendung der eingelesenen Auswertematrix und des Merkmalsvektors, wobei der Klassenzugehörigkeitsvektor eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Bildausschnittes zu einer Klasse der Mehrzahl von Klassen angibt, um das Verkehrszeichen zu erkennen.
-
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, insbesondere ein straßengebundenes Kraftfahrzeug, wie ein Personenkraftwagen, ein Lastkraftwagen oder ein sonstiges Nutzfahrzeug. Bei der Verkehrszeichenerfassungseinrichtung kann es sich um zumindest eine Bildverarbeitungseinrichtung, in Vorwärtsfahrtrichtung und/oder Rückwärtsfahrtrichtung des Fahrzeugs gerichtete Fahrzeugkamera mit Bildverarbeitungseinrichtung und/oder dergleichen handeln. Das Verfahren kann auch einen Schritt des Einlesens des Erfassungssignals aufweisen, wobei entweder das Erfassungssignal die ermittelten Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes aufweisen kann oder das Verfahren ferner einen Schritt des Ermittelns der Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes basierend auf der Bildinformation des Erfassungssignals aufweisen kann. Bei den Eigenschaften kann es sich hierbei um geometrische, optische und/oder semantische Eigenschaften oder dergleichen handeln. Aus Bildinformationen des Erfassungssignals wird ein Merkmalsvektor erzeugt. Somit sind Merkmale des erfassten Verkehrszeichens oder sonstigen Bildausschnittes in dem Merkmalsvektor repräsentiert. Im Schritt des Bestimmens kann eine Klassifikation erfolgen, wobei zum Liefern des Klassenzugehörigkeitsvektors zum Beispiel eine Multiplikation des Merkmalsvektors mit der Auswertematrix oder zumindest eine andere Rechenoperation erfolgen kann. Somit wird der Merkmalsvektor mit der Auswertematrix beispielsweise multipliziert und es wird damit der Klassenzugehörigkeitsvektor erzeugt. Gibt der Klassenzugehörigkeitsvektor eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Schildes zu einer Positivklasse an, so kann es sich bei dem durch den Merkmalsvektor repräsentierten Verkehrszeichen oder sonstigen Bildausschnitt um ein Verkehrszeichen handeln und es kann das Verkehrszeichen gemäß der durch den Klassenzugehörigkeitsvektor angezeigten Klasse erkannt werden. Gibt der Klassenzugehörigkeitsvektor keine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Schildes zu einer Positivklasse an, so kann es sich bei dem durch den Merkmalsvektor repräsentierten Verkehrszeichen oder sonstigen Bildausschnitt um ein sonstiges Schild handeln und es kann erkannt werden, dass kein relevantes Verkehrszeichen erfasst wurde. Der Klassenzugehörigkeitsvektor und/oder ein auf dem Klassenzugehörigkeitsvektor basierendes Erkennungssignal, welches das erkannte Verkehrszeichen angibt, kann an eine Schnittstelle zu weiteren Fahrzeugsystemen ausgegeben werden. Auch kann eine zeitliche Akkumulation von Klassifikationsergebnissen erfolgen, wobei insbesondere für ein Verkehrszeichen Klassifikationen aus mehreren Frames vorliegen können, die in ihrer Gesamtheit bewertet werden können.
-
Eine Vorrichtung kann ausgebildet sein, um die Schritte zumindest eines der vorstehend genannten Verfahren in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch eine solche Ausführungsvariante in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät, beispielsweise zumindest ein Steuergerät, verstanden werden, das eine Trainingsmatrix verarbeitet und in Abhängigkeit davon eine Auswertematrix ausgibt und zusätzlich oder alternativ Erfassungssignale verarbeitet und in Abhängigkeit davon Klassenzugehörigkeitsvektoren ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
So kann eine Vorrichtung zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens folgende Merkmale aufweisen:
eine Einrichtung zum Einlesen einer Trainingsmatrix, die eine Mehrzahl von Klassen aufweist, wobei jede Klasse einem Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnet ist und Eigenschaften des Verkehrszeichens oder des sonstigen Bildausschnittes repräsentiert, wobei jeweils eine Spalte oder Zeile der Trainingsmatrix eine Klasse der Mehrzahl von Klassen repräsentiert; und
eine Einrichtung zum Erstellen der Auswertematrix basierend auf der Trainingsmatrix, wobei in der Auswertematrix Spalten oder Zeilen der Trainingsmatrix, die einem irrelevanten Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnete Irrelevanzklassen repräsentieren, entfernt sind und Spalten oder Zeilen der Trainingsmatrix, die einem relevanten Verkehrszeichen zugeordnete Positivklassen repräsentieren, beibehalten sind.
-
Ferner kann eine Vorrichtung zur Erkennung eines Verkehrszeichens, wobei die Vorrichtung in Verbindung mit einem Fahrzeug verwendbar ist, das eine Verkehrszeichenerfassungseinrichtung zum Ausgeben eines Erfassungssignals mit einer Bildinformation eines erfassten Verkehrszeichens oder sonstigen Schildes aufweist, folgende Merkmale aufweisen:
eine Einrichtung zum Generieren eines Merkmalsvektors, der aus der Bildinformation des Erfassungssignals ermittelte Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes repräsentiert, unter Verwendung des Erfassungssignals;
eine Einrichtung zum Einlesen einer bereitgestellten Auswertematrix, insbesondere die gemäß einer Variante der vorstehend genannten Vorrichtung zum Bereitstellen einer Auswertematrix erstellt wurde; und
eine Einrichtung zum Bestimmen eines Klassenzugehörigkeitsvektors unter Verwendung der erstellten Auswertematrix und des Merkmalsvektors, wobei der Klassenzugehörigkeitsvektor eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Schildes zu einer Klasse der Mehrzahl von Klassen angibt, um das Verkehrszeichen zu erkennen.
-
Auch kann eine Vorrichtung vorgesehen sein, welche die Einrichtungen der Vorrichtung zum Bereitstellen einer Auswertematrix sowie die Einrichtungen der Vorrichtung zur Erkennung eines Verkehrszeichens umfasst, oder es können die Vorrichtung zum Bereitstellen einer Auswertematrix und die Vorrichtung zur Erkennung eines Verkehrszeichens beide vorgesehen sein.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung zumindest eines der vorstehend genannten Verfahren verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Gemäß Ausführungsformen der vorliegenden Erfindung kann zur Verkehrszeichenerkennung während einer Trainingsphase bzw. eines Trainingsmodus eine Matrix erzeugt werden, in der relevante und irrelevante Verkehrszeichen sowie sonstige Bildausschnitte berücksichtigt sind. Zur Auswertung von erfassten Verkehrszeichen und sonstigen Bildausschnitten repräsentierenden Merkmalsvektoren kann die Matrix so verändert werden, dass jene Spalten oder Zeilen der Matrix, die zu irrelevanten Klassen gehören, entfernt sind. Als zu einer irrelevanten Klasse gehörig kann ein Verkehrszeichen dann bestimmt werden, wenn das Verkehrszeichen für eine nachfolgende Auswertung nicht von Bedeutung ist. Unter Verwendung eines jeweiligen Merkmalsvektors und der Matrix mit den verbleibenden Spalten oder Zeilen kann dann ein Klassenzugehörigkeitsvektor berechnet werden, um die Verkehrszeichenerkennung durchzuführen. Insbesondere kann die Klassifikation auf der Multiplikation eines Merkmalsvektors mit einer aus einem Trainingsprozess entstandenen Matrix beruhen und einen Klassenzugehörigkeitsvektor liefern. Um eine Modellierung vieler Irrelevanzklassen zu ermöglichen und dennoch keine zusätzliche Rechenlast zu erzeugen, kann insbesondere die Bedingung ausgenutzt werden, dass der Klassenzugehörigkeitsvektor auf 1 normiert ist und die Elemente des Klassenzugehörigkeitsvektors in einem Bereich bzw. Wertebereich von Null bis Eins liegen. Es kann eine Nachverarbeitung vorgesehen sein, um solche Eigenschaften eines Wertebereiches herzustellen.
-
Vorteilhafterweise kann insbesondere durch eine implizite Modellierung einer Irrelevanzklasse eine Optimierung eines Polynomklassifikators erreicht werden. Damit dies rechenzeittechnisch vorteilhaft erfolgen kann, werden die Irrelevanzklassen lediglich im Trainingsprozess bzw. offline, d. h. nicht im Produktivmodus der Verkehrszeichenerkennung berücksichtigt. Vorteilhaft bei der Verwendung eines Polynomklassifikators gemäß Ausführungsformen der vorliegenden Erfindung ist auch der Umgang mit erfassten Verkehrszeichen oder anderen Bildausschnitten bzw. zugehörigen Samples, die der Klassifikator nicht aus dem Training kennt. In der Regel handelt es sich dabei um Samples, die zu unerwünschten oder irrelevanten Klassen gehören. Es kann beispielsweise gemäß Ausführungsformen der vorliegenden Erfindung eine Verbesserung gegenüber Standardmethoden erzielt werden, die Abweichungen des Wertebereichs des Klassenzugehörigkeitsvektors verwenden, um solche Samples abzuweisen. So kann verhindert werden, dass der Polynomklassifikator unbekannte Samples in eine der relevanten Klassen einordnet, da durch die Matrix definierte Klassenräume durch die im Training eingeführten irrelevanten Klassen vorteilhafterweise geschlossen sind. Durch Hinzufügen theoretisch beliebig vieler Klassen kann eine Annäherung an die sogenannte „closed world assumption“ erreicht werdenen, d. h., wenn genügend Problemklassen nachtrainiert bzw. hinzufügt werden, können für den Klassifikator unbekannte Klassen reduziert oder eliminiert werden. Es kann somit der Umstand umgangen werden, dass der Polynomklassifikator per se keine Einordnung in eine ihm unbekannte Klasse ermöglicht. Gemäß Ausführungsformen der vorliegenden Erfindung können unerwünschte Falschklassifikationen sowie Verwechslungsgefahren bei der Verkehrszeichenerkennung unterbunden oder zumindest reduziert werden. Dies kann ohne die explizite Einführung einer Ablehnungsklasse erreicht werden, die aufgrund der Vielfalt der Ablehnungssamples schwierig zu modellieren wäre. Ferner kann die verbesserte Eindeutigkeit und Treffsicherheit der Verkehrszeichenerkennung auch durch die Einführung vieler Ablehnungsklassen bzw. Irrelevanzklassen erfolgen. Das erhöht die Wahrscheinlichkeit, dass die Klassenräume der Positivklassen abgeschlossen sind und erlaubt die Modellierung expliziter Problemfälle, z. B. eine Vermeidung einer Verwechslung von Haltestellenschildern mit Geschwindigkeitsverbot 60. Dies kann gemäß Ausführungsformen der vorliegenden Erfindung bei minimiertem Rechenaufwand auch angesichts einer Mehrzahl von Irrelevanzklassen erreicht werden. So kann eine Anzahl von nötigen Skalarmultiplikationen von Spalten oder Zeilen der Matrix mit dem Merkmalsvektor verringert werden.
-
Gemäß einer Ausführungsform des Verfahrens zum Bereitstellen kann im Schritt des Erstellens der Auswertematrix basierend auf der Mehrzahl von Klassen der Trainingsmatrix ein Akzeptanzschwellenwert zum Annehmen oder Ablehnen von Positivklassen der Auswertematrix ermittelt werden. Der Akzeptanzschwellenwert dient zur Verwendung bei einer Schwellenwertentscheidung zum Annehmen oder Ablehnen der Positivklassen im Hinblick auf eine Zugehörigkeit eines erfassten Verkehrszeichens oder sonstigen Schildes zu einer Klasse. Der Akzeptanzschwellenwert für die Positivklassen der Auswertematrix kann basierend auf der Gesamtheit der in der Trainingsmatrix repräsentierten Klassen ermittelt werden. Eine solche Ausführungsform bietet den Vorteil, dass somit trotz der Entfernung der Irrelevanzklassen eine korrekte und zuverlässige Zuordnung eines erfassten Verkehrszeichens oder sonstigen Bildausschnittes zu einer Positivklasse oder keiner Positivklasse der Auswertematrix ermöglicht wird.
-
Auch kann ein Schritt des Aufbauens der Trainingsmatrix unter Verwendung von Eigenschaften von Verkehrszeichen und/oder sonstigen Bildausschnitten vorgesehen sein. Im Schritt des Aufbauens können Merkmalsvektoren definierter Verkehrszeichen und sonstiger Bildausschnitte verwendet werden, um die Mehrzahl von Klassen in Gestalt von Spalten oder Zeilen der Trainingsmatrix zu erzeugen. Eine solche Ausführungsform bietet den Vorteil, dass eine umfangreiche und zuverlässige Klassen enthaltende Trainingsmatrix als Grundlage für die Auswertematrix geschaffen werden kann.
-
Gemäß einer Ausführungsform des Verfahrens zur Erkennung kann im Schritt des Bestimmens ein Klassenzugehörigkeitsvektor bestimmt werden, der eine Zugehörigkeit des Verkehrszeichens oder sonstigen Bildausschnittes zu einer Klasse der Mehrzahl von Klassen als Wahrscheinlichkeitswerte für die Positivklassen angibt. Hierbei wird eine Zugehörigkeit zu einer Positivklasse mit einer maximalen Wahrscheinlichkeit akzeptiert, um das Verkehrszeichen zu erkennen. Der Klassenzugehörigkeitsvektor gibt dabei jeweils eine Wahrscheinlichkeit für die Zugehörigkeit zu einer der Positivklassen an. Die Wahrscheinlichkeitswerte können im Intervall zwischen 0 und 1 liegen. Die Summe aller Elemente des Klassenzugehörigkeitsvektors kann dabei 1 betragen. Eine solche Ausführungsform bietet den Vorteil, dass hierdurch sehr einfach erkannt werden kann, dass ein Verkehrszeichen zu einer bestimmten Positivklasse gehört oder in eine Klasse der irrelevanten Verkehrszeichen zu klassieren ist.
-
Auch kann ein Schritt des Durchführens einer Schwellwertentscheidung unter Verwendung des ermittelten Akzeptanzschwellenwerts und des Klassenzugehörigkeitsvektors vorgesehen sein. Hierbei ist eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Bildausschnittes zu einer Klasse der Mehrzahl von Klassen von einem Ergebnis der Schwellwertentscheidung abhängig, um das Verkehrszeichen zu erkennen. Der Akzeptanzschwellenwert kann im Verfahren zum Bereitstellen der Auswertematrix ermittelt werden. Bei der Schwellwertentscheidung wird eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Bildausschnittes zu einer Positivklasse in Anhängigkeit von einem Vergleich des Akzeptanzschwellenwerts mit dem Klassenzugehörigkeitsvektor, insbesondere mit einem durch den Klassenzugehörigkeitsvektor angegebenen Wahrscheinlichkeitswert für diese Positivklasse, angenommen oder abgelehnt. Eine solche Ausführungsform bietet den Vorteil, dass eine sichere, zuverlässige und reproduzierbare Klassifizierung von Verkehrszeichen ermöglicht wird.
-
Im Schritt des Generierens kann der Merkmalsvektor unter Verwendung der aus der Bildinformation des Erfassungssignals ermittelten Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes generiert werden. Daten des Erfassungssignals bzw. eines Ausschnittes des Erfassungssignals können hierbei weiteren Verarbeitungsschritten unterzogen werden, z. B. um eine Datenkompression, beispielsweise mittels einer Hauptachsentransformation, zu erreichen. Bei dem Polynomklassifikator kann es sich um ein Standardverfahren zur Multiklassen-Klassifikation handeln, d. h., der Polynomklassifikator ermöglicht eine Zuordnung eines Testsamples in eine von mehreren definierten Klassen. Der Klassifikator ermöglicht eine Erzeugung von Klassenzugehörigkeitsvektoren. Eine solche Ausführungsform bietet den Vorteil, dass der Merkmalsvektor die Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes genau und zuverlässig repräsentieren kann.
-
Ausführungsbeispiele der Erfindung werden nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 eine schematische Darstellung einer Vorrichtung zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in einem Fahrzeug;
-
3 eine schematische Darstellung von Matrizen für eine Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
4 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
5 ein Ablaufdiagramm eines Verfahrens zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Vorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind die Vorrichtung 100, eine Bereitstellungsvorrichtung 110 zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens, eine Trainingsmatrix-Einleseeinrichtung 112, eine Erstellungseinrichtung 114, eine Erkennungsvorrichtung 120 zur Erkennung eines Verkehrszeichens, eine Generiereinrichtung 122, eine Auswertematrix-Einleseeinrichtung 124 und eine Bestimmungseinrichtung 126. Gemäß dem in 1 dargestellten Ausführungsbeispiel der vorliegenden Erfindung weist die Vorrichtung 100 die Bereitstellungsvorrichtung 110 und die Erkennungsvorrichtung 120 auf. Gemäß einem nicht gezeigten, alternativen Ausführungsbeispiel der vorliegenden Erfindung kann die Vorrichtung 100 auch nur entweder die Bereitstellungsvorrichtung 110 oder die Erkennungsvorrichtung 120 aufweisen. Die Bereitstellungsvorrichtung 110 kann auch in einer Laborumgebung, d. h. nicht in einem sich im Verkehr befindlichen Fahrzeug betrieben werden, wogegen die Erkennungsvorrichtung 120 in einem sich im Verkehrsgeschehen befindlichen Fahrzeug betrieben wird. Insbesondere kann von der Trainingsmatrix eine Teilmenge von relevanten Klassen, aus denen variabel z. B. länderspezifische Auswertematrizen erzeugt werden können, auf einem fahrzeuginternen Steuergerät abgelegt werden.
-
Die Bereitstellungsvorrichtung 110 und die Erkennungsvorrichtung 120 sind mittels einer Kommunikationsschnittstelle, beispielsweise einer elektrischen Leitung, Funk oder dergleichen, direkt oder indirekt über weitere Einrichtungen und/oder Schnittstellen miteinander verbunden. Die Erkennungsvorrichtung 120 oder sowohl die Bereitstellungsvorrichtung 110 als auch die Erkennungsvorrichtung 120 sind in einem Fahrzeug oder in einer mit einem Fahrzeug kommunikationsfähigen Einrichtung innerhalb oder außerhalb des Fahrzeugs anordenbar.
-
Die Bereitstellungsvorrichtung 110 weist die Trainingsmatrix-Einleseeinrichtung 112 und die Erstellungseinrichtung 114 auf. Die Trainingsmatrix-Einleseeinrichtung 112 ist ausgebildet, um eine Trainingsmatrix einzulesen, die eine Mehrzahl von Klassen aufweist, wobei jede Klasse einem Verkehrszeichen oder einem sonstigen Bildausschnitt bzw. systematischen Bildausschnitt zugeordnet ist und Eigenschaften des Verkehrszeichens oder des sonstigen Bildausschnittes repräsentiert. Hierbei repräsentiert jeweils eine Spalte oder Zeile der Trainingsmatrix eine Klasse der Mehrzahl von Klassen. Die Bereitstellungsvorrichtung 110 weist optional auch eine Aufbaueinrichtung zum Aufbauen der Trainingsmatrix während eines Trainingsmodus bzw. einer Trainingsphase auf, auch wenn dies in 1 nicht dargestellt ist. Alternativ ist die Bereitstellungsvorrichtung 110 ausgebildet, um die Trainingsmatrix von extern zu empfangen. Die Trainingsmatrix-Einleseeinrichtung 112 ist ausgebildet, um die Trainingsmatrix der Erstellungseinrichtung 114 bereitzustellen. Die Erstellungseinrichtung 114 ist ausgebildet, um basierend auf der Trainingsmatrix eine Auswertematrix zu erstellen. Hierbei sind bzw. werden in der Auswertematrix Spalten oder Zeilen der Trainingsmatrix entfernt, die einem irrelevanten Verkehrszeichen oder einem sonstigen Bildauschnitt zugeordnete Irrelevanzklassen repräsentieren. Hingegen sind bzw. werden Spalten oder Zeilen der Trainingsmatrix beibehalten, die einem relevanten Verkehrszeichen zugeordnete Positivklassen repräsentieren. Die Bereitstellungsvorrichtung 110 ist somit ausgebildet, um der Erkennungsvorrichtung 120 die Auswertematrix bereitzustellen.
-
Die Erkennungsvorrichtung 120 weist die Generiereinrichtung 122, die Auswertematrix-Einleseeinrichtung 124 und die Bestimmungseinrichtung 126 auf. Die Erkennungsvorrichtung 120 ist in Verbindung mit einem Fahrzeug verwendbar, das eine Verkehrszeichenerfassungseinrichtung zum Ausgeben eines Erfassungssignals mit einer Bildinformation eines erfassten Verkehrszeichens oder sonstigen Schildes aufweist. Dabei ist die Erkennungsvorrichtung 120 ausgebildet, um das Erfassungssignal zu empfangen bzw. einzulesen. Die Generiereinrichtung 122 der Erkennungsvorrichtung 120 ist ausgebildet, um unter Verwendung des Erfassungssignals einen Merkmalsvektor zu generieren, der aus der Bildinformation des Erfassungssignals ermittelte Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes repräsentiert. Auch ist die Generiereinrichtung 122 ausgebildet, um den generierten Merkmalsvektor der Bestimmungseinrichtung 126 bereitzustellen. Die Auswertematrix-Einleseeinrichtung 124 ist ausgebildet, um die von der Bereitstellungsvorrichtung 110 bereitgestellte Auswertematrix einzulesen. Auch ist die Auswertematrix-Einleseeinrichtung 124 ausgebildet, um die eingelesene Auswertematrix der Bestimmungseinrichtung 126 bereitzustellen. Die Bestimmungseinrichtung 126 ist ausgebildet, um unter Verwendung der Auswertematrix und des Merkmalsvektors einen Klassenzugehörigkeitsvektor zu bestimmen. Dabei gibt der Klassenzugehörigkeitsvektor eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Bildausschnittes zu einer Klasse der Mehrzahl von Klassen an, um das Verkehrszeichen zu erkennen. Die Erkennungsvorrichtung 120 ist auch ausgebildet, um den Klassenzugehörigkeitsvektor und/oder ein auf dem Klassenzugehörigkeitsvektor basierendes Erkennungssignal, welches das erkannte Verkehrszeichen angibt, an eine Schnittstelle zu zumindest einem weiteren Fahrzeugsystem auszugeben, auch wenn die in 1 nicht dargestellt ist. Beispiele für weitere Fahrzeugsysteme sind eine Geschwindigkeitsregeleinrichtung, eine Anzeige bzw. ein Display und dergleichen.
-
2 zeigt eine schematische Darstellung einer Vorrichtung zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in einem Fahrzeug. Bei der Vorrichtung zur Erkennung eines Verkehrszeichens handelt es sich beispielhaft um die Erkennungsvorrichtung 120 aus 1. Die Erkennungsvorrichtung 120 ist hierbei in einem Fahrzeug 200 angeordnet. Das Fahrzeug 200 weist eine Verkehrszeichenerfassungseinrichtung 205 zum Ausgeben eines Erfassungssignals mit einer Bildinformation eines erfassten Verkehrszeichens oder sonstigen Bildausschnittes auf. Die Erkennungsvorrichtung 120 und die Verkehrszeichenerfassungseinrichtung 205 sind mittels einer Kommunikationsschnittstelle, beispielsweise einer elektrischen Leitung, Funk oder dergleichen, direkt oder indirekt über weitere Einrichtungen und/oder Schnittstellen miteinander verbunden. Ferner ist in 2 beispielhaft ein Verkehrszeichen 230 gezeigt. Die Verkehrszeichenerfassungseinrichtung 205 ist ausgebildet, um das Verkehrszeichen 230 zu erfassen. Das Verkehrszeichen 230 in 2 weist lediglich beispielhaft eine kreisförmige Geometrie auf, wobei klar ist, dass Verkehrszeichen eine Vielzahl von Formen aufweisen können. Die Klassifikation bzw. Erkennung eines Verkehrszeichens ist von einer tatsächlichen Verkehrszeichengeometrie unabhängig, wobei die Verkehrszeichengeometrie bei einer Zeichendetektion und bei der Merkmalsvektorerzeugung berücksichtigt ist. Es können alle Schilderformen unterstützt werden.
-
3 zeigt eine schematische Darstellung von Matrizen für eine Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind eine Trainingsmatrix 300, beispielhaft und darstellungsbedingt zwei Positivklassen 310 sowie zwei Irrelevanzklassen 320 und eine Auswertematrix 350. Die Trainingsmatrix 300 und die Auswertematrix 350 sind zur Verwendung mit einer Vorrichtung wie der Vorrichtung aus 1 vorgesehen. Insbesondere sind die Trainingsmatrix 300 und die Auswertematrix 350 zur Verwendung durch die Bereitstellungsvorrichtung aus 1 vorgesehen und ist die Auswertematrix 350 zur Verwendung durch die Erkennungsvorrichtung 120 aus 1 vorgesehen.
-
Die Trainingsmatrix 300 weist lediglich beispielhaft und darstellungsbedingt vier Spalten und zwei Zeilen auf, wobei eine Trainingsmatrix in der Praxis beispielsweise eine größere Anzahl von Spalten und/oder Zeilen aufweist, z. B. Hunderte oder mehr. Gemäß dem in 3 dargestellten Ausführungsbeispiel der vorliegenden Erfindung repräsentiert jeweils eine Spalte der Trainingsmatrix 300 eine Klasse, die einem Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnet ist und Eigenschaften des Verkehrszeichens oder des sonstigen Bildausschnittes repräsentiert. Lediglich beispielhaft repräsentieren zwei Spalten der Trainingsmatrix 300 hierbei Positivklassen 310, die einem relevanten Verkehrszeichen zugeordnet sind. Ferner repräsentieren lediglich beispielhaft zwei weitere Spalten der Trainingsmatrix 300 hingegen Irrelevanzklassen 320, die einem irrelevanten Verkehrszeichen oder einem sonstigen Schild zugeordnet sind. Basierend auf der Trainingsmatrix 300 ist die Auswertematrix 350 erstellbar, beispielsweise mittels der Erstellungseinrichtung der Bereitstellungsvorrichtung aus 1. Die Auswertematrix 350 weist lediglich die Positivklassen 310 repräsentierenden Spalten der Trainingsmatrix 300 auf.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Bereitstellen einer Auswertematrix zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 400 ist insbesondere in Verbindung mit der Bereitstellungsvorrichtung aus 1 vorteilhaft ausführbar. Anders ausgedrückt ist beispielsweise die Bereitstellungsvorrichtung aus 1 ausgebildet, um das Verfahren 400 vorteilhaft auszuführen. Das Verfahren 400 weist einen Schritt des Einlesens 410 einer Trainingsmatrix auf, die eine Mehrzahl von Klassen aufweist. Hierbei ist jede Klasse einem Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnet und repräsentiert Eigenschaften des Verkehrszeichens oder des sonstigen Bildausschnittes. Dabei repräsentiert jeweils eine Spalte oder Zeile der Trainingsmatrix eine Klasse der Mehrzahl von Klassen. Auch weist das Verfahren 400 einen Schritt des Erstellens 420 der Auswertematrix basierend auf der Trainingsmatrix auf. Hierbei sind in der Auswertematrix Spalten oder Zeilen der Trainingsmatrix entfernt, die einem irrelevanten Verkehrszeichen oder einem sonstigen Bildausschnitt zugeordnete Irrelevanzklassen repräsentieren. Ferner sind Spalten oder Zeilen der Trainingsmatrix beibehalten, die einem relevanten Verkehrszeichen zugeordnete Positivklassen repräsentieren.
-
5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zur Erkennung eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 500 ist insbesondere in Verbindung mit der Erkennungsvorrichtung aus 1 vorteilhaft ausführbar. Anders ausgedrückt ist beispielsweise die Erkennungsvorrichtung aus 1 ausgebildet, um das Verfahren 500 vorteilhaft auszuführen. Dabei ist das Verfahren 500 insbesondere in Verbindung mit einem Fahrzeug ausführbar, das eine Verkehrszeichenerfassungseinrichtung zum Ausgeben eines Erfassungssignals mit einer Bildinformation eines erfassten Verkehrszeichens oder sonstigen Schildes aufweist. Somit ist das Verfahren beispielsweise in Verbindung mit dem Fahrzeug aus 2 ausführbar. Das Verfahren 500 weist einen Schritt des Generierens 510 eines Merkmalsvektors unter Verwendung des Erfassungssignals auf. Der Merkmalsvektor repräsentiert dabei aus der Bildinformation des Erfassungssignals ermittelte Eigenschaften des erfassten Verkehrszeichens oder sonstigen Bildausschnittes. Auch weist das Verfahren 500 einen Schritt des Einlesens 520 einer gemäß dem Verfahren aus 4 bereitgestellten Auswertematrix auf. Das Verfahren 500 weist ferner einen Schritt des Bestimmens 530 eines Klassenzugehörigkeitsvektors unter Verwendung der erstellten Auswertematrix und des Merkmalsvektors auf. Hierbei gibt der Klassenzugehörigkeitsvektor eine Zugehörigkeit des durch den Merkmalsvektor repräsentierten Verkehrszeichens oder sonstigen Schildes zu einer Klasse der Mehrzahl von Klassen an, um das Verkehrszeichen zu erkennen.
-
Unter Bezugnahme auf die 1 bis 5 wird nachfolgend das der Erfindung zugrunde liegende Konzept in Verbindung mit einem weiteren Ausführungsbeispiel der vorliegenden Erfindung nochmals zusammenfassend sowie mit anderen Worten erläutert.
-
Ein Polynomklassifikator ist ein Standardverfahren zur effizienten Multiklassen-Klassifikation, d. h. er ermöglicht die Zuordnung eines Testsamples in eine von N zuvor definierten Klassen. Die Klassifikation beruht auf der Multiplikation eines Merkmalsvektors x mit einer aus einem Trainingsprozess entstandenen Matrix A und liefert einen Klassenzugehörigkeitsvektor d. d →(v →) = ATx →(v →)
-
Der Klassenzugehörigkeitsvektor d gibt jeweils die Wahrscheinlichkeit für die Zugehörigkeit zu einer der definierten Klassen an, wobei die Wahrscheinlichkeit insbesondere im Intervall zwischen 0 und 1 liegt. Die Summe aller Elemente des Klassenzugehörigkeitsvektors d ist 1. Die ist mittels einer Nachverarbeitung des Klassenzugehörigkeitsvektors erreichbar, d. h., initiale Klassenzugehörigkeitswerte können einer Transformation unterworfen werden, um die Eigenschaften weitestgehend wieder herzustellen.
-
Zur Umsetzung der Trainingsphase und der Verkehrszeichenerkennung dient beispielsweise ein zweigeteiltes Vorgehen. Zunächst werden während des Trainings, d. h. während einer Erzeugung der Matrix A bzw. der Trainingsmatrix 300, alle Irrelevanzklassen 320 berücksichtigt. Dies ist rechenzeittechnisch unproblematisch, da der Trainingsprozess offline, d. h. nicht auf einem Steuergerät zur Verkehrszeichenerkennung im Realbetrieb abzulaufen braucht. Zur Auswertung der Merkmalsvektoren beispielsweise auf einem Steuergerät im Produktivmodus werden alle Spalten der Matrix A bzw. der Trainingsmatrix 300 entfernt, die zu Irrelevanzklassen 320 bzw. irrelevanten Klassen gehören. Mit den verbleibenden Spalten, die zu Positivklassen 310 gehören, wird jetzt der Klassenzugehörigkeitsvektor d' berechnet. Dieser ist jedoch nicht mehr zwangsläufig auf 1 normiert, da einige Klassen entfernt wurden. Eine Zugehörigkeit zu einer der fehlenden Klassen lässt sich rekonstruieren, da bekannt ist, dass die Summe der Elemente 1 ergeben muss. Die Zugehörigkeit zu einer der Irrelevanzklassen 320 ergibt sich also einfach aus: 1 – Summe der Elemente von d'. Dies gilt allerdings nur für Samples aus der Trainingsmenge. In der Realität, d. h. bei Samples außerhalb der Trainingsmenge, kann der Wertebereich [0 ... 1] verlassen werden, wobei mittels Transformation der ursprüngliche Wertebereich [0 ... 1] wieder erreicht werden kann, beispielsweise mittels des sogenannten „confidence mapping“ oder dergleichen.
-
Alternativ wird anstelle einer errechneten Zugehörigkeit zu einer Irrelevanzklasse 320 eine Akzeptanzschwelle gegenüber einer Positivklasse 310 angewendet. Wenn die Positivklasse 310 mit der höchsten Wahrscheinlichkeit unterhalb der Akzeptanzschwelle liegt, gehört das erfasste Verkehrszeichen oder Bildausschnitt höchstwahrscheinlich zu einer Irrelevanzklasse 320.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
