DE102012206037A1

DE102012206037A1 - Lernverfahren zur automatisierten Erkennung von Verkehrszeichen, Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen und Verkehrszeichenerkennungssystem

Info

Publication number: DE102012206037A1
Application number: DE102012206037A
Authority: DE
Inventors: Steffen Abraham; Florian Baumann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-04-13
Filing date: 2012-04-13
Publication date: 2013-10-17
Also published as: WO2013152929A1

Abstract

Die Erfindung betrifft ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100) mit einem Schritt des Ausgebens eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an eine Sendeschnittstelle zu einer zentralen Rechnereinheit, wobei der detektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung (120) des Fahrzeugs (100) aufgenommenen Bildes, welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, auf ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen, auf ein Verkehrszeichenerkennungssystem sowie auf ein entsprechendes Computerprogrammprodukt.
Die videobasierte Verkehrszeichenerkennung kann Bestandteil von fest verbauten Fahrerassistenzsystemen in Kraftfahrzeugen sein. Dabei kann der Fahrer z. B. über die aktuell zulässige Höchstgeschwindigkeit informiert werden. Zunehmend werden auch mobile Geräte, wie z. B. Smartphones, für die Verkehrszeichenerkennung eingesetzt. Diese dienen der Fahrerinformation und bieten aufgrund der Mobilfunkanbindung die Möglichkeit, Kartendaten direkt online zu aktualisieren. Das allgemeine Vorgehen in einem System zur videobasierten Verkehrszeichenerkennung ist, dass zunächst ein oder mehrere Videobilder mit einer Kamera aufgenommen werden. Anschließend findet die Erkennung der Verkehrszeichen aus den Videobildern in einer Recheneinheit statt.
Für die Erkennung der Verkehrszeichen werden in einem Teilschritt Verfahren aus der Mustererkennung oder aus dem maschinellen Lernen eingesetzt. Diese beinhalten eine Klassifikation eines Bildbereiches, ob der Bereich ein Verkehrszeichen enthält und wenn ja, welches Verkehrszeichen. Die Klassifikatoren benötigen eine Parametrisierung mit einer Menge von numerischen Parametern, nachfolgend als Parametersatz bezeichnet. Dies können z. B. numerische Entscheidungsschwellen sein.
Während des Entwicklungsprozesses für ein Fahrerassistenzsystem sind diese Parameter zu ermitteln. Dazu werden in Regel zunächst Trainingsdaten mit einem Videosystem, das dem späteren Seriensystem ähnlich ist, aufgenommen. Diese Trainingsdaten werden anschließend, zumeist manuell, klassifiziert. Das Training der Parameter des Klassifikators findet zumeist zentral, außerhalb des Fahrzeuges auf speziellen Rechnern, vor dem Einsatz des Klassifikators statt. Anschließend werden die Parameter des Klassifikators in die Recheneinheit eingebracht. Dies kann z. B. durch Flashen der Hardware erfolgen.
Die WO 2011 038 714 A1 offenbart ein Verfahren zur Verkehrszeichenerkennung, welches die Bilddaten eines Sensors in einer Informationsverarbeitungseinheit analysiert und klassifiziert
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, eine Lernvorrichtung zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, ein Informationssystem zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, weiterhin ein Verkehrszeichenerkennungssystem sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Eine zur Verkehrszeichenerkennung erforderliche Klassifikation kann mit einem vorläufigen Parametersatz gestartet werden. Durch die Einbindung der Anwender eines Systems zur Verkehrszeichenerkennung und der Verwendung vieler Systeme parallel zueinander, kann schnell ein zuverlässigerer Parametersatz generiert werden, der den vorläufigen Parametersatz ersetzen oder ergänzen kann und allen Anwendern zur Verfügung gestellt werden kann. Dabei kann ein Verfahren zur Generierung eines zuverlässigen Parametersatzes auch iterativ durchgeführt werden. Auf diese Weise kann die Erkennungsrate schnell im Fahrzeug verbessert werden und fortlaufend ein jeweils noch robusterer Parametersatz generiert werden. Zur Generierung eines zuverlässigeren Parametersatzes kann einem Anwender ein aufgenommenes Bild eines Verkehrszeichens und die eine durchgeführte Klassifikation desselben vorgelegt, bzw. auf einem Anzeigeelement dargestellt werden. Der Anwender, beispielsweise ein Beifahrer eines Fahrzeugs, kann die Klassifikation kontrollieren und eine Rückkopplung über ein positives, das heißt korrekt erkanntes Verkehrszeichen, und eine Rückkoppelung über ein negatives, das heißt ein nicht erkanntes Verkehrszeichen geben. Ein auf diese Art und Weise erzeugter Trainingsdatensatz kann an einen zentralen Rechner übermittelt werden und kann dann dort zur Bestimmung eines verbesserten Parametersatzes dienen. Das Ziel des Lernverfahrens zur Verkehrszeichenerkennung besteht darin, die Ablehnungsquote, also den Anteil der nicht oder falsch erkannten Zeichen zu minimieren. Auf diese Art und Weise lässt sich schneller und kostengünstiger ein robuster Parametersatz für die Klassifikation von Verkehrszeichen finden.
Ein entsprechendes Verkehrszeichenerkennungssystem kann in einem ersten Schritt eine Bildregion in einem Kamerabild identifizieren, die potenziell ein Verkehrszeichen enthalten kann. In einem zweiten Verfahrensschritt kann der ermittelte Bildausschnitt einem Klassifikator vorgelegt werden, der entscheidet, ob sich in dem Bildausschnitt ein Verkehrszeichen befindet und um welches Verkehrszeichen es sich handelt. Dabei erfordern Verkehrszeichenerkennungssysteme für die Klassifikations-Verfahren aus dem maschinellen Lernen in der Regel ein Training des Klassifikators. Aus dem Training geht dann ein Parametersatz für die Klassifikation hervor. Die Bereitstellung von Trainingsdaten für das maschinelle Lernen ist aufgrund der manuellen Klassifikation der Trainingsdaten sehr arbeits- und zeitaufwendig. Dabei sind für jeden Gerätetyp spezifische Trainingsdaten erforderlich, was den Aufwand im Entwicklungsprozess zusätzlich erhöht. Das in der vorliegenden Erfindung vorgeschlagene Lernverfahren kann den Anwender in die Bereitstellung der Trainingsdaten für den Klassifikator mit einbeziehen. Somit kann der aufwendige Prozess des Generierens eines zuverlässigen Parametersatzes auf viele Anwender verteilt werden. Dies ermöglicht es, in kurzer Zeit eine große Menge an Trainingsdaten zu generieren.
Zur Erkennung eines Verkehrszeichens aus einem oder mehreren Videobildern können Verfahrensschritte der Detektion und der Klassifikation des Verkehrszeichens durchgeführt werden. Bei der Klassifikation kann ein Teilausschnitt des Bildes dahin gehend bewertet werden, ob er ein Verkehrszeichen enthält oder nicht und wenn ja welches Verkehrszeichen.
Bei der Klassifikation können Verfahren aus dem maschinellen Lernen, wie z. B. AdaBoost, eingesetzt werden. Die Verfahren aus dem maschinellen Lernen erfordern in der Regel zunächst ein erstes Training des Klassifikators [T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag, New York, 2009]. Im Schritt des ersten Trainings können Bildausschnitte mit oder ohne Verkehrszeichen, die zuvor manuell oder automatisch korrekt klassifiziert wurden, als Eingangsgrößen verwendet werden. Als Ergebnis des ersten Trainings können Parameter des Klassifikators in Form eines vorläufigen Parametersatz bestimmt werden. Im Einsatz beim Anwender kann dann das Erkennungssystem über den Klassifikator mit der trainierten Parametrisierung einen Teilausschnitt des Bildes klassifizieren. Durch eine Überprüfung der durchgeführten Klassifizierung durch den Anwender kann der vorläufige Parametersatz während des Betriebs des Erkennungssystems beim Anwender fortlaufend verbessert werden.
Durch den erfindungsgemäßen Ansatz wird eine Reduzierung des Aufwandes im Systementwicklungsprozess für die Bereitstellung von Trainingsdaten für das maschinelle Lernen ermöglicht, die aufgrund der manuellen Klassifikation der Trainingsdaten sehr arbeits- und zeitaufwendig ist. Der Einsatz von verschiedenartigen Geräten, wie z. B. Smartphones, für die Verkehrszeichenerkennung erfordert in der Regel eine geräteindividuelle Parametrisierung des Klassifikators. Für den Anbieter einer Softwarelösung zur Verkehrszeichenerkennung erfordert dies zusätzlich die individuelle Bereitstellung von Trainingsdaten für jeden Gerätetyp, was den Aufwand im Entwicklungsprozess zusätzlich erhöht.
Dazu kann eine Einbindung des Nutzers oder Anwenders in den Trainingsprozess zur Bewertung des Klassifikators erfolgen. Ferner kann ein Austausch der Trainingsdaten, der Klassifikationsergebnisse und der Bewertungen zwischen dem System im Fahrzeug und einem zentralen Datenserver durchgeführt werden. Dadurch kann ein fortlaufendes Training und eine Verbesserung der Parameter des Klassifikators mit den Nutzerdaten sowie die Aktualisierung der Parameter des Klassifikators im Fahrzeug mit dem Ergebnis des zentralen Trainings erfolgen.
Von Vorteil ist dabei die kostengünstige Bereitstellung von Trainingsdaten für das Lernen von Klassifikatoren zur Verkehrszeichenerkennung für die Entwicklung und unabhängig von der Systementwicklung. Dadurch können die Entwicklungszyklen deutlich verkürzt werden. Aufgrund der großen Zahl an Trainingsdaten wird die Klassifikationsgüte der Systeme sich deutlich verbessern und es können in sehr kurzen Zeiträumen neue, unbekannte Verkehrszeichen in die Systeme eingelernt werden.
Bei dem Einsatz von verschiedenartigen Geräten, wie z. B. Smartphones, für die Verkehrszeichenerkennung ist eine individuelle Anpassung der Parameter der Klassifikatoren an die Eigenschaften der Geräteklasse, wie optische Abbildung etc., sehr leicht möglich. Dies erleichtert auch die kurzfristige Bereitstellung der Verkehrszeichenerkennung auf einem neuen Gerät oder einem bisher unbekannten Gerät.
Für den Trainingsvorgang kann eine große Anzahl bereits klassifizierter und von Anwendern überprüfte Bildausschnitte verwendet werden, aus denen in einem Optimierungsverfahren die numerischen Parameter des Klassifikators bestimmt werden können.
Somit ist es nicht erforderlich, für Fahrerassistenzsysteme im Rahmen der Systementwicklung die für den Trainingsvorgang notwendigen Bilddaten mit Prototypen aufzunehmen, aus denen die für den Klassifikator notwendigen Trainingsdaten erstellt werden. Es ist somit keine oder nur eine geringe manuelle Klassifikation von Bildausschnitten während der Systementwicklung erforderlich, wodurch relativ arbeitsintensive und kostenaufwendige Arbeitsschritte eingespart werden können. Auch ist es nicht erforderlich, simulierte Bilddaten für den Trainingsprozess zu verwenden, deren Eigenschaften sich häufig von den Eigenschaften realer Bilddaten unterscheiden. Das Verfahren gemäß der vorliegenden Erfindung kann den Anwender in die Bereitstellung der Trainingsdaten für den Klassifikator einbeziehen. Der arbeitsintensive Prozess wird auf eine große Anzahl von Nutzern verteilt. Dass die Einbeziehung der Nutzer in Prozesse zur Datengewinnung erfolgreich möglich ist, zeigen Open-Source Projekte, wie Open-Street Map oder öffentliche Verkehrstelematikprojekte. Die Motivation der Nutzer kann durch geeignete spielerische Animation, Belohnungen, wie Update des Klassifikators, Bonuspunkte mit verknüpften Ranglisten, Statuserhöhungen etc. oder Rabatte auf bestimmte Produkte erfolgen.
Die vorliegende Erfindung schafft ein Lernverfahren zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, wobei das Lernverfahren den folgenden Schritt aufweist:
Ausgeben eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an eine Sendeschnittstelle zu einer zentralen Rechnereinheit, wobei der detektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung des Fahrzeugs aufgenommenen Bildes, welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert.
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug, beispielsweise einen Personenkraftwagen, einen Lastkraftwagen oder ein sonstiges Nutzfahrzeug handeln. Das Fahrzeug kann mit einer Bilderfassungseinheit ausgestattet sein, wobei unter einer Bilderfassungseinheit eine Kamera, eine Frontkamera und/oder eine Multi-Purpose-Camera (MPC) verstanden werden kann. Die Bilderfassungseinheit kann ein Bild des Umfelds vor dem Fahrzeug aufnehmen. Der detektierte Bildausschnitt kann ein Teilbereich eines von einem Kamerasystem aufgenommenen Bildes sein. Der detektierte Bildausschnitt kann ein Abbild eines Verkehrszeichens darstellen. Ein Verkehrszeichen kann einer bestimmten Klasse von Verkehrszeichen zugehörig sein. Ein Klassifikationsergebnis kann ein Verkehrszeichen einer Klasse von Verkehrszeichen zuordnen. Weiterhin kann eine Klassifikation ein Verkehrszeichen identifizieren und das Ergebnis ausgeben. Für die Klassifikation können einfache Klassifikationsverfahren, wie z. B. die Kreuzkorrelation, Nearest-Neighbour Klassifikation, oder aber auch komplexere Verfahren aus dem maschinellen Lernen, wie Boosting oder Random-Forest eingesetzt werden. Die Klassifikation kann direkt mit Helligkeitswerten im Bild als Merkmal oder mit aus den Helligkeitswerten berechneter Merkmale erfolgen. Beispielsweise kann die Haar-Transformation für die Berechnung von Merkmalen verwendet werden. Für die Klassifikation kann der Klassifikator numerische Parameter verwenden, die entsprechend des gewählten Verfahrens zur Berechnung des Klassifikationsergebnisses benötigt werden können. Die Klassifikationsverfahren aus dem maschinellen Lernen können gegenüber den einfachen Klassifikationsverfahren eine bessere Klassifikationsgüte aufweisen. Eine Sendeschnittstelle kann hard- und/oder softwaremäßig ausgebildet sein. Bei einer hardwaremäßigen Ausbildung kann die Sendeschnittstelle beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen beinhaltet. Es ist jedoch auch möglich, dass die Sendeschnittstelle ein eigener, integrierter Schaltkreis ist oder zumindest teilweise aus diskreten Bauelementen besteht. Bei einer softwaremäßigen Ausbildung kann die Sendeschnittstelle ein Softwaremodul sein, das beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden ist. Eine zentrale Rechnereinheit kann ein sogenannter Host, Server oder Server-Computer sein. Auf der zentralen Rechnereinheit können ein oder mehrere Server-Programme laufen. Auf der zentralen Rechnereinheit kann ein Verfahren zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen ablaufen.
In einem Schritt des Erzeugens kann ein Visualisierungssignal zum Visualisieren des detektierten Bildausschnitts und des Klassifikationsergebnisses erzeugt werden. Dabei kann das Visualisierungssignal den detektierten Bildausschnitt und das Klassifikationsergebnis repräsentieren. Ferner kann das Verfahren einen Schritt des Empfangens eines Klassifikationsbewertungssignals über eine Anwenderschnittstelle umfassen, wobei das Klassifikationsbewertungssignal eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis mit dem detektierten Bildausschnitt repräsentiert. Im Schritt des Ausgebens kann weiterhin das Klassifikationsbewertungssignal an die zentrale Rechnereinheit ausgegeben werden.
Unter einem Visualisierungssignal kann ein Signal zur Ansteuerung eines Anzeigeelements verstanden werden. Dabei kann das Anzeigeelement einen Monitor und/oder ein Display darstellen. Das Visualisierungssignal kann dabei ein analoges Signal wie beispielsweise ein Videosignal darstellen oder es kann ein digitales Signal darstellen, welches die notwendigen Informationen zur Darstellung des detektierten Bildausschnittes und des Klassifikationsergebnisses enthält. Mittels des Visualisierungssignals können dem Anwender der detektierte Bildausschnitt und das Klassifikationsergebnis angezeigt beziehungsweise visualisiert werden. Über eine Anwenderschnittstelle kann der Anwender eine Übereinstimmung des im detektierten Bildausschnitt abgebildeten Verkehrszeichens mit dem Klassifikationsergebnis positiv und/oder negativ bewerten. Dies ist vorteilhaft, da so eine unmittelbare Rückkopplung durch den Anwender erreicht werden kann.
Ferner kann das Verfahren einen Schritt des Empfangens eines aktualisierten Parametersatzes und einen Schritt des Ersetzens des Parametersatzes zur Klassifikation durch den aktualisierten Papametersatz umfassen. Durch einen aktualisierten Parametersatz kann die Klassifikation robuster werden und direkt von dem Lernverfahren profitieren.
Gemäß einer Ausführungsform schafft die vorliegende Erfindung ein Verfahren zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, wobei das Verfahren die folgenden Schritte aufweist:
Empfangen eines detektierten Bildausschnitts und eines Klassifikationsergebnisses an einer Empfangsschnittstelle der zentralen Rechnereinheit, wobei der detektierte Bildausschnitt einen Teilbereich eines von einer Bilderfassungseinrichtung eines Fahrzeugs aufgenommenen Bildes, welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis das Ergebnis einer Klassifikation des detektierten Bildausschnittes auf Basis eines Parametersatzes repräsentiert;
Empfangens eines Klassifikationsbewertungssignals, wobei das Klassifikationsbewertungssignal die Übereinstimmung von dem Klassifikationsergebnis und dem detektierten Bildausschnitt repräsentiert;
Trainieren des aktualisierten Parametersatzes zur Klassifikation von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes, des Klassifikationsergebnisses und des Klassifikationsbewertungssignals;
Ausgeben des aktualisierten Parametersatzes an eine Sendeschnittstelle, um den aktualisierten Parametersatz für die Klassifikation von Verkehrszeichen an ein Fahrzeug zur Verfügung zu stellen.
Durch den Einsatz des Verfahrens zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit kann auf Trainingsdatensätze von einer Mehrzahl an Fahrzeugen zurückgegriffen werden und durch die Vielzahl an Trainingsdatensätzen ein aktualisierter Parametersatz für eine robuste Klassifikation erzeugt werden. Hierbei kann das Verfahren unabhängig vom Ort des Erzeugens eines Klassifikationsbewertungssignals sein, das heißt, an welchem Ort eine Interaktion mit einem Anwender erfolgt und an welchem Ort ein Klassifikationsbewertungssignal erzeugt wird. In einem ersten Ausführungsbeispiel kann der Anwender wie bereits in einem Ausführungsbeispiel aufgezeigt in einem Fahrzeug das Klassifikationsergebnis bewerten.
Ferner kann im Schritt des Trainierens unter Verwendung eines Systemtyps des Fahrzeugs und/oder der Bilderfassungseinrichtung trainiert werden. Bei einem Einsatz verschiedenartige Geräte für die Verkehrszeichenerkennung kann eine individuelle Anpassung der Parameter der Klassifikation an die Eigenschaften der Geräteklasse, wie beispielsweise die optische Abbildung, erforderlich sein. Durch die Verwendung des Systemtyps im Schritt des Trainierens kann den unterschiedlichen Geräteklassen einfach Rechnung getragen werden.
Das Verfahren kann einen Schritt des Erzeugens eines Visualisierungssignals zum Visualisieren des detektierten Bildausschnitts und des Klassifikationsergebnisses umfassen, wobei das Visualisierungssignal den detektierten Bildausschnitt und das Klassifikationsergebnis repräsentiert. Mittels des Visualisierungssignals können dem Anwender der detektierte Bildausschnitt und das Klassifikationsergebnis angezeigt beziehungsweise visualisiert werden. Über eine Anwenderschnittstelle kann der Anwender eine Übereinstimmung des im detektierten Bildausschnitt abgebildeten Verkehrszeichens mit dem Klassifikationsergebnis positiv und/oder negativ bewerten. Dies ist vorteilhaft, da so eine Rückkopplung zur Qualität des Klassifikationsergebnisses durch einen Anwender unabhängig von einem Fahrzeug gegeben werden kann. Beispielsweise können Datensätze mit fehlendem Klassifikationsbewertungssignal noch um dieses ergänzt werden und damit zur Verbesserung des Parametersatzes für die Klassifikation beitragen.
Vorteilhaft kann auch ein Schritt des Bereitstellens des Visualisierungssignals im Internet sein. Durch eine solche Ausführungsform kann die manuelle Rückkopplung beziehungsweise Datenanreicherung der Trainingsdatensätze durch ein Klassifikationsbewertungssignal unabhängig vom Standort der zentralen Rechnereinheit erfolgen. Auch können durch das Bereitstellen der Daten im Internet Synergieeffekte erzeugt werden, wie diese bei Open Source Projekten zu finden sind. Hierbei können Mechanismen zur Motivation von Anwendern geschaffen werden.
Die vorliegende Erfindung schafft ferner eine Lernvorrichtung zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, die ausgebildet ist, um die Schritte des Lernverfahrens zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Lernvorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Lernvorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Lernvorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Lernvorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Die vorliegende Erfindung schafft ferner ein Informationssystem zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit, wobei das Informationssystem Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens zur Bestimmung eines aktualisierten Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Informationssystems kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einem Informationssystem kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuerund/oder Datensignale ausgibt. Das Informationssystem kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Informationssystems beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Die vorliegende Erfindung schafft ferner ein Verkehrszeichenerkennungssystem, welches folgende Merkmale aufweist:
zumindest eine Lernvorrichtung zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug, wobei das Fahrzeug eine Bilderfassungseinrichtung zur Aufnahme von einem Bild aufweist; und
ein Informationssystem zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Fahrzeugs mit einer videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2a ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung;
2b ein erweitertes Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung;
3 ein Ablaufdiagramm eines Verfahrens zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 eine schematische Darstellung eines Verfahrens zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5 ein um Nutzerbewertung des Klassifikationsergebnisses erweitertes Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
6 eine schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
7 eine weitere schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Lernvorrichtung 110, die in diesem Ausführungsbeispiel als Rechnereinheit 110 ausgeführt ist, eine Bilderfassungseinrichtung 120, eine kombinierte Anzeige- und Bedieneinheit 130 sowie eine Kommunikationseinheit 140 auf, die wiederum eine Sendeschnittstelle und eine Empfangsschnittstelle aufweist. Beispielsweise kann die Kommunikationseinheit 140 mit einer Außenantenne des Fahrzeugs 100 gekoppelt sein. Gemäß einem Ausführungsbeispiel zeigt 1 ein Fahrzeug 100 mit einer videobasierten Verkehrszeichenerkennung, die eine Kamera 120, eine Auswerteeinheit 110, eine Anzeigeeinheit 130 und eine Einheit für die Mobilfunkkommunikation 140 enthält.
In dem Fahrzeug 100 mit videobasierter Erkennung von Verkehrszeichen ist die Bilderfassungseinrichtung 120, welche eine Kamera darstellen kann, ausgebildet, um ein Bild des Umfeldes vor dem Fahrzeug 100 aufzunehmen und das Bild der Rechnereinheit 110 zur Verfügung zu stellen. In der Rechnereinheit 110 wird das digitalisierte Bild von einem entsprechenden Verfahren beziehungsweise Algorithmus nach Bildbereichen mit möglichen Verkehrszeichen durchsucht. Die Bildbereiche beziehungsweise detektierten Bildausschnitte werden einem Klassifikationsalgorithmus zugeführt, der eine Klassifikation des abgebildeten Verkehrszeichens vornimmt. Die Rechnereinheit 110 ist verbunden mit der kombinierten Anzeige- und Bedieneinheit 130. Auf der kombinierten Anzeige- und Bedieneinheit 130, welche in einem Ausführungsbeispiel als Display mit Bedieneinheit, z. B. Touch ausgeführt ist, kann der detektierte Bildausschnitt und das Klassifikationsergebnis dargestellt werden und anschließend von einem Anwender auf seine Korrektheit überprüft werden. Durch eine Eingabe des Anwenders kann eine Rückkopplung des Anwenders in Form eines Klassifikationsbewertungssignals generiert werden. Das Klassifikationsbewertungssignal kann eine Information darüber umfassen, ob der Anwender der Auffassung ist, dass das Klassifikationsergebnis korrekt oder nicht korrekt ist. Die Rechnereinheit 110 ist weiterhin verbunden mit der Kommunikationseinheit 140, welche als ein Kommunikationsgerät, beispielsweise mittels Mobilfunk mit einer zentralen Rechnereinheit kommunizieren kann. Dabei sind in anderen Ausführungsbeispielen andere Kommunikationsmittel und -wege denkbar. Über die Sendeschnittstelle der Kommunikationseinheit 140 können der detektierte Bildausschnitt, das Klassifikationsergebnis sowie das Klassifikationsbewertungssignal ausgegeben werden beziehungsweise an eine zentrale Rechnereinheit übermittelt werden.
2a zeigt ein Ablaufdiagramm eines Lernverfahrens 200 zur automatisierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Lernverfahren 200 zur automatisierten Erkennung von Verkehrszeichen weist einen Schritt 210 des Ausgebens eines detektierten Bildausschnitts 220 und eines Klassifikationsergebnisses 230 an eine Sendeschnittstelle zu einer zentralen Rechnereinheit auf. Der detektierte Bildausschnitt 220 kann dabei beispielsweise einen Teilbereich eines von der in 1 gezeigten Bilderfassungseinrichtung 120 aufgenommenen Bildes darstellen. Die Sendeschnittstelle kann Teil der in 1 gezeigten Kommunikationseinheit 140 sein.
2b zeigt ein erweitertes Ablaufdiagramm eines Lernverfahrens 200 zur automatisierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Schritte des Lernverfahrens 200 können beispielsweise von Einrichtungen des anhand von 1 beschriebenen Fahrzeugs ausgeführt werden. Das Lernverfahren 200 zur automatisierten Erkennung von Verkehrszeichen weist einen Schritt 240 des Erzeugens eines Visualisierungssignals 245 zum Visualisieren des detektierten Bildausschnitts 220 und des Klassifikationsergebnisses 230 auf. Das Visualisierungssignal 245 repräsentiert den detektierten Bildausschnitt 220 und das Klassifikationsergebnis 230. Der Schritt 240 des Erzeugens eines Visualisierungssignals 245 wird gefolgt von einem Schritt 250 des Empfangens eines Klassifikationsbewertungssignals 255 über eine Anwenderschnittstelle. Das Klassifikationsbewertungssignal 255 repräsentiert eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis 230 mit dem detektierten Bildausschnitt 220. Der Schritt 240 des Erzeugens eines Visualisierungssignals 245 wird gefolgt von dem Schritt 210 des Ausgebens des detektierten Bildausschnitts 220, des Klassifikationsergebnisses 230 und des Klassifikationsbewertungssignals 255 an die Sendeschnittstelle zu der zentralen Rechnereinheit. Der Schritt 210 des Ausgebens wird gefolgt von einem Schritt 260 des Empfangens eines aktualisierten Parametersatzes 265 und von einem Schritt 270 des Ersetzens des Parametersatzes zur Klassifikation durch den aktualisierten Papametersatz 265.
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen auf einer zentralen Rechnereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 300 zur Bestimmung eines Parametersatzes für eine Klassifikation von einem Verkehrszeichen weist vier Verfahrensschritte auf. Ein Schritt 310 des Empfangens empfängt an einer Empfangsschnittstelle der zentralen Rechnereinheit einen detektierten Bildausschnitt 220 und ein Klassifikationsergebnis 230, beispielsweise von der in 1 gezeigten Kommunikationseinheit des gezeigten Fahrzeugs. Im darauf folgenden Schritt 320 des Empfangens wird ein Klassifikationsbewertungssignal 255 empfangen. Die Schritte 310, 320 des Empfangens werden gefolgt von einem Schritt 330 des Trainierens des Parametersatzes 265 zur Klassifikation von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes 220, des Klassifikationsergebnisses 230 und des Klassifikationsbewertungssignals 255. Zum Abschluss wird der Parametersatz 265 in einem Schritt 340 des Ausgebens an eine Sendeschnittstelle ausgegeben. Dadurch kann der Parametersatz 265 für die Klassifikation von Verkehrszeichen an ein Fahrzeug oder an mehrere Fahrzeuge zur Verfügung gestellt werden. Beispielsweise kann der Parametersatz 265 von der in 1 gezeigten Kommunikationseinheit des gezeigten Fahrzeugs empfangen werden und in der Folge zur Klassifikation eines abgebildeten Verkehrszeichens genutzt werden.
4 zeigt eine schematische Darstellung eines Verfahrens zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem Schritt wird ein digitales Bild 410 aufgenommen. Die Bildaufnahme kann in der in 1 gezeigten Bilderfassungseinrichtung erfolgen. In einem Ausführungsbeispiel kann das aufgenommene Bild 410 an eine Rechnereinheit übertragen werden. Im darauf folgenden Schritt wird mit einem Detektor 420 in dem aufgenommenen digitalen Bild 410 nach Bildausschnitten 220 gesucht, welche ein Verkehrszeichen enthalten könnten. Dies entspricht dem in 2a gezeigten Schritt 210 und dem dort ausgegebenen Bildausschnitt 220. In 4 sind vier Bildausschnitte 220 dargestellt. Die gefundenen Bildausschnitte 430a, 430b, 430c, 430d werden an einen Klassifikator 440 übergeben. Im Schritt 440 der Klassifikation werden unter Verwendung eines Parametersatzes 450 die vier Bildausschnitte 220 klassifiziert und ein Klassifikationsergebnis 230 ausgegeben. Für jeden gefundenen Bildausschnitt 430a, 430b, 430c, 430d wird ein dazugehöriges Klassifikationsergebnis 460a, 460b, 460c, 460d ermittelt. In dem in 4 dargestellten Ausführungsbeispiel zeigt der Bildausschnitt 430b ein Verkehrszeichen für eine Geschwindigkeitsbegrenzung auf 80 km/h, die weiteren Bildausschnitte 460a, 460c, 460d sind leer. Dementsprechend ist das Klassifikationsergebnis 460b für den Bildausschnitt 430b mit dem Verkehrszeichen eine Zahl „80“.
Gemäß einem Ausführungsbeispiel zeigt 4 schematisch ein computerbasiertes Verfahren zur Verkehrszeichenerkennung. Die Videokamera nimmt ein Farboder Grauwertbild auf. In dem digitalisierten Bild erfolgt in der Recheneinheit eine Detektion von Bildausschnitten 430a, 430b, 430c, 430d, die mit gewisser Wahrscheinlichkeit ein Verkehrszeichen enthalten. Dies kann z. B. über eine Suche nach kreisförmigen Objekten erfolgen. Anschließend erfolgt eine Klassifikation der detektierten Bildausschnitte. Im Beispiel ist die Klassifikation der Bildausschnitte in „kein Verkehrszeichen“ und „Geschwindigkeitsbeschränkung 80km/h“ dargestellt. Hierfür können einfache Klassifikationsverfahren, wie z. B. die Kreuzkorrelation, Nearest-Neighbour-Klassifikation, oder aber auch komplexere Verfahren aus dem maschinellen Lernen, wie Boosting oder Random-Forest eingesetzt werden. Die Klassifikation kann direkt mit den Helligkeitswerten als Merkmale oder mit aus den Helligkeitswerten berechneten Merkmalen erfolgen. Ein Beispiel ist die Nutzung der Haar-Transformation für die Berechnung von Merkmalen. Für die Klassifikation benötigt der Klassifikator numerische Parameter, die entsprechend des gewählten Verfahrens zur Berechnung des Klassifikationsergebnisses benötigt werden. Die Klassifikationsverfahren aus dem maschinellen Lernen haben gegenüber den einfachen Klassifikationsverfahren eine bessere Klassifikationsgüte. Nachteil ist jedoch, dass die numerischen Parameter des Klassifikators zunächst in einem vorgestellten Trainingsvorgang zu bestimmen sind.
5 zeigt ein um eine Nutzerbewertung des Klassifikationsergebnisses erweitertes Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das in 5 dargestellte Verfahren ist zu dem in 4 gezeigten Verfahren bis auf eine Erweiterung zur Bewertung des Klassifikationsergebnisses ähnlich.
Gemäß dem in 5 gezeigten Ausführungsbeispiel wird ein digitales Bild 410 in einem Detektor 420 auf Bildbereiche untersucht, die ein Verkehrszeichen abbilden. Die gefundenen Bildausschnitte 430 werden in einem Klassifikator 440 einem Klassifikationsverfahren übergeben und es wird ein Klassifikationsergebnis 460 erzeugt. Ein gefundenes Verkehrszeichen im Klassifikationsergebnis wird an eine Anzeigeeinrichtung 570 zusammen mit dem Bildausschnitt übergeben und angezeigt. Ein Anwender kann manuell den angezeigten Bildausschnitt 430b und das Klassifikationsergebnis 460b miteinander vergleichen und die Übereinstimmung mit einem Betätigen einer Taste „Ja“ 572 bestätigen oder mit einem Betätigen einer Taste „Nein“ 574 ablehnen. Die Bewertung des Klassifikationsergebnisses durch den Anwender steht als Klassifikationsergebnissignal 255 am Ausgang der Anzeigeeinrichtung 570 bereit.
Gemäß einem Ausführungsbeispiel zeigt 5 den Ablauf eines Vorgehens für eine Verkehrszeichenerkennung in einem Fahrzeug, wie es beispielsweise in 1 gezeigt ist. Das System zur Verkehrszeichenerkennung enthält einen Klassifikator 440 mit einem initialen Parametersatz 450. Während der Nutzung visualisiert das Fahrerassistenzsystem zu einem Zeitpunkt eine ausgewählte Detektion und das Klassifikationsergebnis. Der Fahrer bewertet die Korrektheit der Klassifikation, z. B. durch Tastendruck, als korrekt oder falsch klassifiziert. Das Ergebnis wird vom System gespeichert. Der Schritt der Visualisierung und Bewertung des Klassifikationsergebnisses kann vom System dem Fahrer zu einem geeigneten Zeitpunkt, wie bei Stillstand des Fahrzeuges oder ereignisarmen Fahrsituationen, angeboten werden. Oder die Bewertung der Klassifikationsergebnisse kann auch durch den Beifahrer erfolgen.
Im beschriebenen Verfahren werden die Bildausschnitte oder daraus abgeleitete Merkmale, die Klassifikation des Systems und das Ergebnis der manuellen Bewertung der Klassifikation aus dem Fahrzeug an einen zentralen Server verschickt. Dies kann z. B. per Mobilfunk erfolgen.
6 zeigt eine schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Drei Fahrzeuge 100a, 100b, 100c erfassen mit einer Kamera die Umgebung vor dem Fahrzeug und werten mit einem Verfahren zur videobasierten Erkennung von Verkehrszeichen gemäß der vorgestellten Erfindung die erfassten Videobilder aus. Die Fahrzeuge 100a, 100b, 110c können entsprechend dem in 1 gezeigten Fahrzeug ausgeführt sein.
Dargestellt sind drei Schritte eines nutzerunterstützten Lernverfahrens. Die drei Fahrzeuge 100a, 100b, 100c erfassen, wie in 5 dargestellt, ein digitales Bild, suchen einen Bildausschnitt mit einem Verkehrszeichen und klassifizieren dieses. Ein Anwender bewertet die korrekte Erkennung des Verkehrszeichens. In dem in 6 dargestellten Verfahren sendet in einem ersten Verfahrensschritt 610 der Datenübermittlung jedes Fahrzeug 100a, 100b, 100c einen Datensatz 620a, respektive 620b, 620c an eine zentrale Rechnereinheit 630. Die zentrale Rechnereinheit ist in einem Ausführungsbeispiel als Server realisiert. Auf dem Server 630 wird der zweite Verfahrensschritt 640 des Trainings ausgeführt. Ziel ist es einen Parametersatz für den Klassifikator im Fahrzeug 100a, 100b, 100c zu erhalten. In einem dritten Verfahrensschritt 650 wird der neu bestimmte Parametersatz für den Klassifikator an die Fahrzeuge 100a, 100b, 100c übermittelt und im dort ablaufenden Verfahren aktualisiert.
Gemäß einem Ausführungsbeispiel werden in 6 Vorgänge innerhalb eines Verkehrszeichenerkennungssystems schematisch dargestellt. Der zentrale Server 630 erhält die Daten einer größeren Anzahl von Fahrzeugen 100a, 100b, 100c. Damit kann auf dem zentralen Server 630 ein Trainingsvorgang mit einer großen Menge an gesammelten Trainingsdaten durchgeführt werden. Die Systeme in den Fahrzeugen 100a, 100b, 100c können anschließend im Schritt 650 die verbesserten Parameter für den Klassifikator wiederum vom zentralen Server abrufen. Das Vorgehen kann mehrmals iterativ durchgeführt werden. Es ist damit eine starke Verbesserung der Klassifkationsgüte zu erzielen. Weiterhin kann anschließend sogar der Nutzer selbst bewertet werden, wie weit seine Bewertungen korrekt waren. Es können damit Nutzer mit vielen Fehlmeldungen vom System ausgeschlossen werden. Beispielsweise kann ein Nutzer eines der Fahrzeuge 100a, 110b, 110c als unzuverlässig bewertet werden, und es können in der Folge von dem entsprechenden Fahrzeug 100a, 100b, 100c empfangene Daten bei der Generierung eines aktualisierten Parametersatzes ausgeschlossen werden.
Die Eigenschaften der Bilddaten, wie Auflösung, Bildschärfe oder Sensorrauschen sind häufig stark abhängig von dem verwendeten Aufnahmesystem. Daher kann gemäß einem Ausführungsbeispiel eine Sammlung, das Lernen und die Verteilung der Klassifikatordaten systemtypspezifisch gestaltet werden. Beispielsweise kann eine Datensammlung und/oder ein Klassifikator für ein Smartphone eines ersten Typs oder eines ersten Herstellers, für ein Smartphone eines zweiten Typs oder eines zweiten Herstellers, usw. durchgeführt bzw. generiert werden.
7 zeigt eine weitere schematische Darstellung eines nutzerunterstützten Lernverfahrens für die videobasierte Erkennung von Verkehrszeichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Im Unterschied zu 6 findet die Unterstützung durch einen Anwender nicht im Fahrzeug 100a, 100b, 100c statt, sondern wird vom Server 630 initiiert. Die Fahrzeuge 100a, 100b, 100c senden in einem ersten Verfahrensschritt 610 der Datenübermittlung einen Datensatz 720a, 720b, 720c, der sich aus einem detektierten Bildausschnitt und einem Klassifikationsergebnis zusammensetzt, an eine zentrale Rechnereinheit 630. In einem zweiten Schritt gibt der Server ein Visualisierungssignal 245 aus, welches von einer Anzeigeeinrichtung 570 angezeigt wird. Ein Anwender kann die Übereinstimmung von detektiertem Bildausschnitt und Klassifikationsergebnis mit einem Betätigen einer Taste „Ja“ 572 bestätigen oder mit einem Betätigen einer Taste „Nein“ 574 ablehnen. Das so erhaltene Klassifikationsbewertungssignal 255 wird von der Anzeigeeinrichtung 570 zurück an die zentrale Rechnereinheit 630 übermittelt. In der zentralen Rechnereinheit 630 wird der dritte Verfahrensschritt 640 des Trainings ausgeführt. Der im Training 640 bestimmte Parametersatz wird in einem vierten Verfahrensschritt 650 von der zentralen Rechnereinheit 630 an die Fahrzeuge 100a, 100b, 100c übermittelt. In den Fahrzeugen 100a, 100b, 100c findet ein Update der Parameter im Klassifikator statt.
In einer Variante schickt das Fahrerassistenzsystem die Bildausschnitte und die zugehörige Klassifikation an den Server 630. Die manuelle Bewertung des Klassifikationsergebnisses erfolgt getrennt vom Fahrzeug 100a, 100b, 100c. Dies kann auch wiederum dezentral verteilt auf mehrere Nutzer über das Internet erfolgen.
Das Verfahren ermöglicht relativ einfach die Erweiterung des Satzes an Verkehrszeichen, die von den Systemen in den Fahrzeugen 100a, 100b, 100c erkannt werden. Die Erweiterung erfolgt zentral durch Erweiterung des Klassifikators auf dem Server 630, der anschließend in die Fahrzeuge 100a, 100b, 100c transferiert wird. Auch eine Erweiterung der vom Server 630 unterstützten Systeme im Fahrzeug 100a, 100b, 100c ist relativ einfach zu gestalten.
Generell kann auf halb überwachte Lernverfahren zurückgegriffen werden, in denen der Klassifikator zusätzlich bewertet, wie zuverlässig das Klassifikationsergebnis ist. Dies erlaubt die Auswahl von Beispielen, die dem Nutzer zur Bewertung gezeigt werden. Klassifikationsergebnisse, die vom System als sehr sicher erkannt wurden, werden nicht durch den Benutzer bewertet. Dagegen werden Ergebnisse, bei denen die Wahrscheinlichkeit einer Fehlklassifikation relativ groß ist, vom System an den Nutzer zur Bewertung gegeben.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2011038714 A1 [0005]

Zitierte Nicht-Patentliteratur

T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag, New York, 2009 [0010]

Claims

Lernverfahren (200) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100), wobei das Lernverfahren (200) den folgenden Schritt aufweist: Ausgeben (210) eines detektierten Bildausschnitts (220) und eines Klassifikationsergebnisses (230) an eine Sendeschnittstelle zu einer zentralen Rechnereinheit (630), wobei der detektierte Bildausschnitt (220) einen Teilbereich eines von einer Bilderfassungseinrichtung (120) des Fahrzeugs (100) aufgenommenen Bildes (410), welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis (230) das Ergebnis einer Klassifikation (440) des detektierten Bildausschnittes (220) auf Basis eines Parametersatzes (265) repräsentiert.
Lernverfahren (200) gemäß Anspruch 1, mit einem Schritt (240) des Erzeugens eines Visualisierungssignals (245) zum Visualisieren des detektierten Bildausschnitts (220) und des Klassifikationsergebnisses (230), wobei das Visualisierungssignal (245) den detektierten Bildausschnitt (220) und das Klassifikationsergebnis (230) repräsentiert, und mit einem Schritt (250) des Empfangens eines Klassifikationsbewertungssignals (255) über eine Anwenderschnittstelle, wobei das Klassifikationsbewertungssignal (255) eine von einem Anwender eingegebene Übereinstimmung von dem Klassifikationsergebnis (230) mit dem detektierten Bildausschnitt (220) repräsentiert, und wobei im Schritt (210) des Ausgebens weiterhin das Klassifikationsbewertungssignal (255) an die zentrale Rechnereinheit (630) ausgegeben wird.
Lernverfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (260) des Empfangens eines aktualisierten Parametersatzes (265) und mit einem Schritt (270) des Ersetzens des Parametersatzes (450) zur Klassifikation (440) durch den aktualisierten Papametersatz (265).
Verfahren (300) zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630), wobei das Verfahren (300) die folgenden Schritte aufweist: Empfangen (310) eines detektierten Bildausschnitts (220) und eines Klassifikationsergebnisses (230) an einer Empfangsschnittstelle der zentralen Rechnereinheit (630), wobei der detektierte Bildausschnitt (220) einen Teilbereich eines von einer Bilderfassungseinrichtung (120) eines Fahrzeugs (100) aufgenommenen Bildes (410), welcher ein Verkehrszeichen darstellt, repräsentiert, und wobei das Klassifikationsergebnis (230) das Ergebnis einer Klassifikation (440) des detektierten Bildausschnittes (220) auf Basis eines Parametersatzes (450) repräsentiert; Empfangens (320) eines Klassifikationsbewertungssignals (255), wobei das Klassifikationsbewertungssignal (255) eine Übereinstimmung von dem Klassifikationsergebnis (230) und dem detektierten Bildausschnitt (220) repräsentiert; Trainieren (330) des aktualisierten Parametersatzes (265) zur Klassifikation (440) von einem Verkehrszeichen unter Verwendung des detektierten Bildausschnittes (220), des Klassifikationsergebnisses (230) und des Klassifikationsbewertungssignals (255); Ausgeben (340) des aktualisierten Parametersatzes (265) an eine Sendeschnittstelle, um den aktualisierten Parametersatz (265) für die Klassifikation (440) von Verkehrszeichen an ein Fahrzeug (100) zur Verfügung zu stellen.
Verfahren (300) gemäß Anspruch 4, bei dem im Schritt (330) des Trainierens unter Verwendung eines Systemtyps des Fahrzeugs (100) und/oder der Bilderfassungseinrichtung (120) trainiert wird.
Verfahren (300) gemäß Anspruch 4 oder 5, mit einem Schritt des Erzeugens eines Visualisierungssignals (245) zum Visualisieren des detektierten Bildausschnitts (220) und des Klassifikationsergebnisses (230), wobei das Visualisierungssignal (245) den detektierten Bildausschnitt (220) und das Klassifikationsergebnis (230) repräsentiert.
Verfahren (300) gemäß Anspruch 6, mit einem Schritt des Bereitstellens des Visualisierungssignals (245) im Internet.
Lernvorrichtung (110) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100), die Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (200) gemäß einem der Ansprüche 1 bis 3 durchzuführen.
Informationssystem zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630), wobei das Informationssystem Einrichtungen aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (300) gemäß einem der Ansprüche 4 bis 7 durchzuführen.
Verkehrszeichenerkennungssystem, welches folgende Merkmale aufweist: zumindest eine Lernvorrichtung (110) zur automatisierten Erkennung von Verkehrszeichen für ein Fahrzeug (100) gemäß Anspruch 8, wobei das Fahrzeug (100) eine Bilderfassungseinrichtung (120) zur Aufnahme von einem Bild (410) aufweist; und ein Informationssystem zur Bestimmung eines aktualisierten Parametersatzes (265) für eine Klassifikation (440) von einem Verkehrszeichen auf einer zentralen Rechnereinheit (630) gemäß Anspruch 9.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.