-
Die Erfindung betrifft ein Verfahren zur Verbesserung einer Verkehrszeichenerkennung gemäß dem Oberbegriff des Anspruchs 1.
-
Aus der
DE 10 2018 200 134 B3 ist ein Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem für ein Kraftfahrzeug bekannt. Bei dem Verfahren werden in einer Vielzahl von Kraftfahrzeugen jeweilige Sensordaten erfasst und zu diesen korrespondierende Daten über jeweilige kabellose Datenverbindungen an eine zentrale Servereinrichtung übermittelt. Von der Servereinrichtung wird ein die zu übermittelnden Daten charakterisierendes Kriterium vorgegeben und zusammen mit einer Anforderung für entsprechende Daten an die Kraftfahrzeuge übermittelt. Als Sensordaten werden Bilddaten einer jeweiligen Kamera der Kraftfahrzeuge erfasst, wobei als die korrespondierenden Daten von jedem Kraftfahrzeug, nur wenn jeweils das vorgegebene Kriterium erfüllt ist, ein entsprechendes mit der Kamera erfasstes Einzelbild einer Umgebung des jeweiligen Kraftfahrzeugs an die Servereinrichtung übermittelt wird. Weiterhin wird von der Servereinrichtung aus von verschiedenen der Kraftfahrzeuge übermittelten Einzelbildern eine gemeinsame Bildreihe zum Training des Fahrerassistenzsystems erzeugt. Die Kamera oder eine mit dieser verbundene Datenverarbeitungseinrichtung des jeweiligen Kraftfahrzeugs kann Verkehrszeichen in der Umgebung des Kraftfahrzeugs erkennen und klassifizieren.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Verbesserung einer Verkehrszeichenerkennung anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Verbesserung einer Verkehrszeichenerkennung werden Verkehrszeichen mittels einer Kamera eines Fahrzeugs erfasst und in Kamerabildern erfasste Verkehrszeichen werden als Trainingsdaten für ein maschinelles Lernen an ein Backend übermittelt.
-
Erfindungsgemäß werden die Verkehrszeichen in einer fahrzeugseitigen Auswertung in den Kamerabildern erfasst und klassifiziert. In der fahrzeugseitigen Auswertung nicht klassifizierte Verkehrszeichen-Hypothesen werden an das Backend übermittelt, wobei die übermittelten Verkehrszeichen-Hypothesen backendseitig automatisch zu für eine Verwendung in Fahrerassistenzsystemen relevanten Verkehrszeichen-Gruppen zusammengefasst werden. Weiterhin werden den Verkehrszeichen-Gruppen backendseitig Label zugeordnet. Die gelabelten Verkehrszeichen-Gruppen werden anschließend zu einer Adaption eines in der fahrzeugseitigen Auswertung verwendeten Verkehrszeichen-Klassifikators und/oder zu einer Aktualisierung einer digitalen Karte verwendet.
-
Das vorliegende Verfahren ermöglicht eine kontinuierliche Verbesserung einer Verkehrszeichenerkennung mit hohem Automatisierungsgrad. Dabei können mittels des Verfahrens beispielsweise in einer Fahrzeugflotte gezielt unbekannte Verkehrszeichen erfasst und zum Backend gesendet werden, welches die Verkehrszeichen insbesondere in einer Ähnlichkeitsanalyse zu Gruppen clustert, um daraus Trainingsdaten für den in der fahrzeugseitig ausgeführten Auswertung verwendeten Klassifikator zu generieren und somit den Klassifikator in seiner Leistung zu verbessern. Weiterhin kann auch eine digitale Karte verbessert werden.
-
Aus der daraus folgenden verbesserten Verkehrszeichenerkennung resultiert eine signifikante Steigerung einer Leistungsfähigkeit und Zuverlässigkeit von Fahrerassistenzsystemen, insbesondere auch automatisierten Fahrsystemen, welche aus der Verkehrszeichenerkennung resultierende Informationen verwenden. Somit kann eine Herausforderung erfüllt werden, in verschiedenen Ländern zumindest nahezu alle relevanten Verkehrszeichen zu erkennen und auf sich häufig ändernde Typen von Verkehrszeichen zu reagieren. Somit kann gegenüber klassischen Entwicklungsansätzen eine enorme Vielfalt von Typen von Verkehrszeichen erkannt werden und ein Katalog von spezifizierten Verkehrszeichen erzeugt werden. Basierend hierauf kann ein Einfahren von Trainingsdaten durchgeführt werden. Sobald ein Verkehrszeichen in der Spezifikation übersehen wurde, kann mittels des vorliegenden Verfahrens gegenüber bekannten Lösungen, in welchen die Daten noch einmal gesammelt werden müssen, über eine intelligente Datensammlung die Spezifikation iterativ unter Berücksichtigung dessen, was ein System zur Verkehrszeichenerkennung nicht leisten kann, automatisiert werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch ein Blockschaltbild einer Vorrichtung zur Erkennung von Verkehrszeichen und
- 2 schematisch einen Ablauf eines Clusterverfahrens.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Erkennung von Verkehrszeichen V dargestellt. Die Vorrichtung 1 umfasst ein Fahrzeug 2 und ein Backend 3.
-
Das Fahrzeug 2 ist zu einem automatisierten, insbesondere hochautomatisierten oder autonomen Fahrbetrieb ausgebildet. Zur Ausführung des automatisierten Fahrbetriebs sind eine Umgebungserfassung und eine Verkehrszeichenerkennung erforderlich. Zu dieser Umgebungserfassung umfasst das Fahrzeug 2 zumindest eine Kamera 4.
-
In mittels der Kamera 4 erfassten Kamerabildern B werden Verkehrszeichen V in der Fahrzeugumgebung erfasst.
-
Eine Erkennung eines Verkehrszeichentyps erfolgt in zwei Klassifikationsschritten. Hierbei wird in einem ersten Verfahrensschritt S1 in dem Kamerabild B das Verkehrszeichen V mit einer so genannten Bounding-Box BB eingerahmt und allgemein als Verkehrszeichen V erkannt. Im ersten Verfahrensschritt S1 wird somit ein generischer Klassifikator verwendet, weil alle Verkehrsschilder unabhängig vom Typ in den Kamerabildern B gesucht werden und jeweils von einer Bounding-Box BB einrahmt werden.
-
In einem zweiten Verfahrensschritt S2 wird das Verkehrszeichen V als von der Bounding-Box BB begrenzter Bildausschnitt mittels eines weiteren Klassifikators klassifiziert und als Typklasse, beispielsweise „Geschwindigkeitsbegrenzung 50 km/h“, abgebildet.
-
Aufgrund einer großen weltweiten Vielfalt von Verkehrszeichentypen existieren Verkehrszeichentypen, welche mittels des zweiten Klassifikators keiner Typklasse zugeordnet werden können und dennoch für den automatisierten Fahrbetrieb des Fahrzeugs 2 und/oder andere Fahrerassistenzfunktionen relevant sind. Das liegt darin begründet, dass diese Verkehrszeichen V beispielsweise historische Verkehrsschilder mit Gültigkeit darstellen oder bei einer Auslegung des weiteren Klassifikators nicht berücksichtigt wurden. Solche Verkehrszeichen V weisen eine kleine Konfidenz im Klassifikationsergebnis auf oder werden auf eine Rückweisungsklasse abgebildet, welche für unbekannte Verkehrszeichen V steht.
-
Ist ein Verkehrszeichen V dem weiteren Klassifikator bekannt, wird dessen Regelungsgehalt in einem dritten Verfahrensschritt S3 für den automatisierten Fahrbetrieb des Fahrzeugs 2 und/oder andere Fahrerassistenzfunktionen verwendet.
-
Ist ein Verkehrszeichen V dem weiteren Klassifikator jedoch unbekannt und kann somit fahrzeugseitig nicht klassifiziert werden, wird dieses Verkehrszeichen V in Form des Bildausschnitts als Verkehrszeichen-Hypothese VH in einem vierten Verfahrensschritt S4 an das Backend 3 übermittelt.
-
Mittels des Backends 3 werden die übermittelten Verkehrszeichen-Hypothesen VH automatisch zu für eine Verwendung in Fahrerassistenzsystemen relevanten Verkehrszeichen-Gruppen VG zusammengefasst. Dies erfolgt in einem fünften Verfahrensschritt S5 insbesondere mittels eines automatisch durchgeführten Clusterverfahrens, in welchem die Zusammenfassung der Verkehrszeichen-Hypothesen VH zu den relevanten Verkehrszeichen-Gruppen VG anhand einer Ähnlichkeit der Verkehrszeichen-Hypothesen VH, beispielsweise mittels so genanntem Template Matching, durchgeführt wird.
-
Anschließend erfolgt in einem sechsten Verfahrensschritt S6 eine insbesondere manuell durchgeführte Zuordnung von Labeln zu den Verkehrszeichen-Gruppen VG, wobei hierbei geprüft wird, ob die Verkehrszeichen-Gruppen VG Relevanz für den automatisierten Fahrbetrieb des Fahrzeugs 2 und/oder andere Fahrerassistenzfunktionen aufweisen.
-
Weisen die gelabelten Verkehrszeichen-Gruppen VG eine solche Relevanz auf, dann werden diese in einem siebten Verfahrensschritt S7 als Trainings- und Testdaten zu einer Adaption des in der fahrzeugseitigen Auswertung verwendeten weiteren Klassifikators verwendet.
-
Ergänzend dazu werden die gelabelten Verkehrszeichen V in einem achten Verfahrensschritt S8 gemeinsam mit ihrer geografischen Position, an welcher sie erfasst wurden, in einer digitalen Karte zu deren Aktualisierung hinterlegt, so dass auch die dazugehörigen neuen Regeln, beispielsweise eine Beschränkung einer zulässigen Höchstgeschwindigkeit auf 50 km/h, aus der digitalen Karte bezogen werden können.
-
2 zeigt einen möglichen Ablauf eines Clusterverfahrens, welches beispielsweise mittels eines so genannten k-Means-Algorithmus durchgeführt wird. Hierbei werden aus nicht gelabelten Daten D1 mittels des Clusterverfahrens gelabelte Daten D2 mit mehreren Clustern C1 bis C3, umfassend jeweils ein Zentrum Z1 bis Z3, erzeugt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018200134 B3 [0002]
