-
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Detektion von Fehlern eines ersten Fahrerassistenzprogramms für ein erstes Kraftfahrzeug gemäß dem Oberbegriff des Anspruchs 1.
-
Ein Fahrerassistenzprogramm in Form eines Verkehrszeichenerkennungsprogramm wird in einem Kraftfahrzeug verwendet, um beispielsweise einem Benutzer des Kraftfahrzeugs auf dem aktuellen Straßenabschnitt gültige durch Verkehrszeichen angezeigte Regeln anzuzeigen, falls der Benutzer aus Unaufmerksamkeit ein Verkehrszeichen übersehen hat und/oder die angezeigte Regel vergessen hat. Die Regel kann beispielsweise eine erlaubte Höchstgeschwindigkeit sein. Die Anzeige kann beispielsweise auf einem Bildschirm erfolgen, mit Scheinwerfern auf die Straße projiziert werden oder als Head-Up-Display auf eine Frontscheibe des Kraftfahrzeugs projiziert werden. Die Verkehrszeichenerkennung erfolgt dabei mittels eines computerimplementierten Verfahrens. Es werden Videodaten der vor dem Kraftfahrzeug liegenden Straße mittels einer hinter der Frontscheibe des Kraftfahrzeugs angeordneten Kamera aufgenommen. Die Videodaten werden durch das Verkehrszeichenerkennungsprogramm ausgewertet, wobei die Verkehrszeichen erkannt werden.
-
Es ist auch möglich, das Verkehrszeichenerkennungsprogramm zu nutzen, wenn das Kraftfahrzeug autonom gesteuert wird. Die erkannten Verkehrszeichen können hier verwendet werden, um das Kraftfahrzeug autonom gemäß der mit den Verkehrszeichen angezeigten Regeln zu steuern.
-
Eine fehlerhafte Erkennung der Verkehrszeichen durch das Verkehrszeichenerkennungsprogramm soll möglichst vermieden werden, um den Fahrer des Kraftfahrzeugs nicht zu verwirren bzw. das Kraftfahrzeug nicht autonom gegen geltende Regeln, zum Beispiel mit zu hoher Geschwindigkeit, zu steuern. Daher werden Verkehrszeichenerkennungsprogramme üblicherweise erprobt, bevor sie serienmäßig in Kraftfahrzeugen verwendet werden, um Fehler zu erkennen und die Wahrscheinlichkeit für das Auftreten von Fehlern zu verringern.
-
Aus
DE 10 2018 005 865 A1 ist ein Verfahren zum Validieren eines Verkehrszeichenerkennungssystems bekannt. Es erfolgt eine automatische Generierung von Referenzinformationen, z. B. einer Geschwindigkeitsbegrenzung, auf Basis von statischen Kartendaten unter Aktualisierung durch Cloud-basierte Daten. Die generierten Referenzinformationen werden durch Hinzunahme von Verkehrsflussdaten plausibilisiert. Das Testen wird auf Basis eines Ereignisprotokolls durchgeführt.
-
Aus
DE 10 2018 200 134 B3 ist ein Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem für ein Kraftfahrzeug bekannt. Dabei wird von einer Servereinrichtung ein Kriterium vorgegeben und an die Kraftfahrzeuge übermittelt. Diese übermitteln daraufhin bei Erfülltsein des Kriteriums mit einer jeweiligen fahrzeugeigenen Kamera erfasste Einzelbilder einer Umgebung des jeweiligen Kraftfahrzeugs an die Servereinrichtung. Von der Servereinrichtung wird dann aus von verschiedenen der Kraftfahrzeuge übermittelten Einzelbildern eine gemeinsame Bildreihe zum Training des Fahrerassistenzsystems erzeugt.
-
Aus
DE 10 2020 202 163 A1 ist ein Verfahren zur Detektierung von Objekten und/oder Strukturen im Umfeld eines Fahrzeugs bekannt. Es wird die Position des Fahrzeugs ermittelt. Lokalisierungsdaten für die ermittelte Position werden an einen zentralen Server übertragen. Schwarmdaten für diese Position und/oder eine bei Befahren einer Fahrstrecke darauffolgende zukünftige Position werden von dem zentralen Server empfangen, wobei die Schwarmdaten auf einer statistischen Auswertung von Sensordaten beruhen, die zu einem früheren Zeitpunkt an dieser und/oder der zukünftigen Position von einer Vielzahl von weiteren Fahrzeugen erfasst wurden. Mittels der empfangenen Schwarmdaten wird geprüft, ob eine sensorische Detektion von Objekten und/oder Strukturen im Umfeld des Fahrzeugs beeinträchtigt wird.
-
Demgegenüber liegt der vorliegenden Erfindung die Aufgabe zugrunde, den Aufwand für die Detektion von Fehlern zu verringern.
-
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und durch ein System gemäß Anspruch 10 gelöst. Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Es werden während einer Fahrt mit einem zweiten Kraftfahrzeug aufgezeichnete Daten als Eingangsdaten des ersten Fahrerassistenzprogramms verwendet. Unter Verwendung dieser Eingangsdaten wird eine erste Funktion durch das erste Fahrerassistenzprogramm durchgeführt. Fehler bei dieser ersten Funktion werden detektiert.
-
Die Daten wurden bereits vor der Verwendung als Eingangsdaten zur Einrichtung eines zweiten Fahrerassistenzprogramms und/oder zur Detektion von Fehlern bei einer mit dem zweiten Fahrerassistenzprogramm durchgeführten Funktion verwendet. Die Einrichtung kann beispielsweise ein Training einer künstlichen Intelligenz sein.
-
Durch die Verwendung bereits vorhandener Daten als Eingangsdaten müssen zur Detektion der Fehler bei der ersten Funktion weniger oder sogar keine Fahrten mit dem ersten Kraftfahrzeug durchgeführt werden. Der Aufwand wird somit verringert.
-
Die Eingangsdaten umfassen Signale eines Bussystems des zweiten Kraftfahrzeugs und/oder Signale eines Steuergeräts des zweiten Kraftfahrzeugs. Die Signale des Steuergeräts können beispielsweise interne Signale des Steuergeräts sein. Es ist auch möglich, dass die Eingangsdaten Signale mehrerer Bussysteme des zweiten Kraftfahrzeugs und/oder Signale mehrerer Steuergeräte des zweiten Kraftfahrzeugs umfassen. Die Signale des Bussystems bzw. der Bussysteme und/oder die Signale des Steuergeräts bzw. der Steuergeräte sind jeweils vor der Verwendung als Eingangsdaten zur Einrichtung des zweiten Verkehrszeichenerkennungsprogramms und/oder zur Detektion von Fehlern bei der zweiten Verkehrszeichenerkennung verwendet worden. Das Verfahren kann diese Verwendung auch umfassen.
-
Die Verwendung dieser Signale ist insbesondere vorteilhaft, um die erste Verkehrszeichenerkennung zu verbessern. Dabei ist es für eine gute Verkehrszeichenerkennung vorteilhaft, wenn die Signale zu den Videodaten passen, weil sie während derselben Fahrt aufgezeichnet wurden.
-
Nach einer Ausführungsform der Erfindung kann das erste Fahrerassistenzprogramm als erstes Verkehrszeichenerkennungsprogramm ausgebildet sein. Die Daten können als Videodaten ausgebildet sein. Die erste Funktion kann als erste Verkehrszeichenerkennung ausgebildet sein. Das zweite Fahrerassistenzprogramm kann als zweites Verkehrszeichenerkennungsprogramm ausgebildet sein. Die zweite Funktion kann als zweite Verkehrszeichenerkennung ausgebildet sein.
-
Nach einer Ausführungsform der Erfindung kann das Verfahren auch die Aufzeichnung der Videodaten während der Fahrt des zweiten Kraftfahrzeugs umfassen. Die Videodaten können dabei beispielsweise unter Verwendung einer hinter einer Frontscheibe des zweiten Kraftfahrzeugs angeordneten Kamera, die Bilder der vor dem zweiten Kraftfahrzeug liegenden Straße aufzeichnet, aufgezeichnet werden. Das Verfahren kann auch die Verwendung der Videodaten zur Einrichtung des zweiten Verkehrszeichenerkennungsprogramms und/oder zur Detektion von Fehlern bei der zweiten Verkehrszeichenerkennung, bevor die erste Verkehrszeichenerkennung durchgeführt wird, umfassen.
-
Nach einer Ausführungsform der Erfindung können die Videodaten verändert werden, bevor sie als Eingangsdaten verwendet werden und nachdem sie zur Einrichtung des zweiten Verkehrszeichenerkennungsprogramms und/oder zur Detektion von Fehlern bei der zweiten Verkehrszeichenerkennung verwendet worden sind. Bei dieser Veränderung können die Videodaten beispielsweise an das erste Verkehrszeichenerkennungsprogramm angepasst werden. Dies ist besonders vorteilhaft, wenn sich das erste und das zweite Kraftfahrzeug unterscheiden.
-
Nach einer Ausführungsform der Erfindung können die Videodaten von einer ersten Position im zweiten Kraftfahrzeug aufgezeichnet worden sein. Die Videodaten können dann unter Verwendung einer simulierten zweiten Position im ersten Kraftfahrzeug verändert werden. Hierunter wird im Rahmen dieser Beschreibung insbesondere verstanden, dass die Videodaten derart verändert werden, als ob sie mit einer an der zweiten Position im ersten Kraftfahrzeug angeordneten Kamera aufgenommen wurden. Auf diese Weise wird die Detektion von Fehlern verbessert, die beim Einsatz des ersten Verkehrszeichenerkennungsprogramms im ersten Kraftfahrzeug auftreten.
-
Nach einer Ausführungsform der Erfindung kann das zweite Kraftfahrzeug während der Fahrt erste Nick- und Wankbewegungen durchgeführt haben, die die Videodaten bei der Aufzeichnung beeinflusst haben. Die Videodaten können unter Verwendung zweiter Nick- und Wankbewegungen des ersten Kraftfahrzeugs verändert werden. Beispielsweise können die Videodaten so verändert werden, als ob während ihrer Aufzeichnung die zweiten Nick. Und Wankbewegungen anstatt der ersten Nick- und Wankbewegungen aufgetreten sind. Hierdurch wird die Detektion von Fehlern verbessert, die beim Einsatz des ersten Verkehrszeichenerkennungsprogramms im ersten Kraftfahrzeug auftreten.
-
Es ist möglich, dass die Eingangsdaten Kartendaten umfassen. Dies verbessert die erste Verkehrszeichenerkennung. Die Kartendaten können beispielsweise Straßenverläufe umfassen, auf denen das zweite Kraftfahrzeug bewegt worden ist.
-
Nach einer Ausführungsform der Erfindung können die Kartendaten vor der Durchführung der ersten Verkehrszeichenerkennung unter Verwendung der Signale des Bussystems aktualisiert werden. Die Signale des Bussystems können in diesem Fall beispielsweise Daten eines Satellitennavigationssystems umfassen. Die Aktualisierung der Kartendaten kann vorteilhaft sein, wenn beispielsweise in den Kartendaten gespeicherte Straßenverläufe nicht mit der Fahrt des zweiten Kraftfahrzeugs übereinstimmen. Dabei kann angenommen werden, dass die Signale den korrekten Straßenverlauf wiedergeben und die Kartendaten veraltet sind.
-
Bei dieser Ausführungsform ist jedoch darauf zu achten, dass es nachteilig sein kann, wenn die aktualisierten Kartendaten in Kombination mit veralteten Videodaten verwendet werden, da dann unter Umständen die Videodaten nicht mit den Kartendaten übereinstimmen.
-
Nach einer Ausführungsform der Erfindung kann das erste Verkehrszeichenerkennungsprogramm unter Verwendung der detektierten Fehler weiterentwickelt werden. Auf diese Weise wird das erste Verkehrszeichenerkennungsprogramm verbessert, sodass weniger Fehler bei der Verkehrszeichenerkennung auftreten und das erste Verkehrszeichenerkennungsprogramm zuverlässiger wird.
-
Das System gemäß Anspruch 10 umfasst ein erstes digitales elektronisches Speichermedium und eine erste digitale elektronische Verarbeitungseinheit, die beispielsweise einen Prozessor umfassen kann. Im ersten Speichermedium sind erste Instruktionen gespeichert. Die erste Verarbeitungseinheit ist dazu ausgebildet, die ersten Instruktionen auszulesen und auszuführen. Die erste Verarbeitungseinheit ist dazu ausgebildet, bei Ausführung der ersten Instruktionen ein Verfahren nach einer Ausführungsform der Erfindung auszuführen.
-
Dabei ist zu beachten, dass das System vorzugsweise ein zweites digitales elektronisches Speichermedium und eine zweite digitale elektronische Verarbeitungseinheit umfassen kann, wenn es dazu ausgebildet ist, die Videodaten und gegebenenfalls die Signale des Bussystems und/oder des Steuergeräts während der Fahrt des zweiten Kraftfahrzeugs aufzuzeichnen. Im zweiten Speichermedium können dabei zweite Instruktionen gespeichert sein. Die zweite Verarbeitungseinheit kann dazu ausgebildet sein, die zweiten Instruktionen auszulesen und auszuführen. Die zweite Verarbeitungseinheit kann dazu ausgebildet sein, bei Ausführung der zweiten Instruktionen, die Videodaten und gegebenenfalls die Signale des Bussystems und/oder des Steuergeräts während der Fahrt des zweiten Kraftfahrzeugs aufzuzeichnen.
-
Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegende Abbildung. Dabei werden für gleiche oder ähnliche Merkmale sowie für Merkmale mit gleichen oder ähnlichen Funktionen die gleichen Bezugszeichen verwendet. Dabei zeigt:
- 1 eine schematische Blockdarstellung eines Verfahrens nach einer Ausführungsform der Erfindung.
-
Die Eingangsdaten 1 umfassen Videodaten 2, Signale 3 eines oder mehrerer Bussysteme eines zweiten Kraftfahrzeugs, Kartendaten 4 und interne Signale 5 eines oder mehrerer Steuergeräte des zweiten Kraftfahrzeugs. Die Videodaten 2 und die Signale 3 und 5 wurden während der Fahrt des zweiten Kraftfahrzeugs aufgezeichnet. Die Videodaten 2 wurden mit einer an einer ersten Position im zweiten Kraftfahrzeug angeordneten Kamera aufgezeichnet.
-
Ein erstes Verkehrszeichenerkennungsprogramm 8 führt eine erste Verkehrszeichenerkennung unter Verwendung der Eingangsdaten 1 durch. Dabei auftretende Fehler werden detektiert. Unter Berücksichtigung der Fehler wird das erste Verkehrszeichenerkennungsprogramm 8 weiterentwickelt, damit im praktischen Einsatz des ersten Verkehrszeichenerkennungsprogramms 8 bei einem Serienfahrzeug weniger Fehler auftreten.
-
Die Eingangsdaten 1 wurden bereits zuvor zur Einrichtung eines zweiten Verkehrszeichenerkennungsprogramms und/oder zur Detektion von Fehlern bei einer zweiten Verkehrszeichenerkennung mit dem zweiten Verkehrszeichenerkennungsprogramm verwendet. Dies ist besonders vorteilhaft, da für die Detektion der Fehler bei der ersten Verkehrszeichenerkennung keine neuen Videodaten, Bussignale und/oder Signale der Steuergeräte aufgezeichnet werden müssen. Die Verwendung der bereits vorhandenen Eingangsdaten 1 ist vorteilhaft, um den Aufwand zur Detektion von Fehlern bei der ersten Verkehrszeichenerkennung zu verringern.
-
Es ist möglich, dass die Videodaten 2 vor der Durchführung der ersten Verkehrszeichenerkennung in geänderte Videodaten 6 verändert werden. Hierbei können die Videodaten 2 insbesondere so verändert werden, als ob sie von einer zweiten Position in einem ersten Kraftfahrzeug aufgenommen wurden. Das erste Kraftfahrzeug kann beispielsweise baugleich mit dem Kraftfahrzeug sein, für das das erste Verkehrszeichenerkennungsprogramm 8 entwickelt wird.
-
Es ist vorteilhaft, die Videodaten 2 zu verändern, um sie möglichst gut an das erste Kraftfahrzeug anzupassen. Dies gilt umso mehr je unterschiedlicher die erste Position und die zweite Position sind. Außerdem können die Videodaten auch unter Berücksichtigung von Nick- und Wankbewegungen des ersten und des zweiten Kraftfahrzeugs verändert werden, die die Videodaten beeinflussen. Dies verbessert weiter die Realitätsnähe der Detektion der Fehler unter Verwendung der Eingangsdaten 1.
-
Die Kartendaten 4 können zu aktualisierten Kartendaten 7 aktualisiert werden. Dies ist insbesondere vorteilhaft, wenn die Kartendaten 4 schon relativ alt sind. Die Aktualisierung der Kartendaten 4 kann beispielsweise unter Verwendung von Signalen eines Satellitennavigationssystems erfolgen. Diese Signale des Satellitennavigationssystems können beispielsweise Bestandteile der Signale 3 der Bussysteme sein.
-
Die Verwendung der aktualisierten Kartendaten 7 ist insbesondere vorteilhaft, um die Fehler bei der ersten Verkehrszeichenerkennung an aktuelle reale Straßen anzupassen.
