-
Die Erfindung betrifft ein Verfahren zum Erkennen von Detektorfehlern von Detektoren durch ein Steuergerät. Des Weiteren betrifft die Erfindung ein derartiges Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.
-
Stand der Technik
-
Automatisiert betreibbare Fahrzeuge weisen üblicherweise eine kamerabasierte oder LIDAR-basierte Umfeldwahrnehmung auf. Die Umfeldwahrnehmung weist verschiedene Detektoren, wie beispielsweise eine Objekterkennung oder eine Merkmalserkennung, auf. Bei einer kamerabasierten Umfeldwahrnehmung werden üblicherweise Grauwertstrukturen des Kamerabildes ausgewertet, wodurch Fahrzeuge, Fußgänger, Fahrspurmarkierungen, freie Flächen und dergleichen identifiziert werden können.
-
Bestehende Ansätze zur Anomaliedetektion bewerten oftmals bildbasiert auftretende Unstimmigkeiten in den sensorbasiert ermittelten Messdaten, welche von den jeweiligen Detektoren zum Erstellen von Ergebnisdaten genutzt werden. Hierbei werden die gleichen Daten verwendet wie der zu bewertende Detektor. Weitere Ansätze der Anomaliedetektion versuchen Ähnlichkeiten eines Bildes in Bezug auf die zugrundeliegenden Trainingsdaten zu bewerten und Rückschlüsse daraus zu ziehen. Des Weiteren sind Verfahren bekannt, bei welchen die erkannten Objekte mit bereits bekannten Objekten plausibilisiert werden, um nicht-plausible Ergebnisdaten zu unterdrücken.
-
Die bekannten Ansätze zur Anomaliedetektion verwenden oftmals die gleichen zugrundliegenden Daten zur Anomaliedetektion und nutzen lediglich orthogonale Detektoren, um falsche oder fehlende Detektionen zu erkennen. Bei als fehlerhaft erkannten Detektionen bzw. Ergebnisdaten wird üblicherweise das System abgeschaltet. Hierdurch kann ein Fahrzeug aufgrund eines Fehlers in der Umfeldwahrnehmung in einen sicheren Zustand versetzt werden.
-
Darüber hinaus sind die bekannten Verfahren zur Anomaliedetektion üblicherweise auf eine Fehlerklasse optimiert, wodurch sie entweder Fehldetektionen bzw. sogenannte Falsepositive-Ergebnisse oder fehlende Detektionen bzw. sogenannte Falsenegative-Ergebnisse erkennen können.
-
Offenbarung der Erfindung
-
Die der Erfindung zugrundeliegende Aufgabe kann darin gesehen werden, ein Verfahren zum Erkennen von Detektorfehlern vorzuschlagen, welches einen reduzierten Bedarf an Rechenleistung aufweist und Ergebnisdaten im Hinblick auf Falsepositive-Ergebnisse und Falsenegative-Ergebnisse prüfen kann.
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum Erkennen von Detektorfehlern von Detektoren durch ein Steuergerät bereitgestellt. Beispielsweise kann das Steuergerät in ein Fahrzeug integriert sein, welches automatisiert oder teilautomatisiert betreibbar ist. Das Verfahren kann darüber hinaus für eine Visualisierung, beispielsweise bei Einparksystemen oder bei Überwachungssystemen, eingesetzt werden und ist nicht auf den automobilen Einsatzbereich beschränkt. Vielmehr kann das Verfahren auch im maritimen Einsatzbereich oder im stationären Einsatz verwendet werden.
-
In einem Schritt werden Ergebnisdaten mindestens einer Situation, insbesondere in Form von detektierten Merkmalen und/oder Objekten innerhalb eines Umfelds, von mindestens zwei Detektoren empfangen werden. In einem automobilen Einsatzbereich kann die Situation als eine Verkehrssituation ausgeführt sein, wobei das Umfeld beispielhaft als ein Fahrzeugumfeld ausgeführt sein kann. Das Umfeld kann vorzugsweise ein durch Sensoren überwachter bzw. abgetasteter Bereich sein. Hierbei werden die Ergebnisse der jeweiligen Detektoren empfangen. Die Detektoren können beispielsweise softwarebasierte Detektoren sein, welche Objekte oder Merkmale in empfangenen Messdaten identifizieren und in Form von Ergebnisdaten extrahieren können. Die Ergebnisdaten der Detektoren können anschließend über eine Schnittstelle anderen Komponenten oder Modulen des Fahrzeugs bereitgestellt werden. Das Steuergerät kann vorzugsweise auf eine derartige Schnittstelle zugreifen und die Ergebnisdaten empfangen. Vorzugsweise können die jeweiligen Detektoren unterschiedliche Merkmale oder Objekte extrahieren oder als redundante Detektoren ausgestaltet sein.
-
In einem weiteren Schritt wird eine Plausibilisierung der empfangenen Ergebnisdaten der mindestens zwei Detektoren basierend auf einem Vergleich der Ergebnisdaten der mindestens zwei Detektoren durchgeführt. Durch den Vergleich können Ergebnisse von zwei oder mehr Detektoren für eine Plausibilisierung der Ergebnisdaten eingesetzt werden.
-
Anschließend wird bei einer durch die Plausibilisierung der Ergebnisdaten der mindestens zwei Detektoren festgestellten Unstimmigkeit ein Detektorfehler festgestellt. Im Umkehrschluss kann eine unbeeinträchtigte Funktionsfähigkeit bestätigt werden, wenn die Plausibilisierung ohne festgestellte Unstimmigkeiten durchgeführt wird.
-
Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät oder ein fahrzeugexternes Steuergerät sein. Beispielsweise kann das Steuergerät mit einer Fahrzeugsteuerung zum Ausführen von automatisierten Fahrfunktionen verbindbar oder in eine derartige Fahrzeugsteuerung integriert sein. Ein extern ausgestaltetes Steuergerät kann beispielsweise eine fahrzeugexterne Servereinheit sein, welche auf einer Cloud-Technologie basiert.
-
Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
-
Das Fahrzeug kann hierbei gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein.
-
Die Messdaten des Fahrzeugumfelds können durch mindestens einen Sensor gesammelt werden. Der mindestens eine Sensor einer Umfeldsensorik kann beispielsweise ein LIDAR-Sensor, Radarsensor, Ultraschallsensor, Kamerasensor, GNSS-Sensor und dergleichen sein. Die für das Verfahren eingesetzten Ergebnisdaten der Detektoren resultieren aus einer Verarbeitung der Messdaten der Umfeldsensorik und liegen vorzugsweise in einer komprimierten Form vor. Hierdurch wird nicht die speicherintensive Menge an rohen Messdaten für das Verfahren eingesetzt, sodass das Steuergerät auch mit einer verringerten Rechenleistung betreibbar ist.
-
Das Verfahren kann auf zweidimensionalen oder dreidimensionalen Ergebnisdaten der Detektoren basieren, welcher die Ergebnisdaten aus Messdaten eines Kamerasensors oder eines anderen Sensors bezieht. Da die rohen Messdaten der Umfeldsensorik nicht berücksichtigt werden, ist das Verfahren somit sensorunabhängig betreibbar. Insbesondere können unterschiedliche Sensoren zur Datenaggregation genutzt werden, solange eine spezifizierte Schnittstelle mit den Ergebnisdaten befüllt werden kann.
-
Durch das Verfahren können Schwächen bereits bekannter Verfahren zur Anomaliedetektion beseitigt werden. Beispielsweise kann das Verfahren, im Gegensatz zu positionsbasierten oder statischen Verfahren, auch Detektorfehler bei Sonderfahrzeugen, bei besonders schmalen Fahrzeugen, breiten Fahrzeugen, kleinen Fahrzeugen und dergleichen detektieren.
-
Der Ansatz des Verfahrens verwendet orthogonale Daten zur Ausreißerdetektion auf Schnittstellenebene. Das ermöglicht eine Prüfung einer Gesamtsituation des Umfelds des Fahrzeugs zu plausibilisieren. Insbesondere können eine oder mehrere Verkehrssituationen gleichzeitig oder nacheinander im Hinblick auf Detektorfehler überprüft werden. Es können sogenannte Falsenegative-Ergebnisse bzw. fehlende Detektionen erkannt werden. Darüber hinaus ermöglicht das Verfahren eine gleichzeitige Prüfung eines einzelnen Bildes bzw. einer Verkehrssituation auf Fehldetektionen bzw. sogenannte Falsepositive-Ergebnisse oder auf die Falsenegative-Ergebnisse in einem einzelnen Prozess.
-
Als Ergebnis kann eine Position der Anomalie bzw. des Detektorfehlers eingegrenzt werden. Basierend auf dem Ort des Detektorfehlers innerhalb der Verkehrssituation kann eine Funktion mit einer Notfallinformation, wie beispielsweise einer neuen Objekthypothese erzeugt werden, um eine vollstände Deaktivierung des Fahrzeugs oder der Umfeldwahrnehmung durch die Umfeldsensorik zu verhindern.
-
Darüber hinaus kann das Verfahren eine benötigte Rechenzeit reduzieren, da eine datenreduzierte Schnittstelle im Verhältnis zu den unkomprimierten Messdaten für eine Anomaliedetektion genutzt wird.
-
Gemäß einem Ausführungsbeispiel werden durch die Plausibilisierung geometrische und/oder zeitliche Unstimmigkeiten zwischen den Ergebnisdaten der mindestens zwei Detektoren ermittelt. Hierdurch können Anomalien in den Ergebnisdaten mindestens eines Detektors auf zwei unterschiedlichen und voneinander unabhängigen Ebenen untersucht werden. Geometrische Unstimmigkeiten können dann auftreten, wenn beispielsweise ein Objektdetektor an einer Position ein Fahrzeug oder einen Fußgänger detektiert, an welcher laut einem Freiflächendetektor eine freie Asphaltfläche befinden sollte. Hierbei können Ergebnisdaten von weiteren Detektoren zusätzlich herangezogen werden, um die Anomalie auf einen Detektor oder eine Verkehrssituation zu beschränken. Zeitliche Unstimmigkeiten können beispielsweise ermittelt werden, wenn sich Änderungen der Verkehrssituation und der detektierten Merkmale bei einem Befahren einer Trajektorie durch das Fahrzeug je nach Detektor unterschiedlich schnell erfolgen.
-
Nach einer weiteren Ausführungsform werden durch die Plausibilisierung Falsepositive-Ergebnisse und/oder Falsenegative-Ergebnisse innerhalb einer Verkehrssituation detektiert. Falsepositive-Ergebnisse können fehlerhaft detektierte Objekte sein. Derartige Objekte werden beispielsweise an einer falschen Position und/oder mit einer fehlerhaften Abmessung detektiert.
-
Beispielsweise kann anhand eines Detektors zum Identifizieren von Fahrspuren eine Unterbrechung der Fahrspuren wegen einem Fahrzeug detektiert werden, wobei an der Unterbrechung ein Objekt klassifiziert bzw. vermutet wird. Ein weiterer Detektor kann hierbei das Objekt an einer abweichenden Position detektieren. Die Abweichungen in dem erkannten Ort des Objekts können durch die Plausibilisierung erkannt und für eine Korrektur oder eine Generierung von Warnungen eingesetzt werden. Analog hierzu kann ein Objekt, welches durch einen Objektdetektor nicht erkannt wurde, basierend auf den Ergebnisdaten von weiteren Detektoren erkannt werden. Derartige nachträgliche bzw. durch Auswerten der Ergebnisdaten der alternativen Detektoren ermittelte Objekte können in Form einer neuen Objekthypothese markiert werden.
-
Gemäß einem weiteren Ausführungsbeispiel werden bei einer detektierten Fehldetektion von mindestens einem Detektor korrigierte Ergebnisdaten oder alternative Ergebnisdaten generiert. Die korrigierten oder alternativen Ergebnisdaten können in Form von Notfallinformationen bereitgestellt werden. Eine derartige Notfallinformation bzw. Notfallklassifizierung kann eine vollständige Deaktivierung des Objektdetektors oder der Umfeldsensorik verhindern.
-
Nach einem weiteren Ausführungsbeispiel wird die Plausibilisierung durch einen auf maschinellem Lernen basierenden Klassifikator ausgeführt. Das Verfahren kann zur Detektion der Detektorfehler bzw. zur Plausibilisierung Ergebnisdaten mit einer entsprechenden Groundtruth als Eingangsdaten für ein Anlernen des Klassifikators nutzen. Ein derartiger Klassifikator kann beispielsweise als eine sogenannte zwei-Klassen Support Vector Machine oder als ein neuronales Netz ausgestaltet sein.
-
Ein derart trainierter Klassifikator kann im realen Einsatz für jedes Einzelbild bzw. jede Verkehrssituation mögliche Falsepositive-Ergebnisse und Falsenegative-Ergebnisse detektieren. Durch den Einsatz eines derartigen Klassifikators zum Plausibilisieren der Ergebnisdaten erzeugt das Verfahren keine zusätzliche Verzögerung bzw. Latenz aufgrund von geringen Anforderungen an eine Rechenleistung.
-
Nach einer weiteren Ausführungsform ist der Klassifikator als ein sequenzbasierter Klassifikator ausgeführt, wobei die empfangenen Ergebnisdaten der Detektoren in definierten Sequenzen plausibilisiert werden. Als eine zusätzliche Erweiterung können auch in Sequenzen vorliegende Ergebnisdaten ausgewertet werden. Hierfür können N vorangegangene Zustände als Eingangsmerkmale für den Klassifikator verwendet werden. Ein derartiger sequenzbasierter Klassifikator kann in Form von Recurrent Neural Networks oder als ein sogenanntes Hidden Markov Model ausgestaltet sein.
-
Gemäß einer weiteren Ausführungsform werden die Ergebnisdaten von mindestens einem als ein Objektdetektor, als ein Fahrspurmarkierungsdetektor oder als ein Freiflächendetektor ausgestalteten Detektor empfangen. Hierdurch können mehrere parallel und unabhängig voneinander ermittelte Ergebnisdatenquellen zum Plausibilisieren von detektierten Merkmalen und Objekten herangezogen werden. Hierzu können vorzugsweise die geometrischen und ergänzend auch zeitlichen Relationen zwischen den einzelnen Ergebnisdaten ausgewertet und verglichen werden.
-
Nach einem weiteren Ausführungsbeispiel werden Position und Ausdehnung von ermittelten Objekten mit Positionen und Ausdehnungen von detektierten Fahrspuren und/oder Freiflächen auf einer Fahrbahnoberfläche verglichen und im Hinblick auf Überschneidungen verglichen. Auf Basis von gegebenen Sensorschnittstellen bildbasierter Detektoren, wie beispielsweise Objektdetektoren bzw. Fahrzeugdetektionen, Spurmarkierungsdetektoren LANE, Freiflächenerkennungen FS und dergleichen, können Detektorfehler eines Detektors erkannt werden.
-
Beispielsweise kann durch die Freiflächenerkennung eine Überlagerung bzw. Verdeckung einer Fahrbahnoberfläche durch Fahrzeuge festgestellt werden. Die entsprechenden Informationen über die Position und Ausdehnung der Überlagerung können mit den Ergebnisdaten des Objektdetektors verglichen werden, um eine Plausibilisierung der Ergebnisdaten zu ermöglichen.
-
Darüber hinaus können ermittelte Fahrspurmarkierungen und Fahrbahnmarkierungen von Fahrzeugen oder Objekten verdeckt bzw. abgeschirmt werden, sodass aus diesen Ergebnisdaten ebenfalls Informationen über eine Position und Ausdehnung eines Objekts herleitbar sind. Durch den Einsatz von Ergebnisdaten verschiedener Detektoren können unabhängig Vergleichswerte für eine Plausibilisierung von Objektdetektionen bereitgestellt werden.
-
Gemäß einem weiteren Ausführungsbeispiel werden die Ergebnisdaten der Detektoren vor einer Plausibilisierung normalisiert. Die Normalisierung kann im Rahmen einer Vorverarbeitung der Ergebnisdaten erfolgen. Durch diese Maßnahme können die Ergebnisdaten in ein Format und Koordinatensystem konvertiert werden, welche eine Vergleichbarkeit der unterschiedlichen Ergebnisdaten ermöglichen.
-
Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
- 1 eine schematische Darstellung einer Verkehrssituation zum Veranschaulichen eines erfindungsgemäßen Verfahrens
- 2 eine schematische Darstellung einer weiteren Verkehrssituation zum Veranschaulichen des erfindungsgemäßen Verfahrens und
- 3 ein Ablaufdiagramm zum Veranschaulichen des Verfahrens gemäß einem Ausführungsbeispiel.
-
Die 1 zeigt eine schematische Darstellung einer Verkehrssituation 1 zum Veranschaulichen eines erfindungsgemäßen Verfahrens 2. Die Verkehrssituation 1 ist aus einer Ego-Perspektive eines Fahrzeugs 4 dargestellt.
-
Das Fahrzeug 4 ist beispielsweise als ein automatisiert betriebenes Fahrzeug ausgestaltet und weist eine Umfeldsensorik 6 auf. Die Umfeldsensorik 6 dient zur Umfeldwahrnehmung einer Fahrzeugumgebung U und kann Kamerasensoren, LIDAR-Sensoren, Radarsensoren und dergleichen aufweisen.
-
Die Umfeldsensorik 6 des Fahrzeugs 4 ist datenleitend mit einem Steuergerät 8 verbunden. Darüber hinaus weist das Fahrzeug 4 ein maschinenlesbares Speichermedium 10 auf, auf welchem ein Computerprogramm gespeichert ist. Das Computerprogramm umfasst Befehle, welche bei der Ausführung des Computerprogramms durch das Steuergerät 8 dieses veranlassen, das Verfahren 2 auszuführen.
-
In der dargestellten Verkehrssituation 1 sind Ergebnisdaten von drei unterschiedlichen Detektoren dargestellt. Die Detektoren sind bildbasierte Detektoren und sind als ein Objektdetektor, ein Spurmarkierungsdetektor und als ein Freiflächenerkennungsdetektor ausgestaltet. Die Detektoren werten Messdaten der Umfeldsensorik 6 aus und erzeugten Ergebnisdaten. Die Ergebnisdaten sind in Form von erkannten Objekten 12, in Form von erkannten Freiflächen 14 und als erkannte Fahrspurmarkierungen 16 ausgeprägt.
-
In der dargestellten Verkehrssituation 1 wird ein vorausfahrendes Fahrzeug 18 von einem Objektdetektor nicht erkannt. Basierend auf der ermittelten Freifläche 14 sowie den ermittelten Fahrspurmarkierungen 16 kann durch das Steuergerät 8 eine Überdeckung 20 der Freifläche 14 sowie der Fahrspurmarkierungen 16 festgestellt werden. Eine derartige Überdeckung 20 deutete auf ein Objekt hin, welches in Form einer alternativen Objekthypothese 22 durch das Steuergerät 8 eingeführt wird.
-
Die Überdeckung 20 wird durch endende Fahrspurmarkierungen 16 sowie eine Grenze der Freifläche 14 identifiziert. Das Steuergerät 8 kann dieses Fehlverhalten bzw. diesen Detektorfehler des Objektdetektors erkennen und eine alternative Objekthypothese 22 erzeugen. Die Objekthypothese 22 wird auf Basis der verfügbaren Ergebnisdaten zur Klassifikation erzeugt und kann durch eine beispielsweise semantische Segmentierung, verfeinert werden.
-
In 2 ist eine schematische Darstellung einer weiteren Verkehrssituation 1 zum Veranschaulichen des erfindungsgemäßen Verfahrens 2 gezeigt. Im Unterscheid zum in 1 dargestellten Ausführungsbeispiel, wird hier eine Verkehrssituation 1 veranschaulicht, bei welcher eine fehlerhafte Detektion eines Objekts erkannt wird. Ein vorausfahrendes Fahrzeug 18 wird von dem Objektdetektor an einer fehlerhaften bzw. versetzten Position erkannt.
-
Das entsprechende fehlerhaft identifizierte Objekt 24 wird durch das Steuergerät 8 als ungültig markiert. Die Detektion der fehlerhaften Objekte 24 kann hierbei gleichzeitig bzw. parallel zu einer Erkennung von fehlenden Detektionen erfolgen.
-
Eine entsprechende Plausibilisierung kann durch einen Abgleich der ermittelten Fahrspuren 16 sowie der ermittelten Freiflächen 14 erfolgen, welche um Bereich des Fahrzeugs 18 enden.
-
Zum Korrigieren der Falsepositive-Ergebnisse, wird hier ebenfalls eine alternative Objekthypothese 22 durch das Steuergerät 8 generiert.
-
Die 3 zeigt ein Ablaufdiagramm zum Veranschaulichen des Verfahrens 2 gemäß einem Ausführungsbeispiel.
-
In einem Schritt 26 werden Ergebnisdaten 12, 14, 16 eines Objektdetektors 32, eines Freiflächendetektors 34 und einer Fahrspurerkennung 36 durch das Steuergerät 8 empfangen.
-
Die Ergebnisdaten 12, 14, 16 können in einem weiteren Schritt 27 vorbereitet bzw. vorverarbeitet werden. Beispielsweise können die Ergebnisdaten 12, 14, 16 normalisiert werden, wodurch eine Vergleichbarkeit der Ergebnisdaten 12, 14, 16 ermöglicht wird.
-
Anschließend werden die Ergebnisdaten 12, 14, 16 einem Klassifikator 28 zugeführt. Der Klassifikator 28 kann basierend auf den Eingangsdaten bewerten, ob in der vorliegenden Verkehrssituation 1 ein Falsepositive-Ergebnis FP und/oder ein Falsenegative-Ergebnis FN aufgetreten ist.
-
Der Klassifikator 28 kann beispielsweise als eine sogenannte zwei-Klassen SVM oder als ein neuronales Netz ausgeführt sein. Insbesondere kann der Klassifikator 28 im Vorfeld angelernt sein.
-
Durch den Klassifikator 28 kann eine Plausibilisierung der empfangenen Ergebnisdaten der Detektoren 32, 34, 36 basierend auf einem Vergleich der Ergebnisdaten 12, 14, 16 der Detektoren 32, 34, 36 durchgeführt werden.
-
Anschließend kann bei einer durch die Plausibilisierung 28 der Ergebnisdaten 12, 14, 16 festgestellten Unstimmigkeit ein Detektorfehler 29 festgestellt werden.
-
Optional können in einem weiteren Schritt 30 korrigierte Ergebnisdaten 24 oder alternative Ergebnisdaten 22 generiert werden.
