DE102020131657A1

DE102020131657A1 - Diagnostizieren eines Wahrnehmungssystems auf der Grundlage der Szenenkontinuität

Info

Publication number: DE102020131657A1
Application number: DE102020131657.7A
Authority: DE
Inventors: Yao Hu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-12-19
Filing date: 2020-11-30
Publication date: 2021-06-24
Also published as: CN113095125A; CN113095125B; US10981577B1

Abstract

Ein Wahrnehmungsmodul empfängt von Sensoren an Bord eines Fahrzeugs Rahmen von Daten und identifiziert auf der Grundlage der Daten Objekte, die das Fahrzeug umgeben. Ein Störungsdetektionsmodul bestimmt den Daten zugeordnete semantische Informationen, erzeugt für jedes der identifizierten Objekte auf der Grundlage einer Korrelation jedes der identifizierten Objekte mit den semantischen Informationen eine Bewertung und erzeugt auf der Grundlage der Bewertungen für die identifizierten Objekte eine Bewertung für die Rahmen. Das Störungsdetektionsmodul bestimmt, dass das Wahrnehmungsmodul: in Ansprechen darauf, dass die Bewertung für die Rahmen kleiner als ein erster Schwellenwert ist, normal arbeitet, in Ansprechen darauf, dass die Bewertung für die Rahmen größer als ein zweiter Schwellenwert ist, eine Störung aufweist, und in Ansprechen darauf, dass die Bewertung zwischen dem ersten und dem zweiten Schwellenwert liegt, eine Überprüfung benötigt.

Description

EINLEITUNG
Die in diesem Abschnitt gegebenen Informationen dienen zur allgemeinen Darstellung des Kontexts der Offenbarung. Arbeit der genannten Erfinder in dem Umfang, in dem sie in diesem Abschnitt beschrieben ist, sowie Aspekte der Beschreibung, die nicht auf andere Weise als Stand der Technik zum Zeitpunkt der Einreichung berechtigen, sind weder explizit noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die vorliegende Offenbarung betrifft allgemein Wahrnehmungssysteme, die in autonomen Fahrzeugen verwendet werden, und insbesondere Systeme und Verfahren zum Diagnostizieren der Wahrnehmungssysteme auf der Grundlage der Szenenkontinuität.
In autonomen Fahrzeugen verwendete Wahrnehmungssysteme nutzen verschiedene Sensoren, um die Umgebungen der Fahrzeuge zu erfassen. Die Wahrnehmungssysteme empfangen von diesen Sensoren Daten hinsichtlich der Fahrzeugumgebungen. Diese Sensoren enthalten z. B. Kameras und andere an verschiedenen Orten innerhalb und außerhalb der Fahrzeuge befindliche Sensoren (z. B. Radar, LIDAR, Sonar usw.), die die Daten für die Wahrnehmungssysteme bereitstellen. Die Wahrnehmungssysteme verarbeiten die von diesen Sensoren empfangenen Daten und bestimmen die Umgebungen der Fahrzeuge. Die Umgebungen können z. B. andere Fahrzeuge, Fußgänger, Verkehrsschilder, Verkehrszeichen, Gebäude, Landmarken usw. enthalten. Die Teilsysteme der autonomen Fahrzeuge können die Fahrzeuge auf der Grundlage dieser Bestimmungen steuern. Diese Bestimmungen können auch verwendet werden, um Fahrer über die die Fahrzeuge umgebenden Bedingungen zu informieren und vor ihnen zu warnen.
ZUSAMMENFASSUNG
Ein System umfasst ein Wahrnehmungsmodul und ein Störungsdetektionsmodul. Das Wahrnehmungsmodul ist dafür konfiguriert, von Sensoren an Bord eines Fahrzeugs einen oder mehrere Rahmen von Daten hinsichtlich einer Umgebung des Fahrzeugs zu empfangen und auf der Grundlage der Daten von dem einen oder den mehreren Rahmen Objekte, die das Fahrzeug umgeben, zu identifizieren. Das Störungsdetektionsmodul ist dafür konfiguriert, semantische Informationen zu bestimmen, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind, für jedes der identifizierten Objekte auf der Grundlage einer Korrelation jedes der identifizierten Objekte mit den semantischen Informationen eine Bewertung zu erzeugen und für den einen oder die mehreren Rahmen auf der Grundlage der Bewertungen für die identifizierten Objekte eine Bewertung zu erzeugen. Das Störungsdetektionsmodul ist dafür konfiguriert, in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen kleiner als ein erster Schwellenwert ist, zu bestimmen, dass das Wahrnehmungsmodul normal arbeitet, in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen größer als ein zweiter Schwellenwert ist, zu bestimmen, dass das Wahrnehmungsmodul eine Störung aufweist, und in Ansprechen darauf, dass die Bewertung zwischen dem ersten und dem zweiten Schwellenwert liegt, zu bestimmen, dass das Wahrnehmungsmodul eine Überprüfung benötigt.
Gemäß anderen Merkmalen ist das Störungsdetektionsmodul dafür konfiguriert, auf der Grundlage der Bewertungen für die identifizierten Objekte zu bestimmen, ob das Wahrnehmungsmodul eines der Objekte falsch identifiziert hat. Das falsch identifizierte Objekt ist entweder in dem einen oder in den mehreren Rahmen nicht vorhanden oder ist als ein anderes Objekt als ein in dem einen oder in den mehreren Rahmen vorhandenes Objekt identifiziert worden.
Gemäß anderen Merkmalen umfasst das Wahrnehmungsmodul ein erstes neuronales Netz und ein erstes Filter. Das erste neuronale Netz ist dafür konfiguriert, aus den Daten von dem einen oder den mehreren Rahmen Vorschläge zum Identifizieren von Objekten auszugeben. Jeder der Vorschläge enthält eine Objektklasse, Koordinaten und eine Wahrscheinlichkeit. Das erste Filter ist dafür konfiguriert, aus den Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich einem dritten Schwellenwert eine Teilmenge von Vorschlägen zu filtern und die identifizierten Objekte nach dem Filtern der Teilmenge von Vorschlägen aus den Vorschlägen auszugeben.
Gemäß anderen Merkmalen umfasst das Störungsdetektionsmodul ein zweites neuronales Netz und ein zweites Filter. Das zweite neuronale Netz ist dafür konfiguriert, die Vorschläge zu empfangen und auf der Grundlage einer Korrelation jedes der Vorschläge mit den semantischen Informationen die Bewertungen den Vorschlägen zuzuweisen. Das zweite Filter ist dafür konfiguriert, aus den Vorschlägen die Teilmenge von Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich dem dritten Schwellenwert zu filtern und die identifizierten Objekte mit den Bewertungen nach dem Filtern der Teilmenge von Vorschlägen aus den Bewertungen auszugeben.
Gemäß anderen Merkmalen umfasst das Störungsdetektionsmodul ein erstes neuronales Netz und ein zweites neuronales Netz. Das erste neuronale Netz ist dafür konfiguriert, aus den Daten von dem einen oder den mehreren Rahmen Merkmale zu extrahieren. Die Merkmale repräsentieren die semantischen Informationen, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind. Das zweite neuronale Netz ist dafür konfiguriert, die identifizierten Objekte und die Merkmale zu empfangen und die Bewertungen für die identifizierten Objekte auszugeben.
Gemäß einem anderen Merkmal ist das zweite neuronale Netz dafür konfiguriert, die identifizierten Objekte, eines nach dem anderen, zu empfangen und die Bewertungen, eine nach der anderen, auszugeben.
Gemäß einem anderen Merkmal ist das Störungsdetektionsmodul ferner dafür konfiguriert, die Bewertung für den einen oder die mehreren Rahmen auf der Grundlage eines gewichteten Durchschnitts der Bewertungen für die identifizierten Objekte zu bestimmen.
Gemäß einem anderen Merkmal umfasst das System ferner ein Störungsabschwächungsmodul, das dafür konfiguriert ist, in Ansprechen darauf, dass das Störungsdetektionsmodul bestimmt, dass das Wahrnehmungsmodul eine Störung aufweist, eine Abschwächungsprozedur auszuführen.
Gemäß einem anderen Merkmal enthält die Abschwächungsprozedur das Warnen eines Fahrers des Fahrzeugs und das Abschalten eines Selbstfahrmerkmals.
Gemäß einem anderen Merkmal umfasst das System ferner ein Aktivierungsmodul, das dafür konfiguriert ist, das Störungsdetektionsmodul in Abhängigkeit von der Umgebung des Fahrzeugs zu aktivieren oder zu deaktivieren.
Gemäß nochmals anderen Merkmalen umfasst ein Verfahren das Empfangen eines oder mehrerer Rahmen von Daten hinsichtlich der Umgebung des Fahrzeugs von Sensoren an Bord eines Fahrzeugs. Das Verfahren umfasst das Identifizieren von Objekten, die das Fahrzeug umgeben, auf der Grundlage der Daten von dem einen oder von den mehreren Rahmen unter Verwendung eines Wahrnehmungsmoduls. Das Verfahren umfasst das Bestimmen semantischer Informationen, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind. Das Verfahren umfasst das Erzeugen einer Bewertung für jedes der identifizierten Objekte auf der Grundlage einer Korrelation jedes der identifizierten Objekte mit den semantischen Informationen. Das Verfahren umfasst das Erzeugen einer Bewertung für den einen oder die mehreren Rahmen auf der Grundlage der Bewertungen für die identifizierten Objekte. Das Verfahren umfasst das Bestimmen, dass das Wahrnehmungsmodul normal arbeitet, in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen kleiner als ein erster Schwellenwert ist, dass das Wahrnehmungsmodul eine Störung aufweist, in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen größer als ein zweiter Schwellenwert ist, und dass das Wahrnehmungsmodul eine Überprüfung benötigt, in Ansprechen darauf, dass die Bewertung zwischen dem ersten und dem zweiten Schwellenwert liegt.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Bestimmen, ob das Wahrnehmungsmodul eines der Objekte falsch identifiziert hat, auf der Grundlage der Bewertungen für die identifizierten Objekte. Das falsch identifizierte Objekt ist entweder in dem einen oder in den mehreren Rahmen nicht vorhanden oder ist als ein anderes Objekt als ein in dem einen oder in den mehreren Rahmen vorhandenes Objekt identifiziert worden.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Ausgeben von Vorschlägen zum Identifizieren von Objekten auf der Grundlage von Daten von dem einen oder den mehreren Rahmen. Jeder der Vorschläge enthält eine Objektklasse, Koordinaten und eine Wahrscheinlichkeit. Ferner umfasst das Verfahren das Filtern einer Teilmenge von Vorschlägen aus den Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich einem dritten Schwellenwert. Ferner umfasst das Verfahren das Ausgeben der identifizierten Objekte nach dem Filtern der Teilmenge von Vorschlägen aus den Vorschlägen.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Zuweisen der Bewertungen zu den Vorschlägen auf der Grundlage einer Korrelation jedes der Vorschläge mit den semantischen Informationen. Ferner umfasst das Verfahren das Filtern der Teilmenge von Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich dem dritten Schwellenwert aus den Vorschlägen. Ferner umfasst das Verfahren das Ausgeben der identifizierten Objekte mit den Bewertungen nach dem Filtern der Teilmenge von Vorschlägen aus den Bewertungen.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Extrahieren von Merkmalen aus den Daten von dem einen oder den mehreren Rahmen. Die Merkmale repräsentieren die semantischen Informationen, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind. Ferner umfasst das Verfahren das Ausgeben der Bewertungen für die identifizierten Objekte auf der Grundlage der Merkmale und der identifizierten Objekte.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Empfangen der identifizierten Objekte, eines nach dem anderen, und das Ausgeben der Bewertungen, eine nach der anderen.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Bestimmen der Bewertung für den einen oder die mehreren Rahmen auf der Grundlage eines gewichteten Durchschnitts der Bewertungen für die identifizierten Objekte.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Ausführen einer Abschwächungsprozedur in Ansprechen auf die Bestimmung, dass das Wahrnehmungsmodul eine Störung aufweist.
Gemäß einem anderen Merkmal enthält die Abschwächungsprozedur das Warnen eines Fahrers des Fahrzeugs und das Abschalten eines Selbstfahrmerkmals.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Aktivieren oder Deaktivieren des Störungsdetektionsmoduls in Abhängigkeit von der Umgebung des Fahrzeugs.
Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der ausführlichen Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur zur Veranschaulichung bestimmt und sollen den Schutzumfang der Offenbarung nicht einschränken.
Figurenliste
Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:

1 ein Detektionsergebnis, ein Ground-Truth-Ergebnis, eine Bounding Box und eine Tabelle, die mehrere Detektionsergebnisse mit ihrer Klasse, Bounding-Box-Koordinaten und Wahrscheinlichkeiten für durch ein Wahrnehmungssystem detektierte Objekte, die ein Fahrzeug umgeben, zeigt;
2 ein erstes System zum Detektieren einer Störung in einem Wahrnehmungssystem;
3 ein zweites System zum Detektieren einer Störung in einem Wahrnehmungssystem;
4 ein Beispiel eines Störungsabschwächungssystems zum Abschwächen einer durch das erste oder durch das zweite System detektierten Störung;
5 ein erstes Verfahren zum Detektieren einer Störung in einem Wahrnehmungssystem;
6 ein zweites Verfahren zum Detektieren einer Störung in einem Wahrnehmungssystem;
7A ein vereinfachtes Beispiel eines verteilten Computersystems, das die in 1-6 gezeigten Systeme und Verfahren implementieren kann; und
7B ein vereinfachtes Beispiel eines Servers des verteilten Computersystems aus 7A.

In den Zeichnungen können Bezugszeichen mehrmals verwendet werden, um ähnliche und/oder gleiche Elemente zu identifizieren.
AUSFÜHRLICHE BESCHREIBUNG
Wahrnehmungssysteme, die zum Bestimmen von Fahrzeugumgebungen verwendet werden, unterliegen Störungen, die detektiert werden müssen. Da es schwierig ist, die Ground Truth in Echtzeit zu bestimmen, wenn das Fahrzeug auf der Straße fährt, wobei die Ground Truth Referenzinformationen sind, die im Gegensatz zu durch Folgerung bereitgestellten Informationen durch direkte Beobachtung (d. h. empirische Evidenz) bereitgestellt werden, kann die Online-Diagnose der Wahrnehmungssysteme herausfordernd sein. Die vorliegende Offenbarung schafft Systeme und Verfahren, die die Wahrnehmungssysteme ohne Ground Truth diagnostizieren. Die Systeme und Verfahren diagnostizieren die Wahrnehmungssysteme dadurch, dass sie Szenenkontinuitäten von Wahrnehmungsergebnissen berechnen und Störungen auf der Grundlage von Diskontinuitäten bestimmen. Die Systeme und Verfahren können Störungen in dem Wahrnehmungssystem während der Laufzeit während des laufenden Betriebs detektieren, identifizieren und abschwächen.
Die Szenenkontinuität repräsentiert, wie viel eines Wahrnehmungsergebnisses in eine aktuelle Szene oder in ein aktuelles Bild, die bzw. das auf der Grundlage von Daten erzeugt wird, die durch verschiedene Sensoren über die Umgebung eines Fahrzeugs erfasst werden, passt (d. h. mit darin detektierten Objekten konsistent ist). Wie im Folgenden ausführlich erläutert wird, wird die Szenenkontinuität unter Verwendung spezifischer Modelle wie etwa tiefer neuronaler Netze (die nur beispielhaft überall in der Offenbarung verwendet werden) berechnet. Die berechnete Szenenkontinuität wird mit einem Schwellenwert verglichen, um einen Fehler zu detektieren. Auf der Grundlage des detektierten Fehlers kann eine Störungsabschwächung ausgeführt werden. Zum Beispiel können die Systeme und Verfahren das Selbstfahrmerkmal abschalten, Warnungen an den Fahrer senden, ruhig zur Seite fahren und/oder einen fehlerhaften Wahrnehmungskanal in der Verschmelzung ignorieren (d. h. einen fehlerhaften Kanal isolieren und nicht berücksichtigen, wenn Kanalredundanz verfügbar ist). Die Systeme und Verfahren verbessern die Benutzererfahrung dadurch, dass sie Störungswarnungen bereitstellen und das Wagenparkmanagement optimieren. Die Systeme und Verfahren verbessern die Zuverlässigkeit der Wahrnehmungssysteme und erhöhen ohne zusätzliche Hardware die wahrgenommene Qualität von Fahrzeugen.
Genauer wird die Szenenkontinuität auf der Grundlage semantischer Informationen eines Bilds oder von Ausgangsdaten, die durch Sensoren an Bord eines Fahrzeugs erfasst werden, bestimmt. Die auf der Grundlage der Ausgangsdaten erzeugten Wahrnehmungsergebnisse bieten Informationen über die in einem Rahmen oder in einem Bild detektierten Objekte. Die Szenenkontinuität repräsentiert eine Korrelation zwischen den in dem Rahmen oder in einem kleinen Stapel von Rahmen identifizierten Objekten. Es wird angemerkt, dass die Korrelation keine zwischen Rahmen in einer Zeitfolge ist und dass die Kontinuität somit keine zeitliche Kontinuität ist. Stattdessen ist die Korrelation die eines Objekts mit anderen Objekten in einem oder in mehreren Rahmen. Dementsprechend repräsentiert die Szenenkontinuität die Korrelation zwischen unterschiedlichen Objekten in einem oder in mehreren Rahmen. Wie im Folgenden erläutert wird, kann diese Objektkorrelation oder Szenenkontinuität in einem oder mehreren Rahmen verwendet werden, um eine Störung in dem Wahrnehmungssystem zu isolieren.
Das Wahrnehmungssystem kann z. B. N Objekte in einem Rahmen oder in einem Bild identifizieren, während das Fahrzeug auf einer Straße gefahren wird, wobei N eine ganze Zahl größer als 1 ist. Das Wahrnehmungssystem kann eines der N Objekte fehlerhaft identifizieren. Zum Beispiel kann das fehlerhaft identifizierte Objekt (z. B. ein Fußgänger oder ein Fahrrad auf einer Autobahnspur) tatsächlich nicht vorhanden sein. Als ein anderes Beispiel kann ein Objekt, das tatsächlich vorhanden ist, falsch als ein anderes Objekt identifiziert werden (kann z. B. ein Motorrad als ein Personenkraftwagen identifiziert werden). Das Ziel des Störungsdetektionssystems der vorliegenden Offenbarung ist es, eine solche fehlerhafte oder anomale Objektdetektion durch das Wahrnehmungssystem zu identifizieren.
Für jedes durch das Wahrnehmungssystem in einem Rahmen detektierte Objekt empfängt das Störungsdetektionssystem von dem Wahrnehmungssystem Objektinformationen wie etwa eine Objekt-ID (z. B. eine dem Objekt in dem Rahmen zugewiesene Zahl), eine Objektklasse (z. B. ein Personenkraftwagen, ein Lastkraftwagen, ein Boot usw.), Bounding-Box-Daten (im Folgenden erläutert) und eine Wahrscheinlichkeitsbewertung (ebenfalls im Folgenden erläutert). Das Störungsdetektionssystem berechnet für jedes Objekt auf der Grundlage der semantischen Informationen der Objekte in dem Rahmen eine Kontinuitätsbewertung.
Zum Beispiel kann das Störungsdetektionssystem in einem bestimmten Rahmen, wenn das Fahrzeug auf einer Stadtstraße gefahren wird, den meisten in dem Rahmen identifizierten Personenkraftwagen eine Szenenkontinuitätsbewertung von 1 zuweisen, da die Personenkraftwagen auf der Grundlage der semantischen Informationen der in dem Rahmen detektierten Objekte, von denen die meisten Personenkraftwagen sind, zu der Szene in dem Rahmen „passen“. Allerdings kann das Wahrnehmungssystem in dem Rahmen ebenfalls ein Boot identifizieren, das auf der Stadtstraße unerwartet in dem Rahmen detektiert wird und dem durch das Wahrnehmungsmodul ebenfalls eine hohe Wahrnehmungsbewertung zugewiesen wird. Da das Boot auf der Grundlage der semantischen Informationen der detektierten Objekte in dem Rahmen, von denen die meisten Personenkraftwagen sind, nicht zu der Szene in dem Rahmen „passt“, kann das Störungsdetektionssystem dem Boot eine Szenenkontinuitätsbewertung von 0 zuweisen. Somit kann das Störungsdetektionssystem eine Störung des Wahrnehmungssystems identifizieren, die in diesem Beispiel die falsche Identifikation des Boots in dem Rahmen ist, wenn das Boot tatsächlich nicht vorhanden ist. Eine ähnliche Methodik kann verwendet werden, um eine Störung zu detektieren, wenn das Wahrnehmungssystem ein Objekt, das in dem Rahmen tatsächlich vorhanden ist, falsch identifiziert (wenn das Wahrnehmungssystem z. B. ein Fahrrad falsch als ein Motorrad identifiziert usw.).
Wenn ein Sensor an Bord eines Fahrzeugs in einem Wahrnehmungssystem Daten von einem Objekt um das Fahrzeug erfasst, werden die Ausgangsdaten von dem Sensor zur Verarbeitung an das Wahrnehmungssystem gesendet. Das Wahrnehmungssystem kann z. B. unter Verwendung eines tiefen neuronalen Netzes (DNN) implementiert sein. Für ein aus den Ausgangsdaten erzeugtes gegebenes Bild gibt das neuronale Netz die Informationen für jedes in dem Bild detektierte Objekt einschließlich der Klasse, der Bounding Box und der Wahrscheinlichkeit aus. Das Wahrnehmungssystem stellt eine Darstellung des Objekts in einer Bounding Box mit Positionskoordinaten des Objekts, die die Position des Objekts zur Zeit der Erfassung des Objekts angeben, bereit. Ferner klassifiziert das Wahrnehmungssystem das Objekt (stellt es z. B. eine Angabe über den Typ oder die Klasse des Objekts, ob das Objekt ein Fahrzeug, ein Verkehrszeichen, eine Landmarke, ein Fußgänger usw. ist, bereit). Daraufhin weist das Wahrnehmungssystem einem detektierten Objekt eine Wahrscheinlichkeit zu. Die Wahrscheinlichkeit gibt einen Vertrauensgrad an, mit dem das Wahrnehmungssystem (z. B. das DNN) das Objekt detektiert. Falls z. B. ein Personenkraftwagen in dem Bild etwas undeutlich ist, durch das neuronale Netz aber dennoch erfasst wird, kann er eine niedrige Wahrscheinlichkeit aufweisen. Umgekehrt kann er eine hohe Wahrscheinlichkeit aufweisen, falls ein Personenkraftwagen in dem Bild deutlich ist.
1 zeigt Beispiele eines Detektionsergebnisses oder eines Wahrnehmungsergebnisses, wenn das detektierte Objekt ein Personenkraftwagen ist. Außerdem zeigt 1 die Ground Truth für das detektierte Objekt (in diesem Beispiel einen Personenkraftwagen). Ferner zeigt 1 ein Beispiel einer Bounding Box für das detektierte Objekt. Dementsprechend kann ein Wahrnehmungssystem mehrere Detektionsergebnisse ausgeben, wie sie in der Tabelle in 1 gezeigt sind, wobei die Tabelle für jedes identifizierte Objekt eine ID, eine Klasse, Bounding-Box-Koordinaten und eine Wahrscheinlichkeitsbewertung enthält. Die vorliegende Offenbarung fügt die Szenenkontinuitätsbewertung hinzu, die im Folgenden ausführlich beschrieben erzeugt wird.
Die vorliegende Offenbarung schafft zwei Implementierungen eines Störungsdetektionssystems zum Detektieren von Störungen in einem Wahrnehmungssystem eines Fahrzeugs. Gemäß einer ersten Implementierung bestimmt das Störungsdetektionssystem Szenenkontinuitäten für ein Wahrnehmungsmodul eines weißen Kastens; d. h., wenn das Wahrnehmungssystem und seine Operationen bekannt oder erkennbar sind und wenn das Störungsdetektionssystem somit auf die Elemente oder Komponenten des Wahrnehmungssystems zugreifen kann. Gemäß einer zweiten Implementierung bestimmt das Störungsdetektionssystem die Szenenkontinuitäten für ein Wahrnehmungssystem eines schwarzen Kastens; d. h., wenn das Wahrnehmungssystem und seine Operationen unbekannt oder nicht erkennbar sind und wenn das Störungsdetektionssystem somit auf die Elemente oder Komponenten des Wahrnehmungssystems nicht zugreifen kann.
2 zeigt die erste Implementierung, in der ein Wahrnehmungssystem 100 ein weißer Kasten ist. Das Wahrnehmungssystem 100 umfasst ein Wahrnehmungsmodul 102, das von Sensoren 104 an Bord eines Fahrzeugs einen Rahmen oder einen Stapel von Rahmen von Daten D_k empfängt. Der Stapel von Rahmen kann z. B. ein oder mehrere Bilder enthalten. Vorzugsweise können die Rahmen in einem Stapel kontinuierlich (d. h. aufeinanderfolgend) sein, aber sie müssen nicht kontinuierlich sein. Das Wahrnehmungsmodul 102 erzeugt unter Verwendung eines trainierten Modells wie etwa eines tiefen neuronalen Netzes (DNN) Vorschläge P_k, die mögliche Kandidaten für die Objekte in dem einen oder in den mehreren empfangenen Rahmen sind. Ein Objekt, das sich von einem Rahmen zu einem anderen bewegt hat, kann zwei Vorschläge aufweisen; einen, wenn es in einem ersten Rahmen detektiert wird, und einen anderen, wenn es in einem nächsten Rahmen detektiert wird. Das Wahrnehmungssystem 100 umfasst ein Filter 106, das die Vorschläge filtert und Detektionsergebnisse R_k erzeugt, die in den empfangenen Rahmen identifizierte Objekte angeben.
In Abhängigkeit von dem von dem Wahrnehmungsmodul 102 verwendeten Modell können die Vorschläge die Form einer Matrix mit einer festen Größe wie etwa z. B. N × 6 aufweisen, wobei N die Anzahl der Vorschläge oder Kandidaten bezeichnet, die Zeilen der Matrix bilden; und die Zahl 6 als ein Beispiel den Typ von Informationen für jeden Kandidaten (z. B. die Klasse (1 Spalte), Bounding-Box-Koordinaten (4 Spalten) und eine Wahrscheinlichkeitsbewertung (1 Spalte)) bezeichnet. Die Zahl N kann verhältnismäßig hoch (z. B. in Hunderten) sein. Siehe z. B. die in 1 gezeigte Tabelle. Die Anzahl der Vorschläge kann für ein gegebenes Wahrnehmungsmodul unabhängig davon, ob in das Wahrnehmungsmodul ein einzelner Rahmen oder ein Stapel von Rahmen eingegeben wird, festgesetzt sein. Eine Szene ist in diesem Beispiel eine Sammlung von N Vorschlägen.
Das Wahrnehmungsmodul 102 weist jedem der Kandidaten eine Wahrscheinlichkeitsbewertung zu, die eine Wahrscheinlichkeit angibt, dass er als ein Objekt in den empfangenen Rahmen richtig detektiert worden ist. Allerdings können viele dieser N Kandidaten eine verhältnismäßig niedrige Wahrscheinlichkeitsbewertung aufweisen und kann es notwendig sein, sie herauszufiltern. Zum Beispiel können viele dieser N Kandidaten verhältnismäßig niedrige Wahrscheinlichkeitsbewertungen aufweisen, da diese Kandidaten Objekte wie etwa Verkehrszeichen, Bäume und Kandidaten, die klein, fern, undeutlich und/oder mit überlappenden Bounding Boxen sind und somit nicht identifizierbar oder ungültig sind, enthalten können.
Das Filter 106 filtert die Vorschläge, um diese Kandidaten mit verhältnismäßig niedrigen Wahrscheinlichkeitsbewertungen zu entfernen, und erzeugt Detektionsergebnisse R_k, die Objekte angeben, die in den empfangenen Rahmen mit verhältnismäßig hohen Wahrscheinlichkeitsbewertungen identifiziert sind. Außerdem filtert das Filter 106 die Vorschläge, die hoch überlappende Koordinaten aufweisen. Die Detektionsergebnisse können z. B. in Form einer Matrix wie etwa M × 6 sein, wobei M im Vergleich zu N eine verhältnismäßig kleine ganze Zahl (z. B. näherungsweise kleiner als 10) ist.
Ein Störungsdetektionssystem, auch ein Störungsdetektionsmodul genannt, 110 umfasst ein Kontinuitätsbestimmungsmodul 112, das ein zweites DNN enthält, das dafür trainiert ist, für die durch das Wahrnehmungsmodul 102 erzeugten Vorschläge P_k Szenenkontinuitätsbewertungen zu erzeugen. Da das Wahrnehmungsmodul 102 ein weißer Kasten ist, kann das Format (z. B. die Größe der Matrix) der Vorschläge P_k bekannt sein. Dementsprechend empfängt das zweite DNN (d. h. das Kontinuitätsbestimmungsmodul 112) die durch das Wahrnehmungsmodul 102 erzeugten Vorschläge P_k und weist es den Vorschlägen P_k Szenenkontinuitätsbewertungen zu. Zum Beispiel weist die Ausgabe des zweiten DNN (d. h. des Kontinuitätsbestimmungsmoduls 112) die Form einer Matrix S_k ^~ der Größe N × 1 auf, wobei die eine Spalte für jeden der N Kandidaten oder Vorschläge P_k eine Szenenkontinuitätsbewertung enthält.
Das Störungsdetektionsmodul 110 umfasst ein Filter 114, das ähnlich dem Filter 106 des Wahrnehmungssystems 100 ist, das die Ausgabe des zweiten DNN (d. h. des Kontinuitätsbestimmungsmoduls 112) unter Verwendung desselben Filters wie des von dem Wahrnehmungssystem 100 verwendeten filtert. Da das Wahrnehmungssystem 102 ein weißer Kasten ist und das Filter 106 somit bekannt oder erkennbar ist, ist es wieder möglich, dasselbe Filter zu verwenden. Die Ausgabe des Filters 114 weist die Form einer Matrix S_k der Größe M × 1 auf, wobei M dieselben durch das Wahrnehmungsmodul 102 in der Ausgabe seines Filters 106 (d. h. in den Detektionsergebnissen R_k) identifizierten Objekte bezeichnet. Die eine Spalte in der Ausgabe des Filters 114 enthält für jedes der durch das Wahrnehmungsmodul 102 in der Ausgabe seines Filters 106 (d. h. in den Detektionsergebnissen R_k) identifizierten M Objekte eine Szenenkontinuitätsbewertung.
Falls eines der M Objekte eine verhältnismäßig niedrige Szenenkontinuitätsbewertung aufweist, kann das Störungsdetektionsmodul 110 bestimmen, dass dieses Objekt durch das Wahrnehmungsmodul 102 in den Detektionsergebnissen R_k falsch identifiziert wird. Auf diese Weise kann durch das Störungsdetektionsmodul 110 ein Fehler in dem Wahrnehmungsmodul 102 detektiert werden.
Um das zweite DNN in der Fabrik wie folgt zu trainieren, bevor das Störungsdetektionsmodul 110 in Fahrzeugen eingesetzt wird, um Fehler in dem Wahrnehmungsmodul 102 während der Laufzeit (d. h. während des laufenden Betriebs, wenn das Fahrzeug mit dem Wahrnehmungsmodul 102 auf Straßen gefahren wird) zu detektieren, wird ein Trainingsmodul 120 verwendet. Während der Laufzeit wird das Trainingsmodul 120 nicht verwendet. Das Trainingsmodul 120 enthält ein Korrelationsmodul 122, das N Vorschläge P_k empfängt, die durch das DNN des Wahrnehmungsmoduls 102 für einen Stapel von Rahmen erzeugt werden. P_k kann geändert werden, um richtige oder falsche Detektionen hinzuzufügen, um den Trainingsdatensatz zu vergrößern. In das Korrelationsmodul 122 werden Ground-Truth-Daten (d. h. markierte Daten) L_k über die tatsächlichen, bekannten Objekte in den Rahmen eingegeben. Das Korrelationsmodul 122 korreliert jeden Vorschlag P_k mit den Ground-Truth-Daten L_k. Das Korrelationsmodul 122 weist jedem der Vorschläge P_k eine Ground-Truth-Kontinuitätsbewertung zu. Falls das Objekt in dem Vorschlag mit den Objekten in den Ground-Truth-Daten konsistent ist (oder semantisch zusammenpasst), ist die Bewertung eine 1, und falls das Objekt in dem Vorschlag mit den Objekten in den Ground-Truth-Daten inkonsistent ist (oder semantisch nicht zusammenpasst), eine 0. Gleich, ob das inkonsistente Objekt identifiziert wird, ohne tatsächlich vorhanden zu sein (z. B. ein nicht vorhandenes Boot), oder vorhanden ist, aber falsch identifiziert wird (z. B. ein als ein Personenkraftwagen identifiziertes Motorrad), ist die Bewertung null. Die Bewertung kann irgendeine Zahl zwischen 0 und 1 sein. Somit erzeugt das Korrelationsmodul 122 eine Matrix S_k ^∧ der N Vorschläge und ihrer Ground-Truth-Kontinuitätsbewertungen. Die Matrix S_k ^∧ weist die Größe N × 1 auf.
Während des Trainings werden dieselben Vorschläge, die in das Korrelationsmodul 122 eingegeben werden, ebenfalls in das zweite DNN (d. h. das Kontinuitätsbestimmungsmodul 112) des Störungsdetektionsmoduls 110 eingegeben. Wie oben beschrieben wurde, erzeugt das zweite DNN (d. h. das Kontinuitätsbestimmungsmodul 112) ebenfalls eine Kontinuitätsbewertungsmatrix S_k ^- der Größe N × 1. Das Trainingsmodul 120 enthält ein Verlustfunktionsmodul 124, das unter Verwendung einer L2-Norm eine Verlustfunktion der zwei Matrizen S_k ^A und S_k" berechnet, was das Bestimmen von Fehlern auf der Grundlage elementweiser Vergleiche zwischen den zwei Matrizen S_k ^A und S_k ^- umfasst, und die Fehler daraufhin aggregiert. $L = m e a n ({‖ {\hat{S}}_{k} - {\tilde{S}}_{k} ‖}_{2}^{2})$
In der obigen Gleichung bezeichnet der tiefgestellte Index 2 die L2-Norm und gibt der hochgestellte Index 2 den unter Verwendung L2-Norm erhaltenen elementweisen quadratischen Fehler an. Falls die zwei Matrizen gleich sind, ist die Verlustfunktion null. Falls die Verlustfunktion von null verschieden ist, wird das zweite DNN rekursiv trainiert, bis die Verlustfunktion minimiert ist.
3 zeigt die zweite Implementierung, in der ein Wahrnehmungsmodul 200 ein schwarzer Kasten ist. Dementsprechend sind nur die durch das Wahrnehmungsmodul 200 erzeugten Enddetektionsergebnisse R_k verfügbar. In das Wahrnehmungsmodul 200 wird wieder ein einzelner Rahmen oder ein Stapel von Rahmen (kontinuierlich oder nicht kontinuierlich) eingegeben. Eine Szene ist eine Sammlung der durch das Wahrnehmungsmodul 200 erzeugten Detektionsergebnisse R_k. In den Detektionsergebnissen R_k kann die Anzahl M der identifizierten Objekte variieren, wenn die Daten D_k in jedem Satz von Rahmen variieren.
In der zweiten Implementierung gibt das Wahrnehmungsmodul 200 zu irgendeiner gegebenen Zeit M Detektionsergebnisse aus, wobei M irgendeine nicht negative ganze Zahl ist. Falls M gleich null ist, kann der Störungsdetektionsprozess übersprungen werden, da es keine zu diagnostizierenden Detektionsergebnisse gibt. Ein Störungsdetektionssystem, auch ein Störungsdetektionsmodul genannt, 202 enthält ein Auswahlmodul 204, das die M Detektionsergebnisse, eines nach dem anderen, auswählt, und der Rest des Störungsdetektionsmoduls 202 führt durch Auswählen jedes der M Detektionsergebnisse der Reihe nach iterativ die im Folgenden beschriebene Verarbeitung aus. Somit ist die Ausgabe r_k des Auswahlmoduls 204 z. B. eine Matrix mit der festen Größe von 1 × 6, wobei die eine Zeile das aus den M Detektionsergebnissen ausgewählte einzelne Objekt oder Detektionsergebnis bezeichnet. Die Ausgabe r_k des Auswahlmoduls 204 wird in ein Kontinuitätsbestimmungsmodul 206 eingegeben, das ein erstes DNN enthält, um die wie im Folgenden beschrieben Szenenkontinuitätsbewertungen zu bestimmen.
Ferner umfasst das Störungsdetektionsmodul 202 ein Merkmalsextraktionsmodul 208, das ein zusätzliches zweites DNN enthält, das aus den Ausgangsdaten D_k der empfangenen Rahmen Merkmale F_k extrahiert. Die Merkmale F_k repräsentieren die semantischen Informationen des gesamten Bilds, die den empfangenen Rahmen zugeordnet sind. Das erste DNN (d. h. das Kontinuitätsbestimmungsmodul 206) vergleicht das ausgewählte Objekt oder Detektionsergebnis r_k mit den Merkmalen F_k, die die semantischen Informationen des gesamten Bilds repräsentieren, und weist dem Objekt r_k eine Szenenkontinuitätsbewertung S_k zu. Die Szenenkontinuitätsbewertung S_k für das Objekt r_k ist eine Matrix der Größe 1 × 1, wobei die eine Spalte die Szenenkontinuitätsbewertung S_k für das Objekt r_k bezeichnet.
Der obige Prozess des Erzeugens der Szenenkontinuitätsbewertung wird für das nächste Objekt r_k wiederholt, bis für alle M Objekte Szenenkontinuitätsbewertungen s_k erzeugt worden sind. Es wird angemerkt, dass die Merkmalsinformationen F_k während der Szenenkontinuitätsbewertungserzeugung für alle M Objekte dieselben bleiben. Ferner umfasst das Störungsdetektionsmodul ein Kombinationsmodul 210, das die Szenenkontinuitätsbewertungen s_k aller M Objekte zu einer Szenenkontinuitätsbewertung S_k, die die Form einer Matrix S_k der Größe M × 1 aufweist, kombiniert und ausgibt.
Um das erste DNN wie folgt in der Fabrik zu trainieren, bevor das Störungsdetektionsmodul 202 in Fahrzeugen eingesetzt wird, wird ein Trainingsmodul 220 verwendet, um Fehler in dem Wahrnehmungsmodul 200 während der Laufzeit (d. h. während des laufenden Betriebs, wenn das Fahrzeug mit dem Wahrnehmungsmodul 200 auf Straßen gefahren wird) zu detektieren. Während der Laufzeit wird das Trainingsmodul 220 nicht verwendet. Das Trainingsmodul 220 enthält ein Korrelationsmodul 222, das das ausgewählte Objekt oder Detektionsergebnis r_k für einen Stapel von Rahmen empfängt. r_k kann geändert werden, um richtige oder falsche Detektionen hinzuzufügen, um den Trainingsdatensatz zu vergrößern. Die Ground-Truth-Daten (d. h. markierten Daten) L_k über die tatsächlichen bekannten Objekte in den Rahmen werden in das Korrelationsmodul 222 eingegeben. Das Korrelationsmodul 222 korreliert das ausgewählte Objekt r_k mit den Ground-Truth-Daten L_k. Das Korrelationsmodul 222 weist dem ausgewählten Objekt r_k eine Ground-Truth-Kontinuitätsbewertung zu. Falls das Objekt in dem ausgewählten Objekt r_k mit den Objekten in den Ground-Truth-Daten konsistent ist (oder semantisch zusammenpasst), ist die Bewertung eine 1, und falls das Objekt in dem ausgewählten Objekt r_k mit den Objekten in den Ground-Truth-Daten inkonsistent ist (oder semantisch nicht zusammenpasst), eine 0. Die Bewertung kann irgendeine Zahl zwischen 0 und 1 sein. Somit erzeugt das Korrelationsmodul 222 eine Matrix s_k ^∧ des ausgewählten Objekts r_k und seiner Ground-Truth-Kontinuitätsbewertung. Die Matrix s_k ^∧ weist die Größe 1 × 1 auf.
Während des Trainings wird dasselbe ausgewählte Objekt r_k, das in das Korrelationsmodul 222 eingegeben wird, ebenfalls in das erste DNN (d. h. in das Kontinuitätsbestimmungsmodul 206) eingegeben. Das erste DNN (d. h. das Kontinuitätsbestimmungsmodul 206) erzeugt außerdem wie oben beschrieben eine Kontinuitätsbewertungsmatrix s_k der Größe 1 × 1. Das Trainingsmodul 220 enthält ein Verlustfunktionsmodul 224, das unter Verwendung einer L2-Norm eine Verlustfunktion der zwei Matrizen s_k ^∧ und s_k berechnet, was das Bestimmen von Fehlern auf der Grundlage elementweiser Vergleiche zwischen zwei Matrizen s_k ^∧ und s_k und daraufhin das Aggregieren der Fehler umfasst. $L = m e a n ({‖ {\hat{S}}_{k} - S_{k} ‖}_{2}^{2})$
In der obigen Gleichung bezeichnet wieder der tiefgestellte Index 2 die L2-Norm und bezeichnet der hochgestellte Index 2 den elementweisen quadratischen Fehler, der unter Verwendung der L2-Norm erhalten wird. Falls die zwei Matrizen gleich sind, ist die Verlustfunktion null. Falls die Verlustfunktion von null verschieden ist, wird das erste DNN rekursiv trainiert, bis die Verlustfunktion minimiert ist.
Der obige Trainingsprozess wird für jedes ausgewählte Objekt r_k wiederholt, bis das Training für alle M detektierten Objekte abgeschlossen ist.
Es wird angemerkt, dass eine Szenenkontinuitätsbewertung in beiden Implementierungen kein binärer Wert von 0 oder 1 ist. Vielmehr ist eine Szenenkontinuitätsbewertung irgendein Wert zwischen 0 und 1; d. h. größer oder gleich 0 und kleiner oder gleich 1. Obwohl diese Informationen nützlich bei der Unterscheidung dazwischen sein können, ob ein Wahrnehmungssystem ein nicht vorhandenes Objekt identifiziert hat oder ein vorhandenes Objekt falsch identifiziert hat, detektiert das Störungsdetektionssystem, ob die Szenenkontinuitätsbewertung näher an 0 oder näher an 1 ist, auf der Grundlage dessen das Störungsdetektionssystem eine Störung in dem Wahrnehmungssystem detektiert.
Außerdem wird angemerkt, dass das bekannte Wahrnehmungsmodul in der ersten Implementierung ebenfalls als ein schwarzer Kasten angesehen (d. h. behandelt) werden kann, wie es in der zweiten Implementierung erläutert ist. Dementsprechend kann die zweite Implementierung ebenfalls mit einem bekannten Wahrnehmungsmodul verwendet werden.
4 zeigt ein Diagnosemodul 250 und ein Abschwächungsmodul 252, die zusammen mit oder integriert mit den Störungsdetektionsmodulen 110 oder 202 beider Implementierungen verwendet werden können. Das heißt, diese Module sind Teil der in 2 und 3 gezeigten Störungsdetektionssysteme. Wenn die Störungsdetektionsmodule 110, 202 auf der Grundlage der Szenenkontinuitätsbewertungen eine Wahrscheinlichkeit einer Störungsbedingung oder einer anomalen Objektdetektion durch das Wahrnehmungssystem 100 oder 200 detektieren, analysiert das Diagnosemodul 250 die Szenenkontinuitätsbewertungen der detektierten Objekte wie folgt. Auf der Grundlage der Analysen diagnostiziert das Diagnosemodul 250, ob das Wahrnehmungssystem 100 oder 200 fehlerhaft ist, ob das Wahrnehmungssystem 100 oder 200 normal (d. h. ohne Störung) arbeitet oder ob das Wahrnehmungssystem 100 oder 200 eine Überprüfung benötigt.
Das Diagnosemodul 250 teilt die Szenenkontinuitätsbewertungen s_k für alle durch das Wahrnehmungsmodul (weißer Kasten oder schwarzer Kasten) identifizierten Objekte in einem Satz von Szenenkontinuitätsbewertungen S_k in drei Gruppen: Gruppen mit niedrigen, mittleren oder hohen Szenenkontinuitätsbewertungen. Zum Beispiel gruppiert das Diagnosemodul 250 Szenenkontinuitätsbewertungen _Sk ⁱ, die kleiner als ein erster Schwellenwert θ₁ sind, zu einem ersten Satz {s_k ^l}; gruppiert das Diagnosemodul 250 Szenenkontinuitätsbewertungen s_k ^m, die größer oder gleich dem ersten Schwellenwert θ₁ sind, die aber kleiner oder gleich einem zweiten Schwellenwert θ₂ sind, zu einem zweiten Satz {s_k ^m}; und gruppiert das Diagnosemodul 250 Szenenkontinuitätsbewertungen s_k ^h, die größer als der zweite Schwellenwert θ₂ sind, zu einem dritten Satz {s_k ^h}.
Daraufhin berechnet das Diagnosemodul 250 unter Verwendung von Gewichten unter Verwendung der folgenden Gleichung eine Szenendiskontinuitätsbewertung für den gesamten Rahmen oder für den gesamten Stapel von Rahmen. Die Gewichte in der folgenden Gleichung können 1 sein oder können eingestellt (z. B. kalibriert) werden, um eine oder mehrere Gruppen hervorzuheben, um die Störungsidentifikation zu verbessern. ${\bar{S}}_{k} = w_{l} \cdot m e a n {1 - s_{k}^{l}} + w_{m} \cdot m e a n {1 - s_{k}^{m}} + w_{h} \cdot m e a n {1 - s_{k}^{h}}$
Falls die Szenendiskontinuitätsbewertung größer als ein dritter Schwellenwert θ₃ ist, detektiert das Diagnosemodul 250 eine Störung in dem Wahrnehmungssystem. Falls die Szenendiskontinuitätsbewertung kleiner als ein vierter Schwellenwert θ₄ ist, bestimmt das Diagnosemodul 250, dass das Wahrnehmungssystem normal (d. h. ohne irgendeine Störung) arbeitet. Falls die Szenendiskontinuitätsbewertung zwischen dem dritten und dem vierten Schwellenwert liegt; d. h., falls die Szenendiskontinuitätsbewertung größer oder gleich dem vierten Schwellenwert θ₄, aber kleiner oder gleich dem dritten Schwellenwert θ₃ ist, bestimmt das Diagnosemodul 250, dass das Wahrnehmungssystem verdächtig ist, und empfiehlt es die Überprüfung des Wahrnehmungssystems.
Wenn das Störungsdetektionssystem (z. B. das Diagnosemodul 250) eine Störung in dem Wahrnehmungssystem detektiert, schwächt das Abschwächungsmodul 252 eine Störung ab. Nichteinschränkende Beispiele von durch das Abschwächungsmodul 252 ausgeführten Abschwächungsprozeduren enthalten die Folgenden: Zum Beispiel kann die Abschwächungsprozedur enthalten, dass dieser Sensor nicht berücksichtigt wird und stattdessen ein anderer Sensor (z. B. eine andere Kamera) verwendet wird, falls das Störungsdetektionssystem eine Sensorstörung angibt (z. B., wenn eine der Kameras nicht richtig arbeitet). Zum Beispiel kann die Abschwächungsprozedur enthalten, dass der Insasse gewarnt wird, sofort die Steuerung des Fahrzeugs zu übernehmen und das Selbstfahrmerkmal abzuschalten, falls das Störungsdetektionssystem eine Störung in dem Wahrnehmungssystem angibt (d. h., falls die Wahrnehmungssystemergebnisse falsch sind). Eine derartige Warnmeldung kann z. B. audiovisuell über ein Infotainmentteilsystem des Fahrzeugs ausgegeben werden. In Abhängigkeit von der Schwere der Störung kann die Abschwächungsprozedur ebenfalls enthalten, dass das Fahrzeug (z. B. unter Verwendung eines autonomen Teilsystems des Fahrzeugs) an den Straßenrand zur Seite gefahren wird. Es werden zusätzliche Beispiele von Abschwächungsprozeduren betrachtet.
Das Störungsdetektionssystem (z. B. das Abschwächungssystem 252) kann mit verschiedenen Teilsystemen 260 des Fahrzeugs kommunizieren. Zum Beispiel können die Teilsysteme 260 ein Infotainmentteilsystem (z. B., um Warnungen bereitzustellen), ein Teilsystem für autonomes Fahren oder Selbstfahrteilsystem (z. B. zum Steuern des Fahrzeugs, zum Abschwächen von Störungen usw.), ein Bremsteilsystem, ein Geschwindigkeitsregelungsteilsystem, ein Navigationsteilsystem, ein Kommunikationsteilsystem (z. B., um mit einem in 7A und 7B gezeigten Back-End-System auf Cloud-Grundlage zu kommunizieren) usw. enthalten, sind darauf aber nicht beschränkt.
Das Störungsdetektionssystem kann auf der Grundlage vieler verschiedener Bedingungen ausgelöst werden. Nichteinschränkende Beispiele solcher Bedingungen enthalten die Folgenden. Zum Beispiel kann die Störungsdetektion periodisch (z. B. alle N Minuten, nach jeder Zündung, nach X Minuten nach jeder Zündung, nach Y Minuten, nachdem sich das Fahrzeug zu bewegen beginnt, nachdem es wie etwa bei einer Verkehrsampel oder bei einem Verkehrszeichen zu einem Halt gekommen ist usw.) ausgeführt werden. Zum Beispiel kann die Störungsdetektion jedes Mal ausgelöst werden, wenn sich das Fahrzeug einer bestimmten Kreuzung oder einem Ort (z. B. in einem Innenstadtbereich), wo es eine Wahrscheinlichkeit eines Wahrnehmungsfehlers geben kann, annähert oder hindurchfährt. Zum Beispiel kann die Störungsdetektion auf Autobahnen seltener als in Städten ausgelöst werden.
Benutzer können die Störungsdetektion auf der Grundlage ihrer Präferenzen auslösen (d. h. einschalten). Ein Wagenparkmanager kann die Störungsdetektion in Abhängigkeit von Situationen auslösen, unter denen die Fahrzeuge in einem Wagenpark gefahren werden. Zum Beispiel kann das Störungsdetektionssystem in einem Taxi weniger ausgelöst werden, wenn das Taxi von einem Flughafen zu einem Park-and-Ride-Platz in der Nähe einer Autobahn fährt, als wenn das Taxi von einem Flughafen in eine Stadt fährt. Alternativ kann die Störungsdetektion ohne Berücksichtigung irgendwelcher Auslösebedingungen ununterbrochen ausgeführt werden. Andere Beispiele zusätzlicher Faktoren oder Betrachtungen (Grundlagen), die die Störungsdetektion auslösen können, werden betrachtet.
5 zeigt ein erstes Verfahren 300 für die Störungsdetektion gemäß der vorliegenden Offenbarung. Zum Beispiel können ein oder mehrere in 2 und 4 gezeigte Elemente einen oder mehrere Schritte des ersten Verfahrens 300 implementieren. Bei 302 empfängt die Steuerung von Sensoren an Bord ihres Fahrzeugs einen oder mehrere Rahmen von Daten. Bei 304 erzeugt die Steuerung auf der Grundlage der Daten unter Verwendung eines Modells wie etwa eines tiefen neuronalen Netzes Vorschläge zum Detektieren von Objekten. Bei 306 filtert die Steuerung die Vorschläge, um für auf der Grundlage der Daten detektierte Objekte Detektionsergebnisse zu erzeugen.
Bei 308 weist die Steuerung für die Vorschläge Szenenkontinuitätsbewertungen zu. Bei 310 filtert die Steuerung, wie oben anhand von 2 beschrieben wurde, die Vorschläge mit den Szenenkontinuitätsbewertungen. Bei 312 bestimmt die Steuerung auf der Grundlage der gefilterten Vorschläge mit den Szenenkontinuitätsbewertungen unter Verwendung einer Gruppierung, einer Gewichtung und von Schwellenwerten, wie oben anhand von 4 beschrieben wurde, ob eines der Detektionsergebnisse fehlerhaft ist.
Bei 314 bestimmt die Steuerung auf der Grundlage der bei 312 ausgeführten Analyse, ob das Wahrnehmungssystem normal (d. h. ohne irgendeine Störung) arbeitet. Falls das Wahrnehmungssystem normal arbeitet, endet das Verfahren. Falls das Wahrnehmungssystem dagegen nicht normal arbeitet, bestimmt die Steuerung bei 316 auf der Grundlage der bei 312 ausgeführten Analyse, ob in dem Wahrnehmungssystem eine Störung detektiert wird. Falls in dem Wahrnehmungssystem eine Störung detektiert wird, schwächt die Steuerung die Störung bei 318 wie oben beschrieben ab. Falls dagegen keine Störung detektiert wird, das Wahrnehmungssystem aber ebenfalls nicht normal arbeitet (wie durch Vergleiche mit verschiedenen Schwellenwerten während der oben beschriebenen Analyse angegeben würde), empfiehlt die Steuerung bei 320 eine Überprüfung des Wahrnehmungssystems.
6 zeigt ein zweites Verfahren 350 für die Störungsdetektion gemäß der vorliegenden Offenbarung. Zum Beispiel können ein oder mehrere in 3 und 4 gezeigte Elemente einen oder mehrere Schritte des ersten Verfahrens 350 implementieren. Bei 325 empfängt die Steuerung von Sensoren an Bord ihres Fahrzeugs einen oder mehrere Rahmen von Daten. Bei 354 erzeugt die Steuerung für auf der Grundlage der Daten detektierte Objekte Detektionsergebnisse. Bei 356 erzeugt die Steuerung auf der Grundlage der Daten unter Verwendung eines Modells wie etwa eines tiefen neuronalen Netzes Merkmale.
Bei 358 wählt die Steuerung ein erstes Detektionsergebnis aus. Bei 360 gibt die Steuerung die Merkmale und das ausgewählte Detektionsergebnis in ein zweites tiefes neuronales Netz ein. Bei 362 weist die Steuerung dem ausgewählten Detektionsergebnis auf der Grundlage der Merkmale unter Verwendung des zweiten tiefen neuronalen Netzes eine Szenenkontinuitätsbewertung zu. Bei 364 bestimmt die Steuerung, ob alle Detektionsergebnisse verarbeitet worden sind. Falls nicht alle Detektionsergebnisse verarbeitet worden sind, wählt die Steuerung bei 366 das nächste Detektionsergebnis aus und geht sie zu 360 über. Nachdem alle Detektionsergebnisse verarbeitet worden sind, kombiniert die Steuerung die Detektionsergebnisse bei 368, wie oben anhand von 3 beschrieben wurde, mit ihren jeweiligen Szenenkontinuitätsbewertungen.
Bei 370 bestimmt die Steuerung auf der Grundlage der Detektionsergebnisse mit den Szenenkontinuitätsbewertungen unter Verwendung von Gruppierung, Gewichtung und Schwellenwerten, wie oben anhand von 4 beschrieben wurde, ob eines der Detektionsergebnisse fehlerhaft ist. Bei 372 bestimmt die Steuerung auf der Grundlage der bei 370 ausgeführten Analyse, ob das Wahrnehmungssystem normal arbeitet (d. h. ohne irgendeine Störung ist). Falls das Wahrnehmungssystem normal arbeitet, endet das Verfahren. Falls das Wahrnehmungssystem dagegen nicht normal arbeitet, bestimmt die Steuerung bei 374 auf der Grundlage der bei 370 ausgeführten Analyse, ob in dem Wahrnehmungssystem eine Störung detektiert wird. Falls eine Störung in dem Wahrnehmungssystem detektiert wird, schwächt die Steuerung die Störung bei 376 wie oben beschrieben ab. Falls dagegen keine Störung detektiert wird, das Wahrnehmungssystem aber ebenfalls nicht normal arbeitet (wie durch Vergleiche mit verschiedenen Schwellenwerten während der oben beschriebenen Analyse angegeben würde), empfiehlt die Steuerung bei 378 eine Überprüfung des Wahrnehmungssystems.
Das Folgende sind simplistische Beispiele einer verteilten Computerumgebung, in der die Systeme und Verfahren der vorliegenden Offenbarung implementiert werden können. Überall in der Beschreibung dienen Bezugnahmen auf Begriffe wie etwa Server, Client-Vorrichtungen, Anwendungen usw. nur zu Veranschaulichungszwecken. Die Begriffe Server und Client-Vorrichtung sind umfassend in der Weise zu verstehen, dass sie Computervorrichtungen mit einem oder mehreren Prozessoren und mit Speicher, die dafür konfiguriert sind, maschinenlesbare Anweisungen auszuführen, repräsentieren. Die Begriffe Anwendung und Computerprogramm sind umfassend in der Weise zu verstehen, dass sie maschinenlesbare Anweisungen repräsentieren, die durch die Computervorrichtungen ausgeführt werden können.
7A zeigt ein vereinfachtes Beispiel eines verteilten Computersystems 400. Das verteilte Computersystem 400 enthält ein verteiltes Kommunikationssystem 410, ein oder mehrere Fahrzeuge 420-1, 420-2, ... und 420-M (zusammen Fahrzeuge 420) und einen oder mehrere Server 430-1, 430-2, ... und 430-N (zusammen Server 430). M und N sind ganze Zahlen größer oder gleich eins.
Das verteilte Kommunikationssystem 410 kann ein lokales Netz (LAN), ein Weitverkehrsnetz (WAN) wie etwa das Internet oder einen anderen Typ eines Netzes enthalten. Die Fahrzeuge 420 und die Server 430 können sich an unterschiedlichen geografischen Orten befinden und können über das verteilte Kommunikationssystem 410 miteinander kommunizieren. Zum Beispiel können sich die Server 430 in einem Rechenzentrum in einer Cloud befinden. Die Fahrzeuge 420 und die Server 430 können sich unter Verwendung drahtloser und/oder verdrahteter Verbindungen mit dem verteilten Kommunikationssystem 410 verbinden.
Die Fahrzeuge 420 können wie oben anhand von 1-6 gezeigte und beschriebene Systeme enthalten, die Softwareanwendungen wie etwa die verschiedenen oben anhand von 1-6 beschriebenen Verfahren ausführen können. Die Server 430 können mehrere Dienste für die Fahrzeuge 420 bereitstellen. Zum Beispiel können die Server 430 durch einen oder mehrere Lieferanten entwickelte Softwareanwendungen (z. B. ein Back-End-System zum Detektieren und Abschwächen von Störungen) ausführen. Die Server 430 können mehrere Datenbanken hosten, auf die sich die Softwareanwendungen bei der Bereitstellung von Diensten für Benutzer der Fahrzeuge 420 stützen.
7B zeigt ein vereinfachtes Beispiel des Servers 430-1. Üblicherweise enthält der Server 430-1 eine oder mehrere CPUs oder Prozessoren 470, eine Netzschnittstelle 478, einen Speicher 480 und einen Massenablagespeicher 482. Gemäß einigen Implementierungen kann der Server 430-1 ein Universalserver sein und eine oder mehrere Eingabevorrichtungen 472 (z. B. ein Tastenfeld, ein Touchpad, eine Maus usw.) und ein Anzeigeteilsystem 474, das eine Anzeige 476 enthält, enthalten.
Die Netzschnittstelle 478 verbindet den Server 430-1 mit dem verteilten Kommunikationssystem 410. Die Netzschnittstelle 478 kann z. B. eine verdrahtete Schnittstelle (z. B. eine Ethernet-Schnittstelle) und/oder eine drahtlose Schnittstelle (z. B. eine Wi-Fi-, Bluetooth-, Nahfeldkommunikations- (NFC-) oder andere drahtlose Schnittstelle) enthalten. Der Speicher 480 kann einen flüchtigen oder nichtflüchtigen Speicher, einen Cache oder einen anderen Typ eines Speichers enthalten. Der Massenablagespeicher 482 kann einen Flash-Speicher, eine oder mehrere magnetische Festplattenvorrichtungen (HDDs) oder andere Massenablagespeichervorrichtungen enthalten.
Der Prozessor 470 des Servers 430-1 führt ein Betriebssystem (OS) 484 und eine oder mehrere Serveranwendungen 486 (z. B. das Back-End-System zum Detektieren und Abschwächen von Störungen und/oder zum weiteren Analysieren geringfügiger oder nicht schwerer Störungen) aus, die in einer Hypervisor- oder Containerarchitektur einer virtuellen Maschine aufgenommen sein können. Der Massenablagespeicher 482 kann eine oder mehrere Datenbanken 488 speichern, die Datenstrukturen speichern, die von den Serveranwendungen 486 verwendet werden, um jeweilige Funktionen auszuführen.
Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Obwohl diese Offenbarung bestimmte Beispiele enthält, soll der wahre Schutzumfang der Offenbarung somit nicht darauf beschränkt sein, da andere Änderungen beim Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche hervorgehen. Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in irgendeiner und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen durch eine andere bleiben im Schutzumfang der Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf‟, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind. Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden.
Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chipplättchen, mehrere Prozessorschaltungen auf einem einzelnen Chipplättchen, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagespeichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

System, das umfasst: ein Wahrnehmungsmodul, das dafür konfiguriert ist, von Sensoren an Bord eines Fahrzeugs einen oder mehrere Rahmen von Daten hinsichtlich einer Umgebung des Fahrzeugs zu empfangen und auf der Grundlage der Daten von dem einen oder den mehreren Rahmen Objekte, die das Fahrzeug umgeben, zu identifizieren; und ein Störungsdetektionsmodul, das konfiguriert ist zum: Bestimmen semantischer Informationen, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind; Erzeugen einer Bewertung für jedes der identifizierten Objekte auf der Grundlage einer Korrelation jedes der identifizierten Objekte mit den semantischen Informationen; Erzeugen einer Bewertung für den einen oder die mehreren Rahmen auf der Grundlage der Bewertungen für die identifizierten Objekte; und Bestimmen, dass: das Wahrnehmungsmodul normal arbeitet in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen kleiner als ein erster Schwellenwert ist; das Wahrnehmungsmodul eine Störung aufweist, in Ansprechen darauf, dass die Bewertung für den einen oder die mehreren Rahmen größer als ein zweiter Schwellenwert ist; und das Wahrnehmungsmodul eine Überprüfung benötigt, in Ansprechen darauf, dass die Bewertung zwischen dem ersten und dem zweiten Schwellenwert liegt.
System nach Anspruch 1, wobei das Störungsdetektionsmodul dafür konfiguriert ist, auf der Grundlage der Bewertungen für die identifizierten Objekte zu bestimmen, ob das Wahrnehmungsmodul eines der Objekte falsch identifiziert hat, wobei das falsch identifizierte Objekt entweder in dem einen oder in den mehreren Rahmen nicht vorhanden ist oder als ein anderes Objekt als ein in dem einen oder in den mehreren Rahmen vorhandenes Objekt identifiziert worden ist.
System nach Anspruch 1, wobei das Wahrnehmungsmodul umfasst: ein erstes neuronales Netz, das dafür konfiguriert ist, aus den Daten von dem einen oder den mehreren Rahmen Vorschläge zum Identifizieren von Objekten auszugeben, wobei jeder der Vorschläge eine Objektklasse, Koordinaten und eine Wahrscheinlichkeit enthält; und ein erstes Filter, das dafür konfiguriert ist, aus den Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich einem dritten Schwellenwert eine Teilmenge von Vorschlägen zu filtern, und die identifizierten Objekte nach dem Filtern der Teilmenge von Vorschlägen aus den Vorschlägen auszugeben.
System nach Anspruch 3, wobei das Störungsdetektionsmodul umfasst: ein zweites neuronales Netz, das dafür konfiguriert ist, die Vorschläge zu empfangen und auf der Grundlage einer Korrelation jedes der Vorschläge mit den semantischen Informationen die Bewertungen den Vorschlägen zuzuweisen; und ein zweites Filter, das dafür konfiguriert ist, aus den Vorschlägen die Teilmenge von Vorschlägen mit überlappenden Koordinaten und Wahrscheinlichkeiten kleiner oder gleich dem dritten Schwellenwert zu filtern und die identifizierten Objekte mit den Bewertungen nach dem Filtern der Teilmenge von Vorschlägen aus den Bewertungen auszugeben.
System nach Anspruch 1, wobei das Störungsdetektionsmodul umfasst: ein erstes neuronales Netz, das dafür konfiguriert ist, aus den Daten von dem einen oder den mehreren Rahmen Merkmale zu extrahieren, wobei die Merkmale die semantischen Informationen repräsentieren, die den Daten von dem einen oder den mehreren Rahmen zugeordnet sind; und ein zweites neuronales Netz, das dafür konfiguriert ist, die identifizierten Objekte und die Merkmale zu empfangen und die Bewertungen für die identifizierten Objekte auszugeben.
System nach Anspruch 5, wobei das zweite neuronale Netz dafür konfiguriert ist, die identifizierten Objekte, eines nach dem anderen, zu empfangen und die Bewertungen, eine nach der anderen, auszugeben.
System nach Anspruch 1, wobei das Störungsdetektionsmodul ferner dafür konfiguriert ist, die Bewertung für den einen oder die mehreren Rahmen auf der Grundlage eines gewichteten Durchschnitts der Bewertungen für die identifizierten Objekte zu bestimmen.
System nach Anspruch 1, das ferner ein Störungsabschwächungsmodul umfasst, das dafür konfiguriert ist, in Ansprechen darauf, dass das Störungsdetektionsmodul bestimmt, dass das Wahrnehmungsmodul eine Störung aufweist, eine Abschwächungsprozedur auszuführen.
System nach Anspruch 8, wobei die Abschwächungsprozedur das Warnen eines Fahrers des Fahrzeugs und das Abschalten eines Selbstfahrmerkmals enthält.
System nach Anspruch 1, das ferner ein Aktivierungsmodul umfasst, das dafür konfiguriert ist, das Störungsdetektionsmodul in Abhängigkeit von der Umgebung des Fahrzeugs zu aktivieren oder zu deaktivieren.