DE102020126732A1

DE102020126732A1 - Systeme und Verfahren zum Diagnostizieren von Wahrnehmungssystemen von Fahrzeugen anhand der zeitlichen Kontinuität von Sensordaten

Info

Publication number: DE102020126732A1
Application number: DE102020126732.0A
Authority: DE
Inventors: Yao Hu; Wei Tong; Wen-Chiao Lin
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-11-01
Filing date: 2020-10-12
Publication date: 2021-05-06
Also published as: US20210134085A1; US11436876B2; CN112783135B; CN112783135A

Abstract

Ein Vergleichsmodul empfängt von mehreren Sensoren in dem Fahrzeug erste Daten hinsichtlich Umgebungen eines Fahrzeugs, empfängt von den mehreren Sensoren nach dem Empfangen der ersten Daten zweite Daten hinsichtlich der Umgebungen, vergleicht die ersten Daten mit den zweiten Daten und bestimmt auf der Grundlage des Vergleichs der ersten Daten mit den zweiten Daten eine erste Differenz zwischen den ersten Daten und den zweiten Daten. Ein Wahrnehmungsmodul erzeugt auf der Grundlage der ersten Daten einer ersten Menge von Wahrnehmungsergebnissen, erzeugt auf der Grundlage der zweiten Daten eine zweite Menge von Wahrnehmungsergebnissen und bestimmt auf der Grundlage der ersten Menge von Wahrnehmungsergebnissen und der zweiten Menge von Wahrnehmungsergebnissen eine zweite Differenz zwischen den ersten Daten und den zweiten Daten. Ein Diagnosemodul bestimmt auf der Grundlage einer Kombination der ersten Differenz und der zweiten Differenz, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist.

Description

EINLEITUNG
Die in diesem Abschnitt gegebenen Informationen dienen zur allgemeinen Darstellung des Kontexts der Offenbarung. Arbeit der genannten Erfinder in dem Umfang, in dem sie in diesem Abschnitt beschrieben ist, sowie Aspekte der Beschreibung, die nicht auf andere Weise als Stand der Technik zum Zeitpunkt der Einreichung berechtigen, sind weder explizit noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die vorliegende Offenbarung betrifft allgemein Wahrnehmungssysteme, die in autonomen Fahrzeugen verwendet werden, und insbesondere Systeme und Verfahren zum Diagnostizieren von Wahrnehmungssystemen von Fahrzeugen auf der Grundlage der zeitlichen Kontinuität von Sensordaten.
In autonomen Fahrzeugen verwendete Wahrnehmungssysteme nutzen verschiedene Sensoren, um Umgebungen der Fahrzeuge zu erfassen. Die Wahrnehmungssysteme empfangen von diesen Sensoren Daten hinsichtlich der Fahrzeugumgebungen. Diese Sensoren enthalten z. B. Kameras und andere (z. B. Radar, LIDAR, Sonar usw.) an verschiedenen Orten innerhalb und außerhalb der Fahrzeuge befindliche Sensoren, die die Daten für die Wahrnehmungssysteme bereitstellen. Die Wahrnehmungssysteme verarbeiten die von diesen Sensoren empfangenen Daten und bestimmen die Umgebungen der Fahrzeuge. Die Umgebungen können z. B. andere Fahrzeuge, Fußgänger, Verkehrszeichen, Gebäude, Landmarken usw. enthalten. Die Teilsysteme der autonomen Fahrzeuge können die Fahrzeuge auf der Grundlage dieser Bestimmungen steuern. Diese Bestimmungen können ebenfalls verwendet werden, um Fahrer über die die Fahrzeuge umgebenden Bedingungen zu informieren und vor ihnen zu warnen.
ZUSAMMENFASSUNG
Ein System umfasst ein Vergleichsmodul, ein Wahrnehmungsmodul und ein Diagnosemodul. Das Vergleichsmodul ist dafür konfiguriert, erste Daten hinsichtlich Umgebungen eines Fahrzeugs von mehreren Sensoren in dem Fahrzeug zu empfangen, nach dem Empfangen der ersten Daten zweite Daten hinsichtlich der Umgebungen von den mehreren Sensoren zu empfangen, die ersten Daten mit den zweiten Daten zu vergleichen und auf der Grundlage des Vergleichs der ersten Daten mit den zweiten Daten eine erste Differenz zwischen den ersten Daten und den zweiten Daten zu bestimmen. Das Wahrnehmungsmodul ist dafür konfiguriert, auf der Grundlage der ersten Daten eine Menge von Wahrnehmungsergebnissen zu erzeugen, auf der Grundlage der zweiten Daten eine zweite Menge von Wahrnehmungsergebnissen zu erzeugen und auf der Grundlage der ersten Menge von Wahrnehmungsergebnissen und der zweiten Menge von Wahrnehmungsergebnissen eine zweite Differenz zwischen den ersten Daten und den zweiten Daten zu bestimmen. Das Diagnosemodul ist dafür konfiguriert, auf der Grundlage einer Kombination der ersten Differenz und der zweiten Differenz zu bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist.
Gemäß einem anderen Merkmal umfasst das System ferner ein Minderungsmodul, das dafür konfiguriert ist, in Ansprechen darauf, dass das Diagnosemodul in einem der Sensoren oder in dem Wahrnehmungsmodul eine Störung diagnostiziert, eine Minderungsprozedur auszuführen.
Gemäß einem anderen Merkmal ist das Diagnosemodul dafür konfiguriert, auf der Grundlage mehrerer der ersten Differenzen und der zweiten Differenzen, die über ein Gleitfenster gemittelt werden, zu bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist.
Gemäß einem anderen Merkmal ist das Vergleichsmodul dafür konfiguriert, in Ansprechen darauf, dass das Fahrzeug ruht, die ersten Daten mit den zweiten Daten durch Ausführen eines elementweisen Vergleichs zwischen Elementen der ersten Daten und der zweiten Daten zu vergleichen.
Gemäß einem anderen Merkmal ist das Vergleichsmodul dafür konfiguriert, in Ansprechen darauf, dass das Fahrzeug in Bewegung ist, die ersten Daten mit den zweiten Daten durch Identifizieren von Merkmalen von den ersten Daten und von den zweiten Daten und durch Gleichheitsprüfen der Merkmale zu vergleichen und die erste Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage der Gleichheitsprüfung zu bestimmen.
Gemäß anderen Merkmalen umfasst das Vergleichsmodul mehrere gleiche Modelle neuronaler Netze, die dafür trainiert sind, Merkmale in Eingangsdaten zu identifizieren und die Merkmale unter Verwendung gleicher Gewichte auszugeben. Das Vergleichsmodul ist dafür konfiguriert, die ersten bzw. die zweiten Daten in ein erstes und in ein zweites Modell eines neuronalen Netzes der mehreren Modelle neuronaler Netze einzugeben, erste bzw. zweite Merkmale von dem ersten und von dem zweiten Modell neuronaler Netze zu empfangen, den euklidischen Abstand zwischen den ersten und den zweiten Merkmalen zu berechnen und durch Normieren des euklidischen Abstands eine Bewertung zu erzeugen. Die Bewertung gibt die erste Differenz zwischen den ersten Daten und den zweiten Daten an.
Gemäß anderen Merkmalen umfasst das Vergleichsmodul ein Paarbildungsmodul, das dafür konfiguriert ist, Objekte in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage von Intersection-over-Union-Werten für alle Paare der Objekte zu paaren. Das Vergleichsmodul umfasst ein Filterungsmodul, das dafür konfiguriert ist, Objekte mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen von den gepaarten Objekten zu filtern. Das Vergleichsmodul umfasst ein Abstandsbestimmungsmodul, das dafür konfiguriert ist, auf der Grundlage der gefilterten gepaarten Objekte den euklidischen Abstand zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen zu bestimmen. Der euklidische Abstand repräsentiert die zweite Differenz.
Gemäß einem anderen Merkmal ist das Paarbildungsmodul dafür konfiguriert, die Objekte in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage einer abnehmenden Reihenfolge der Intersection-over-Union-Werte für alle Paare der Objekte auf iterative Weise zu paaren und die erste und die zweiten Menge von Wahrnehmungsergebnissen unter Verwendung der gepaarten Objekte zu sortieren.
Gemäß einem anderen Merkmal ist das Filterungsmodul dafür konfiguriert, nach dem Filtern der Objekte mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen aus den gepaarten Objekten eine gefilterte sortierte erste und eine gefilterte sortierte zweite Menge von Wahrnehmungsergebnissen zu erzeugen.
Gemäß anderen Merkmalen ist das Abstandsbestimmungsmodul dafür konfiguriert, den euklidischen Abstand zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen durch Erzeugen eines ersten Mittelwerts von Abständen zwischen den gepaarten Objekten in der gefilterten sortierten ersten und in der gefilterten sortierten zweiten Menge von Wahrnehmungsergebnissen, Erzeugen eines zweiten Mittelwerts auf der Grundlage von Typen der gepaarten Objekte unter Verwendung einer Nachschlagetabelle, Skalieren des ersten und des zweiten Mittelwerts durch jeweilige Gewichte und Kombinieren des gewichteten ersten und des gewichteten zweiten Mittelwerts zu bestimmen.
Gemäß nochmals anderen Merkmalen umfasst ein Verfahren das Empfangen erster Daten hinsichtlich Umgebungen eines Fahrzeugs von mehreren Sensoren in dem Fahrzeug, das Empfangen zweiter Daten hinsichtlich der Umgebungen von den mehreren Sensoren nach dem Empfangen der ersten Daten, das Vergleichen der ersten Daten mit den zweiten Daten und das Bestimmen einer ersten Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage des Vergleichs der ersten Daten mit den zweiten Daten. Ferner umfasst das Verfahren das Erzeugen einer ersten Menge von Wahrnehmungsergebnissen auf der Grundlage der ersten Daten unter Verwendung eines Wahrnehmungsmoduls, das Erzeugen einer zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage der zweiten Daten unter Verwendung des Wahrnehmungsmoduls und das Bestimmen einer zweiten Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage der ersten Menge von Wahrnehmungsergebnissen und der zweiten Menge von Wahrnehmungsergebnissen unter Verwendung des Wahrnehmungsmoduls. Ferner umfasst das Verfahren das Bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist, auf der Grundlage einer Kombination der ersten Differenz und der zweiten Differenz.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Ausführen einer Minderungsprozedur in Ansprechen darauf, dass in einem der Sensoren oder in dem Wahrnehmungsmodul eine Störung diagnostiziert wird.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist, durch Mitteln mehrerer der ersten Differenzen und der zweiten Differenzen über ein Gleitfenster.
In einem anderen Merkmal umfasst das Verfahren ferner das Vergleichen der ersten Daten mit den zweiten Daten durch Ausführen eines elementweisen Vergleichs zwischen Elementen der ersten Daten und der zweiten Daten als Reaktion darauf, dass das Fahrzeug ruht.
Gemäß einem anderen Merkmal umfasst das Verfahren ferner das Vergleichen der ersten Daten mit den zweiten Daten durch Identifizieren von Merkmalen von den ersten Daten und von den zweiten Daten und durch Gleichheitsprüfen der Merkmale und das Bestimmen der ersten Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage der Gleichheitsprüfung in Ansprechen darauf, dass das Fahrzeug in Bewegung ist.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Auswählen eines ersten und eines zweiten Modells neuronaler Netze aus mehreren identischen neuronalen Netzen, die dafür trainiert sind, Merkmale in Eingangsdaten zu identifizieren und die Merkmale unter Verwendung gleicher Gewichte auszugeben, das Eingeben der ersten bzw. der zweiten Daten in das erste und in das zweite Modell eines neuronalen Netzes, das Empfangen erster bzw. zweiter Merkmale von dem ersten bzw. von dem zweiten Modell neuronaler Netze, das Berechnen des euklidischen Abstands zwischen den ersten und den zweiten Merkmalen und das Erzeugen einer Bewertung durch Normieren des euklidischen Abstands. Die Bewertung gibt die erste Differenz zwischen den ersten Daten und den zweiten Daten an.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Paaren von Objekten in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage von Intersection-over-Union-Werten für alle Paare der Objekte, das Filtern von Objekten mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen von den gepaarten Objekten und das Bestimmen des euklidischen Abstands zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage der gefilterten gepaarten Objekte. Der euklidische Abstand repräsentiert die zweite Differenz.
Gemäß anderen Merkmalen umfasst das Paaren ferner das Paaren der Objekte in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage einer abnehmenden Reihenfolge der Intersection-over-Union-Werte für alle Paare der Objekte auf iterative Weise und das Sortieren der ersten und der zweiten Menge von Wahrnehmungsergebnissen unter Verwendung der gepaarten Objekte.
Gemäß einem anderen Merkmal umfasst das Filtern ferner das Erzeugen einer gefilterten sortierten ersten und einer gefilterten sortierten zweiten Menge von Wahrnehmungsergebnissen nach dem Filtern der Objekte mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen aus den gepaarten Objekten.
Gemäß anderen Merkmalen umfasst das Verfahren ferner das Bestimmen des euklidischen Abstands zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen durch Erzeugen eines ersten Mittelwerts von Abständen zwischen den gepaarten Objekten in der gefilterten sortierten ersten und in der gefilterten sortierten zweiten Menge von Wahrnehmungsergebnissen, das Erzeugen eines zweiten Mittelwerts auf der Grundlage von Typen der gepaarten Objekte unter Verwendung einer Nachschlagetabelle, das Skalieren des ersten und des zweiten Mittelwerts durch jeweilige Gewichte und das Kombinieren des gewichteten ersten und des gewichteten zweiten Mittelwerts.
Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der ausführlichen Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur zur Veranschaulichung bestimmt und sollen den Schutzumfang der Offenbarung nicht einschränken.
Figurenliste
Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:

1 eine Gesamtarchitektur eines Systems zum Diagnostizieren von Störungen in einem Wahrnehmungssystem eines Fahrzeugs gemäß der vorliegenden Offenbarung;
2 ein zur Paarbildung von Objekten in zwei Rahmen von Sensoren empfangener Daten verwendetes Verfahren, das auf der Grundlage einer Intersection-over-Union- (loU-) Rate ausgeführt wird;
3 einen Ablaufplan des zur Paarbildung von Objekten in zwei Rahmen von Sensoren empfangener Daten verwendeten Verfahrens, das auf der Grundlage der loU-Rate ausgeführt wird;
4 ein Beispiel einer Nachschlagetabelle, die zum Bestimmen eines Werts auf der Grundlage der Typen oder Klassen für Objekten in einem Paar verwendet wird;
5 ein System auf der Grundlage der Merkmalsgleichheitsprüfung zur Bestimmung einer Differenz zwischen zwei Rahmen;
6 ein System auf der Grundlage neuronaler Netze zur Bestimmung einer Differenz zwischen zwei Rahmen;
7 einen Ablaufplan eines Verfahrens zum Diagnostizieren einer Störung in dem Wahrnehmungssystem;
8A und 8B einen Funktionsblockschaltplan eines Systems zum Diagnostizieren und Mindern von Störungen in einem Wahrnehmungssystem eines Fahrzeugs gemäß der vorliegenden Offenbarung;
9A ein vereinfachtes Beispiel eines verteilten Computersystems, das die in 1-8B gezeigten Systeme und Verfahren implementieren kann; und
9B ein vereinfachtes Beispiel eines Servers des verteilten Computersystems aus 9A.

In den Zeichnungen können Bezugszeichen wiederverwendet sein, um ähnliche und/oder gleiche Elemente zu identifizieren.
Ausführliche Beschreibung
Wahrnehmungssysteme, die zum Bestimmen von Fahrzeugumgebungen verwendet werden, unterliegen Störungen, die detektiert werden müssen. Da es schwierig ist, die Ground Truth in Echtzeit zu bestimmen, wenn das Fahrzeug auf der Straße fährt, wobei die Ground Truth Referenzinformationen sind, die im Gegensatz zu durch Folgerung bereitgestellten Informationen durch direkte Beobachtung (d. h. empirische Evidenz) bereitgestellt werden, kann die Onlinediagnose der Wahrnehmungssysteme herausfordernd sein. Die vorliegende Offenbarung schafft Systeme und Verfahren, die die Wahrnehmungssysteme ohne Ground Truth diagnostizieren. Die Systeme und Verfahren berechnen zeitliche Kontinuitäten von Sensordaten und Wahrnehmungsergebnissen und bestimmen Störungen auf der Grundlage von Diskontinuitäten. Die Systeme und Verfahren können Störungen in dem Wahrnehmungssystem während des Betriebs ohne große Zeitverzögerung detektieren und identifizieren.
Das Grundgerüst zum Berechnen der zeitlichen Kontinuität und zum Erzeugen von Diagnoseergebnissen enthält das Berechnen der zeitlichen Kontinuität in Sensordaten durch Paarbildung zweier aufeinanderfolgender Rahmen oder Mengen von den Sensoren empfangener Daten. Ferner enthält das Grundgerüst Störungsisolationslogik, die aggregierte Kontinuitätsinformationen in einem Zeitfenster verwendet. Insbesondere bestimmen und verwenden die Systeme und Verfahren nicht die räumliche Diskontinuität in den Sensordaten. Die Systeme und Verfahren verbessern die Nutzererfahrung durch Bereitstellung von Störungswarnungen und Optimieren des Wagenparkmanagements. Die Systeme und Verfahren verbessern die Zuverlässigkeit der Wahrnehmungssysteme und erhöhen die wahrgenommene Qualität von Fahrzeugen ohne zusätzliche Hardware.
Genauer verwenden die Systeme und Verfahren der vorliegenden Offenbarung Informationen der zeitlichen Kontinuität von Ausgangsdaten und Wahrnehmungsergebnisse, die auf der Grundlage der Ausgangsdaten erzeugt werden, um Störungen in den Wahrnehmungssystemen zu detektieren und zu isolieren. Die zeitliche Kontinuität repräsentiert die Änderung zwischen zwei Rahmen. Die Systeme und Verfahren berechnen die zeitliche Kontinuität zwischen zwei aufeinanderfolgenden Rahmen. Für Wahrnehmungsergebnisse verwenden die Systeme und Verfahren ein Paarungsverfahren, eine Intersection-over-Union (loU-) Rate, eine Filterung und einen euklidischen Abstand. In Abhängigkeit von dem Zustand des Fahrzeugs verwenden die Systeme und Verfahren für Ausgangsdaten zwei verschiedene Vorgehensweisen. Wenn das Fahrzeug im Leerlauf ist, verwenden die Systeme und Fahrzeuge die L2-Norm, die das Bestimmen von Fehlern auf der Grundlage pixelweiser Vergleiche zwischen zwei Rahmen und Aggregieren der Fehler umfasst. Wenn sich das Fahrzeug bewegt, verwenden die Systeme und Verfahren die Merkmalsgleichheitsprüfung.
Die Systeme und Verfahren treffen auf der Grundlage einer Kombination von Kontinuitätswerten, die aus dem direkten Vergleich der Ausgangsdaten aus zwei Rahmen (unter Verwendung der L2-Norm oder Merkmalsgleichheitsprüfung ausgeführt) erhalten werden, und von Kontinuitätswerten, die aus auf der Grundlage der Ausgangsdaten erzeugten Wahrnehmungsergebnissen erhalten werden, Diagnoseentscheidungen. Die Systeme und Verfahren aggregieren Kontinuitätsinformationen in einem Zeitfenster und vergleichen die Kontinuität mit unterschiedlichen Schwellenwerten, um Störungen in Sensoren und in dem Wahrnehmungssystem zu isolieren. Ferner können die Systeme und Verfahren die detektierten Störungen mindern. Zum Beispiel können die Systeme und Verfahren das Selbstfahrmerkmal abschalten, an den Fahrer Warnungen senden, zügig auf die Seite fahren und/oder einen Störungswahrnehmungskanal in der Fusion ignorieren (z. B. einen gestörten Kanal isolieren und nicht berücksichtigen, wenn Kanalredundanz verfügbar ist). Diese und weitere Merkmale der Systeme und Verfahren sind im Folgenden ausführlich beschrieben.
Die vorliegende Offenbarung ist wie folgt organisiert. Anhand von 1 ist eine Gesamtarchitektur eines Systems zum Diagnostizieren von Störungen in einem Wahrnehmungssystem eines Fahrzeugs gezeigt und beschrieben. Anhand von 2 und 3 ist ein Verfahren gezeigt und beschrieben, das zur Paarbildung von in zwei Datenrahmen gefundenen Objekten auf der Grundlage der loU-Rate verwendet wird. In 4 ist ein Beispiel einer Nachschlagetabelle gezeigt, die zum Bestimmen eines Werts auf der Grundlage der Typen oder Klassen für die Objekte in einem Paar verwendet wird. Der Wert gibt die Ähnlichkeit von Typen der Objekte in einem Paar an. Nachfolgend wird das Bestimmen einer Differenz zwischen zwei Datenrahmen auf der Grundlage wahrgenommener Ergebnisse, das die Paarbildung, die Filterung und die Bestimmung des euklidischen Abstands enthält, beschrieben. Danach wird das Bestimmen einer Differenz zwischen Ausgangsdaten aus zwei Rahmen für ein stehendes Fahrzeug beschrieben. Anhand von 5 ist ein System auf der Grundlage der Merkmalsgleichheitsprüfung zur Bestimmung einer Differenz zwischen Ausgangsdaten aus zwei Rahmen für ein bewegtes Fahrzeug gezeigt und beschrieben. Anhand von 6 ist ein System auf der Grundlage neuronaler Netze zum Bestimmen einer Differenz zwischen Ausgangsdaten aus zwei Rahmen gezeigt und beschrieben. Anhand von 7 ist ein Diagnoseverfahren gezeigt und beschrieben. Anhand von 8A und 8B ist ein System zum Diagnostizieren und Mindern von Störungen unter Nutzung der anhand von 1-7 beschriebene Systeme, Verfahren und Lehren gezeigt und beschrieben. Anhand von 9A und 9B ist ein verteiltes Computersystem, das die Systeme und Verfahren aus 1-8B implementieren kann, gezeigt und beschrieben.
Wenn ein Sensor an Bord eines Fahrzeugs Daten von einem Objekt um das Fahrzeug erfasst, werden die Ausgangsdaten von dem Sensor zur Verarbeitung an ein Wahrnehmungssystem gesendet. Das Wahrnehmungssystem setzt nicht nur aus den Ausgangsdaten ein Bild des Objekts zusammen, sondern stellt auch eine Darstellung des Objekts in einer Bounding Box mit Positionskoordinaten des Objekts, die die Position des Objekts zum Zeitpunkt der Erfassung des Objekts angeben, bereit. Ferner klassifiziert das Wahrnehmungssystem das Objekt (stellt es z. B. eine Angabe über den Typ oder die Klasse des Objekts, ob das Objekt ein Fahrzeug, ein Verkehrszeichen, eine Landmarke, ein Fußgänger usw. ist, bereit).
In der durch das Wahrnehmungssystem erzeugten Darstellung des Objekts können wegen eines gestörten Sensors oder einer Störung in der durch das Wahrnehmungssystem ausgeführten Verarbeitung Fehler auftreten. Wenn der Sensor gestört ist, können die Ausgangsdaten nicht kontinuierlich sein und kann die Darstellung des Objekts folglich ungenau sein. Wenn die Störung bei der durch das Wahrnehmungssystem ausgeführten Verarbeitung liegt, können die von dem Sensor empfangenen Ausgangsdaten kontinuierlich sein, kann aber die Darstellung des Objekts wegen eines Fehlers bei der durch das Wahrnehmungssystem ausgeführten Verarbeitung der Ausgangsdaten dennoch ungenau sein. Die Systeme und Verfahren der vorliegenden Offenbarung identifizieren, ob die Störung bei den von dem Sensor empfangenen Ausgangsdaten oder bei der durch das Wahrnehmungssystem ausgeführten Verarbeitung der Ausgangsdaten liegt, und mindern die Störung.
Die Systeme und Verfahren der vorliegenden Offenbarung sind robust, da sie Eingaben von zwei verschiedenen Informationskanälen verwenden. Die Systeme und Verfahren verwenden Ausgangsdaten von Sensoren in einem ersten Eingangskanal und verwenden durch das Wahrnehmungssystem auf der Grundlage der Ausgangsdaten erzeugte Wahrnehmungsergebnisse in einem zweiten Eingangskanal. Da die zwei Eingaben verschiedene Typen von Daten enthalten, analysieren die Systeme und Verfahren die zwei Eingaben unterschiedlich und kombinieren sie daraufhin die Ergebnisse der Analysen beider Eingaben. Dementsprechend können die Systeme und Verfahren der vorliegenden Offenbarung Fehler als wegen einer Sensorstörung von den Ausgangsdaten ausgehend oder wegen einer Störung in dem Verarbeitungssystem in der durch das Wahrnehmungssystem ausgeführten Verarbeitung genau bestimmen.
1 zeigt eine Gesamtarchitektur eines Systems 100 zum Diagnostizieren von Störungen in einem Wahrnehmungssystem eines Fahrzeugs gemäß der vorliegenden Offenbarung. In dem System 100 bezeichnet D Ausgangsdaten von den Sensoren und bezeichnet R Wahrnehmungsergebnisse, die auf der Grundlage der Ausgangsdaten erzeugt werden. Zum Beispiel bezeichnen k und k-1 einen aktuellen bzw. einen vorhergehenden Rahmen von Daten, die durch die Sensoren zu den Zeitpunkten t und t-1 erfasst werden.
In einem ersten Kanal des Systems 100 werden Ausgangsdaten D_k und D_k-1 von zwei aufeinanderfolgenden Rahmen (bei 102 und 104 gezeigt) bei 106 verglichen und wird eine erste Differenz ΔD_k zwischen den zwei Rahmen bestimmt. In einem zweiten Kanal des Systems 100 werden jeweils bei 108 auf der Grundlage der Ausgangsdaten D_k und D_k-1 Wahrnehmungsergebnisse R_k bzw. R_k-1 erzeugt. Die Wahrnehmungsergebnisse R_k und R_k-1 (bei 110 und 112 gezeigt) werden bei 114, 116 und 118 verarbeitet und es wird eine zweite Differenz ΔR_k zwischen den zwei Rahmen bestimmt.
Bei 120 werden auf der Grundlage einer Kombination der beiden Differenzen ΔD_k und ΔR_k Diagnosen ausgeführt. Auf der Grundlage der beiden Differenzen ΔD_k und ΔR_k wird ein Diagnoseergebnis 122 erzeugt. Bei 124 wird auf der Grundlage des Diagnoseergebnisses 122 eine Störungsminderung ausgeführt. Die durch das System 100 ausgeführte Verarbeitung kann in dem Fahrzeug, in der Cloud (z. B. durch einen oder mehrere in 9A und 9B gezeigte Server) oder teilweise in dem Fahrzeug und teilweise in der Cloud ausgeführt werden.
Anfangs wird im Folgenden anhand von 2-4 der zweite Kanal des Systems 100 beschrieben, der das Erzeugen der Wahrnehmungsergebnisse R_k und R_k-1 und das Erzeugen der zweiten Differenz ΔR_k auf der Grundlage der Wahrnehmungsergebnisse R_k und R_k-1 durch Ausführen der Paarbildung, Filterung und Bestimmung des euklidischen Abstands umfasst. Nachfolgend wird anhand von 5 und 6 der erste Kanal des Systems 100 beschrieben, der das Erzeugen der ersten Differenz ΔD_k zwischen den zwei Rahmen auf der Grundlage der Ausgangsdaten D_k und D_k-1 aus den zwei Rahmen umfasst.
2 und 3 zeigen die Paarbildung von Objekten, die in zwei aufeinanderfolgenden Rahmen gefunden werden, die auf der Grundlage einer Intersection-over-Union- (loU-) Rate ausgeführt wird. In 2 enthält ein Wahrnehmungsergebnis R_k Ergebnisse für Objekte r_i in einem Rahmen k. Die Ergebnisse enthalten Positionen der Objekte r_i hinsichtlich ihrer Koordinaten. Ferner enthalten die Ergebnisse den Typ oder die Klasse der Objekte r_i, der bzw. die durch $C_{i}^{k}$
bezeichnet ist (ob das Objekt ein Fahrzeug, ein Fußgänger usw. ist). Ein Wahrnehmungsergebnis R_k-1 enthält Ergebnisse für Objekte r_j in einem Rahmen k-1. Die Ergebnisse enthalten Positionen der Objekte r_j hinsichtlich ihrer Koordinaten. Ferner enthalten die Ergebnisse den Typ oder die Klasse der Objekte r_j, der bzw. die durch C_j ^k-1 bezeichnet ist (ob das Objekt ein Fahrzeug, ein Fußgänger usw. ist). Die Wahrnehmungsergebnisse R_k und R_k-1 werden Wahrnehmungsergebnisvektoren genannt, die jeweils Objekte als Elemente umfassen. Für jedes Objekt (z. B. für i = 1 und j = 1) wird auf der Grundlage der Koordinaten des Objekts in den Rahmen k und k-1 eine Intersection-over-Union- (loU-) Rate IoU_ij als ein Verhältnis der Fläche der Schnittmenge (schraffiert gezeigt) zu der Fläche der Vereinigung der Bounding Boxes berechnet.
Es wird angemerkt, dass sich die Anzahl von Objekten in jedem Wahrnehmungsergebnisvektor (d. h. die Anzahl von Objekten in den Rahmen k und k-1) aus verschiedenen Gründen unterscheiden kann. Zum Beispiel können die Differenzen eine Folge dessen sein, dass sich einige Objekte aus dem Rahmen k-1 herausbewegen und in dem Rahmen k abwesend sind, dass sich einige Objekte [engl.: „objections“], die in dem Rahmen k-1 abwesend sind, hereinbewegen und in dem Rahmen k vorhanden sind, dass beim Erzeugen der Wahrnehmungsergebnisse ein Fehler auftritt usw. Ferner kann ein Objekt r₁ in dem Rahmen k-1 (z. B. wegen Bewegung des Objekts von dem Zeitpunkt t-1 bis t) nicht notwendig dem Objekt r₁ in dem Rahmen k entsprechen (d. h. kann es nicht dasselbe sein). Ein Prozess des Identifizierens oder Bestimmens, welches Objekt in dem Rahmen k dasselbe wie das Objekt r₁ in dem Rahmen k-1 ist, wird Objektpaarbildung genannt und ist im Folgenden erläutert.
2 zeigt gepaarte Objekte in Rahmen k und k-1 unter Verwendung von zwischen den Objekten gezeichneten Pfeilen. Zum Beispiel ist das Objekt r₁ ^k in dem Rahmen k das Objekt r₂ ^k-1 in dem Rahmen k-1; ist das Objekt r₂ ^k in dem Rahmen k das Objekt r₅ ^k-1 in dem Rahmen k-1; usw. Einige Objekte (z. B. Objekte, die sich herein- oder herausbewegen) (z. B. r₄ ^k-1 in dem Rahmen k-1) können ungepaart sein.
Die Objektpaarbildung wird wie folgt ausgeführt. Anfangs wird für alle Objekte i und j die IoU_ij-Rate berechnet. Daraufhin wird bestimmt, welches Paar die maximale loU-Rate aufweist. Zum Beispiel weist das Paar r₁ ^k und r₂ ^k-1 in dem gezeigten Beispiel die maximale loU-Rate auf. Somit besitzen die Objekte r₁ ^k und r₂ ^k-1 die höchste Wahrscheinlichkeit, dasselbe Objekt zu sein. Somit werden die Objekte r₁ ^k und r₂ ^k-1 miteinander gepaart. Daraufhin werden die Objekte r₁ ^k und r₂ ^k-1 aus dem Pool von Objekten entfernt und wird dieselbe Technik angewendet, um das nächste Paar zu ermitteln, bis eine der zwei Listen von Objekten erschöpft (leer) ist. Falls die loU für ein Objekt null ist oder falls eine der Listen leer ist, werden die Objekte mit der loU null und die verbleibenden Objekte in der anderen Liste als ungepaart angegeben.
Nachdem die Objekte gepaart worden sind, werden die resultierenden Vektoren sortierte Vektoren genannt. Zur Angabe eines sortierten Vektors (d. h. nach der Paarbildung) wird eine Schreibweise - verwendet. In dem gezeigten Beispiel sind die sortierten Vektoren R_k ^~ = {r1^∼k, r₂ ^~k, r₃ ^~k, r₄ ^~k} = {r₁ ^k, r₂ ^k, r₃ ^k, r₄ ^k} und R_k-1 ^~ = {r₁ ^∼k-1, r₂ ^∼k∼1, _r3 ^∼k-1 r₄ ^∼k-1 r₅ ^∼k-1} = {r₂ ^k-1, r₅ ^k-1, r1^k-1 r₃ ^k-1, r₄ ^k-1}.
3 zeigt ein Verfahren 300 zum Ausführen der Paarbildung auf der Grundlage der loU. Bei 302 initialisiert die Steuerung gepaarte Wahrnehmungsergebnisse (sortierte Vektoren) R_k ^∼ und R_k-1 ^∼ als leer und initialisiert sie den Index n = 1. Bei 304 berechnet die Steuerung bei gegebenen R_k und R_k-1 für irgendeine Kombination von (i, j) IoU_ij. Bei 306 wählt die Steuerung ein Paar (i*, j*) aus, dessen IoU_i*j* maximal ist.
Bei 308 bestimmt die Steuerung, ob IoU_i*j* > 0 ist. Bei 310 weist die Steuerung r_n ^~k = r_i* ^k und r_n ^~k-1 = r_j* ^k-1 zu, falls IoU_i*j* > 0 ist. Die Steuerung fügt r_n ^~k zu R_k ^∼ und rn^~n-1 zu R_k-1 ^∼ hinzu. Die Steuerung entfernt r_i* ^k von Rk und r_j* ^k-1 von Rk-1. Die Steuerung inkrementiert n um 1 (d. h. n = n+1).
Bei 312 bestimmt die Steuerung, ob sowohl R_k als auch R_k-1 nicht leer ist. Falls sowohl R_k als auch R_k-1 nicht leer ist, kehrt die Steuerung zu 304 zurück. Andernfalls (d. h., falls die Bedingung, dass sowohl R_k als auch R_k-1 nicht leer ist, nicht wahr ist) geht die Steuerung zu 314 über. Die Steuerung bestimmt wie folgt, welches von R_k und R_k-1 nicht leer ist.
Bei 314 bestimmt die Steuerung, ob R_k nicht leer ist. Falls R_k bei 314 nicht leer ist, geht die Steuerung zu 316 über. Bei 316 fügt die Steuerung den gesamten Rest r_i ^k von R_k als r_n ^∼k zu R_k ^∼ hinzu. Die Steuerung aktualisiert den Index n. Die Steuerung fügt dieselbe Menge (d. h. Anzahl) leerer Ergebnisse als r_n ^∼k-1 zu R_k-1 ^∼ hinzu. Danach, und falls R_k bei 314 leer ist, geht die Steuerung zu 318 über.
Bei 318 bestimmt die Steuerung, ob R_k-1 nicht leer ist. Falls R_k-1 bei 318 nicht leer ist, geht die Steuerung zu 320 über. Bei 320 fügt die Steuerung den gesamten Rest r_i ^k-1 von R_k-1 als r_n ^∼k-1 zu R_k-1 ^∼ hinzu. Die Steuerung aktualisiert den Index n. Die Steuerung fügt dieselbe Menge (d. h. Anzahl) leerer Ergebnisse als r_n ^∼k zu R_k ^∼ hinzu. Danach, und falls R_k-1 bei 318 leer ist, endet die Steuerung.
Falls die Anzahl von Objekten in zwei aufeinanderfolgenden Rahmen nicht dieselbe ist, kann es eine Folge dessen sein, dass sich Objekte in die oder aus den Rahmen bewegen. Eine Möglichkeit, die Diskontinuität eines Objekts in zwei aufeinanderfolgenden Rahmen zu bestimmen (ein Objekt, das in einem vorhergehenden Rahmen abwesend war, erscheint in einem aktuellen Rahmen, oder ein Objekt, das in einem vorhergehenden Rahmen vorhanden war, verschwindet in einem aktuellen Rahmen), ist zu bestimmen, ob das Objekt an einer Begrenzung eines Rahmens ist. Falls das Objekt an der Begrenzung des Rahmens ist (sich wahrscheinlich in den oder aus dem Rahmen bewegt), kann das Objekt aus beiden Rahmen entfernt werden und nicht als eine Angabe eines Fehlers angesehen werden.
Falls z. B. das Objekt r_n ^~k oder r_n ^~k-1 in den gepaarten Wahrnehmungsergebnissen oder sortierten Vektoren R_k ^∼ und R_k-1 ^∼ an der Begrenzung des jeweiligen Rahmens ist, können die Objekte r_n ^~k und r_n ^~k-1 aus den sortierten Vektoren R_k ^∼ bzw. R_k-1 ^∼ entfernt werden. Wenn solche Objekte an der Begrenzung eines Rahmens aus dem sortierten Vektor für den Rahmen entfernt werden, wird der sortierte Vektor ein gefilterter sortierter Vektor genannt.
Nachfolgend wird der euklidische Abstand zwischen den gefilterten sortierten Vektoren wie folgt berechnet. Rk^∼ = {r₁ ^∼k, r₂ ^~k, ...} und R_k-1 ^~ = {r₁ ^∼k-1, r₂ ^∼k-1, ...} sollen die gefilterten sortierten Vektoren für die Rahmen k und k-1 repräsentieren. r_n ^∼k und r_n ^~k-1 sollen die Objekte in den jeweiligen gefilterten sortierten Vektoren repräsentieren. Die Objekte r_n ^∼k und r_n ^∼k-1 sind ebenfalls Vektoren, da sie Klassen- und Koordinaten- (Positions-) Informationen enthalten. Es sei r_n ^∼k = [c_n ^~k, x_1,n ^∼k, y_1,n ^∼k, x_2,n ^∼k, y_2,n ^~k] und r_n ^∼k-1 = [Cn^~k~1, x_1,n ^~k-1, y_1,n ^∼k-1, x_2,n ^~k-1, y_2,n ^~k-1].
Zunächst wird für jedes Objektpaar in den gefilterten sortierten Vektoren ein Abstand zwischen den Objekten in einem Paar (d. h. ein Abstand zwischen demselben Objekt) in zwei Rahmen berechnet. Ein Mittelwert der Abstände zwischen den gepaarten Objekten in den zwei Vektoren wird als ΔB_k berechnet. $Δ B_{k} = m e a n (\sqrt{{({\tilde{x}}_{1, n}^{k} - {\tilde{x}}_{1, n}^{k - 1})}^{2} + {({\tilde{y}}_{1, n}^{k} - {\tilde{y}}_{1, n}^{k - 1})}^{2} + {({\tilde{x}}_{2, n}^{k} - {\tilde{x}}_{2, n}^{k - 1})}^{2} + {({\tilde{y}}_{2, n}^{k} - {\tilde{x}}_{2, n}^{k - 1})}^{2}})$
Daraufhin wird für die Objekte in einem Paar unter Verwendung einer Nachschlagetabelle ein Wert für einen Typ oder eine Klasse bestimmt. Wie in einem Beispiel der Nachschlagetabelle in 4 gezeigt ist, ist z. B. der Wert für die Klasse der Objekte in dem Paar 1, falls die Klasse eines Objekts in einem Paar in dem Rahmen k ein Pkw ist und in dem Rahmen k-1 ebenfalls ein Pkw ist. Falls die Klasse eines Objekts in einem Paar in dem Rahmen k ein Pkw ist und in dem Rahmen k-1 ein Van ist, ist der Wert für die Klasse der Objekte in dem Paar 0,9 usw. Daraufhin wird ein Mittelwert der Klassenwerte aller gepaarten Objekte in den zwei gefilterten Vektoren als ΔC_k berechnet. $Δ C_{k} = 1 - m e a n (l o o k u p ({\tilde{c}}_{n}^{k}, {\tilde{c}}_{n}^{k - 1}))$
Der euklidische Abstand ΔR_k zwischen den zwei Rahmen (d. h. zwischen den zwei gefilterten sortierten Vektoren) ist eine gewichtete oder skalierte Summe der zwei wie oben bestimmten Mittelwerte ΔB_k und ΔC_k. Das heißt, ΔR_k = _WbAB_k + w_cAC_k. Der Standardwert für die Gewichte w_b und w_c kann 1 sein und kann zusammen mit der Filterung empirisch kalibriert/konfiguriert/optimiert werden.
Um Ausgangsdaten von den Sensoren zu vergleichen, wird anfangs der Status des Fahrzeugs bestimmt - ob das Fahrzeug statisch (d. h. stehend) oder dynamisch (d. h. sich bewegend) ist. In Abhängigkeit von dem Fahrzeugstatus werden unterschiedliche Verfahren verwendet, um die Ausgangsdaten zu verarbeiten. Genauer wird zwischen den Daten in zwei aufeinanderfolgenden Rahmen unter Verwendung der L2-Norm ein elementweiser oder pixelweiser Vergleich ausgeführt, falls das Fahrzeug in Ruhe ist. Dies liefert die Differenz ΔD_k zwischen den Ausgangsdaten D_k und D_k-1 von den Rahmen k bzw. k-1 als ΔD_k = || D_k-1 - D_k||₂ ². Die tiefgestellte 2 bezeichnet die L2-Norm und die hochgestellte 2 bezeichnet den unter Verwendung der L2-Norm erhaltenen elementweisen quadratischen Fehler.
Falls sich das Fahrzeug bewegt, können die folgenden Merkmalsgleichheitsprüfungs- und Vergleichsverfahren verwendet werden, um die Differenz ΔD_k zwischen den Ausgangsdaten D_k und D_k-1 von den Rahmen k bzw. k-1 zu bestimmen. Bevor diese Verfahren beschrieben werden, wird eine kurze Übersicht über die skaleninvariante Merkmalstransformation (SIFT) und beschleunigte robuste Merkmale (SURF), die zum Erzeugen von Merkmalsmengen verwendet werden, gegeben.
Für irgendein Objekt in einem Bild können interessierende Punkte an dem Objekt extrahiert werden, um eine Merkmalsbeschreibung des Objekts bereitzustellen. Diese aus einem Trainingsbild extrahierte Beschreibung kann daraufhin verwendet werden, um das Objekt zu identifizieren, wenn versucht wird, das Objekt in einem Testbild, das viele andere Objekte enthält, zu ermitteln. Die skaleninvariante Merkmalstransformation (SIFT) ist ein Merkmalsdetektionsalgorithmus, der verwendet wird, um lokale Merkmale in Bildern zu detektieren und zu beschreiben. Zunächst werden aus einer Menge von Referenzbildern SIFT-Schlüsselpunkte von Objekten extrahiert und in einer Datenbank gespeichert. In einem neuen Bild wird ein Objekt dadurch erkannt, dass jedes Merkmal von dem neuen Bild mit dieser Datenbank einzeln verglichen wird und auf der Grundlage des euklidischen Abstands ihrer Merkmalsvektoren zusammenpassende Kandidatenmerkmale übermittelt werden. Aus der vollen Menge von Übereinstimmungen werden Teilmengen von Schlüsselpunkten, die an dem Objekt übereinstimmen, und ihr Ort, ihre Skale und ihre Orientierung in dem neuen Bild identifiziert, um gute Übereinstimmungen herauszufiltern. Die Bestimmung konsistenter Cluster wird unter Verwendung einer effizienten Hash-Tabellen-Implementierung der verallgemeinerten Hough-Transformation schnell ausgeführt. Jedes Cluster von 3 oder mehr Merkmalen, die an einem Objekt übereinstimmen, und ihre Pose werden daraufhin einer weiteren detaillierten Modellverifizierung ausgesetzt und nachfolgend werden Ausreißer verworfen. Schließlich wird bei gegebener Genauigkeit der Anpassung und der Anzahl wahrscheinlich falschen Zusammenpassens die Wahrscheinlichkeit berechnet, dass eine bestimmte Menge von Merkmalen die Anwesenheit eines Objekts angibt. Objektzusammenpassungen, die alle diese Tests bestehen, können mit hohem Vertrauen als richtig identifiziert werden. Da der SIFT-Merkmalsdeskriptor gegenüber gleichförmigen Skalierungs-, Orientierungs- und Beleuchtungsänderungen invariant ist und gegenüber affiner Verzerrung teilweise invariant ist, kann die SIFT Objekte selbst unter Störflecken und unter teilweiser Verdeckung robust identifizieren.
Beschleunigte robuste Merkmale (SURF) ist ebenfalls ein Merkmalsdetektor und Merkmalsdeskriptor. Der SURF-Algorithmus beruht auf denselben Prinzipien und Schritten wie die SIFT, wobei aber die Einzelheiten in jedem Schritt anders sind. Der SURF-Algorithmus weist drei Hauptkomponenten auf: Detektion interessierender Punkte, Beschreibung der lokalen Nachbarschaft und Gleichheitsprüfung. Interessierende Punkte können in verschiedenen Skalen ermittelt werden, teilweise, da die Suche nach Entsprechungen häufig Vergleichsbilder erfordert, bei der sie in unterschiedlichen Skalen zu sehen sind. Das Ziel eines Deskriptors ist es, z. B. durch Beschreibung der Intensitätsverteilung der Pixel innerhalb der Nachbarschaft des interessierenden Punkts, eine eindeutige und robuste Beschreibung eines Bildmerkmals zu liefern. Somit werden die meisten Deskriptoren auf eine lokale Weise berechnet und wird für jeden zuvor identifizierten interessierenden Punkt eine Beschreibung erhalten. Die Dimensionalität des Deskriptors wirkt sich direkt auf seine Rechenkomplexität und Punktgleichheitsprüfung-Robustheit/Genauigkeit aus. Ein kurzer Deskriptor kann robuster gegen Auftretensschwankungen sein, aber keine ausreichende Unterscheidung bieten und somit zu viele falsch positive Ergebnisse bieten. Anfangs wird auf der Grundlage von Informationen von einem kreisförmigen Gebiet um den interessierenden Punkt eine reproduzierbare Orientierung festgesetzt. Daraufhin wird ein quadratisches Gebiet konstruiert und auf die ausgewählte Orientierung ausgerichtet und wird der SURF-Deskriptor aus ihm extrahiert. Durch Vergleichen der aus verschiedenen Bildern erhaltenen SURF-Deskriptoren können zusammenpassende Paare ermittelt werden.
5 zeigt ein System 400, das ein erstes Verfahren zum Bestimmen der Differenz ΔD_k zwischen den Ausgangsdaten D_k und D_k-1 von den Rahmen k bzw. k-1 verwendet, wenn sich das Fahrzeug bewegt. Das System 400 umfasst ein Merkmalsextraktionsmodul 402, ein Merkmalsgleichheitsprüfungsmodul 404 und ein Fehlerbestimmungsmodul 406.
In dem ersten Verfahren repräsentiert ein SIFT/SURF-Merkmal Schlüsselpunkte in einem Bild. Schlüsselpunkte sind Punkte in einem Bild, die für oder über das Bild relevante Informationen tragen. Schlüsselpunkte in einem Bild können z. B. ein Attribut wie etwa eine Ecke, eine Schnittmenge, eine räumliche Form oder eine Kontur in dem Bild enthalten. Ein Schlüsselpunktdeskriptorvektor repräsentiert alle Schlüsselpunkte in einem Ausgangsbild.
In das Merkmalsextraktionsmodul 402 werden Ausgangsdaten D_k und D_k-1 von Rahmen k und k-1 eingegeben, um die Schlüsselpunkte zu erhalten. Das Merkmalsextraktionsmodul 402 erzeugt für Ausgangsdaten D_k aus dem Rahmen k unter Verwendung des SIFT/SURF-Verfahrens eine Merkmalsmenge F_k, in der jedes Element ein Schlüsselpunktdeskriptorvektor f_i,k ist. Dementsprechend kann die Merkmalsmenge F_k als F_k = {f_i,k | i = 1, 2, ..., I_k} ausgedrückt werden.
Ähnlich erzeugt das Merkmalsextraktionsmodul 402 für Ausgangsdaten D_k-1 aus dem Rahmen k-1 unter Verwendung des SIFT/SURF-Verfahrens eine Merkmalsmenge F_k-1, in der jedes Element ein anderer Schlüsselpunktdeskriptorvektor f_j,k-1 ist. Dementsprechend kann die Merkmalsmenge F_k-1 als F_k-1 = {f_j,k-1 | j = 1, 2, ..., J_k-1} ausgedrückt werden.
Daraufhin führt das Merkmalsgleichheitsprüfungsmodul 404 die Merkmalsgleichheitsprüfung zwischen den zwei Rahmen k und k-1 aus. Abgesehen davon, dass in der Merkmalsgleichheitsprüfung anstelle der Paarbildung von Objekten Schlüsselpunkte gepaart werden, ist die Merkmalsgleichheitsprüfung ähnlich der oben anhand von 2 und 3 beschriebenen Objektpaarbildung. Das Merkmalsgleichheitsprüfungsmodul 404 führt die Merkmalsgleichheitsprüfung unter Verwendung des folgenden Verfahrens aus, um einen Abstand zwischen den Schlüsselpunktdeskriptorvektoren der zwei aufeinanderfolgenden Rahmen k und k-1 zu bestimmen.
Anfangs setzt das Merkmalsgleichheitsprüfungsmodul 404 Count = 0. Für j in {1, 2, ..., J_k-1} bestimmt das Merkmalsgleichheitsprüfungsmodul 404 den Abstand d_j,i = ||f_j,k-1 - f_i,k|| für i in {1, 2, ..., I_k}. Das Merkmalsgleichheitsprüfungsmodul 404 identifiziert m, n in {1, 2, ..., I_k} in der Weise, dass d_j,m und d_j,n ein Minimum und ein zweites Minimum (d. h. der kleinste und der zweitkleinste) Wert in {d_j,i | i = 1, 2, ..., I_k} sind. Falls das Verhältnis d_j,m/d_j,n kleiner als ein Schwellenwert ist, inkrementiert das Merkmalsgleichheitsprüfungsmodul 404 den Wert von Count.
Daraufhin bestimmt das Fehlerbestimmungsmodul 406 einen Fehler, der einen Abstand oder eine Differenz zwischen den Rahmen k und k-1 repräsentiert, als
E = 1 - Count/J_k-1. Dieser Fehler gibt an, wie viele Merkmale in D_k-1 in D_k fehlen. Ähnlich kann das Fehlerbestimmungsmodul 406 einen weiteren Fehler berechnen, der angibt, wie viele Merkmale in D_k in D_k-1 fehlen. Diese Fehler repräsentieren die Diskontinuität zwischen den zwei Rahmen und sollten kleiner als ein Schwellenwert sein. Falls der Fehler größer als der Schwellenwert ist, ist D_k verdächtig. Zum Beispiel wird der Fehler groß, falls ein Rahmen zwischen den zwei Rahmen verlorengegangen ist. Als ein weiteres Beispiel wird der Fehler groß, falls eine der Kameras gestört oder versperrt ist, was veranlasst, dass einer der Rahmen unvollständig ist. Der Schwellenwert wird dynamisch von Faktoren wie etwa der Geschwindigkeit des Fahrzeugs, der Position/dem Ort der Kamera in dem Fahrzeug usw. abhängen. In Abhängigkeit von diesen Faktoren und dem Schwellenwert kann der Wert des Fehlers ein erwarteter Wert sein und somit keine Störung in dem Sensor angeben oder kann er ein unerwarteter Wert sein und somit eine Störung in dem Sensor angeben.
6 zeigt ein System 450, das ein zweites Verfahren zum Bestimmen der Differenz ΔD_k zwischen den Ausgangsdaten D_k und D_k-1 aus den Rahmen k bzw. k-1 verwendet, wenn sich das Fahrzeug bewegt. Das System 450 umfasst ein erstes neuronales Netz 452, ein zweites neuronales Netz 454, Gewichte 456, ein Abstandsberechnungsmodul 458 und ein Normierungsmodul 460.
In dem zweiten alternativen Verfahren wird ein neuronales Netz verwendet, um Merkmalswerte zu bestimmen. Genauer wird ein neuronales Netz unter Verwendung von Eingaben von Videos trainiert, um Differenzen zwischen Rahmen zu identifizieren und zu bestimmen. Das Modell trainierter neuronaler Netze kann den Abstand oder Fehler zwischen zwei Rahmen berechnen.
Wie in 6 gezeigt ist, empfangen in Verwendung zwei gleiche trainierte Modelle neuronaler Netze G_w(X) 452, 454, die dieselben Gewichte W 456 gemeinsam nutzen, die Ausgangsdaten D_k und D_k-1 aus den zwei Rahmen k bzw. k-1 und geben sie die Merkmale f_k und f_k-1 aus. Allgemein ist f_i = G_w(X_i). Das Abstandsberechnungsmodul 458 berechnet den euklidischen Abstand zwischen den Merkmalern f_k und f_k-1 als Δ = || f_k - f_k-1||. Der Abstand gibt eine Differenz zwischen den Merkmalen f_k und f_k-1 an. Allgemein ist A_i,j = ||f(i) - f(j)||. Die Differenz oder der Abstand Δ zwischen den zwei Merkmalen f_k und f_k-1 wird durch das Normierungsmodul 460 z. B. unter Verwendung einer Exponentialfunktion auf einen Bewertungswert S zwischen 0 und 1 normiert. Allgemein ist S_i,j = E^(-Δ_i,j).
7 zeigt ein Diagnoseverfahren 500. Bei 502 berechnet die Steuerung Mittelwerte von ΔD_k und ΔR_k, die über ein Gleitfenster erhoben werden. Bei 504 bestimmt die Steuerung, ob der Mittelwert ΔD_k größer oder gleich einem ersten Schwellenwert ist. Falls der Mittelwert ΔD_k größer oder gleich dem ersten Schwellenwert ist, gibt die Steuerung bei 506 eine Störung in Sensorhardware (z. B. eine gestörte Kamera) an und wird eine Störungsminderungsprozedur befolgt.
Falls der Mittelwert ΔD_k nicht größer oder gleich dem ersten Schwellenwert ist, bestimmt die Steuerung bei 508, ob der Mittelwert ΔD_k kleiner als ein zweiter Schwellenwert ist, wobei der zweite Schwellenwert kleiner als der erste Schwellenwert ist. Falls der Mittelwert ΔD_k kleiner als der zweite Schwellenwert ist, bestimmt die Steuerung bei 510, ob der Mittelwert ΔR_k größer oder gleich einem dritten Schwellenwert ist. Falls der Mittelwert ΔR_k größer oder gleich dem dritten Schwellenwert ist, gibt die Steuerung bei 512 eine Störung in dem Wahrnehmungssystem (z. B. einen Wahrnehmungssoftwarefehler) an und wird eine Störungsminderungsprozedur befolgt.
Falls der Mittelwert ΔR_k nicht größer oder gleich dem dritten Schwellenwert ist, bestimmt die Steuerung bei 514, ob der Mittelwert ΔR_k kleiner als ein vierter Schwellenwert ist, wobei der vierte Schwellenwert kleiner als der dritte Schwellenwert ist. Falls der Mittelwert ΔR_k kleiner als der vierte Schwellenwert ist, gibt die Steuerung bei 516 an, dass das Wahrnehmungssystem normal (d. h. ohne Fehler) wirkt oder arbeitet.
Falls der Mittelwert ΔD_k nicht kleiner als der zweite Schwellenwert ist, geht die Steuerung bei 508 zu 518 über. Falls der Mittelwert ΔR_k nicht kleiner als der vierte Schwellenwert ist, geht die Steuerung bei 514 zu 518 über. Bei 518 gibt die Steuerung einen geringfügigen oder nicht schweren Fehler in dem Wahrnehmungssystem an. Zum Beispiel kann die Steuerung eine Warnung erzeugen, die einen geringfügigen oder nicht schweren Fehler in dem Wahrnehmungssystem angibt. Zum Beispiel können die Werte des Mittelwerts ΔD_k und des Mittelwerts ΔR_k zur weiteren Analyse an ein Cloud-gestütztes System (z. B. an einen oder mehrere in 9A und 9B gezeigte Server) gesendet werden.
Das Diagnoseverfahren 500 kann auf der Grundlage vieler verschiedener Bedingungen ausgelöst werden. Nichteinschränkende Beispiele solcher Bedingen enthalten die Folgenden: Zum Beispiel kann das Diagnoseverfahren periodisch (z. B. alle N Minuten, nach jeder Zündung, nach X Minuten nach jeder Zündung, nach Y Minuten, nachdem sich das Fahrzeug zu bewegen beginnt, nachdem es wie etwa bei einer Ampel oder einem Verkehrszeichen zu einem Halt gekommen ist, usw.) ausgeführt werden. Das Diagnoseverfahren kann z. B. jedes Mal ausgelöst werden, wenn sich das Fahrzeug einer bestimmten Kreuzung oder einem bestimmten Ort (z. B. in einem Innenstadtbereich) nähert oder sie bzw. ihn durchfährt, wo eine Möglichkeit eines Wahrnehmungsfehlers bestehen kann. Zum Beispiel kann das Diagnoseverfahren auf Autobahnen seltener als in Städten ausgelöst werden. Das Diagnoseverfahren kann z. B. ohne Berücksichtigung irgendwelcher Auslösebedingungen ununterbrochen ausgeführt werden. Es werden andere Beispiele zusätzlicher Faktoren oder Betrachtungen (Basen), die das Diagnoseverfahren auslösen können, erwartet.
Nichteinschränkende Beispiele für Minderungsprozeduren enthalten die Folgenden. Zum Beispiel kann die Minderungsprozedur das Nichtberücksichtigen dieses Sensors und das Verwenden eines anderen Sensors (z. B. einer anderen Kamera) stattdessen enthalten, falls das Diagnoseverfahren eine Sensorstörung angibt (z. B., wenn eine der Kameras nicht richtig arbeitet). Zum Beispiel kann die Minderungsprozedur das Warnen des Insassen, sofort die Steuerung des Fahrzeugs zu übernehmen und das Selbstfahrmerkmal abzuschalten, enthalten, falls das Diagnoseverfahren eine Störung in dem Wahrnehmungssystem angibt (d. h., falls Wahrnehmungssystemergebnisse falsch sind). Eine solche Warnungsmeldung kann z. B. audiovisuell über ein Infotainmentteilsystem des Fahrzeugs ausgegeben werden. In Abhängigkeit von der Schwere der Störung kann die Minderungsprozedur außerdem das Zurseitefahren des Fahrzeugs an den Straßenrand (z. B. unter Verwendung eines autonomen Teilsystems des Fahrzeugs) enthalten. Es werden zusätzliche Beispiele für Minderungsprozeduren erwartet.
8A und 8B zeigen ein System 600 zum Diagnostizieren und Mindern von Störungen in einem Wahrnehmungssystem eines Fahrzeugs. Das System 600 nutzt die Architektur des in 1 gezeigten Systems 100 und nutzt die in 2-7 gezeigten Systeme und Verfahren.
In 8A umfasst das System 600 mehrere Sensoren 602, die über das gesamte Fahrzeug verteilt sind. Ferner umfasst das System 600 ein Wahrnehmungssystem 604 gemäß der vorliegenden Offenbarung. Das Wahrnehmungssystem kann mit verschiedenen Teilsystemen 606 des Fahrzeugs kommunizieren.
Die Teilsysteme 606 können z. B. ein Infotainmentteilsystem (z. B., um Warnungen bereitstellen), ein autonomes oder Selbstfahrteilsystem (z. B. zum Steuern des Fahrzeugs, Mindern von Störungen usw.), ein Bremsungsteilsystem, ein Geschwindigkeitssteuerungsteilsystem, ein Navigationsteilsystem, ein Kommunikationsteilsystem (z. B., um mit einem in 9A und 9B gezeigten Cloud-gestützten Back-End-System zu kommunizieren) usw. enthalten, sind darauf aber nicht beschränkt.
Zum Beispiel kann eines der Teilsysteme 606 für das Wahrnehmungsteilsystem 604 angeben, wann das Fahrzeug ruht oder sich bewegt. Dementsprechend kann das Wahrnehmungssystem 604 ein richtiges Verfahren für die Störungsdetektion und Störungsisolation, wie sie oben ausführlich beschrieben worden sind, auswählen und verwenden.
Das Wahrnehmungssystem 604 umfasst ein Vergleichsmodul 610, ein Wahrnehmungsmodul 612, ein Diagnosemodul 614 und ein Minderungsmodul 616. Wie in 8B gezeigt ist, umfasst das Wahrnehmungsmodul 612 ein Ergebniserzeugungsmodul 618, ein Paarbildungsmodul 620, ein Filterungsmodul 624 und ein Abstandsbestimmungsmodul 626.
Die Sensoren 602 erfassen die Umgebungen des Fahrzeugs und stellen Ausgangsdaten für das Wahrnehmungssystem 604 bereit. Das Vergleichsmodul 610 in dem Wahrnehmungssystem 604 vergleicht die Ausgangsdaten aus zwei Rahmen. Das Vergleichsmodul 610 führt auf der Grundlage des Verfahrens zum Bestimmen der ersten Differenz ΔD_k zwischen den Ausgangsdaten aus den zwei Rahmen wie oben beschrieben die L2-Norm aus, wenn das Fahrzeug steht. Ferner umfasst das Vergleichsmodul 610 die in 5 und 6 gezeigten Systeme 400 und 450, die verwendet werden, um die erste Differenz ΔD_k zwischen den Ausgangsdaten aus den zwei Rahmen zu bestimmen, wenn sich das Fahrzeug bewegt.
Das Wahrnehmungsmodul 612 erzeugt auf der Grundlage der Ausgangsdaten aus den zwei Rahmen die Wahrnehmungsergebnisse oder Wahrnehmungsergebnisvektoren R_k und R_k-1. Genauer erzeugt das Ergebniserzeugungsmodul 618 in dem Wahrnehmungsmodul 612 auf der Grundlage der Ausgangsdaten D_k und D_k-1 aus den zwei Rahmen k und k-1 die Wahrnehmungsergebnisse oder Wahrnehmungsergebnisvektoren R_k und R_k-1. Das Paarbildungsmodul 620 führt das oben anhand von 3 gezeigte und beschriebene Verfahren 300 aus, um die Elemente (Objekte) in den zwei Vektoren, wie oben anhand von 2 und 3 beschrieben wurde, auf Gleichheit zu prüfen. Das Filterungsmodul 624 führt wie oben beschrieben die Filterung der Begrenzungsobjekte von den zwei Vektoren aus. Das Abstandsbestimmungsmodul 626 bestimmt, wie oben ausführlich beschrieben wurde, den euklidischen Abstand zwischen den gefilterten sortierten Vektoren (d. h. zwischen den zwei Rahmen) und erzeugt die zweite Differenz ΔR_k zwischen den zwei Rahmen.
Das Diagnosemodul 614 diagnostiziert unter Verwendung des oben anhand von 7 gezeigten und beschriebenen Verfahrens 500 Störungen in den Sensoren 602 und in dem Wahrnehmungsmodul 604. Das Minderungsmodul 616 führt wie oben beschrieben in Abhängigkeit von den detektierten Störungen Minderungsprozeduren aus.
Das Folgende sind simplistische Beispiele einer verteilten Computerumgebung, in der die Systeme und Verfahren der vorliegenden Offenbarung implementiert werden können. Überall in der Beschreibung dienen Bezugnahmen auf Begriffe wie etwa Server, Client-Vorrichtungen, Anwendungen usw. nur zu Veranschaulichungszwecken. Die Begriffe Server und Client-Vorrichtung sind umfassend in der Weise zu verstehen, dass sie Computervorrichtungen mit einem oder mehreren Prozessoren und mit Speicher, die dafür konfiguriert sind, maschinenlesbare Anweisungen auszuführen, repräsentieren. Die Begriffe Anwendung und Computerprogramm sind umfassend in der Weise zu verstehen, dass sie maschinenlesbare Anweisungen repräsentieren, die durch die Computervorrichtungen ausgeführt werden können.
9A zeigt ein vereinfachtes Beispiel eines verteilten Computersystems 700. Das verteilte Computersystems 700 enthält ein verteiltes Kommunikationssystem 710, ein oder mehrere Fahrzeuge 720-1, 720-2, ... und 720-M (zusammen Fahrzeuge 720) und einen oder mehrere Server 730-1, 730-2, ... und 730-N (zusammen Server 730). M und N sind ganze Zahlen größer oder gleich eins.
Das verteilte Kommunikationssystem 710 kann ein lokales Netz (LAN), ein Weitverkehrsnetz (WAN) wie etwa das Internet oder einen anderen Typ eines Netzes enthalten. Die Fahrzeuge 720 und die Server 730 können sich an unterschiedlichen geografischen Orten befinden und können über das verteilte Kommunikationssystem 710 miteinander kommunizieren. Zum Beispiel können sich die Server 730 in einem Rechenzentrum in einer Cloud befinden. Die Fahrzeuge 720 und die Server 730 können sich unter Verwendung drahtloser und/oder verdrahteter Verbindungen mit dem verteilten Kommunikationssystem 710 verbinden.
Die Fahrzeuge 720 können wie oben anhand von 1-8B beschriebene Systeme enthalten, die Softwareanwendungen wie etwa die verschiedenen oben anhand von 1-8B beschriebenen Verfahren ausführen können. Die Server 730 können mehrere Dienste für die Fahrzeuge 720 bereitstellen. Zum Beispiel können die Server 730 durch einen oder mehrere Lieferanten entwickelte Softwareanwendungen (z. B. ein wie oben beschriebenes Back-End-System zum Diagnostizieren und Mindern von Störungen) ausführen. Die Server 730 können mehrere Datenbanken hosten, auf die sich die Softwareanwendungen bei der Bereitstellung von Diensten für Benutzer der Fahrzeuge 720 stützen.
9B zeigt ein vereinfachtes Beispiel des Servers 730-1. Üblicherweise enthält der Server 730-1 eine oder mehrere CPUs oder Prozessoren 770, eine Netzschnittstelle 778, einen Speicher 780 und einen Massenablagespeicher 782. Gemäß einigen Implementierungen kann der Server 730-1 ein Universalserver sein und eine oder mehrere Eingabevorrichtungen 772 (z. B. ein Tastenfeld, ein Touchpad, eine Maus usw.) und ein Anzeigeteilsystem 774, das eine Anzeige 776 enthält, enthalten.
Die Netzschnittstelle 778 verbindet den Server 730-1 mit dem verteilten Kommunikationssystem 710. Die Netzschnittstelle 778 kann z. B. eine verdrahtete Schnittstelle (z. B. eine Ethernet-Schnittstelle) und/oder eine drahtlose Schnittstelle (z. B. eine Wi-Fi-, Bluetooth-, Nahfeldkommunikations- (NFC-) oder andere drahtlose Schnittstelle) enthalten. Der Speicher 780 kann einen flüchtigen oder nichtflüchtigen Speicher, einen Cache oder einen anderen Typ eines Speichers enthalten. Der Massenablagespeicher 782 kann einen Flash-Speicher, eine oder mehrere magnetische Festplattenvorrichtungen (HDDs) oder andere Massenablagespeichervorrichtungen enthalten.
Der Prozessor 770 des Servers 730-1 führt ein Betriebssystem (OS) 784 und eine oder mehrere Serveranwendungen 786 (z. B. das Back-End-System zum Diagnostizieren und Mindern von Störungen und/oder zum weiteren Analysieren geringfügiger oder nicht schwerer Störungen, wie es oben beschrieben wurde) aus, die in einer Hypervisor- oder Containerarchitektur einer virtuellen Maschine aufgenommen sein können. Der Massenablagespeicher 782 kann eine oder mehrere Datenbanken 788 speichern, die Datenstrukturen speichern, die von den Serveranwendungen 786 verwendet werden, um jeweilige Funktionen auszuführen.
Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Obgleich diese Offenbarung bestimmte Beispiele enthält, soll der wahre Schutzumfang der Offenbarung somit nicht darauf beschränkt sein, da andere Änderungen beim Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche hervorgehen.
Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obgleich jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in irgendeiner und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen mit einer anderer bleiben im Schutzumfang der Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf“, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind.
Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chipplättchen, mehrere Prozessorschaltungen auf einem einzelnen Chipplättchen, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagemedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

System, das umfasst: ein Vergleichsmodul, das konfiguriert ist zum: Empfangen erster Daten hinsichtlich Umgebungen eines Fahrzeugs von mehreren Sensoren in dem Fahrzeug; Empfangen zweiter Daten hinsichtlich der Umgebungen von den mehreren Sensoren nach dem Empfangen der ersten Daten; Vergleichen der ersten Daten mit den zweiten Daten; und Bestimmen einer ersten Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage des Vergleichs der ersten Daten mit den zweiten Daten; ein Wahrnehmungsmodul, das konfiguriert ist zum: Erzeugen einer ersten Menge von Wahrnehmungsergebnissen auf der Grundlage der ersten Daten; Erzeugen einer zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage der zweiten Daten; und Bestimmen einer zweiten Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage der ersten Menge von Wahrnehmungsergebnissen und der zweiten Menge von Wahrnehmungsergebnissen; und ein Diagnosemodul, das dafür konfiguriert ist, auf der Grundlage einer Kombination der ersten Differenz und der zweiten Differenz zu bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist.
System nach Anspruch 1, das ferner ein Minderungsmodul umfasst, das dafür konfiguriert ist, in Ansprechen darauf, dass das Diagnosemodul in einem der Sensoren oder in dem Wahrnehmungsmodul eine Störung diagnostiziert, eine Minderungsprozedur auszuführen.
System nach Anspruch 1, wobei das Diagnosemodul dafür konfiguriert ist, auf der Grundlage mehrerer der ersten Differenzen und der zweiten Differenzen, die über ein Gleitfenster gemittelt werden, zu bestimmen, ob einer der Sensoren oder das Wahrnehmungsmodul gestört ist.
System nach Anspruch 1, wobei das Vergleichsmodul dafür konfiguriert ist in Ansprechen darauf, dass das Fahrzeug ruht, die ersten Daten mit den zweiten Daten durch Ausführen eines elementweisen Vergleichs zwischen Elementen der ersten Daten und der zweiten Daten zu vergleichen.
System nach Anspruch 1, wobei das Vergleichsmodul dafür konfiguriert ist, in Ansprechen darauf, dass das Fahrzeug in Bewegung ist: die ersten Daten mit den zweiten Daten durch Identifizieren von Merkmalen von den ersten Daten und von den zweiten Daten und durch Gleichheitsprüfen der Merkmale zu vergleichen; und die erste Differenz zwischen den ersten Daten und den zweiten Daten auf der Grundlage der Gleichheitsprüfung zu bestimmen.
System nach Anspruch 1, wobei das Vergleichsmodul mehrere gleiche Modelle neuronaler Netze umfasst, die dafür trainiert sind, Merkmale in Eingangsdaten zu identifizieren und die Merkmale unter Verwendung gleicher Gewichte auszugeben, und wobei das Vergleichsmodul konfiguriert ist zum: Eingeben der ersten bzw. der zweiten Daten in ein erstes und in ein zweites Modell eines neuronalen Netzes der mehreren Modelle neuronaler Netze; Empfangen erster bzw. zweiter Merkmale von dem ersten und von dem zweiten Modell neuronaler Netze; Berechnen des euklidischen Abstands zwischen den ersten und den zweiten Merkmalen; und Erzeugen einer Bewertung durch Normieren des euklidischen Abstands, wobei die Bewertung die erste Differenz zwischen den ersten Daten und den zweiten Daten angibt.
System nach Anspruch 1, wobei das Vergleichsmodul umfasst: ein Paarbildungsmodul, das dafür konfiguriert ist, Objekte in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage von Intersection-over-Union-Werten für alle Paare der Objekte zu paaren; ein Filterungsmodul, das dafür konfiguriert ist, Objekte mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen von den gepaarten Objekten zu filtern; und ein Abstandsbestimmungsmodul, das dafür konfiguriert ist, auf der Grundlage der gefilterten gepaarten Objekten den euklidischen Abstand zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen zu bestimmen, wobei der euklidische Abstand die zweite Differenz repräsentiert.
System nach Anspruch 7, wobei das Paarbildungsmodul konfiguriert ist zum: Paaren der Objekte in der ersten Menge von Wahrnehmungsergebnissen mit Objekten in der zweiten Menge von Wahrnehmungsergebnissen auf der Grundlage einer abnehmenden Reihenfolge der Intersection-over-Union-Werte für alle Paare der Objekte auf iterative Weise; und Sortieren der ersten und der zweiten Menge von Wahrnehmungsergebnissen unter Verwendung der gepaarten Objekte.
System nach Anspruch 8, wobei das Filterungsmodul dafür konfiguriert ist, nach dem Filtern der Objekte mit Koordinaten in der Nähe der Außenränder der ersten und der zweiten Menge von Wahrnehmungsergebnissen aus den gepaarten Objekten eine gefilterte sortierte erste und eine gefilterte sortierte zweite Mengen von Wahrnehmungsergebnissen zu erzeugen.
System nach Anspruch 9, wobei das Abstandsbestimmungsmodul dafür konfiguriert ist, den euklidischen Abstand zwischen der ersten und der zweiten Menge von Wahrnehmungsergebnissen zu bestimmen durch: Erzeugen eines ersten Mittelwerts von Abständen zwischen den gepaarten Objekten in der gefilterten sortierten ersten und in der gefilterten sortierten zweiten Menge von Wahrnehmungsergebnissen; Erzeugen eines zweiten Mittelwerts auf der Grundlage von Typen der gepaarten Objekte unter Verwendung einer Nachschlagetabelle, Skalieren des ersten und des zweiten Mittelwerts durch jeweilige Gewichte; und Kombinieren des gewichteten ersten und des gewichteten zweiten Mittelwerts.