DE112017008116T5

DE112017008116T5 - Multimodales Abtasten in autonomen Fahrzeugen mit Selbstheilungsfähigkeiten

Info

Publication number: DE112017008116T5
Application number: DE112017008116.5T
Authority: DE
Inventors: David Arditti Ilitzky; Ignacio J. Alvarez; Julio C. Zamora Esquivel; Paulo Lopez Meyer
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2020-07-02
Also published as: CN111095149A; US11320810B2; WO2019066841A1; US20200278665A1

Abstract

Eine Vorrichtung für autonome Fahrzeuge weist eine Wahrnehmungspipeline auf, die unabhängige Klassifizierungsprozesse aufweist, die parallel arbeiten, um jeweils Objekte, die zu einem bestimmten Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren zu identifizieren. Die Vorrichtung weist außerdem eine Sensorüberwachungsstufe auf, die parallel mit der Wahrnehmungspipeline arbeitet und die Sensordatenflüsse verwendet, um ein Vertrauensniveau jedes der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen, und einen defekten Sensor annulliert, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.

Description

Technisches Gebiet
Ausführungsformen der Offenbarung liegen auf dem Gebiet autonomer oder halbautonomer Vorrichtungen, insbesondere betreffen sie eine multimodale Abtastung in autonom fahrenden Fahrzeugen mit Selbstheilungsfähigkeiten.
Stand der Technik
Die hier bereitgestellte Beschreibung des Stands der Technik dient dem Ziel der allgemeinen Darstellung des Kontexts der Offenbarung. Falls hierin nicht anders angegeben, stellen die in diesem Abschnitt beschriebenen Materialien nicht den Stand der Technik in Bezug auf die Ansprüche in dieser Anmeldung dar und werden nicht als Stand der Technik durch Einbeziehung in diesen Abschnitt anerkannt.
Autonome oder halbautonome Vorrichtungen, wie z.B. selbstfahrende Fahrzeuge, unbemannte Luftfahrzeuge (UAV, die auch als Drohnen bezeichnet werden) oder Roboter, können sich auf einen multimodalen Satz von Sensoren verlassen, um die Umgebung wahrzunehmen, abzubilden und zu verfolgen. Die Sensoren können mehrere Typen aufweisen, wie z.B. Fernreichweitenradar, Mittelreichweitenradarfrontseite, Nachtsichtkamera, Videokamera, Rückfahrkamera, Ultraschall, Mittelreichweitenradarrückseite oder dergleichen. Jeder Typ von Sensor kann seine eigenen Vorteile und Unzulänglichkeiten aufweisen.
Nachdem der minimale Sensorsatz definiert wurde, wird jeder dieser Sensoren unverzichtbar, um das Fahrzeug sicher zu betreiben. Immer wenn ein Sensor dieses minimalen Satzes falsch funktioniert, muss das aktuelle Fahrzeugverhalten Maßnahmen zum sicheren Anhalten ergreifen, indem das Notbremssystem oder ein ähnliches auf unbemannte Fahrzeuge anwendbares Nothalteverfahren aktiviert wird, da sonst die Autonomie und Sicherheit des Fahrzeugs beeinträchtigt würden. Aus diesem Grund entscheiden sich Hersteller autonomer Fahrzeuge dafür, eine Obermenge des minimalen Sensorsatzes bereitzustellen, um eine Redundanz pro Sensortyp vorzusehen, die schlussendlich zu höheren Kosten und periphererer Komplexität für das Fahrzeugdesign führt.
Figurenliste
Ausführungsformen werden mithilfe der nachfolgenden ausführlichen Beschreibung in Verbindung mit den begleitenden Zeichnungen leicht verstanden. Um diese Beschreibung zu erleichtern, verweisen gleiche Bezugszeichen auf gleiche Strukturelemente. Ausführungsformen werden exemplarisch und nicht als Einschränkung in den Figuren der begleitenden Zeichnungen veranschaulicht.

1 zeigt ein repräsentatives multimodales heterogenes Sensorarray an einem autonomen oder halbautonomen Fahrzeug.
2 ist ein Diagramm, das eine multimodale Sensorwahrnehmungspipeline mit Fähigkeiten einer kontinuierlichen Sensorüberwachung und Selbstheilung darstellt.
3 ist ein Ablaufdiagramm, das einen Prozess darstellt, der durch die multimodale Wahrnehmungspipeline mit Sensorüberwachungs- und Selbstheilungsfähigkeiten gemäß einer offenbarten Ausführungsform durchgeführt wird.
4 zeigt ein bayessches Netz, das als ein Supervisor verwendet wird, um die Wahrscheinlichkeit einer Fehlfunktion eines Sensors unter Berücksichtigung des Verhaltens aller anderen zugehörigen Sensoren abzuschätzen.
5 zeigt eine Gleichung, die durch den Bayes-Netz-Supervisor verwendet wird, um eine Wahrscheinlichkeit einer Fehlfunktion eines Sensors abzuschätzen.
6 ist ein Graph, der eine Komponente eines Vektordeskriptors vergleicht, die von verschiedenen Sensoren interpretiert wird.
7 zeigt ein Beispiel für einen Clustering-Algorithmus, der zum Detektieren von Ausreißersensor(en) verwendet werden kann.
8A zeigt das Clustering-Ergebnis, das durch den Clustering-Algorithmus von 7 für das in 6 gezeigte Beispiel ausgegeben wird.
8B ist ein Graph, der eine Fehlermetrik des fehlerhaften Sensors zeigt.
9 ist ein Blockdiagramm, das ein Beispiel für einen Sensorgruppen-Supervisorprozess auf der Grundlage von Sensorübersetzermodellen zeigt.
10 zeigt eine Beispielrechenvorrichtung, die die hier beschriebenen Vorrichtungen und/oder Verfahren verwenden kann, gemäß verschiedenen Ausführungsformen.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Es werden Vorrichtungen, Verfahren und ein Speichermedium beschrieben, die mit einem multimodalen Abtasten bei autonomen Fahrzeugen mit Selbstheilungsfähigkeiten assoziiert sind.
In der folgenden ausführlichen Beschreibung wird auf die begleitenden Zeichnungen Bezug genommen, die einen Teil hiervon bilden, wobei gleiche Bezugszeichen durchgehend ähnliche Teile bezeichnen, und in denen zur Veranschaulichung Ausführungsformen, die realisiert werden können, gezeigt werden. Es versteht sich, dass andere Ausführungsformen verwendet werden können und strukturelle oder logische Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Daher soll die nachstehende ausführliche Beschreibung nicht in einem einschränkenden Sinne verstanden werden und der Umfang von Ausführungsformen wird durch die beigefügten Ansprüche und ihre Äquivalente definiert.
Aspekte der Offenbarung werden in der begleitenden Beschreibung offenbart. Alternative Ausführungsformen der vorliegenden Offenbarung und ihre Äquivalente können entworfen werden, ohne dass sie vom Erfindungsgedanken oder Umfang der vorliegenden Offenbarung abweichen. Es ist zu beachten, dass nachstehend offenbarte gleiche Elemente durch gleiche Bezugszeichen in den Zeichnungen angezeigt werden.
Verschiedene Operationen können wiederum als mehrere diskrete Vorgänge oder Operationen auf eine Weise beschrieben werden, die zum Verständnis des beanspruchten Gegenstands am hilfreichsten ist. Jedoch sollte die Reihenfolge der Beschreibung nicht als eine Implikation ausgelegt werden, dass diese Operationen notwendigerweise von der Reihenfolge abhängig sind. Insbesondere werden diese Operationen möglicherweise nicht in der Reihenfolge der Darstellung durchgeführt. Beschriebene Operationen können in einer Reihenfolge durchgeführt werden, die von der beschriebenen Ausführungsform verschieden ist. Verschiedene zusätzliche Operationen können durchgeführt werden und/oder beschriebene Operationen können in zusätzlichen Ausführungsformen weggelassen werden.
Zu den Zwecken der vorliegenden Offenbarung bedeutet der Ausdruck „A und/oder B“ (A), (B) oder (A und B). Zu den Zwecken der vorliegenden Offenbarung bedeutet der Ausdruck „A, B und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Beschreibung kann die Ausdrücke „in einer Ausführungsform“ oder „in Ausführungsformen“ verwenden, die sich auf eine oder mehrere der gleichen oder unterschiedlichen Ausführungsformen beziehen können. Des Weiteren sind die Begriffe „umfassend“, „enthaltend“ „aufweisend“ und dergleichen, wie in Bezug auf Ausführungsformen der vorliegenden Offenbarung verwendet, synonym.
Wie hier verwendet, kann der Begriff „Schaltung“ auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam benutzt, fest zugeordnet oder Gruppe) und/oder Speicher (gemeinsam benutzt, fest zugeordnet oder Gruppe), der/die ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, verweisen, ein Abschnitt davon sein oder diese umfassen.
Die hier bereitgestellten Ausführungsformen stellen ein autonomes Fahrzeug oder eine andere Vorrichtung mit einem multimodalen Ansatz bezüglich einer Objektdetektion und - klassifizierung bereit, die als Eingabe in einen herkömmlichen Fusionsgittermechanismus verwendet wird. In Vorrichtungen, die einen multimodalen Satz von Sensoren verwenden, kann die Vorrichtung einen Sensorausfall (z.B. eine Sensorinaktivität, eine Sensorfehlfunktion, einen Sensorfehler, eine Sensorrücksetzung, oder ein Sicherheitsereignis, das mit mindestens einem der Sensoren assoziiert ist) in einer Modalität ausgleichen, indem die von einer anderen Modalität erlangte Information genutzt wird. Dies ermöglicht ein Verfahren für eine robuste, auf mehreren Sensoren basierende Wahrnehmung, die in der Lage ist, die Autonomie nach einem Sensorausfall aufrechtzuerhalten. In einer weiteren Ausführungsform wird die Sensorausfall-Detektionsfähigkeit um eine Selbstheilungsfähigkeit für die detektierten falsch funktionierenden Sensoren erweitert. Dies ermöglicht einen sicheren Betrieb ohne die Notwendigkeit, eine große Obermenge eines minimalen Sensorsatzes anzuordnen, wodurch Kosten und Komplexität auf Systemebene reduziert werden. Die Vorrichtung kann eine Komponente eines Fahrzeugs (wie z.B. eines Straßen- oder Geländefahrzeug mit Rädern oder eines beliebigen anderen Fahrzeugtyps, wie z.B. eines Schienenfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs, eines Roboters oder dergleichen oder Kombinationen davon) oder eines Nichtfahrzeugs, wie z.B. eines stationären Überwachungssystems, das mehr als einen Sensortyp verwendet, sein.
1 zeigt ein repräsentatives multimodales heterogenes Sensorarray an einem autonomen oder halbautonomen Fahrzeug, das eine Wahrnehmungspipeline mit einer Selbstheilung 200 (wie in 2 beschrieben) betreibt, gemäß den Ausführungsbeispielen. In einigen Anwendungen kann jeder heterogene Sensor im Sensorarray einen unterschiedlichen physischen Raum überwachen. Zum Beispiel können in einem heterogenen Sensorarray in einer Kraftfahrzeugausführungsführungsform die Sensoren verschiedene Räume um das Kraftfahrzeug, wie z.B. einen bestimmten Bereich vor dem Kraftfahrzeug oder einen bestimmten Bereich hinter dem Kraftfahrzeug, überwachen. Beispiele für überwachte Bereiche um ein Kraftfahrzeug können einen Fernreichweitenradarbereich 10, einen Mittelreichweitenradarvorderbereich 12, einen Nachtsichtkamerabereich 14, einen Videokamerabereich 16, einen Ultraschallbereich 18, einen Mittelreichweitenradarrückbereich 20 und einen Rückfahrkamerabereich 22 aufweisen, von denen einige überlappend (z.B. teilweise überlappend) sind. Verschiedene Typen von Sensoren, die die jeweiligen Bereiche vor dem Kraftfahrzeug überwachen können, können Folgendes aufweisen: Ultraschall, eine Videokamera (Tag- und/oder Nachtsicht), ein Mittelreichweitenradar und ein Fernreichweitenradar, ein LIDAR (Light Imaging Detection And Ranging) oder dergleichen. Verschiedene Typen von Sensoren, die jeweilige Bereiche hinten dem Kraftfahrzeug überwachen können, können Folgendes aufweisen: Ultraschall und eine Rückfahrkamera oder dergleichen.
In einer herkömmlichen autonom fahrenden, sensorbasierten Wahrnehmungspipeline werden Informationen jedes Sensors selbständig für eine Einzelsensorklassifizierung (Einzelmodus) von Objekten eines bestimmten Typs verwendet, die aus den durch diesen individuellen Sensor bereitgestellten Informationen leicht identifizierbar sind. Dies bedeutet, dass Objekte vorhanden sind, die entweder ausschließlich von LIDAR oder einer Kamera detektiert werden, die später durch das Fusionsgitter zu einer einzigen Darstellung verschmolzen werden und für die Bewegungsbahnplanung des Kraftfahrzeugs von entscheidender Bedeutung sind. Obwohl dieses Verfahren im Allgemeinen als Sensordatenzusammenführung eingeordnet werden kann, verwendet dieser Typ von Zusammenführung nicht die insgesamt verfügbaren Informationen (von allen Sensoren), um die Detektion/Klassifizierung jedes Objektes zu optimieren.
Bei dem herkömmlichen Wahrnehmungspipelineaufbau kann eine Fehlfunktion eines einzelnen Sensors dazu führen, dass das Fahrzeug bestimmte Objekte nicht mehr klassifizieren kann, die lediglich über diesen Sensor wahrgenommen werden können. Infolgedessen besteht das momentane Verhalten darin, ein Notanhalten auszulösen, da Autonomie und Sicherheit des Fahrzeugs beeinträchtigt sind. Dies spiegelt einen Mangel an Robustheit in der Lösung auf Systemebene wider, der auf die vollständige Abhängigkeit von jedem Sensor im minimalen Sensorsatz zurückzuführen ist. Lösungen bei der herkömmlichen Wahrnehmungspipeline eines autonomen Fahrzeugs basieren auf dem Hinzufügen von duplizierten/redundanten Sensoren, was den Nachteil zusätzlicher Kosten und Komplexität auf Systemebene nach sich zieht.
Gemäß den hier offenbarten Ausführungsbeispielen wird eine Wahrnehmungspipeline für autonome oder halbautonome Fahrzeuge offenbart, die einen multimodalen Ansatz bezüglich einer Objektdetektion und -klassifizierung mit Selbstheilung anstelle vorhandener, auf Sensortypen basierender Ansätze bereitstellt. Unabhängige multimodale Klassifizierungsprozesse für verschiedene Objekttypen (z.B. Spurmarkierungen, Verkehrszeichen, Fußgänger, Tiere, andere Fahrzeuge und dergleichen) arbeiten parallel, und jeder der Klassifizierungsprozesse abonniert synchronisierte Sensordatenflüsse von mehreren Sensoren. Die Objektdetektion und -klassifizierung verwendet Multisensordatenfusion auf einer niedrigen Ebene (Rohdaten oder extrahierte Merkmalebene), um die verfügbare Information zu maximieren und die Klassifizierungsgenauigkeit zu erhöhen. Der multimodaler Ansatz wird mit Worst-Case-Szenarien vorab trainiert, in denen ein oder mehrere Sensoren in der multimodalen Sensorgruppe, die jeden Klassifizierungsprozess liefert, fehlen, so dass die Klassifizierungsprozesse im Betriebs bei allen erforderlichen Kombinationen von Sensormängeln während des Selbstheilungsprozesses ein vorbestimmtes Genauigkeitsniveau aufrechterhalten können.
2 ist ein Diagramm, das eine multimodale Sensorwahrnehmungspipeline mit Fähigkeiten einer kontinuierlichen Sensorüberwachung und Selbstheilung darstellt, gemäß einigen Ausführungsformen. Gemäß einigen Ausführungsformen kann die multimodale Sensorwahrnehmungspipeline 200 in vier Hauptkomponenten aufgeteilt werden: eine Datenerfassungsstufe 202, eine multimodale Objektklassifizierungsstufe 204, eine Sensorüberwachungs- und -heilungsstufe 206 und einen Sensorheilungsrückkopplungspfad 207.
Die Datenerfassungsstufe 202 erfasst Daten von mehreren Sensoren 208A bis 208N und kommuniziert die Daten an die Sensorüberwachungs- und -heilungsstufe 206 (und indirekt an die multimodale Klassifizierungsstufe 204) als synchronisierte Sensordatenflüsse 214. In einer Ausführungsform kann der Datenerfassungspfad 202 eine Sensorrohdatenstufe 208, eine Sensordatenvorverarbeitungsstufe 210 und eine Sensordatensynchronisationsstufe 212 aufweisen.
Die multimodale Klassifizierungsstufe 204 weist mehrere Klassifizierungsprozesse 204A bis 204M auf, die damit beauftragt sind, verschiedene Objekttypen (z.B. Spurmarkierungen, Verkehrszeichen, Fußgänger, Tiere, andere Fahrzeuge und dergleichen) parallel zu identifizieren. In einer Ausführungsform abonniert jeder der Klassifizierungsprozesse 204A bis 204M eine beliebige Anzahl der synchronisierten Sensordatenflüsse 214 von mehreren verschiedenen Sensoren 208A bis 208N. Die multimodale Klassifizierungsstufe 204 verwendet Multisensordatenfusion auf einer niedrigen Ebene (Rohdaten oder extrahierte Merkmalebene), um die verfügbare Information zu maximieren und die Klassifizierungsgenauigkeit zu erhöhen.
Gemäß einem Aspekt der offenbarten Ausführungsformen verwendet die Sensorüberwachungs- und -heilungsstufe 206 alle der synchronisierten Sensordatenflüsse 214, um ein Sensorvertrauensniveau für jeden der verschiedenen Sensoren 208A bis 208N separat in Bezug auf verwandte Sensoren abzuschätzen und zu verfolgen, wobei die synchronisierten Sensordatenflüsse 214 die vorverarbeiteten Daten (extrahierte Merkmale) von der Sensordatenvorverarbeitungsstufe 210 umfassen. Die Sensorüberwachungs- und -heilungsstufe 206 arbeitet parallel mit der Datenerfassungsstufe 202 und der multimodalen Klassifizierungsstufe 204. Wie hier verwendet, bedeutet der Begriff „parallel“, dass die Prozesse gleichzeitig arbeiten, jedoch nicht notwendigerweise an denselben Daten. In einer Ausführungsform weist die Sensorüberwachungs- und -heilungsstufe 206 einen Sensorgruppen-Supervisorprozess 216, einen Sensorheilungsprozess 218 und ein Sensordatengateway 226 auf.
Der Sensorheilungsrückkopplungspfad 207 versucht, die Sensoren 208, die Sensorvorprozessoren 210 und fakultativ die Sensordatensynchronisationsstufe 212 immer dann zu berichtigen/neu zu konfigurieren, wenn das Sensorvertrauensniveau eines entsprechenden Sensors (Sensoren) 208A bis 208N den Vertrauensschwellenwert nicht erfüllt, um zu versuchen, den fehlerhaften Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen. In einer Ausführungsform weist der Sensorheilungsrückkopplungspfad 207 den Sensorheilungsprozess 218 innerhalb der Sensorüberwachungs- und -heilungsstufe 206 und ein Sensoreinstellsteuersignal 220 auf. Das Sensoreinstellsteuersignal 220 wird durch die Sensorüberwachungs- und -heilungsstufe 206 an jeden fehlerhaften Sensor (Sensoren) 208A bis 208N, einen entsprechenden Sensordatenvorprozessor(en) 210A bis 210N und fakultativ die Sensordatensynchronisationsstufe 212 ausgegeben. In manchen Fällen kann die Sensorüberwachungs- und -heilungsstufe 206 das Sensoreinstellsteuersignal 220 lediglich an die Sensordatenvorprozessoren 210A bis 210N und/oder die Sensordatensynchronisationsstufe 212 ausgegeben, wenn die Sensoren 208A bis 208N korrekt arbeiten, aber die Sensordatenvorprozessoren 210A bis 210N eingestellt werden müssen und/oder die Sensordatensynchronisationsstufe 212 neu synchronisiert werden muss.
3 ist ein Ablaufdiagramm, das einen Prozess darstellt, der durch die multimodale Wahrnehmungspipeline mit Sensorüberwachungs- und Selbstheilungsfähigkeiten gemäß einer offenbarten Ausführungsform durchgeführt wird. Der Prozess kann damit beginnen, dass die mehreren Klassifizierungsprozesse 204A bis 204M der Wahrnehmungspipeline 200 parallel arbeiten, um jeweils Objekte, die zu einem konkreten Objekttyp gehören, auf der Grundlage der Sensordatenflüsse 214 von mehreren verschiedenen Sensoren 208A bis 208N zu identifizieren (Block 300).
Die Sensorüberwachungs- und -heilungsstufe 206 arbeitet parallel mit der Wahrnehmungspipeline und verwendet die Sensordatenflüsse 214, um ein Betriebsvertrauensniveau jedes von den mehreren verschiedenen Typen von Sensoren abzuschätzen und zu verfolgen (Block 302). In einer Ausführungsform stellt das Sensorvertrauensniveau eine Wahrscheinlichkeit dar, dass ein Sensor korrekt arbeitet.
Wenn die Sensorüberwachungs- und -heilungsstufe 206 bestimmt, dass das mit einem fehlerhaften Sensor assoziierte Vertrauensniveau einen Betriebsvertrauensschwellenwert nicht erfüllt (Block 304), annulliert die Sensorüberwachungs- und -heilungsstufe 206 den fehlerhaften Sensor (Block 306). Es ist zu beachten, dass das Sensorannullierungssignal 224 keinen Einfluss auf den Betrieb des fehlerhaften Sensors dahingehend nimmt, als der fehlerhafte Sensor, im Gegensatz zum „Ausgeschaltet“-Werden, weiterhin arbeitet und Sensorrohdaten generiert. In einer Ausführungsform bestimmt der Sensorgruppen-Supervisorprozess 216 das mit jedem der Sensoren 208A bis 208N assoziierte Vertrauensniveau und verfolgt es, und sendet ein Sensorannullierungssignal 224 sowohl an den Sensorheilungsprozess 218 und das Sensordatengateway 226, wenn das mit dem Zielsensor assoziierte Vertrauensniveau den Vertrauensschwellenwert nicht erfüllt. In einer Ausführungsform kann der Sensorgruppen-Supervisorprozess 216 einen separaten Sensorsupervisorprozess umfassen, um jeden Sensor oder einen Teilsatz von Sensoren 208A bis 208N zu überwachen. In einer Ausführungsform kann der Vertrauensschwellenwert eine Mindestwahrscheinlichkeit dafür repräsentieren, dass ein fehlerhafter Sensor korrekt arbeitet. In einer Ausführungsform kann der Vertrauensschwellenwert ein durch einen Benutzer konfigurierbarer Wert für jeden Sensor sein.
In einer Ausführungsform kann der Sensorgruppen-Supervisorprozess 216 auch das Sensorvertrauensniveau 230 an den Sensorheilungsprozess 218 senden. In einer Ausführungsform kann das Sensorvertrauensniveau 230 immer dann gesendet werden, wenn das Sensorannullierungssignal 224 gesendet wird. In einer anderen Ausführungsform kann das Sensorvertrauensniveau 230 für alle der Sensoren 208A bis 208N kontinuierlich an den Sensorheilungsprozess 218 gesendet werden.
Als Antwort auf die Annullierung des fehlerhaften Sensors sendet die Sensorüberwachungs- und -heilungsstufe 206 ein Sensoreinstellsteuersignal 220 an den Zielsensor, um zu versuchen, den fehlerhaften Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen (Block 308). Ausführlicher sendet als Antwort darauf, dass der Selbstheilungsprozess 218 das Sensorannullierungssignal 224 vom Sensorgruppen-Supervisorprozess 216 empfängt, der Selbstheilungsprozess 218 das Sensoreinstellsteuersignal 220 an den fehlerhaften Sensor. In einer Ausführungsform wird das Sensoreinstellsteuersignal 220 ebenfalls an den entsprechenden Sensordatenvorprozessor 210 und fakultativ an die Sensordatensynchronisationsstufe 212 gesendet. Die Sensordatensynchronisationsstufe 212 kann auch eingestellt werden, so dass der Sensor, der gerade „geheilt“ wird, (falls möglich/erforderlich) in Synchronisation mit dem Rest der Sensoren gehalten wird, bevor der defekte Sensor wieder als korrekt arbeitend deklariert wird.
Die Sensorüberwachungs- und -heilungsstufe 206 veranlasst außerdem, dass tatsächliche abgetastete Datenwerte, die von dem annullierten fehlerhaften Sensor ausgegeben werden, durch einen nullifizierten Wertdatenfluss (z.B. einen konstanten Datenfluss mit einem Nullwert) (Block 310) ersetzt werden. Gemäß einer Ausführungsform schaltet, nachdem das Sensordatengateway 226 das Sensorannullierungssignal 224 vom Sensorgruppen-Supervisorprozess 216 empfängt, das Sensordatengateway 226 die Eingabe der multimodalen Klassifizierungsstufe 204 vom Sensordatenfluss 214 des annullierten fehlerhaften Sensors auf einen konstanten Datenfluss mit Nullwerten um.
Als Antwort darauf, dass einer von den Klassifizierungsprozessen 204A bis 204M einen konstanten Datenfluss mit Nullwerten als Eingabe für den annullierten Zielsensor empfängt, arbeitet der Klassifizierungsprozess 204A bis 204M in einem verschlechterten Modus, in dem der Klassifizierungsprozess 204A bis 204M weiterhin den jeweiligen Objekttyp in Abwesenheit der tatsächlichen Sensordaten des annullierten fehlerhaften Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird (Block 320). Wenn die Anzahl von gleichzeitig annullierten Sensoren die Kapazität des Klassifizierungsprozesses 204A bis 204M zum Aufrechterhalten des vorgegebenen Genauigkeitsniveaus übersteigt, dann kann die Wahrnehmungspipeline 200 auf ein herkömmliches Verhalten des Detektierens eines Sensorausfalls zurückfallen, das ein Notbremsverfahren (oder dergleichen) aufruft, um den Betrieb des Fahrzeugs auf eine verantwortungsvolle Weise anzuhalten.
Gemäß einer Ausführungsform annulliert ein Ersetzen der Datenausgabe des annullierten Zielsensors durch einen Datenfluss mit Nullwerten, anstatt den Datenfluss insgesamt zu stoppen, den Zielsensor von der Wahrnehmungspipeline 200 wirksam, um sicherzustellen, dass lediglich die Sensordaten von korrekt arbeitenden Sensoren durch die multimodale Klassifizierungsstufe 204 verarbeitet werden, aber ohne die Objektklassifizierungsprozesse zu unterbrechen.
In einer weiteren Ausführungsform werden die Klassifizierungsprozesse 204A bis 204M a priori trainiert, um im Fall eines oder mehrerer defekter Sensoren im verschlechterten Modus zu arbeiten, während ermöglicht wird, dass die Wahrnehmungspipeline 200 versucht, den defekten Sensor zu korrigieren. Diese Trainingsfälle werden hinzugefügt, um Fälle einer Sensorfehlfunktion abzudecken, d.h. die Trainingsfälle nehmen an, dass Daten eines beliebigen falsch funktionierenden Sensors (nicht antwortend, nicht eingestellt, Artefakte im Datenfluss usw.) durch einen nullifizierten oder konstanten Datenfluss mit Nullwerten ersetzt werden. In einer Ausführungsform deckt das Training all die möglichen Fälle ab, wobei verschiedene Teilsätze der Sensordatenflüsse annulliert werden, was ermöglicht, dass die Klassifizierungsprozesse 204A bis 204M ein vorgegebenes Genauigkeitsniveau während des Betriebs bei allen erforderlichen Kombinationen von Sensorausfällen aufrechterhalten. Ein Ersetzen tatsächlicher „fehlerhafter“ Sensordaten von einem fehlerhaften Sensor durch Nullwertdaten (per definitionem vollständige Abwesenheit von Informationen) bewirkt, dass es leichter ist, die Klassifizierungsprozesse 204A bis 204M zu trainieren und eine hohe Genauigkeit des Betriebs in einem verschlechterten Modus zu erzielen.
Diese Fähigkeiten ist für kommerzielle Fahrzeuge von entscheidender Bedeutung, damit sie unter Bedingungen, bei denen ein Sensor oder Sensortyp vorübergehend untauglich (z.B. geblendet), dauerhaft untauglich oder angegriffen ist, sicher arbeiten. Außerdem ermöglicht diese Fähigkeit es den Herstellern, hohe Größenordnungen der Sensorredundanz zu vermeiden, wodurch zusätzliche Kosten und Komplexität auf Systemebene reduziert werden.
Die offenbarten Ausführungsformen fügen außerdem Robustheit hinzu, ohne den Echtzeitbetrieb zu benachteiligen. Das heißt, es werden keine Verzögerungen zur Wahrnehmungspipeline 200 hinzugefügt, und keine Pipelineprozessrücksetzungen werden benötigt, da die Sensorüberwachungs- und -heilungsstufe 206 parallel mit der multimodalen Klassifizierungsstufe 204 ist (die den kritischen Pfad der Wahrnehmungspipeline darstellt). Des Weiteren verlangen beim Detektieren einer Sensorfehlfunktion die offenbarten Ausführungsformen keine neue Synchronisation der korrekt arbeitenden Sensordatenflüsse 214. Es ist zu beachten, dass während des Selbstheilungsprozesses, vor der Aufhebung der Annullierung eines zuvor annullierten Zielsensors, eine Notwendigkeit bestehen könnte, jenen Sensor erneut zu synchronisieren. Nichtsdestotrotz besteht zum Zeitpunkt, zu dem ein Sensor annulliert wird (sobald detektiert wurde, dass das Vertrauen niedrig ist), möglicherweise keine Notwendigkeit des Synchronisierens.
Zusätzliche Einzelheiten der Komponenten, die die Wahrnehmungspipeline 200 aufweisen, werden nachstehend offenbart.
Unter erneuter Bezugnahme auf 2 kann die Sensorrohdatenstufe 208 ein heterogenes Sensorarray aufweisen, das viele verschiedene Typen von Sensoren 208A bis 208N aufweist, die vorzugsweise individuelle, konfigurierbare oder einstellbare Merkmale aufweisen. Anfangs erzeugen die Sensoren 208A bis 208N kontinuierlich Daten (entweder Rohdaten oder interpretierte Daten). Die Daten von jedem der Sensoren 208A bis 208N können in einen oder mehrere gleichzeitig neu konfigurierbare Sensordatenvorprozessoren 210A bis 210N eingegeben werden, die einfache Datenadaptationsfunktionen, wie z.B. einfaches Filtern, Umformatieren und dergleichen, oder komplexere Merkmalfunktionen durchführen können. Mehrere Vorprozessoren 210 können für denselben Sensor 208A bis 208N vorhanden sein, wodurch mehrere verschiedene Merkmale gleichzeitig von demselben Sensor 208A bis 208N extrahiert werden können. In einer Ausführungsform kann eine Eins-zu-Viele-Beziehung zwischen Sensorrohdaten von jedem der Sensoren 208A bis 208N und den entsprechenden Sensordatenvorprozessoren 210A bis 210N vorhanden sein. Das heißt, Rohdaten von einem einzelnen Sensor 208A können zum Beispiel in mehrere parallele Sensordatenvorprozessoren 210A eingegeben werden (von denen jeder verschiedene Merkmale aus den Daten extrahiert). Aus diesem Grund ist die Anzahl von Signalen (oder Datenflüssen) in den synchronisierten Sensordatenflüssen 214 größer oder gleich der Anzahl von Sensoren (N).
Alle vorverarbeiteten Sensordatenflüsse 210B (≥N) werden dann in die Sensordatensynchronisationsstufe 212 eingegeben, die alle vorverarbeiteten Sensordatenflüsse 210B zeitlich synchronisiert, wobei die Datenerfassungszeitunterschiede und Vorverarbeitungszeitunterschiede bei Sensoren berücksichtigt werden, und die synchronisierten Sensordatenflüsse 214 an die Sensorüberwachungs- und -heilungsstufe 206 ausgibt.
Unter Bezugnahme auf die multimodale Klassifizierungsstufe 204 weist ein Merkmal der offenbarten multimodalen Wahrnehmungspipeline 200 M parallele und unabhängige multimodale Objektklassifizierungsprozesse 204A bis 204M, einen pro Objekttyp (z.B. Spuren, Zeichen, Fußgänger, andere Fahrzeuge usw.), auf, wobei jeder der Klassifizierungsprozesse 204A bis 204M Daten von mehreren Sensoren (sogar allen von ihnen) gleichzeitig verwenden kann, um die verfügbare Information für die Klassifizierung zu erhöhen.
Die Klassifizierungsprozesse 204A bis 204M erfordern eine Multisensordatenfusion (MSDF), entweder auf der Rohdatenebene oder der Ebene extrahierter Merkmale. MSDF kann entweder als eine Vorstufe jedes Klassifizierungsprozesses 204A bis 204M (z.B. durch ein parametrisches Verfahren, wie z.B. ein modelbasiertes nichtlineares Filtern) durchgeführt werden, oder sie kann in die Klassifizierungsprozesse 204A bis 204M eingebettet werden (z.B. einen Klassifizierungsprozess trainieren, um als Eingaben die Multisensordaten und/oder Merkmale zu verwenden und die Fusion implizite auf verborgenen Schichten aufzulösen).
Um den multimodalen Aspekt der Klassifizierungsprozesse 204A bis 204M zu ermöglichen, kann die vorliegende Ausführungsform einen Veröffentlichungs-Abonnierungs-Mechanismus (Pub/Sub-Mechanismus) 222 verwenden, um zu ermöglichen, dass all die erforderlichen simultanen Sensordatenflüsse 214, von den synchronisierten Sensordatenvorprozessorausgaben 210A bis 210N an die Sensorüberwachungs- und -heilungsstufe 206, an die entsprechende Dateneingaben der Klassifizierungsprozesse 204A bis 204M weitergeleitet werden. Die endgültige Ausgestaltung der unterstützten Sensordatenflüsse 214 kann während der Entwurfsphase verfestigt werden, wobei sich in diesem Fall Abonnements zur Laufzeit nicht ändern sollten.
Mögliche Implementierungen des Veröffentlichungs-Abonnement-Mechanismus 222 hängen davon ab, ob die Klassifizierung in Softwareprozessen in symmetrischen Multiprozessing-(SMP)-, multikernartigen Architekturen oder in Hardware-Streamprozessoren, wie z.B. anwendungsspezifischen Befehlsprozessoren (ASIP) oder Field-Programmable-Gate-Arrays-(FPGA)-Engines, die Datenströme in Echtzeit verarbeiten können, vorgenommen wird. Wenn die Klassifizierungsprozesse 204A bis 204M als unabhängige Hardwarekomponenten implementiert werden, könnte dieser Pub-/Sub-Mechanismus 222 als ein vollständig verbundenes Verbindungsnetzwerk zwischen allen synchronisierten Sensordatenausgaben an alle Objektklassifikator implementiert werden, wobei jeder Klassifizierungsprozess 204A bis 204M mehrere Ports mit dem Verbindungsnetzwerk (einen pro parallelen Datenfluss) aufweist. Wenn die Klassifizierungsprozesse 204A bis 204M als Softwareprozesse, die auf verschiedene physische Kerne in einem Multikernsystem abgebildet werden, implementiert werden, könnte der Pub-/Sub-Mechanismus 222 als kohärente, vermaschte SMP-Multiprozessor-Netzwerke mit einer verteilten NUMA-Speicherarchitektur mit Speicherzugriff-Latenzgarantien (die Kohärenz berücksichtigen) implementiert werden.
Um eine Robustheit der Klassifizierungsprozesse 204A bis 204M zu ermöglichen, muss jeder Klassifizierungsprozess 204A bis 204M trainiert werden, um eine hinreichend gute Leistungsfähigkeit bei allen erforderlichen Kombinationen von Sensorfehlfunktionen aufzuweisen. Zu diesem Zweck wird angenommen, dass jeder falsch funktionierende und annullierte Sensordatenfluss durch einen konstanten Datenfluss mit Nullwerten ersetzt wird. Die Annahme von Datenflüssen mit Nullwerten für falsch funktionierende Sensoren vereinfacht das Training der Klassifizierungsprozesse 204A bis 204M für die Robustheit (Klassifikatoren werden auf Sensorausfall a priori trainiert), was ermöglicht, dass die Klassifizierungsprozesse 204A bis 204M hinreichende Funktionssicherheitstoleranzen bereitstellen, die zur Entwurfszeit bekannt sind.
Der Sensorgruppen-Supervisorprozess 216 analysiert alle synchronisierten Sensordatenflüsse 214 parallel mit der multimodalen Klassifizierungsstufe 204 und schätzt das Vertrauensniveau jedes der Sensoren 208A bis 208N in Bezug auf die von allen anderen statistisch verwandten Sensoren empfangenen Daten ab. Der hier verwendete Ausdruck „statisch verwandte Sensoren“ bedeutet, dass die Datenausgabe von einem Satz von Sensoren statistisch abhängig ist (im Gegensatz zu den physikalischen verwandten Abtastmechanismen). In einer Ausführungsform muss der Sensorgruppen-Supervisorprozess 216 beim Berechnen des Vertrauens anderer Sensoren 208A bis 208N das Vertrauen der Sensoren 208A bis 208N berücksichtigen. Das heißt, Sensoren mit einem niedrigen Vertrauen sollten beim Abschätzen des Vertrauens anderer Sensoren schwach erwogen (oder verworfen) werden.
Gemäß den hier offenbarten Ausführungsformen kann der Sensorgruppen-Supervisorprozess 216 das Vertrauensniveau eines Zielsensors durch Vergleichen (auf verschiedene Weisen) des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren abschätzen. Gemäß den hier offenbarten Ausführungsformen können mehrere verschiedene Verfahren für den Sensorgruppen-Supervisorprozess 216 verwendet werden, um den synchronisierten Sensordatenfluss des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren zu vergleichen.
In einer ersten Ausführungsform wird ein vorab trainiertes Sensorübersetzungsmodell für jeden Sensor bereitgestellt, das als Eingaben den synchronisierten Sensordatenfluss der statistisch verwandten Referenzsensoren nimmt und eine vorhergesagte Ausgabe des Zielsensors erzeugt. Daher greift der Sensorgruppen-Supervisorprozess 216 auf das vorab trainierte Modell des Zielsensors zu, um von den verwandten Sensoren erzeugte Sensordaten in modellierte Sensordaten für den Zielsensor umzuwandeln (indem er z.B. LIDAR-Daten auf der Grundlage verwandter Kamera- und Radardaten modelliert). Vorab trainierte Modelle können verwendet werden, um Sensorrohdaten (oder vorextrahierte Merkmaldaten) von den verwandten Sensoren in den Darstellungsraum, der dem Zielsensor entspricht, zu übersetzen. Es ist zu beachten, dass sich das „Ziel“ auf den Sensor bezieht, für den das Vertrauensniveau berechnet wird, während „verwandte“ oder „Referenz“-Sensoren alle anderen statistisch verwandte Sensoren sind. Eine Ähnlichkeitsmetrik wird dann zwischen der vorhergesagten Sensorausgabe vom Sensorübersetzungsmodell und den tatsächlichen Zielsensordaten berechnet. Dies können zum Beispiel Abstände (in einem Vektorraumkontext) zwischen den Merkmalen, die von den vorhergesagten Sensordaten extrahiert werden, und den tatsächlichen Sensordaten sein.
In einer zweiten Ausführungsform kann der Sensorgruppen-Supervisorprozess 216 die synchronisierten Sensordatenflüsse des Zielsensors mit den synchronisierten Sensordatenflüssen des Satzes von statistisch verwandten Sensoren vergleichen, indem auf vorab trainierte bayessche Netze zugegriffen wird, die A-posteriori-Wahrscheinlichkeitsschätzungen von Merkmalen, die vom Zielsensor erzeugt werden, unter Annahme von Werten für Merkmale, die durch verwandte Sensoren generiert werden, berechnen. Die Werte für die Merkmale der verwandten Sensoren werden als weiche oder unsichere Evidenz betrachtet, indem ihr Vertrauensniveau als eine Stärke (Gewichtung) der Überzeugung in einem solchen Sensor verwendet wird. Das Vertrauensniveau wird dann durch die berechneten A-posteriori-Wahrscheinlichkeitsschätzungen approximiert.
In einer dritten Ausführungsform kann der Sensorgruppen-Supervisorprozess 216 die synchronisierten Sensordatenflüsse von einem Satz von statistisch verwandten Sensoren folgendermaßen vergleichen: i) indem eine Ähnlichkeits-/Abstandsmetrik berechnet wird, die als gewichteter Mittelwert der paarweisen Ähnlichkeiten/Abstände jedes Paares von Sensoren im Satz von statistisch verwandten Sensoren, die das Zielsensor umfassen, berechnet wird, und ii) indem ein Echtzeit-Clustering durchgeführt wird und der Abstand jedes Sensors zu einem Cluster-Schwerpunkt berechnet wird, der das Vertrauensniveau darstellt, wobei ein Ausreißer des Cluster-Schwerpunktes einen fehlerhaften Sensor darstellt. Es ist zu beachten, dass in diesem Fall alle Sensoren im „Satz von statistisch verwandten Sensoren“ sowohl ein Zielsensor als auch ein Referenzsensor sind. Daher kann ein beliebiger Sensor im Satz vom Schwerpunkt des Clusters abweichen, wodurch er zum fehlerhaften Sensor wird.
In einer vierten Ausführungsform kann der Sensorgruppen-Supervisorprozess 216 die synchronisierten Sensordatenflüsse des Zielsensors mit den synchronisierten Sensordatenflüssen des Satzes von statistisch verwandten Sensoren vergleichen, indem auf parametrische nicht lineare Filter zugegriffen wird, um Merkmale, die vom Zielsensor erzeugt werden, und Merkmale von den verwandten Sensoren in einen gemeinsamen Zustandsraum zusammenzuführen, und indem die Vertrauensniveauinformation von der Fehlerkovarianzmatrix des nicht linearen Filters generiert wird. Durch Analyse der Zelle der Fehlerkovarianzmatrix des parametrischen nicht linearen Filters, die den Merkmalen des Zielsensors entspricht, kann ein Vertrauensniveau extrapoliert werden.
In einer weiteren Ausführungsform kann zusätzlich zum Objektfusionsgitter 230 die Ausgabe 228 der Klassifizierungsprozesse 204A bis 204M in den Sensorgruppensupervisor 216 eingegeben werden, um die Vertrauensniveauschätzung weiter zu verbessern.
In einer Ausführungsform kann der Sensorgruppensupervisor 216 mit einem unteren Schwellenwert für das Vertrauensniveau pro Sensor konfiguriert werden, der das minimale Vertrauensniveau bestimmt, um einen Sensor als funktionsfähig zu deklarieren. Um ein schnelles Schalten zwischen einem annullierten/de-annullierten Status zu vermeiden, können zwei verschiedene Schwellenwerte (untere Grenze funktionsfähig, obere Grenze nicht funktionsfähig) verwendet werden, um eine Hystereseschleife zu erzeugen.
Immer wenn das Vertrauensniveau eines Sensors 208A bis 208N unter den Schwellenwert fällt, wird dann der Sensor 208A bis 208N annulliert. Alle Sensorannullierungssignale 224 für die komplette Sensorgruppe werden dem Sensordatengateway 226 zugeführt, das wiederum die Datenflusseingabe der Pub-/Sub-Daten 222 jedes annullierten Sensors auf eine konstante Eingabe mit Nullwerten schaltet, bis der Sensor „de-annulliert“ wird. Auf diese Weise stellt der Zufuhrweg sicher, dass die multimodale Klassifizierungsstufe 204 immer in einem vorab trainierten Szenario arbeitet, d.h. keine fehlerhaften Daten an die Klassifizierungsprozesse 204A bis 204M weitergegeben werden, stattdessen annulliert der Datenfluss mit Nullwerten wirksam die Wirkung eines falsch funktionierenden Sensors für eine Objektklassifizierung.
Da der Sensorgruppen-Supervisorprozess 216 parallel mit der multimodalen Klassifizierungsstufe 204 ist, erzeugt eine Verarbeitungslatenz im Sensorgruppen-Supervisorprozess 216 weder Verzögerungen oder Blasen in der multimodalen Klassifizierungsstufe 204, noch zwingt sie eine erneute Synchronisation von gegenwärtig funktionsfähigen Sensordaten auf (d.h. der Sensordatenfluss, das annulliert wurde, muss möglicherweise neu synchronisiert werden, bevor er de-annulliert wird, aber diese neue Synchronisation beeinflusst nicht den Rest der aktiven (de-annullierten) Datenflüsse), und daher hat dies keine negativen Auswirkungen auf Echtzeiteinschränkungen.
Unter Bezugnahme auf Einzelheiten des Sensorheilungsrückkopplungspfads 207 kann, immer wenn ein Sensor annulliert wird, der Sensorheilungsprozess 218 für jenen Sensor ausgelöst werden, um parallel mit allen vorstehend beschrieben Prozessen ausgeführt zu werden (daher fügt er keine Verzögerung hinzu, noch beeinflusst er die Echtzeitbeschränkungen der Plattform). Der Sensorheilungsprozess 218 empfängt als Eingabe die Vertrauensniveaus und den Annullierungsstatus über das Sensorvertrauensniveau 230 und das Sensorannullierungssignal 224 für jeden der Sensoren 208A bis 208N vom Sensorgruppen-Supervisorprozess 216.
Der Sensorheilungsprozess 218 versucht, einen annullierten Sensor zu „heilen“ indem das Sensoreinstellsteuersignal 220 gesendet wird. In einer Ausführungsform kann das Sensoreinstellsteuersignal 220 die Einstellparameter für den Sensor modifizieren, den Sensor neu konfigurieren, die Vorverarbeitungsblöcke 210 des Sensors neu konfigurieren, den Sensor zurücksetzen, den Sensor neu synchronisieren (ohne die Synchronisation der funktionsfähigen Sensoren zu unterbrechen) und dergleichen, während der Sensorheilungsprozess 218 überwacht, wie das Vertrauensniveau 230 und der Annullierungsstatus für den Sensor auf die Änderungen reagieren. Aus diesem Grund sollten, während der Sensorheilungsprozess 218 ausgeführt wird, der annullierte Sensor und seine entsprechenden Vorverarbeitungsblöcke 210A weiterhin arbeiten, und der Sensorgruppen-Supervisorprozess 216 kann weiterhin den Sensordatenfluss 214 des annullierten Sensors überwachen.
Immer wenn die Sensorheilungsbestrebung die Sensorfehlfunktion korrigiert (entweder durch neue Kalibrierung, neue Einstellung, Transformation oder Filtern von Signalen von dem Sensor), kann der Sensorgruppen-Supervisorprozess 216 den Sensor in die Wahrnehmungspipeline 200 erneut aktivieren („de-annullieren“), indem das Sensorannullierungssignal 224 aktiviert wird, das den Sensorheilungsprozess 218 zum Abschließen auslöst.
Die Operationen, die im Sensoreinstellsteuersignal 220, das durch den Sensorheilungsprozess 218 gesendet wird, vermittelt werden, können mindestens drei Beispieltypen aufweisen: i) ein direktes Rezept einer genauen Folge von Operationen, die durch einen „Sensorexperten“ spezifiziert wird, von denen bekannt ist, dass sie vorab identifizierten Sensorprobleme korrigieren; ii) deterministische Optimierung, die die mehrdimensionale Richtung eines steilsten Anstiegs für das Vertrauensniveau nummerisch findet; und iii) metaheuristische Optimierung, die eine Stochastik/Zufälligkeit bei der Suche nach der besten Konfiguration zulässt, um das Konfidenzniveau zu erhöhen.
Beispielimplementierungen werden nachstehend für die offenbarten Ausführungsformen bereitgestellt. Die Sensorvertrauensniveauschätzung hat zum Ziel, den Sensor oder einen Teilsatz von Sensoren zu bestimmen, der von der erwarteten Funktionalität abweicht, wobei die erwartete Funktionalität aus der Sammlung der vertrauenswürdigen Sensoren extrahiert wird.
Beispiel 1 - Inferenzüberwachung eines bayesschen probabilistischen Netzes
Das erste Beispiel betrifft eine Implementierung des vorab trainierten probabilistischen Netzes, das den Sensorgruppen-Supervisorprozess 216 verwenden kann, um eine Ausgabe des Zielsensors vorherzusagen. Ein einfaches bayessches Netz (BN) kann individuell für jeden der Sensorgruppen-Supervisorprozesse aufgebaut werden, der den Sensorgruppen-Supervisorprozess 216 umfasst, um die Wahrscheinlichkeit abzuschätzen, dass ein defekter/fehlerhafter Sensor vorhanden ist, wobei vorverarbeitete Eingabemerkmale aller anderen verwandten Sensoren als Evidenz für eine Auswertung berücksichtigt werden, d.h. die Merkmale der verwandten Sensoren als multivariante Zufallsvariablen verwendet werden, wie in 4 dargestellt.
4 zeigt ein bayessches Netz, das als ein Supervisor verwendet wird, um die Wahrscheinlichkeit einer Fehlfunktion eines Sensors unter Berücksichtigung des Verhaltens aller anderen verwandten Sensoren abzuschätzen, die unter Annahme, dass die anderen Sensoren korrekt arbeiten, erwartungsgemäß hoch ist. Die verschiedenen Sensoren 208A bis 208N in der Sensorrohdatenstufe 208 geben Sensorrohdaten an den Sensordatenvorverarbeitungszustand 210 aus, und entsprechende Merkmale 210A bis 210N werden erzeugt. Für jeden Sensor Xi = {A,B,C,D, ..., N_S} ist eine Wahrscheinlichkeitsverteilung P(X_i) 400 vorhanden, die auf den beobachteten Merkmalen, die aus den rohen Sensordaten extrahiert wurden, basiert. Aus diesen kann ein entsprechender Bayes-Netz-Supervisor 402A bis 402N aufgebaut werden, um die Fehlfunktionswahrscheinlichkeit 404 jedes Sensors abzuschätzen. Als ein Beispiel schätzt der Bayes-Netz-Supervisor 402A die Wahrscheinlichkeit einer Fehlfunktion des Sensors 208A ab, wie in 6 gezeigt.
5 zeigt eine Gleichung, die durch den Bayes-Netz-Supervisor 402A verwendet wird, um eine Wahrscheinlichkeit einer Fehlfunktion eines Sensors 208A abzuschätzen. In dieser Definition repräsentiert das A-posteriori-Ergebnis 500 eine quantitative Wahrscheinlichkeit, dass der Sensor 208A an der Eingabe falsch funktioniert, die auf den beobachteten Wahrscheinlichkeitsverteilungen 400 aller anderen Sensormerkmale basiert. Die Evidenz 502 repräsentiert die gemeinsame Wahrscheinlichkeitsverteilung von Wahrscheinlichkeitsverteilungen aller anderen Sensoren und bleibt fest; die A-priori-Wahrscheinlichkeitsverteilung 504 der Fehlfunktion des Sensors 208A wird heuristisch geschätzt und als die anfängliche Annahme angesehen und wird ständig mit neuen Beobachtungen aktualisiert. Die Plausibilität (Likelihood) 506 wird durch das Produkt aller Wahrscheinlichkeitsverteilungen aller anderen Sensoren unter Annahme der Informationen des Sensors 208A repräsentiert. Wenn die Wahrscheinlichkeit einer Fehlfunktion im Sensor 208A unter Annahme der Wahrscheinlichkeiten der beobachteten Merkmale der anderen Sensoren hoch ist (eingestellt bei einem vordefinierten Schwellenwert), dann kann der Bayes-Netz-Supervisor 402A die Wahrnehmungspipeline 200 in Form des Sensorvertrauensniveaus 230 warnen, wie in 2 dargestellt. In diesem Ansatz ist ein Bayes-Netz-Supervisor 402 für jeden Sensor vorhanden, um eine individualistische Analyse einer Fehlfunktion zu erlangen.
Beispiel 2 - Auf Clustering basierte Überwachung
In diesem Beispiel erzeugt der Sensorgruppen-Supervisorprozess 216 Cluster aus den synchronisierten Sensordatenflüssen 214, die den Sensoren in einem Satz von statistisch verwandten Sensoren entsprechen. Solche Cluster müssen kontinuierlich erzeugt und aktualisiert werden. Im Allgemeinen hängt der n-dimensionale Darstellungsraum, der für das Clustering verwendet wird, von der Anzahl von Dimensionen im Vektordeskriptor ab, die aus den Sensorrohdaten oder den interpretierten Sensordaten (extrahierten Merkmalen) stammen, und das für das Clustering verwendete Verfahren basiert auf unüberwachtem Lernen, das nach einem Always-Learning-Ansatz arbeitet (d.h. die Schwerpunkte der Cluster aktualisieren ständig ihre Position). Das unüberwachte Verfahren könnte zum Beispiel k-Mittelwerte sein, wobei k anfangs der Anzahl von Sensoren gleicht. Das nachstehende Beispielszenario wird verwendet, um das Clustering-Verfahren zu verdeutlichen.
Das System verwendet lediglich interpretierte Sensoren, was bedeutet, dass Daten, die von den Sensoren stammen, eine Bedeutung aufweisen. Diese Daten könnten potenziell die Stellung des Fahrzeugs, den Abstand vom Hindernis usw. repräsentieren. In diesem Szenario ist die Anzahl von Dimensionen, die zum Beschreiben der Eigenschaft notwendig sind, klein, typischerweise kleiner als 10. Um die Erläuterung zu vereinfachen, wird nachstehend lediglich eine Dimension dieses Deskriptors grafisch dargestellt.
6 ist ein Graph, der eine Komponente eines Vektordeskriptors vergleicht, die von verschiedenen Sensoren interpretiert wird. Im gezeigten Beispiel ist die Ausgabe, die die Komponente des Vektordeskriptors aus einem Satz von Sensoren schätzt, für einen Satz gegebener Komponenten in einem gegeben Szenario zu jedem Zeitpunkt ähnlich, wie durch die Gruppierung der Komponenten 600 dargestellt. Jedoch ist ein Sensor vorhanden, der eine fehlerhafte Schätzung derselben Komponente 602 liefert. Nach dem Detektieren des entsprechenden Ausreißersensors sollte der Ausreißersensor aus der Berechnung des Mittelwertes des „vertrauenswürdigen Sensorsatzes“, der den Komponenten 600 entspricht und der zum Definieren der Referenzwerte und Durchführen der Sensorfusion verwendet wird, entfernt werden. Außerdem kann nach der Detektion das Ausreißersignal in der multimodalen Klassifizierungsstufe 204 annulliert werden.
7 zeigt ein Beispiel für einen Clustering-Algorithmus, der zum Detektieren von Ausreißersensor(en) verwendet werden kann. Der Algorithmus 700 stellt die Anzahl von Clustern dynamisch ein, wobei sie lediglich einen Cluster aufweisen, wenn alle Sensoren gegen denselben Wert konvergieren. Eine Variable Sigma (σ) wird in Block 702 gleich einer Funktion der Sensorausgabe eingestellt. Die Ausgabe jedes Sensors wird in Block 704 mit einem nächsten Cluster assoziiert. Ein Fehler wird in Block 706 berechnet, der einen kleinen Wert darstellen sollte, wenn alle Sensoren ordnungsgemäß arbeiten. Die Schwerpunkte für jeden der Cluster werden in Block 708 aktualisiert. Wenn ein Sensor falsch funktioniert und Fehlerdaten erzeugt, fallen die Fehlerdaten wahrscheinlich in einen anderen Cluster. In Block 709 wird bestimmt, ob das Clustering stabil ist. Es wird dann in Block 710 bestimmt, ob der Fehler beträchtlich ist. In Block 712 wird bestimmt, ob der Fehler größer ist als ein Schwellenwert. Wenn ja, wird in Block 714 die Anzahl von Clustern erhöht und der Prozess fährt fort. Der Clustering-Algorithmus 700 stellt die Anzahl von Clustern dynamisch ein, wobei sie lediglich einen Cluster aufweisen, wenn alle Sensoren gegen denselben Wert konvergieren.
8A zeigt das Clustering-Ergebnis, das durch den Clustering-Algorithmus von 7 für das in 6 gezeigte Beispiel ausgegeben wird. In diesem Beispiel erzeugte der Clustering-Algorithmus 700 zwei Cluster: einen Cluster 800 für den vertrauenswürdigen Sensorsatz (Durchschnitt) und einen anderen Cluster 802 für den abweichenden Sensor.
8B ist ein Graph, der eine Fehlermetrik (inverse Ähnlichkeit) des fehlerhaften Sensors zeigt. Durch Berechnen des euklidischen Abstands des abweichenden Sensors und des Durchschnittswertes des vertrauenswürdigen Sensorsatzes ist es möglich, einen momentanen Fehler 900 zu erzeugen (Inverse der Ähnlichkeits-/Abstandsmetrik). Schließlich wird die Fehlermetrik in ein Vertrauensniveau in einem normierten Bereich konvertiert, so dass alle Sensoren vergleichbare Vertrauensniveaus erzeugen. Ein Beispiel für eine Normierung wäre max(C, C_s,norm/Fehler), wobei C das maximale Vertrauensniveau ist und C_s,norm einen für den Sensor S spezifischer Normierungskoeffizienten darstellt.
Beispiel 3 - Auf Sensorübersetzungsmodell basierende Überwachung
9 ist ein Blockdiagramm, das ein Beispiel für einen Sensorgruppen-Supervisorprozess 900 auf der Grundlage von Sensorübersetzungsmodellen 908 darstellt, wobei gleiche Komponenten von 2 gleiche Bezugszeichen aufweisen. In diesem Beispiel weist, für jeden Sensor, der Sensorgruppen-Supervisorprozess 900 einen entsprechenden Sensorsupervisorprozess 902A bis 902N auf. Der Sensorsupervisorprozess 902A bis 902N abonniert die synchronisierten Sensordatenflüsse 214 über einen Veröffentlichungs-Abonnement-Mechanismus (Pub-/Sub-Mechanismus) 901 und bestimmt die Vertrauensniveaus 230. Das Vertrauensniveau 230 für jeden der Sensoren wird mit einem Vertrauensniveauschwellenwert 904 verglichen. Wenn das Vertrauensniveau 230 den Vergleich nicht besteht, dann wird das Sensorannullierungssignal 224 an das Sensordatengateway 226 gesendet.
Jeder der Sensorsupervisorprozesse 902A bis 902N weist ein entsprechendes multimodales Sensorübersetzungsmodell 908 auf (wie durch den vergrößerten Kasten für Sensor X gezeigt). Die multimodalen Sensorübersetzungsmodelle 908 werden zum Entwurfszeitpunkt auf der Grundlage eines überwachten Lernens erzeugt. Das multimodale Sensorübersetzungsmodell 908 empfängt die Sensordatenflüsse 214 von anderen Sensoren zusammen mit dem gegenwärtigen Vertrauensniveau 230 für den Sensor X. Auf diese Weise sollte das Sensorübersetzungsmodell 908 von allen seinen Eingaben abhängen, die ein hohes Vertrauensniveaus aufweisen, ansonsten muss die Übersetzung abgebrochen werden. Die Ausgabe des Sensorübersetzungsmodells 908 stellen modellierte Sensordaten 909 für den Sensor X dar. Eine Datenähnlichkeitsmetrik 910 wird definiert (die vom Sensortyp und seinem Rohdatenformat abhängig wäre), um die modellierten Sensordaten 909 mit den tatsächlichen Rohdaten 912 des Sensors X zu vergleichen. Diese Ähnlichkeitsmetrik wird als ein Vertrauensniveau 914 für den Sensor X verwendet.
10 zeigt ein Beispiel für eine Rechenvorrichtung 1000, die die hier beschriebenen Vorrichtungen und/oder Verfahren gemäß verschiedenen Ausführungsformen verwenden kann (zum Beispiel eine beliebige Vorrichtung und/oder ein beliebiges Verfahren, die/das mit einer beliebigen Rechenvorrichtung oder einer elektronischen Vorrichtung assoziiert ist, die vorstehend unter Bezug auf 1 bis 9 beschrieben wurde). In Ausführungsformen kann die Beispielrechenvorrichtung 1000 in autonomen oder halbautonomen Fahrzeugen, d.h. selbstfahrenden Fahrzeugen, UAV, Robotern und so weiter, montiert werden. Wie dargestellt, kann die Beispielrechenvorrichtung 1000 eine Anzahl von Komponenten aufwiesen, wie z.B. einen oder mehrere Prozessoren 1004 (einer ist dargestellt), mindestens einen Kommunikationschip 1006 und Sensoren 1007 verschiedener Typen. Der mindestens eine Kommunikationschip 1006 kann eine Schnittstelle aufweisen, um mit einem Netzwerk verbunden zu werden, um ein trainiertes Sensorübersetzungsmodell zu erlangen und/oder Sensorrohdaten von zusätzlichen fernen Sensoren (nicht dargestellt) zu empfangen.
In verschiedenen Ausführungsformen können der eine oder die mehreren Prozessoren 1004 jeweils einen oder mehrere Prozessorkerne aufweisen. In verschiedenen Ausführungsformen kann der mindestens eine Kommunikationschip 1006 physisch und elektrisch mit dem einen oder den mehreren Prozessoren 1004 gekoppelt werden. In weiteren Implementierungen kann der mindestens eine Kommunikationschip 1006 einen Teil des einen oder der mehreren Prozessoren 1004 darstellen. In verschiedenen Ausführungsformen kann die Rechenvorrichtung 1000 eine gedruckte Leiterplatte (PCB) 1002 aufweisen. Für diese Ausführungsformen können der eine oder die mehreren Prozessoren 1004 und der mindestens eine Kommunikationschip 1006 darauf angeordnet sein.
Abhängig von ihrer Anwendung kann die Rechenvorrichtung 1000 andere Komponenten aufweisen, die physisch und elektrisch mit der Leiterplatte 1002 gekoppelt sein können oder nicht. Diese anderen Komponenten umfassen, sind aber nicht beschränkt auf, eine Speichersteuerung (nicht dargestellt), einen flüchtigen Speicher (z.B. einen dynamischen Direktzugriffsspeicher (DRAM) 1020), einen nichtflüchtigen Speicher, wie z.B. einen Flash-Speicher 1022, einen Hardware-Beschleuniger 1024, einen I/O-Controller (nicht dargestellt), einen digitalen Signalprozessor (nicht dargestellt), ein Krypto-Prozessor (nicht dargestellt), einen Grafikprozessor 1030, eine oder mehrere Antennen 1028, eine Anzeige (nicht dargestellt), eine Berührungsbildschirm-Anzeige 1032, einen Berührungsbildschirm-Controller 1046, eine Batterie 1036, einen Audiocodec (nicht dargestellt), einen Videocodec (nicht dargestellt), eine GPS-Vorrichtung (globales Positionierungssystem) 1040, einen Kompass 1042, ein Beschleunigungsmesser (nicht dargestellt), ein Gyroskop (nicht dargestellt), einen Lautsprecher 1000, eine Massenspeichervorrichtung (wie z.B. ein Festplattenlaufwerk), ein Festkörperlaufwerk, Compact-Disc (CD), Digital Versatile Disk (DVD) (nicht dargestellt) und so weiter.
In einigen Ausführungsformen können der eine oder die mehreren Prozessoren 1004, DRAM 1020, der Flash-Speicher 1022 und/oder eine Speichervorrichtung (nicht dargestellt) assoziierte Firmware (nicht dargestellt) aufweisen, die Programmbefehle speichert, welche ausgelegt sind, um die Rechenvorrichtung 1000 dazu zu befähigen, als Antwort auf ein Ausführen der Programmbefehle durch einen oder mehrere Prozessoren 1004 hier beschriebene Verfahren durchzuführen, wie z.B. Ausgleichen eines Sensordefekts in einem heterogenen Sensorarray. In verschiedenen Ausführungsformen können diese Aspekte zusätzlich oder alternativ unter Verwendung einer Hardware implementiert werden, die von dem einen oder den mehreren Prozessoren 1004 oder dem Flash-Speicher 1022 verschieden ist, wie z.B. des Hardware-Beschleunigers 1024 (der ein Field Programmable Gate Arrays (FPGA) sein kann). In einigen Ausführungsformen kann der Hardware-Beschleuniger 1024 Teil des Prozessors 1004 sein.
Der mindestens eine Kommunikationschip 1006 kann kabelgebundene und/oder drahtlose Kommunikationen für die Datenübertragung von und zur Rechenvorrichtung 1000 ermöglichen. Der Begriff „drahtlos“ und davon abgeleitete Begriffe können verwendet werden, um Schaltungen, Vorrichtungen, Systeme, Verfahren, Techniken, Kommunikationskanäle usw. zu beschreiben, die Daten durch die Verwendung von modulierter elektromagnetischer Strahlung durch ein nicht festes Medium kommunizieren können. Der Begriff impliziert nicht, dass die assoziierten Vorrichtungen keine Drähte enthalten, obwohl sie in einigen Ausführungsformen möglicherweise keine enthalten. Der mindestens eine Kommunikationschip 1006 kann eine beliebige Anzahl von drahtlosen Standards und Protokollen implementieren, einschließlich - jedoch nicht darauf beschränkt - IEEE 702.20, Long Time Evolution (LTE), LTE Advanced (LTE-A), Allgemeinen paketorientierten Funkdienst (GPRS), Evolution Data Optimized (Ev-DO), Evolved High Speed Packet Access (HSPA +), Evolved High Speed Downlink Packet Access (HSDPA +), Evolved High Speed Uplink Packet Access (HSUPA +), Globales System für Mobilkommunikation (GSM), Erweiterte Datenraten für GSM Evolution (EDGE), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Digital Enhanced Cordless Telecommunications (DECT), Worldwide Interoperability for Microwave Access (WiMAX), Bluetooth, Derivate davon sowie beliebige andere drahtlose Protokolle, die als 3G, 10G, 10G und höher bezeichnet werden. Der mindestens eine Kommunikationschip 1006 kann mehrere Kommunikationschips 1006 aufweisen. Zum Beispiel kann ein erster Kommunikationschip 1006 für drahtlose Kommunikationen kürzerer Reichweite, wie z.B. Wi-Fi und Bluetooth, bestimmt sein und ein zweiter Kommunikationschip 1006 kann für drahtlose Kommunikationen längerer Reichweite, wie GPS, EDGE, GPRS, CDMA, WiMAX, LTE, Ev-DO und andere, bestimmt sein.
In verschiedenen Implementierungen kann die Rechenvorrichtung 1000 eine Komponente eines Fahrzeugs, eine Komponente eines Roboters, eine Komponente eines Überwachungssystems, ein Laptop, ein Netbook, ein Notebook, ein Ultrabook, ein Smartphone, ein Rechen-Tablet, ein Personal Digital Assistant (PDA), ein Ultra-Mobile PC, ein Mobiltelefon, ein Schreibtischcomputer, ein Server, ein Drucker, ein Scanner, ein Bildschirm, eine Set-Top-Box, eine Entertainment-Steuereinheit (z.B. eine Spielekonsole oder eine Fahrzeugunterhaltungseinheit), eine Digitalkamera, ein Haushaltsgerät, ein tragbarer Musikspieler und/oder ein digitaler Videorekorder sein. In weiteren Implementierungen kann die Rechenvorrichtung 1000 eine beliebige andere elektronische Vorrichtung sein, die Daten verarbeitet.
Ein oder mehrere Netzwerke und/oder Rechenzentren können verwendet werden, um ein Sensorübersetzungsmodell zu erzeugen, das durch die Rechenvorrichtung 1000 verwendet werden soll. Diese Netzwerke und/oder Datenzentren können ein System von verteilen Rechenvorrichtungen aufweisen, die jeweils Komponenten aufweisen können, die ähnlich beliebigen der Komponenten der Rechenvorrichtung 1000 sein können. Die Rechenvorrichtungen der Netzwerke und/oder Datenzentren verlangen möglicherweise keine Sensoren 1007, da solche Rechenvorrichtungen Eingabesensordaten empfangen können, die von der Rechenvorrichtung 1000 oder einer anderen ähnlichen Rechenvorrichtung (sagen wir einem Prototyp der Rechenvorrichtung 1000) mit Sensoren, die ähnlich den Sensoren 1007 sind, gesammelt werden.
Eine beliebige Kombination eines oder mehrerer von einem Rechner verwendbarer oder computerlesbarer Medien kann verwendet werden. Das von einem Rechner verwendbare oder computerlesbare Medium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, infrarotes oder Halbleitersystem, eine Vorrichtung, ein Gerät oder rein Ausbreitungsmedium sein, ist aber nicht darauf beschränkt. Konkretere Beispiele (eine nicht erschöpfende Liste) des computerlesbaren Mediums würde Folgendes umfassen: eine elektrische Verbindung, die einen oder mehrere Drähte aufweist, eine tragbare Computer-Diskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen löschbaren programmierbaren Festwertspeicher (EPROM oder Flash-Speicher), eine optische Faser, eine tragbare CD-ROM (Compact Disc Read-Only Memory), eine optische Speichervorrichtung, ein Übertragungsmedium, wie z.B. jene, die das Internet oder ein Intranet unterstützen, oder eine magnetische Speichervorrichtung. Es ist zu beachten, dass das von einem Computer verwendbare oder computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf dem das Programm gedruckt ist, da das Programm elektronisch zum Beispiel über optisches Scannen des Papiers oder eines anderen Mediums erfasst werden, dann kompiliert, interpretiert oder sonst auf eine geeignete Weise, falls nötig, verarbeitet und dann in einem Computerspeicher gespeichert werden kann. Im Kontext dieses Dokuments kann ein von einem Computer benutzbares oder computerlesbares Medium ein beliebiges Medium sein, das das Programm zum Verwenden durch oder in Verbindung mit dem Befehlsausführungssystem, der Vorrichtung oder dem Gerät enthalten, speichern, kommunizieren, ausbreiten oder transportieren kann. Das von einem Computer benutzbare Medium kann ein Datenausbreitungssignal mit dem vom Computer verwendbaren Programmcode, der darin verkörpert ist, entweder im Basisband oder als Teil einer Trägerwelle umfassen. Der von einem Computer verwendbare Programmcode kann unter Verwendung eines geeigneten Mediums, das drahtlos, drahtgebunden, ein optisches Faserkabel, RF usw. umfasst, aber nicht darauf beschränkt ist, gesendet werden.
Ein Computerprogrammcode zum Ausführen von Operationen der vorliegenden Offenbarung kann in einer beliebigen Kombination einer oder mehrerer Programmiersprachen, die eine objektorientierte Programmiersprache, wie z.B. Java, Smalltalk, C++ oder dergleichen, und herkömmliche prozedurale Programmiersprachen, wie z.B. Die „C“-Programmiersprache oder ähnliche Programmiersprache, umfassen, geschrieben sein. Der Programmcode kann vollständig auf dem Rechner des Benutzers, teilweise auf dem Rechner des Benutzers, als ein selbständiges Software-Paket, teilweise auf dem Rechner des Benutzers und teilweise auf einem Ferncomputer oder gänzlich auf dem Fernrechner oder Server ausgeführt werden. Im letzteren Szenario kann der Fernrechner mit dem Rechner des Benutzers über einen beliebigen Typ von Netzwerk verbunden sein, das ein lokales Netz (LAN), oder ein Weitverkehrsnetz (WAN) umfasst, oder die Verbindung kann mit einem externen Rechner (zum Beispiel über das Internet unter Verwendung eines Internetdienstanbieters) vorgenommen werden.
Diese Modifikationen können angesichts der vorstehenden ausführlichen Beschreibung an der Offenbarung vorgenommen werden. Die in den nachfolgenden Ansprüchen verwendeten Begriffe sollten nicht derart ausgelegt werden, dass sie die Offenbarung auf die konkreten Implementierungen, die in der Beschreibung und den Ansprüchen offenbart werden, beschränken. Vielmehr sollte der Umfang der Offenbarung gänzlich durch die nachfolgenden Ansprüche bestimmt werden, die gemäß etablierten Lehren der Anspruchsinterpretation ausgelegt werden sollen.
Ausführungsbeispiel 1 ist eine Vorrichtung für autonomes Fahren, die eine Wahrnehmungspipeline aufweist, die unabhängige Klassifizierungsprozesse aufweist, die parallel arbeiten, um jeweils einen Objekttyp auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren zu identifizieren. Die Vorrichtung weist außerdem eine Sensorüberwachungsstufe auf, die parallel mit der Wahrnehmungspipeline arbeitet und die Sensordatenflüsse verwendet, um ein Vertrauensniveau jedes der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen, und einen Zielsensor zu annullieren, wenn das mit dem Zielsensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Ausführungsbeispiel 2: Vorrichtung nach Ausführungsbeispiel 1, wobei als Antwort darauf, dass der defekte Sensor annulliert wird, die Sensorüberwachungsstufe ein Sensorsteuersignal an den annullierten Sensor sendet, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und veranlasst, dass tatsächliche abgetastete Datenwerte, die durch den annullierten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Ausführungsbeispiel 3: Vorrichtung nach Ausführungsbeispiel 2, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten Sensor entspricht, empfängt, der Klassifizierungsprozess in einem verschlechterten Modus arbeitet, in dem der Klassifizierungsprozess weiterhin Objekte des entsprechenden Objekttyps in Abwesenheit der tatsächlichen Sensordaten des annullierten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Ausführungsbeispiel 4: Vorrichtung nach Ausführungsbeispiel 1, 2 oder 3, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von den Sensoren Folgendes umfasst: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Ausführungsbeispiel 5: Vorrichtung nach Ausführungsbeispiel 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes statistisch verwandter Sensoren Folgendes umfasst: Zugreifen auf ein vorab trainiertes Sensorübersetzungsmodell des Zielsensors, das als Eingaben Daten der statistisch verwandten Referenzsensoren nimmt und eine vorhergesagte Ausgabe des Zielsensors erzeugt, und eine Ähnlichkeitsmetrik zwischen der vorhergesagten Ausgabe und den tatsächlichen Zielsensordaten berechnet.
Ausführungsbeispiel 6: Vorrichtung nach Ausführungsbeispiel 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes umfasst: Zugreifen auf vorab trainierte probabilistische Netze, die A-Posteriori-Wahrscheinlichkeitsschätzungen von Merkmalen, die vom Zielsensor generiert werden, unter der Annahme von Werten für Merkmale, die durch verwandte Sensoren generiert werden, berechnen.
Ausführungsbeispiel 7: Vorrichtung nach Ausführungsbeispiel 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes umfasst: Berechnen einer Ähnlichkeits-/Abstandsmetrik, die als ein gewichteter Mittelwert der paarweisen Ähnlichkeiten/Abstände jedes Paars von Sensoren im Satz von statistisch verwandten Sensoren, die den Zielsensor aufweisen, berechnet wird; und Durchführen eines Echtzeit-Clustering und Berechnen des Abstands jedes Sensors vom Cluster-Schwerpunkt, der das Vertrauensniveau eines Sensors repräsentiert, wobei ein Ausreißer des Clusters den defekten Sensor repräsentiert.
Ausführungsbeispiel 8: Vorrichtung nach Ausführungsbeispiel 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes umfasst: Zugreifen auf parametrische nicht lineare Filter, um Merkmale, die vom Zielsensor generiert werden, und Merkmale von den verwandten Sensoren, in einen gemeinsamen Zustandsraum zu fusionieren, und eine Vertrauensniveauinformation aus einer Fehlerkovarianzmatrix eines nicht linearen Filters zu generieren.
Ausführungsbeispiel 9: Vorrichtung nach Ausführungsbeispiel 1, 2, 3, 4, 5, 6, 7 oder 8, wobei das Senden des Sensorsteuersignals ein Senden des Sensorsteuersignals entlang eines Sensorheilungsrückkopplungspfads, der zwischen der Vielzahl von verschiedenen Sensoren und der Sensorüberwachungsstufe gekoppelt ist, umfasst, um den annullierten Zielsensor neu zu konfigurieren und wieder auf ein betriebsfähiges Vertrauensniveau zu bringen.
Ausführungsbeispiel 10, Vorrichtung nach Ausführungsbeispiel 9, wobei, wenn das mit dem annullierten Zielsensor assoziierte Vertrauensniveau den Vertrauensschwellenwert erfüllt, die Sensorüberwachungsstufe den Zielsensor erneut aktiviert, um normale Sensordatenflusswerte an die Wahrnehmungspipeline auszugeben.
Ausführungsbeispiel 11: Vorrichtung nach Ausführungsbeispiel 9 oder 10, wobei die Vielzahl von verschiedenen Typen von Sensoren entsprechende Datenvorprozessoren aufweist, um Merkmale aus Sensorrohdaten zu extrahieren und vorverarbeitete Sensordatenflüsse auszugeben, die einer Sensordatensynchronisationsstufe zugeführt werden, um die vorverarbeiteten Sensordatenflüsse zeitlich zu synchronisieren und die synchronisierten Sensordatenflüsse an die Klassifizierungsstufe und die Sensorüberwachungsstufe auszugeben.
Ausführungsbeispiel 12: Vorrichtung nach Ausführungsbeispiel 11, wobei die Sensorüberwachungsstufe das Sensorsteuersignal an die Sensordatenvorprozessoren des entsprechenden defekten Sensors und an die Sensordatensynchronisationsstufe sendet.
Ausführungsbeispiel 13: Vorrichtung nach Ausführungsbeispiel 11 oder 12, wobei die Sensorüberwachungsstufe das Sensorsteuersignal lediglich an die Sensordatenvorprozessoren und die Sensordatensynchronisationsstufe sendet, wenn die Sensoren korrekt arbeiten, aber die Sensordatenvorprozessoren eingestellt werden müssen, oder die Sensordatensynchronisationsstufe erneut synchronisiert werden muss.
Ausführungsbeispiel 14: Vorrichtung nach Ausführungsbeispiel 1, 2, 3, 4 oder 9, wobei die Klassifizierungsprozesse vorab trainiert werden, um ein vorgegebenes Genauigkeitsniveau im Betrieb bei allen erforderlichen Kombinationen von Sensordefekten aufrechtzuerhalten, wobei der Sensordatenfluss eines beliebigen defekten Sensors durch die Daten mit Nullwerten ersetzt werden, um das Training zu vereinfachen.
Ausführungsbeispiel 15 ist ein Verfahren für autonome Fahrzeuge, das umfasst: Identifizieren von Objekten, die zu einem spezifischen Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren unter Verwendung jeweiliger unabhängiger Klassifizierungsprozesse, die parallel arbeiten. Ein Vertrauensniveau jedes aus der Vielzahl von verschiedenen Typen von Sensoren wird aus den Sensordatenflüssen parallel mit dem Identifizieren von Objekttypen und Annullieren eines defekten Sensors geschätzt und verfolgt, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Ausführungsbeispiel 16: Vorrichtung nach Ausführungsbeispiel 15, ferner aufweisend: als Antwort darauf, dass der defekte Sensor annulliert wird, Senden eines Sensorsteuersignals an den annullierten defekten Sensor, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und Veranlassen, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Ausführungsbeispiel 17: Vorrichtung nach Ausführungsbeispiel 16, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten defekten Sensor entspricht, empfängt, Betreiben des Klassifizierungsprozesses in einem verschlechterten Modus, in dem der Klassifizierungsprozess weiterhin Objekte des entsprechenden Objekttyps in Abwesenheit des annullierten defekten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Ausführungsbeispiel 18: Vorrichtung nach Ausführungsbeispiel 15, 16 oder 17, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von Sensoren ferner Folgendes umfasst: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Ausführungsbeispiel 19: Vorrichtung nach Ausführungsbeispiel 18, wobei das Vergleichen des synchronisierten Sensordatenfluss des Zielsensors mit den Sensordatenflüssen eines Satzes statistisch verwandter Sensoren ferner Folgendes umfasst: Zugreifen auf ein vorab trainiertes Sensorübersetzungsmodell des Zielsensors, das als Eingaben Daten der statistisch verwandten Referenzsensoren nimmt und eine vorhergesagte Ausgabe des Zielsensors erzeugt, und eine Ähnlichkeitsmetrik zwischen der vorhergesagten Ausgabe und tatsächlichen Zielsensordaten berechnet.
Ausführungsbeispiel 20: Vorrichtung nach Ausführungsbeispiel 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren ferner Folgendes umfasst: Zugreifen auf vorab trainierte probabilistische Netze, die A-Posteriori-Wahrscheinlichkeitsschätzungen von Merkmalen, die vom Zielsensor generiert werden, unter der Annahme von Werten für Merkmale, die durch verwandte Sensoren generiert werden, berechnen.
Ausführungsbeispiel 21: Vorrichtung nach Ausführungsbeispiel 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren ferner Folgendes umfasst: Berechnen einer Ähnlichkeits-/Abstandsmetrik, die als ein gewichteter Mittelwert der paarweisen Ähnlichkeiten/Abstände jedes Paars von Sensoren im Satz von statistisch verwandten Sensoren, die den Zielsensor aufweist, berechnet wird; und Durchführen eines Echtzeit-Clustering und Berechnen des Abstands jedes Sensors vom Cluster-Schwerpunkt, der das Vertrauensniveau eines Sensors repräsentiert, wobei ein Ausreißer des Clusters den defekten Sensor repräsentiert.
Ausführungsbeispiel 22: Vorrichtung nach Ausführungsbeispiel 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des defekten Sensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren ferner Folgendes umfasst: Zugreifen auf parametrische nicht lineare Filter, um Merkmale, die vom Zielsensor generiert werden, und Merkmale von den verwandten Sensoren in einen gemeinsamen Zustandsraum zu fusionieren, und eine Vertrauensniveauinformation aus einer Fehlerkovarianzmatrix eines nicht linearen Filters zu generieren.
Ausführungsbeispiel 23: Vorrichtung nach Ausführungsbeispiel 15, 16, 17, 18, 19, 20, 21 oder 22, wobei das Senden des Sensorsteuersignals ein Senden des Sensorsteuersignals entlang eines Sensorheilungsrückkopplungspfads, der zwischen der Vielzahl von verschiedenen Sensoren und der Sensorüberwachungsstufe gekoppelt ist, umfasst, um den annullierten Zielsensor neu zu konfigurieren und wieder auf ein betriebsfähiges Vertrauensniveau zu bringen.
Ausführungsbeispiel 24, Vorrichtung nach Ausführungsbeispiel 23, wobei, wenn das mit dem annullierten Zielsensor assoziierte Vertrauensniveau den Vertrauensschwellenwert erfüllt, die Sensorüberwachungsstufe den Zielsensor erneut aktiviert, um normale Sensordatenflusswerte an die Wahrnehmungspipeline auszugeben.
Ausführungsbeispiel 25: Vorrichtung nach Ausführungsbeispiel 23 oder 24, wobei die Vielzahl von verschiedenen Typen von Sensoren entsprechende Datenvorprozessoren aufweist, um Merkmale aus Sensorrohdaten zu extrahieren und vorverarbeitete Sensordatenflüsse auszugeben, die einer Sensordatensynchronisationsstufe zugeführt werden, um die vorverarbeiteten Sensordatenflüsse zeitlich zu synchronisieren und die synchronisierten Sensordatenflüsse an die Klassifizierungsstufe und die Sensorüberwachungsstufe auszugeben.
Ausführungsbeispiel 26: Vorrichtung nach Ausführungsbeispiel 25, wobei die Sensorüberwachungsstufe das Sensorsteuersignal an die Sensordatenvorprozessoren des entsprechenden defekten Sensors und an die Sensordatensynchronisationsstufe sendet.
Ausführungsbeispiel 27: Vorrichtung nach Ausführungsbeispiel 25 oder 26, wobei die Sensorüberwachungsstufe das Sensorsteuersignal lediglich an die Sensordatenvorprozessoren und die Sensordatensynchronisationsstufe sendet, wenn die Sensoren korrekt arbeiten, aber die Sensordatenvorprozessoren eingestellt werden müssen, oder die Sensordatensynchronisationsstufe erneut synchronisiert werden muss.
Ausführungsbeispiel 28: Vorrichtung nach Ausführungsbeispiel 15, 16, 17, 18 oder 23, wobei die Klassifizierungsprozesse vorab trainiert werden, um ein vorgegebenes Genauigkeitsniveau im Betrieb bei allen erforderlichen Kombinationen von Sensordefekten aufrechtzuerhalten, wobei der Sensordatenfluss eines beliebigen defekten Sensors durch die Daten mit Nullwerten ersetzt werden, um das Training zu vereinfachen.
Ausführungsbeispiel 29: Computerlesbares Medium, das ausführbare Befehle umfasst, wobei die Befehle, als Antwort auf eine Ausführung durch einen Prozessor, den Prozessor dazu veranlassen, Objekte, die zu einem spezifischen Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren unter Verwendung jeweiliger unabhängiger Klassifizierungsprozesse, die parallel arbeiten, zu identifizieren. Ein Vertrauensniveau jedes aus der Vielzahl von verschiedenen Typen von Sensoren wird aus den Sensordatenflüssen parallel mit dem Identifizieren von Objekttypen und Annullieren eines defekten Sensors, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt, geschätzt und verfolgt.
Ausführungsbeispiel 30: Vorrichtung nach Ausführungsbeispiel 29, wobei die Befehle ferner den Prozessor zum Folgenden veranlassen: als Antwort darauf, dass der defekte Sensor annulliert wird, Senden eines Sensorsteuersignals an den annullierten defekten Sensor, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und Veranlassen, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Ausführungsbeispiel 31: Vorrichtung nach Ausführungsbeispiel 30, wobei die Befehle den Prozessor ferner zum Folgenden veranlassen: als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten defekten Sensor entspricht, empfängt, Betreiben des Klassifizierungsprozesses in einem verschlechterten Modus, in dem der Klassifizierungsprozess weiterhin den entsprechenden Objekttyp in Abwesenheit der tatsächlichen Sensordaten des annullierten defekten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Ausführungsbeispiel 32: Vorrichtung nach Ausführungsbeispiel 29, 30 oder 31, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von den Sensoren ferner Folgendes umfasst: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Ausführungsbeispiel 33: Eine Vorrichtung für autonome Fahrzeuge weist eine Wahrnehmungspipeline auf, die unabhängige Klassifizierungsprozesse aufweist, die parallel arbeiten, um jeweils Objekte, die zu einem bestimmten Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren zu identifizieren. Sensorüberwachungsstufeneinrichtung, die parallel mit der Wahrnehmungspipeline arbeitet und die Sensordatenflüsse verwendet, um ein Vertrauensniveau jedes der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen, und einen defekten Sensor zu annullieren, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Ausführungsbeispiel 34: Vorrichtung nach Ausführungsbeispiel 33, wobei als Antwort darauf, dass der defekte Sensor annulliert wird, die Sensorüberwachungsstufeneinrichtung ein Sensorsteuersignal an den annullierten Sensor sendet, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und veranlasst, dass tatsächliche abgetastete Datenwerte, die durch den annullierten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Ausführungsbeispiel 35: Vorrichtung nach Ausführungsbeispiel 34, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten Sensor entspricht, empfängt, der Klassifizierungsprozess in einem verschlechterten Modus arbeitet, in dem der Klassifizierungsprozess weiterhin Objekte des entsprechenden Objekttyps in Abwesenheit der tatsächlichen Sensordaten des annullierten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Ausführungsbeispiel 36: Vorrichtung nach Ausführungsbeispiel 33 oder 34, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von den Sensoren Folgendes umfasst: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Ausführungsbeispiel 37: Eine multimodale Sensorwahrnehmungspipelinevorrichtung für ein autonomes Fahrzeug umfasst eine Datenerfassungsstufe, um Daten von einer Vielzahl von verschiedenen Typen von Sensoren zu erfassen und synchronisierte Sensordatenflüsse, die der Vielzahl von verschiedenen Typen von Sensoren entsprechen, auszugeben. Eine multimodale Klassifizierungsstufe, die eine Vielzahl von Klassifizierungsprozessen aufweist, identifiziert parallel verschiedene Objekttypen auf der Grundlage der synchronisierten Sensordatenflüsse von mehreren aus der Vielzahl von verschiedenen Typen von Sensoren. Eine Sensorüberwachungsstufe, die parallel mit der Datenerfassungsstufe und dem multimodalen Klassifizierungszustand arbeitet, gibt die synchronisierten Sensordatenflüsse ein, um ein Vertrauensniveau jedes der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen. Ein defekter Sensor wird annulliert, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt. Ein Sensorheilungsrückkopplungspfad sendet als Antwort auf eine Annullierung des defekten Sensors ein Sensorsteuersignal an den annullierten defekten Sensor, um zu versuchen, den annullierten defekten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen.
Ausführungsbeispiel 38: Vorrichtung nach Ausführungsbeispiel 37, wobei als Antwort darauf, dass der defekte Sensor annulliert wird, die Sensorüberwachungsstufe veranlasst, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Ausführungsbeispiel 39: Vorrichtung nach Ausführungsbeispiel 38, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe für den annullierten defekten Sensor empfängt, der Klassifizierungsprozess in einem verschlechterten Modus arbeitet, in dem der Klassifizierungsprozess weiterhin den entsprechenden Objekttyp in Abwesenheit der tatsächlichen Sensordaten des annullierten defekten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Ausführungsbeispiel 40: Vorrichtung nach Ausführungsbeispiel 37, 38 oder 39, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von den Sensoren Folgendes umfasst: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.

Claims

Vorrichtung für autonome Fahrzeuge, aufweisend: eine Wahrnehmungspipeline, die unabhängige Klassifizierungsprozesse aufweist, die parallel arbeiten, um jeweils Objekte, die zu einem bestimmten Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren zu identifizieren, und eine Sensorüberwachungsstufe, die parallel mit der Wahrnehmungspipeline arbeitet und die Sensordatenflüsse verwendet, um ein Vertrauensniveau jedes der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen, und einen defekten Sensor annulliert, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Vorrichtung nach Anspruch 1, wobei als Antwort darauf, dass der defekte Sensor annulliert wird, die Sensorüberwachungsstufe ein Sensorsteuersignal an den annullierten Sensor sendet, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und veranlasst, dass tatsächliche abgetastete Datenwerte, die durch den annullierten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Vorrichtung nach Anspruch 2, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten Sensor entspricht, empfängt, der Klassifizierungsprozess in einem verschlechterten Modus arbeitet, in dem der Klassifizierungsprozess weiterhin Objekte des entsprechenden Objekttyps in Abwesenheit tatsächlicher Sensordaten des annullierten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Vorrichtung nach Anspruch 1, 2 oder 3, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von den Sensoren Folgendes aufweist: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Vorrichtung nach Anspruch 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes statistisch verwandter Sensoren Folgendes aufweist: Zugreifen auf ein vorab trainiertes Sensorübersetzungsmodell des Zielsensors, das als Eingaben Daten der statistisch verwandten Referenzsensoren nimmt und eine vorhergesagte Ausgabe des Zielsensors generiert, und eine Ähnlichkeitsmetrik zwischen der vorhergesagten Ausgabe und tatsächlichen Zielsensordaten berechnet.
Vorrichtung nach Anspruch 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes aufweist: Zugreifen auf vorab trainierte probabilistische Netze, die A-Posteriori-Wahrscheinlichkeitsschätzungen von Merkmalen, die vom Zielsensor generiert werden, unter der Annahme von Werten für Merkmale, die durch verwandte Sensoren generiert werden, berechnen.
Vorrichtung nach Anspruch 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes aufweist: Berechnen einer Ähnlichkeits-/Abstandsmetrik, die als ein gewichteter Mittelwert der paarweisen Ähnlichkeiten/Abstände jedes Paars von Sensoren im Satz von statistisch verwandten Sensoren, die den Zielsensor aufweisen, berechnet wird; und Durchführen eines Echtzeit-Clustering und Berechnen eines Abstands jedes Sensors vom Cluster-Schwerpunkt, der das Vertrauensniveau eines Sensors repräsentiert, wobei ein Ausreißer des Clusters den defekten Sensor repräsentiert.
Vorrichtung nach Anspruch 4, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren Folgendes aufweist: Zugreifen auf parametrische nicht lineare Filter, um Merkmale, die vom Zielsensor generiert werden, und Merkmale von den verwandten Sensoren in einen gemeinsamen Zustandsraum zu fusionieren, und eine Vertrauensniveauinformation aus einer Fehlerkovarianzmatrix eines nicht linearen Filters zu generieren.
Vorrichtung nach Anspruch 1, 2 oder 3, wobei das Senden des Sensorsteuersignals ein Senden des Sensorsteuersignals entlang eines Sensorheilungsrückkopplungspfads, der zwischen der Vielzahl von verschiedenen Sensoren und der Sensorüberwachungsstufe gekoppelt ist, aufweist, um den annullierten Zielsensor neu zu konfigurieren und wieder auf ein betriebsfähiges Vertrauensniveau zu bringen.
Vorrichtung nach Anspruch 9, wobei, wenn das mit dem annullierten Zielsensor assoziierte Vertrauensniveau den Vertrauensschwellenwert erfüllt, die Sensorüberwachungsstufe den Zielsensor erneut aktiviert, um normale Sensordatenflusswerte an die Wahrnehmungspipeline auszugeben.
Vorrichtung nach Anspruch 9, wobei die Vielzahl von verschiedenen Typen von Sensoren entsprechende Datenvorprozessoren aufweist, um Merkmale aus Sensorrohdaten zu extrahieren und vorverarbeitete Sensordatenflüsse auszugeben, die einer Sensordatensynchronisationsstufe zugeführt werden, um die vorverarbeiteten Sensordatenflüsse zeitlich zu synchronisieren und die synchronisierten Sensordatenflüsse an die Klassifizierungsstufe und die Sensorüberwachungsstufe auszugeben.
Vorrichtung nach Anspruch 11, wobei die Sensorüberwachungsstufe das Sensorsteuersignal an die Sensordatenvorprozessoren des entsprechenden defekten Sensors und an die Sensordatensynchronisationsstufe sendet.
Vorrichtung nach Anspruch 11 oder 12, wobei die Sensorüberwachungsstufe das Sensorsteuersignal lediglich an die Sensordatenvorprozessoren und die Sensordatensynchronisationsstufe sendet, wenn die Sensoren korrekt arbeiten, aber die Sensordatenvorprozessoren eingestellt werden müssen, oder die Sensordatensynchronisationsstufe erneut synchronisiert werden muss.
Vorrichtung nach Anspruch 1, 2 oder 3, wobei die Klassifizierungsprozesse vorab trainiert werden, um ein vorgegebenes Genauigkeitsniveau im Betrieb bei allen erforderlichen Kombinationen von Sensordefekten aufrechtzuerhalten, wobei der Sensordatenfluss eines beliebigen defekten Sensors durch die Daten mit Nullwerten ersetzt werden, um das Training zu vereinfachen.
Verfahren für autonome Fahrzeuge, aufweisend: Identifizieren von Objekten, die zu einem spezifischen Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren unter Verwendung jeweiliger unabhängiger Klassifizierungsprozesse, die parallel arbeiten, und Schätzen und Verfolgen eines Vertrauensniveaus jedes aus der Vielzahl von verschiedenen Typen von Sensoren aus den Sensordatenflüssen parallel mit dem Identifizieren von Objekttypen, und Annullieren eines defekten Sensors, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Verfahren nach Anspruch 15, ferner aufweisend: als Antwort darauf, dass der defekte Sensor annulliert wird, Senden eines Sensorsteuersignals an den annullierten defekten Sensor, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und Veranlassen, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Verfahren nach Anspruch 16, wobei als Antwort darauf, dass einer der Klassifizierungsprozesse den Datenfluss mit Nullwerten als Eingabe, die dem annullierten defekten Sensor entspricht, empfängt, Betreiben des Klassifizierungsprozesses in einem verschlechterten Modus, in dem der Klassifizierungsprozess weiterhin Objekte des entsprechenden Objekttyps in Abwesenheit des annullierten defekten Sensors unter Verwendung der Sensordatenflüsse von korrekt arbeitenden Sensoren identifiziert, während ein vorgegebenes Genauigkeitsniveau aufrechterhalten wird.
Verfahren nach Anspruch 15, 16 oder 17, wobei das Schätzen des Vertrauensniveaus eines Zielsensors von Sensoren ferner Folgendes aufweist: Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren.
Verfahren nach Anspruch 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes statistisch verwandter Sensoren ferner Folgendes aufweist: Zugreifen auf ein vorab trainiertes Sensorübersetzungsmodell des Zielsensors, das als Eingaben Daten der statistisch verwandten Referenzsensoren nimmt und eine vorhergesagte Ausgabe des defekten Sensors generiert, und eine Ähnlichkeitsmetrik zwischen der vorhergesagten Ausgabe und tatsächlichen Zielsensordaten berechnet.
Verfahren nach Anspruch 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren ferner Folgendes aufweist: Zugreifen auf vorab trainierte probabilistische Netze, die A-Posteriori-Wahrscheinlichkeitsschätzungen von Merkmalen, die vom Zielsensor generiert werden, unter der Annahme von Werten für Merkmale, die durch verwandte Sensoren generiert werden, berechnen.
Verfahren nach Anspruch 18, wobei das Vergleichen des synchronisierten Sensordatenflusses des Zielsensors mit den Sensordatenflüssen eines Satzes von statistisch verwandten Sensoren ferner Folgendes aufweist: Berechnen einer Ähnlichkeits-/Abstandsmetrik, die als ein gewichteter Mittelwert der paarweisen Ähnlichkeiten/Abstände jedes Paars von Sensoren im Satz von statistisch verwandten Sensoren, die den Zielsensor aufweisen, berechnet wird; und Durchführen eines Echtzeit-Clustering und Berechnen eines Abstands jedes Sensors vom Cluster-Schwerpunkt, der das Vertrauensniveau des Sensors repräsentiert, wobei ein Ausreißer des Clusters den defekten Sensor repräsentiert.
Computerlesbares Medium, das ausführbare Befehle aufweist, wobei die Befehle als Antwort auf eine Ausführung durch einen Prozessor den Prozessor zum Folgenden veranlassen: Identifizieren von Objekten, die zu einem spezifischen Objekttyp gehören, auf der Grundlage von Sensordatenflüssen von mehreren aus einer Vielzahl von verschiedenen Typen von Sensoren unter Verwendung jeweiliger unabhängiger Klassifizierungsprozesse, die parallel arbeiten, und Schätzen und Verfolgen eines Vertrauensniveaus jedes aus der Vielzahl von verschiedenen Typen von Sensoren aus den Sensordatenflüssen parallel mit dem Identifizieren von Objekttypen, und Annullieren eines defekten Sensors, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt.
Computerlesbares Medium nach Anspruch 22, wobei die Befehle ferner den Prozessor zum Folgenden veranlassen: als Antwort darauf, dass der defekte Sensor annulliert wird, Senden eines Sensorsteuersignals an den annullierten defekten Sensor, um zu versuchen, den annullierten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen, und Veranlassen, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.
Multimodale Sensorwahrnehmungspipelinevorrichtung für ein autonomes Fahrzeug, aufweisend: eine Datenerfassungsstufe, um Daten von einer Vielzahl von verschiedenen Typen von Sensoren zu erfassen und synchronisierte Sensordatenflüsse, die der Vielzahl von verschiedenen Typen von Sensoren entsprechen, auszugeben; eine multimodale Klassifizierungsstufe, die eine Vielzahl von Klassifizierungsprozessen aufweist, um parallel verschiedene Objekttypen auf der Grundlage der synchronisierten Sensordatenflüsse von mehreren aus der Vielzahl von verschiedenen Typen von Sensoren zu identifizieren, eine Sensorüberwachungsstufe, die parallel mit der Datenerfassungsstufe und dem multimodalen Klassifizierungszustand arbeitet und die synchronisierten Sensordatenflüsse eingibt, um ein Vertrauensniveau jedes aus der Vielzahl von verschiedenen Typen von Sensoren zu schätzen und zu verfolgen, und einen defekten Sensor annulliert, wenn das mit dem defekten Sensor assoziierte Vertrauensniveau einen Vertrauensschwellenwert nicht erfüllt, und einen Sensorheilungsrückkopplungspfad, der als Antwort auf eine Annullierung des defekten Sensors ein Sensorsteuersignal an den annullierten defekten Sensor sendet, um zu versuchen, den annullierten defekten Sensor wieder auf betriebsfähige Vertrauensniveaus zu bringen.
Vorrichtung nach Anspruch 24, wobei als Antwort darauf, dass der defekte Sensor annulliert wird, die Sensorüberwachungsstufe veranlasst, dass tatsächliche abgetastete Datenwerte, die durch den annullierten defekten Sensor ausgegeben werden, durch einen Datenfluss mit Nullwerten ersetzt werden.