DE102019127190A1

DE102019127190A1 - System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems

Info

Publication number: DE102019127190A1
Application number: DE102019127190.8A
Authority: DE
Inventors: Aaron Thompson; Honghao Tan
Original assignee: Harman International Industries Inc
Current assignee: Harman International Industries Inc
Priority date: 2018-10-10
Filing date: 2019-10-09
Publication date: 2020-04-16
Also published as: CN111038522B; CN111038522A; US20200117950A1; US10839263B2

Abstract

Die vorliegende Offenbarung betrifft Systeme, Vorrichtungen und Verfahren zum Beurteilen eines gelernten Fahrzeugdatensatzes eines Fahrerassistenzsystems. Ausführungsformen sind auf die Bewertung von Laufzeitattributen einer Szenenerkennungsoperation unter Verwendung eines gelernten Fahrzeugdatensatzes gegenüber einer Vektordarstellung für einen kommentierten Datensatz gerichtet, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten einzuschätzen. In einer Ausführungsform wird mit dem Bewerten die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes beurteilt. Ein Ereignis-Flag kann für einen gelernten Fahrzeugdatensatz auf Grundlage der Bewertung bestimmt werden, wobei das Ereignis-Flag einen oder mehrere Parameter zum Aktualisieren des gelernten Fahrzeugdatensatzes identifiziert. Konfigurationen und Prozesse können Anomalien für einen gelernten Fahrzeugdatensatz identifizieren und das Erfassen von nützlichen realen Daten ermöglichen, um Laufzeitoperationen zu prüfen.

Description

GEBIET
Die vorliegende Offenbarung betrifft Systeme, Verfahren und Vorrichtungen zum assistiven und autonomen Fahren und insbesondere das Beurteilen eines gelernten Datensatzes.
HINTERGRUND
Es werden Fahrzeugsysteme entwickelt, um eine Unterstützung beim Betrieb eines Fahrzeugs bereitzustellen. Die Systeme können das Bereitstellen einer Rückkopplung und Fahrzeugsteuerung einschließen. Es ist notwendig, dass Systeme und Prozesse Daten genau identifizieren können, die für Fahrzeugdetektionssysteme wichtig sind. Viele der existierenden Systeme sammeln große Datenmengen, was schwer zu nutzen ist. Beispielsweise kann ein Fahrzeugsystem, einschließend mehrere Sensoren, während des Betriebs eine enorme Datenmenge generieren. Da die existierenden Systeme üblicherweise Daten willkürlich generieren und speichern, sind erhebliche Kosten mit dem Speichern und Verwalten der Daten verknüpft. Zusätzlich zu der Verarbeitung machen diese Systeme Fähigkeiten zur Datenspeicherung im großen Maßstab erforderlich. Nachteile dieser Systeme können einschließen, dass sie nicht dazu in der Lage sind, Daten auf effiziente Weise zu bearbeiten sowie die Kosten zum Speichern von Daten und Schwierigkeiten beim Identifizieren relevanter Daten. Existierende Systeme stellen keine Konfigurationen zum Interpretieren signifikanter Daten bereit. Folglich können existierende Systeme durch Daten behindert werden, die gespeichert und nicht nützlich sind. Es besteht die Notwendigkeit, Konfigurationen von Fahrzeugsystemen für unterstütztes Fahren zu verbessern und gelernte Daten für assistive Fahrsysteme zu beurteilen.
KURZDARSTELLUNG DER AUSFÜHRUNGSFORMEN
Hier werden Verfahren, Vorrichtungen und Systeme für Fahrerassistenzsysteme offenbart und beansprucht. Eine Ausführungsform ist auf ein Verfahren zum Beurteilen eines gelernten Fahrzeugdatensatzes eines Fahrerassistenzsystems gerichtet. Das Verfahren schließt das Empfangen von Fahrzeugsensordaten durch eine Steuereinheit ein, die von mindestens einem Sensor des Fahrzeugs erfasst werden, wobei die Fahrzeugsensordaten von einem Fahrerassistenzsystem eines Fahrzeugs generiert werden. Das Verfahren schließt außerdem das Ausführen einer Szenenerkennungsoperation an den Fahrzeugsensordaten durch die Steuereinheit unter Verwendung eines gelernten Fahrzeugdatensatzes ein, um Zielobjektattribute der Fahrzeugsensordaten zu identifizieren. Das Verfahren schließt außerdem das Bewerten von Laufzeitattributen der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz durch die Steuereinheit ein, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen, wobei mit dem Bewerten die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt wird. Das Verfahren schließt außerdem das Bestimmen eines Ereignis-Flags für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung, ob das Ereignis-Flag mindestens eines von einem Parameter und einer Datenprobe zum Aktualisieren des gelernten Fahrzeugdatensatzes identifiziert, durch eine Steuereinheit ein.
In einer Ausführungsform schließen die Fahrzeugsensordaten mindestens eines von Bild-, Radar- und LiDAR-Daten für eine Detektionszone des Fahrerassistenzsystems des Fahrzeugs ein.
In einer Ausführungsform werden durch das Ausführen der Szenenerkennungsoperation an den Fahrzeugsensordaten Zielobjekte in Echtzeit auf Grundlage der Attribute des gelernten Fahrzeugdatensatzes identifiziert, wobei der gelernte Fahrzeugdatensatz eine Vielzahl von Objekttypen und Objektattributen bereitstellt.
In einer Ausführungsform schließt der gelernte Fahrzeugdatensatz Objekttypen und Objektattribute für einen bekannten kommentierten Datensatz ein.
In einer Ausführungsform stellt die Vektordarstellung für den kommentierten Datensatz eine räumliche Darstellung für eine Vielzahl von Objekten und Objektattributen von Ground-Truth-Objekten bereit und wobei die Vektordarstellung für den kommentierten Datensatz als eine Referenz zum Vergleichen von Fahrzeugsensordaten verwendet wird.
In einer Ausführungsform schließt das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Werts ein, um Objekttypen und Objektattribute darzustellen, die in dem gelernten Fahrzeugdatensatz nicht eingeschlossen und unterrepräsentiert sind.
In einer Ausführungsform schließt das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Maßes eines bekannten Datensatzes in Bezug auf momentane Fahrzeugdaten ein, während man sich in einer Laufzeitumgebung befindet, wobei die Bewertung das Vergleichen von bearbeiteten Ereignissen und detektierten Anomalien einschließen soll.
In einer Ausführungsform wird die Effektivität der Szenenerkennungsoperation auf Grundlage einer Wahrscheinlichkeit dafür bestimmt, dass der gelernte Fahrzeugdatensatz Zielobjekte der Fahrzeugsensordaten bearbeiten kann.
In einer Ausführungsform wird das Ereignis-Flag generiert, um einen Datenbereich der Fahrzeugsensordaten und des Zielobjekts zu identifizieren.
In einer Ausführungsform stellt das Ereignis-Flag eine Fahrzeugbetriebsbedingung dar, die so identifiziert wird, dass sie eine starke Korrelation mit Anomalien des gelernten Fahrzeugdatensatzes aufweist.
Eine andere Ausführungsform ist auf eine Fahrzeugsteuereinheit gerichtet, einschließend einen Eingang, der konfiguriert ist, um Fahrzeugsensordaten zu empfangen, und eine Steuereinheit, die an den Eingang gekoppelt ist. Die Steuereinheit ist konfiguriert, um Fahrzeugsensordaten zu empfangen, die von mindestens einem Sensor des Fahrzeugs erfasst werden, wobei die Fahrzeugsensordaten von einem Fahrerassistenzsystem eines Fahrzeugs generiert werden. Die Steuereinheit ist auch konfiguriert, um eine Szenenerkennungsoperation an den Fahrzeugsensordaten unter Verwendung eines gelernten Fahrzeugdatensatzes auszuführen, um Zielobjektattribute der Fahrzeugsensordaten zu identifizieren. Die Steuereinheit ist auch konfiguriert, um Laufzeitattribute der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz zu bewerten, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen. Mit dem Bewerten wird die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt. Die Steuereinheit ist auch konfiguriert, um ein Ereignis-Flags für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung zu bestimmen, ob das Ereignis-Flag mindestens eines von einem Parameter und einer Datenprobe zum Aktualisieren des gelernten Fahrzeugdatensatzes identifiziert.
Andere Aspekte, Merkmale und Techniken liegen für den einschlägigen Fachmann angesichts der folgenden detaillierten Beschreibung der Ausführungsformen auf der Hand.
Figurenliste
Die Merkmale, Aufgaben und Vorteile der vorliegenden Offenbarung gehen aus der unten aufgeführten detaillierten Beschreibung in Verbindung mit den Zeichnungen deutlicher hervor, in denen gleiche Bezugszeichen durchgehend Entsprechendes kennzeichnen und wobei:

Die 1A-1B grafische Darstellungen von Szenariodaten gemäß einer oder mehreren Ausführungsformen abbilden;
2 einen Prozess für den Betrieb der Steuereinheit gemäß einer oder mehreren Ausführungsformen abbildet;
3 eine grafische Darstellung einer Fahrzeugsteuereinheit gemäß einer oder mehreren Ausführungsformen abbildet;
4 eine grafische Darstellung eines gelernten Fahrzeugdatensatzes gemäß einer oder mehreren Ausführungsformen abbildet;
5 eine grafische Darstellung von Operationen einer Steuereinheit gemäß einer oder mehreren Ausführungsformen abbildet;
6 eine grafische Darstellung von Operationen in Bezug auf einen bekannten Datensatz gemäß einer oder mehreren Ausführungsformen abbildet; und
Die 7A-7B grafische Darstellungen des Bestimmens von Ereignis-Flags gemäß einer oder mehreren Ausführungsformen abbilden.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Überblick und Terminologie
Ein Aspekt der Offenbarung ist auf Fahrzeugassistenzsysteme, wie etwa assistive oder autonome Fahrsysteme, gerichtet, die konfiguriert sind, um einen gelernten Fahrzeugdatensatz und Operationen der Fahrzeugassistenzsysteme zu beurteilen. In einer Ausführungsform können Daten, die von einem Fahrzeugsystem detektiert werden, mit einem Vektor verglichen werden, der für einen Datensatz generiert wird, der von dem Fahrzeug verwendet wird, um Objekte zu detektieren, wie etwa einen gelernten Fahrzeugdatensatz. Es werden eine oder mehrere Operationen beschrieben, um zu bestimmen, ob den Laufzeitoperationen des Fahrzeugs und/oder dem gelerntem Fahrzeugdatensatz Objekte in den Fahrzeugsensordaten bekannt sind.
Konfigurationen und Operationen, die das Bestimmen des Bekanntseins für erfasste Daten und Szenarien ermöglichen, können auf einem bekannten kommentierten Datensatz basieren, in Anbetracht eines unbekannten Idealzustands von Daten und einer Fahrzeugkonfiguration, die ein Sondensystem von einem oder mehreren Sensoren aufweist, die eine Fahrszene interpretieren können. Mit hier beschriebenen Operationen können Berechnungen (z. B. Schätzungen) des bekannten kommentierten Datensatzes in der Ausführungsform eines Vektors durchgeführt werden. Der Vektor kann verwendet werden, um eine momentan analysierte Szene mit einem bekannten kommentierten Datensatz in Echtzeit zu vergleichen. In einer Ausführungsform wird der Vergleich verwendet, um zu bestimmen, ob einem Laufzeitalgorithmus, der auf Grundlage des kommentierten Datensatzes trainiert wird, die momentane Analyse der Szene bekannt ist.
Das Bestimmen des Bekanntseins kann das Markieren von Daten und Ereignissen ermöglichen, die von Fahrzeugsensoren detektiert werden. Folglich werden mit diesen Funktionen Probleme und Belastungen aufgelöst, die mit dem Erfassen großer Mengen von Fahrzeugsensordaten assoziiert sind. Ausführungsformen sind lediglich auf das Identifizieren und Erfassen von signifikanten oder „nützlichen“ realen Daten in Ereignis-Flags gerichtet, die verwendet werden können, um einen Laufzeitwahrnehmungsalgorithmus besser zu trainieren und zu prüfen. Beispielsweise können im Falle eines einzelnen Kamerasystems, das Spuren analysiert, große Datenmengen von derselben Umgebung oder demselben Szenario erfasst worden sein. Ausführungsformen ermöglichen das automatische Identifizieren von Ausnahmefällen oder Anomalien für den ursprünglichen Trainingsdatensatz. Ausführungsformen sind auch darauf gerichtet, zu bestimmen, wie der Trainingssatz Anomalien oder Szenarien behandelt, die möglicherweise nicht gelernt wurden. Folglich ermöglichen Konfigurationen das Bereitstellen eines automatisierten Verfahrens, um eine Szene zu identifizieren, die einem bekannten Trainingsdatensatz nicht bekannt ist oder für ihn eine Anomalie darstellt.
In einer Ausführungsform können Laufzeitattribute einer Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz bewertet werden. Mit dem Bewerten der Laufzeitattribute kann die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes eingeschätzt werden. Mit dem Bewerten kann die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt werden. In anderen Ausführungsformen kann mit dem Bewerten die Effektivität eines gelernten Fahrzeugdatensatzes oder von kommentierten Basisdaten beurteilt werden.
Es werden Systeme, Konfigurationen und Prozesse bereitgestellt, um das Bekanntsein von gelernten Daten in Bezug auf erfasste Daten zu identifizieren. In einer Ausführungsform kann ein Ereignis-Flag für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung ausgegeben werden, um einen oder mehrere Parameter zum Aktualisieren des gelernten Fahrzeugdatensatzes zu identifizieren. Ausführungsformen sind auch auf die Detektion und Charakterisierung von Anomalien in Fahrzeugdatensätzen gerichtet. Parameter können einen Objekttyp, ein Objektattribut, Zielobjekte (z. B. andere Fahrzeuge, Spurmarkierungen, Absperrungen usw.), Fahrbedingungen (z. B. eine Bremsbedingung, das Rutschen eines Fahrzeugs, den Abstand zu anderen Fahrzeugen/Objekten usw.) und/oder ein Fahrszenario einschließen. Abtastdaten können Fahrzeugsensordaten betreffen, die mit einem Parameter assoziiert sind. Wie hier verwendet, können eine oder mehrere Anomalien in Bezug auf Fahrzeugsensordaten unter Verwendung eines gelernten Fahrzeugdatensatzes bestimmt werden. In einigen Fällen ist der gelernte Fahrzeugdatensatz nicht dazu in der Lage, ein detektiertes Objekt zu identifizieren oder klassifizieren. In anderen Ausführungsformen können Fahrzeugsensordaten in Bezug auf ein detektiertes Objekt im Konflikt stehen.
Wie hier verwendet, kann sich assistives Fahren auf mindestens eines von dem Bereitstellen einer Angabe, Erfassen von Daten, Steuern des Betriebs eines Fahrzeugs, Aktivieren eines Fahrzeugsystems und Operationen der Fahrzeugsteuerung im Allgemeinen für von einem Fahrer und/oder fahrerlos gesteuerte Fahrzeuge beziehen. Assistives Fahren kann sich auf eine oder mehrere Funktionen eines fortschrittlichen Fahrerassistenzsystems (Advanced Driver Assistance System - ADAS) oder eines Systems zum autonomen Fahren (Autonomous Driving - AD) beziehen. Operationen des assistiven Fahrens können einen Spurwechselassistenten, einen Parkassistenten, eine Bremssteuerung usw. einschließen. Das assistive Fahren kann sich auch auf Systeme und Operationen für autonom fahrende Systeme und Fahrzeuge beziehen. Ein assistives Fahrsystem kann ein Fahrzeugsystem, einschließend mindestens einen Sensor zum Detektieren von Objekten oder Fahrzeugbetriebsbedingungen, eine Steuereinheit und ein oder mehrere Fahrzeugsysteme zum Steuern des Fahrzeugs, betreffen. Objekt- und Fahrzeugdaten können von mindestens einem Sensor bestimmt werden, einschließend unter anderem einen Bildsensor (z. B. Video), Radarsensor, LiDAR-Sensor, Beschleunigungs-/Bewegungssensor und Fahrzeugsensoren (z. B. Raddrehzahlsensor, Sensor eines Reifendrucküberwachungssystems (Tire Pressure Monitoring System - TPMS), ABS-Sensor, Gier-/Neigungssensor, Stabilitätssteuerungssensor usw.). Gemäß einer Ausführungsform können assistive Fahrsysteme unter Verwendung von Basisdaten, wie etwa einem gelernten Datensatz, betrieben werden, um Zielobjekte (z. B. andere Fahrzeuge, Spurmarkierungen, Absperrungen usw.), Fahrbedingungen (z. B. eine Bremsbedingung, das Rutschen eines Fahrzeugs, den Abstand zu anderen Fahrzeugen/Objekten usw.) und/oder -szenarien zu detektieren. Die Basisdaten können ein(en) oder mehrere erkannte Objekttypen und Objektattribute einschließen. Die Basisdaten können auch Szenariodaten für Objekte und eine Objektanordnung einschließen. Zum Beispiel können Muster von Spurmarkierungen detektiert werden, um die Zusammenführung von Spuren oder eine Kurve auf einer Straße zu signalisieren. Wie hier erörtert, können Objekte, Objektattribute und Szenendaten Teil eines Szenarios sein, welches identifiziert und charakterisiert werden kann. Hier beschriebene Systeme, Verfahren und Konfigurationen können Fahrzeugsysteme für den realen Einsatz unter verschiedenen Bedingungen oder in verschiedenen Szenen (z. B. Tag, Nacht, wenig Licht, wetterbedingt usw.) einschließen. Zusätzlich können Systeme und Verfahren während der Laufzeit (z. B. während das Programm ausgeführt wird) zur Verwendung im Fahrzeug durchgeführt werden.
Gemäß einem anderen Aspekt der Offenbarung basieren Ausführungsformen, die auf die Beurteilung eines gelernten Fahrzeugdatensatzes und Operationen der Fahrzeugassistenzsysteme gerichtet sind, auf der Erfassung von Ereignissen und Operationen zum Analysieren von Fahrzeugsensordaten. Signifikante Daten können verwendet werden, um erfasste Ereignisse und Datensegmente zu bestimmen, einen Basisdatensatz zu kommentieren und zu bestimmen, ob detektierte Szenendaten insgesamt gültig sind.
In einer Ausführungsform schließen Prozesse das Generieren einer Vektordarstellung eines gelernten Datensatzes oder von kommentierten Basisdaten ein. In anderen Ausführungsformen schließen Prozesse das Generieren einer Vektordarstellung von Fahrzeugsensordaten ein. Vektordarstellungen können auf Modelldaten des Systems basieren und können verwendet werden, um die Effektivität des Systems beim Identifizieren von Objekten unter Verwendung eines gelernten Datensatzes und/oder die Effektivität des gelernten Datensatzes zu bestimmen. Das Generieren einer Vektordarstellung kann das Durchführen von einer oder mehreren Operationen durch eine Fahrzeugsteuerung einschließen. In einer Ausführungsform ermöglicht die Vektordarstellung das Bestimmen eines Anomalievektors. Der Anomalievektor kann verwendet werden, um Objekte oder Szenarien zu identifizieren, die für das System signifikant sind.
Gemäß einer Ausführungsform können Vektordarstellungen zum Bestimmen eines signifikanten Szenarios auf Grundlage von Vektordarstellungen von Objekttyp, Objektattributen, Objektmustern und Szenen eingesetzt werden. Beispielsweise können Vektordarstellungen des Objekttyps ein Objekt identifizieren, das nicht passt oder mit Parametern des Datensatzes zum Identifizieren eines Objekts nicht identifiziert werden kann. In einer Ausführungsform können Objektattribute signifikant sein, wobei ein Zielobjekt als ein Objekt detektiert und klassifiziert wird. Das Zielobjekt kann ein oder mehrere Attribute einschließen, die von einer Steuervorrichtung identifiziert und nicht angemessen behandelt werden, dementsprechend können das eine oder die mehreren Attribute signifikant sein. In einer anderen Ausführungsform können Vektordarstellungen von Objektmustern, wie etwa Spurmarkierungen, Parksituationsmustern, Bremsmustern für Stopand-go-Verkehr usw., von einer Vektordarstellung für das Muster behandelt werden. Situationen, die sich von Mustern des Datensatzes unterscheiden, oder Fahrsituationen, einschließend ein Muster und dann eine Abweichung von dem Muster, können als signifikant identifiziert werden. Vektordarstellungen können für eine Szene auf Grundlage von einem oder mehreren Parametern generiert werden. Für eine Fahrszene, die andere Objekte, wie etwa andere Fahrzeuge, betrifft, kann die Bewegung der anderen Fahrzeuge und des Fahrzeugs, einschließend eine Steuereinheit, detektiert werden, um signifikante Szenarien für das Fahrzeug, einschließend eine Steuereinheit, wie etwa ein Verkehrsmuster, für dessen Behandlung das Fahrzeug nicht richtig trainiert wurde, zu identifizieren. Alternativ können Szenarien Fahrbedingungen auf Grundlage des Wetters (z. B. Regen, Schnee, Nebel usw.), des Straßenzustands (z. B. befestigt, unbefestigt, geringe Traktion usw.), der Lichtverhältnisse (z. B. wenig Licht und Betriebsszenarien für ein Fahrzeug betreffen.
Gemäß einer Ausführungsform ist eine Steuereinheit eines Fahrzeugs konfiguriert, um einen gelernten Fahrzeugdatensatz eines Fahrerassistenzsystems unter Verwendung eines Vektors zu beurteilen, der für gelernte Fahrzeugdaten generiert wird. Es werden Prozesse und Vorrichtungskonfigurationen bereitgestellt, um Szenariodaten zu identifizieren, die von einem oder mehreren Fahrzeugsensoren detektiert werden. Die Fahrzeugsensordaten können während der Laufzeit detektiert und verwendet werden, um die Algorithmen zum Detektieren der Sensordaten zu beurteilen. In bestimmten Ausführungsformen können Fahrzeugtrainingsdaten und die Fähigkeit eines Fahrzeugsystems zum Detektieren von Objekten und Fahrkonfigurationen beurteilt werden. In einer Ausführungsform schließt eine Fahrzeugsteuereinheit mindestens einen Eingang ein, der konfiguriert ist, um Fahrzeugsensordaten zu empfangen. Die Steuereinheit kann auch einen Eingang einschließen, um einen Vektor für gelernte Fahrzeugdaten zu empfangen. Die Steuereinheit kann Teil eines Fahrzeugsteuersystems sein, wie etwa eine assistive Fahreinheit oder ein autonomes Fahrmodul. Die Steuereinheit kann konfiguriert sein, um Laufzeitattribute der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz zu bewerten, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen. Wie nachfolgend ausführlicher erörtert, wird mit dem Bewerten die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt. Die Steuereinheit kann Ereignis-Flags für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung bestimmen, um einen oder mehrere Parameter zum Aktualisieren des gelernten Fahrzeugdatensatzes zu identifizieren.
Hier beschriebene Prozesse und Vorrichtungskonfigurationen können Ereignisse oder Szenarien markieren, bei denen ein gelernter Fahrzeugdatensatz unzureichend ist. Das Melden von Ereignis-Flags ermöglicht, dass nur die notwendigen Daten bereitgestellt werden, wie etwa eine Teilmenge von Sensordaten, die von einem Fahrzeug für einen Zeitraum generiert werden. Durch das Bereitstellen von Daten für einen bestimmten Zeitraum muss nicht ein gesamter Datensatz des Fahrzeugs analysiert werden, um interessierende Daten zu bestimmen. Die hier beschriebenen Prozesse und Vorrichtungskonfigurationen ermöglichen, dass eine Fahrzeugsteuereinheit Ereignis-Flags identifizieren kann und die Erfassung von Daten für eine weitere Analyse. Diese Operationen können es einem Fahrzeugassistenzsystem ermöglichen, sich kontinuierlich einem gewünschten Datensatz von Parametern zu nähern, während die Notwendigkeit einer manuellen Überprüfung eingeschränkt und/oder beseitigt wird.
Im hier verwendeten Sinne sollen die Ausdrücke „ein“ oder „eine“ eins oder mehr als eins bedeuten. Der Ausdruck „Vielzahl“ soll zwei oder mehr als zwei bedeuten. Der Ausdruck „ein anderes“ ist als zweites oder mehr definiert. Die Ausdrücke „einschließend“ und/oder „aufweisend“ sind nicht ausschließlich (z. B. umfassend). Der Ausdruck „oder“ ist im hier verwendeten Sinne als einschließend oder ein beliebiges oder eine beliebige Kombination bedeutend auszulegen. So bedeutet „A, B oder C“ „ein beliebiges der Folgenden: A; B; C; A und B; A und C; B und C; A, B und C“. Eine Ausnahme dieser Definition liegt nur dann vor, wenn sich eine Kombination aus Elementen, Funktionen, Schritten oder Handlungen an sich auf eine Art gegenseitig ausschließt.
In dieser Schrift bedeuten Bezugnahmen auf „eine Ausführungsform“, „bestimmte Ausführungsformen“ oder einen ähnlichen Ausdruck, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, das bzw. die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform enthalten ist. So bezieht sich das Auftreten derartiger Formulierungen an verschiedenen Stellen dieser Beschreibung nicht unbedingt immer auf dieselbe Ausführungsform. Des Weiteren können die bestimmten Merkmale, Strukturen oder Eigenschaften auf jede geeignete Weise in einer oder mehreren Ausführungsformen ohne Einschränkung kombiniert werden.
Ausführungsbeispiele
Die 1A-1B bilden grafische Darstellungen von Szenariodaten gemäß einer oder mehreren Ausführungsformen ab. Gemäß einer Ausführungsform sind hier beschriebene Systeme, Konfigurationen und Prozesse auf Fahrzeugsysteme gerichtet. Die 1A-1B bilden grafische Darstellungen eines beispielhaften Szenarios für eine Szene 100 ab, die mit dem Fahrzeug 105 und einer Vielzahl von Objekten assoziiert ist. Die Szene 100 kann einen bestimmten Ort oder Zeitraum betreffen, wobei es das Vorhandensein von Objekten und/oder von einer von mehreren Fahrzeugeigenschaften ermöglichen kann, dass ein Sensor des Fahrzeugs 105 ein oder mehrere Objekte detektiert. Gemäß einer Ausführungsform kann das Fahrzeug 105 einen oder mehrere Sensoren einschließen, um Objekte auf Grundlage von gelernten Fahrzeugdaten zu detektieren. Beispielsweise ist das
Fahrzeug 105 für Objekte, die in der Szene 100 vorliegen, konfiguriert, um Fahrzeugsensordaten zu interpretieren, um eines oder mehrere der Objekte zu detektieren. In bestimmten Ausführungsformen können Fahrzeugsensordaten eine Vorrichtung oder eine Art einer Vorrichtung, wie etwa einen Bildsensor (z. B. Kamera), betreffen. Von daher können ein oder mehrere Zielobjekte von dem Fahrzeug 105 unter Verwendung von gelernten Fahrzeugdaten aus erfassten Bilddaten identifiziert werden. Gemäß einer anderen Ausführungsform kann das Fahrzeug 105 eine Vielzahl von Erfassungsvorrichtungen einschließen, die mehrere Arten von Sensorausgaben, einschließend eines oder mehrere von einem Bild, einer Näherungserkennung, Radar und LiDAR, generieren.
Das Fahrzeug 105 kann konfiguriert sein, um eine Vielzahl von Objekttypen und Szenarien, wie etwa ein Bremsereignis oder einen Spurwechsel, unter Verwendung von gelernten Fahrzeugdaten zu detektieren und klassifizieren. Hier erörterte Ausführungsformen ermöglichen das Einschätzen, wann gelernte Fahrzeugdatensätze keine ausreichende Detektion oder Bearbeitung von Zielobjekten ermöglichen. Beispielsweise kann das Fahrzeug 105 ein Objekt detektieren, ist jedoch möglicherweise nicht dazu in der Lage, zu identifizieren oder bestimmen, wie das Fahrzeug 105 als Reaktion auf das Objekt gesteuert werden soll. Andere Ausführungsformen ermöglichen das Einschätzen des Bekanntseins von Objekten für das Fahrzeug unter Verwendung eines gelernten Datensatzes. Auf diese Weise ermöglichen die hier erörterten Systeme, Prozesse und Konfigurationen, obwohl bei den Ausführungsformen spezifische Sensortypen und/oder Zielobjektattribute eingesetzt werden können, das Detektieren von Anomalien mit einer bzw. einem oder mehreren unterschiedlichen Sensorkonfigurationen oder Fahrzeugtrainingsdatensätzen. Zudem können die Prinzipien der Offenbarung auf unterschiedliche Sensorkonfigurationen eines Fahrzeugs angewendet werden.
1A bildet eine beispielhafte Szene, einschließend Objekte, die von einer oder mehreren Einheiten, wie etwa einer Steuereinheit des Fahrzeugs 105, detektiert und identifiziert werden können, ab. In 1A schließt die Szene 100 das Fahrzeug 105 ein, das einen oder mehrere Detektionsbereiche, als 110 und 111 gezeigt, aufweist, wobei sich die Detektionsbereiche im Allgemeinen auf eine Vorwärtsfahrtrichtung für den Detektionsbereich 110 und eine nach hinten zeigende Richtung für den Detektionsbereich 111 des Fahrzeugs 105 beziehen. Die Detektionsbereiche 110 und 111 sind in Bezug auf eine oder mehrere Richtungen des Fahrzeugs 105 gezeigt, die in dem gelernten Fahrzeugdatensatz eingeschätzt und oder berücksichtigt werden können. Gemäß einer Ausführungsform können ein oder mehrere Sensoren des Fahrzeugs 105 Objekte in Bezug auf die Detektionsbereiche des Fahrzeugs, einschließend Bereiche der Vorwärts-, Rückwärts- und seitlichen Richtung des Fahrzeugs, detektieren. Die Szene 100 kann ein beispielhaftes Szenario oder eine Art einer Szene betreffen, die für das Fahrzeug von Interesse ist. Zusätzlich kann jede Szene, die von dem Fahrzeug 105 detektiert wird, mit einem oder mehreren von der Art des Objekts, der Anzahl der Objekte, der Position der Objekte, der Bewegung der Objekte usw. assoziiert sein. Gemäß einer anderen Ausführungsform kann jede Szene mit mindestens einer der Betriebseigenschaften des Fahrzeugs und der Betriebseigenschaften anderer Fahrzeuge assoziiert sein. Gemäß einem Ausführungsbeispiel schließt die Szene 100 den Fußgänger 120, die Spurmarkierungen 125 und 130, das Fahrzeug 135 und die Fahrbahnbegrenzung 140 ein.
Das Fahrzeug 105 kann nicht nur eine Art des Zielobjekts, wie etwa Fußgänger oder Personenkraftwagen, identifizieren, sondern auch ein oder mehrere Attribute des Objekts verwenden, um ein Zielobjekt zu charakterisieren. Attribute und Objekttypen können in kommentierten Basisdaten oder gelernten Fahrzeugdaten gespeichert werden, die von einer Steuereinheit des Fahrzeugs 105 verwendet werden können, um Objekte zu identifizieren und in einigen Fällen das Fahrzeug 105 zu steuern. In einem Ausführungsbeispiel kann das Fahrzeug 105 die Spurmarkierungen 125 und 130 und ein oder mehrere Attribute detektieren, die mit jedem Ziel assoziiert sind. Beispielsweise kann das Fahrzeug 105 die Position, den Abstand, die Farbe, die Winkelablenkung und ein oder mehrere zusätzliche Attribute detektieren, um ein Szenario zu detektieren, das für das Fahrzeug von Interesse sein kann. In einigen Fällen, wie etwa Autobahnfahrt, kann das Fahrzeug 105 trainiert sein, um die Spurmarkierungen 125 und 130 zu detektieren und zu bearbeiten, die für einen längeren Zeitraum auf einer mehr oder weniger geraden Linie auftreten. Die Identifizierung dieser Attribute kann von einem assistiven System des Fahrzeugs 105 verwendet werden, um innerhalb der Spurmarkierungen 125 und 130 zu bleiben. Wie hier erörtert, kann die Vektordarstellung von erfassten Fahrzeugdaten für Zielobjekte, wie etwa die Spurmarkierungen 125 und 130, verwendet werden, um Szenarien zu identifizieren, bei denen die gelernten Fahrzeugdaten nicht ausgestattet sind, um Zielobjekte, wie etwa eine plötzliche Abweichung hinsichtlich der Positionierung der Spurmarkierungen 125 und 130 oder eine Verengung der Fahrbahn 140, zu bearbeiten. Zusätzlich zum Erfassen von Ereignissen sind Konfigurationen darauf gerichtet, zu bestimmen, wann und welche Art von Fahrzeugsensordaten, nicht in ausreichendem Maße in gelernten Fahrzeugdaten eingeschlossen sind. Von daher werden Konfigurationen bereitgestellt, um mindestens eines von einem interessierenden Zielobjekt, interessierenden Szenario und einem Bereich von Daten zu identifizieren, die von einem Fahrzeug erfasst werden.
In noch einer anderen Ausführungsform werden Konfigurationen bereitgestellt, um Ereignisse für eines oder mehrere eines interessierenden Zielobjekts und Szenarios zu markieren. Gemäß einer Ausführungsform kann das Fahrzeug 105 konfiguriert sein, um mit dem Kommunikationsnetz 115 für einen Datenaustausch mit einer oder mehreren Netzwerkressourcen, wie etwa Servern, zu kommunizieren, um Zielobjekte und Szenarien zu teilen. In bestimmten Ausführungsformen können Netzwerkressourcen verwendet werden, um Aktualisierungen für gelernte Fahrzeugdaten, die von dem Fahrzeug 105 verwendet werden, als Reaktion auf gemeldete Objekte oder Szenarien bereitzustellen.
Eine andere Ausführungsform ist auf das Bestimmen gerichtet, wie einem Laufzeitalgorithmus, wie etwa einer Szenenerkennungsoperation Daten bekannt sind, die von dem Fahrzeug 105 gemeldet werden. Fahrzeuge, die für ein unterstütztes oder autonomes Fahren konfiguriert sind, können enorme Datenmengen aufzeichnen. Das Melden von Fahrzeugsensordaten ist möglicherweise nicht erforderlich, wenn das Fahrzeug 105 das Szenario oder die Szene auf Grundlage eines gelernten Fahrzeugdatensatzes angemessen behandeln kann. In Bezug auf das zuvor beschriebene Beispiel der Autobahnfahrt zwischen den Spurmarkierungen 125 und 130 für lange Strecken (z. B. in der Größenordnung von Meilen/km) ist das Melden und spätere Verarbeiten der Daten und des Szenarios möglicherweise nicht erforderlich. Jedoch kann das Melden von Anomalien oder unerwarteten Veränderungen für ein Fahrszenario nützlich sein, um den gelernten Fahrzeugdatensatz einzuschätzen. In bestimmten Situationen sind Konfigurationen notwendig, die bestimmen, wie gut das Fahrzeug Objekte detektiert und Szenarien markieren, bei denen der Fahrzeugbetrieb oder der gelernte Fahrzeugdatensatz aktualisiert werden muss.
Eine andere Ausführungsform schließt das Identifizieren ein, wie gut das Fahrerassistenzsystem Zielobjekte oder Szenarien bearbeitet, die einer Fahrzeugsteuereinheit unbekannt sind oder von dieser nicht ordnungsgemäß klassifiziert werden. Beispielsweise kann das Fahrzeug 105 verschiedene Fußgänger, wie etwa den Fußgänger 120, oder verschiedene Fahrzeuge, wie etwa das Fahrzeug 135, detektieren, wobei mit Attributen des gelernten Fahrzeugdatensatzes Unterschiede der tatsächlichen Objekte berücksichtigt werden können, während dennoch die Objekte mit dem korrekten Objekttyp und/oder geeigneten Objektattributen klassifiziert werden. In 1A wird ein signifikantes Szenario 145 als ein Fragezeichen abgebildet, da Fahrzeugsensordaten identifizieren können, dass das Szenario 145 mit einem Zielobjekt oder einer Fahrzeugbedingung assoziiert ist, das bzw. die unter Verwendung des gelernten Fahrzeugdatensatzes nicht zu verstehen ist. Zum Beispiel kann der gelernte Datensatz ein Zielobjekt unter Verwendung des gelernten Datensatzes möglicherweise nicht verstehen, wenn eines oder mehrere des Objekts, des Objektattributs und der Fahrbedingung einen Grad oder Schwellenwert in Bezug auf eine Vektordarstellung der detektierten Sensordaten überschreiten. Hier erörterte Operationen und Konfigurationen stellen verschiedene nicht identifizierte Szenarien bereit. Ausführungsformen sind auch auf Bewertungsoperationen unter Verwendung eines generierten Vektors für nicht identifizierte Objekte, wie etwa das Szenario 145, gerichtet.
In Bezug auf Zielobjekte kann das Szenario 145 ein nicht identifiziertes Objekt betreffen. Anders beschrieben, kann das Szenario 145 ein Objekt betreffen, das von dem Fahrzeug 105 detektiert wird, dem Fahrzeug jedoch unbekannt ist. Beispielsweise wenn das Szenario 145 eine Person betrifft, die ein Hühnerkostüm (oder auch ein anderes Kostüm) trägt, sind Attribute des gelernten Fahrzeugdatensatzes, der von dem Fahrzeug 105 verwendet wird, möglicherweise nicht dazu in der Lage, das Objekt zu identifizieren, da das Hühnerkostüm wahrscheinlich Eigenschaften ergibt, die keine Attribute für einen Objekttyp Fußgänger einschließen. Oder möglicherweise kann das Hühnerkostüm mit Objektattributen für zwei unterschiedliche Objekttypen assoziiert sein, woraus sich ein Konflikt ergibt. Ein anderes Beispiel eines Objekttyps für das Szenario 145 kann die Detektion eines seltenen Objekts, wie etwa eines Monstertrucks (z. B. Fahrzeug mit sehr großen Reifen und möglicherweise Pyrotechnik), betreffen, das von dem Fahrzeug 105 detektiert wird. Attribute von Zielobjekttypen für Fahrzeuge in einem gelernten Fahrzeugsatz sind üblicherweise auf Personenkraftwagen gerichtet, wobei ein detektierter Monstertruck einem interessierenden Szenario entsprechen kann. Interessierende Szenarien können so charakterisiert werden, dass sie es wert sind von einem Fahrzeug 105 gemeldet zu werden. Das Szenario 145 kann Fahrzeugbetriebseigenschaften, wie etwa ein plötzliches Manövrieren (z. B. Rutschen, Traktionsverlust) oder Fahrzeugsteuerung (z. B. Bremsen), betreffen. Während einer typischen Fahrt während der Stoßzeiten kann ein Fahrzeugführer (oder ein autonomes System) schnell auf die Bremse treten. In einigen Situationen kann ein wiederholtes Bremsen in der unmittelbaren Nähe von anderen Fahrzeugen für ein bestimmtes Fahrzeug zu einer bestimmten Tageszeit und/oder auf einer bestimmten Route/Strecke einer Straße normal sein. Jedoch können in anderen Situationen ein abruptes oder wiederholtes Bremsen oder andere Fahrzeugbetriebsbedingungen einem Szenario, wie etwa dem Szenario 145, entsprechen, das es wert ist, gemeldet zu werden. Beispielsweise kann der gelernte Fahrzeugdatensatz für assistives Bremsen oder autonomes Fahren möglicherweise nicht trainiert sein, um einen korrekten Trennabstand einzuhalten. Von daher werden Systeme, Vorrichtungen und Fahrzeugkonfigurationen bereitgestellt, um interessierende Szenarien in Bezug auf einen gelernten Fahrzeugdatensatz zu identifizieren. Zusätzlich kann eine Bewertung durchgeführt werden, um zu bestimmen, wie bekannt ein gelernter Fahrzeugsatz das Szenario 145 analysieren kann.
In Bezug auf Objekttypen und Szenarien können die Prinzipien der Offenbarung auch für das Einschätzen des Bekanntseins einer assistiven Fahreinheit eines Fahrzeugs als Ganzes für verschiedene Szenarien gelten. Für assistive Fahrsysteme, die auf Fahrbahnen bei angenehmen Witterungsbedingungen trainiert wurden, kann es schwierig sein, wenn eine Witterung oder andere Situationen auftreten. Eine Witterung, das Vorhandensein von Schnee oder einem anderen Niederschlag und sogar eines Gripverlusts können Attribute sein, die zum Einschätzen von gelernten Fahrzeugdatensätzen berücksichtigt werden.
1B veranschaulicht ein beispielhaftes Segment von Objekten in Bezug auf einen Zeitstrahl. In Bezug auf das Melden kann eine Steuereinheit eines Fahrzeugs (z. B. des Fahrzeugs 105) konfiguriert sein, um mindestens eines von einem signifikanten Objekt und einem Segment von Daten zu melden, die von dem Fahrzeug erfasst wurden. In einigen Fällen kann es das Melden eines Zielobjekts dem Fahrzeug ermöglichen, unbekannte Fußgänger, wie etwa einen Mann in einem Hühnerkostüm, besser zu verstehen. In anderen Fällen kann das Melden aller Zielobjekte und Attribute für einen Zeitraum gedacht sein, der einem Zielobjekt vorausgeht und darauf folgt. 1B zeigt Szenendaten 150 in Bezug auf einen Zeitstrahl 155 und für ein interessierendes Segment 160. Das Segment 160 kann in Bezug auf Zielobjekte und Attribute identifiziert werden, die beim Melden identifiziert werden. Wie nachfolgend ausführlicher erörtert, kann ein Segment von Daten, wie etwa Fahrzeugsensordaten, als Reaktion auf eine Szenenerkennungsoperation gemeldet werden, um ein signifikantes Szenario oder Objekt zu identifizieren.
1B ist eine beispielhafte Darstellung des Segments 160, wobei Objekte vor dem Segment, wie etwa das Fahrzeug 165, von der Meldung ausgeschlossen werden. In einer Ausführungsform schließt das Melden eines Segments von Objektzielen das Melden von Objekten vor Daten eines signifikanten Szenarios, wie etwa Fußgänger 170 vor dem Szenario 180, und von Objekten im Anschluss an das Szenario, wie etwa Fahrzeug 175, ein. Hier enthaltene Ausführungsformen ermöglichen das Melden eines einfachen Szenarios 180, und/oder das Melden eines Segments 160, einschließend die Objekte 170 und 175 und das Szenario 180.
Obwohl in 1A-1B eine beispielhafte Szene und ein beispielhaftes Segment von Objekten/Szenarien abgebildet sind, die detektiert werden können, werden hier Ausführungsformen zur Identifizierung von signifikanten Daten und Szenarien bereitgestellt.
2 bildet einen Prozess zum Beurteilen eines gelernten Fahrzeugdatensatzes eines Fahrerassistenzsystems gemäß einer oder mehreren Ausführungsformen ab. Der Prozess 200 kann von einer Steuereinheit (z. B. der Steuereinheit 305 aus 3) durchgeführt werden. Gemäß einer Ausführungsform schließt der Prozess 200 das Empfangen von Fahrzeugsensordaten, die von mindestens einem Sensor des Fahrzeugs empfangen werden, bei Block 205, das Ausführen einer Szenenerkennungsoperation bei Block 210 und das Bewerten von Laufzeitattributen der Szenenerkennung bei Block 215 ein. Ein Ereignis-Flag kann bei Block 220 bestimmt werden. Der Prozess 200 kann von einer Steuereinheit, wie etwa einer Navigationssteuereinheit, eines Fahrzeugs durchgeführt werden. Die Steuereinheit kann konfiguriert sein, um Positionierungsdaten für das Fahrzeug, wie etwa globale Positionierungsdaten (z. B. GPS), zu empfangen. Die Steuereinheit kann außerdem Kartendaten für eine oder mehrere geografische Regionen speichern, die mit der Fahrzeugposition assoziiert sind. In bestimmten Ausführungsformen ist die Steuereinheit konfiguriert, um Fahrbahninformationsdienste, wie etwa Verkehr und Wetter, zu empfangen, die mit Routen der Kartendaten assoziiert sind. Fahrbahn- und Bedingungsinformationen, wie etwa das Wetter, können in einem oder mehreren Attributen eines gelernten Fahrzeugdatensatzes eingeschlossen sein.
Gemäß einer Ausführungsform kann der Prozess 200 auf einem gelernten Fahrzeugdatensatz basieren. Beispielsweise kann ein gelernter Fahrzeugdatensatz einen kommentierten Trainingsdatensatz von einem fortschrittlichen Fahrerassistenzsystem (ADAS) oder einem System zum autonomen Fahren (AD) mit rohen Sensordaten auf Grundlage von verschiedenen Attributen mit Ground Truth einschließen. Fahrzeugsensoren können Daten für eines oder mehrere von Video, Radar, und LiDAR als Ground Truth einschließen, das zum Kommentieren verwendet wird. Durch Ground-Truth-Daten wird das System mit wahrnehmbaren Objekttypen und Attributen versehen. Der Prozess 200 kann die Extraktion und Verwendung von Betriebsparametern eines Fahrerassistenzsystems (z. B. Algorithmus, Prozesse usw.) während der Laufzeit ermöglichen, um das Bekanntsein mit seinem eigenen Basisdatensatz einzuschätzen, um eine Anomalie zu identifizieren und zum Erfassen zu markieren. Diese Erfassung wird verwendet, um das Training des Laufzeitalgorithmus in einer anschließenden Freigabe zu aktualisieren, indem der Basisdatensatz aktualisiert wird. Der Prozess 200 stellt eine Echtzeiterkennung des Bekanntseins eines Szenarios auf Grundlage eines existierenden Trainingssatzes bereit.
Bei Block 205 werden Fahrzeugsensordaten empfangen, die von mindestens einem Sensor des Fahrzeugs erfasst werden. Die Fahrzeugsensordaten können von einem Fahrerassistenzsystem eins Fahrzeugs generiert werden und können mindestens eines von Bild-, Radar- und LiDAR-Daten für eine Detektionszone des Fahrerassistenzsystems des Fahrzeugs betreffen. Fahrzeugsensordaten können außerdem den Betrieb eines Fahrzeugs und von einem oder mehreren anderen Fahrzeugen in Bezug auf das Fahrzeug charakterisieren, um Daten für einen Fahrabstand in Bezug auf die Fahrzeuge, die Anzahl von Fahrzeugen, den Fahrzeugtyp usw. einzuschließen.
Bei Block 210 führt die Steuereinheit eine Szenenerkennungsoperation an den Fahrzeugsensordaten unter Verwendung eines gelernten Fahrzeugdatensatzes aus, um Zielobjektattribute der Fahrzeugsensordaten zu identifizieren. In einer Ausführungsform wird durch das Ausführen der Szenenerkennungsoperation an den Fahrzeugsensordaten ein kommentierter Satz für Zielobjekte in Echtzeit auf Grundlage der Attribute des gelernten Fahrzeugdatensatzes generiert. Beispielsweise werden mit der Szenenerkennungsoperation nicht nur Zielobjekte identifiziert, sondern es werden auch Operationen durchgeführt, um die Objekte unter Verwendung eines gelernten Fahrzeugdatensatzes wahrzunehmen. Der gelernte Fahrzeugdatensatz kann eine Vielzahl von Objekttypen und Objektattributen bereitstellen. Der Block 210 der Szenenerkennungsoperation kann einen Datensatz generieren, der eine Szene in Bezug auf ein Fahrzeug charakterisiert. Gemäß einer Ausführungsform kann der Datensatz unter Verwendung einer Clusterbildung der Datentypen auf Grundlage der Attribute genähert werden.
Bei Block 215 bewertet die Steuereinheit Laufzeitattribute der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz. Das Bewerten kann durchgeführt werden, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen. Mit dem Bewerten wird die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt. In einer Ausführungsform schließt das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Werts ein, um Objekttypen und Objektattribute darzustellen, die nicht in dem gelernten Fahrzeugdatensatz eingeschlossen sind.
In einer Ausführungsform schließt das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Maßes eines bekannten Datensatzes in Bezug auf momentane Fahrzeugdaten ein, während man sich in einer Laufzeitumgebung befindet, wobei die Bewertung das Vergleichen von bearbeiteten Ereignissen mit Detektionsanomalien einschließen soll. Eine Vektordarstellung oder ein Anomalievektor kann die Messung von den Zentroiden zu den Grenzen jedes Clusters in einem Datensatz beschreiben. Für jedes Attribut, das zu der Datensatzbeschreibung hinzugefügt wird, wird eine andere Rahmenbedingung hinzugefügt, welche die Datenerfassung einschränken kann. Der Vektor kann von einem Netzwerkdienst für eine Fahrzeugsteuereinheit bereitgestellt werden.
In einer Ausführungsform kann der Prozess 200 eingesetzt werden, um interessierende Daten zu markieren, um Daten (z. B. kleinere Datenmengen, Ausschnitte) zu sammeln und in die Cloud hochzuladen. Durch das Markieren von interessierenden Daten wird eine Effizienz beim Erfassen von Daten und/oder Melden von Daten bereitgestellt.
In einer Ausführungsform wird die Effektivität der Szenenerkennungsoperation auf Grundlage einer Wahrscheinlichkeit oder eines Maßes dafür bestimmt, dass der gelernte Fahrzeugdatensatz Zielobjekte der Fahrzeugsensordaten bearbeiten kann. Attribute können unterschiedlich sein und der Datensatz unterscheidet sich auf Grundlage unterschiedlicher Fahrzeuge und dem Senden von Paketen, das bei den Fahrzeugen angewendet wird. In der Welt der Wahrnehmung werden Objekte in spezifische Kategorien eingeordnet. Bestimmte Ausführungsformen können die Verwendung eines Entscheidungsbaums einschließen, wobei die Grenze des Baums begrenzt ist. Das neuronale Netzwerk für den Entscheidungsbaum kann zehn Klassen bereitstellen und jeder Klasse eine Nummer geben. Zum Beispiel kann einem Fahrzeug ein Prozentsatz, wie etwa 50 %, zugewiesen werden; wenn 50 % der Prozentsatz oder Grad ist, der mit dem System assoziiert ist, das beschreibt, dass ein Objekt ein Auto ist. Für jedes Objekt kann eine Anomaliebewertung ein einziges Attribut isolieren.
Bei Block 220 kann eine Steuereinheit ein Ereignis-Flag für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung bestimmen. Das Ereignis-Flag identifiziert einen Parameter zum Aktualisieren des gelernten Fahrzeugdatensatzes. Gemäß bestimmten Ausführungsformen kann der Prozess 200 optional das Generieren einer Vektordarstellung bei dem optionalen Block 225 einschließen. In bestimmten Ausführungsformen können die Vektordarstellung und assoziierte Daten für einen kommentierten Basisdatensatz empfangen oder für eine Steuereinheit bereitgestellt werden. In einer Ausführungsform stellt die Vektordarstellung für den kommentierten Datensatz eine räumliche Darstellung für eine Vielzahl von Objekten und Objektattributen von Ground-Truth-Objekten bereit und wobei die Vektordarstellung für den kommentierten Datensatz als eine Referenz zum Vergleichen von Fahrzeugsensordaten verwendet wird.
Die Steuereinheit kann eine Vektordarstellung für die Szenenerkennungsoperation und die Attribute der Fahrzeugsensordaten generieren. Gemäß einer Ausführungsform schließt die Vektordarstellung eine oder mehrere Operationen ein, um ein Modell, wie etwa ein Vektorraummodell, zu generieren, das Objekte in einem kontinuierlichen Vektorraum darstellt, wo ähnliche Objekte benachbarten Punkten zugeordnet werden. Gemäß einer Ausführungsform korreliert die Anzahl von Attributen für Objekte in dem gelernten Fahrzeugsatz direkt mit der Anzahl der Dimensionen des generierten Vektors. Das Generieren der Vektordarstellung kann das Durchführen einer Clusterbildungsoperation für Zielobjekte der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einschließen, um ein Vektordatenmodell für die Fahrzeugsensordaten zu generieren. Zum Beispiel kann ein Clusterbildungsverfahren, wie etwa eine K-Means-Clusterbildung verwendet werden, um den „Bereich“ eines erfassten und kommentierten Datensatzes zu nähern, der verwendet wird, um einen Laufzeitalgorithmus zur Szenenerkennung zu trainieren. Gemäß einer Ausführungsform ist die Vektordarstellung eine Darstellung der Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten. Das Vektordatenmodell kann die Fähigkeit des gelernten Fahrzeugsatzes zum Wahrnehmen von Zielobjekten der Fahrzeugsensordaten charakterisieren.
Gemäß einer Ausführungsform wird ein gelernter Fahrzeugdatensatz in einem Datenspeicher, wie etwa einem Cloud-Speicher, gespeichert und er kann für ein oder mehrere Fahrzeuge (z. B. Steuereinheiten) bereitgestellt werden. Ein resultierender Vektor kann aus der Clusterbildung generiert werden, um den Datensatz zum Durchführen von Szenenoperationen zu beschreiben. In einer Ausführungsform wird der Vektor gleichzeitig mit der Algorithmusfreigabe für das Laufzeitsystem generiert.
Gemäß einer anderen Ausführungsform wird der Vektor dann in dem Laufzeitsystem verwendet, um das Szenario auf Grundlage der Attribute von detektierten Zielobjekten zu bewerten. Der Prozess 200 kann optional bei Block 215 das Bewerten einer Vektordarstellung gegenüber Objekten einschließen, die in einer Szene detektiert werden. Gemäß einer Ausführungsform kann die Steuereinheit eine Vektordarstellung hinsichtlich der Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes bewerten. Ein signifikantes Szenario kann identifizierten Daten auf Grundlage einer Bewertung der Vektordarstellung unterhalb eines vorgegebenen Schwellenwerts entsprechen. Ereignis-Flags können als Reaktion auf signifikante Szenarien ausgegeben oder generiert werden.
Gemäß bestimmten Ausführungsformen kann der Prozess 200 bei Block 230 optional das Ausgeben eines Ereignis-Flags einschließen. In einer Ausführungsform wird das Ereignis-Flag generiert, um einen Datenbereich der Fahrzeugsensordaten und des Zielobjekts zu identifizieren. In einer Ausführungsform stellt das Ereignis-Flag eine Fahrzeugbetriebsbedingung dar, die so identifiziert wird, dass sie sich außerhalb des gelernten Fahrzeugdatensatzes befindet.
In bestimmten Ausführungsformen können ausgegebene Datensegmente Daten für Zielobjekte einschließen, die für einen Zeitraum detektiert werden, der der Identifizierung eines signifikanten Ereignisses vorausgeht und darauf folgt. Das Melden des Ereignis-Flags und von Segmenten von Szenariodaten stellt eine Verbesserung gegenüber Systemen dar, die alle Daten melden, wenn ein Fahrzeug für einen längeren Zeitraum betrieben wird.
Gemäß einem Ausführungsbeispiel kann der Prozess 200 das Bestimmen eines Ereignis-Flags als Reaktion auf das Identifizieren von signifikanten Szenariodaten einschließen. Operationen können auf einer Vektordarstellung eines gelernten Datensatzes und von Fahrzeugsensordaten von einem oder mehreren Sensoren (z. B. den Sensoren 335_1-n aus 3) basieren. Das Empfangen von Fahrzeugsensordaten bei Block 205 kann das Empfangen von Daten von Fahrzeugsensoren, einschließend unter anderem einen Bildsensor (z. B. Video), Radarsensor, LiDAR-Sensor, Beschleunigungs-/Bewegungssensor und Fahrzeugsensoren (z. B. Raddrehzahlsensor, Sensor eines Reifendrucküberwachungssystems (TPMS), ABS-Sensor, Gier-/Neigungssensor, Stabilitätssteuerungssensor usw.), einschließen. Sensordaten können von einer Steuereinheit mithilfe eines Controller-Area-Network(CAN)-Busses des Fahrzeugs empfangen werden. Bei Block 205 empfangene Sensordaten können verwendet werden, um bei Block 210 eine Szenenerkennungsoperation auszuführen.
In einer Ausführungsform werden mit der Szenenerkennungsoperation bei Block 210 empfangene Sensordaten identifiziert und eine Vektordarstellung kann für Sensoren einzeln und/oder in Kombination generiert werden. In bestimmten Ausführungsformen kann eine Szenenerkennungsoperation durchgeführt werden, um Sensordaten zu identifizieren, die sich außerhalb eines normalen oder trainierten Betriebsbereichs befinden. Zur Fahrzeugbehandlung können zum Beispiel eines oder mehrere von einer Drosselsensorausgabe, Bremssteuerungen (z. B. ABS-Bremssystemsensoren), dem Reifendruck usw. für einen Zeitraum detektiert werden. Wenn einer oder mehrere der Sensoren eine Veränderung hinsichtlich der Ausgabe aufweisen, die mit einem Ereignis assoziiert ist, können Sensordaten vor, während und nach dem Ereignis erfasst werden. Ein signifikantes Szenario kann detektiert werden, wenn eine oder mehrere Sensorausgaben einen gelernten Datensatz überschreiten oder davon abweichen. Beispielsweise kann die Szenenerkennungsoperation für ein Fahrzeug, das während einer Autobahnfahrt mit hoher Geschwindigkeit fährt, gelernte Daten für eine bestimmte Fahrzeuggeschwindigkeit einschließen, wobei Brems-, Reifendruck- und andere Sensordaten in einem entsprechenden Bereich liegen. Wenn Sensordaten eine Abweichung von erwarteten Grenzen für das Szenario anzeigen, wie etwa wenn ein Fahrzeug, das bei Geschwindigkeiten gesteuert oder betrieben wird, die zu hoch sind, um die Autobahn zu verlassen, wie durch eines oder mehrere von einem erhöhten Reifendruck und einem verstärkten Bremsen angezeigt, können Fahrzeugsensordaten ein signifikantes Szenario anzeigen, wobei gelernte Daten keinen akzeptablen Betrieb des Fahrzeugs bereitstellen. Da sich Autobahnausfahrten oftmals unterscheiden, können gelernte Daten für ein Fahrzeug von Szenen und Szenarien profitieren, die von dem Fahrzeug erfasst werden.
Gemäß einer anderen Ausführungsform können bei Block 205 detektierte Sensordaten ein signifikantes Szenario ergeben, wenn der Sensor keine genaue Darstellung bereitstellt. Beispielsweise können ein oder mehrere Sensoren des Fahrzeugs für bestimmte Betriebsparameter konfiguriert sein, wie etwa die Definition einer Kamera auf Grundlage der Anzahl detektierter Pixel oder Einzelbilder. Für bestimmte Fahrszenarien, wie etwa Fahren mit niedriger Drehzahl, können die Kameraauflösung und die Einzelbildrate für das Fahren mit niedriger Drehzahl akzeptabel sein, während Operationen mit höherer Drehzahl möglicherweise (eine) erhöhte Auflösung oder Detektionsraten erforderlich machen. Dementsprechend kann ein signifikantes Szenario detektiert werden und eine Angabe der Fähigkeit des Sensors zum Bereitstellen von Daten zusätzlich zu einem oder mehreren Trainingsparametern für die Fahrzeugsteuereinheit betreffen. Ein Ereignis-Flag kann bei Block 220 als Reaktion auf die Identifizierung von Laufzeitattributen bestimmt werden, die eine Bewertung unterhalb eines vorgegebenen Schwellenwerts aufweisen. Beispielsweise können Sensordaten, die ein Objekt nicht mit einem Sicherheitsgrad von über 50 % identifizieren, ein Ereignis-Flag ergeben. In bestimmten Ausführungsformen kann ein Ereignis-Flag generiert werden, wenn ein bestimmter Objekttyp nicht mit einer Laufzeitbewertung oberhalb eines vorgegebenen Werts identifiziert wird. In einer Ausführungsform kann das Scheitern hinsichtlich der Klassifizierung eines Attributs eines Objekts zum Beispiel mit einer Bewertung oberhalb von 75 %, wie etwa der Art des Fahrzeugs, ein Ereignis-Flag ergeben. In bestimmten Ausführungsformen kann das Ereignis-Flag bestimmt werden, wenn der Durchschnitt einer Vielzahl von Objekten oder Fahrbedingungen unter einen vorgegebenen Schwellenwert fällt. Das Ausgeben eines Ereignis-Flags bei Block 230 kann das Bereitstellen von Sensordaten zusätzlich zu der Angabe des Ereignisses einschließen. Für Kameravorrichtungen kann das Ausgeben eines Szenarios bei Block 230 das Übertragen von erfassten Bilddaten und Objekten einschließen, die von der Fahrzeugsteuereinheit als Teil der Szenenerkennungsoperation identifiziert wurden.
Gemäß einer Ausführungsform, wenn das Szenario ein Muster von detektierten Daten betrifft, können Ereignis-Flags einen gelernten Datensatz betreffen, der keine Abweichungen im Hinblick auf Muster oder Musterarten erkennt oder bearbeitet, die nicht gelernt wurden. Gemäß einer Ausführungsform betreffen Fahrzeugsensordaten bei Block 205 ein Muster, wie etwa Fahrbahnmarkierungen oder die Straßenbreite. Muster können auch Objekte in Bezug auf eine Straße, wie etwa Absperrungen oder Radfahrer, betreffen. Die Szenenerkennungsoperation bei
Block 210 kann das Muster aus Sensordaten detektieren und eine Vektordarstellung der Sensordaten kann eingesetzt werden, um den Betrieb des Fahrzeugs in Bezug auf das Muster zu charakterisieren. Laufzeitattribute der Szene können bei Block 215 bewertet werden, um die Fähigkeit des Trainingsdatensatzes zum Wahrnehmen der Szene zu bestimmen. Ein Ereignis-Flag kann bei Block 220 bestimmt werden, wenn der gelernte Datensatz die Veränderung des Musters nicht bearbeitet. Beispielsweise Fahrbahnmarkierungen für einen Zeitraum, wie etwa 100 Yards (z. B. 300 m), die sich plötzlich verändern oder zu einem Spurwechsel führen. Ähnliche Beispiele schließen das Vorhandensein von Fahrbahnsperrungen und dann einen Wechsel der Position ein. Ein gelernter Datensatz, der nicht konfiguriert ist, um die plötzlichen Veränderungen oder Abweichungen von dem Muster zu erkennen, kann ein Ereignis-Flag ergeben. Ein anderes Beispiel kann das plötzliche Auftreten einer Fahrbahnsperrung sein. In Bezug auf bewegliche oder sich bewegende Objekte kann ein signifikantes Szenario Betriebseigenschaften eines anderen Fahrzeugs entsprechen, das auszuscheren scheint. Ein anderes Beispiel des signifikanten Szenarios kann das Muster eines Motorrads oder eines Radfahrers sein, das bzw. der sich in einem Muster/auf einer erwarteten Bahn bewegt und sich plötzlich auf ein Fahrzeug der Steuereinheit zu bewegt. In einem solchen Fall können ein oder mehrere Fahrzeugsysteme, wie etwa Stabilitätssteuerungsmodule, ein Szenario generieren, das nicht erkannt und/oder nicht gelernt wird.
3 bildet eine grafische Darstellung einer Fahrzeugsteuereinheit gemäß einer oder mehreren Ausführungsformen ab. Gemäß einer Ausführungsform schließt ein Fahrzeug eine Steuereinheit 305 ein, die konfiguriert sein kann, eine Schnittstelle zu einer oder mehreren Fahrzeugkomponenten zu bilden. Gemäß einer Ausführungsform kann die Steuereinheit 305 konfiguriert sein, um eine(n) oder mehrere hier beschriebene Prozesse und Funktionen, wie etwa den Prozess 200 aus 2, auszuführen. Die Steuereinheit 305 kann eine Steuereinheit einer Fahrzeugnavigationseinheit, ein fortschrittliches Fahrerassistenzsystem (ADAS) oder ein System zum autonomen Fahren (AD) betreffen.
In einem Ausführungsbeispiel schließt die Steuereinheit 305 ein oder mehrere Elemente oder Module zum Bilden einer Schnittstelle mit Fahrzeugkomponenten ein. 3 zeigt die Steuereinheit 305, einschließend ein Steuermodul 306, ein Szenenerkennungsmodul 307 und ein
Vektorgenerierungsmodul 308. Die Steuereinheit 305 kann Positionsdaten für ein Fahrzeug von dem Empfänger 310 empfangen. Eine oder mehrere ausführbare Anweisungen und Navigationsdaten (z. B. Kartendaten) können von dem Datenspeicher 320 gespeichert werden. Das Eingabe-/Ausgabemodul 320 kann konfiguriert sein, um eine Schnittstelle zu einer oder mehreren anderen Vorrichtungen, einschließend unter anderem Netzwerkressourcen, zu bilden. Die Steuereinheit 305 kann konfiguriert sein, um mit einem Fahrzeugsystem 330, einschließend eine Motorsteuereinheit (Engine Control Unit - ECU), zu kommunizieren.
Gemäß einer Ausführungsform stellt das Steuermodul 306 ein oder mehrere Funktions- und Hardwareelemente der Steuereinheit 305 dar, die konfiguriert sein können, um den Betrieb der Steuereinheit zu lenken. Das Steuermodul 306 kann konfiguriert sein, um einen gelernten Fahrzeugdatensatz zu empfangen und zu verwenden. Das Steuermodul 306 kann eine oder mehrere Kommunikationen zu dem Fahrzeugsystem 330 lenken, was die Ausgabe an eines oder mehrere von einem Fahrzeugbus und einer elektronischen Steuereinheit einschließen kann, die konfiguriert ist, um den Fahrzeugbetrieb (z. B. Bremsen, beleuchtete Indikatoren, Sicherheitsmerkmale usw.) zu steuern.
Gemäß einer Ausführungsform stellt das Szenenerkennungsmodul 307 ein oder mehrere Funktions- und Hardwareelemente der Steuereinheit 305 dar, die konfiguriert sein können, um Zielobjekte und Fahrzeugoperationen zu analysieren. Das Szenenerkennungsmodul 307 kann ein oder mehrere signifikante Ereignisse identifizieren.
Gemäß einer Ausführungsform stellt das Vektorgenerierungsmodul 308 ein oder mehrere Funktions- und Hardwareelemente der Steuereinheit 305 dar, die konfiguriert sein können, um einen Vektor und eine oder mehrere Anomalien gegenüber dem Vektor zu generieren. Das Vektorgenerierungsmodul 308 kann das Bekanntsein einer aktuellen Fahrszene oder Umgebung für einen gelernten Fahrzeugsatz schätzen. Das Sensormodul 308 kann auch ein oder mehrere Steuersignale für einen Sensor, der Teil des Fahrzeugsystems 330 ist, in Bezug auf den Status eines Filters empfangen.
Gemäß einer Ausführungsform können die Prinzipien, Prozesse und Vorrichtungskonfigurationen auf ein oder mehrere Sensorpakete angewendet werden. 3 ist so gezeigt, dass sie die Sensoren 335_1-n einschließt, die konfiguriert sind, um Daten für das Fahrzeugsystem 330 bereitzustellen. Gemäß einer Ausführungsform können die Sensoren 335_1-n einen oder mehrere Sensoren eines Fahrzeugs betreffen, das mit der
Steuereinheit 305 assoziiert ist. Die Sensoren 335_1-n können eine Ausgabe für einen CAN-Bus des Fahrzeugsystems 330 bereitstellen, die auch von der Steuereinheit 305 mithilfe eines CAN-Busses oder eines anderen Fahrzeugsystems empfangen werden kann.
Die Sensoren des Fahrzeugs können eines oder mehrere von einem Bildsensor (z. B. Video), Radarsensor, LiDAR-Sensor, Beschleunigungs-/Bewegungssensor und Fahrzeugsensoren (z. B. Raddrehzahlsensor, Sensor eines Reifendrucküberwachungssystems (TPMS), ABS-Sensor, Gier-/Neigungssensor, Stabilitätssteuerungssensor usw.), Drosselsensor und einem Fahrzeugsensor im Allgemeinen einschließen. Die Ausgabe der Sensoren 335_1-n kann in Form von Fahrzeugsensordaten für die Steuereinheit 305 zur Verarbeitung bereitgestellt werden.
Gemäß einer Ausführungsform können die Sensoren 335_1-n einen oder mehrere Fahrzeugbeschleunigungssensoren und/oder Fahrzeugstabilitätssteuerungssensoren (z. B. Traktionssteuerung) betreffen. Die Sensoren 335_1-n können eine Vielzahl von Beschleunigungssensoren (z. B. Beschleunigungsmesser) und Sensoren für Gier, Neigung und Lenkwinkel einschließen. In bestimmten Ausführungsformen kann das Identifizieren eines signifikanten Ereignisses die Fähigkeit eines gelernten Fahrzeugdatensatzes zum Steuern des Fahrzeugbetriebs in Bezug auf eine Fahrbahn oder eine Kurve betreffen. Von daher kann die Bewertung einen objektiven Wert generieren, der die Fähigkeit eines Traktionssteuerungssystems des Fahrzeugs zum Behandeln einer Fahrbahn darstellt. Zum Beispiel können die Sensoren 335_1-n eine Ausgabe generieren, die eine Untersteuerung oder Übersteuerung von einem oder mehreren der Sensoren 335_1-n anzeigt. Die Sensoren 335_1-n können einen Fahrzeugbeschleunigungsmesser (z. B. einachsig, mehrachsig) und einen oder mehrere Gier-/Neigungssensoren einschließen, um die Verlagerung des Fahrzeugs durch eine Kurve zu verfolgen. In Situationen, in denen der gelernte Datensatz verwendet wird, um das Fahrzeug zu betreiben und/oder von dem Traktionssteuerungssystem eingesetzt wird, kann ein signifikantes Ereignis für Untersteuerung und/oder Übersteuerung bestimmt werden.
4 bildet eine grafische Darstellung eines gelernten Fahrzeugdatensatzes gemäß einer oder mehreren Ausführungsformen ab. Gemäß einer Ausführungsform entspricht ein gelernter Fahrzeugdatensatz einem bekannten Trainingsdatensatz, der verwendet wird, um Algorithmen zu trainieren., die autonome Fahrzeuge und unterstützte Fahrsysteme verschiedener Art betreiben. 4 stellt eine beispielhafte Veranschaulichung eines gelernten Fahrzeugdatensatzes in Bezug auf einen idealen Datensatz bereit.
Gemäß einer Ausführungsform kann ein idealer Datensatz erreicht werden, bei dem die meisten oder alle Fahrszenen auf angemessene Weise bearbeitet werden. Der ideale Datensatz für ein Fahrzeug kann von den Sensoren des Fahrzeugs, der Erfassungsfähigkeit, Sensordaten usw. abhängen. Auch mit verbesserten Sensoren ist es notwendig, die Fähigkeit eines Systems zum Detektieren und Behandeln von Objekten und Szenarien einzuschätzen. Zusätzlich ist es notwendig, Situationen zu identifizieren, die ein Fahrzeugtrainingsdatensatz nicht auf angemessene Weise angehen kann.
4 veranschaulicht eine Darstellung eines bekannten oder existierenden Datensatzes 405 in Bezug auf einen idealen Datensatz 410. Der existierende Datensatz 405 kann einen bekannten Datensatz, einschließend einen bekannten Trainingsdatensatz, betreffen, der verwendet wird, um Algorithmen zu trainieren, die autonome Fahrzeuge verschiedener Art betreiben. Hier erörterte Prozesse und Operationen können eine Metrik oder einen Vektor des Bekanntseins, gezeigt als die Vektoren 415, unter Verwendung von Daten generieren, die von einem oder mehreren lokalen Fahrzeugsensoren oder kombinierten Sensoren, und darauffolgenden Echtzeitalgorithmen erfasst werden, die Szenenstatistiken messen. In einer Ausführungsform wird das Bekanntsein des Datensatzes 405 auf Grundlage von vielen möglichen Attributen generiert, die von dem Host-Fahrzeug und assoziierten Algorithmen erfasst werden. Gemäß einer Ausführungsform können beispielhafte Attribute unter anderem Folgendes einschließen: eine Anzahl von Zielobjekten, eine Klassifizierung von Zielobjekten, eine Größe und Form von Zielobjekten, eine Anzahl von Spuren, einen Spurtyp, eine Spurmarkierungsfarbe, eine Form oder einen Strichtyp der Spurmarkierung, ein Fahrzeugzustandsverhalten, wie etwa Rutschen, eine Fahrzeugposition, Umweltbedingungen, die sich auf die Sichtbarkeit von Zielobjekten und Spuren auswirken. Diese Attribute können eingesetzt werden, um die Dimensionen eines Vektors oder der Vektoren 415 zu beschreiben, der bzw. die von einem neuronalen Netzwerk generiert werden, das eine Methode der Clusterbildung von bekannten Attributen eines bekannten Trainingsdatensatzes verwendet. Einer oder mehrere der Vektoren, wie etwa der Vektor 415, können in einer Laufzeitumgebung verwendet werden, um Anomalien gegenüber dem Vektor zu detektieren. Der beschriebene Vektor entspricht der Schätzung des Bekanntseins der Umgebung, in der er verwendet wird, für den Laufzeitalgorithmus. Um die allgemeine Verwendung des zuvor erwähnten Vektors zu beschreiben, wird der Vektor als Teil einer Softwareversion für ein Steuersystem eines autonomen Fahrzeugs verwendet, das den gesamten Trainingsdatensatz beschreibt. In einer Ausführungsform wird der Vektor während der Laufzeit in dem Steuersystem des autonomen Fahrzeugs als Teil des Wahrnehmungsmoduls kontinuierlich bewertet. Diese Bewertung liefert das Verfahren zum Identifizieren signifikanter oder unbekannter Szenariodaten und Markieren oder Aufzeichnen assoziierter Daten in einem zuvor unerwähnten Datenschreiber.
Der ideale Datensatz 410 kann einen Satz von Daten darstellen, der möglicherweise nicht erreicht werden kann. Hier erörterte Systeme und Konfigurationen können auf Grundlage des bekannten Datensatzes 405 funktionieren. Ein Anomaliedetektionsvektor kann für den Datensatz 405 generiert werden, um den Datensatz zu beschreiben. Hier erörterte Prozesse liefern einen Auslösemechanismus, der ein Ereignis oder Szenario auslöst, das in dem Datensatz 410 nicht dargestellt wurde.
5 bildet eine grafische Darstellung von Operationen einer Steuereinheit gemäß einer oder mehreren Ausführungsformen ab. Operationen einer Steuereinheit können die automatische Identifizierung neuer Daten vereinfachen, die einem existierenden assistiven Fahrzeugalgorithmus unbekannt sind. Gemäß einer Ausführungsform kann eine Steuereinheit 500 Funktionen für mindestens eine von einer Signifikanzanomaliedetektion und Validierungsanomaliedetektion ausführen. Die Fahrzeugsteuereinheit 500 kann konfiguriert sein, um einen gelernten Fahrzeugdatensatz 501 von einem Datenspeicher, wie etwa einem Cloud-Speicher, zu empfangen. Der Fahrzeugdatensatz kann einem Fahrzeug bereitgestellt werden, um eine Szenenerkennung und/oder andere Operationen durchzuführen.
In einer Ausführungsform schließt die Fahrzeugsteuereinheit 500 ein Signifikanzanomaliedetektionsmodul 505 ein, das konfiguriert ist, um ein Clusterbildungsverfahren, wie etwa eine K-Means-Clusterbildung, durchzuführen, um den „Bereich“ des erfassten und kommentierten Datensatzes zu nähern, der verwendet wird, um den Laufzeitalgorithmus zu trainieren. Ein resultierender Vektor von dem Anomalievektorblock 510 wird aus der Clusterbildung generiert und wird verwendet, um den Datensatz zu beschreiben. Der Vektor kann gleichzeitig mit der Algorithmusfreigabe für das Laufzeitsystem generiert werden. In einer Ausführungsform wird der Vektor dann in einem Laufzeitsystem verwendet, um das Szenario auf Grundlage von einem oder mehreren Attributen zu bewerten. Eine Anomalie, die der von dem Anomalievektor beschriebenen Clusterbildung entkommt, löst an dem Ereignisauslöseblock 515 in einem Datenerfassungssystem ein Flag aus, das ein Ereignis beschreibt. Gemäß einer Ausführungsform ist dieses Ereignis für den existierenden Datensatz 501 signifikant, da dem gelernten Laufzeitalgorithmus das Szenario nicht bekannt ist.
Gemäß einer Ausführungsform kann das Signifikanzanomaliedetektionsmodul 505 trainiert werden, um Anomalien eines Basis- oder existierenden Datensatzes zu detektieren. Zum Beispiel kann der Basisdatensatz verwendet werden, um einen Algorithmus zu trainieren, damit er für ein besseres Verständnis der Umgebung nach seiner Gesamtsignifikanz sucht. In einer Situation, in der eine gerade ebene Straße mit zwei Spuren erfasst wird, führen mehr Daten zu einem Vergleich mit einer spezifischen Ecke mit einer bestimmten Situation, wie etwa ein Fußgänger in einem Hühnerkostüm. Die Person in dem Hühnerkostüm entspricht auf Grundlage des Benutzers des Basisdatensatzes einer Anomalie.
Gemäß einer anderen Ausführungsform kann ein gemeinsames Muster, wie etwa eine festgelegte Route von zu Hause ins Büro, für einen festgelegten Zeitraum bestimmt werden. Wenn eines Tages ein Fahrzeug zu einem anderen Ort gefahren wird, stellt dies eine Anomalie der Route oder des Wegs dar. In bestimmten Ausführungsformen können neue Routen einer Anomalie entsprechen. Um Anomalien zu detektieren, können Fahrzeugsensoren eingesetzt werden, um Objektattribute zu bestimmen, wie etwa Messen des GPS-Abstands zu Objekten, Objekte in Sichtweite, Abstandsrate und Objekte mit ihrem eigenen Muster.
Gemäß einer Ausführungsform kann das Signifikanzanomaliedetektionsmodul 505 die Schwellenwerte des Musters finden. Der Vektor kann in Bezug auf ein Auto hochgeladen oder heruntergeladen werden. Der Ereignisauslöser eines Autos überwacht die Schwellenwerte, um Ereignisse zu identifizieren. Ereignis-Flags können sich daraus ergeben, dass die GPS-Position von dem normalen Muster abweicht. In einer Ausführungsform kann ein Bild von einer Szene gemacht und in die Cloud hochgeladen werden. In dem Cloud-Dienst bestimmt die Maschine, ob eine schwierige Situation vorliegt.
Gemäß einer Ausführungsform werden zusammengetragene Ereignisse, die während des Erfassungszeitraums erfasst werden, zu dem resultierenden Datensatz hinzugefügt und durchlaufen den Trainingsprozess für die nächste Algorithmusfreigabe. Die neuen Daten werden dann erneut genähert, um die Clusterbildung von Objekten zu aktualisieren.
Bei Block 520 empfängt das Validierungsanomaliedetektionsmodul den Anomalievektor von Block 510. Gemäß einer Ausführungsform kann der Anomalievektor von dem Validierungsanomaliedetektionsmodul 520 verwendet werden, um das Bekanntsein des Datensatzes 501 in einer unmittelbaren Analyse einer Szene einzuschätzen. Das Validierungsanomaliedetektionsmodul 520 kann Anomalien gegenüber dem Anomalievektor von Block 510 detektieren und einen Bericht hinsichtlich des Bekanntseins einer Szene, eines Szenarios oder von Fahrzeugsensordaten für den Datensatz 501 generieren.
In einer Ausführungsform kann ein Ereignis-Flag generiert werden, wenn ein Konflikt von Fahrzeugsensoren vorliegt. Der Sensorkonflikt kann einem Verfahren zum Auslösen eines Ereignisses entsprechen (zunächst etwa Konflikte des Kameraradars mit dem fahrenden Fahrer, was einem der Sensoren entspricht). Der Fahrer betätigt das Lenkrad über eine Kompensation, welche die Erfassung eines Ereignisses vor 30 Sekunden auslöst und Daten in ein Flag lädt. Daten können erfasst und für einen Cloud-Server bereitgestellt werden, um eine Szene so zu validieren, dass sie eine gültige oder ungültige Szene ist.
6 bildet eine grafische Darstellung von Operationen in Bezug auf einen bekannten Datensatz gemäß einer oder mehreren Ausführungsformen ab. Der Prozess 600 beschreibt Operationen für ein Fahrzeugsystem gemäß einer oder mehreren Ausführungsformen. In einer Ausführungsform ist der Prozess 600 darauf gerichtet, Operationen zur Signifikanzanomaliedetektion durchzuführen. Gemäß einer anderen Ausführungsform ist der Prozess 600 auf eine Validierung eines Anomaliedetektionsmoduls gerichtet. Der Prozess 600 kann eine oder mehrere Operationen einer Steuereinheit eines Signifikanzanomaliedetektionsmoduls und eines Validierungsanomaliedetektionsmoduls (z. B. Signifikanzanomaliedetektionsmodul 505 und Validierungsanomaliedetektionsmodul 520 aus 5) betreffen.
Gemäß einer Ausführungsform kann der Basisdatensatz 605, einschließend eine Vielzahl von Objekttypen und Objektattributen in Form von bekannten Trainingsdaten eingesetzt werden, um Algorithmen eines Fahrzeugassistenzsystems, wie etwa eine Szenenerkennungsoperation, zu trainieren. Bei Block 610 wird eine Clusterbildungsquantisierungsoperation für den Basisdatensatz durchgeführt und bei Block 615 wird eine Vektorgenerierungsoperation auf Grundlage von Eigenschaften der bei Block 610 generierten Datencluster durchgeführt. Die Clusterbildungsquantisierung kann eine oder mehrere Operationen einschließen, um Objekte nach Typ und Attributen zu klassifizieren und kommentieren. Als Folge der Clusterbildung können Objekte, die ähnliche Attribute aufweisen, Cluster bilden, die durch eine vektorbasierte Modellierung analysiert werden können. Angesichts eines bekannten Datensatzes, wie etwa des Basisdatensatzes 605, einschließend einen bekannten Trainingsdatensatz, der verwendet wird, um Algorithmen zu trainieren, die autonome Fahrzeuge verschiedener Art betreiben, ist der Prozess 600 konfiguriert, um bei Block 615 eine Metrik oder einen Vektor des Bekanntseins zu generieren. Es können ein oder mehrere Vektoren generiert werden, die das Zentroid von jedem Cluster von Block 610 beschreiben und sie ergeben eine Darstellung, die von einer Fahrzeugsteuereinheit eingesetzt werden kann, um erfasste Daten und/oder den Basisdatensatz 605 zu analysieren. Die Operationen bei Block 610 und 615 können durchgeführt werden, um den kommentierten Basisdatensatz 605 zu beschreiben, wie etwa ob der Basisdatensatz Daten einschließt, die einer Beschreibung der erfassten Fahrzeugdaten ähneln oder dazu in der Lage sind. Der bei Block 615 generierte Vektor kann verwendet werden, um signifikante Objektziele oder Fahrzeugbetriebsbedingungen zu identifizieren. Gemäß einer anderen Ausführungsform können die Blöcke 610 und 615 als von einem Computer ausführbarer Code ausgeführt werden, der für ein Fahrzeug zur Verwendung in einem Fahrerassistenzsystem eingesetzt werden kann. Gemäß einer Ausführungsform werden Attribute verwendet, um die Dimensionen eines Vektors zu beschreiben, der bei Block 620 von einem neuronalen Netzwerk unter Verwendung einer Clusterbildung der bekannten Attribute bei Block 610 des Trainingsdatensatzes 605 generiert wird.
Gemäß einer anderen Ausführungsform können Operationen für die Anomaliedetektion von dem Prozess 600 bereitgestellt werden. Unter Verwendung von Daten, die von einem lokalen Fahrzeugsensor oder kombinierten Sensoren bei Block 606 erfasst werden und darauffolgenden Echtzeitalgorithmen, die Szenenstatistiken messen, wie etwa ein Wahrnehmungsalgorithmus bei Block 625, kann das Bekanntsein des Basisdatensatzes bestimmt werden. Der Prozess 600 schließt Bewertungsattribute gegenüber einem Anomalievektor bei Block 630 ein. Die Bewertung kann einen oder mehrere Werte liefern, wie etwa einen Prozentsatz oder einen Wert innerhalb eines Bereichs, der das charakterisierende Bekanntsein von bei Block 625 detektierten Objekten für den kommentierten Datensatz 605 identifiziert. Die Bewertung kann auf vielen möglichen Attributen basieren, die von dem Host-Fahrzeug erfasst und in Sensordaten 606 und assoziierten Algorithmen bereitgestellt werden, die bei Block 625 ausgeführt werden. Beispielhafte Attribute können in einer Ausführungsform unter anderem Folgendes einschließen: eine Anzahl von Zielobjekten, eine Klassifizierung von Zielobjekten, eine Größe und Form von Zielobjekten, eine Anzahl von Spuren, einen Spurtyp, eine Spurmarkierungsfarbe, eine Form oder einen Strichtyp der Spurmarkierung, ein Fahrzeugzustandsverhalten, wie etwa Rutschen, eine Fahrzeugposition, Umweltbedingungen, die sich auf die Sichtbarkeit von Zielobjekten und Spuren auswirken. Die Bewertung bei Block 630 kann die Identifizierung von Daten eines signifikanten oder unbekannten Szenarios ermöglichen, um sie zu markieren oder assoziierte Daten in einem Datenschreiber oder einer Speichereinheit eines Fahrzeugs aufzuzeichnen.
Gemäß einer Ausführungsform wird die Bewertung bei Block 630 auf Grundlage eines festgelegten Maßes an Variabilität durchgeführt. Gemäß einer Ausführungsform kann für optisch detektierte Objekte ein akzeptables Maß an Variabilität für bestimmte Objektklassifizierungen zulässig sein. Dementsprechend kann bei der Bewertung auf Grundlage einer ersten Objektklasse ein erstes Maß an Variabilität eingesetzt werden, während bei der Bewertung eines zweiten Objekttyps ein zweites Maß an Variabilität eingesetzt werden kann, wobei sich das zweite Maß an Variabilität vom ersten unterscheidet. Demnach können Kamerasensordaten von Block 606, die ein Fußgängerobjekt identifizieren, einen niedrigen Schwellenwert zum Bestimmen der Signifikanz aufweisen, in Bezug auf eine Beschilderung, die normalerweise mit einem begrenzten Satz eines vorherbestimmten Satzes von Objekten assoziiert ist und demnach mit einem höheren Schwellenwert für die Signifikanz. In Bezug auf die Bewertung von Sensorattributen kann mit der Bewertung die Abweichung einer Sensorausgabe in Bezug auf gelernte Sensorbereiche eingeschätzt werden. In bestimmten Ausführungsformen ist die Bewertung bei Block 630 konfiguriert, um die Fähigkeit eines gelernten Datensatzes zum Wahrnehmen eines Fahrszenarios auf Grundlage von Sensordaten 606 einzuschätzen. Beispielsweise kann ein gelernter Datensatz eine Basis für eines oder mehrere der Folgenden bereitstellen: Darstellen einer Angabe, Steuern einer Fahrzeugeinheit oder Aktivieren eines Fahrzeugsteuersystems
(z. B. aktives Bremsen, Drosselsteuerung usw.) auf Grundlage von Sensordaten 606 und der Vektorgenerierung616. Die Bewertung bei Block 630 kann eine Angabe der Fähigkeit der gelernten Datensätze zum Bearbeiten erfasster Daten bereitstellen. In einer Ausführungsform kann die Bewertung bei Block 630 mindestens eines von einem Prozentsatz und/oder einem Wert zur Messung der Genauigkeit für den gelernten Datensatz in Bezug auf Sensordaten 606 ergeben. In bestimmten Ausführungsformen kann die bestimmte Bewertung mit generierten Flags ausgegeben werden, um einen gelernten Datensatz zu aktualisieren.
Gemäß einer Ausführungsform wird bei Operationen, die von der Steuereinheit 620 ausgeführt werden, ein bei Block 615 generierter Vektor in einer Laufzeitumgebung verwendet, um Anomalien gegenüber dem Vektor zu detektieren. Der beschriebene Vektor entspricht der Schätzung des Bekanntseins der Umgebung, in der er verwendet wird, für den Laufzeitalgorithmus. Um die allgemeine Verwendung des zuvor erwähnten Vektors zu beschreiben, wird der Vektor als Teil einer Softwareversion für ein Steuersystem eines autonomen Fahrzeugs verwendet, das den gesamten Trainingsdatensatz beschreibt. Der Vektor wird während der Laufzeit in dem Steuersystem des autonomen Fahrzeugs als Teil des Wahrnehmungsmoduls kontinuierlich bewertet.
Bei Entscheidungsblock 635 bestimmt der Prozess 600, ob detektierte Zielobjekte Teil eines Basisdatensatzes, wie etwa des kommentierten Basisdatensatzes 605, sind. Wenn Objekte in dem Datensatz eingeschlossen sind, kann die Bewertung bei Block 630 das Bekanntsein eines erfassten Zielobjekts für den Datensatz widerspiegeln. Wenn die Zielobjekte nicht Teil des Basisdatensatzes sind, kann ein Ereignis-Flag zum Identifizieren eines Zielobjekts oder die Erfassung eines Ereignisses zum Detektieren eines Segments von Zielobjekten bei Block 640 generiert werden. Der Prozess 600 kann das Ausgeben von Ereignis-Flags und der Erfassung eines Ereignisses von Block 640 zu einer Datenspeichereinheit 645 oder Netzwerkressource (z. B. Server, Cloud-Netzwerk) einschließen, welche verwendet werden kann, um einen kommentierten Basisdatensatz 605 zu kommentieren und/oder aktualisieren. Ereignis-Flags und die Erfassung von Ereignissen im Datenspeicher 645 können auch verwendet werden, um eines oder mehrere von Objekten, Objektattributen und Szenarien zu identifizieren, die einzigartig sind.
Die 7A-7B bilden grafische Darstellungen des Bestimmens von Ereignis-Flags gemäß einer oder mehreren Ausführungsformen ab. Zunächst schließt die Szene 700 in Bezug auf 7A das Fahrzeug 705 und die Objekte 710_1-n ein. Gemäß einer Ausführungsform kann eine Steuereinheit des Fahrzeugs 705 konfiguriert sein, um zu bestimmen, wie bekannt die Objekte 710_1-n den Laufzeitoperationen, wie etwa einer Szenenoperation, und dem gelernten Fahrzeugdatensatz sind. Das Bekanntsein von Attributen kann Operationen der Objekte 710_1-n selbst und Operationen des Fahrzeugs 705 einschließen. Beispielsweise kann ein gelernter Fahrzeugdatensatz Attribute einschließen, um Arten von Objekten 710_1-n , wie etwa alles Fahrzeuge, den Fahrzeugtyp und den Folgeabstand zu identifizieren. Während eines Zeitraums, in dem das Fahrzeug in Szene 700 betrieben wird, können ein oder mehrere Sensoren 705 Daten erfassen. Unter Verwendung einer Vektordarstellung des gelernten Datensatzes und von Fahrzeugsensordaten können Daten für einen oder mehrere Abschnitte des Zeitraums identifiziert werden, in dem das Fahrzeug in der Szene 700 betrieben wird. In einer Ausführungsform kann das Fahrzeug 705 ein Ereignis-Flag für den Betrieb des Fahrzeugs 705 generieren und/oder ausgeben, das so identifiziert wird, dass es sich außerhalb des gelernten Fahrzeugdatensatzes befindet.
Gemäß einer Ausführungsform kann ein Ereignis-Flag für das Szenario in 7A auf Grundlage der Objekte 710_1-n und des gelernten Datensatzes generiert werden. Gemäß einer Ausführungsform, wenn eine Vielzahl von Objekten, wie etwa 710₁ , möglicherweise unter Verwendung des gelernten Datensatzes nicht erkannt werden kann. Alternativ kann die Bewertung für das Objekt 710₁ auf Grundlage eines gelernten Datensatzes eine Bewertung oder einen Wert unterhalb eines vorgegebenen Schwellenwerts ergeben. Das Ereignis-Flag kann dazu führen, dass das Fahrzeug 705 ein Ereignis-Flag generiert und mindestens eines von der Detektionszeit und von Objektattributen des Objekts 710₁ meldet. Das Ereignis-Flag kann auch Sensordaten, die mit dem Objekt 710₁ assoziiert sind, für einen Zeitraum bereitstellen, der mit dem Ereignis-Flag assoziiert ist, einschließend Daten vor der Bestimmung des Ereignis-Flags und Daten im Anschluss an die Bestimmung des Ereignis-Flags.
In Bezug auf 7B schließt die Szene 750 das Fahrzeug 705 und das Objekt 760 ein. Gemäß einer Ausführungsform kann eine Steuereinheit des Fahrzeugs 705 konfiguriert sein, um zu bestimmen, wie bekannt das Objekt 760 der Laufzeitoperation, wie etwa einer Szenenoperation, und dem gelernten Fahrzeugdatensatz ist. Das Objekt 760 betrifft Spurmarkierungen, die plötzlich wechseln. Gemäß einer Ausführungsform kann ein Fahrzeug den Spurwechsel detektieren, der gelernte Datensatz kann den Spurwechsel jedoch nicht auf effiziente oder angemessene Weise bearbeiten. Eine Fahrzeugsteuereinheit kann bestimmen, dass ein Segment von detektierten Daten, das als 765 gezeigte Segment, verwendet werden kann, um einen kommentierte Basisdatensatz zu aktualisieren.
Gemäß einer Ausführungsform kann ein Ereignis-Flag für das Szenario in 7B als Reaktion auf die Bewertung eines gelernten Datensatzes in Bezug auf die Bearbeitung der Veränderung eines Musters, wie etwa des Spurwechsels von Segment 765, generiert werden. Gemäß einer Ausführungsform ist der gelernte Datensatz möglicherweise nicht konfiguriert, um die Musterveränderung von detektierten Spurmarkierungen, wie etwa Segment 765, unter Verwendung des gelernten Datensatzes zu bearbeiten oder darauf zu reagieren. Alternativ kann die Bewertung für das Segment 765 auf Grundlage eines gelernten Datensatzes eine Bewertung oder einen Wert unterhalb eines vorgegebenen Schwellenwerts ergeben. Ein Ereignis-Flag kann für das Segment 765 generiert und gemeldet werden und es kann den Zeitraum vor dem Segment und den Zeitraum nach dem Segment von Objekt 760 einschließen. Gemäß einer anderen Ausführungsform schließt das Ereignis-Flag nicht das Melden des gesamten Segments von Objekt 760 ein. Auf diese Weise können das interessierende Segment und die Bewertung des gelernten Datensatzes in einem Ereignis-Flag gemeldet werden.
Während diese Offenbarung unter Bezugnahme auf Ausführungsbeispiele davon näher veranschaulicht und beschrieben wurde, liegt für den Fachmann auf der Hand, dass verschiedene Änderungen an Form und Details vorgenommen werden können, ohne vom Umfang der beanspruchten Ausführungsformen abzuweichen.

Claims

Verfahren zum Beurteilen eines gelernten Fahrzeugdatensatzes eines Fahrerassistenzsystems, wobei das Verfahren Folgendes umfasst: Empfangen von Fahrzeugsensordaten durch eine Steuereinheit, die von mindestens einem Sensor des Fahrzeugs erfasst werden, wobei die Fahrzeugsensordaten von einem Fahrerassistenzsystem eines Fahrzeugs generiert werden; Ausführen einer Szenenerkennungsoperation an den Fahrzeugsensordaten durch die Steuereinheit unter Verwendung eines gelernten Fahrzeugdatensatzes, um Zielobjektattribute der Fahrzeugsensordaten zu identifizieren; Bewerten von Laufzeitattributen der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz durch die Steuereinheit, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen, wobei mit dem Bewerten die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt wird; und Bestimmen eines Ereignis-Flags für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung, ob das Ereignis-Flag mindestens eines von einem Parameter und einer Datenprobe zum Aktualisieren des gelernten Fahrzeugdatensatzes identifiziert, durch eine Steuereinheit.
Verfahren nach Anspruch 1, wobei die Fahrzeugsensordaten mindestens eines von Bild-, Radar- und LiDAR-Daten für eine Detektionszone des Fahrerassistenzsystems des Fahrzeugs einschließen.
Verfahren nach Anspruch 1, wobei durch das Ausführen der Szenenerkennungsoperation an den Fahrzeugsensordaten Zielobjekte in Echtzeit auf Grundlage der Attribute des gelernten Fahrzeugdatensatzes identifiziert werden, wobei der gelernte Fahrzeugdatensatz eine Vielzahl von Objekttypen und Objektattributen bereitstellt.
Verfahren nach Anspruch 1, wobei der gelernte Fahrzeugdatensatz Objekttypen und Objektattribute für einen bekannten kommentierten Datensatz einschließt.
Verfahren nach Anspruch 1, wobei die Vektordarstellung für den kommentierten Datensatz eine räumliche Darstellung für eine Vielzahl von Objekten und Objektattributen von Ground-Truth-Objekten bereitstellt und wobei die Vektordarstellung für den kommentierten Datensatz als eine Referenz zum Vergleichen von Fahrzeugsensordaten verwendet wird.
Verfahren nach Anspruch 1, wobei das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Werts einschließt, um Objekttypen und Objektattribute darzustellen, die in dem gelernten Fahrzeugdatensatz nicht eingeschlossen und unterrepräsentiert sind.
Verfahren nach Anspruch 1, wobei das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Maßes eines bekannten Datensatzes in Bezug auf momentane Fahrzeugdaten einschließt, während man sich in einer Laufzeitumgebung befindet, wobei die Bewertung das Vergleichen von bearbeiteten Ereignissen und detektierten Anomalien einschließen soll.
Verfahren nach Anspruch 1, wobei die Effektivität der Szenenerkennungsoperation auf Grundlage einer Wahrscheinlichkeit dafür bestimmt wird, dass der gelernte Fahrzeugdatensatz Zielobjekte der Fahrzeugsensordaten bearbeiten kann.
Verfahren nach Anspruch 1, wobei das Ereignis-Flag generiert wird, um einen Datenbereich der Fahrzeugsensordaten und des Zielobjekts zu identifizieren.
Verfahren nach Anspruch 1, wobei das Ereignis-Flag eine Fahrzeugbetriebsbedingung darstellt, die so identifiziert wird, dass sie eine starke Korrelation mit Anomalien des gelernten Fahrzeugdatensatzes aufweist.
Fahrzeugsteuereinheit, umfassend: einen Eingang, der konfiguriert ist, um Fahrzeugsensordaten zu empfangen; und eine Steuereinheit, die an den Eingang gekoppelt ist, wobei die Steuereinheit konfiguriert ist, um: Fahrzeugsensordaten zu empfangen, die von mindestens einem Sensor des Fahrzeugs erfasst werden, wobei die Fahrzeugsensordaten von einem Fahrerassistenzsystem eines Fahrzeugs generiert werden; eine Szenenerkennungsoperation an den Fahrzeugsensordaten unter Verwendung eines gelernten Fahrzeugdatensatzes auszuführen, um Zielobjektattribute der Fahrzeugsensordaten zu identifizieren; Laufzeitattribute der Szenenerkennungsoperation gegenüber einer Vektordarstellung für einen kommentierten Datensatz zu bewerten, um die Fähigkeit der Szenenerkennungsoperation zum Wahrnehmen von Zielobjektattributen der Fahrzeugsensordaten unter Verwendung des gelernten Fahrzeugdatensatzes einzuschätzen, wobei mit dem Bewerten die Effektivität der Szenenerkennungsoperation beim Identifizieren von Zielobjektattributen der Fahrzeugsensordaten beurteilt wird; und ein Ereignis-Flag für den gelernten Fahrzeugdatensatz auf Grundlage der Bewertung zu bestimmen, ob das Ereignis-Flag einen Parameter zum Aktualisieren des gelernten Fahrzeugdatensatzes identifiziert.
Fahrzeugsteuereinheit nach Anspruch 11, wobei die Fahrzeugsensordaten mindestens eines von Bild-, Radar- und LiDAR-Daten für eine Detektionszone des Fahrerassistenzsystems des Fahrzeugs einschließen.
Fahrzeugsteuereinheit nach Anspruch 11, wobei durch das Ausführen der Szenenerkennungsoperation an den Fahrzeugsensordaten Zielobjekte in Echtzeit auf Grundlage der Attribute des gelernten Fahrzeugdatensatzes identifiziert werden, wobei der gelernte Fahrzeugdatensatz eine Vielzahl von Objekttypen und Objektattributen bereitstellt.
Fahrzeugsteuereinheit nach Anspruch 11, wobei der gelernte Fahrzeugdatensatz Objekttypen und Objektattribute für einen bekannten kommentierten Datensatz einschließt.
Fahrzeugsteuereinheit nach Anspruch 11, wobei die Vektordarstellung für den kommentierten Datensatz eine räumliche Darstellung für eine Vielzahl von Objekten und Objektattributen von Ground-Truth-Objekten bereitstellt und wobei die Vektordarstellung für den kommentierten Datensatz als eine Referenz zum Vergleichen von Fahrzeugsensordaten verwendet wird.
Fahrzeugsteuereinheit nach Anspruch 11, wobei das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Werts einschließt, um Objekttypen und Objektattribute darzustellen, die in dem gelernten Fahrzeugdatensatz nicht eingeschlossen und unterrepräsentiert sind.
Fahrzeugsteuereinheit nach Anspruch 11, wobei das Bewerten von Laufzeitattributen der Szenenerkennungsoperation das Bestimmen eines Maßes eines bekannten Datensatzes in Bezug auf momentane Fahrzeugdaten einschließt, während man sich in einer Laufzeitumgebung befindet, wobei die Bewertung das Vergleichen von bearbeiteten Ereignissen und detektierten Anomalien einschließen soll.
Fahrzeugsteuereinheit nach Anspruch 11, wobei die Effektivität der Szenenerkennungsoperation auf Grundlage einer Wahrscheinlichkeit dafür bestimmt wird, dass der gelernte Fahrzeugdatensatz Zielobjekte der Fahrzeugsensordaten bearbeiten kann.
Fahrzeugsteuereinheit nach Anspruch 11, wobei das Ereignis-Flag generiert wird, um einen Datenbereich der Fahrzeugsensordaten und des Zielobjekts zu identifizieren.
Fahrzeugsteuereinheit nach Anspruch 11, wobei das Ereignis-Flag eine Fahrzeugbetriebsbedingung darstellt, die so identifiziert wird, dass sie eine starke Korrelation mit Anomalien des gelernten Fahrzeugdatensatzes aufweist.