DE102023101855A1

DE102023101855A1 - Hinzufügen von schlagwörtern zu sensordaten mittels mehrerer modelle und abfrage der sensordaten

Info

Publication number: DE102023101855A1
Application number: DE102023101855.8A
Authority: DE
Inventors: Qiang Xu; Oscar Beijbom; Holger Caesar; Whye Kit Fong; Alex Lang; Varun Bankiti; Sourabh Vora
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2022-03-23
Filing date: 2023-01-25
Publication date: 2023-09-28
Also published as: CN116805408A; GB2617232B; US11488377B1; GB2617232A; GB202300777D0; KR20230138881A; US20230306722A1

Abstract

Bereitgestellt werden Verfahren für benutzerdefinierte Schlagwörter zum Kommentieren von Sensordaten, die ein Empfangen von Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, ein Verarbeiten der Sensordaten unter Verwendung mehrerer maschineller Lernmodelle zum Identifizieren mehrerer Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, ein Filtern der Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen zum Identifizieren einer Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen, ein Repräsentieren von Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, und ein Übertragen der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Endbenutzer-Rechenvorrichtung einschließen können. Außerdem werden Systeme und Computerprogrammprodukte bereitgestellt.

Description

VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht die Priorität der US-amerikanischen Patentanmeldung mit der Nr. 17/656169 , die am 23. März 2022 unter dem Titel „HINZUFÜGEN VON SCHLAGWÖRTERN ZU SENSORDATEN MITTELS MEHRERER MODELLE UND ABFRAGE DER SENSORDATEN“ eingereicht wurde.
HINTERGRUND
Autonome Fahrzeuge verwenden typischerweise Sensordaten, um ihren umliegenden Bereich wahrzunehmen. Das Identifizieren eines Teilsatzes der Sensordaten für eine Kommentierung zum Identifizieren von Merkmalen oder Eigenschaften von Objekten im Bereich kann schwierig und kompliziert sein.
KURZE BESCHREIBUNG DER FIGUREN

1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
2 ist eine Darstellung eines oder mehrerer Systeme eines Fahrzeugs mit einem autonomen System;
3 ist eine Darstellung von Komponenten einer oder mehrerer Einrichtungen und/oder eines oder mehrerer Systeme aus 1 und 2;
4 ist eine Darstellung bestimmter Komponenten eines autonomen Systems;
5 ist ein Blockdiagramm, das ein Beispiel für ein Signalverarbeitungssystem veranschaulicht;
6 ist ein Flussdiagramm, das einen beispielhaften Verarbeitungsablauf von Sensordaten veranschaulicht;
7 ist eine beispielhafte Benutzeroberfläche zur Darstellung beispielhafter Filter;
8 ist eine beispielhafte Benutzeroberfläche zur Darstellung der Visualisierung von Sensordaten für das Filtern; und
9 ist ein Flussdiagramm, das eine beispielhafte Routine darstellt, die von einem oder mehreren Prozessoren umgesetzt wird, um Sensordaten auf Grundlage einer benutzerdefinierten Kategorie zu filtern und Sensordaten einer Sensordaten-Erfassungssitzung, die mit der benutzerdefinierten Kategorie übereinstimmen, zu übertragen.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zu Erklärungszwecken zahlreiche spezifische Details aufgeführt, um ein umfassendes Verständnis der vorliegenden Offenbarung zu ermöglichen. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um zu verhindern, die Aspekte der vorliegenden Offenbarung unnötig unklar zu machen.
Spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen veranschaulicht. Ein Fachmann versteht jedoch, dass die konkrete Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Reihenfolge oder Abfolge der Verarbeitung oder eine Trennung von Prozessen erforderlich ist, sofern dies nicht ausdrücklich beschrieben ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden können, sofern dies nicht ausdrücklich beschrieben ist.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht veranschaulicht, um die Offenbarung nicht unklar zu machen. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn beispielsweise ein Verbindungselement Kommunikation von Signalen, Daten oder Anweisungen (z. B. „Software-Anweisungen“) darstellt, sollte ein Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z. B. einen Bus) repräsentieren kann, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Auch wenn die Bezeichnungen „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen zur Beschreibung verschiedener Elemente verwendet werden, ist nicht beabsichtigt, dass diese Elemente durch diese Ausdrücke eingeschränkt werden. Die Bezeichnungen „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Sowohl beim ersten Kontakt als auch beim zweiten Kontakt handelt es sich um Kontakte, jedoch nicht um denselben Kontakt.
Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient lediglich der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend beabsichtigt. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen und können austauschbar mit „ein/e oder mehrere“ oder „mindestens ein/e“ verwendet werden, sofern der Kontext nicht eindeutig etwas anderes vorgibt. Zudem versteht es sich, dass sich der Ausdruck „und/oder“ wie vorliegend verwendet auf sämtliche mögliche Kombinationen aus einem oder mehreren der zugehörigen aufgeführten Elemente bezieht und diese umfasst. Es versteht sich ferner, dass die Ausdrücke „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, soweit in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Wie hierin verwendet, beziehen sich die Begriffe „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder den Erhalt und/oder die Übertragung und/oder den Transfer und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen repräsentiert werden). Wenn eine Einheit (z. B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) mit einer anderen Einheit in Kommunikation steht, bedeutet dies, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder Informationen an die andere Einheit zu senden (z. B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebunden und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. So kann beispielsweise eine erste Einheit auch dann mit einer zweiten Einheit in Kommunikation stehen, wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen an die zweite Einheit überträgt. Als weiteres Beispiel kann eine erste Einheit mit einer zweiten Einheit in Kommunikation stehen, wenn mindestens eine Zwischeneinheit (z. B. eine dritte Einheit, die sich zwischen der ersten und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen an die zweite Einheit weiterleitet. In einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (z. B. ein Datenpaket und/oder dergleichen) beziehen, das Daten enthält.
Vorliegend soll der Ausdruck „falls“ wahlweise so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „wenn“ „bei“, „in Reaktion auf Bestimmen“, „in Reaktion auf Erkennen“ und/oder dergleichen bedeutet. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] erkannt wird“ wahlweise als „beim Bestimmen“, „in Reaktion auf das Bestimmen“, „beim Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „als Reaktion auf das Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend, in Abhängigkeit vom Kontext, ausgelegt. Vorliegend sollen zudem die Ausdrücke „hat/weist auf“, „haben/aufweisen“, „aufweisend“ oder dergleichen offene Ausdrücke sein. Ferner soll die Formulierung „auf Grundlage von“ bedeuten „zumindest teilweise auf Grundlage von“, sofern nicht explizit etwas anderes angegeben ist.
Es wird nun im Einzelnen Bezug auf Ausführungsformen genommen, zu denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, das die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Allgemeiner Überblick
Bei einigen Aspekten und/oder Ausführungsformen schließen hierin beschriebene Systeme, Verfahren und Computerprogrammprodukte ein Signalverarbeitungssystem zum Verarbeiten von Sensordaten ein und/oder setzen ein solches um. Die Sensordaten können während mehrerer Erfassungssitzungen, die durch Metadaten, die den Sensordaten zugeordnet werden (z. B. Zeit der Datenerfassung, Fahrzeug, Fahrt, Sensor, Fahrzeuggruppe etc.), definiert sind, gesammelt werden. Das Signalverarbeitungssystem empfängt die Sensordaten und verarbeitet die Sensordaten (z. B. nimmt eine Auswertung vor) unter Verwendung mehrerer maschineller Lernmodelle, um zu identifizieren, welche der mehreren Erfassungssitzungen einer bestimmten Erfassungssitzungssammlung (z. B. einer bestimmten Kategorie) entsprechen. Jedes der maschinellen Lernmodelle kann eine oder mehrere Erfassungssitzungen identifizieren, die einer bestimmten Erfassungssitzungssammlung aus mehreren Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, entsprechen. Jedes der mehreren maschinellen Lernmodelle kann ein angepasstes sammlungsspezifisches Modell für maschinelles Lernen sein, das vom Signalverarbeitungssystem für das angepasste Durchsuchen der Sensordaten umgesetzt wird. Das Signalverarbeitungssystem kann die Sensordaten auf Grundlage einer bestimmten Kategorie der Erfassungssitzung filtern und die gefilterten Sensordaten an eine Benutzerrechenvorrichtung übertragen. Beispielsweise kann das Signalverarbeitungssystem die Sensordaten filtern und die gefilterten Sensordaten für eine Kommentierung der gefilterten Sensordaten bereitstellen. Die kommentierten gefilterten Sensordaten können neuronalen Netzen für Computervision bereitgestellt werden. Die neuronalen Netze können unter Verwendung der Kommentare und der Sensordaten trainiert werden (um beispielsweise Objekte innerhalb der Sensordaten zu identifizieren). Beispielsweise können die Daten einen Kommentar einschließen, der ein Stoppschild, ein Fahrrad, ein Fahrzeug, ein Verkehrszeichen zur Geschwindigkeitsbegrenzung etc. innerhalb eines Bildes identifiziert. Die Kommentare können von Dritten vorgenommen werden und sind möglicherweise nicht zuverlässig oder korrekt. Ferner sind die Kommentare und/oder die Sensordaten nicht notwendigerweise für ein bestimmtes neuronales Netz relevant. Das Identifizieren besonders relevanter Kommentare kann kosten- und zeitaufwendig sein, so dass möglicherweise ungefilterte Sensordaten für eine Kommentierung bereitgestellt werden, und die ungefilterten kommentierten Sensordaten können verwendet werden, um das neuronale Netz zu trainieren. Ein solches Verfahren für das Trainieren von neuronalen Netzen kann ineffizient und zeitaufwendig sein und dazu führen, dass neuronale Netze nur unzureichend trainiert werden.
Um ein effizienteres Verfahren zum Trainieren neuronaler Netze für eine Computervision bereitzustellen, kann das Signalverarbeitungssystem Sensordaten automatisch aufnehmen und die aufgenommenen Sensordaten im Hinblick auf mehrere Kategorien von Erfassungssitzungen auswerten. Die Sensordaten können während mehrerer Erfassungssitzungen, die durch Metadaten, die den Sensordaten zugeordnet werden (z. B. Zeit der Datenerfassung, Fahrzeug, Fahrt, Sensor, Fahrzeuggruppe oder Fuhrpark), definiert sind, gesammelt werden. Das Signalverarbeitungssystem wertet die Sensordaten aus, um Kategorien für jede der mehreren Erfassungssitzungen zu identifizieren. Das Signalverarbeitungssystem kann die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle auswerten, um zu identifizieren, welche der mehreren Erfassungssitzungen einer bestimmten Kategorie (z. B. einer bestimmten Erfassungssitzungssammlung) entsprechen. Jedes der maschinellen Lernmodelle kann eine oder mehrere Erfassungssitzungen identifizieren, die einer bestimmten Kategorie entsprechen, die in den Sensordaten repräsentiert ist (z. B. eine dem maschinellen Lernmodell zugeordnete Kategorie). Beispielsweise kann jedes der mehreren maschinellen Lernmodelle ein angepasstes kategoriespezifisches maschinelles Lernmodell sein. Das Signalverarbeitungssystem kann eine Auswahl einer bestimmten Kategorie von Erfassungssitzungen empfangen. Beispielsweise kann das Signalverarbeitungssystem die mehreren Kategorien von Erfassungssitzungen einer Benutzerrechenvorrichtung bereitstellen und eine Auswahl der bestimmten Kategorie von Erfassungssitzungen von der Benutzerrechenvorrichtung empfangen. Das Signalverarbeitungssystem kann die Sensordaten auf Grundlage der benutzerdefinierten Kategorie von Erfassungssitzungen filtern. Durch das Filtern der Sensordaten kann das Signalverarbeitungssystem eine bestimmte Sammlung von Erfassungssitzungen identifizieren. Das Signalverarbeitungssystem kann die gefilterten Sensordaten an eine Benutzerrechenvorrichtung übertragen. Als nicht einschränkendes Beispiel kann das Signalverarbeitungssystem die gefilterten Sensordaten für eine Kommentierung auf Grundlage einer Bestimmung, dass die gefilterten Sensordaten eine bestimmte Kategorie von Erfassungssitzungen erfüllen, an eine Rechenvorrichtung weiterleiten.
Mittels der Umsetzung der hierin beschriebenen Systeme, Verfahren und Computerprogrammprodukte kann ein System größere Mengen an Sensoren (oder alle) aus einem Satz empfangener Sensordaten überprüfen. Beispielsweise kann das System in der Lage sein, alle empfangenen Sensordaten zu überprüfen und die Sensordaten zu filtern, um einen Teilsatz der Sensordaten für eine Kommentierung zu identifizieren. Durch das Filtern der Sensordaten, die zur Kommentierung bereitgestellt werden, kann das System die Sensordaten effizienter kommentieren und neuronale Netze unter Verwendung der kommentierten Sensordaten genauer und effizienter trainieren. Ferner kann das System Sensordaten identifizieren, die eine bestimmte Kategorie von Erfassungssitzungen erfüllen. Beispielsweise können Sensordaten die bestimmte Kategorie der Erfassungssitzung erfüllen, wenn die Sensordaten eine bestimmte Objektklasse (z. B. eine Objektklasse, die in weniger als 10 %, 25 %, 50 % etc. der Sensordaten auftritt), ein bestimmtes Bild oder Szenarium (z. B. ein Bild oder Szenarium, das vom neuronalen Netz zuvor falsch klassifiziert wurde, oder ein Bild oder Szenarium, das während der Qualitätssicherung markiert wurde), bestimmte Umweltcharakteristiken (z. B. Sensordaten, die zu einer bestimmten Tageszeit, beispielsweise nach Sonnenuntergang, erzeugt wurden), bestimmte Fahrzeugmanöver (z. B. Sensordaten, die Spurwechsel identifizieren), bestimmte Fußgängermanöver (z. B. Sensordaten, die einen Fußgänger auf einem Fußgängerüberweg identifizieren) etc. einschließen. Die gefilterten Sensordaten können genutzt werden, um das neuronale Netz darauf zu trainieren, Objekte innerhalb eines spezifischen Teilsatzes von Sensordaten, die der benutzerdefinierten Kategorie zugeordnet sind, zu identifizieren. Daher kann das System den Kommentierungsablauf und den Trainingsablauf verbessern, indem es gezielte Kommentierungs- und Trainingsabläufe für neuronale Netze ermöglicht. Ein solcher gezielter Kommentierungs- und Trainingsablauf kann die Qualität und Effizienz des Kommentierungs- und Trainingsablaufs von neuronalen Netzen verbessern. Zusätzlich kann ein solcher gezielter Kommentierungs- und Trainingsablauf die mit dem Trainingsablauf verbundenen Kosten reduzieren. Beispielsweise kann das System in der Lage sein, neuronale Netze schneller und genauer zu trainieren, indem die Sensordaten gefiltert werden, um spezifische Sensordaten für das Training neuronaler Netze zu identifizieren.
Die trainierten neuronalen Netze können verwendet werden, um Objekte innerhalb von Sensordaten zu identifizieren. In manchen Fällen können die trainierten neuronalen Netze innerhalb eines autonomen Systems umgesetzt werden, um Objekte innerhalb einer Fahrzeugumgebung auf Grundlage von empfangenen Sensordaten zu identifizieren. In 1 ist eine beispielhafte Umgebung 100 dargestellt, in der sowohl Fahrzeuge mit autonomen Systemen als auch Fahrzeuge ohne solche Systeme betrieben werden. Wie veranschaulicht wird, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, ein Netzwerk 112, ein entfernt angeordnetes AV- (autonomes Fahrzeug) System 114, ein Fuhrparkverwaltungssystem 116 und ein V2I-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, das Netzwerk 112, das AV-System 114, das Fuhrparkverwaltungssystem 116 und das V2I-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z. B. stellen diese eine Verbindung zur Kommunikation her und/oder dergleichen). In einigen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 verbunden.
Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und insgesamt als Fahrzeuge 102 bezeichnet) enthalten mindestens eine Vorrichtung, die für den Transport von Gütern und/oder Personen ausgelegt ist. In einigen Ausführungsformen sind die Fahrzeuge 102 so ausgelegt, dass sie über das Netzwerk 112 mit der V2I-Vorrichtung 110, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 kommunizieren können. In einigen Ausführungsformen beinhalten die Fahrzeuge 102 Autos, Busse, Lastkraftwagen, Züge und/oder dergleichen. In einigen Ausführungsformen sind die Fahrzeuge 102 die gleichen oder ähnlich wie die hierin beschriebenen Fahrzeuge 200 (siehe 2). In einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 einem autonomen Fuhrparkverwalter zugeordnet. In einigen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet), wie vorliegend beschrieben. In einigen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z. B. ein autonomes System, das das gleiche oder ähnlich ist wie das autonome System 202).
Zu den Objekten 104a-104n (einzeln als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) zählen beispielsweise mindestens ein Fahrzeug, mindestens ein Fußgänger, mindestens ein Radfahrer, mindestens ein Gebilde (z. B. ein Gebäude, ein Schild, ein Hydrant usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z. B. für eine bestimmte Zeit an einem festen Ort) oder mobil (z. B. mit einem Geschwindigkeitsvektor und mindestens einer Trajektorie). In einigen Ausführungsformen sind die Objekte 104 entsprechenden Standorten in dem Bereich 108 zugeordnet.
Die Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils einer Abfolge von Aktionen (auch als Trajektorie bezeichnet) zugeordnet (z. B. geben sie diese vor), die Zustände miteinander verbinden, entlang derer ein AV navigieren kann. Jede Route 106 startet an einem Anfangszustand (z. B. einem Zustand, der einem ersten raumzeitlichen Standort, einer ersten Geschwindigkeit und/oder dergleichen entspricht) und weist einen Endzielzustand (z. B. einen Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder ein Zielgebiet (z. B. einen Teilraum akzeptabler Zustände (z. B. Endzustände)) auf. In manchen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder das Gebiet beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In manchen Ausführungsformen beinhalten die Routen 106 mehrere akzeptable Zustandssequenzen (z. B. mehrere raumzeitliche Standortsequenzen), wobei die mehreren Zustandssequenzen mehreren Trajektorien zugeordnet sind (z. B. definieren). In einem Beispiel beinhalten die Routen 106 nur Handlungen hoher Ebene oder Standorte mit ungenauem Zustand, wie etwa eine Reihe von verbundenen Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können die Routen 106 genauere Handlungen oder Zustände beinhalten, wie etwa zum Beispiel spezifische Zielspuren oder genaue Standorte innerhalb der Spurbereiche und eine angezielte Geschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 mehrere genaue Zustandssequenzen entlang der mindestens einen Handlungssequenz hoher Ebene mit einem beschränkten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination erfolgreicher Iterationen von Zustandssequenzen mit beschränktem Horizont kumulativ mehreren Trajektorien entsprechen, die kollektiv die Route hoher Ebene bilden, um am Endzielzustand oder -gebiet zu enden.
Der Bereich 108 beinhaltet einen physischen Bereich (z. B. eine geografische Region), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet der Bereich 108 mindestens einen Staat (z. B. ein Land, eine Provinz, einen einzelnen Staat einer Vielzahl von Staaten, die zu einem Land gehören, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In einigen Ausführungsformen beinhaltet der Bereich 108 mindestens eine benannte Durchgangsstraße (im Folgenden als „Straße“ bezeichnet), wie z.B. eine Autobahn, eine Fernstraße, eine Parkstraße, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet der Bereich 108 in einigen Beispielen mindestens einen unbenannten Verkehrsweg wie eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines freien und/oder unbebauten Grundstücks, einen Feldweg usw. In einigen Ausführungsformen beinhaltet eine Straße mindestens eine Fahrspur (z. B. einen Teil der Straße, der durch Fahrzeuge 102 befahren werden kann). In einem Beispiel umfasst eine Straße mindestens einen Fahrstreifen, der mindestens einer Fahrstreifenmarkierung zugeordnet ist (z. B. anhand dieser Markierung identifiziert wird).
Die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110 (manchmal auch als Fahrzeug-zu-Infrastruktur- (V2X-) Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 in Kommunikation steht. In einigen Ausführungsformen ist die V2I-Einrichtung 110 so ausgelegt, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 in Kommunikation steht. In einigen Ausführungsformen beinhaltet die V2I-Vorrichtung 110 eine Hochfrequenzkennungs- (Radio Frequency Identification, RFID-) Vorrichtung, Verkehrsschilder, Kameras (z. B. zweidimensionale (2D-) und/oder dreidimensionale (3D-) Kameras), Fahrspurmarkierungen, Straßenlaternen, Parkuhren usw. In einigen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist die V2I-Vorrichtung 110 in einigen Ausführungsformen dazu ausgelegt, über das V2I-System 118 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 zu kommunizieren. In einigen Ausführungsformen ist die V2I-Vorrichtung 110 so ausgelegt, dass sie über das Netzwerk 112 mit dem V2I-System 118 kommuniziert.
Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Mobilfunknetz (z. B. ein LTE-(Long Term Evolution) Netz, ein 3G- (dritte Generation) Netz, ein 4G- (vierte Generation) Netz, ein 5G- (fünfte Generation) Netz, ein CDMA- (code division multiple access, Codemultiplex-Vielfachzugriff-) Netz usw.), ein öffentliches Mobilfunknetz (PLMN, public land mobile network), ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetz (wide area network, WAN), ein Stadtnetz (metropolitan area network, MAN), ein Telefonnetz (z. B. das öffentliche Telefonnetz (PSTN, public switched telephone network), ein privates Netzwerk, ein Ad-hoc-Netz, ein Intranet, das Internet, ein glasfaserbasiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination einiger oder aller dieser Netzwerke und/oder dergleichen.
Das entfernt angeordnete AV-System 114 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V2I-Einrichtung 110, dem Netzwerk 112, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 in Kommunikation steht. In einem Beispiel beinhaltet das entfernt angeordnete AV-System 114 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 zusammen mit dem Fuhrparkverwaltungssystem 116 angeordnet. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 an der Installation einiger oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines AV-Computers, von einem AV-Computer implementierter Software und/oder dergleichen. In einigen Ausführungsformen wartet (z. B. aktualisiert und/oder ersetzt) das entfernt angeordnete AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
Das Fuhrparkverwaltungssystem 116 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie sich in Kommunikation mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem V2I-Infrastruktursystem 118 befindet. In einem Beispiel beinhaltet das Fuhrparkverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. Bei einigen Ausführungsformen ist das Fuhrparkverwaltungssystem 116 einem Fahrgemeinschaftsunternehmen (z. B. einer Organisation, die den Betrieb mehrerer Fahrzeuge (z. B. Fahrzeuge, die autonome Systeme umfassen, und/oder Fahrzeuge, die keine autonomen Systeme umfassen) steuert und/oder dergleichen) zugeordnet.
In einigen Ausführungsformen beinhaltet das V2I-System 118 mindestens eine Einrichtung, die so ausgelegt ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V2I-Einrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 in Kommunikation steht. In einigen Beispielen ist das V2I-System 118 dazu ausgelegt, über eine andere Verbindung als das Netzwerk 112 mit der V2I-Vorrichtung 110 in Kommunikation zu stehen. In einigen Ausführungsformen beinhaltet das V2I-System 118 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In einigen Ausführungsformen ist das V2I-System 118 einer Stadtverwaltung oder einer privaten Institution (z. B. einer privaten Institution, die die V2I-Vorrichtung 110 verwaltet und/oder dergleichen) zugeordnet.
Die Anzahl und die Anordnung der in 1 veranschaulichten Elemente sind als ein Beispiel bereitgestellt. Es können zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten vorhanden sein. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens ein anderes Element von 1 durchgeführt beschrieben werden. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 durchgeführt beschrieben werden.
Gemäß 2 beinhaltet das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In einigen Ausführungsformen ist das Fahrzeug 200 gleich oder ähnlich wie das Fahrzeug 102 (siehe 1). In einigen Ausführungsformen hat das Fahrzeug 102 autonome Fähigkeiten (z. B. implementiert es mindestens eine Funktion, ein Merkmal, eine Vorrichtung und/oder dergleichen, die es ermöglichen, dass das Fahrzeug 200 teilweise oder vollständig ohne menschliches Eingreifen betrieben werden kann, darunter, ohne Einschränkung, vollständig autonome Fahrzeuge (z. B. Fahrzeuge, die auf menschliches Eingreifen verzichten), hochautonome Fahrzeuge (z. B. Fahrzeuge, die in bestimmten Situationen auf menschliches Eingreifen verzichten) und/oder dergleichen). Eine ausführliche Beschreibung von vollständig autonomen Fahrzeugen und hochgradig autonomen Fahrzeugen findet sich in der Norm J3016 der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen), die hier in ihrer Gesamtheit durch Bezugnahme aufgenommen ist. Bei einigen Ausführungsformen ist das Fahrzeug 200 einem autonomen Fuhrparkverwalter und/oder einem Fahrgemeinschaftsunternehmen zugeordnet.
Das autonome System 202 beinhaltet eine Sensorsuite, die eine oder mehrere Vorrichtungen wie etwa Kameras 202a, LiDAR-Sensoren 202b, Radar-Sensoren 202c und Mikrofone 202d beinhaltet. In einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z. B. Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (siehe unten), Odometriesensoren, die Daten im Zusammenhang mit einer Anzeige einer zurückgelegten Strecke des Fahrzeugs 200 erzeugen, und/oder dergleichen). In einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren Vorrichtungen, die im autonomen System 202 enthalten sind, um Daten im Zusammenhang mit der Umgebung 100 wie vorliegend beschrieben zu erzeugen. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere vorliegend beschriebene Systeme verwendet werden, um die Umgebung (z. B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In einigen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202e, einen AV- (autonomous vehicle, autonomes Fahrzeug) Computer 202f und ein Drive-by-Wire- (DBW-) System 202h.
Die Kameras 202a beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z. B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Kameras 202a beinhalten mindestens eine Kamera (z. B. eine Digitalkamera mit einem Lichtsensor wie beispielsweise einer ladungsgekoppelten Vorrichtung (charge-coupled device, CCD), eine Wärmebildkamera, eine Infrarot- (IR-) Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder mit physischen Objekten (z. B. Autos, Busse, Bordsteine, Menschen und/oder dergleichen) aufzunehmen. In einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In einigen Beispielen erzeugt die Kamera 202a Kameradaten, die einem Bild zugeordnete Bilddaten enthalten. In diesem Beispiel können die Bilddaten mindestens einen dem Bild entsprechenden Parameter (z. B. Bildeigenschaften wie Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) angeben. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z. B. RAW, JPEG, PNG und/oder dergleichen). In einigen Ausführungsformen beinhaltet die Kamera 202a eine Vielzahl unabhängiger Kameras, die an einem Fahrzeug ausgelegt (z. B. positioniert) sind, um Bilder zum Zweck der Stereopsis (räumliches Sehen) aufzunehmen. In einigen Beispielen beinhaltet die Kamera 202a eine Vielzahl von Kameras, die Bilddaten erzeugen und die Bilddaten an den AV-Computer 202f und/oder ein Fuhrparkverwaltungssystem (z. B. ein Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnlich ist) übertragen. In einem solchen Beispiel bestimmt der AV-Computer 202f eine Tiefe eines oder mehrerer Objekte in einem Sichtfeld von mindestens zwei Kameras der Vielzahl von Kameras auf Grundlage der Bilddaten von den mindestens zwei Kameras. In einigen Ausführungsformen sind die Kameras 202a so ausgelegt, dass sie Bilder von Objekten innerhalb einer Entfernung von den Kameras 202a aufnehmen (z. B. bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen). Dementsprechend beinhalten die Kameras 202a Merkmale wie etwa Sensoren und Objektive, die zum Wahrnehmen von Objekten optimiert sind, die sich in einem oder mehreren Abständen zu den Kameras 202a befinden.
In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder aufzunehmen, die einer oder mehreren Ampeln, einem oder mehreren Straßenschildern und/oder anderen physischen Objekten zugeordnet sind, die visuelle Navigationsinformationen bereitstellen. In einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten im Zusammenhang mit einem oder mehreren Bildern. In einigen Beispielen erzeugt die Kamera 202a TLD-Daten im Zusammenhang mit einem oder mehreren Bildern, die ein Format (z. B. RAW, JPEG, PNG und/oder dergleichen) enthalten. In einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen vorliegend beschriebenen Systemen, die Kameras enthalten, dadurch, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z. B. ein Weitwinkelobjektiv, ein Fischaugenobjektiv, ein Objektiv mit einem Betrachtungswinkel von etwa 120 Grad oder mehr und/oder dergleichen), um Bilder über möglichst viele physische Objekte zu erzeugen.
Die LiDAR- (laser detection and ranging, Lichtabstandsmessung) Sensoren 202b beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z. B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die LiDAR-Sensoren 202b beinhalten ein System, das dazu ausgelegt ist, Licht von einem Lichtemitter (z. B. einem Lasersender) zu übertragen. Durch die LiDAR-Sensoren 202b emittiertes Licht beinhaltet Licht (z. B. Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. In einigen Ausführungsformen trifft von den LiDAR-Sensoren 202b emittiertes Licht während des Betriebs auf ein physisches Objekt (z. B. ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b zurückreflektiert. In einigen Ausführungsformen dringt das durch die LiDAR-Sensoren 202b emittierte Licht nicht in die physischen Objekte ein, auf die das Licht trifft. Die LiDAR-Sensoren 202b beinhalten zudem mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. Bei einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das den LiDAR-Sensoren 202b zugeordnet ist, ein Bild (z. B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte darstellt. In einigen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das dem LiDAR-Sensor 202b zugeordnet ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
Die Radar- (radio detection and ranging, Funkabstandsmessung) Sensoren 202c beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z. B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Radarsensoren 202c beinhalten ein System, das so ausgelegt ist, dass es Funkwellen (entweder gepulst oder kontinuierlich) überträgt. Die durch die Radarsensoren 202c übertragenen Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In einigen Ausführungsformen treffen während des Betriebs Funkwellen, die durch die Radarsensoren 202c übertragen werden, auf ein physisches Objekt und werden zu den Radarsensoren 202c zurückreflektiert. In einigen Ausführungsformen werden die von den Radarsensoren 202c gesendeten Funkwellen von einigen Objekten nicht reflektiert. In einigen Ausführungsformen erzeugt mindestens ein den Radarsensoren 202c zugeordnetes Datenverarbeitungssystem Signale, die die in einem Sichtfeld der Radarsensoren 202c enthaltenen Objekte darstellen. Beispielsweise erzeugt das mindestens eine dem Radarsensor 202c zugeordnete Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einigen Beispielen wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Radarsensoren 202c zu bestimmen.
Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z. B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z. B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die den Audiosignalen zugeordnet sind (z. B. diese repräsentieren). In einigen Beispielen beinhalten die Mikrofone 202d Wandlervorrichtungen und/oder ähnliche Vorrichtungen. In einigen Ausführungsformen können ein oder mehrere vorliegend beschriebene Systeme die von den Mikrofonen 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zum Fahrzeug 200 (z. B. eine Entfernung und/oder dergleichen) auf Grundlage der mit den Daten verbundenen Audiosignale bestimmen.
Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, dem AV-Computer 202f, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnlich ist. In einigen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug- (V2V-) Kommunikationsvorrichtung (z. B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
Der AV-Computer 202f beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet der AV-Computer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z. B. ein Mobiltelefon, ein Tablet und/oder dergleichen), einen Server (z. B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In einigen Ausführungsformen gleicht oder ähnelt der AV-Computer 202f dem vorliegend beschriebenen AV-Computer 400. Zusätzlich oder alternativ ist in einigen Ausführungsformen der AV-Computer 202f so ausgelegt, dass er mit einem AV-System (z. B. einem AV-System, das dem entfernt angeordneten AV-System 114 aus 1 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z. B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V2I-Einrichtung (z. B. einer V2I-Einrichtung, die der V2I-Einrichtung 110 aus 1 gleicht oder ähnelt), und/oder einem V2I-System (z. B. einem V2I-System, das dem V2I-System 118 aus 1 gleicht oder ähnelt) in Kommunikation steht.
Die Sicherheitssteuereinheit 202g beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet die Sicherheitssteuereinheit 202g eine oder mehrere Steuerungen (elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. In einigen Ausführungsformen ist die Sicherheitssteuereinheit 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z. B. überschreiben), die durch den AV-Computer 202f erzeugt und/oder übertragen werden.
Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit der Kommunikationsvorrichtung 202e und/oder dem AV-Computer 202f in Kommunikation steht. In einigen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuereinheiten (z. B. elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so ausgelegt sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Einrichtungen des Fahrzeugs 200 (z. B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinheiten des DBW-Systems 202h so ausgelegt, dass sie Steuersignale erzeugen und/oder übertragen, um mindestens eine andere Vorrichtung (z. B. einen Blinker, Scheinwerfer, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu betreiben.
Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit dem DBW-System 202h zu befinden. In einigen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In manchen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h und das Antriebsstrangsteuersystem 204 bewirkt, dass das Fahrzeug 200 anfängt, sich vorwärts zu bewegen, aufhört, sich vorwärts zu bewegen, anfängt, sich rückwärts bewegen, aufhört, sich rückwärts zu bewegen, in eine Richtung beschleunigt, in eine Richtung abbremst, nach links abbiegt, nach rechts abbiegt und/oder dergleichen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z. B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie ein oder mehrere Räder des Fahrzeugs 200 dreht. In einigen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen veranlasst das Lenkungssteuersystem 206 die beiden vorderen Räder und/oder die beiden hinteren Räder des Fahrzeugs 200, sich nach links oder rechts zu drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt.
Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In einigen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuereinheit und/oder einen Aktuator, die/der so ausgelegt ist, dass er einen oder mehrere Bremssättel, die einem oder mehreren Rädern des Fahrzeugs 200 zugeordnet sind, veranlasst, sich an einem entsprechenden Rotor des Fahrzeugs 200 zu schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in einigen Beispielen ein automatisches Notbrems- (automatic emergency braking, AEB) System, ein regeneratives Bremssystem und/oder dergleichen.
In einigen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen (nicht explizit dargestellten) Plattformsensor, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. In einigen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie einen GPS- (Global Positioning System) Empfänger, eine Trägheitsmesseinheit (inertial measurement unit, IMU), einen Raddrehzahlsensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
3 veranschaulicht eine schematische Darstellung einer Vorrichtung 300. Wie dargestellt, beinhaltet die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In einigen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z. B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102) und/oder einer oder mehreren Vorrichtungen des Netzwerks 112 (z. B. einer oder mehreren Vorrichtungen eines Systems des Netzwerks 112). In einigen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 (z. B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z. B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314.
Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In manchen Ausführungsformen wird der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. In manchen Beispielen beinhaltet der Prozessor 304 einen Prozessor (z. B. eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die dahingehend programmiert werden kann, mindestens eine Funktion durchzuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speicherungsvorrichtung (z. B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
Die Speicherkomponente 308 speichert Daten und/oder Software bezüglich des Betriebs und der Verwendung der Vorrichtung 300. In manchen Beispielen beinhaltet die Speicherungskomponente 308 eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, ROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
Die Eingabeschnittstelle 310 beinhaltet eine Komponente, die es der Vorrichtung 300 ermöglicht, Informationen zu empfangen, z. B. über Benutzereingaben (z. B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingangsschnittstelle 310 in manchen Ausführungsformen einen Sensor, der Informationen erfasst (z. B. einen Empfänger eines globalen Positionierungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktor und/oder dergleichen). Die Ausgangsschnittstelle 312 beinhaltet eine Komponente, die Ausgangsinformationen von der Vorrichtung 300 bereitstellt (z. B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
In einigen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine Sendeempfänger-ähnliche Komponente (z. B. einen Sendeempfänger, einen separaten Empfänger und Sender und/oder dergleichen), die es der Einrichtung 300 ermöglicht, mit anderen Einrichtungen über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen zu kommunizieren. In einigen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In einigen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz- (radio frequency, RF-) Schnittstelle, eine USB- (Universal Serial Bus) Schnittstelle, eine Wi-Fi^®-Schnittstelle, eine Zellularnetzwerkschnittstelle und/oder dergleichen.
In einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere der vorliegend beschriebenen Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 305 und/oder die Speicherkomponente 308. Ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) ist vorliegend als nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung beinhaltet Speicherplatz, der sich in einer einzigen physischen Speichervorrichtung befindet, oder Speicherplatz, der über mehrere physische Speichervorrichtungen verteilt ist.
In einigen Ausführungsformen werden Softwareanweisungen von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherkomponente 308 eingelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherkomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere vorliegend beschriebene Prozesse durchführt. Zusätzlich oder alternativ wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere hierin beschriebene Prozesse durchzuführen. Somit sind hierin beschriebene Ausführungsformen nicht auf irgendeine spezifische Kombination von Hardwareschaltungsanordnung und Software beschränkt, insofern nicht anderweitig ausführlich dargelegt.
Der Speicher 306 und/oder die Speicherkomponente 308 beinhalten einen Datenspeicher oder mindestens eine Datenstruktur (z. B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen aus dem Datenspeicher oder der mindestens einen Datenstruktur im Speicher 306 oder der Speicherkomponente 308 zu empfangen, darin zu speichern, Informationen an diese zu übermitteln oder in diesen gespeicherte Informationen zu suchen. In einigen Beispielen beinhalten die Informationen Netzwerkdaten, Eingabedaten, Ausgabedaten oder eine beliebige Kombination aus diesen.
In einigen Ausführungsformen ist die Vorrichtung 300 so ausgelegt, dass sie Softwareanweisungen ausführt, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Vorliegend bezieht sich die Bezeichnung „Modul“ auf mindestens eine im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherte Anweisung, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) die Vorrichtung 300 (z. B. mindestens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. In einigen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die Anzahl und Anordnung der in 3 dargestellten Komponenten ist lediglich beispielhaft. In einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als die in 3 veranschaulichten beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
4 veranschaulicht ein beispielhaftes Blockschaubild eines AV-Computers 400 (mitunter auch als „AV-Stapel“ (AV stack) bezeichnet). Wie veranschaulicht ist, beinhaltet der AV-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410. In einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z. B. dem AV-Computer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen (z. B. einem oder mehreren Systemen, die gleich oder ähnlich sind wie der AV-Computer 400 und/oder dergleichen) enthalten. In einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten, die sich in einem Fahrzeug und/oder in mindestens einem entfernt angeordneten System wie vorliegend beschrieben befinden. In einigen Ausführungsformen werden beliebige und/oder alle der im AV-Computer 400 enthaltenen Systeme in Software (z. B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z. B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es versteht sich zudem, dass in einigen Ausführungsformen der AV-Computer 400 so ausgelegt ist, dass er mit einem entfernt angeordneten System kommuniziert (z. B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt, einem Fuhrparkverwaltungssystem 116, das dem Fuhrparkverwaltungssystem 116 gleicht oder ähnelt, einem V2I-System, das dem V2I-System 118 gleicht oder ähnelt, und/oder dergleichen).
In einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten im Zusammenhang mit mindestens einem physischen Objekt (z. B. Daten, die vom Wahrnehmungssystem 402 zur Erkennung des mindestens einen physischen Objekts verwendet werden) in einer Umgebung und klassifiziert das mindestens eine physische Objekt. In einigen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die von mindestens einer Kamera (z. B. den Kameras 202a) aufgenommen wurden, wobei das Bild einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera zugeordnet ist (z. B. diese darstellt). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt auf Grundlage einer oder mehrerer Gruppierungen physischer Objekte (z. B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). Bei einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten im Zusammenhang mit der Klassifizierung der physischen Objekte an das Planungssystem 404 basierend auf der Klassifizierung der physischen Objekte durch das Wahrnehmungssystem 402.
In einigen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Zielort verbunden sind, und erzeugt Daten, die mit mindestens einer Route (z. B. den Routen 106) verbunden sind, entlang derer ein Fahrzeug (z. B. die Fahrzeuge 102) zu einem Zielort fahren kann. In einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (z. B. Daten, die mit der vorstehend beschriebenen Klassifizierung physischer Objekte zusammenhängen), und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. In einigen Ausführungsformen empfängt das Planungssystem 404 Daten im Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (z. B. der Fahrzeuge 102) vom Lokalisierungssystem 406, und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
In einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten, die einem Standort eines Fahrzeugs (z. B. der Fahrzeuge 102) in einem Bereich zugeordnet sind (z. B. diesen darstellen). In einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten, die mindestens einer Punktwolke, die durch mindestens einen LiDAR-Sensor (z. B. die LiDAR-Sensoren 202b) erzeugt wurde, zugeordnet sind. In bestimmten Beispielen empfängt das Lokalisierungssystem 406 Daten im Zusammenhang mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren, und das Lokalisierungssystem 406 erzeugt eine kombinierte Punktwolke auf Grundlage jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D-) und/oder einer dreidimensionalen (3D-) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das System 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In einigen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In einigen Ausführungsformen beinhalten Karten, ohne jedoch hierauf eingeschränkt zu sein, hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (z. B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für den Auto- und Radverkehr, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -orte oder Kombinationen davon), sowie Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einigen Ausführungsformen wird die Karte in Echtzeit auf Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
In einem anderen Beispiel empfängt das Lokalisierungssystem 406 GNSS- (Global Navigation Satellite System, globales Navigationssatellitensystem) Daten, die von einem GPS-(Global Positioning System, globales Positionsbestimmungssystem) Empfänger erzeugt werden. In einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten im Zusammenhang mit dem Standort des Fahrzeugs in dem Bereich, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich auf Grundlage von dem Breitengrad und dem Längengrad des Fahrzeugs. In einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die der Position des Fahrzeugs zugeordnet sind. In einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die der Position des Fahrzeugs zugeordnet sind, basierend auf der Bestimmung der Position des Fahrzeugs durch das Lokalisierungssystem 406. In einem solchen Beispiel beinhalten die Daten, die der Position des Fahrzeugs zugeordnet sind, Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs zugeordnet sind.
In einigen Ausführungsformen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In einigen Beispielen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrangsteuersystem (z. B. DBW-System 202h, Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenksteuersystem (z. B. das Lenksteuersystem 206) und/oder ein Bremssystem (z. B. das Bremssystem 208) arbeiten. In einem Beispiel, bei dem eine Trajektorie eine Linksabbiegung beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um zu bewirken, dass das Lenkungssteuersystem 206 einen Lenkwinkel des Fahrzeugs 200 anpasst, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Einrichtungen (z. B. Scheinwerfer, Blinker, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, ihren Zustand zu ändern.
In einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z. B. mindestens ein mehrschichtiges Perzeptron (multilayer perceptron, MLP), mindestens ein neuronales Faltungsnetz (convolutional neural network, CNN), mindestens ein rekurrentes neuronales Netz (RNN), mindestens einen Autoencoder, mindestens einen Transformator und/oder dergleichen). In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell allein oder in Kombination mit einem oder mehreren der oben angemerkten Systeme. In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z. B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte, die sich in einer Umgebung befinden, und/oder dergleichen).
In der Datenbank 410 werden Daten gespeichert, die an das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 übertragen, von diesen empfangen und/oder aktualisiert werden. In einigen Beispielen beinhaltet die Datenbank 410 eine Speicherkomponente (z. B. eine Speicherkomponente, die der Speicherkomponente 308 aus 3 gleicht oder ähnelt), die Daten und/oder Software im Zusammenhang mit dem Betrieb speichert und mindestens ein System des AV-Computers 400 verwendet. In einigen Ausführungsformen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten mindestens eines Bereichs. In einigen Beispielen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Bezirks, eines Bundesstaates, eines Staates (z. B. eines Landes) und/oder dergleichen. In einem solchen Beispiel kann ein Fahrzeug (z. B. ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einer oder mehrerer befahrbarer Regionen (z. B. einspurige Straßen, mehrspurige Straßen, Autobahnen, Nebenstraßen, Geländepfade und/oder dergleichen) fahren und mindestens einen LiDAR-Sensor (z. B. einen LiDAR-Sensor, der den LiDAR-Sensoren 202b gleicht oder ähnelt) veranlassen, Daten im Zusammenhang mit einem Bild zu erzeugen, das die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthaltenen Objekte darstellt.
In einigen Ausführungsformen kann die Datenbank 410 auf einer Vielzahl von Vorrichtungen implementiert werden. In einigen Beispielen ist die Datenbank 410 in einem Fahrzeug (z. B. einem Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200), einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114), einem Fuhrparkverwaltungssystem (z. B. einem Fuhrparkverwaltungssystem, das das gleiche oder ähnlich ist wie das Fuhrparkverwaltungssystem 116 von 1), einem V2I-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V2I-System 118 von 1) und/oder dergleichen enthalten.
Anpassen von Filtern zum Identifizieren von Sensordaten für Kommentierung
Wenn sich ein autonomes Fahrzeug durch einen Bereich bewegt, kann das Fahrzeug auf eine Anzahl unterschiedlicher Objekte in einem Bereich treffen. Um die Objekte zu identifizieren kann das Fahrzeug Sensordaten, die einem Bereich zugeordnet sind (z. B. ein Bild eines Bereichs), erfassen. Ferner kann das Fahrzeug ein maschinelles Lernmodell umsetzen, um die Sensordaten zu empfangen und bestimmte Objekte innerhalb des Bildes des Bereichs zu identifizieren. Da das Fahrzeug während der Bewegung auf viele unterschiedliche Objekte (z. B. Vögel, Fußgänger, Verkehrsschilder, andere Fahrzeuge, Gebäude etc.) treffen kann, kann es wichtig sein, dass das maschinelle Lernmodell in der Lage ist, Objekte korrekt zu identifizieren. Beispielsweise kann es wichtig sein, dass das maschinelle Lernmodell in der Lage ist, zwischen einem Vogel und einem Menschen zu unterscheiden, da das Fahrzeug abhängig davon, ob das Objekt ein Vogel (z. B. Ausweichen) oder ein Mensch (z. B. Bremsen) ist, unterschiedliche Aktionen auswählen kann. Die Aktionen, die dem Treffen auf ein erstes Objekt zugeordnet sind, können nachteilige Wirkungen auslösen, wenn sie beim Treffen auf ein zweites Objekt umgesetzt werden. Daher kann es wichtig sein, dass das maschinelle Lernmodell unterschiedliche Objekte innerhalb des Bildes des Bereichs korrekt identifiziert. Um die Objekte korrekt zu identifizieren, kann das maschinelle Lernmodell an einem Satz Trainingsdaten, die Kommentare eines bestimmten Objekts innerhalb eines Bildes identifizieren, trainiert werden. Der Satz Trainingsdaten kann Sensordaten einschließen, die kommentiert wurden.
Der Satz Trainingsdaten kann jedoch sehr umfangreich sein. Beispielsweise kann der Satz Trainingsdaten alle Sensordaten einschließen, die von einem bestimmten Sensor über eine Zeitdauer hinweg erzeugt wurden. Die Sensordaten können alle Sensordaten einschließen, die für eine bestimmte Fahrt, ein bestimmtes Fahrzeug etc. erzeugt wurden. Daher können die Sensordaten solche Sensordaten einschließen, die unterschiedlichen Betriebsbedingungen des Fahrzeugs zugeordnet sind. Beispielsweise können die Sensordaten solche Sensordaten, die verschiedene Objekte und/oder verschiedene Objektklassen identifizieren, Sensordaten, die verschiedenen Umweltcharakteristiken zugeordnet sind (z. B. Tageszeit, Wetter etc.), Sensordaten, die verschiedene Manöver eines Fahrzeugs oder Fußgängers identifizieren, etc. einschließen. Da ein bestimmtes Fahrzeug unterschiedlichen Betriebsbedingungen ausgesetzt sein kann, kann es wichtig sein, das maschinelle Lernmodell unter Verwendung spezifischer Positionen des Trainingsdatensatzes zu trainieren. Beispielsweise kann es wichtig sein, ein maschinelles Lernmodell dahingehend zu trainieren, dass es einen Fußgänger auf einem Fußgängerüberweg erkennt, und abhängig von einer jeweiligen Bedeutung für das maschinelle Lernmodell (z. B. einer Bedeutung von Fußgängern auf einem Fußgängerüberweg für das maschinelle Lernmodell und einer Bedeutung von Vögeln im Himmel für das maschinelle Lernmodell) ist es nicht notwendigerweise wichtig, das maschinelle Lernmodell dahingehend zu trainieren, dass es einen Vogel im Himmel identifizieren kann.
Da der Satz Trainingsdaten kommentierte Sensordaten enthalten kann, die mehreren Betriebsbedingungen zugeordnet sind, kann es ineffizient sein, das maschinelle Lernmodell unter Verwendung des gesamten Satzes an Trainingsdaten zu trainieren. In manchen Fällen können die Trainingsdaten Sensordaten einschließen, die aus Erfassungssitzungen an mehreren Fahrzeugen erzeugt wurden. Beispielsweise können die Trainingsdaten Sensordaten, die von einem ersten Fahrzeug während einer ersten Erfassungssitzung erzeugt wurden, und Sensordaten, die von einem zweiten Fahrzeug während einer zweiten Erfassungssitzung erzeugt wurden, einschließen. Aufgrund des Umfangs des potentiellen Trainings kann es sich als ineffizient und kostenaufwendig erweisen, das maschinelle Lernmodell unter Verwendung des gesamten Trainingsdatensatzes zu trainieren.
Ein Training unter Verwendung des Satzes Trainingsdaten kann es für ein System ineffizient und schwierig machen, das maschinelle Lernmodell zu trainieren, um bestimmte Objekte innerhalb eines Bildes zu identifizieren. In manchen Fällen können manche Systeme einen Anteil der Trainingsdaten einem System für eine manuelle Auswahl bestimmter Bilder für das Trainieren des maschinellen Lernmodells bereitstellen. Beispielsweise kann ein Benutzer dem maschinellen Lernmodell bestimmte Trainingsdaten für das Training bereitstellen. Eine solche manuelle Auswahl von bestimmten Bildern für das Trainieren des maschinellen Lernmodells kann jedoch ineffizient und kostenaufwendig sein, da das maschinelle Lernmodell möglicherweise mehrere Bilder benötigt, um auf das Identifizieren eines bestimmten Objekts trainiert zu werden.
Zusätzlich können Ungenauigkeiten innerhalb der Trainingsdaten existieren. Beispielsweise können die Trainingsdaten einen ersten Kommentar für ein erstes Objekt einschließen, der das erste Objekt als einen ersten Objekttypen (z. B. ein Gebäude) identifiziert, wohingegen das erste Objekt ein zweiter Objekttyp (z. B. ein Bus) sein kann. Wenn die Trainingsdaten (z. B. Kommentardaten) von Drittpartei-Rechenvorrichtungen (z. B. Drittpartei-Kommentatoren zugeordnet) bereitgestellt und erzeugt werden, kann es wichtig sein, zu verifizieren, ob die Kommentardaten korrekt sind, und die Trainingsdaten, die verwendet werden, um das maschinelle Lernmodell zu trainieren, zu filtern. Ferner kann, wenn innerhalb der Trainingsdaten Ungenauigkeiten bestehen, das maschinelle Lernmodell trainiert werden, bestimmte Objekte falsch zu identifizieren. Dieses Risiko für Ungenauigkeiten innerhalb der Trainingsdaten kann es einem Wahrnehmungssystem erschweren, Objekte innerhalb eines Bildes eines Bereichs korrekt und effizient zu identifizieren. Um Ungenauigkeiten innerhalb der Trainingsdaten zu identifizieren, können manche Systeme einen Anteil der Trainingsdaten einem Rechensystem für eine Qualitätsprüfung (z. B. durch Revisoren) bereitstellen. Ein Bereitstellen der Trainingsdaten für ein Rechensystem zum Zweck einer Qualitätsprüfung kann sich jedoch als ineffizient und kostenaufwendig erweisen, da die Kosten der Qualitätsprüfung erheblich ansteigen können, wenn der Umfang der Trainingsdaten, die dem Rechensystem bereitgestellt werden, zunimmt.
Da der Ablauf für das Kommentieren der Sensordaten zeitaufwendig und kostenaufwendig sein kann, kann es sich als wichtig erweisen, die Sensordaten zu filtern, bevor die Sensordaten für eine Kommentierung bereitgestellt werden. Wie vorstehend aufgeführt ist, können die Trainingsdaten von Drittpartei-Rechenvorrichtungen bereitgestellt und erzeugt werden, und es kann sich als wichtig erweisen, die Sensordaten, die den Drittpartei-Rechenvorrichtungen bereitgestellt werden, zu filtern, so dass die Trainingsdaten, die von der Drittpartei-Rechenvorrichtung bereitgestellt und erzeugt werden, begrenzt sind. Das System ist möglicherweise nicht in der Lage, zu identifizieren, ob der Anteil der Sensordaten, die der Drittpartei-Rechenvorrichtung für eine Kommentierung bereitgestellt wurden, einen Anteil der Sensordaten enthält, der für ein bestimmtes maschinelles Lernmodell relevant ist. Beispielsweise kann das System einen bestimmten Anteil an Sensordaten identifizieren, der Sensordaten einschließt, die für ein bestimmtes maschinelles Lernmodell nicht relevant sind (z. B. können die Sensordaten Objekte identifizieren, auf deren Identifizierung das maschinelle Lernmodell zuvor trainiert wurde, können die Sensordaten Objekte identifizieren, denen das maschinelle Lernmodell während einer bestimmten Zeitdauer nicht ausgesetzt war oder können die Sensordaten Betriebsbedingungen zugeordnet werden, auf die das maschinelle Lernmodell zuvor trainiert wurde etc.). Obwohl der bestimmte Anteil der Sensordaten nicht notwendigerweise für das bestimmte maschinelle Lernmodell relevant sein muss, können die Drittpartei-Rechenvorrichtungen Trainingsdaten, die Kommentare des bestimmten Anteils an Sensordaten identifizieren, erzeugen und bereitstellen und kann das maschinelle Lernmodell unter Verwendung der Trainingsdaten trainiert werden. Durch das Trainieren des maschinellen Lernmodells mit Trainingsdaten, die für das maschinelle Lernmodell nicht relevant sind, kann sich der Trainingsablauf als ineffizient und zeitaufwendig erweisen. Dies kann zudem zu einer unzulänglichen Benutzererfahrung führen, da das System möglicherweise nicht in der Lage ist, das maschinelle Lernmodell schnell und effizient zu trainieren.
Um diese Probleme anzugehen, kann ein Wahrnehmungssystem eine benutzerdefinierte Kategorie verwenden, um Sensordaten für eine Kommentierung zu filtern. In manchen Fällen kann das Wahrnehmungssystem die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten, um Erfassungssitzungssammlungen der Sensordaten zu identifizieren. Jede Erfassungssitzungssammlung kann Sensordaten repräsentieren, die mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen, und das Wahrnehmungssystem kann alle oder einen Teil der Sensordaten filtern, um Sensordaten zu identifizieren, die der benutzerdefinierten Kategorie zugeordnet sind. Durch proaktives Filtern der Sensordaten (anstelle des Bereitstellens aller Sensordaten für die Drittpartei-Rechenvorrichtung zum Kommentieren) auf Grundlage der benutzerdefinierten Kategorie kann das Wahrnehmungssystem die Wahrscheinlichkeit erhöhen, dass die Trainingsdaten, die von der Drittpartei-Rechenvorrichtung für das Training eines maschinellen Lernmodells erzeugt und bereitgestellt wurden, für dieses maschinelle Lernmodell relevant sind. Beispielsweise kann das Wahrnehmungssystem die Sensordaten filtern, um Sensordaten, die Objekte oder Objektklassen identifizieren, die in weniger als einem Schwellenwert der Sensordaten (z. B. 10%, 25 %, 35 %, 50 % etc.) auftreten, Sensordaten, die Bilder oder Szenarien identifizieren, die vom maschinellen Lernmodell falsch klassifiziert wurden (z. B. Objekte identifizierende Sensordaten, die vom maschinellen Lernmodell falsch gekennzeichnet, übersehen oder anderweitig falsch klassifiziert wurden), Sensordaten, die bestimmte Manöver eines Fahrzeugs oder Fußgängers identifizieren, etc. zu identifizieren. Ein solcher Ablauf zum Filtern der Sensordaten für eine Kommentierung kann die Kosten reduzieren und die Effizienz, die Trainingsmaschine-Lernmodellen zugeordnet ist, erhöhen.
Wie hierin beschrieben ist, kann das Signalverarbeitungssystem große Mengen an Sensordaten empfangen. Das Signalverarbeitungssystem kann die Sensordaten verarbeiten (z. B. auswerten, aufgliedern etc.) und Erfassungssitzungssammlungen von Sensordaten identifizieren. Das Signalverarbeitungssystem kann die identifizierten Erfassungssitzungssammlungen nutzen, um die Sensordaten zu filtern. Das Signalverarbeitungssystem kann eine Auswahl eines bestimmten Filters erhalten und die Sensordaten filtern. Daher kann das Signalverarbeitungssystem die Sensordaten filtern, ehe es die gefilterten Sensordaten zur Kommentierung an ein Rechensystem schickt.
Wie hierin beschrieben ist können die Sensordaten von mehreren Sensoren während mehrerer Sensordaten-Erfassungssitzungen (z. B. Datenerfassungssitzungen) aufgenommen werden. Beispielsweise können die Sensordaten Kameradaten, die von einem Kamerabildsensor erzeugt wurden, LiDAR-Daten, die von einem LiDAR-Sensor erzeugt wurden, Radardaten, die von einem Radarsensor erzeugt wurden, etc. einschließen. Jede der mehreren Sensordaten-Erfassungssitzungen kann eine eigenständige Zeitdauer, ein eigenständiges Zeitintervall, eine Datensammlungsdauer, eine Fahrzeugfahrt etc. sein, während welcher Sensordaten erfasst werden. Ein Teilsatz der Sensordaten kann von einem bestimmten Sensor während einer bestimmten Sensordaten-Erfassungssitzung erfasst werden. Daher können die Sensordaten während mehrerer Sensordaten-Erfassungssitzungen erfasst und von dem Signalverarbeitungssystem als ein Satz Sensordaten aufgenommen werden.
Das Signalverarbeitungssystem kann die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten (z. B. auswerten). Jedes der mehreren maschinellen Lernmodelle kann dahingehend trainiert werden, dass es eine bestimmte Kategorie von Erfassungssitzungen definiert und den Sensordaten Metadaten hinzufügt, die identifizieren, dass die Sensordaten der bestimmten Kategorie von Erfassungssitzungen entsprechen. Sensordaten können auf Grundlage der Ausgabeleistung des maschinellen Lernmodells mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen. Beispielsweise können Sensordaten mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen, wenn das maschinelle Lernmodell bestimmt, dass die Sensordaten ein bestimmtes Objekt oder eine bestimmte Objektklasse (z. B. ein Fahrrad, ein Eisverkäuferauto, einen blinden Fußgänger etc.) identifizieren, ein bestimmtes Bild oder Szenarium identifizieren, das einen bestimmten Bereich (z. B. einen Himmel) einschließt, bestimmte Umweltcharakteristiken (z. B. Tageszeit, unzureichende Lichtverhältnisse, Regen, Schnee etc.) identifizieren, bestimmte Manöver des Fahrzeugs (z. B. eine Fahrzeuggeschwindigkeit, einen Standort des Fahrzeugs, eine Position des Fahrzeugs) identifizieren, bestimmte Manöver eines Objekts (z. B. einen Fußgänger auf einem Fußgängerüberweg etc.) identifizieren etc.
Durch ein Verarbeiten der Sensordaten kann das Signalverarbeitungssystem mehrere Erfassungssitzungssammlungen identifizieren, die in den und/oder durch die Sensordaten repräsentiert sind. Jede der Erfassungssitzungssammlungen kann einen Teilsatz der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen, repräsentieren.
Das Signalverarbeitungssystem kann die Kategorien der Erfassungssitzungen für eine Benutzerrechenvorrichtung bereitstellen. Beispielsweise kann das Signalverarbeitungssystem die Darstellung einer Benutzeroberfläche, welche die Kategorien der Erfassungssitzungen identifiziert, erzeugen und bewirken. Das Signalverarbeitungssystem kann eine Auswahl einer benutzerdefinierten Kategorie der Kategorien von Erfassungssitzungen erhalten.
Das Signalverarbeitungssystem kann die Sensordaten unter Verwendung der benutzerdefinierten Kategorie filtern. Durch das Filtern der Sensordaten kann das Signalverarbeitungssystem eine Erfassungssitzungssammlung identifizieren, die Sensordaten repräsentiert, bei denen ein bestimmtes maschinelles Lernmodell bestimmt hat, dass sie mit der benutzerdefinierten Kategorie übereinstimmen. Daher kann das Signalverarbeitungssystem die Sensordaten filtern, um einen Teilsatz der Sensordaten, der mit einer bestimmten benutzerdefinierten Kategorie übereinstimmt, zu identifizieren.
Das Signalverarbeitungssystem kann den Teilsatz der Sensordaten an eine Benutzerrechenvorrichtung weiterleiten. Beispielsweise kann das Signalverarbeitungssystem die Darstellung einer Benutzeroberfläche, die eine Visualisierung des Teilsatzes der Sensordaten einschließt, erzeugen und/oder bewirken. Das Signalverarbeitungssystem kann den Teilsatz der Sensordaten für eine Kommentierung an die Benutzerrechenvorrichtung weiterleiten. Als Reaktion auf das Empfangen des Teilsatzes der Sensordaten kann die Benutzerrechenvorrichtung Trainingsdaten erzeugen, die Kommentare des Teilsatzes der Sensordaten einschließen. Die Benutzerrechenvorrichtung kann die Trainingsdaten für ein Training eines maschinellen Lernmodells weiterleiten.
5 ist ein Blockdiagramm, das ein Beispiel für eine Signalverarbeitungsumgebung 500 veranschaulicht. In dem veranschaulichten Beispiel beinhaltet die Signalverarbeitungsumgebung 500 ein Signalverarbeitungssystem 502, das kommunikativ mit einem Sensor 504, einem Datenaufnahmesystem 507, einer Rechenvorrichtung 510, einer Rechenvorrichtung 516 und einem Trainingsmaschine-Lernmodell 524 gekoppelt ist. In manchen Fällen kann das Signalverarbeitungssystem 502 Sensordaten von mehreren Sensoren 504 empfangen. Jeder der Sensoren 504 kann Sensordaten bereitstellen, die mit Metadaten gekennzeichnet sind, um eine bestimmte Erfassungssitzung aus mehreren Erfassungssitzungen zu identifizieren. In manchen Fällen kann das Signalverarbeitungssystem 502 mindestens einen Teil eines Backendsystems (z. B. eines Backendsystems des Wahrnehmungssystems 402, wie bezugnehmend auf 4 beschrieben), das Sensordaten empfangen und die Sensordaten verarbeiten kann, bilden. Jeder der mehreren Sensoren kann einem Fahrzeug eines Fuhrparks zugeordnet (z. B. daran befestigt, ein Merkmal desselben überwachend etc.) sein. Das Signalverarbeitungssystem 502 kann Sensordaten 506 mittels eines Datenaufnahmesystems 507 aufnehmen und kann benutzerdefinierte Kategorien 512 erhalten, um die Sensordaten 506 zu filtern. Das Signalverarbeitungssystem 502 kann die gefilterten Sensordaten für das Erzeugen von Kommentaren 522 durch die Rechenvorrichtung 516 weiterleiten. Die Rechenvorrichtung 516 kann die Kommentare 522 erzeugen und die Kommentare 522 bereitstellen, um das Trainingsmaschine-Lernmodell 524 zu trainieren.
Der Sensor 504 erzeugt Sensordaten 506 und kommuniziert die Sensordaten 506 an das Datenaufnahmesystem 507. Der Sensor 504 kann eines von einer Kamera 202a, einem LiDAR-Sensor 202b, einem Radarsensor 202c, einem Standortsensor (z. B. einem GPS-Sensor), einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Gyroskop, einem Positionssensor, einem Wettersensor, einem Radarsensor, einem Verkehrsdatensensor etc. oder eine beliebige Kombination aus diesen einschließen. In ähnlicher Weise können die Sensordaten 506 unterschiedliche Sensordatentypen wie beispielsweise Kameradaten, die einem Kamerabild zugeordnet sind, Radardaten, die einem Radarbild zugeordnet sind, LiDAR-Daten, die einem LiDAR-Bild zugeordnet sind, Standortdaten, die einem Standortsensor zugeordnet sind, Beschleunigungsdaten, die einem Beschleunigungsmesser zugeordnet sind, Geschwindigkeitsdaten, die einem Geschwindigkeitssensor zugeordnet sind, Ausrichtungsdaten, die einem Gyroskop zugeordnet sind, Positionsdaten, die einem Positionssensor zugeordnet sind, Wetterdaten, die einem Wettersensor zugeordnet sind, Radardaten, die einem Radarsensor zugeordnet sind, Verkehrsdaten, die einem Verkehrssensor zugeordnet sind, etc. einschließen. Der Sensor 504 kann Sensordaten 506 auf Grundlage von einer oder mehreren Sensorsignal-Verarbeitungseinstellungen (z. B. Weißabgleich, Verstärkung, Farbton, Belichtung, Farbbalance, Sättigung etc.) erzeugen.
Der Sensor 504 kann die Sensordaten 506 während mehrerer Datenerfassungssitzungen erfassen. Beispielsweise kann der Sensor 504 einen ersten Teilsatz der Sensordaten 506 während einer ersten Datenerfassungssitzung, einen zweiten Teilsatz der Sensordaten 506 während einer zweiten Datenerfassungssitzung, einen dritten Teilsatz der Sensordaten 506 während einer dritten Datenerfassungssitzung etc. erfassen. Jede der mehreren Datenerfassungssitzungen kann durch eine Zeitdauer wie beispielsweise eine Fahrt eines Fahrzeugs (z. B. eine Zeitdauer vom Einschalten eines Fahrzeugs bis zu dessen Ausschalten) oder eine andere Zeitdauer definiert sein. Die Sensordaten 506 können Metadaten einschließen, die Datenerfassungssitzungen identifizieren, die den Sensordaten 506 zugeordnet sind. Beispielsweise können die Sensordaten 506 Metadaten einschließen, die identifizieren, dass die Sensordaten 506 einem bestimmten Sensor, einem bestimmten Fahrzeug, einer bestimmten Fahrzeugfahrt, einem Ausgangs- und/oder Zielstandort einer bestimmten Fahrzeugfahrt, einer Entfernung von einer oder mehreren Fahrzeugfahrten, der Eingabe bestimmter Navigationsbefehle, Sensor- und/oder Fahrzeugproblemen (z. B. Funktionsausfällen) während einer bestimmten Fahrt etc. zugeordnet sind. Die vom Sensor 504 erfassten Sensordaten 506 können in einer oder mehreren Erfassungssitzungen gruppiert und dem Datenaufnahmesystem 504 bereitgestellt werden. Daher kann ein bestimmter Teilsatz der Sensordaten 506 während der Datenerfassungssitzung (z. B. während einer Fahrzeugfahrt) von einem oder mehreren Sensoren erfasst werden. Beispielsweise können die Sensordaten von einem ersten Sensor und einem zweiten Sensor, die an einem ersten Fahrzeug befestigt sind, während sechs Fahrzeugfahrten, und von einem dritten Sensor, der an einem zweiten Fahrzeug befestigt ist, während fünf Fahrzeugfahrten erfasst werden.
Das Datenaufnahmesystem 507 kann Protokoll-Rohdaten (z. B. Sensordaten 506), die vom Sensor 504 erzeugt wurden, automatisch aufnehmen. Bei einigen Ausführungsformen kann das Datenaufnahmesystem 507 die Sensordaten 506 automatisch aufnehmen und die Sensordaten 506 verarbeiten (z. B. kann das Datenaufnahmesystem 507 die Vorverarbeitung der Sensordaten 506 vornehmen). Das Datenaufnahmesystem 507 kann die Protokoll-Rohdaten kontinuierlich lesen und verarbeiten und die aufgenommen Daten in einen Datenspeicher schreiben. Das Datenaufnahmesystem 507 kann mehrere parallele Prozesse für das kontinuierliche Lesen und Verarbeiten der Protokoll-Rohdaten und das Schreiben der aufgenommenen Daten einschließen. Die Protokoll-Rohdaten können Metadaten einschließen, die ein oder mehrere Merkmale (z. B. ein Fahrzeug, das den Protokoll-Rohdaten zugeordnet ist, eine Erfassungszeit der Protokoll-Rohdaten, ein Sensor, der den Protokoll-Rohdaten zugeordnet ist, oder beliebige andere Daten, die dem Fahrzeug und/oder dem Sensor zugeordnet sind) der Protokoll-Rohdaten identifizieren. In manchen Fällen kann das Datenaufnahmesystem 507 die Protokoll-Rohdaten verarbeiten, um die Metadaten in die Protokoll-Rohdaten und die erzeugten aufgenommenen Daten zu schreiben. Wieder bezugnehmend auf das vorherige Beispiel können die Sensordaten von einem ersten Sensor und einem zweiten Sensor, die an einem ersten Fahrzeug befestigt sind, während sechs Fahrzeugfahrten, und von einem dritten Sensor, der an einem zweiten Fahrzeug befestigt ist, während fünf Fahrzeugfahrten erfasst werden. Die Sensordaten können Metadaten einschließen, die einen Zeitpunkt der Datenerfassung der Sensordaten, eine Zeit von jeder der Fahrzeugfahrten, eine Kennung von jedem der Sensoren, eine Kennung von jedem der Fahrzeuge etc. identifizieren. In manchen Ausführungsformen kann das Datenaufnahmesystem 507 mindestens einen Teil des Signalverarbeitungssystems 502 bilden.
Bei einigen Ausführungsformen können das Datenaufnahmesystem 507 und/oder das Signalverarbeitungssystem 502 die Sensordaten 506 von einer anderen Komponente erhalten. Ferner können der Sensor 504 und/oder eine andere Komponente eine vorläufige Signalverarbeitung vornehmen, um die Sensordaten 506 zu modifizieren, bevor das Datenaufnahmesystem 507 und/oder das Signalverarbeitungssystem 502 die Sensordaten 506 erhalten.
Das Datenaufnahmesystem 507 kann die aufgenommenen Daten 514, die dem Sensor 504 zugeordnet sind, auf Grundlage des Aufnehmens und/oder Verarbeitens der Sensordaten 506 erzeugen oder dem Signalverarbeitungssystem 502 bereitstellen. Bei einigen Ausführungsformen können das Datenaufnahmesystem 507 und das Signalverarbeitungssystem 502 voneinander abgekoppelte Datenaufnahmen und Abfrageprozesse vornehmen. Beispielsweise kann das Datenaufnahmesystem 507 eine Datenaufnahme vornehmen, die von einer Abfrage, die vom Signalverarbeitungssystem 502 vorgenommen wird, abgekoppelt ist. Das Signalverarbeitungssystem 502 (oder ein anderes verwandtes System) kann dem Datenaufnahmesystem 507 Anweisungen bereitstellen. Die Anweisungen können identifizieren, wie die aufgenommenen Daten 514 zu erzeugen und/oder bereitzustellen sind. Beispielsweise können die Anweisungen Regeln, die Objekte definieren, Fehlerdefinitionen, die eine Qualitätsstufe definieren, und/oder andere Anweisungen zum Erzeugen der aufgenommenen Daten 514 identifizieren.
Die Rechenvorrichtung 510 (z. B. eine Drittpartei-Rechenvorrichtung) kann zudem die aufgenommenen Daten 514 vom Datenaufnahmesystem 507 empfangen. Bei einigen Ausführungsformen kann die Rechenvorrichtung 510 die Sensordaten 506 empfangen.
Das Signalverarbeitungssystem 502 schließt einen Signalprozessor 508 ein, um die aufgenommenen Daten 514 auszuwerten. Das Signalverarbeitungssystem 502 kann zudem mehrere maschinelle Lernmodelle (z. B. mehrere neuronale Netze) einschließen. Der Signalprozessor 508 kann die mehreren maschinellen Lernmodelle nutzen, um die aufgenommenen Daten 514 zu verarbeiten. Der Signalprozessor 508 kann ein erweiterbares System sein, und der Signalprozessor 508 kann die mehreren maschinellen Lernmodelle erweitern oder einengen. Der Signalprozessor 508 kann zusätzliche maschinelle Lernmodelle zum Verarbeiten der aufgenommenen Daten 514 initiieren (z. B. bereitstellen). Beispielsweise kann der Signalprozessor 508 die mehreren maschinellen Lernmodelle nutzen, um die aufgenommenen Daten 514 zu verarbeiten, um mehrere Merkmale der aufgenommenen Daten 514 zu identifizieren. Der Signalprozessor 508 kann bestimmen, dass die mehreren maschinellen Lernmodelle ein bestimmtes Merkmal (z. B. Flugzeuge im Himmel) nicht identifizieren. In manchen Fällen kann der Signalprozessor 508 die Sensordaten filtern, um unkategorisierte (z. B. unklassifizierte) Sensordaten (z. B. Sensordaten, die nicht von den mehreren maschinellen Lernmodellen klassifiziert wurden und/oder von einem generischen maschinellen Lernmodell, aber nicht von einem spezifischen maschinellen Lernmodell klassifiziert wurden) zu identifizieren. Basierend auf der Identifizierung, dass die mehreren maschinellen Lernmodelle ein bestimmtes Merkmal nicht identifizieren und/oder dass ein Teil der Sensordaten nicht klassifiziert wurde, kann der Signalprozessor 508 ein neues maschinelles Lernmodell initiieren, um die Sensordaten zu verarbeiten. Es versteht sich, dass der Signalprozessor eine beliebige Anzahl an maschinellen Lernmodellen initiieren kann.
Jedes der mehreren maschinellen Lernmodelle kann identifizieren, ob die Sensordaten mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen. Beispielsweise kann jedes maschinelle Lernmodell die aufgenommenen Daten 514 verarbeiten und bestimmen, ob die aufgenommenen Daten 514 mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen.
Die Kategorie von Erfassungssitzungen kann Sensordaten einschließen, die Objekte und/oder Objektklassen einschließen, die in weniger als einem Schwellenwert von Sensordaten (z. B. den Sensordaten 506 oder anderen Sensordaten) auftreten. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten einschließen, die eine bestimmte seltene Objektklasse (z. B. ein Fahrrad, ein Eisverkäuferauto, eine Person mit Gehstock) identifizieren.
Die Kategorie von Erfassungssitzungen kann Sensordaten einschließen, die ein Objekt, eine Objektklasse, ein Szenarium, ein Bild etc. identifizieren, für welche die Klassifizierung durch das Trainingsmaschine-Lernmodell 524 (oder ein anderes maschinelles Lernmodell) einen Satz von Bodenwirklichkeitsdaten unterhalb eines Schwellenwerts als deckungsgleich erkannt hat (z. B. hat das Trainingsmaschine-Lernmodell 524 das Objekt, die Objektklasse, das Szenarium, das Bild etc. unterhalb eines Schwellenwerts korrekt klassifiziert). Die Kategorie von Erfassungssitzungen kann Sensordaten einschließen, die ein Objekt, eine Objektklasse, ein Szenarium oder ein Bild identifizieren, bei welchen das Trainingsmaschine-Lernmodell 524 klassifiziert hat, dass sie mit einem Satz von Bodenwirklichkeitsdaten nicht deckungsgleich waren (z. B. Kommentare, die von der Rechenvorrichtung 516 bereitgestellt wurden). Beispielsweise, wenn das Trainingsmaschine-Lernmodell 524 einen Fußgänger als Fahrzeug klassifiziert hat. Die mehreren maschinellen Lernmodelle können Daten empfangen, die ein oder mehrere Objekte, Objektklassen, Szenarien, Bilder etc. identifizieren, bei welchen die Klassifizierung durch das Trainingsmaschine-Lernmodell 524 einen Satz von Bodenwirklichkeitsdaten unterhalb eines Schwellenwerts als deckungsgleich erkannt hat und können auf Grundlage der empfangenen Daten eine Kategorie von Erfassungssitzungen definieren.
Die Kategorie von Erfassungssitzungen kann Sensordaten einschließen, die bestimmte Umweltcharakteristiken identifizieren. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten einschließen, die eine bestimmte Wetterbedingung (z. B. Schneefall, Regen etc.) identifizieren. Bei einigen Ausführungsformen kann die Kategorie von Erfassungssitzungen Sensordaten einschließen, die Umweltcharakteristiken identifizieren, die in weniger als einem Schwellenwert von Fahrzeugfahrten auftreten (z. B. Schneefall).
Die Kategorie von Erfassungssitzungen kann Sensordaten einschließen, die bestimmte Manöver eines Objekts (z. B. des Fahrzeugs, eines anderen Fahrzeugs, eines Fußgängers, eines Tieres etc.) identifizieren. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten einschließen, die ein Manöver eines Fahrzeugs (z. B. wenn das Fahrzeug schneller oder langsamer als ein bestimmter Schwellenwert fährt, wenn das Fahrzeug bestimmte klassifizierte Manöver durchführt wie beispielsweise einen Spurwechsel oder Linksabbiegen ohne eigenen Linksabbiegerpfeil), ein Manöver eines Fußgängers (z. B. Betreten eines Fußgängerüberwegs durch einen Fußgänger, ein Fußgänger, der auf der Straße läuft), ein Manöver eines anderen Fahrzeugs (z. B. wenn die Bremsen eines dem Fahrzeug vorausfahrenden Fahrzeugs ausgelöst werden), ein Manöver eines Tieres (z. B. wenn ein Tier auf die Straße tritt) etc. identifizieren.
Jedes der mehreren maschinellen Lernmodelle kann dahingehend trainiert werden, dass es Sensordaten, die mit einer bestimmten Kategorie von Erfassungssitzungen zusammenhängen, identifiziert. Beispielsweise kann ein erstes maschinelles Lernmodell Sensordaten identifizieren, die ein Fahrzeug identifizieren, das mit einer bestimmten Geschwindigkeit fährt, und kann ein zweites maschinelles Lernmodell Sensordaten identifizieren, die einen Fußgänger identifizieren.
Jede der Kategorien von Erfassungssitzungen gilt nicht notwendigerweise ausschließlich für ein bestimmtes Objekt, eine bestimmte Objektklasse, ein bestimmtes Bild, ein bestimmtes Szenarium, einen bestimmten Sensor, ein bestimmtes Fahrzeug, eine bestimmte Sensordaten-Erfassungssitzung und/oder eine bestimmte Fahrzeugfahrt. Jede Kategorie von Erfassungssitzungen kann mehrere Objekte, mehrere Objektklassen, mehrere Bilder, mehrere Szenarien, Daten von mehreren Sensoren, Daten, die mehreren Fahrzeugen zugeordnet sind, Daten, die mehreren Sensordaten-Erfassungssitzungen zugeordnet sind und/oder Daten, die mehreren Fahrzeugfahrten zugeordnet sind, einschließen.
Die mehreren maschinellen Lernmodelle können Kategorien von Erfassungssitzungen identifizieren, um das Trainingsmaschine-Lernmodell 524 zu trainieren. Beispielsweise können die mehreren maschinellen Lernmodelle einen Teil der Sensordaten als einen Fußgängerüberweg einschließend identifizieren und dementsprechend kennzeichnen. Basierend auf einer benutzerdefinierten Kategorie kann der Teil der Sensordaten, der als einen Fußgängerüberweg einschließend gekennzeichnet ist, dem Trainingsmaschine-Lernmodell 524 zum Trainieren bereitgestellt werden. In manchen Fällen können die mehreren maschinellen Lernmodelle das Trainingsmaschine-Lernmodell einschließen. Die mehreren maschinellen Lernmodelle können einen bestimmten Teil der Sensordaten mit einer Konfidenzwertschwelle identifizieren und kennzeichnen (z. B. als ein Fahrrad einschließend). Der Teil der Sensordaten kann kommentiert werden, und die kommentierten Sensordaten können verwendet werden, um das Trainingsmaschine-Lernmodell 524 zu aktualisieren.
Unter Verwendung der mehreren maschinellen Lernmodelle kann der Signalprozessor 508 die aufgenommenen Daten 514 verarbeiten. Der Signalprozessor 508 kann die aufgenommenen Daten 514 für jedes der mehreren maschinellen Lernmodelle bereitstellen. Jedes maschinelle Lernmodell kann aus den aufgenommenen Daten 514 identifizieren, ob eine oder mehrere Sensordaten-Erfassungssitzungen und/oder ein oder mehrere Teile von Sensordaten-Erfassungssitzungen mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen. Der Signalprozessor 508 kann mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, unter Verwendung der mehreren maschinellen Lernmodelle identifizieren. Jede der mehreren Erfassungssitzungssammlungen kann Sensordaten der einen oder der mehreren Sensordaten-Erfassungssitzungen, die mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen, repräsentieren. Daher kann der Signalprozessor 508 mehrere Erfassungssitzungssammlungen identifizieren, die in den aufgenommenen Daten 514 repräsentiert sind, und jede Erfassungssitzungssammlung kann mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmen.
Wieder bezugnehmend auf das vorherige Beispiel kann der Signalprozessor 508 Erfassungssitzungssammlungen, die in den aufgenommenen Daten 514 repräsentiert sind, identifizieren. Die Erfassungssitzungssammlungen können eine erste Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einen Hund identifizieren, eine zweite Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die ein Fahrzeug identifizieren, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, eine dritte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einen Fußgänger auf einem Fußgängerüberweg identifizieren, eine vierte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die ein Fahrrad auf der Straße identifizieren, etc. einschließen. Die Erfassungssitzungssammlungen können zudem Kategorien von Erfassungssitzungen auf Grundlage von Metadaten der aufgenommenen Daten einschließlich einer ersten Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die zwischen 17.00 Uhr und 5.00 Uhr erfasst wurden, und einer zweiten Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einem bestimmten Fahrzeug zugeordnet sind, etc. einschließen.
Der Signalprozessor 508 kann Metadaten schreiben, welche die Kategorien von Erfassungssitzungen identifizieren, die jedem Teil der aufgenommenen Daten 514 entsprechen. Identifiziert beispielsweise ein maschinelles Lernmodell, dass ein Teil der aufgenommenen Daten 514 einer ersten Kategorie von Erfassungssitzungen entspricht, die Fahrräder identifizierenden Sensordaten entspricht, und einer zweiten Kategorie von Erfassungssitzungen entspricht, die Sensordaten entsprechen, die ein Fahrzeug identifizieren, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, kann der Signalprozessor 508 Metadaten schreiben, welche die erste und die zweite Kategorie von Erfassungssitzungen in den Teil der aufgenommenen Daten 514 schreiben. Jeder Teil der aufgenommenen Daten 514 kann einer oder mehreren Kategorien von Erfassungssitzungen entsprechen. In manchen Fällen muss ein Teil der aufgenommenen Daten 514 nicht notwendigerweise einer Kategorie von Erfassungssitzungen entsprechen.
Der Signalprozessor 508 kann die Kategorien der Erfassungssitzungen der Rechenvorrichtung 510 bereitstellen. Ferner kann der Signalprozessor 508 eine Benutzeroberfläche erzeugen, welche die Kategorien von Erfassungssitzungen identifiziert. In einigen Fällen kann der Signalprozessor 508 ein oder mehrere Merkmale der aufgenommenen Daten 514 für eine Auswahl über die Benutzeroberfläche bereitstellen. Beispielsweise können das eine oder die mehreren Merkmale der aufgenommenen Daten 514 ein Fahrzeug, das den Protokoll-Rohdaten, die den aufgenommenen Daten 514 zugeordnet sind, zugeordnet ist, einen Zeitpunkt der Erfassung der Protokoll-Rohdaten, einen Sensor, der den Protokoll-Rohdaten zugeordnet ist, oder beliebige sonstige Daten, die dem Fahrzeug und/oder dem Sensor zugeordnet sind, einschließen. Der Signalprozessor 508 kann bewirken, dass die Rechenvorrichtung 510 die Benutzeroberfläche anzeigt. Die Rechenvorrichtung kann die aufgenommenen Daten 514 vom Datenaufnahmesystem 507 empfangen und kann mindestens einen Teil der aufgenommenen Daten 514 auf der Benutzeroberfläche anzeigen.
Die Benutzeroberfläche kann einen oder mehrere wählbare Parameter einschließen, um einem Benutzer zu ermöglichen, einen bestimmten Parameter auszuwählen. Beispielsweise können die Kategorien der Erfassungssitzungen mittels der Benutzeroberfläche als ein oder mehrere auswählbare Filter angezeigt werden. Wieder bezugnehmend auf das vorherige Beispiel kann die Benutzeroberfläche eine erste Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einen Hund identifizieren, eine zweite Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die ein Fahrzeug identifizieren, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, eine dritte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einen Fußgänger auf einem Fußgängerüberweg identifizieren, eine vierte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die ein Fahrrad auf der Straße identifizieren, eine fünfte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die zwischen 17.00 Uhr und 5.00 Uhr erfasst wurden, und eine sechste Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die einem bestimmten Fahrzeug zugeordnet sind, etc. einschließen.
Der Benutzer kann unter Verwendung des einen oder der mehreren auswählbaren Parameter eine bestimmte Kategorie auswählen. Basierend auf der Auswahl kann die Rechenvorrichtung 510 eine benutzerdefinierte Kategorie 512 der Kategorien von Erfassungssitzungen identifizieren. Die Rechenvorrichtung 510 kann die benutzerdefinierte Kategorie 512 dem Signalverarbeitungssystem 502 bereitstellen. Wieder bezugnehmend auf das vorherige Beispiel kann ein Benutzer ein Training eines Trainingsmaschine-Lernmodells 524 anfordern, um Objekte in der Nacht zu identifizieren, während das Fahrzeug mit einer bestimmten Geschwindigkeit fährt. Beispielsweise kann die benutzerdefinierte Kategorie eine zweite Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die ein Fahrzeug identifizieren, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, und eine fünfte Kategorie von Erfassungssitzungen, die Sensordaten einschließt, die zwischen 17.00 Uhr und 5.00 Uhr erfasst wurden, einschließen.
Der Signalprozessor 508 des Signalverarbeitungssystems 502 kann die benutzerdefinierte Kategorie 512 von der Rechenvorrichtung 510 empfangen. In manchen Fällen kann die benutzerdefinierte Kategorie 512 eine oder mehrere Kategorien von Erfassungssitzungen identifizieren. Beispielsweise kann die benutzerdefinierte Kategorie 512 eine erste Kategorie von Erfassungssitzungen, die Fußgänger auf einem Fußgängerüberweg einschließt, und eine zweite Kategorie von Erfassungssitzungen, die ein Fahrzeug einschließt, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, einschließen. In manchen Fällen kann die benutzerdefinierte Kategorie 512 ein oder mehrere Merkmale der aufgenommenen Daten 514 identifizieren. Beispielsweise kann die benutzerdefinierte Kategorie 512 eine erste Kategorie von Erfassungssitzungen, die Fußgänger auf einem Fußgängerüberweg einschließt, und ein erstes Merkmal aufgenommener Daten 514, das Sensordaten einschließt, die zwischen 17.00 Uhr und 5.00 Uhr erfasst wurden, einschließen.
Der Signalprozessor 508 kann die aufgenommenen Daten 514 unter Verwendung der benutzerdefinierten Kategorie 512 filtern. Beispielsweise kann der Signalprozessor 508 auf Grundlage der benutzerdefinierten Kategorie 512 eine Erfassungssitzungssammlung identifizieren, die einen Teil der aufgenommenen Daten 514 repräsentiert, der mit der benutzerdefinierten Kategorie 512 übereinstimmt. Bei manchen Ausführungsformen kann der Signalprozessor 508 unter Verwendung der benutzerdefinierten Kategorie 512 einen Satz aufgenommener Daten filtern, der sich von den aufgenommenen Daten 514 unterscheidet (z. B. ein anderer Satz von Sensordaten). Die benutzerdefinierte Kategorie 512 kann den Teil der aufgenommenen Daten 514 identifizieren, und der Signalprozessor 508 kann identifizieren, dass die Erfassungssitzungssammlung den Teil der aufgenommenen Daten 514 repräsentiert, der durch die benutzerdefinierte Kategorie identifiziert wurde. Der Teil der aufgenommenen Daten 514 kann Sensordaten einschließen, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden. Wieder bezugnehmend auf das vorherige Beispiel kann der Teil der aufgenommenen Daten 514 Sensordaten einschließen, die einem Fahrzeug zugeordnet sind, das mit einer Geschwindigkeit von mehr als 50 Meilen pro Stunde fährt, und die zwischen 17.00 Uhr und 5.00 Uhr erfasst wurden. Daher kann der Signalprozessor 508 den Teil der aufgenommenen Daten 514 erfassen.
Der Signalprozessor 508 kann den Teil der aufgenommenen Daten 514 an die Rechenvorrichtung 516 übertragen. Beispielsweise kann die Rechenvorrichtung 516 eine Endnutzer-Rechenvorrichtung sein, und der Signalprozessor 508 kann den Teil der aufgenommenen Daten 514 an die Endnutzer-Rechenvorrichtung übertragen. Der Signalprozessor 508 kann zudem Anweisungen an die Rechenvorrichtung 516 übertragen, welche die Rechenvorrichtung 516 anweisen, Kommentare für den Teil der aufgenommenen Daten 514 zu erzeugen. Das Signalverarbeitungssystem 502 (oder ein anderes verwandtes System) kann der Rechenvorrichtung 516 Anweisungen bereitstellen. Die Anweisungen können identifizieren, wie die Kommentare 522 zu erzeugen sind. Beispielsweise können die Anweisungen Kommentarregeln einschließen, die Objekte für eine Kommentierung und eine Weise der Kommentierung definieren (z. B. können die Kommentarregeln ein Format oder einen Stil der Kommentierung definieren), Fehlerdefinitionen, die Kommentierungsfehler definieren, und eine gewünschte Qualitätsstufe und/oder andere Anweisungen zum Erzeugen der Kommentare 522 einschließen.
Basierend auf den Anweisungen vom Signalverarbeitungssystem 502 und dem Teil der aufgenommenen Daten 514 kann die Rechenvorrichtung 516 Kommentare 522 für das Signalverarbeitungssystem 502 erzeugen. Beispielsweise kann ein Benutzer die Rechenvorrichtung 516 nutzen, um die Kommentare 522 zu erzeugen, indem er den Teil der aufgenommenen Daten 514 kommentiert. Die Kommentare 522 können kommentierte Sensordaten einschließen. Ferner können die Kommentare 522 eine oder mehrere Kennungen für Objekte in einem Bild eines Bereichs, der von dem Teil der aufgenommenen Daten 514 erfasst wurde, einschließen. Beispielsweise können die Kommentare 522 ein erstes Objekt im Bild des Bereichs, der von dem Teil der aufgenommenen Daten 514 erfasst wurde, als „Hund“, ein zweites Objekt als „Fahrzeug“, ein drittes Objekt als „Gebäude“ etc. identifizieren. Es versteht sich, dass die Kommentare 522 mehr, weniger oder andere Kommentare (z. B. Kennungen, Labels, LiDAR-Segmentierungslabel etc.) einschließen können.
Die Kommentare 522 können ein bestimmtes Objekt und einen Kommentar für das Objekt identifizieren. Beispielsweise können die Kommentare 522 mehrere Feldwertpaare für jedes Objekt, das eine Kennung des Objekts identifiziert (z. B. Koordinaten des Objekts) und einen Kommentar zum Objekt einschließen. Ferner können die Kommentare 522 in einem Arbeitsspeicher-Datenbankformat oder einem Hauptspeicher-Datenbankformat formatiert sein.
In einigen Fällen kann die Rechenvorrichtung 516 ein Netzwerk zum Erzeugen der Kommentare 522 einschließen. Daher kann der Signalprozessor 508 einen Teil der aufgenommenen Daten 514 für eine Kommentierung identifizieren, und die Rechenvorrichtung 516 kann den Teil der aufgenommenen Daten 514 ohne manuellen Eingriff automatisch kommentieren und die kommentierten Daten für ein Training des Trainingsmaschine-Lernmodells 524 bereitstellen. Beispielsweise kann die Rechenvorrichtung 516 ein Teil des Signalverarbeitungssystems 502 sein. Die Rechenvorrichtung 516 kann unter Verwendung von einem oder mehreren Netzwerken (z. B. einem oder mehreren CNNs) umgesetzt sein. Beispielsweise kann die Rechenvorrichtung 516 unter Verwendung eines semantischen Bildnetzes und/oder eines semantischen LiDAR-Netzes umgesetzt sein. Die Rechenvorrichtung 516 kann den Teil der aufgenommenen Daten 514 als Eingabe empfangen und ein semantisches Bild und/oder semantische Daten, die dem semantischen Bild zugeordnet sind, ausgeben.
Die Rechenvorrichtung 516 kann ein Bildmerkmal-Extraktionsnetz einschließen. In gewissen Fällen kann das Bildmerkmal-Extraktionsnetz unter Verwendung der neuronalen Netzmodelle DeepLabv3+ oder PSP+ umgesetzt sein. Es versteht sich jedoch, dass unterschiedliche neuronale Netze verwendet werden können, um Merkmale aus einem Bild zu extrahieren. In manchen Fällen kann die Rechenvorrichtung 516 Kamerabildern entsprechen, es versteht sich jedoch, dass unterschiedliche Arten von Bildern als Eingabe für das Bildmerkmal-Extraktionsnetz verwendet werden können.
Wie hierin beschrieben ist, kann das Bildmerkmal-Extraktionsnetz einen oder mehrere Filter, Faltungsschichten, Subsampling-Schichten und/oder vollständig verbundene Schichten einschließen, die verwendet werden können, um verschiedene Objekte (z. B. Fahrzeug, Fußgänger, Fahrrad, Leitplanke, Leitkegel, befahrbare Oberfläche oder einen Hintergrund etc.) zu identifizieren und in der Rechenvorrichtung 516 zu klassifizieren. Dementsprechend kann in gewissen Fällen die Ausgabe der semantischen Daten durch das Bildmerkmal-Extraktionsnetz ein oder mehrere Objekte im Teil der aufgenommenen Daten 514 und die Objektklassifizierung der j eweiligen Objekte identifizieren.
Das semantische Bild kann Pixelreihen einschließen. Einige oder alle Pixel des semantischen Bildes können Semantikdaten wie beispielsweise eine oder mehrere Merkmaleinbettungen einschließen. In gewissen Fällen können sich die Merkmaleinbettungen auf ein oder mehrere Objektattribute wie unter anderem eine Objektklassifizierung oder ein Klassenlabel, das eine Objektklassifizierung identifiziert (manchmal als Objektklasse bezeichnet) (nicht-einschränkende Beispiele: Fahrzeug, Fußgänger, Fahrrad, Leitplanke, Leitkegel, befahrbare Oberfläche oder ein Hintergrund etc.) beziehen. Die Objektklassifizierung kann einen Wahrscheinlichkeitswert einschließen, der die Wahrscheinlichkeit angibt, dass die identifizierte Objektklassifizierung eines Pixels korrekt vorhergesagt wird.
Die Rechenvorrichtung 516 kann ferner ein 3D-Begrenzungsrahmen-Netzwerk einschließen. Das 3D-Begrenzungsrahmen-Netzwerk kann unter Verwendung von einem oder mehreren CNNs, die ausgelegt sein können, um den Teil der aufgenommenen Daten 514 als Eingabe zu empfangen und Merkmaldaten, die einem oder mehreren Merkmalen, die aus dem Bild extrahiert wurden, hierin auch als 3D-Merkmaldaten und/oder 3D-Semantikdaten bezeichnet, auszugeben und/oder ein kommentiertes Bild, das den Teil der aufgenommenen Daten 514 einschließt, und Merkmaldaten, die dem einen oder den mehreren Merkmalen, die aus dem Bild extrahiert wurden, zugeordnet sind, auszugeben, umgesetzt sein.
Wie hierin beschrieben kann das 3D-Begrenzungsrahmen-Netzwerk einen oder mehrere Filter, Faltungsschichten, Subsampling-Schichten und/oder vollständig verbundene Schichten, die verwendet werden können, um Objektdimensionen in einem Bild, wie unter anderem Breite, Höhe und/oder Länge des Objekts im Bild, zu erkennen, einschließen. Das 3D-Begrenzungsrahmen-Netzwerk kann zudem Mobilitätsparameter des Objekts wie unter anderem Objektausrichtung, 3D-Standort, Bewegung, Geschwindigkeit, Trajektorie etc. bestimmen oder schätzen. Das 3D-Begrenzungsrahmen-Netzwerk erzeugt 3D-Begrenzungsrahmen für das Objekt, welche die Dimensionen und/oder Mobilitätsparameter des Objekts angeben.
Einige oder alle der Pixel im kommentierten Bild können zusätzliche Daten einschließen. Beispielsweise kann ein Pixel im kommentierten Bild Bilddaten, die mindestens einem Bildtyp zugeordnet sind (z. B. Bilddaten von mindestens einem der Bilder, die verwendet wurden, um das Bild zu erstellen), semantische Bilddaten, die dem Bild zugeordnet sind (z. B. die Semantikdaten, die vom Bildmerkmal-Extraktionsnetz erzeugt wurden, beispielsweise die Objektklassifizierung), und 3D-Merkmaldaten, die einem Merkmal des Objekts zugeordnet sind (z. B. Merkmaldaten, die vom 3D-Begrenzungsrahmen-Netzwerk erzeugt wurden), einschließen. Beispielsweise kann ein Pixel im kommentierten Bild einen oder mehrere Kommentare hinsichtlich Standort (x, y, z), Reflexionsgrad, Stärke, Zeitstempel, unterschiedliche Objektklassen-Wahrscheinlichkeiten, zugeordnetem Begrenzungsrahmen, Trajektorievorhersage, Bewegung, Geschwindigkeitsschätzung etc. einschließen. Somit kann die Rechenvorrichtung 516 Kommentare für den Teil der aufgenommenen Daten 514 mittels des kommentierten Bildes bestimmen.
Die Rechenvorrichtung 516 kann die Kommentare 522 an das Trainingsmaschine-Lernmodell 524 für das Trainieren des Trainingsmaschine-Lernmodells 524 weiterleiten. Beispielsweise kann das Trainingsmaschine-Lernmodell 524 trainiert werden, um eine Ausgabe auf Grundlage der Kommentare 522 zu erzeugen.
Es versteht sich, dass das Signalverarbeitungssystem 502 mehr, weniger oder andere Komponenten einschließen kann. Beispielsweise kann das Signalverarbeitungssystem 502 mehrere Signalprozessoren 508 einschließen, die verschiedene Verarbeitungsfunktionen an den Sensordaten 506 vornehmen und/oder Sensordaten 506 von anderen Sensoren 504 verarbeiten.
Beispielhaftes Betriebsdiagramm eines Signalprozessors
6 ist ein Betriebsdiagramm, das einen Datenfluss zum Erhalten und Verarbeiten von Sensordaten für das Identifizieren von Kategorien von Erfassungssitzungen darstellt. Weiterhin wird der Datenfluss anschließend zum Filtern von Sensordaten auf Grundlage einer benutzerdefinierten Kategorie der Kategorien von Erfassungssitzungen geleitet. Insbesondere ist 6 ein Betriebsdiagramm, das einen Datenfluss zum Filtern von Sensordaten, die unter Verwendung mehrerer maschineller Lernmodelle, die jeweils die Sensordaten auswerten, gekennzeichnet wurden, darstellt. Die Sensordaten können unter Verwendung einer benutzerdefinierten Kategorie gefiltert werden, um einen Teilsatz von Sensordaten zu identifizieren. Alle Komponenten des Wahrnehmungssystems 402 können den Datenfluss zum Erhalten und Verarbeiten von Sensordaten zum Identifizieren von Kategorien von Erfassungssitzungen und anschließendem Filtern von Sensordaten auf Grundlage einer benutzerdefinierten Kategorie der Kategorien von Erfassungssitzungen erleichtern. Bei einigen Ausführungsformen kann eine andere Komponente den Datenfluss erleichtern. Im Beispiel in 6 erleichtert ein Signalverarbeitungssystem den Datenfluss.
An Schritt 602 empfängt das Signalverarbeitungssystem Sensordaten (z. B. Bilddaten), die einem Kamerabild 603 zugeordnet sind. In dem dargestellten Beispiel wird ein Kamerabild 603 verwendet, es versteht sich jedoch, dass unterschiedliche Arten von Bildern oder Sensordaten verwendet werden können. Wie hierin beschrieben ist, kann das Kamerabild 603 einem Bild in einer Datenbank entsprechen, das aus Sensordaten, die von einer Kamera wie den Kameras 202a erhalten wurden, erzeugt wurde. In manchen Fällen kann das Kamerabild 603 mehrere Pixelreihen in einer Matrix einschließen, und jeder Pixel kann einen Wert für Rot, Grün und Blau oder einen Graustufenwert einschließen. Bei einigen Ausführungsformen kann das Kamerabild 603 vorläufige Kommentare einschließen. Bei anderen Ausführungsformen schließt das Kamerabild 603 keine Kommentare ein und/oder kann als unkommentiertes Kamerabild 603 bezeichnet werden.
Das Kamerabild 603 kann ein Einzelbild, mehrere Bilder (z. B. einen Bildstream), ein oder mehrere Bilder und zugeordnete Daten (z. B. Telemetriedaten) etc. einschließen. Beispielsweise kann das Kamerabild 603 dem Einschalten eines Fahrzeugs zugeordnet sein und kann eine Abfolge von Bildern, die dem Abschalten eines Fahrzeugs zugeordnet sind, Motorsensordaten, Bremssensordaten, Verriegelungssensordaten etc. einschließen.
Die Sensordaten können über mehrere Sensordaten-Erfassungssitzungen erzeugt und/oder gesammelt werden. Beispielsweise können die Sensordaten über mehrere Fahrzeugfahrten erzeugt werden. Ein bestimmter Teil der Sensordaten kann während einer bestimmten Sensordaten-Erfassungssitzung erzeugt werden. Ferner kann der bestimmte Teil der Sensordaten während der bestimmten Sensordaten-Erfassungssitzung durch mindestens einen Sensor, der an einem oder mehreren Fahrzeugen während einer Fahrzeugfahrt befestigt ist, erzeugt werden.
Die Sensordaten können vom Signalverarbeitungssystem automatisch aufgenommen werden. Beispielsweise können die Sensordaten von einem Datenaufnahmesystem des Signalverarbeitungssystems automatisch aufgenommen werden. In manchen Fällen können die Sensordaten vom Signalverarbeitungssystem kontinuierlich aufgenommen werden.
An Schritt 604 verarbeitet das Signalverarbeitungssystem die Sensordaten. Beispielsweise kann das Signalverarbeitungssystem die Sensordaten kontinuierlich verarbeiten. Das Signalverarbeitungssystem kann eine Reihe von Auswertungsskripten umsetzen, um die Sensordaten zu verarbeiten. Beispielsweise kann das Signalverarbeitungssystem mehrere maschinelle Lernmodelle einschließen, um die Sensordaten zu verarbeiten. Jedes der mehreren maschinellen Lernmodelle kann innerhalb der Sensordaten einen bestimmten Teil an Sensordaten identifizieren, der mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmt. Jedes der mehreren maschinellen Lernmodelle kann identifizieren, ob die Sensordaten mit einer anderen Kategorie von Erfassungssitzungen übereinstimmen. Jeder Teil der Sensordaten kann keiner, einer oder mehreren Kategorien von Erfassungssitzungen entsprechen. Beispielsweise stimmen bestimmte Teile der Sensordaten möglicherweise mit keiner der Kategorien von Erfassungssitzungen überein. Ferner kann ein Teil der Sensordaten mit einer ersten Kategorie von Erfassungssitzungen, wie sie von einem ersten maschinellen Lernmodell identifiziert wurde, und einer zweiten Kategorie von Erfassungssitzungen, wie sie von einem zweiten maschinellen Lernmodell identifiziert wurde, übereinstimmen.
Jedes maschinelle Lernmodell kann die Sensordaten mit Metadaten kennzeichnen, welche die Kategorie(n) von Erfassungssitzungen, die den Sensordaten zugeordnet sind, identifizieren. Beispielsweise kann ein Teil der Sensordaten gekennzeichnet werden, um zu identifizieren, dass der Teil der Sensordaten eine Person auf einem Fußgängerüberweg identifiziert.
Eine Kategorie von Erfassungssitzungen kann ein Manöver eines Objekts identifizieren. Beispielsweise kann die Kategorie von Erfassungssitzungen eine Geschwindigkeit, eine Beschleunigung, eine ruckartige Bewegung, einen Lenkwinkel, eine Haltung, eine Ausrichtung, einen Standort, eine Position, eine Trajektorie oder beliebige sonstige Daten, die einem Fahrzeug, einem Fußgänger oder einem beliebigen sonstigen Objekt zugeordnet sind, identifizieren.
Ferner kann eine Kategorie von Erfassungssitzungen identifizieren, in welcher Beziehung die Sensordaten zu zuvor erhaltenen Sensordaten stehen. Beispielsweise kann die Kategorie von Erfassungssitzungen mittels räumlich-zeitlicher Filterung Sensordaten identifizieren, die das gleiche Bild und/oder das gleiche Szenarium (z. B. identische, nahezu identische oder halbidentische Bilder oder Szenarien) wie andere Sensordaten identifizieren. Bei einigen Ausführungsformen kann die Kategorie von Erfassungssitzungen Sensordaten identifizieren, die einen Schwellenwert einer Ähnlichkeit mit anderen Sensordaten mittels Bildvergleich überschreiten. Ferner kann die Kategorie von Erfassungssitzungen zuvor kommentierte Sensordaten identifizieren.
Eine Kategorie von Erfassungssitzungen kann Sensordaten identifizieren, die einen Schwellenwert oder -bereich einer Unsicherheit des maschinellem Lernmodells überschreiten, einhalten etc. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten identifizieren, die einen bestimmten Unsicherheitsschwellenwert überschreiten. Ferner kann die Kategorie von Erfassungssitzungen Sensordaten identifizieren, die eine Datenanomalie aufweisen. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten identifizieren, die ein bestimmtes Objekt oder eine bestimmte Objektklasse einschließen.
Eine Kategorie von Erfassungssitzungen kann Sensordaten identifizieren, die bestimmte Umweltcharakteristiken einschließen. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten identifizieren, die eine Sonneneinstrahlung, ein Flimmern, ein Wetter (z. B. Regen, Schneefall etc.), mehrere Objekte in einem Szenarium (z. B. ein stark bevölkertes Szenarium) etc. einschließen.
Eine Kategorie von Erfassungssitzungen kann ferner Merkmale der Sensordaten (z. B. als Metadaten der Sensordaten empfangen) identifizieren. Beispielsweise kann eine Kategorie von Erfassungssitzungen eine Tageszeit, einen Standort, eine Entfernung, ein Bestimmungsziel, eine Quelle, eine Route, einem Sensor und/oder dem Fahrzeug zugeordnete Kalibrierungsdaten, Automatik- und/oder Manuell-Daten, die einem Getriebe eines Fahrzeugs zugeordnet sind, Fehlfunktionsdaten, die einem Sensor, einer Komponente eines Fahrzeugs oder dem Fahrzeug zugeordnet sind, oder beliebige sonstige Daten, die einem Sensor und/oder dem Fahrzeug zugeordnet sind, identifizieren.
Das Signalverarbeitungssystem kann mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, identifizieren. Jede Erfassungssitzungssammlung kann eine Sammlung von Sensordaten repräsentieren, die über eine einzelne oder mehrere Sensordaten-Erfassungssitzungen gesammelt wurden. Beispielsweise kann jede Erfassungssitzungssammlung eine Sammlung von Sensordaten repräsentieren, die über eine erste und eine zweite Sensordaten-Erfassungssitzung gesammelt wurden. Jede Erfassungssitzungssammlung kann eine Sammlung von Sensordaten repräsentieren, die über eine beliebige Anzahl an Sensordaten-Erfassungssitzungen gesammelt wurden. Ferner kann jede Erfassungssitzungssammlung eine Sammlung von Sensordaten repräsentieren, die mit einer bestimmten Kategorie von Erfassungssitzungen übereinstimmt (z. B. diese einhält, erfüllt etc.). Somit kann das Signalverarbeitungssystem die mehreren Erfassungssitzungssammlungen identifizieren.
Das Signalverarbeitungssystem erhält und verarbeitet somit die Sensordaten. Das Signalverarbeitungssystem kann die Sensordaten erhalten und verarbeiten, um die mehreren Erfassungssitzungssammlungen während einer ersten Zeitdauer zu identifizieren.
Im Anschluss an die erste Zeitdauer kann das Signalverarbeitungssystem eine Benutzeroberfläche erzeugen, welche die Kategorien von Erfassungssitzungen, die von den mehreren Erfassungssitzungssammlungen repräsentiert werden, identifiziert. Die Benutzeroberfläche kann die Kategorien von Erfassungssitzungen als wählbare Parameter einschließen. Das Signalverarbeitungssystem kann eine Anzeige der Benutzeroberfläche auf einer Benutzerrechenvorrichtung bewirken.
Als Reaktion auf das Bewirken der Anzeige der Benutzeroberfläche auf der Benutzerrechenvorrichtung und während einer zweiten Zeitdauer nach der ersten Zeitdauer kann das Signalverarbeitungssystem eine Auswahl einer benutzerdefinierten Kategorie 605 von der Benutzerrechenvorrichtung erhalten. Die benutzerdefinierte Kategorie 605 kann einen Kategorietyp und eine Kategorieeingabe identifizieren. Beispielsweise kann die benutzerdefinierte Kategorie 605 einen Typ einer Kategorie von Erfassungssitzungen und eine spezifische Eingabe für den Typ der Kategorie von Erfassungssitzungen identifizieren. Basierend auf dem Kategorietyp und der Kategorieeingabe kann das Signalverarbeitungssystem eine bestimmte Kategorie von Erfassungssitzungen identifizieren. In manchen Fällen kann eine Benutzerrechenvorrichtung mehrere benutzerdefinierte Kategorien bereitstellen. Im Beispiel in 6 identifiziert die benutzerdefinierte Kategorie 605 einen Kategorietyp „Objektkategorie“ und eine Kategorieeingabe „Fahrrad“. Somit kann das Signalverarbeitungssystem identifizieren, dass die benutzerdefinierte Kategorie Sensordaten identifiziert, die ein bestimmtes Objekt (z. B. ein Fahrrad) einschließen.
An Schritt 606 filtert das Signalverarbeitungssystem die Sensordaten. Das Signalverarbeitungssystem kann die Sensordaten auf Grundlage der benutzerdefinierten Kategorie 605 filtern. Das Signalverarbeitungssystem kann die Sensordaten durch Identifizieren eines Teils der Sensordaten, der mit Metadaten gekennzeichnet wurde, die der benutzerdefinierten Kategorie 605 zugeordnet sind, filtern. Beispielsweise kann das Signalverarbeitungssystem Sensordaten identifizieren, die ein Schlagwort enthalten, das identifiziert, dass die Sensordaten ein Fahrrad einschließen. Das Signalverarbeitungssystem kann die benutzerdefinierte Kategorie verwenden, um eine Erfassungssitzungssammlung zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert. Die identifizierte Erfassungssitzungssammlung kann gefilterte Sensordaten einschließen, die mit der benutzerdefinierten Kategorie 605 übereinstimmen.
Im Beispiel in 6 filtert das Signalverarbeitungssystem die Sensordaten, um einen Teil an Sensordaten zu identifizieren, der einem Bild 607 zugeordnet ist, das von einer Erfassungssitzungssammlung repräsentiert wird. Die Erfassungssitzungssammlung kann Sensordaten repräsentieren, die einem Bild 607 zugeordnet sind, das ein Fahrrad identifiziert.
An Schritt 608 überträgt das Signalverarbeitungssystem den Teil der Sensordaten, der dem Bild 607 zugeordnet ist, an eine Benutzerrechenvorrichtung. Das Signalverarbeitungssystem kann den Teil der Sensordaten für eine Anzeige mittels einer Benutzeroberfläche übertragen. Bei einigen Ausführungsformen kann das Signalverarbeitungssystem den Teil der Sensordaten für eine Kommentierung übertragen.
Das Signalverarbeitungssystem kann den Teil der Sensordaten an eine Rechenvorrichtung (z. B. eine Drittpartei-Rechenvorrichtung, die einem Benutzer zugeordnet ist, der Kommentare mittels der Drittpartei-Computervorrichtung bereitstellt) übertragen. Die Rechenvorrichtung kann kommentierte Sensordaten erzeugen. Die kommentierten Sensordaten können mehrere Kommentare einschließen.
Bei einigen Ausführungsformen kann das Signalverarbeitungssystem die kommentierten Sensordaten erzeugen. Das Signalverarbeitungssystem kann die kommentierten Sensordaten unter Verwendung eines maschinellen Lernmodells (z. B. eines Netzwerks) erzeugen. Beispielsweise kann das maschinelle Lernmodell ein semantisches Bildnetz, ein semantisches LiDAR-Netz etc. einschließen. Um die kommentierten Sensordaten zu erzeugen, kann das Signalverarbeitungssystem das Bild 607 dem maschinellen Lernmodell bereitstellen.
Die kommentierten Sensordaten können mehrere Objektkennungen und mehrere entsprechende Kommentare einschließen. Beispielsweise können die Objektkennungen Koordinaten etc. sein, die auf einen bestimmten Teilsatz der kommentierten Sensordaten (z. B. Pixel eines Bildes, die als einem Fußgänger zugeordnet identifiziert werden) verweisen. Ferner können die kommentierten Sensordaten eine Breite, Höhe und Länge eines Objekts, Begrenzungsrahmen eines Objekts, eine Objektbewegung, Objektausrichtung, Objekttrajektorie oder sonstige Objektattribute identifizieren.
Jede der Objektkennungen kann einem bestimmten Kommentar (z. B. Kennung, Label etc.) zugeordnet oder mit diesem verlinkt sein. Beispielsweise kann ein bestimmtes Objekt durch eine Objektkennung (z. B. einen Hinweis auf einen Teil des Bildes) und einen Kommentar (z. B. ein Label, welches das Objekt als einem Fußgänger entsprechend identifiziert) identifiziert werden.
Das Signalverarbeitungssystem (oder die Rechenvorrichtung) kann die kommentierten Sensordaten als Trainingsdaten für das Training des maschinellen Lernmodells an ein maschinelles Lernmodell weiterleiten. Beispielsweise kann das Signalverarbeitungssystem bewirken, dass das maschinelle Lernmodell unter Verwendung der Trainingsdaten trainiert wird.
Wie hierin beschrieben ist, können der Datenauswertungsprozess und der anschließende Datenfilterungsprozess tausende, hunderttausende, Millionen oder mehr Male wiederholt werden, um Sensordaten kontinuierlich auszuwerten. Durch das Filtern der Sensordaten unter Verwendung einer benutzerdefinierten Kategorie 605 (z. B. bereitgestellt von einer Benutzerrechenvorrichtung) kann das Signalverarbeitungssystem einen spezifischen Teil der Sensordaten für eine Kommentierung und für ein Training des maschinellen Lernmodells identifizieren. Diese zusätzlichen Merkmale können dem Signalverarbeitungssystem ermöglichen, ein maschinelles Lernmodell unter Verwendung von kommentierten Sensordaten genau und effizient zu trainieren.
Zusätzlich werden einige der hierin beschriebenen Funktionen oder Elemente während des Verifizierungsprozesses möglicherweise nicht verwendet oder sind möglicherweise nicht vorhanden. Beispielsweise muss das Signalverarbeitungssystem nicht notwendigerweise den Teil der Sensordaten übertragen, und das Signalverarbeitungssystem kann die Kommentierung der gefilterten Sensordaten vornehmen.
Beispielhafte Benutzeroberflächen
7 stellt eine beispielhafte Benutzeroberfläche 700 dar, auf der mehrere beispielhafte Merkmale in Übereinstimmung mit einer oder mehreren Ausführungsformen dargestellt sind. Die beispielhafte Benutzeroberfläche 700 kann einen oder mehrere wählbare Parameter einschließen, um einem Benutzer zu ermöglichen, einen bestimmten Filter für Sensordaten auszuwählen. Bei der dargestellten Ausführungsform in 7 schließt die Benutzeroberfläche 700 einen ersten wählbaren Parameter (z. B. einen Abschnitt 702 zum Erzeugen eines benutzerdefinierten Filters) und einen zweiten Abschnitt wählbarer Parameter (z. B. einen Filterauswahlabschnitt 704) ein. Es versteht sich, dass die Benutzeroberfläche 700 mehr, weniger oder andere Elemente einschließen kann. Die Benutzeroberfläche 700 kann eine beispielhafte Anzeige für das Anzeigen von Filtern, die Kategorien von Erfassungssitzungen entsprechen, sein. Die beispielhafte Benutzeroberfläche 700 ist eine Darstellung einer Oberfläche, die ein Rechensystem (z. B. ein Server in Kommunikation mit dem Signalverarbeitungssystem) erzeugt und einem Benutzer als Reaktion darauf, dass der Benutzer eine Filterung von Sensordaten anfordert, präsentiert. Die beispielhafte Benutzeroberfläche 700 kann für einen Benutzer verfügbar sein, um die Sensordaten für eine Kommentierung zu filtern. Die Benutzeroberfläche 700 kann als Reaktion auf eine Interaktion durch den Benutzer mit einer vorherigen Benutzeroberfläche erzeugt werden. Beispielsweise kann der Benutzer mit einem bestimmten Element auf einer vorherigen Benutzeroberfläche interagieren, um den Filterauswahlprozess zu initiieren.
Als nicht-einschränkendes Beispiel können ein oder mehrere Elemente der Benutzeroberfläche 700 verwendet werden, um einem Benutzer zu ermöglichen, einen bestimmten Filter für die Filterdaten zu definieren. Als Reaktion auf eine Auswahl eines bestimmten Filters kann das Signalverarbeitungssystem die Sensordaten filtern und die Sensordaten für eine Kommentierung bereitstellen. Beispielsweise kann das Signalverarbeitungssystem eine Auswahl eines bestimmten Filters erhalten und die Sensordaten filtern, um Sensordaten zu identifizieren, die einer bestimmten Kategorie von Erfassungssitzungen zugeordnet sind. Die Benutzeroberfläche 700 kann den Abschnitt 702 zum Erzeugen eines benutzerdefinierten Filters und den Filterauswahlabschnitt 704 einschließen, um einem Benutzer zu ermöglichen, einen bestimmten Filter auszuwählen.
Der Abschnitt 702 zum Erzeugen eines benutzerdefinierten Filters kann interaktiv sein, so dass ein Benutzer mit dem Abschnitt 702 zum Erzeugen eines benutzerdefinierten Filters interagieren kann. Durch ein Interagieren mit dem Abschnitt 702 zum Erzeugen eines benutzerdefinierten Filters kann die Benutzeroberfläche 700 aktualisiert werden, um eine aktualisierte Benutzeroberfläche bereitzustellen. Die aktualisierte Benutzeroberfläche kann mehrere Kategorietypen und mehrere Kategorieeingaben identifizieren. Beispielsweise kann die aktualisierte Benutzeroberfläche mehrere Kategorietypen einschließlich mit Metadaten zusammenhängender Kategorien, mit dem Fahrzeug zusammenhängender Kategorien, mit Sensordatenähnlichkeiten zusammenhängender Kategorien, Umweltcharakteristik-Kategorien, mit Fußgängern zusammenhängender Kategorien, mit maschinellen Lernmodellen zusammenhängender Kategorien etc. identifizieren.
Jeder Kategorietyp kann eine oder mehrere mögliche Kategorieeingaben aufweisen. Beispielsweise können die mit Metadaten zusammenhängenden Kategorien Standort, Entfernung, Reisedauer, Route, Quelle, Bestimmungsziel, Automatik- und/oder Manuell-Daten, die einem Fahrzeuggetriebe zugeordnet sind, etc. einschließen. Die mit dem Fahrzeug zusammenhängenden Kategorien können Fahrzeuggeschwindigkeit, Beschleunigung, ruckartige Bewegungen, Lenkwinkel, Haltung, Ausrichtung, Manöver etc. einschließen. Die mit Sensordatenähnlichkeit zusammenhängenden Kategorien können eine Schwellenähnlichkeit mit zuvor verarbeiteten oder kommentierten Bildern einschließen. Die Umweltcharakteristik-Kategorien können eine Tageszeit, Wetter, Sonneneinstrahlung, Flimmern etc. einschließen. Die mit Fußgängern zusammenhängenden Kategorien können einen Standort eines Fußgängers, ein Manöver eines Fußgängers etc. einschließen. Die mit maschinellen Lernmodellen zusammenhängenden Kategorien können eine Unsicherheit des maschinellen Lernmodells (z. B. Entropie) für bestimmte Sensordaten einschließen.
Durch ein Interagieren mit der aktualisierten Benutzeroberfläche kann der Benutzer einen Filter zum Filtern der Sensordaten bereitstellen. Ferner ermöglicht die aktualisierte Benutzeroberfläche einem Benutzer, eine benutzerdefinierte Filterdefinition bereitzustellen.
Der Filterauswahlabschnitt 704 kann interaktiv sein, so dass ein Benutzer mit dem Filterauswahlabschnitt 704 interagieren kann. Durch ein Interagieren mit dem Filterauswahlabschnitt 704 kann der Benutzer einen bestimmten Kategorietyp auswählen. Ferner kann der Benutzer durch ein Interagieren mit dem Filterauswahlabschnitt 704 eine bestimmte Kategorieeingabe für einen bestimmten Kategorietyp definieren. Beispielsweise kann jeder Filter einem Element zugeordnet sein, das einem Benutzer ermöglicht, eine Kategorieeingabe für den bestimmten Filter zu definieren. Der Filterauswahlabschnitt 704 kann mehrere Filter identifizieren, und jeder Filter kann einem anderen Kategorietyp zugeordnet sein.
Im Beispiel in 7 schließt der Filterauswahlabschnitt 704 einen ersten Filter 706, einen zweiten Filter 708, einen dritten Filter 710, einen vierten Filter 712, einen fünften Filter 714 und einen sechsten Filter 716 ein. Es versteht sich, dass der Filterauswahlabschnitt 704 mehr, weniger oder andere Filter definieren kann.
Der erste Filter 706 des Filterauswahlabschnitts 704 identifiziert einen „Protokollfilter“. Der Protokollfilter kann einem Benutzer ermöglichen, Sensordaten nach Protokollnamen, Datum, einem Fahrzeug zugeordneten Fahrzeugdaten etc. zu filtern. Ferner kann der Protokollfilter einem Benutzer ermöglichen, einen bestimmten Teil von Protokolldaten, die einem Datenspeicher zugeordnet sind (z. B. Protokolldaten, die einem Fahrzeug, einem Datum oder einem Protokoll zugeordnet sind), für ein Filtern zu identifizieren.
Der zweite Filter 708 des Filterauswahlabschnitts 704 identifiziert einen „Ampelfilter“. Der Ampelfilter kann einem Benutzer ermöglichen, Sensordaten nach dem Vorhandensein von Ampelattributen (z. B. einer Pfeilrichtung einer Ampel, einem Fußgänger an einer Ampel etc.) zu filtern.
Der dritte Filter 710 des Filterauswahlabschnitts 704 identifiziert einen „Intervallfilter“. Der Intervallfilter kann einem Benutzer ermöglichen, Sensordaten nach einem bestimmten Zeitabschnitt (z. B. Filtern der Sensordaten durch Auswählen einer Anfangszeit und/oder Endezeit von Einzelbildern in den Sensordaten) zu filtern.
Der vierte Filter 712 des Filterauswahlabschnitts 704 identifiziert einen „Objektfilter“. Der Objektfilter kann einem Benutzer ermöglichen, Filterdaten nach dem Vorhandensein eines Objekts in den Sensordaten (z. B. dem Vorhandensein eines Fahrzeugs, eines Fahrrads, eines Leitkegels etc., die in einem bestimmten Einzelbild der Sensordaten sichtbar sind) zu filtern.
Der fünfte Filter 714 des Filterauswahlabschnitts 704 identifiziert einen „räumlichen Sampler“. Der räumliche Sampler kann einem Benutzer ermöglichen, Sensordaten nach räumlichen Daten, die einem Einzelbild zugeordnet sind (z. B. einer Mindestentfernung, die sich ein Fahrzeug zwischen den jeweiligen Einzelbildern der Sensordaten bewegt hat), zu filtern.
Der sechste Filter 716 des Filterauswahlabschnitts 704 identifiziert einen „zeitlichen Sampler“. Der zeitliche Sampler kann einem Benutzer ermöglichen, Sensordaten nach einer Zeitdauer (z. B. einer Mindestzeitdauer zwischen Einzelbildern der Sensordaten) zu filtern. Somit kann die Benutzeroberfläche 700 einem Benutzer ermöglichen, eine benutzerdefinierte Filterdefinition zum Filtern von Sensordaten bereitzustellen.
8 stellt eine beispielhafte Benutzeroberfläche 800 dar, auf der mehrere beispielhafte Merkmale in Übereinstimmung mit einer oder mehreren Ausführungsformen dargestellt sind. Die beispielhafte Benutzeroberfläche 800 kann einen oder mehrere wählbare Parameter einschließen, um einem Benutzer zu ermöglichen, einen bestimmten Filter für Sensordaten auszuwählen. Die beispielhafte Benutzeroberfläche 800 kann ferner eine visuelle Wiedergabe von aufgenommenen Sensordaten (z. B. ein Bild) einschließen. Bei der dargestellten Ausführungsform in 8 schließt die Benutzeroberfläche 700 einen ersten wählbaren Parameter (z. B. einen Abschnitt 802 zum Erzeugen eines benutzerdefinierten Filters), einen zweiten Abschnitt wählbarer Parameter (z. B. einen Filterauswahlabschnitt 804) und einen visuellen Wiedergabeabschnitt 814 ein. Es versteht sich, dass die Benutzeroberfläche 800 mehr, weniger oder andere Elemente einschließen kann. Die Benutzeroberfläche 800 kann eine beispielhafte Anzeige für das Anzeigen von Filtern, die Kategorien von Erfassungssitzungen entsprechen, sein. Die beispielhafte Benutzeroberfläche 800 ist eine Darstellung einer Benutzeroberfläche, die ein Rechensystem (z. B. ein Server in Kommunikation mit dem Signalverarbeitungssystem) erzeugt und einem Benutzer als Reaktion darauf, dass der Benutzer eine Filterung von aufgenommenen Sensordaten anfordert, präsentiert. Die beispielhafte Benutzeroberfläche 800 kann für einen Benutzer verfügbar sein, um die Sensordaten für eine Kommentierung zu filtern. Die Benutzeroberfläche 800 kann als Reaktion auf eine Interaktion durch den Benutzer mit einer vorherigen Benutzeroberfläche erzeugt werden. Beispielsweise kann der Benutzer mit einem bestimmten Element auf einer vorherigen Benutzeroberfläche interagieren, um den Filterauswahlprozess zu initiieren.
Als nicht-einschränkendes Beispiel können ein oder mehrere Elemente der Benutzeroberfläche 800 verwendet werden, um einem Benutzer zu ermöglichen, einen bestimmten Filter für die Filterdaten zu definieren. Beispielsweise kann ein Benutzer mit dem Abschnitt 802 zum Erzeugen eines benutzerdefinierten Filters und/oder dem Filterauswahlabschnitt 804 interagieren. Als Reaktion auf eine Auswahl eines bestimmten Filters kann das Signalverarbeitungssystem die Sensordaten filtern und die Sensordaten mittels des visuellen Wiedergabeabschnitts 814 bereitstellen. In manchen Fällen kann die Benutzeroberfläche 800 die Sensordaten vor dem Filtern der Sensordaten anzeigen und kann den visuellen Wiedergabeabschnitt 814 auf Grundlage der Filterung der Sensordaten aktualisieren.
Wie vorstehend aufgeführt ist, kann der Abschnitt 802 zum Erzeugen eines benutzerdefinierten Filters interaktiv sein, so dass ein Benutzer mit dem Abschnitt 802 zum Erzeugen eines benutzerdefinierten Filters interagieren kann. Durch ein Interagieren mit dem Abschnitt 802 zum Erzeugen eines benutzerdefinierten Filters kann die Benutzeroberfläche 800 aktualisiert werden, um eine aktualisierte Benutzeroberfläche bereitzustellen. Die aktualisierte Benutzeroberfläche kann mehrere Kategorietypen und mehrere Kategorieeingaben identifizieren. Durch ein Interagieren mit der aktualisierten Benutzeroberfläche kann der Benutzer einen Filter zum Filtern der Sensordaten bereitstellen. Ferner ermöglicht die aktualisierte Benutzeroberfläche einem Benutzer, eine benutzerdefinierte Filterdefinition bereitzustellen.
Zusätzlich kann der Filterauswahlabschnitt 804 interaktiv sein, so dass ein Benutzer mit dem Filterauswahlabschnitt 804 interagieren kann. Durch ein Interagieren mit dem Filterauswahlabschnitt 804 kann der Benutzer einen zuvor definierten (z. B. gespeicherten) Filter auswählen. Beispielsweise kann der Filter unter Verwendung des Abschnitts 802 zum Erzeugen eines benutzerdefinierten Filters und/oder der Benutzeroberfläche 700 definiert werden. Der Filterauswahlabschnitt 804 kann mehrere Filter identifizieren, die jeweils einer bestimmten Kategorie von Erfassungssitzungen entsprechen.
In dem Beispiel in 8 schließt der Filterauswahlabschnitt 804 ein Suchfilterelement 806 ein. Das Suchfilterelement 806 kann Benutzern ermöglichen, eine Suchanfrage zu stellen, und das System kann einen bestimmten Filter als Reaktion auf die Suchanfrage identifizieren. Die Benutzeroberfläche 800 kann den identifizierten Filter als Reaktion auf die Suchanfrage anzeigen. Der Filterauswahlabschnitt 804 kann ferner einen ersten Filter 808, einen zweiten Filter 810 und einen dritten Filter 812 einschließen. Es versteht sich, dass der Filterauswahlabschnitt 804 mehr, weniger oder andere Filter identifizieren kann. Der erste Filter 808 kann ein Fahrradfilter (z. B. ein Filter zum Identifizieren von Sensordaten, die Fahrräder in einem Einzelbild identifizieren) sein. Der zweite Filter 810 kann ein „Fußgänger auf einem Fußgängerüberweg“-Filter (z. B. ein Filter zum Identifizieren von Sensordaten, die Fußgänger auf einem Fußgängerüberweg in einem Einzelbild identifizieren) sein. Der dritte Filter 812 kann ein Filter für regelwidrige Straßenüberquerungen (z. B. ein Filter zum Identifizieren von Sensordaten, die Fußgänger in einem Einzelbild identifizieren, welche die Straße regelwidrig abseits eines Fußgängerüberwegs überqueren) sein.
Beispielhaftes Flussdiagramm eines Signalprozessors
9 ist ein Flussdiagramm, das ein Beispiel für eine Routine 900 veranschaulicht, die durch einen oder mehrere Prozessoren implementiert wird (z. B. einen oder mehrere Prozessoren des Signalverarbeitungssystems 502). Das in 9 veranschaulichte Flussdiagramm ist lediglich für Veranschaulichungszwecke bereitgestellt. Es versteht sich, dass ein oder mehrere der Schritte der in 9 veranschaulichten Routine entfernt werden können oder dass die Reihenfolge der Schritte geändert werden kann. Ferner sind für den Zweck des Veranschaulichens eines deutlichen Beispiels eine oder mehrere bestimmte Systemkomponenten im Zusammenhang des Durchführens verschiedener Operationen während jeder der Datenflussstufen beschrieben. Es können jedoch andere Systemanordnungen und Verteilungen der Verarbeitungsschritte über Systemkomponenten hinweg verwendet werden.
Um Sensordaten für eine Kommentierung bereitzustellen, die mindestens einem Sensor zugeordnet sind, empfängt das Signalverarbeitungssystem 502 an Block 902 Sensordaten. Mehrere Sensoren (z. B. Sensoren, die einem Fahrzeug zugeordnet sind) können die Sensordaten während mehrerer Sensordaten-Erfassungssitzungen erfassen. Beispielsweise können die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, einschließen. Jede Sensordaten-Erfassungssitzung kann Daten entsprechen, die von einem oder mehreren Sensoren während einer Zeitdauer (z. B. einer Fahrzeugfahrt) erfasst wurden. Beispielsweise kann jede Sensordaten-Erfassungssitzung einer Abfolge von Sensordaten, die einer bestimmten Fahrzeugfahrt zugeordnet sind, entsprechen.
Die Sensordaten können Kameradaten, die einem Kamerabild zugeordnet sind, Radardaten, die einem Radarbild zugeordnet sind, LiDAR-Daten, die einem LiDAR-Bild zugeordnet sind, und/oder andere Sensordaten einschließen. Ferner kann der Sensor oder können die Sensoren, welche die Sensordaten erfassen, einen Kamerabildsensor, einen LiDAR-Sensor, einen Radarsensor oder beliebige andere Sensoren einschließen.
Die Sensordaten können Metadaten einschließen, die ein oder mehrere Merkmale der Sensordaten (z. B. ein Fahrzeug, das den Sensordaten zugeordnet ist, eine Erfassungszeit der Sensordaten, einen Sensor, der den Sensordaten zugeordnet ist, oder beliebige andere Daten, die dem Fahrzeug und/oder dem Sensor zugeordnet sind) einschließen.
In manchen Fällen können die Sensordaten durch ein Datenaufnahmesystem verarbeitet werden, bevor das Signalverarbeitungssystem 502 die Sensordaten empfängt. Das Datenaufnahmesystem kann die Sensordaten verarbeiten und die Sensordaten in einem Datenspeicher speichern, und das Signalverarbeitungssystem 502 kann die Sensordaten vom Datenspeicher empfangen. Somit empfängt das Signalverarbeitungssystem 502 die Sensordaten.
Um ein Filtern der Sensordaten zu ermöglichen, verarbeitet das Signalverarbeitungssystem 502 an Block 904 die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle. Das Signalverarbeitungssystem 502 kann die Sensordaten verarbeiten, um mehrere Erfassungssitzungssammlungen zu identifizieren, die in den und/oder durch die Sensordaten repräsentiert sind. Jede Erfassungssitzungssammlung kann Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen bzw. solchen zugeordnete Sensordaten repräsentieren. Ferner kann jede Erfassungssitzungssammlung Sensordaten repräsentieren, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen.
Jedes maschinelle Lernmodell kann identifizieren, ob die Sensordaten mit einer bestimmten Kategorie von Erfassungssitzungen, die dem maschinellen Lernmodell entspricht, übereinstimmen. Ferner kann jedes maschinelle Lernmodell die eine oder die mehreren Sensordaten-Erfassungssitzungen identifizieren, die der bestimmten Kategorie von Erfassungssitzungen, die dem maschinellen Lernmodell entspricht, zugeordnet sind.
Die Kategorien von Erfassungssitzungen können im Zusammenhang stehende Daten über Sensordaten-Erfassungssitzungen hinweg definieren. In manchen Fällen kann eine Kategorie von Erfassungssitzungen einen Fahrzeugstatus identifizieren. Die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der Kategorie übereinstimmen, können einem bestimmten Fahrzeugstatus zugeordnet werden. Beispielsweise kann der Fahrzeugstatus eine Geschwindigkeit, Beschleunigung, Ausrichtung, Standort oder Position des Fahrzeugs sein.
Die Kategorie von Erfassungssitzungen kann einen Status eines Fußgängers, der durch die Sensordaten identifiziert wurde, identifizieren. Die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der Kategorie übereinstimmen, können einem bestimmten Status des Fußgängers zugeordnet werden.
Die Kategorie von Erfassungssitzungen kann eine Umweltcharakteristik, die durch die Sensordaten identifiziert wurde, identifizieren. Die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der Kategorie übereinstimmen, können einer bestimmten Umweltcharakteristik zugeordnet werden. Beispielsweise kann die Umweltcharakteristik Blitze, Gewitter, Wetter etc. sein.
Die Kategorie von Erfassungssitzungen kann ein Objekt, einen Objekttyp, eine Objektklasse, einen Objektstandort etc., die von den Sensordaten identifiziert wurden, identifizieren. Die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der Kategorie übereinstimmen, können einem/einer bestimmten Objekt, Objekttyp oder Objektklasse zugeordnet werden. Beispielsweise kann ein Objekt ein Fahrrad, ein Fahrzeug, ein Fußgänger, ein Vogel, ein Flugzeug, ein Gebäude, ein sich in einem bestimmten Bereich befindendes Objekt (z. B. der Himmel) etc. sein. Die Kategorie von Erfassungssitzungen kann eine Menge an Objekten definieren, die den Sensordaten zugeordnet sind, die einem/einer bestimmten Objekt, Objekttyp, Objektklasse, Objektstandort etc. entsprechen. Beispielsweise kann die Kategorie von Erfassungssitzungen die Seltenheit eines Objekts auf Grundlage der Sensordaten definieren.
Die Kategorie von Erfassungssitzungen kann ein Objekt, einen Objekttyp, eine Objektklasse, einen Objektstandort etc. auf Grundlage einer Leistung eines maschinellen Lernmodells identifizieren. Beispielsweise kann die Kategorie von Erfassungssitzungen Sensordaten, die ein bestimmtes Objekt, einen bestimmten Objekttyp, eine bestimmte Objektklasse, einen bestimmten Objektstandort etc. einschließen, die von einem maschinellen Lernmodell (z. B. dem gleichen oder einem anderen maschinellen Lernmodell als dem zu trainierenden maschinellen Lernmodell) falsch benannt, falsch klassifiziert etc. wurden, auf Grundlage dessen, dass die Leistung des maschinellen Lernmodells unterhalb eines Schwellenwerts liegt, identifizieren.
Das Signalverarbeitungssystem 502 kann die Kategorien von Erfassungssitzungen unter Verwendung der mehreren maschinellen Lernmodelle und der Merkmale der Sensordaten definieren. Ferner kann das Signalverarbeitungssystem 502 Kennungen für jede Kategorie von Erfassungssitzungen bestimmen und die Kennungen einer Benutzerrechenvorrichtung (z. B. einer Endbenutzer-Rechenvorrichtung) bereitstellen. Beispielsweise kann das Signalverarbeitungssystem 502 eine Anzeige der Kennungen mittels einer Anzeige (z. B. einer Benutzeroberfläche) der Benutzerrechenvorrichtung bewirken. Das Signalverarbeitungssystem 502 kann eine Auswahl einer Kennung von der Benutzerrechenvorrichtung empfangen. Die Auswahl einer Kennung kann eine benutzerdefinierte Kategorie (eine bestimmte Kategorie der Kategorien von Erfassungssitzungen) zum Filtern der Sensordaten identifizieren. Somit verarbeitet das Signalverarbeitungssystem 502 die Sensordaten unter Verwendung der mehreren maschinellen Lernmodelle.
Basierend auf der Verarbeitung der Sensordaten filtert das Signalverarbeitungssystem 502 an Block 906 die Sensordaten auf Grundlage der benutzerdefinierten Kategorie. Das Signalverarbeitungssystem 502 kann die Sensordaten filtern, um eine Erfassungssitzungssammlung zu identifizieren, die Sensordaten aus Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert. Beispielsweise kann das Signalverarbeitungssystem 502 die Sensordaten auf Grundlage der Bestimmung, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten zugeordnet sind, dem seltenen Objekt entsprechen, filtern, um Sensordaten zu identifizieren, die ein besonders seltenes Objekt einschließen. Das Signalverarbeitungssystem 502 kann eine Anzeige der Sensordaten aus den Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels der Anzeige der Benutzerrechenvorrichtung bewirken. Als Reaktion auf und/oder auf Grundlage des Bewirkens einer Anzeige der Sensordaten kann das Signalverarbeitungssystem 502 eine Bestätigung von der Benutzerrechenvorrichtung empfangen. Die Bestätigung von der Benutzerrechenvorrichtung kann identifizieren, dass die Sensordaten kommentiert werden können. Somit filtert das Signalverarbeitungssystem 502 die Sensordaten auf Grundlage der benutzerdefinierten Kategorie.
Basierend auf einem Filtern der Sensordaten überträgt das Signalverarbeitungssystem 502 an Block 908 Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen. Das Signalverarbeitungssystem 502 kann die Sensordaten an eine Benutzerrechenvorrichtung übertragen (z. B. weiterleiten). Beispielsweise kann das Signalverarbeitungssystem 502 die Sensordaten auf Grundlage des Empfangens der Bestätigung von der Benutzerrechenvorrichtung für eine Kommentierung übertragen. Bei einigen Ausführungsformen kann das Signalverarbeitungssystem 502 eine Kommentierung der Sensordaten vornehmen. Beispielsweise kann das Signalverarbeitungssystem 502 ein Netzwerk einschließen, um die Kommentierung vorzunehmen.
Basierend auf einer Übertragung der Sensordaten für eine Kommentierung und/oder dem Durchführen der Kommentierung durch das Signalverarbeitungssystem 502 können kommentierte Sensordaten erzeugt werden. Die kommentierten Sensordaten können einen Kommentar einschließen, der einem Objekt innerhalb eines Bildes zugeordnet ist. Beispielsweise kann der Kommentar ein Objekt innerhalb eines Bildes als Fahrrad identifizieren. Das Signalverarbeitungssystem 502 kann ein maschinelles Lernmodell unter Verwendung der kommentierten Sensordaten trainieren, um eine erwartete Ausgabe des maschinellem Lernmodells zu definieren. Somit überträgt das Signalverarbeitungssystem 502 die Sensordaten der einen oder mehreren Sensordaten-Erfassungssitzungen.
Es versteht sich, dass die Routine 900 für ein Training verschiedener maschineller Lernmodelle mehrfach wiederholt werden kann. In manchen Fällen kann das Signalverarbeitungssystem 502 die Routine 900 iterativ für mehrere Sätze von Sensordaten wiederholen, die vom gleichen Sensor empfangen werden. Ferner kann das Signalverarbeitungssystem 502 die Routine 900 für unterschiedliche Sensoren wiederholen.
In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf zahlreiche konkrete Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Schutzbereich der Erfindung und das, was durch die Anmelder als Schutzbereich der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzbereich der Menge der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Zusätzlich, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.
Verschiedene zusätzliche beispielhafte Ausführungsformen der Offenbarung können durch die folgenden zusätzlichen Klauseln beschrieben werden:

Klausel 1: Verfahren, umfassend:
- Empfangen, mit mindestens einem Prozessor, von Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden;
- Verarbeiten der Sensordaten unter Verwendung mehrerer maschineller Lernmodelle, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden;
- Filtern der Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und
- Übertragen der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung.
Klausel 2: Verfahren nach Klausel 1, wobei die Sensordaten mindestens eines von Kameradaten, LiDAR-Daten oder Radardaten umfassen.
Klausel 3: Verfahren nach Klausel 1 oder Klausel 2, wobei der mindestens eine Sensor mindestens einen von einem Kamerabildsensor, einem LiDAR-Sensor oder einem Radarsensor umfasst.
Klausel 4: Verfahren nach einer beliebigen der Klauseln 1 bis 3, ferner umfassend:
- Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und
- Trainieren eines maschinellen Lernmodells mindestens teilweise auf Grundlage der kommentierten Sensordaten.
Klausel 5: Verfahren nach einer beliebigen der Klauseln 1 bis 4, ferner umfassend:
- Bereitstellen einer Kennung der benutzerdefinierten Kategorie an die Rechenvorrichtung; und
- Empfangen einer Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung.
Klausel 6: Verfahren nach einer beliebigen der Klauseln 1 bis 5, ferner ein Bewirken der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung umfassend.
Klausel 7: Verfahren nach einer beliebigen der Klauseln 1 bis 6, ferner umfassend:
- Bewirken einer Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung;
- Empfangen einer Bestätigung von der Rechenvorrichtung mindestens teilweise auf Grundlage von einem Bewirken der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen; und
- Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, mindestens teilweise auf Grundlage von einem Empfangen der Bestätigung von der Rechenvorrichtung, um kommentierte Sensordaten zu erzeugen.
Klausel 8: Verfahren nach einer beliebigen der Klauseln 1 bis 7, wobei die Sensordaten verarbeitete Sensordaten umfassen, die dem mindestens einen Sensor zugeordnet sind, wobei ein Empfangen der Sensordaten ein Empfangen der Sensordaten von einem Datenspeicher umfasst.
Klausel 9: Verfahren nach einer beliebigen der Klauseln 1 bis 8, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Klausel 10: Verfahren nach einer beliebigen der Klauseln 1 bis 9, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Klausel 11: Verfahren nach einer beliebigen der Klauseln 1 bis 10, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst. Klausel 12: Verfahren nach einer beliebigen der Klauseln 1 bis 11, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Klausel 13: Verfahren nach Klausel 12, wobei der bestimmte Objekttyp mindestens einen aus einem Fahrrad, einem Fahrzeug oder einem Fußgänger umfasst.
Klausel 14: Verfahren nach Klausel 13, wobei ein Filtern der Sensordaten ferner mindestens teilweise auf dem Bestimmen basiert, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet sind, dem bestimmten Objekttyp entspricht.
Klausel 15: Verfahren nach einer beliebigen der Klauseln 1 bis 14, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, identifizieren, dass ein Objekt, das den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet ist, sich in einem bestimmten Bereich befindet.
Klausel 16: Verfahren nach einer beliebigen der Klauseln 1 bis 15, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.
Klausel 17: Verfahren nach einer beliebigen der Klauseln 1 bis 16, wobei jede der mehreren Sensordaten-Erfassungssitzungen einer Abfolge von Sensordaten entspricht, die der Fahrzeugfahrt zugeordnet sind.
Klausel 18: Verfahren nach einer beliebigen der Klauseln 1 bis 17, wobei die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, umfassen.
Klausel 19: System, umfassend:
- mindestens einen Prozessor, und
- mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Folgendes durchführt:
  - Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, empfangen, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden;
  - die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden;
  - die Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen filtern, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und
  - die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung übertragen.
Klausel 20: Mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch ein Rechensystem, das einen Prozessor umfasst, bewirken, dass das Rechensystem Folgendes durchführt:
- Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, empfangen, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden;
- die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden;
- die Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen filtern, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und
- die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung übertragen.
Klausel 21: Verfahren, umfassend:
- Empfangen, mit mindestens einem Prozessor, von Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden;
- Verarbeiten der Sensordaten unter Verwendung mehrerer maschineller Lernmodelle, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden; und
- Filtern der Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert.
Klausel 22: Verfahren nach Klausel 21, ferner das Übertragen der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung umfassend.
Klausel 23: Verfahren nach Klausel 21 oder Klausel 22, ferner umfassend:
- Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und
- Trainieren eines maschinellen Lernmodells mindestens teilweise auf Grundlage der kommentierten Sensordaten.
Klausel 24: Verfahren nach einer beliebigen der Klauseln 21 bis 23, ferner umfassend:
- Bereitstellen einer Kennung der benutzerdefinierten Kategorie an eine Rechenvorrichtung; und
- Empfangen einer Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung.
Klausel 25: Verfahren nach einer beliebigen der Klauseln 21 bis 24, ferner ein Bewirken der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige einer Rechenvorrichtung umfassend.
Klausel 26: Verfahren nach einer beliebigen der Klauseln 21 bis 25, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Klausel 27: Verfahren nach einer beliebigen der Klauseln 21 bis 26, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Klausel 28: Verfahren nach einer beliebigen der Klauseln 21 bis 27, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst.
Klausel 29: Verfahren nach einer beliebigen der Klauseln 21 bis 28, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Klausel 30: Verfahren nach einer beliebigen der Klauseln 21 bis 29, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.
Klausel 31: System nach Klausel 19, wobei die Sensordaten mindestens eines von Kameradaten, LiDAR-Daten oder Radardaten umfassen.
Klausel 32: System nach Klausel 19 oder 31, wobei der mindestens eine Sensor mindestens einen von einem Kamerabildsensor, einem LiDAR-Sensor oder einem Radarsensor umfasst.
Klausel 33: System nach einer beliebigen der Klauseln 19 oder 31 bis 32, wobei eine Ausführung der Anweisungen ferner bewirkt, dass der mindestens eine Prozessor:
- die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, weiterleitet, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und
- ein maschinelles Lernmodell mindestens teilweise auf Grundlage der kommentierten Sensordaten trainiert.
Klausel 34: System nach einer beliebigen der Klauseln 19 oder 31 bis 33, wobei eine Ausführung der Anweisungen ferner bewirkt, dass der mindestens eine Prozessor:
- eine Kennung der benutzerdefinierten Kategorie für die Rechenvorrichtung bereitstellt; und
- eine Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung empfängt.
Klausel 35: Verfahren nach einer beliebigen der Klauseln 19 oder 31 bis 34, wobei eine Ausführung der Anweisungen ferner bewirkt, dass der mindestens eine Prozessor eine Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung bewirkt.
Klausel 36: System nach einer beliebigen der Klauseln 19 oder 31 bis 35, wobei eine Ausführung der Anweisungen ferner bewirkt, dass der mindestens eine Prozessor:
- eine Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung bewirkt;
- eine Bestätigung von der Rechenvorrichtung mindestens teilweise auf Grundlage eines Bewirkens der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, empfängt; und
- die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, mindestens teilweise auf Grundlage eines Empfangens der Bestätigung von der Rechenvorrichtung weiterleitet, um kommentierte Sensordaten zu erzeugen.
Klausel 37: System nach einer beliebigen der Klauseln 19 oder 31 bis 36, wobei die Sensordaten verarbeitete Sensordaten umfassen, die dem mindestens einen Sensor zugeordnet sind, wobei ein Empfangen der Sensordaten ein Empfangen der Sensordaten von einem Datenspeicher umfasst.
Klausel 38: System nach einer beliebigen der Klauseln 19 oder 31 bis 37, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Klausel 39: System nach einer beliebigen der Klauseln 19 oder 31 bis 38, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Klausel 40: System nach einer beliebigen der Klauseln 19 oder 31 bis 39, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst.
Klausel 41: System nach einer beliebigen der Klauseln 19 oder 31 bis 40, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Klausel 42: System nach Klausel 41, wobei der bestimmte Objekttyp mindestens einen aus einem Fahrrad, einem Fahrzeug oder einem Fußgänger umfasst.
Klausel 43: System nach Klausel 42, wobei ein Filtern der Sensordaten ferner mindestens teilweise auf dem Bestimmen basiert, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet sind, dem bestimmten Objekttyp entspricht.
Klausel 44: System nach einer beliebigen der Klauseln 19 oder 31 bis 43, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, identifizieren, dass ein Objekt, das den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet ist, sich in einem bestimmten Bereich befindet.
Klausel 45: System nach einer beliebigen der Klauseln 19 oder 31 bis 44, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.
Klausel 46: System nach einer beliebigen der Klauseln 19 oder 31 bis 45, wobei jede der mehreren Sensordaten-Erfassungssitzungen einer Abfolge von Sensordaten entspricht, die der Fahrzeugfahrt zugeordnet sind.
Klausel 47: System nach einer beliebigen der Klauseln 19 oder 31 bis 46, wobei die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, umfassen.
Klausel 48: Das mindestens eine nichtflüchtige Speichermedium nach Klausel 20, wobei die Sensordaten mindestens eines von Kameradaten, LiDAR-Daten oder Radardaten umfassen.
Klausel 49: Das mindestens eine nichtflüchtige Speichermedium nach Klausel 20 oder 48, wobei der mindestens eine Sensor mindestens einen von einem Kamerabildsensor, einem LiDAR-Sensor oder einem Radarsensor umfasst.
Klausel 50: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 49, wobei eine Ausführung der Anweisungen ferner bewirkt, dass das Rechensystem:
- die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, weiterleitet, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und
- ein maschinelles Lernmodell mindestens teilweise auf Grundlage der kommentierten Sensordaten trainiert.
Klausel 51: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 50, wobei eine Ausführung der Anweisungen ferner bewirkt, dass das Rechensystem:
- eine Kennung der benutzerdefinierten Kategorie für die Rechenvorrichtung bereitstellt; und
- eine Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung empfängt.
Klausel 52: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 51, wobei eine Ausführung der Anweisungen ferner bewirkt, dass das Rechensystem eine Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung bewirkt.
Klausel 53: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 52, wobei eine Ausführung der Anweisungen ferner bewirkt, dass das Rechensystem:
- eine Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung bewirkt;
- eine Bestätigung von der Rechenvorrichtung mindestens teilweise auf Grundlage eines Bewirkens der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, empfängt; und
- die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, mindestens teilweise auf Grundlage eines Empfangens der Bestätigung von der Rechenvorrichtung weiterleitet, um kommentierte Sensordaten zu erzeugen.
Klausel 54: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 53, wobei die Sensordaten verarbeitete Sensordaten umfassen, die dem mindestens einen Sensor zugeordnet sind, wobei ein Empfangen der Sensordaten ein Empfangen der Sensordaten von einem Datenspeicher umfasst. Klausel 55: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 54, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Klausel 56: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 55, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Klausel 57: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 56, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst.
Klausel 58: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 57, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Klausel 59: Das mindestens eine nichtflüchtige Speichermedium nach Klausel 58, wobei der bestimmte Objekttyp mindestens einen aus einem Fahrrad, einem Fahrzeug oder einem Fußgänger umfasst.
Klausel 60: Das mindestens eine nichtflüchtige Speichermedium nach Klausel 59, wobei ein Filtern der Sensordaten ferner mindestens teilweise auf dem Bestimmen basiert, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet sind, dem bestimmten Objekttyp entspricht.
Klausel 61: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 60, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, identifizieren, dass ein Objekt, das den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet ist, sich in einem bestimmten Bereich befindet. Klausel 62: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 61, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.
Klausel 63: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 62, wobei jede der mehreren Sensordaten-Erfassungssitzungen einer Abfolge von Sensordaten entspricht, die der Fahrzeugfahrt zugeordnet sind.
Klausel 64: Das mindestens eine nichtflüchtige Speichermedium nach einer beliebigen der Klauseln 20 oder 48 bis 63, wobei die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, umfassen.
Klausel 65: Verfahren nach einer beliebigen der Klauseln 21 bis 30, wobei die Sensordaten mindestens eines von Kameradaten, LiDAR-Daten oder Radardaten umfassen.
Klausel 66: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65, wobei der mindestens eine Sensor mindestens einen von einem Kamerabildsensor, einem LiDAR-Sensor oder einem Radarsensor umfasst.
Klausel 67: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65 bis 66, ferner umfassend:
- Bewirken einer Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung;
- Empfangen einer Bestätigung von der Rechenvorrichtung mindestens teilweise auf Grundlage eines Bewirkens der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen; und
- Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, mindestens teilweise auf Grundlage von einem Empfangen der Bestätigung von der Rechenvorrichtung, um kommentierte Sensordaten zu erzeugen.
Klausel 68: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65 bis 67, wobei die Sensordaten verarbeitete Sensordaten umfassen, die dem mindestens einen Sensor zugeordnet sind, wobei ein Empfangen der Sensordaten ein Empfangen der Sensordaten von einem Datenspeicher umfasst.
Klausel 69: Verfahren nach Anspruch 29, wobei der bestimmte Objekttyp mindestens einen aus einem Fahrrad, einem Fahrzeug oder einem Fußgänger umfasst.
Klausel 70: Verfahren nach Klausel 69, wobei ein Filtern der Sensordaten ferner mindestens teilweise auf dem Bestimmen basiert, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet sind, dem bestimmten Objekttyp entspricht.
Klausel 71: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65 bis 70, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, identifizieren, dass ein Objekt, das den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet ist, sich in einem bestimmten Bereich befindet.
Klausel 72: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65 bis 71, wobei jede der mehreren Sensordaten-Erfassungssitzungen einer Abfolge von Sensordaten entspricht, die der Fahrzeugfahrt zugeordnet sind.
Klausel 73: Verfahren nach einer beliebigen der Klauseln 21 bis 30 oder 65 bis 72, wobei die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, umfassen.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17/656169 [0001]

Claims

Verfahren, umfassend: Empfangen, mit mindestens einem Prozessor, von Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden; Verarbeiten der Sensordaten unter Verwendung mehrerer maschineller Lernmodelle, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden; Filtern der Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und Übertragen der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung.
Verfahren nach Anspruch 1, wobei die Sensordaten mindestens eines von Kameradaten, LiDAR-Daten oder Radardaten umfassen.
Verfahren nach Anspruch 1 oder Anspruch 2, wobei der mindestens eine Sensor mindestens einen von einem Kamerabildsensor, einem LiDAR-Sensor oder einem Radarsensor umfasst.
Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend: Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und Trainieren eines maschinellen Lernmodells mindestens teilweise auf Grundlage der kommentierten Sensordaten.
Verfahren nach einem der Ansprüche 1 bis 4, ferner umfassend: Bereitstellen einer Kennung der benutzerdefinierten Kategorie an die Rechenvorrichtung; und Empfangen einer Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung.
Verfahren nach einem beliebigen der Ansprüche 1 bis 5, ferner ein Bewirken der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung umfassend.
Verfahren nach einem der Ansprüche 1 bis 6, ferner umfassend: Bewirken einer Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige der Rechenvorrichtung; Empfangen einer Bestätigung von der Rechenvorrichtung mindestens teilweise auf Grundlage eines Bewirkens der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen; und Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, mindestens teilweise auf Grundlage von einem Empfangen der Bestätigung von der Rechenvorrichtung, um kommentierte Sensordaten zu erzeugen.
Verfahren nach einem beliebigen der Ansprüche 1 bis 7, wobei die Sensordaten verarbeitete Sensordaten umfassen, die dem mindestens einen Sensor zugeordnet sind, wobei ein Empfangen der Sensordaten ein Empfangen der Sensordaten von einem Datenspeicher umfasst.
Verfahren nach einem beliebigen der Ansprüche 1 bis 8, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Verfahren nach einem beliebigen der Ansprüche 1 bis 9, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Verfahren nach einem beliebigen der Ansprüche 1 bis 10, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst.
Verfahren nach einem beliebigen der Ansprüche 1 bis 11, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Verfahren nach Anspruch 12, wobei der bestimmte Obj ekttyp mindestens einen aus einem Fahrrad, einem Fahrzeug oder einem Fußgänger umfasst.
Verfahren nach Anspruch 13, wobei ein Filtern der Sensordaten ferner mindestens teilweise auf dem Bestimmen basiert, dass weniger als eine Schwellenmenge von Objekten, die den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet sind, dem bestimmten Objekttyp entspricht.
Verfahren nach einem beliebigen der Ansprüche 1 bis 14, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, identifizieren, dass ein Objekt, das den Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, zugeordnet ist, sich in einem bestimmten Bereich befindet.
Verfahren nach einem beliebigen der Ansprüche 1 bis 15, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.
Verfahren nach einem beliebigen der Ansprüche 1 bis 16, wobei jede der mehreren Sensordaten-Erfassungssitzungen einer Abfolge von Sensordaten entspricht, die der Fahrzeugfahrt zugeordnet sind.
Verfahren nach einem beliebigen der Ansprüche 1 bis 17, wobei die Sensordaten erste Sensordaten, die von einem ersten Sensor, der einem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, und zweite Sensordaten, die von einem zweiten Sensor, der dem Fahrzeug zugeordnet ist, während der mehreren Sensordaten-Erfassungssitzungen erfasst wurden, umfassen.
System, umfassend: mindestens einen Prozessor, und mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Folgendes durchführt: Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, empfangen, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden; die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden; die Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen filtern, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung übertragen.
Mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch ein Rechensystem, das einen Prozessor umfasst, bewirken, dass das Rechensystem Folgendes durchführt: Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, empfangen, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden; die Sensordaten unter Verwendung mehrerer maschineller Lernmodelle verarbeiten, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden; die Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen filtern, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert; und die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung übertragen.
Verfahren, umfassend: Empfangen, mit mindestens einem Prozessor, von Sensordaten, die während mehrerer Sensordaten-Erfassungssitzungen erfasst wurden, wobei jede der mehreren Sensordaten-Erfassungssitzungen Daten entspricht, die von mindestens einem Sensor während einer Fahrzeugfahrt erfasst wurden; Verarbeiten der Sensordaten unter Verwendung mehrerer maschineller Lernmodelle, um mehrere Erfassungssitzungssammlungen, die in den Sensordaten repräsentiert sind, zu identifizieren, wobei jede der mehreren Erfassungssitzungssammlungen Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen repräsentiert, die mit einer bestimmten Kategorie von Erfassungssitzungen aus mehreren Kategorien von Erfassungssitzungen übereinstimmen; wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen von einem jeweiligen maschinellen Lernmodell aus den mehreren maschinellen Lernmodellen, das ausgelegt ist, um aus den Sensordaten die eine oder mehreren Sensordaten-Erfassungssitzungen zu identifizieren, die mit der bestimmten Kategorie von Erfassungssitzungen übereinstimmen, identifiziert werden; und Filtern der Sensordaten mindestens teilweise auf Grundlage einer benutzerdefinierten Kategorie der mehreren Kategorien von Erfassungssitzungen, um eine Erfassungssitzungssammlung aus den mehreren Erfassungssitzungssammlungen zu identifizieren, die Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, repräsentiert.
Verfahren nach Anspruch 21, ferner das Übertragen der Sensordaten aus einer oder mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, an eine Rechenvorrichtung umfassend.
Verfahren nach Anspruch 21 oder Anspruch 22, ferner umfassend: Weiterleiten der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie für eine Kommentierung übereinstimmen, um kommentierte Sensordaten zu erzeugen, wobei die kommentierten Sensordaten einen Kommentar umfassen, der einem Objekt innerhalb eines Bildes zugeordnet ist; und Trainieren eines maschinellen Lernmodells mindestens teilweise auf Grundlage der kommentierten Sensordaten.
Verfahren nach einem der Ansprüche 21 bis 23, ferner umfassend: Bereitstellen einer Kennung der benutzerdefinierten Kategorie an eine Rechenvorrichtung; und Empfangen einer Auswahl der Kennung der benutzerdefinierten Kategorie von der Rechenvorrichtung.
Verfahren nach einem beliebigen der Ansprüche 21 bis 24, ferner ein Bewirken der Anzeige der Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, mittels einer Anzeige einer Rechenvorrichtung umfassend.
Verfahren nach einem beliebigen der Ansprüche 21 bis 25, wobei der mindestens eine Sensor einem Fahrzeug zugeordnet ist, wobei die benutzerdefinierte Kategorie einen bestimmten Status des Fahrzeugs identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status des Fahrzeugs zugeordnet sind, wobei der bestimmte Status des Fahrzeugs mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einer Ausrichtung des Fahrzeugs, einem Standort des Fahrzeugs oder einer Position des Fahrzeugs umfasst.
Verfahren nach einem beliebigen der Ansprüche 21 bis 26, wobei die benutzerdefinierte Kategorie einen Status eines Fußgängers identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einem bestimmten Status eines Fußgängers zugeordnet sind.
Verfahren nach einem beliebigen der Ansprüche 21 bis 27, wobei die benutzerdefinierte Kategorie eine Umweltcharakteristik identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, einer bestimmten Umweltcharakteristik zugeordnet sind, wobei die mindestens eine Umweltcharakteristik mindestens eine aus Blitz, Wetter oder Tageszeit umfasst.
Verfahren nach einem beliebigen der Ansprüche 21 bis 28, wobei die benutzerdefinierte Kategorie einen bestimmten Objekttyp identifiziert, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, dem bestimmten Objekttyp zugeordnet sind.
Verfahren nach einem beliebigen der Ansprüche 21 bis 29, wobei die Sensordaten aus der einen oder den mehreren Sensordaten-Erfassungssitzungen, die mit der benutzerdefinierten Kategorie übereinstimmen, Sensordaten identifizieren, die einer Leistung eines maschinellen Lernmodells unterhalb eines Schwellenwerts zugeordnet sind.