DE102021106900A1

DE102021106900A1 - Fahrzeugunsicherheitsaustausch

Info

Publication number: DE102021106900A1
Application number: DE102021106900.9A
Authority: DE
Inventors: Shreyasha Paudel; Marcos Paul Gerardo Castro; Sandhya Bhaskar; Clifton K. Thomas
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-03-25
Filing date: 2021-03-19
Publication date: 2021-09-30
Also published as: US20210300356A1; CN113442916A

Abstract

Diese Offenbarung stellt einen Fahrzeugunsicherheitsaustausch bereit. Ein Computer, einschließlich ein Prozessor und ein Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor zu Folgendem ausgeführt werden sollen: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten aus einer Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, einer Objektidentifizierung, einer Messung von einem oder mehreren Objektattributen, und einer Ungewissheit, die eine Wahrscheinlichkeit einer korrekten Obj ektidentifizierung für die Obj ektidentifizierung und die Objektattribute festlegt, die auf Grundlage der Sensordaten bestimmt sind, wobei die Objektattribute eine Objektgröße, eine Objektform und einen Objektort beinhalten. Die Anweisungen beinhalten ferner Anweisungen dazu, eine Karte auf Grundlage der Datenbank einschließlich der jeweiligen Orte und entsprechenden Unsicherheiten für den Fahrzeugtyp zu bestimmen, und die Karte auf Grundlage von dem Fahrzeugort und dem Fahrzeugtyp auf ein Fahrzeug herunterzuladen.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erlangen und um das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten hinsichtlich zu fahrender Strecken und zu vermeidender Objekte in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann sich auf das Erlangen genauer und aktueller Daten zu Objekten in der Umgebung eines Fahrzeugs während des Betriebs des Fahrzeugs auf einer Fahrbahn stützen.
KURZDARSTELLUNG
Fahrzeuge können derart ausgestattet sein, dass sie sowohl in einem autonomen als auch in einem insassengesteuerten Modus arbeiten. Unter einem halb- oder vollautonomen Modus wird ein Betriebsmodus verstanden, in dem ein Fahrzeug teilweise oder vollständig von einer Rechenvorrichtung als Teil eines Systems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, wobei das Fahrzeug in beiden Fällen teilweise oder vollständig ohne Unterstützung eines Insassen gesteuert werden kann. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem jedes von Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs durch einen oder mehrere Fahrzeugcomputer gesteuert wird; in einem teilautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nichtautonomen Modus wird keines von diesen durch einen Computer gesteuert.
Eine Computervorrichtung in einem Fahrzeug kann dazu programmiert sein, Sensordaten bezüglich der externen Umgebung eines Fahrzeugs zu erlangen und die Sensordaten an einen Servercomputer zu übermitteln. Der Servercomputer kann eine Datenbank verwalten, die Daten zu Objekten, die anhand der Sensordaten identifiziert und lokalisiert sind, sowie Daten zur Genauigkeit der Identifikations- und Ortsdaten beinhaltet. Der Servercomputer kann die Genauigkeitsdaten auf Grundlage des realen Orts der identifizierten Objekte kartieren, um Hotspots zu bilden und die Hotspot-Kartendaten während des Betriebs auf Fahrzeuge herunterladen. Der Servercomputer kann die Hotspot-Kartendaten auf Grundlage des Fahrzeugtyps, der die Sensordaten erlangt hat, und den Umgebungsbedingungen, unter denen sie erlangt wurden, sortieren, um sicherzustellen, dass die Genauigkeitsdaten für das Fahrzeug relevant sind, das die heruntergeladenen Hotspot-Kartendaten empfängt.
Hierin ist ein Verfahren offenbart, das Folgendes beinhaltet: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten für eine Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, eines jeweiligen Orts, einer Objektidentifikation, einer Messung eines physischen Attributs des Objekts und einer Unsicherheit, die eine Wahrscheinlichkeit einer korrekten Objektidentifikation für einen Fahrzeugtyp, für die Objektidentifikation und das physische Attribut spezifiziert, das auf Grundlage der Sensordaten bestimmt wird, wobei das physische Attribut einen Objektort beinhaltet. Eine Karte kann auf Grundlage der Datenbank einschließlich der jeweiligen Orte und entsprechenden Unsicherheiten für den Fahrzeugtyp bestimmt werden und die Karte kann auf Grundlage von einem Fahrzeugort und dem Fahrzeugtyp auf ein Fahrzeug heruntergeladen werden. Ein Computer in dem Fahrzeug kann einen Fahrzeugcomputerprozessor und einen Fahrzeugcomputerspeicher beinhalten, der Anweisungen beinhaltet, die durch den Fahrzeugcomputerprozessor dazu ausführbar sind, das Fahrzeug auf Grundlage der heruntergeladenen Karte zu betreiben. Das Objekt kann eines oder mehrere von einem Fahrzeug und einem Fußgänger beinhalten. Die Fahrzeugsensordaten können eines oder mehrere von Fahrzeugvideodaten, Fahrzeuglidardaten, Fahrzeugradardaten und Fahrzeugultraschallsensordaten beinhalten. Der Fahrzeugtyp kann eines oder mehrere von einer Fahrzeugmarke und einem Fahrzeugmodell beinhalten.
Die Unsicherheiten können durch Kombinieren von Unsicherheiten für ein oder mehrere Objekte mit einem selben Ort und die durch eine Vielzahl von zweiten Fahrzeugen desselben Fahrzeugtyps berichtet sind, bestimmt werden. Die Datenbank kann durch Kombinieren der Unsicherheit mit Umweltbedingungen, die eines oder mehrere von Tageszeit, Jahreszeit und Wetterbedingungen beinhalten, bestimmt werden. Die Objektdaten können eine Geschwindigkeit des Objekts beinhalten, wobei die Geschwindigkeit die Objektgeschwindigkeit und die Objektrichtung beinhaltet. Die Objektdaten können durch Verarbeiten von Fahrzeugsensordaten mit einem tiefen neuronalen Netzwerk bestimmt werden, um das physische Attribut des Objekts, die Objektidentität und die Unsicherheit zu bestimmen. Die Karte kann in das tiefe neuronale Netzwerk eingegeben werden, um die Objektidentität, die physischen Attribute des Objekts und die Unsicherheit zu bestimmen. Das tiefe neuronale Netzwerk kann auf Grundlage der Karte trainiert werden. Die Karte kann einen oder mehrere Hotspots beinhalten, wobei jeder Hotspot einen realen Ort und die Unsicherheit beinhaltet, die dem realen Ort entspricht. Der eine oder die mehreren Hotspots können eine Fahrzeugmarke und ein -modell beinhalten. Die Karte kann über einen Server-Daten-Handler und einen Client-Daten-Handler auf das Fahrzeug heruntergeladen werden.
Ferner ist ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder aller der vorangehenden Verfahrensschritte gespeichert sind. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder aller der vorhergehenden Verfahrensschritte programmiert ist, einschließlich einer Computervorrichtung, die zu Folgendem programmiert ist: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten für eine Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, eines jeweiligen Orts, einer Objektidentifikation, einer Messung eines physischen Attributs des Objekts und einer Unsicherheit, die eine Wahrscheinlichkeit einer korrekten Objektidentifikation für einen Fahrzeugtyp, für die Objektidentifikation und das physische Attribut spezifiziert, das auf Grundlage der Sensordaten bestimmt wird, wobei das physische Attribut einen Objektort beinhaltet. Eine Karte kann auf Grundlage der Datenbank einschließlich der jeweiligen Orte und entsprechenden Unsicherheiten für den Fahrzeugtyp bestimmt werden, und die Karte kann auf Grundlage von einem Fahrzeugort und dem Fahrzeugtyp auf ein Fahrzeug heruntergeladen werden. Ein Computer in dem Fahrzeug kann einen Fahrzeugcomputerprozessor und einen Fahrzeugcomputerspeicher beinhalten, der Anweisungen beinhaltet, die durch den Fahrzeugcomputerprozessor dazu ausführbar sind, das Fahrzeug auf Grundlage der heruntergeladenen Karte zu betreiben. Das Objekt kann eines oder mehrere von einem Fahrzeug und einem Fußgänger beinhalten. Die Fahrzeugsensordaten können eines oder mehrere von Fahrzeugvideodaten, Fahrzeuglidardaten, Fahrzeugradardaten und Fahrzeugultraschallsensordaten beinhalten. Der Fahrzeugtyp kann eines oder mehrere von einer Fahrzeugmarke und einem Fahrzeugmodell beinhalten.
Der Computer kann ferner dazu programmiert sein, die Unsicherheiten durch Kombinieren von Unsicherheiten für ein oder mehrere Objekte mit einem selben Ort und die durch eine Vielzahl von zweiten Fahrzeugen desselben Fahrzeugtyps berichtet sind, zu bestimmen. Die Datenbank kann durch Kombinieren der Unsicherheit mit Umweltbedingungen, die eines oder mehrere von Tageszeit, Jahreszeit und Wetterbedingungen beinhalten, bestimmt werden. Die Objektdaten können eine Geschwindigkeit des Objekts beinhalten, wobei die Geschwindigkeit die Objektgeschwindigkeit und die Objektrichtung beinhaltet. Die Objektdaten können durch Verarbeiten von Fahrzeugsensordaten mit einem tiefen neuronalen Netzwerk bestimmt werden, um das physische Attribut des Objekts, die Objektidentität und die Unsicherheit zu bestimmen. Die Karte kann in das tiefe neuronale Netzwerk eingegeben werden, um die Objektidentität, die physischen Attribute des Objekts und die Unsicherheit zu bestimmen. Das tiefe neuronale Netzwerk kann auf Grundlage der Karte trainiert werden. Die Karte kann einen oder mehrere Hotspots beinhalten, wobei jeder Hotspot einen realen Ort und die Unsicherheit beinhaltet, die dem realen Ort entspricht. Der eine oder die mehreren Hotspots können eine Fahrzeugmarke und ein -modell beinhalten. Die Karte kann über einen Server-Daten-Handler und einen Client-Daten-Handler auf das Fahrzeug heruntergeladen werden.
Figurenliste

1 ist eine Darstellung eines beispielhaften Verkehrsinfrastruktursystems.
2 ist eine Darstellung eines beispielhaften Fahrzeugs mit Sensoren.
3 ist eine Darstellung eines beispielhaften Systems, das eine Fahrzeugobj ektdatenbank beinhaltet.
4 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Bestimmen von Fahrzeug-Hotspot-Daten.
5 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Trainieren von Fahrzeugwahrnehmungsalgorithmen auf Grundlage von Fahrzeug-Hotspot-Daten.

DETAILLIERTE BESCHREIBUNG
1 ist eine grafische Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 101 beinhaltet, das in einem autonomen („autonom“ für sich bedeutet in dieser Offenbarung „vollständig autonom“), einem teilautonomen und einem insassengesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Eine oder mehrere Rechenvorrichtungen 105 des Fahrzeugs 101 können Daten bezüglich des Betriebs des Fahrzeugs 101 von Sensoren 110 empfangen. Die Rechenvorrichtung 105 kann das Fahrzeug 101 in einem autonomen Modus, einem teilautonomen Modus oder einem nichtautonomen Modus betreiben.
Die Rechenvorrichtung 105 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen computerlesbarer Medien und auf diesem sind Anweisungen gespeichert, die durch den Prozessor dazu ausgeführt werden können, verschiedene Vorgänge durchzuführen, welche die in dieser Schrift offenbarten beinhalten. Zum Beispiel kann die Rechenvorrichtung 105 eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Beschleunigungssteuerung in dem Fahrzeug 101 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 105 im Gegensatz zu einem menschlichen Fahrer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 105 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 101 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten 115 eingeschlossen sind, z.B. eine Antriebsstrangsteuerung, eine Bremssteuerung, eine Lenksteuerung usw., beinhalten oder z. B. über einen Fahrzeugkommunikationsbus, wie nachfolgend genauer beschrieben, kommunikativ an diese gekoppelt sein. Die Rechenvorrichtung 105 ist im Allgemeinen zur Kommunikation in einem Fahrzeugkommunikationsnetzwerk angeordnet, das z. B. einen Bus in dem Fahrzeug 101, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 101 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikati onsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 105 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. von Steuerungen, Betätigungselementen, Sensoren usw., einschließlich der Sensoren 110. Alternativ oder zusätzlich kann in Fällen, in denen die Rechenvorrichtung 105 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 105 dargestellt sind. Ferner können, wie nachfolgend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 110, der Rechenvorrichtung 105 Daten über das Fahrzeugkommunikationsnetz bereitstellen.
Des Weiteren kann die Rechenvorrichtung 105 dazu konfiguriert sein, über ein Netzwerk 120, das, wie nachfolgend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 105 ermöglichen, über ein Netzwerk 120, wie etwa über drahtloses Internet (WI-FI®) oder Mobilfunknetzwerke, mit einem Server 125 zu kommunizieren, durch eine Fahrzeug-Infrastruktur-(vehicle-to-infrastructure - V-I-)Schnittstelle mit einem Server 125 zu kommunizieren, z. B. mit einem Cloud-Server oder einem Remote-Zugriffsservercomputer. Die Rechenvorrichtung 105 kann dementsprechend konfiguriert sein, einschließlich Prozessoren, eines Speichers, Sendeempfängers usw., die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien zu nutzen, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke. Die Rechenvorrichtung 105 kann zum Kommunizieren mit anderen Fahrzeugen 101 unter Verwendung von Fahrzeug-zu-Fahrzeug-(vehicle-to-vehicle - V-to-V-)Netzwerken z. B. gemäß dedizierter Nahbereichsübertragung (dedicated short range communications - DSRC) und/oder dergleichen, konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 101 in der Nähe gebildet werden oder durch infrastrukturbasierte Netzwerke über V-to-I-Kommunikationen gebildet werden. Die Rechenvorrichtung 105 beinhaltet außerdem einen nicht flüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 105 kann Daten über das Speichern von Daten zum späteren Abrufen und Übermitteln über ein Fahrzeugübertragungsnetzwerk an einen Server 125 oder eine mobile Benutzervorrichtung in einem nicht flüchtigen Speicher protokollieren. Der Server 125 ist eine Rechenvorrichtung, die in einer straßenseitigen Infrastruktur oder einem Edge-Computing-Knoten beinhaltet sein kann, wobei es sich bei einem Edge-Computing-Knoten um einen Server 125 oder eine Rechenvorrichtung 105 handelt, die in oder an einem stationären Infrastrukturelement beinhaltet ist, wie etwa einem Pfahl, einer Brücke, einer Wand, einem Gebäude usw., und die Sensordaten erlangt und mit Fahrzeugen 101 über eine V-to-I-Schnittstelle oder dergleichen in einem lokalen Abschnitt von einem oder mehreren von einer Fahrbahn, einem Parkplatz oder einer Parkstruktur usw. kommuniziert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 105 ausgeführt werden können, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 115, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners beinhaltet. Unter Verwendung von in der Rechenvorrichtung 105 empfangenen Daten, z. B. der Sensordaten von den Sensoren 110, dem Server 125 usw., kann die Rechenvorrichtung 105 ohne einen Fahrer zum Betreiben des Fahrzeugs 101 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten 115 und/oder Vorgänge des Fahrzeugs steuern. Zum Beispiel kann die Rechenvorrichtung 105 eine Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 101 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 101), wie etwa einer Geschwindigkeit, Beschleunigung, Abbremsung, Lenkung usw., und des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens auf eine Weise, die in der Regel ein sicheres und effizientes Abfahren einer Route erreichen soll), wie etwa eines Abstands zwischen Fahrzeugen und/oder einer Zeit zwischen Fahrzeugen, Spurwechseln, des Mindestabstands zwischen Fahrzeugen, der Mindestzeit zur Wegquerung bei Linksabbiegung, der Zeit bis zur Ankunft an einem bestimmten Ort und der Mindestzeit bis zum Überqueren der Kreuzung an einer Kreuzung (ohne Ampel) beinhalten.
Im vorliegenden Zusammenhang beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die in der Regel dazu programmiert sind, ein konkretes Fahrzeugteilsystem zu überwachen und/oder zu steuern. Zu Beispielen zählen eine Antriebsstrangsteuerung, eine Bremssteuerung und eine Lenksteuerung. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die möglicherweise eine zusätzliche Programmierung wie in dieser Schrift beschrieben beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 105 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung Anweisungen von der Rechenvorrichtung 105 empfangen, um die Bremsen des Fahrzeugs 101 zu betätigen.
Die eine oder die mehreren Steuerungen für das Fahrzeug 101 können bekannte elektronische Steuereinheiten (electronic control units - ECUs) oder dergleichen beinhalten, die als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen, eine oder mehrere Bremssteuerungen und eine oder mehrere Lenksteuerungen beinhalten. Jede der Steuerungen kann jeweilige Prozessoren und Speicher und ein oder mehrere Betätigungselemente beinhalten. Die Steuerungen können für einen Kommunikationsbus des Fahrzeugs 101 programmiert und damit verbunden sein, wie etwa einem Controller-Area-Network-(CAN-)Bus oder Local-Interconnect-Network-(LIN-)Bus, um Anweisungen von der Rechenvorrichtung 105 zu empfangen und Betätigungselemente auf Grundlage der Anweisungen zu steuern.
Die Sensoren 110 können eine Vielfalt von Vorrichtungen beinhalten, die für die Bereitstellung von Daten über den Fahrzeugkommunikationsbus bekannt sind. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 101 befestigt ist, einen Abstand von dem Fahrzeug 101 zu einem nächsten Fahrzeug vor dem Fahrzeug 101 bereitstellen oder kann ein Sensor für ein globales Positionsbestimmungssystem (GPS), der in dem Fahrzeug 101 angeordnet ist, geografische Koordinaten des Fahrzeugs 101 bereitstellen. Ein IMU-Sensor (inertial measurement unit) kann Beschleunigungsmesser verwenden, um die dreidimensionale Position und Ausrichtung des Fahrzeugs 101 zu bestimmen. Der/die durch das Radar und/oder die anderen Sensoren 110 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS- und/oder IMU-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 105 verwendet werden, um das Fahrzeug 101 zum Beispiel autonom oder teilautonom zu betreiben.
Das Fahrzeug 101 ist im Allgemeinen ein Landfahrzeug 101, das zu autonomem und/oder teilautonomem Betrieb in der Lage ist und das drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Kleinlastwagen usw. Das Fahrzeug 101 beinhaltet einen oder mehrere Sensoren 110, die V-to-I-Schnittstelle, die V-to-V-Schnittstelle, die Rechenvorrichtung 105 und die Fahrzeugkomponenten 115, einschließlich einer oder mehrerer Steuerungen. Die Sensoren 110 können Daten sammeln, die sich auf das Fahrzeug 101 und die Umgebung beziehen, in der das Fahrzeug 101 betrieben wird. Beispielhaft und nicht einschränkend können die Sensoren 110 z. B. Folgendes beinhalten: Höhenmesser, Kameras, Lidar, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. Die Sensoren 110 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 101 betrieben wird, z.B. können die Sensoren 110 Folgendes detektieren: Phänomene, wie etwa Wetterbedingungen (Niederschlag, eine äußere Umgebungstemperatur usw.), die Neigung einer Straße, die Lage einer Straße (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Orte von Ziel Objekten, wie etwa Nachbarfahrzeugen 101. Die Sensoren 110 können ferner dazu verwendet werden, Daten zu sammeln, einschließlich dynamischer Daten des Fahrzeugs 101, die sich auf Vorgänge des Fahrzeugs 101 beziehen, wie etwa einen Geschwindigkeitsvektor, eine Gierrate, einen Lenkwinkel, eine Motordrehzahl, einen Bremsdruck, einen Öldruck, den auf die Fahrzeugkomponenten 115 in dem Fahrzeug 101 angewendeten Leistungspegel, einer Konnektivität zwischen Komponenten und einer genauen und rechtzeitigen Leistung von Fahrzeugkomponenten 115.
2 ist eine Darstellung eines Fahrzeugs 101, das eine Vielzahl von Sensoren 110 beinhaltet, die mehreren Sensormodalitäten entspricht. Eine Sensormodalität bedeutet ein Medium, in dem ein Sensor physische Phänomene detektiert, z. B. ein akustisches Medium, einen Teil des elektromagnetischen Spektrums usw. Sensormodalitäten können zum Beispiel Lidar, Video, Radar und Ultraschall beinhalten. Die Sensoren 110 beinhalten einen Lidarsensor 206 und Videosensoren 204a, 204b, 204c, 204e (zusammen Videosensoren 204), die alle in einem Sensorgehäuse 202 beinhaltet sind, das an dem Dachabschnitt des Fahrzeugs 101 angebracht ist. Das Fahrzeug 101 beinhaltet ebenfalls Radarsensoren 208a, 208b, 208c (zusammen Radarsensoren 208), die in einem Karosserieteil des Fahrzeugs 101 beinhaltet sind. Eine Computervorrichtung 105 kann Daten von dem Lidarsensor 206, den Videosensoren 204 und den Radarsensoren 208 erlangen und die erlangten Daten verwenden, um das Fahrzeug 101 auf einer Fahrbahn zu betreiben. Das Betreiben eines Fahrzeugs auf einer Fahrbahn kann das Detektieren von Orten von Objekten, einschließlich Fahrzeugen und Fußgängern, und das Vermeiden des Kontakts mit den Objekten beinhalten.
3 ist ein Diagramm eines Unsicherheitsaustauschsystems 300. Eine Unsicherheit ist eine Zahl zwischen 0,0 und 1,0, die einer Wahrscheinlichkeit entspricht, mit der ein Wahrnehmungsalgorithmus 322 ein Objekt falsch identifiziert hat. Eine Unsicherheit zwischen 0,0 und 1,0 kann auch als Prozentsatz zwischen 0 und 100 ausgedrückt werden. Ein Unsicherheitsaustauschsystem 300 speichert Unsicherheitsdaten in einer Unsicherheitsdatenbank 316. Unsicherheitsdaten werden als Datenstruktur definiert, die eine Unsicherheit und zugehörige Daten beinhaltet, die zur Bestimmung und Lokalisierung der Unsicherheit verwendet werden. Unsicherheitsdaten sind eine Unsicherheit, Sensordaten 302, Orts- und Kartierungsdaten 304, Umgebungs- und Fahrzeugdaten 306, Objektdaten 308 und eine Unsicherheitskarte 310. Die Sensordaten 302 werden von Fahrzeugsensoren wie vorstehend in Bezug auf 2 beschrieben erzeugt, einschließlich Videosensoren 204, Lidarsensoren 206 und Radarsensoren 208. Die Orts- und Kartierungsdaten 304 sind reale Orts- und Orientierungsdaten des Fahrzeugs 101, die von GPS- und IMU-Sensoren erzeugt werden, die in einem Fahrzeug 101 beinhaltet sind. Die Orts- und Kartierungsdaten 304 beinhalten ebenfalls Kartendaten. Kartendaten sind ein Diagramm, das die Geografie um ein Fahrzeug 101 darstellt. Kartendaten können von einer Quelle wie GOOGLE™ Maps erlangt und im Speicher des Computers 105 gespeichert oder von einem Server 125 über ein Netzwerk 120 heruntergeladen werden. Orts- und Kartierungsdaten 304 können dazu verwendet werden, einen Ort und eine Ausrichtung eines Fahrzeugs 101 in realen Koordinaten in Bezug auf eine Karte einer Umgebung um das Fahrzeug 101 herum zu bestimmen.
Umgebungsdaten und Fahrzeugdaten 306 können Temperatur, Feuchtigkeit, Niederschlag, Tageszeit usw. beinhalten. Einige Umgebungsdaten, wie etwa Temperatur und Feuchtigkeit, können direkt von den Fahrzeugsensoren 110 erlangt oder von einem Server 125 über ein Netzwerk 120 heruntergeladen werden. Andere Umweltdaten können aus dem Internet heruntergeladen werden, zum Beispiel ein Wetterbericht, der die atmosphärischen Bedingungen am Ort eines Fahrzeugs 101 beinhaltet. Die Umwelt- und Fahrzeugdaten 306 beinhalten Fahrzeugmarken- und Modelldaten einschließlich des Herstellungsjahres. Fahrzeugmarken- und Modelldaten können aus Daten abgerufen werden, die in dem im Computer 105 beinhalteten Speicher gespeichert sind, und können die Typen und Positionen der Fahrzeugsensoren 110 beinhalten.
Objektdaten 308 und eine Unsicherheitskarte 310 können durch einen Wahrnehmungsalgorithmus 322 erzeugt werden. Die Objektdaten 306 sind eine Datenstruktur, die Daten bezüglich eines Objekts beinhaltet, die durch den Wahrnehmungsalgorithmus 322 bestimmt werden, einschließlich Objektidentität, Objektgröße, Objektform, Objektposition, Objektgeschwindigkeit und Objektrichtung. Objektidentität ist eine Bezeichnung, die den Objekttyp identifiziert. Die Objektidentität kann zum Beispiel Fußgänger, Fahrzeug, Tier oder unbekannt sein. Ein Wahrnehmungsalgorithmus 322 ist ein Softwareprogramm, das auf einem Computer 105 ausgeführt wird, der in einem Fahrzeug 101 beinhaltet ist. Ein Wahrnehmungsalgorithmus 322 kann ein tiefes neuronales Netzwerk beinhalten, das Fahrzeugsensordaten 302 eingibt, die von Fahrzeugsensoren ausgegeben werden, einschließlich Videosensoren 204, Lidarsensoren 206 und Radarsensoren 208. Der Wahrnehmungsalgorithmus 322 verarbeitet die Eingangssensordaten 302, um Daten bezüglich Objekten in der Umgebung um ein Fahrzeug 101 zu bestimmen. Ein tiefes neuronales Netzwerk ist ein Softwareprogramm, das mehrere Faltungsschichten und mehrere vollständig verbundene Schichten beinhaltet. Ein tiefes neuronales Netzwerk kann unter Verwendung einer Vielzahl von Testbildern trainiert werden, die von entsprechenden Grundwahrheitsdaten begleitet werden. Grundwahrheitsdaten sind definiert als Daten, die korrekten Ergebnissen entsprechen, die vom tiefen neuronalen Netzwerk als Antwort auf eingegebene Bilddaten ausgegeben werden sollen, d. h. Daten, von denen angenommen wird, dass sie die physische Welt genau darstellen. Grundwahrheitsdaten können durch Benutzereingaben auf Grundlage der manuellen Messung von Eingabebilddaten bestimmt werden, um zum Beispiel Objekte in einem Bild zu detektieren, zu identifizieren und zu lokalisieren.
Der Wahrnehmungsalgorithmus 322 kann Objekte in einem Sichtfeld eines Fahrzeugsensors detektieren und identifizieren, zum Beispiel Fahrzeuge und Fußgänger. Ein Objekt ist definiert als ein Abschnitt eines Bildes, das durch Sensordaten gebildet ist, die von den verbleibenden Teilen des Bilds auf Grundlage der Verarbeitung der Pixeldaten, die das Bild bilden, unterschieden werden können. Die Objektdetektion ist definiert als Trennen von Abschnitten eines Bilds, die einem oder mehreren Objekten entsprechen, die als Vordergrund bezeichnet werden, vom Rest des Bilds, das als Hintergrund bezeichnet wird. Ein Wahrnehmungsalgorithmus 322 kann eine Objektdetektion durch Bildsegmentierung durchführen, die Vordergrundabschnitte eines Bilds von Hintergrundabschnitten eines Bilds auf Grundlage von Pixelwerten wie etwa Intensität und Farbe trennt, um Bildabschnitte mit ähnlichen Intensitäten oder Farben zu bestimmen. Die Bildsegmentierung kann durchgeführt werden, indem Pixelwerte verarbeitet werden, um Kanten zu bilden, und Vordergrundabschnitte bestimmt werden, die durch bestimmte Kanten begrenzt sind. In Beispielen, in denen der Wahrnehmungsalgorithmus 322 ein tiefes neuronales Netzwerk beinhaltet, wird die Objektidentifikation durchgeführt, indem das tiefe neuronale Netzwerk unter Verwendung eines Datensatzes von Trainingsbildern trainiert wird, die Beispiele von Objekten und Grundwahrheiten beinhalten, die die Objekte identifizieren. Die Grundwahrheit kann durch Benutzer ermittelt werden, die den Datensatz von Trainingsbildern untersuchen und Objekte manuell identifizieren. Die Trainingsbilder werden in das tiefe neuronale Netzwerk eingegeben und die Ausgabe aus dem tiefen neuronalen Netzwerk wird zurückpropagiert, um sie mit der Grundwahrheit zu vergleichen. Die Verarbeitung von Trainingsbildern wird fortgesetzt, bis Ergebnisse ausgegeben und zurückgegeben werden, die mit der Grundwahrheit übereinstimmen.
Ein Wahrnehmungsalgorithmus 322 kann Objektattribute bestimmen, wobei Objektattribute Daten sind, die physische Messungen von Objekten spezifizieren, typischerweise einschließlich Obj ektgröße, Obj ektform, Objektposition, Objektgeschwindigkeit und Objektrichtung. Die Objektgröße ist eine Schätzung der realen Größe eines Objekts, die durch Messen eines Umrisses eines Objekts in einem von einem Fahrzeugsensor erlangten Bild geschätzt wird. Die Objektgröße kann geschätzt werden, indem zum Beispiel zusammenhängende Bildpixel in einem Objekt gezählt werden, das vor einem Bildhintergrund segmentiert ist. Die Objektform ist ein Maß für einen Umriss eines Objekts in einem Bild, das zusammen mit der Objektgröße zur Identifizierung eines Objekts verwendet werden kann. Zum Beispiel weisen Fußgänger und Fahrzeuge unterschiedliche Objektgrößen und Objektformen auf. Die Objektform kann zum Beispiel durch das Verhältnis von Höhe zu Breite eines um ein detektiertes Objekt gebildeten Begrenzungsrechtecks bestimmt werden. Die Objektform kann auch gemessen werden, indem ein detektiertes Objekt mit Vorlagen korreliert wird, die den erwarteten Objekten entsprechen. Zum Beispiel können Vorlagen bestimmt werden, indem erwartete Objekte, einschließlich Fahrzeuge und Fußgänger, in Beispielbildern verarbeitet werden. Ein Benutzer kann Beispielbilder verarbeiten, um einen Umriss der erwarteten Objekte zu bestimmen und eine binäre Vorlage auf Grundlage des ermittelten Umrisses zu bilden. Ein tiefes neuronales Netzwerk kann dazu trainiert werden, die physische Größe und Form des Objekts auszugeben, indem das tiefe neuronale Netzwerk unter Verwendung der Grundwahrheit für die Objektgröße und -form trainiert wird, die durch Inspektion des Trainingsdatensatzes durch einen Benutzer bestimmt wird.
Die Objektposition ist eine Schätzung einer realen Position eines Objekts, die durch Bestimmen einer Position der Pixel, die dem Objekt entsprechen, in einem von Fahrzeugsensoren erlangten Bild geschätzt wird. Die Objektposition kann durch ein tiefes neuronales Netzwerk geschätzt werden, das in einem Wahrnehmungsalgorithmus 322 beinhaltet ist. Die Grundwahrheit bezüglich eines Orts in realen Koordinaten, die in Bezug auf ein Fahrzeug 101 bestimmt wurden, kann durch Messen des realen Orts von Objekten in Sensordaten bestimmt werden, die von Fahrzeugsensoren erlangt sind. Da ein Fahrzeugsensor den Ort und die Ausrichtung in Bezug auf das Fahrzeug 101 nicht ändert, kann der reale Ort von Objekten in einem Sichtfeld eines Sensors durch den Ort des Objekts in einem Array von Pixeldaten bestimmt werden, die den Sensordaten entsprechen, die von einem Fahrzeugsensor ausgegeben werden. Diese Technik hängt davon ab, dass sich Objekte auf einer Grundebene befinden, die einer Fahrbahn entspricht, auf der das Fahrzeug 101 fährt. Ein tiefes neuronales Netzwerk kann dazu trainiert werden, die Objektposition für Objekte auf einer Straße auf Grundlage eines Trainingsdatensatzes mit Beispielobjekten und der entsprechenden Grundwahrheit bezüglich der realen Position der Objekte zu schätzen.
Ein Wahrnehmungsalgorithmus 322 kann eine Fahrtrichtung und -geschwindigkeit detektierter Objekte bestimmen, die in Bezug auf das Fahrzeug 101 gemessen wurden. Zum Beispiel können Daten bezüglich der Position eines Objekts über einen oder mehrere Zeitschritte erlangt werden, um die Geschwindigkeit und Richtung eines Objekts zu bestimmen. Der Wahrnehmungsalgorithmus 322 gibt Objektdaten 306 aus. Der Wahrnehmungsalgorithmus 322 kann auch Unsicherheiten hinsichtlich der Objektidentität, Objektgröße, Objektform, Objektposition, Objektgeschwindigkeit und Objektrichtung bestimmen und die Unsicherheit in die Ausgabeobjektdaten 308 beinhalten. In diesem Zusammenhang ist Unsicherheit als eine Wahrscheinlichkeit definiert, dass der Wahrnehmungsalgorithmus 322 jede der Objektgrößen, Objektformen, Objektpositionen, Objektgeschwindigkeiten und Objektrichtungen korrekt bestimmt hat. In Beispielen, in denen eine Unsicherheit für jedes der Objektattribute bestimmt wird, einschließlich Objektidentität, Objektgröße, Objektform, Objektposition, Objektgeschwindigkeit und Objektrichtung, kann die Unsicherheit bestimmt werden, indem die einzelnen Unsicherheiten gemittelt werden oder das Maximum der Unsicherheiten genommen wird. Abhängig von den Umgebungsbedingungen kann das Bestimmen der Objektattribute unter Verwendung der Sensordaten 302 mehr oder weniger unsicher sein. Zum Beispiel kann das Identifizieren und Lokalisieren eines Fußgängers in Videodaten nachts unsicherer sein als tagsüber. Andere Umgebungsbedingungen, die die Bestimmung von Objektattributen unsicherer machen, beinhalten schlechtes Wetter, zum Beispiel Regen und Schnee, und atmosphärische Bedingungen, einschließlich Nebel und Staub.
Ein Computer 105, der in einem Fahrzeug 101 beinhaltet ist, kann Objektdaten 308 verwenden, um einen Fahrzeugpfad zu bestimmen, auf dem ein Fahrzeug 101 betrieben werden soll. Zum Beispiel kann ein Computer 105 einen Fahrzeugweg bestimmen, der den Kontakt mit einem Objekt wie etwa einem Fahrzeug oder einem Fußgänger vermeidet. Die der Objektidentität, Geschwindigkeit und Richtung entsprechende Unsicherheit kann von einem Computer 105 zum Bestimmen eines Fahrzeugpfads verwendet werden. In einem Beispiel, in dem ein Wahrnehmungsalgorithmus 322 ein Objekt in der Umgebung um ein Fahrzeug 101 mit hoher Unsicherheit identifiziert hat (>80 %), kann der Computer 105 einen Fahrzeugpfad bestimmen, der das identifizierte Objekt in größerer Entfernung vermeidet, da die Identität des Objekts eine höhere Wahrscheinlichkeit aufweist, falsch zu sein. Zum Beispiel könnte sich das Objekt mit einer größeren Geschwindigkeit oder in einer anderen Richtung als der Geschwindigkeit und Richtung bewegen, die vom Wahrnehmungsalgorithmus als Objektdaten 308 ausgegeben werden.
Der Wahrnehmungsalgorithmus 322 kann die Unsicherheit durch Verarbeiten der Eingangssensordaten 302 bestimmen. Ein tiefes neuronales Netzwerk, das in dem Wahrnehmungsalgorithmus 322 beinhaltet ist, kann dazu trainiert werden, Unsicherheit zusammen mit den Objektidentifikations- und Ortsdaten auszugeben. Ein tiefes neuronales Netzwerk kann dazu trainiert werden, Unsicherheit unter Verwendung eines Trainingsdatensatzes auszugeben, der zusätzlich zu Objektorts- und Identitätsdaten eine geschätzte Unsicherheit in der Grundwahrheit beinhaltet. Die geschätzte Unsicherheit in der Grundwahrheit kann bestimmt werden, indem menschliche Beobachter die Unsicherheit im Trainingsdatensatz auf Grundlage von beobachteten Merkmalen in den eingegebenen Trainingsbilddaten bewerten. Ein menschlicher Beobachter kann abschätzen, wie unsicher das tiefe neuronale Netzwerk bei der Identifizierung eines Objekts sein wird, auf Grundlage davon, wie gut ein oder mehrere menschliche Beobachter das Objekt identifizieren können. Zu den beobachteten Merkmalen in den eingegebenen Trainingsbilddaten kann das Vorhandensein oder Fehlen atmosphärischer Bedingungen wie etwa Regen, Schnee und Nebel gehören. Zu den beobachteten Merkmalen können auch Lichtverhältnisse wie etwa Nacht oder Blendung durch helles Sonnenlicht gehören. Auf Grundlage der Grundwahrheit in dem Trainingsdatensatz kann das tiefe neuronale Netzwerk dazu trainiert werden, eine Unsicherheit auszugeben, die einer Wahrscheinlichkeit entspricht, dass der Wahrnehmungsalgorithmus 300 ein Objekt falsch identifiziert.
Die Unsicherheit kann auch für das Training eines tiefen neuronalen Netzwerks geschätzt werden, indem Kontrastverhältnisse und räumliche Frequenzen, die in Bilddaten beinhaltet sind, unter Verwendung einer Bildverarbeitungssoftware verarbeitet werden. Kontrastverhältnisse beziehen sich auf Vergleiche von Graustufenwerten oder Farbsättigung zwischen Teilen eines Bilds. Ein Bild kann in zusammenhängende Bereiche mit ähnlichen Graustufenwerten oder Farbsättigungswerten unterteilt werden. Zum Beispiel kann ein zusammenhängender Bereich gebildet werden, indem Pixel gruppiert werden, die sich alle von einem durchschnittlichen Graustufen- oder Farbsättigungswert um weniger als 10 % unterscheiden. Kontrastverhältnisse vergleichen durchschnittliche Graustufen- oder Farbsättigungswerte zwischen Bereichen. Bilder mit geringem Kontrast und durchschnittlichen Kontrastverhältnissen von weniger als etwa zwei entsprechen Bildern mit Umgebungsbedingungen, bei denen die Identifizierung von Objekten eine hohe Unsicherheit aufweist, wie z. B. Regen, Schnee, Nebel oder schwaches Licht.
Eine andere Berechnung, die zur Eingabe von Sensordaten angewendet werden kann, um die Unsicherheit zu bestimmen, ist die Ortsfrequenzanalyse. Die Raumfrequenz bezieht sich auf Merkmale eines Bilds, die Werten entsprechen, die bei einer zweidimensionalen Fourier-Transformation des Bilds auftreten würden. Zum Beispiel entsprechen große, glatte Merkmale in einem Bild niedrigen Ortsfrequenzen und kleine, detaillierte Merkmale hohen Ortsfrequenzen. Ein Wahrnehmungsalgorithmus kann die in Eingangsbilddaten vorhandenen Raumfrequenzen analysieren, indem Tiefpass- und Hochpassfilter auf die Eingangsbilddaten angewendet werden, um ein Verhältnis von niedrigen Raumfrequenzen zu hohen Raumfrequenzen zu bestimmen. Eingabebilder, die ein größeres Verhältnis von niedrigen Ortsfrequenzen zu hohen Ortsfrequenzen aufweisen, weisen eine größere Unsicherheit hinsichtlich der korrekten Identifizierung auf. Hohe Verhältnisse von niedrigen Ortsfrequenzen zu hohen Ortsfrequenzen entsprechen schlechten Sichtverhältnissen wie Regen, Schnee, Nebel oder schwachem Licht.
Der Wahrnehmungsalgorithmus 322 kann Orts- und Kartierungsdaten 304 bezüglich des Orts und der Ausrichtung eines Fahrzeugs 101 eingeben, um dem Wahrnehmungsalgorithmus 322 zu ermöglichen, zu bestimmen, wo sich lokalisierte Objekte in realen Koordinaten befinden. Orts- und Kartierungsdaten 304 können mit Objektortsdaten und Unsicherheitsdaten kombiniert werden, um eine Unsicherheitskarte 310 zu erzeugen. Eine Unsicherheitskarte 310 beinhaltet Orte in der Umgebung um ein Fahrzeug 101 in realen Koordinaten, die mit Objektdaten 308 markiert sind, einschließlich Unsicherheiten bezüglich der Objektattribute.
Der reale Ort und die Ausrichtung der Fahrzeugsensoren 110 können durch Messen der jeweiligen Orte und Ausrichtungen der Fahrzeugsensoren 110 in Bezug auf ein Fahrzeug 101 zum Zeitpunkt des Einbaus der Fahrzeugsensoren 110 in das Fahrzeug 101 bestimmt werden. Typischerweise können die Messungen des Sensors 110 dann gemäß einer Kalibrierung des Sensors 110 auf seinen Installationsort und seine Ausrichtung bereitgestellt werden. Der Ort und die Ausrichtung der Fahrzeugsensoren 110 können für eine derartige Kalibrierung bestimmt werden, indem Daten erlangt werden, einschließlich eines Bezugsziels, das zum Beispiel an einem gemessenen Ort im Sichtfeld eines Fahrzeugsensors 110 angeordnet ist.
Der Client-Daten-Handler 312 empfängt Unsicherheitsdaten als Eingabe. Unsicherheitsdaten sind eine Datenstruktur, die Sensordaten 302, Orts- und Kartierungsdaten 304, Umgebungs- und Fahrzeugdaten 306, Objektdaten 308 und eine Unsicherheitskarte 310 beinhaltet, die eine durch den Wahrnehmungsalgorithmus 322 bestimmte Unsicherheit beinhaltet, wie vorstehend in Bezug auf 3 erörtert. Der Client-Daten-Handler 312 ist ein Softwareprogramm, das auf einem Computer 105 ausgeführt wird, der in einem Fahrzeug 101 beinhaltet ist. Der Client-Daten-Handler formatiert die Unsicherheitsdaten zur Übertragung in ein oder mehrere Unsicherheitsdatenpakete, während Daten bezüglich der Identität des Objekts herausgefiltert werden.
Ein Unsicherheitsdatenpaket ist ein Datenpaket, d. h. digitale Daten, die zusätzlich zu Unsicherheitsdaten eine Vielzahl von Feldern beinhalten. Ein Unsicherheitsdatenpaket kann ein Identifizierungsfeld beinhalten, das das Datenpaket als Unsicherheitsdatenpaket identifiziert. Das Unsicherheitsdatenpaket kann eine feste Länge aufweisen oder ein Feld beinhalten, das der Länge entspricht. Das Unsicherheitsdatenpaket beinhaltet alle oder einen Teil der Unsicherheitsdaten. Die Unsicherheitsdaten können in einem einzelnen Paket beinhaltet sein oder auf mehrere Pakete aufgeteilt sein. Das Unsicherheitsdatenpaket kann eine Sequenznummer beinhalten, die der Reihenfolge entspricht, in der die Unsicherheitsdaten in Pakete unterteilt sind, die zum Extrahieren der Unsicherheitsdaten aus den Unsicherheitsdatenpaketen verwendet werden können. Das Unsicherheitsdatenpaket kann auch eine Prüfsumme beinhalten, die zum Detektieren von Übertragungsfehlern verwendet wird. Der Client-Daten-Handler 312 verwaltet die Übertragung der Unsicherheitsdatenpakete an einen Server-Daten-Handler 314 über ein Netzwerk 120.
Der Server-Daten-Handler 314 ist ein Softwareprogramm, das zum Beispiel auf einem cloudbasierten Server 125 ausgeführt wird. Der Server-Daten-Handler 314 empfängt Unsicherheitsdatenpakete von mehreren Fahrzeugen 101. Der Server-Daten-Handler 314 kann Sequenznummern und Prüfsummen verwenden, die in den Unsicherheitsdatenpaketen beinhaltet sind, um sicherzustellen, dass Unsicherheitsdatenpakete in der richtigen Reihenfolge und ohne Fehler empfangen wurden. Wenn der Server-Daten-Handler 314 feststellt, dass ein Unsicherheitsdatenpaket fehlt oder es Übertragungsfehler beinhaltet, kann der Server-Daten-Handler 314 eine erneute Übertragung eines oder mehrerer Unsicherheitsdatenpakete vom Client-Daten-Handler 312 anfordern. Der Sever-Daten-Handler 314 entpackt die Unsicherheitsdatenpakete, setzt die Unsicherheitsdaten bei Bedarf wieder zusammen und speichert die entpackten Unsicherheitsdaten in der Unsicherheitsdatenbank 316. Die Unsicherheitsdaten werden gemäß dem geografischen Ort und der Marke und dem Modell des Fahrzeugs indiziert und in der Unsicherheitsdatenbank 316 gespeichert.
Der Server-Daten-Handler 314 kann Unsicherheitsdatenpakete von einer Vielzahl von Fahrzeugen 101 an einer Vielzahl von geografischen Orten empfangen und die Unsicherheitsdaten in der Unsicherheitsdatenbank 316 entpacken und speichern. Abfragen 318 können von der Unsicherheitsdatenbank 316 von Fahrzeugen 101 und anderen Programmen empfangen werden, die auf Computern ausgeführt werden, die mit dem Server 125 in Kommunikation stehen, und Unsicherheitsdaten von der Unsicherheitsdatenbank 316 anfordern. Abfragen 318 können Unsicherheitsdaten anfordern, indem Attribute bezüglich der Unsicherheitsdaten angegeben werden. Attribute der Unsicherheitsdaten sind Daten, die zum Indizieren in die Datenbank verwendet werden, um auf Unsicherheitsdaten zuzugreifen. Zu den Attributen können Daten gehören, die den geografischen Ort, die Fahrzeugmarke und das Fahrzeugmodell sowie die Umgebungsbedingungen angeben. In Antwort auf eine Abfrage 318 aggregiert die Unsicherheitsdatenbank 316 Unsicherheitsdaten auf Grundlage der in der Abfrage beinhalteten Attribute, um einen Unsicherheits-Hotspot zu bilden, und gibt 320 den Unsicherheits-Hotspot aus. Ein Unsicherheits-Hotspot ist ein realer Ort, der eine Unsicherheit hinsichtlich der Objektidentifikation an diesem realen Ort beinhaltet. Das Verknüpfen eines realen Orts mit Unsicherheitsdaten kann als „Geotagging“ der Unsicherheitsdaten bezeichnet werden. Unsicherheits-Hotspots können als Karte ausgegeben werden, die Objektunsicherheiten hinsichtlich der Wahrscheinlichkeit einer falschen Identifizierung von Objekten an jedem in der Karte beinhalteten Unsicherheits-Hotspot beinhaltet. Unsicherheits-Hotspots können aus der Unsicherheitsdatenbank 316 als Antwort auf eine Abfrage 318 vom Server-Daten-Handler 314 oder von einem anderen Softwareprogramm ausgegeben 320 werden, das auf dem Server 125 oder einer anderen Rechenvorrichtung in Kommunikation mit dem Server 125 ausgeführt wird.
Unsicherheits-Hotspotdaten können vor der Ausgabe 320 durch die Unsicherheitsdatenbank 316 gefiltert werden, um sicherzustellen, dass die Unsicherheits-Hotspot-Daten nur Unsicherheits-Hotspots beinhalten, die sich auf die von der Unsicherheitsdatenbank 316 empfangene Abfrage 318 beziehen. Zum Beispiel kann eine Abfrage 318 Unsicherheits-Hotspot-Daten anfordern, die nur eine bestimmte Marke und ein bestimmtes Modell eines Fahrzeugs beinhalten, oder nur Unsicherheitsdaten, die unter bestimmten Umgebungsbedingungen wie schlechtem Wetter oder Nachtzeit gesammelt wurden.
4 ist ein Ablaufdiagramm eines Prozesses 400, der in Bezug auf die 1-3 beschrieben ist, zum Bestimmen von Unsicherheits-Hotspots. Der Prozess 400 kann durch einen Prozessor der Rechenvorrichtung umgesetzt werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 400 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 400 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in anderer Reihenfolge ausgeführt beinhalten.
Der Prozess 400 beginnt bei Block 402, wo die auf einem Server 125 ausgeführte Unsicherheitsdatenbank 316 als Eingabe eine Abfrage 318 empfängt. Die Abfrage 318 kann über ein Netzwerk 120 von einem Client-Daten-Handler 312 über einen Server-Daten-Handler 314 oder von einem Softwareprogramm empfangen werden, das auf dem Server 125 oder einer Rechenvorrichtung in Kommunikation mit dem Server 125 ausgeführt wird. Eine Abfrage kann eine Anforderung von Daten bezüglich Unsicherheits-Hotspots für eine Umgebung um ein Fahrzeug 101 sein. Die Abfrage kann einen realen Ort für das Fahrzeug 101 und die Richtung und Geschwindigkeit beinhalten, mit der das Fahrzeug 101 fährt. Die Abfrage kann auch Daten bezüglich der Marke und des Modells des Fahrzeugs 101 beinhalten, einschließlich des Typs und der Einrichtung oder Anordnung von Fahrzeugsensoren 110, die in dem Fahrzeug 101 beinhaltet sind. Die Abfrage kann auch Daten bezüglich der Umgebungsbedingungen um das Fahrzeug 101 beinhalten, einschließlich Tageszeit, Jahreszeit und Wetterbedingungen, die die Leistung der Fahrzeugsensoren 110 beeinflussen können.
Bei Block 404 ruft die Unsicherheitsdatenbank 316 Unsicherheits-Hotspot-Daten ab, die der Abfrage 318 entsprechen, auf Grundlage der in der Abfrage 318 beinhalteten Attribute. Die Unsicherheitsdatenbank 316 kann jeden abgerufenen Unsicherheits-Hotspot testen, um das jedem Hotspot entsprechende Unsicherheitsniveau mit einem Schwellenwert zu vergleichen. Der Schwellenwert kann von einem Benutzer auf Grundlage von empirischen Daten ausgewählt werden, die ein Unsicherheitsniveau mit der Leistung eines Wahrnehmungsalgorithmus 322 in einem Fahrzeug 101 vergleichen. Eine Unsicherheit kann zum Beispiel als Unsicherheitsschwellenwert ausgewählt werden, unter dem ein hoher Prozentsatz, zum Beispiel 95 %, von Objekten, die sich am Hotspot befinden, durch einen Wahrnehmungsalgorithmus 322 unter den Umgebungsbedingungen, die in den in der Abfrage 318 beinhalteten Attributen angegeben sind, korrekt identifiziert werden.
Bei Block 406 werden die Hotspots abgelehnt, die von einer Datenbank ausgegeben werden, die in dem Datenrepository 302 beinhaltet ist und eine Unsicherheit aufweist, die geringer als der Schwellenwert ist. Dies bedeutet, dass Hotspots mit einer hohen Wahrscheinlichkeit, Objekte korrekt zu identifizieren, zurückgewiesen werden. Das Ablehnen eines Hotspots bedeutet, dass der Hotspot nicht zur weiteren Verarbeitung an Block 408 weitergeleitet wird.
Bei Block 408 werden die Hotspots, die von einer Datenbank ausgegeben werden, die in dem Datenrepository 302 beinhaltet ist und eine Unsicherheit aufweist, die größer als der Schwellenwert ist, für weitere Verarbeitung weitergeleitet. Bei Block 408, werden Fahrzeugdaten bezüglich der Marke und des Modells eines Fahrzeugs 101 von einem Client-Daten-Handler 310 über ein Netzwerk 120 und einen Server-Daten-Handler 308 empfangen. Die Marke und das Modell des Fahrzeugs 101 beinhalten Daten bezüglich des Typs und der Einrichtung von Sensoren 110, die in dem Fahrzeug beinhaltet sind. In Block 408 sind die Unsicherheits-Hotspots mit den in der Unsicherheitsdatenbank 316 beinhalteten Fahrzeug- und Modelldaten des Fahrzeugs 101 gekennzeichnet.
In Block 410 werden die markierten Unsicherheits-Hotspots 320 ausgegeben. Die markierten Unsicherheits-Hotspots können in einer Karte beinhaltet sein. Unsicherheits-Hotspot-Daten und Unsicherheits-Hotspot-Karten können an Softwareprogramme, die auf dem Server 125 ausgeführt werden, Rechenvorrichtungen, die mit dem Server 125 kommunizieren, oder an einen Wahrnehmungsalgorithmus 322 ausgegeben 320 werden, der über den Server-Daten-Handler 314 und den Client-Daten-Handler 312 in einem Fahrzeug 101 beinhaltet ist. Dies wird durch die gepunktete Linie in 3 dargestellt. Ein Wahrnehmungsalgorithmus 322 kann die Unsicherheits-Hotspots verwenden, um sie mit der vom Wahrnehmungsalgorithmus 322 erzeugten Unsicherheitskarte 310 zu kombinieren. Ein Computer 105, der in einem Fahrzeug 101 beinhaltet ist, kann die kombinierten Unsicherheits-Hotspot-Daten und die Unsicherheitskarte 310 verwenden, um zum Beispiel einen Fahrzeugpfad zu bestimmen, auf dem das Fahrzeug 101 betrieben werden soll. Im Anschluss an Block 410 endet der Prozess 400.
Unsicherheits-Hotspot-Daten können verwendet werden, um den Betrieb eines Fahrzeugs 101 zu verbessern. Eine Karte mit Unsicherheits-Hotspots, die mit Unsicherheiten versehen sind, die jedem Hotspot entsprechen, kann von einem Client-Daten-Handler 312 in einem Fahrzeug 101 heruntergeladen werden, um das Fahrzeug 101 bei der Bestimmung von Objekten in einer Umgebung um das Fahrzeug 101 herum zu unterstützen. Während ein tiefes neuronales Netzwerk, das als Wahrnehmungsalgorithmus 322 verwendet wird, unter Verwendung eines großen Datensatzes trainiert werden kann, der Tausende von Bildern beinhaltet, ist es im Allgemeinen nicht möglich, tiefe neuronale Netzwerke unter Verwendung von Bildern von jedem Ort zu trainieren, auf den sie beim Bedienen eines Fahrzeugs 101 stoßen sollen. Durch Einbeziehen von Unsicherheitsdaten in Bezug auf Hotspots oder Orte, an denen das tiefe neuronale Netzwerk nicht trainiert wurde, können kombinierte Unsicherheiten, die durch eine Vielzahl von Fahrzeugen 101 in Bezug auf einen bestimmten Hotspot bestimmt wurden, in einen Wahrnehmungsalgorithmus 322 heruntergeladen werden, um sie mit einer durch den Fahrzeugwahrnehmungsalgorithmus 322 berechneten Unsicherheitskarte 310 zu vergleichen. Die kombinierte Unsicherheit, die auf Daten von mehreren Fahrzeugen 101 beruht, kann genauer sein als eine Unsicherheit, die durch das erstmalige Verarbeiten von Sensordaten von einem bestimmten Ort bestimmt wird.
Ein Unsicherheitsaustauschsystem 302 kann den Betrieb von Flottenfahrzeugen 101 verbessern, die von Rechenvorrichtungen gesteuert werden, die mit einem Server 125 in Kommunikation stehen. Ein Unsicherheitsaustauschsystem 300 kann dazu verwendet werden, Unsicherheits-Hotspots zu identifizieren, bei denen Wahrnehmungsalgorithmen 300, die auf Computern 105 ausgeführt werden, die in einem Fahrzeug 101 beinhaltet sind, aufgrund des Ortes dazu neigen, für ein bestimmtes Marken- und Modellfahrzeug 101 unsicherer zu sein. Routing-Algorithmen, die auf cloudbasierten Rechenvorrichtungen ausgeführt werden, können Unsicherheits-Hotspots empfangen ausgeben 320, die Orte mit einer hohen Unsicherheit zur korrekten Identifizierung von Objekten beinhalten, und eine Unsicherheits-Hotspot-Karte dazu verwenden, eine Route auf Grundlage der Unsicherheits-Hotspot-Karte zu planen. Ein Unsicherheitsaustauschsystem 300 kann den Betrieb von Fahrzeugen 101 verbessern, indem es einem cloudbasierten Computersystem, das Fahrzeugflotten 101 verwaltet, ermöglicht, Hotspot-Daten zu verwenden, um Routen für Fahrzeuge 101 zu planen, die zum Beispiel Hotspots mit hoher Unsicherheit vermeiden.
Ein Unsicherheitsaustauschsystem 300 kann den Betrieb von Fahrzeugen 101 verbessern, indem es einem auf einem cloudbasierten Computer ausgeführten Softwareprogramm ermöglicht, Unsicherheits-Hotspots über verschiedene Marken und Modelle von Fahrzeugen mit verschiedenen Einstellungen eines Fahrzeugsensors 110 zu vergleichen. Ein Vergleich von Unsicherheits-Hotspots zwischen verschiedenen Konfigurationen von Fahrzeugsensoren 110 kann dazu verwendet werden, zu bestimmen, welche Fahrzeugsensoren 110 bei der Identifizierung von Objekten unter verschiedenen Umgebungsbedingungen am besten funktionieren. Vergleichsdaten können dazu verwendet werden, zukünftige Fahrzeuge 101 auszugestalten oder Fahrzeuge 101 zur Verwendung in bestimmten Bereichen unter bestimmten Umgebungsbedingungen auszuwählen. Zum Beispiel können einige Einstellungen des Fahrzeugsensors 110 bei Winterwetterbedingungen eine bessere Leistung erbringen als andere Einstellungen von Fahrzeugsensoren 110. Die relative Leistung der Einstellungen des Fahrzeugsensors 110 kann durch Vergleichen von Unsicherheits-Hotspots auf Grundlage von Umgebungsbedingungen bestimmt werden. Das Bewerten der Leistung des Fahrzeugsensors 110 auf diese Weise kann die Fahrzeugkonstruktionen verbessern, indem es Fahrzeugkonstrukteuren ermöglicht wird, die kostengünstigsten Konfigurationen des Fahrzeugsensors 110 für ein gegebenes Maß an Hotspot-Unsicherheit zu bestimmen.
Ein Unsicherheitsaustauschsystem 300 kann den Betrieb von Fahrzeugen 101 verbessern, indem Unsicherheits-Hotspots dazu verwendet werden, Wahrnehmungsalgorithmen, einschließlich tiefer neuronaler Netze, zu trainieren. Sensordaten 302, die in die Unsicherheitsdatenbank 316 hochgeladen wurden, können dazu verwendet werden, Wahrnehmungsalgorithmen einschließlich tiefer neuronaler Netze dazu zu trainieren, Objekte in Sensordaten 302 zu detektieren und zu identifizieren. Das Hinzufügen zusätzlicher Trainingsdaten auf Grundlage von Unsicherheits-Hotspots kann die Fähigkeit von Wahrnehmungsalgorithmen verbessern, Objekte in Daten von Sensordaten 302 zu detektieren und zu identifizieren, indem mehr Trainingsbeispiele von Orten bereitgestellt werden, bei denen festgestellt wurde, dass sie beim Identifizieren von Objekten eine hohe Unsicherheit aufweisen. Das Training tiefer neuronaler Netze zur Identifizierung von Objekten kann verbessert werden, indem mehr Trainingsdaten bereitgestellt werden, die Orten mit hoher Unsicherheit entsprechen.
Ein Unsicherheitsaustauschsystem 300 kann den Betrieb von Fahrzeugen 101 verbessern, indem Unsicherheits-Hotspots dazu verwendet werden, Qualitätsprüfungen an Fahrzeugsensoren 110 durchzuführen. Durch Vergleichen heruntergeladener Unsicherheits-Hotspots mit Unsicherheitskarten 310, die von einem Wahrnehmungsalgorithmus des Fahrzeugs 101 ausgegeben werden, kann ein Computer 105 in einem Fahrzeug 101 bestimmen, ob die in den Wahrnehmungsalgorithmus 322 eingegebenen Sensordaten 302 fehlerhaft sind oder eine Neukalibrierung erfordern könnten. Fahrzeugsensoren 110 sollten bei ordnungsgemäßem Betrieb dazu in der Lage sein, Unsicherheits-Hotspot-Ergebnisse zu erzeugen, die mit Unsicherheits-Hotspot-Ergebnissen für ähnliche Sensoren übereinstimmen, die in ähnlichen Fahrzeugen 101 unter ähnlichen Umgebungsbedingungen beinhaltet sind. Wenn ein Fahrzeugsensor 110 Unsicherheitsergebnisse erzeugt, die schlechter als erwartet sind, kann ein in einem Fahrzeug 101 beinhalteter Computer 105 einen Insassen des Fahrzeugs oder ein Steuerprogramm in einem cloudbasierten Computer darüber warnen, dass ein Problem mit einem Fahrzeugsensor 110 detektiert wurde. Nach Empfang einer Warnung können geeignete Tests und Wartungsarbeiten an dem Fahrzeug 101 durchgeführt werden, um sicherzustellen, dass die Fahrzeugsensoren 110 normal arbeiten.
5 ist ein Ablaufdiagramm eines Prozesses 500, der in Bezug auf die 1-4 beschrieben ist, zum Trainieren eines Wahrnehmungsalgorithmus auf Grundlage von Unsicherheits-Hotspots. Der Prozess 500 kann durch einen Prozessor der Rechenvorrichtung umgesetzt werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 500 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 500 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in anderer Reihenfolge ausgeführt beinhalten.
Der Prozess 500 beginnt bei Block 502, wo ein Unsicherheitsaustauschsystem 300, das auf einem Server 125 ausgeführt wird, Eingabedaten bezüglich Unsicherheitsdaten Empfangsdaten 302, Orts- und Kartierungsdaten 304, Umgebungs- und Fahrzeugdaten 306, Objektdaten 308 und eine Unsicherheitskarte 310 von Fahrzeugen 101 über Client-Daten-Handler 312 und Server-Daten-Handler 314 empfängt, wie vorstehend in Bezug auf 3 erörtert. Eingabedaten sind in der Unsicherheitsdatenbank 316 beinhaltet. Eingabedaten können als Unsicherheits-Hotspot-Daten in der Unsicherheitsdatenbank 316 organisiert sein.
In Block 504 werden Unsicherheits-Hotspot-Daten mit einem Schwellenwert verglichen, um zu bestimmen, ob die Unsicherheit größer als der Schwellenwert ist. Der Schwellenwert kann, wie vorstehend in Bezug auf 4 erörtert, bestimmt werden. Hotspots mit geringer Unsicherheit, das heißt Hotspots, die eine hohe Wahrscheinlichkeit (>90 %, zum Beispiel) aufweisen, eine korrekte Identifizierung von Objekten zu beinhalten, werden an Block 506 übergeben, wo die Hotspots von der weiteren Verarbeitung ausgeschlossen werden. Hotspots mit hoher Unsicherheit, d. h. Hotspots, bei denen die Wahrscheinlichkeit, korrekt identifizierte Objekte einzuschließen, nicht hoch ist (< 90 %, zum Beispiel), werden zur weiteren Verarbeitung an Block 508 übergeben.
Bei Block 506 werden die Hotspots abgelehnt, die von einer Datenbank ausgegeben werden, die in dem Datenrepository 302 beinhaltet ist und einen Unsicherheitsschwellenwert aufweist, der kleiner als der Schwellenwert ist. Das Ablehnen eines Hotspots bedeutet, dass der Hotspot nicht zur weiteren Verarbeitung an Block 508 weitergeleitet wird.
In Block 508 werden Fahrzeugorts- und Kartierungsdaten 304 und Sensordaten 304 mit den Hotspot-Daten kombiniert.
In Block 510 werden die Hotspot-Daten einschließlich der Unsicherheitsdaten mit den Fahrzeugorts- und Kartierungsdaten 304 und den Sensordaten 302 kombiniert, um einen Trainingsdatensatz für ein tiefes neuronales Netzwerk zu bestimmen, das in dem Wahrnehmungsalgorithmus 322 beinhaltet ist. Das Bestimmen eines Trainingsdatensatzes beinhaltet das Bestimmen der Grundwahrheit für die Objektposition sowie die -identifizierung und -unsicherheit. Die Grundwahrheit zum Trainieren des tiefen neuronalen Netzwerks zum Ausgeben von Objektdaten 308 kann durch Identifizieren und Lokalisieren von Objekten in den Sensordaten 302 durch Benutzerinspektion bestimmt werden. Die Unsicherheit und der Hotspot-Ort, die aus der Unsicherheitsdatenbank 316 erlangt werden, können dazu verwendet werden, das tiefe neuronale Netzwerk dazu zu trainieren, eine Unsicherheitskarte 310 auszugeben.
In Schritt 512 wird der Trainingsdatensatz einschließlich der Grundwahrheit auf Grundlage von Hotspot-Daten dazu verwendet, einen Wahrnehmungsalgorithmus 322 dazu zu trainieren, Objekte in Sensordaten 302 zu identifizieren und eine Unsicherheitskarte 310 auszugeben. Der Wahrnehmungsalgorithmus 322 kann ein tiefes neuronales Netzwerk sein, wie vorstehend in Bezug auf 3 erörtert.
In Schritt 514 kann der trainierte Wahrnehmungsalgorithmus 322 an ein Fahrzeug 101 ausgegeben werden. Das Ausgeben eines trainierten Wahrnehmungsalgorithmus 322 kann das Herunterladen des trainierten Wahrnehmungsalgorithmus 322 von einem Server 125, der in einem Verkehrsinformationssystem 100 beinhaltet ist, auf ein Fahrzeug 101 über ein Netzwerk 120 beinhalten. Das Trainieren eines Wahrnehmungsalgorithmus 322 auf Grundlage von Hotspot-Daten, die in einer Datenbank eines Datenrepository 302 beinhaltet sind, kann die Leistung eines Wahrnehmungsalgorithmus 322 verbessern, indem Trainingsdaten für die bestimmte Marke und das Modell des Fahrzeugs 101 einschließlich der in dem Fahrzeug 101 beinhalteten Sensortypen 110 beinhaltet werden. Die Hotspot-Daten werden in Block 504 verarbeitet, um Hotspots einzuschließen, die mit hoher Unsicherheit korreliert sind. Dies ermöglicht, dass der Wahrnehmungsalgorithmus 322 dazu trainiert wird, Orte zu detektieren, an denen die Objektidentifikation schwierig, z. B. sehr unsicher, ist und diese Unsicherheit an einen Computer 105 auszugeben, der in einem Fahrzeug 101 beinhaltet ist. Das Detektieren von Orten, an denen die Objektidentifikation sehr unsicher ist, kann es dem Computer 105 ermöglichen, einen Fahrzeugpfad zu bestimmen, der sehr unsichere Orte vermeidet. Nach Schritt 514 endet der Prozess 500.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Die vorstehend erörterten Prozessblöcke können zum Beispiel als computerausführbare Befehle ausgeführt sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem, entweder allein oder in Kombination Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Befehle aus, wodurch er ein oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hierin beschriebenen Prozesse. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt von computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium gespeichert ist, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien schließen zum Beispiel optische oder magnetische Platten und sonstige Dauerspeicher ein. Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel Folgendes; eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift keine ausdrückliche gegenteilige Angabe erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte eine Bezugnahme auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Entfernung, Messwert, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Übertragungszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt werden die vorliegenden Beschreibungen von Prozessen zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Verwaltungscomputer umfasst, das Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor zu Folgendem ausgeführt werden können: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten für eine Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, einer Objektidentifizierung, einer Messung von einem oder mehreren Objektattributen, und einer Ungewissheit, die eine Wahrscheinlichkeit einer korrekten Objektidentifizierung für die Objektidentifizierung und die Objektattribute festlegt, die auf Grundlage der Sensordaten bestimmt sind, wobei die Objektattribute eine Objektgröße, eine Objektform und einen Objektort beinhalten; Bestimmen einer Karte auf Grundlage der Datenbank, die die entsprechenden Orte und entsprechenden Unsicherheiten für den Fahrzeugtyp beinhalten; und Herunterladen der Karte auf ein Fahrzeug auf Grundlage eines Fahrzeugorts und des Fahrzeugtyps.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch einen Computer in dem Fahrzeug, der einen Fahrzeugcomputerprozessor und einen Fahrzeugcomputerspeicher beinhaltet, der Anweisungen beinhaltet, die durch den Fahrzeugcomputerprozessor dazu ausführbar sind, das Fahrzeug auf Grundlage der heruntergeladenen Karte zu betreiben.
Gemäß einer Ausführungsform beinhaltet das Objekt eines oder mehrere von einem Fahrzeug und einem Fußgänger.
Gemäß einer Ausführungsform beinhalten die Fahrzeugsensordaten eines oder mehrere von Fahrzeugvideodaten, Fahrzeuglidardaten, Fahrzeugradardaten und Fahrzeugultraschallsensordaten.
Gemäß einer Ausführungsform beinhaltet der Fahrzeugtyp eines oder mehrere von einer Fahrzeugmarke und einem Fahrzeugmodell.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen, die Unsicherheiten durch Kombinieren von Unsicherheiten für ein oder mehrere Objekte mit einem selben Ort und die durch eine Vielzahl von zweiten Fahrzeugen des Fahrzeugtyps berichtet sind, zu bestimmen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen dazu, die Datenbank durch Kombinieren der Unsicherheit mit Umweltbedingungen, die eines oder mehrere von Tageszeit, Jahreszeit und Wetterbedingungen beinhalten, zu bestimmen.
Gemäß einer Ausführungsform beinhalten Objektattribute Objektgeschwindigkeit und Obj ektrichtung.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen dazu, die Objektdaten durch Verarbeiten von Fahrzeugsensordaten mit einem tiefen neuronalen Netzwerk zu bestimmen, um die Objektattribute, die Objektidentität und die Unsicherheit zu bestimmen.
Gemäß einer Ausführungsform ist die Karte in das tiefe neuronale Netzwerk eingegeben, um die Objektidentität, die Objektattribute und die Unsicherheit zu bestimmen.
Gemäß einer Ausführungsform wird das tiefe neuronale Netzwerk auf Grundlage der Karte trainiert.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten aus einer Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, einer Objektidentifizierung, einer Messung von einem oder mehreren Attributen des Objekts, und einer Ungewissheit, die eine Wahrscheinlichkeit einer korrekten Objektidentifizierung für die Objektidentifizierung und die Objektattribute festlegt, die auf Grundlage der Sensordaten bestimmt sind, wobei das Objektattribut eine Objektgröße, eine Objektform und einen Objektort beinhaltet; Bestimmen einer Karte auf Grundlage der Datenbank, die die entsprechenden Orte und entsprechenden Unsicherheiten für den Fahrzeugtyp beinhalten; und Herunterladen der Karte auf ein Fahrzeug auf Grundlage eines Fahrzeugorts und des Fahrzeugtyps.
In einem Aspekt der Erfindung beinhaltet das Verfahren einen Computer in dem Fahrzeug, der einen Fahrzeugcomputerprozessor und einen Fahrzeugcomputerspeicher beinhaltet, der Anweisungen beinhaltet, die durch den Fahrzeugcomputerprozessor dazu ausführbar sind, das Fahrzeug auf Grundlage der heruntergeladenen Karte zu betreiben.
In einem Aspekt der Erfindung beinhaltet das Objekt eines oder mehrere von einem Fahrzeug und einem Fußgänger.
In einem Aspekt der Erfindung beinhalten die Fahrzeugsensordaten eines oder mehrere von Fahrzeugvideodaten, Fahrzeuglidardaten, Fahrzeugradardaten und F ahrzeugul traschallsensordaten.
In einem Aspekt der Erfindung beinhaltet der Fahrzeugtyp eines oder mehrere von einer Fahrzeugmarke und einem Fahrzeugmodell.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der Unsicherheiten durch Kombinieren von Unsicherheiten für ein oder mehrere Objekte mit einem selben Ort und die durch eine Vielzahl von zweiten Fahrzeugen desselben Fahrzeugtyps berichtet sind.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der Datenbank durch Kombinieren der Unsicherheit mit Umweltbedingungen, die eines oder mehrere von Tageszeit, Jahreszeit und Wetterbedingungen beinhalten.
In einem Aspekt der Erfindung beinhalten die Objektattribute Objektgeschwindigkeit und Objektrichtung.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der Objektdaten durch Verarbeiten von Fahrzeugsensordaten mit einem tiefen neuronalen Netzwerk, um die Objektidentität, die Objektattribute und die Unsicherheit zu bestimmen.

Claims

Verfahren, das Folgendes umfasst: auf Grundlage von Sensordaten in einem Fahrzeug, Bestimmen einer Datenbank, die Objektdaten aus einer Vielzahl von Objekten beinhaltet, einschließlich, für jedes Objekt, einer Objektidentifizierung, einer Messung von einem oder mehreren Attributen des Objekts, und einer Ungewissheit, die eine Wahrscheinlichkeit einer korrekten Objektidentifizierung für die Objektidentifizierung und die Objektattribute festlegt, die auf Grundlage der Sensordaten bestimmt sind, wobei das Objektattribut, eine Objektgröße, eine Objektform und einen Objektort beinhaltet; Bestimmen einer Karte auf Grundlage der Datenbank einschließlich der jeweiligen Orte und entsprechender Unsicherheiten für den Fahrzeugtyp; und Herunterladen der Karte auf Grundlage des Fahrzeugorts und des Fahrzeugtyps auf ein Fahrzeug.
Verfahren nach Anspruch 1, das ferner einen Computer in dem Fahrzeug umfasst, der einen Fahrzeugcomputerprozessor und einen Fahrzeugcomputerspeicher beinhaltet, der Anweisungen beinhaltet, die durch den Fahrzeugcomputerprozessor dazu ausführbar sind, das Fahrzeug auf Grundlage der heruntergeladenen Karte zu betreiben.
Verfahren nach Anspruch 1, wobei das Objekt eines oder mehrere von einem Fahrzeug und einem Fußgänger beinhaltet.
Verfahren nach Anspruch 1, wobei die Fahrzeugsensordaten eines oder mehrere von Fahrzeugvideodaten, Fahrzeuglidardaten, Fahrzeugradardaten und Fahrzeugultraschallsensordaten beinhalten.
Verfahren nach Anspruch 1, wobei der Fahrzeugtyp eines oder mehrere von einer Fahrzeugmarke und einem Fahrzeugmodell beinhaltet.
Verfahren nach Anspruch 1, das ferner Bestimmen der Unsicherheiten durch Kombinieren von Unsicherheiten für ein oder mehrere Objekte mit einem selben Ort und die durch eine Vielzahl von zweiten Fahrzeugen desselben Fahrzeugtyps berichtet sind, umfasst.
Verfahren nach Anspruch 1, das ferner Bestimmen der Datenbank durch Kombinieren der Unsicherheit mit Umweltbedingungen umfasst, die eines oder mehrere von Tageszeit, Jahreszeit und Wetterbedingungen beinhalten.
Verfahren nach Anspruch 1, wobei die Objektattribute Objektgeschwindigkeit und Objektrichtung beinhalten.
Verfahren nach Anspruch 1, das ferner Bestimmen der Objektdaten durch Verarbeiten von Fahrzeugsensordaten mit einem tiefen neuronalen Netzwerk umfasst, um die Objektidentität, die Objektattribute und die Unsicherheit zu bestimmen.
Verfahren nach Anspruch 9, wobei die Karte in das tiefe neuronale Netzwerk eingegeben wird, um die Objektidentität, die physischen Attribute des Objekts und die Unsicherheit zu bestimmen.
Verfahren nach Anspruch 10, wobei das tiefe neuronale Netzwerk auf Grundlage der Karte trainiert wird.
Verfahren nach Anspruch 1, wobei die Karte einen oder mehrere Hotspots beinhaltet, wobei jeder Hotspot einen realen Ort und die Unsicherheit beinhaltet, die dem realen Ort entspricht.
Verfahren nach Anspruch 12, wobei der eine oder die mehreren Hotspots eine Fahrzeugmarke und ein -modell beinhalten.
Verfahren nach Anspruch 1, wobei die Karte über einen Server-Daten-Handler und einen Client-Daten-Handler auf das Fahrzeug heruntergeladen wird.
System, das einen Computer umfasst, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-14 durchzuführen.