DE102020127043A1

DE102020127043A1 - Sicherheitssystem für ein fahrzeug

Info

Publication number: DE102020127043A1
Application number: DE102020127043.7A
Authority: DE
Inventors: David Gomez Gutierrez; Ranganath Krishnan; Javier Felip Leon; Nilesh Ahuja; Ibrahima Ndiour
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2019-12-27
Filing date: 2020-10-14
Publication date: 2021-07-01
Also published as: CN113044059A; US11314258B2; US20200133281A1

Abstract

Ein Sicherheitssystem für ein Fahrzeug kann einen oder mehrere Prozessoren beinhalten, die dazu ausgelegt sind, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell während des Betriebs eines Fahrzeugs anzeigen; einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren; und den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einem Steuerungssystem des Fahrzeugs bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.

Description

Technisches Gebiet
Verschiedene Aspekte dieser Offenbarung beziehen sich allgemein auf ein Sicherheitssystem für ein Fahrzeug.
Hintergrund
Autonomes Fahren (Autonomous Driving - AD) erfordert zuverlässige Sicherheitssysteme, die erkannte Daten der Umgebung eines autonomen Fahrzeugs (Autonomous Vehicle - AV) verarbeiten, um eine Fahrrichtlinie des AV zu implementieren. AV müssen möglicherweise unter unterschiedlichen Szenarien und Wetterbedingungen navigieren. Jedoch können Regen, Nebel, Schnee, Frost, Staub usw., oder sogar ein Altern von in einem AV installierten Sensoren ein Wahrnehmungs-/Klassifizierungssystem des AV herabsetzen, was Vorhersagen des Wahrnehmungs-/Klassifizierungssystems beeinflussen kann.
ZUSAMMENFASSUNG
Ein Sicherheitssystem für ein Fahrzeug kann einen oder mehrere Prozessoren beinhalten. Der eine oder die mehreren Prozessoren können dazu ausgelegt sein, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen, einen oder mehrere der Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten auf einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter zu ändern oder zu aktualisieren, und einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter einem Steuerungssystem des Fahrzeugs bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
Figurenliste
In den Zeichnungen beziehen sich Bezugszeichen allgemein über die unterschiedlichen Ansichten hinweg auf dieselben Teile. Die Zeichnungen sind nicht notwendigerweise maßstabsgetreu, stattdessen wird allgemein ein Schwerpunkt darauf gelegt, die Prinzipien der Erfindung zu veranschaulichen. In der folgenden Beschreibung werden verschiedene Ausführungsformen der Erfindung unter Bezugnahme auf die folgenden Zeichnungen beschrieben, in denen Folgendes gilt:

1 zeigt ein autonomes Fahrzeug gemäß verschiedenen Aspekten dieser Offenbarung;
2 zeigt verschiedene elektronische Komponenten eines Sicherheitssystems des Fahrzeugs;
3 zeigt ein Diagramm, das einen Erkennungsabstand und einen Sicherheitsabstand veranschaulicht;
Die 4A bis 4C zeigen Beispiele einer semantischen Segmentierung mit Unsicherheitsschätzung;
5A zeigt ein Flussdiagramm, das ein Verfahren zum Beeinflussen von Parametern eines Sicherheitsfahrmodells veranschaulicht, und 5B zeigt ein Framework eines Unsicherheitsschätzers von 5A;
6 zeigt eine schematische Darstellung eines beispielhaften Bayesschen neuronalen Netzwerks (Bayesian-Neural-Network - BNN);
7 zeigt ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug gemäß verschiedenen Aspekten dieser Offenbarung; und
8 zeigt ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug gemäß verschiedenen Aspekten dieser Offenbarung.

Beschreibung
Die folgende detaillierte Beschreibung bezieht sich auf die beigefügten Zeichnungen, die zur Veranschaulichung spezifische Details und Ausführungsformen zeigen, in denen die Erfindung praktiziert werden kann.
Das Wort „beispielhaft“ wird hierin so verwendet, dass es „als ein Beispiel, Fall oder eine Veranschaulichung dienend“ bedeutet. Jegliche hierin als „beispielhaft“ beschriebene Ausführungsform oder Gestaltung ist nicht notwendigerweise als bevorzugt oder vorteilhaft gegenüber anderen Ausführungsformen oder Gestaltungen auszulegen.
Definitionen
Der Begriff „Objekt“ ist so zu verstehen, dass er sich auf unbewegliche Objekte, einschließlich zum Beispiel Gebäude, Bäume, Straßen, Verkehrszeichen oder Ampeln, sowie sich bewegende Objekte, einschließlich zum Beispiel Fahrzeuge, Fußgänger, Tiere, bezieht.
Der Begriff „Straßenbenutzer“ ist als jeglicher Verkehrsteilnehmer zu verstehen, und kann Fußgänger, Radfahrer, Motorradfahrer, Kraftfahrer, Rollerfahrer, Rollstuhlbenutzer beinhalten.
Ein „Fahrzeug“ ist als jeglicher Typ von Fahrobjekt zu verstehen, und kann Automobile, Busse, Kleinbusse, Kleintransporter, Lastwagen, Mobilheime, Fahrzeuganhänger, Motorräder, Fahrräder, Dreiräder, fahrende Roboter, Personentransporter beinhalten.
Ein „Bodenfahrzeug“ ist als jeglicher Typ von Objekt zu verstehen, das auf dem Boden, zum Beispiel auf einer Straße, fährt.
Der Begriff „autonomes Fahrzeug“ bezieht sich auf ein Fahrzeug, das dazu in der Lage ist, mindestens eine Navigationsänderung ohne Eingabe des Fahrers zu implementieren. Eine Navigationsänderung bezieht sich auf eine Änderung des Lenkens und/oder Bremsens und/oder der Beschleunigung/Verzögerung des Fahrzeugs. Um autonom zu sein, muss ein Fahrzeug nicht vollautomatisch (zum Beispiel voll arbeitsfähig ohne Fahrer oder ohne Eingabe des Fahrers) sein. Ein autonomes Fahrzeug beinhaltet jene, die während bestimmter Zeiträume unter Fahrersteuerung und während anderer Zeiträume ohne Fahrersteuerung arbeiten können. Autonome Fahrzeuge können auch Fahrzeuge beinhalten, die nur einige Aspekte der Fahrzeugnavigation, wie zum Beispiel Lenken (zum Beispiel, um einen Fahrzeugkurs zwischen Fahrzeugspurbegrenzungen aufrechtzuerhalten) oder einige Lenkoperationen unter bestimmten Umständen (aber nicht unter allen Umständen) steuern, aber andere Aspekte dem Fahrer überlassen können (zum Beispiel Bremsen oder Abbremsen unter bestimmten Umständen). In einigen Aspekten können autonome Fahrzeuge einige oder alle Aspekte des Bremsens, der Geschwindigkeitssteuerung und/oder einem Lenken des Fahrzeugs handhaben.
Der Begriff „aleatorische Unsicherheit“, auch bezeichnet als „Eingabeunsicherheit“, wird so verstanden, dass er sich auf Unsicherheit bezieht, die von zu der Beobachtung gehörendem Rauschen stammt. Die Ursache für diesen Typ von Unsicherheit ist Rauschen von einem oder mehreren Sensoren.
Der Begriff „epistemische Unsicherheit“, auch bezeichnet als „Modellunsicherheit“, wird so verstanden, dass er sich auf Unsicherheit bezieht, die von mangelndem Wissen bei der Darstellung von Modellparametern stammt, insbesondere in dem Szenario beschränkter Daten.
1 zeigt Fahrzeug 100 einschließlich Sicherheitssystem 200 (gezeigt in 2) gemäß verschiedenen Aspekten dieser Offenbarung. Das Sicherheitssystem 200 kann verschiedene von den Anforderungen einer bestimmten Implementierung abhängige Komponenten beinhalten. Wie in 1 und 2 gezeigt, kann das Sicherheitssystem 200 einen oder mehrere Prozessoren 102, ein oder mehrere Bilderfassungsgeräte 104, wie zum Beispiel eine oder mehrere Kameras, Positionssensor 106, wie zum Beispiel ein Global-Navigation-Satellite-System (GNSS), zum Beispiel ein Global-Positioning-System (GPS), einen oder mehrere Speicher 202, Abbildungsdatenbank 204, eine oder mehrere Benutzerschnittstellen 206 (wie zum Beispiel eine Anzeige, einen Touchscreen, ein Mikrofon, einen Lautsprecher, eine oder mehrere Tasten und/oder Schalter und dergleichen) und einen oder mehrere drahtlose Transceiver 208, 210, 212 beinhalten. Die drahtlosen Transceiver können für unterschiedliche gewünschte Funkkommunikationsprotokolle oder -standards ausgelegt sein. Beispielsweise kann ein erster drahtloser Transceiver 208 gemäß einem Mobilfunkkommunikationsstandard kurzer Reichweite, wie zum Beispiel Bluetooth, ZigBee und dergleichen, ausgelegt sein. Darüber hinaus kann ein zweiter drahtloser Transceiver 210 gemäß einem Mobilfunkkommunikationsstandard mittlerer oder großer Reichweite, wie zum Beispiel einem 3G (zum Beispiel Universal-Mobile-Telecommunications-System - UMTS), einem 4G (zum Beispiel Long-Term-Evolution - LTE) oder einem 5G-Mobilfunkkommunikationsstandard gemäß 3GPP (3^rd Generation-Partnership-Project) - Standards, ausgelegt sein. Ein dritter drahtloser Transceiver 212 kann gemäß einem drahtlosen lokalen Netzwerkkommunikationsprotokoll oder -standard, wie zum Beispiel gemäß IEEE 802.11 (zum Beispiel 802.11, 802.11a, 802.11b, 802.11g, 802.1 In, 802.11p, 802.11-12, 802.11ac, 802.11ad, 802.11ah und dergleichen), ausgelegt sein. Der eine oder die mehreren drahtlosen Transceiver 208, 210, 212 können dazu ausgelegt sein, Signale über eine Luftschnittstelle zu übertragen. Die Bilderfassungsgeräte 104 können jeweils jeglichen Gerätetyp beinhalten, der zum Erfassen mindestens eines Bildes von einer Umgebung geeignet ist.
Der eine oder die mehreren Prozessoren 102 können Anwendungsprozessor 214, Bildprozessor 216, Kommunikationsprozessor 218 oder jegliches andere geeignete Verarbeitungsgerät beinhalten. In ähnlicher Weise können die Bilderfassungsgeräte 104 jegliche Anzahl von Bilderfassungsgeräten und -komponenten abhängig von den Anforderungen einer bestimmten Anwendung beinhalten. Die Bilderfassungsgeräte 104 können ein oder mehrere Bilderfassungsgeräte (zum Beispiel Kameras, CCD (Charge-Coupling-Devices) oder jeglichen anderen Typ von Bildsensor) beinhalten. Das Sicherheitssystem 200 kann auch eine Datenschnittstelle beinhalten, die den einen oder die mehreren Prozessoren 102 kommunizierend mit den Bilderfassungsgeräten 104 verbindet. Zum Beispiel kann eine erste Datenschnittstelle jegliche drahtgebundene und/oder drahtlose erste Verbindung 220 oder erste Verbindungen 220 zum Übertragen von durch die Bilderfassungsgeräte 104 erfassten Bilddaten zu dem einem oder den mehreren Prozessoren 102, zum Beispiel zu dem Bildprozessor 216, beinhalten.
Die drahtlosen Transceiver 208, 210, 212 können mit dem einen oder den mehreren Prozessoren 102, zum Beispiel mit dem Kommunikationsprozessor 218, gekoppelt sein, zum Beispiel über eine zweite Datenschnittstelle, die jegliche drahtgebundene und/oder drahtlose zweite Verbindung 222 oder zweite Verbindungen 222 zum Übertragen von durch die drahtlosen Transceiver 208, 210, 212 erfassten per Funk übertragenen Daten an den einen oder die mehreren Prozessoren 102, zum Beispiel an den Kommunikationsprozessor 218, beinhalten kann.
Der eine oder die mehreren Speicher 202 sowie die eine oder die mehreren Benutzerschnittstellen 206 können mit jedem der einen oder mehreren Prozessoren 102 gekoppelt sein, zum Beispiel über eine dritte Datenschnittstelle, die jegliche drahtgebundene und/oder drahtlose dritte Verbindung 224 oder dritte Verbindungen 224 beinhalten kann. Darüber hinaus kann der Positionssensor 106 mit jedem der einen oder mehreren Prozessoren 102 zum Beispiel über die dritte Datenschnittstelle gekoppelt sein.
Solche Übertragungen können auch Kommunikationen (Einweg- oder wechselseitig) zwischen dem Fahrzeug 100 und einem oder mehreren anderen (Ziel-) Fahrzeugen in einer Umgebung des Fahrzeugs 100 (zum Beispiel, um die Koordination der Navigation des Fahrzeugs 100 im Hinblick auf oder zusammen mit anderen (Ziel-) Fahrzeugen in der Umgebung des Fahrzeugs 100 zu ermöglichen), oder sogar eine Sendungsübertragung an nicht spezifizierte Empfänger in einem Umkreis des übertragenden Fahrzeugs 100 beinhalten.
Jeder Prozessor 214, 216, 218 des einen oder der mehreren Prozessoren 102 kann verschiedene Typen von hardwarebasierten Verarbeitungsgeräten beinhalten. Beispielsweise kann jeder Prozessor 214, 216, 218 einen Mikroprozessor, Vorprozessoren (wie zum Beispiel einen Bildvorprozessor), Grafikprozessoren, eine Central-Processing-Unit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher, oder jegliche anderen Typen von Geräten, die zum Ausführen von Anwendungen und zur Bildverarbeitung und -analyse geeignet sind, beinhalten. In einigen Ausführungsformen kann jeder Prozessor 214, 216, 218 jeglichen Typ eines Einzel- oder Multicore-Prozessors, eines Mikrocontrollers für mobile Geräte, einer Central-Processing-Unit, usw., beinhalten.
Jeglicher der hierin offenbarten Prozessoren kann dazu ausgelegt sein, bestimmte Funktionen gemäß Programmanweisungen auszuführen, die in einem Speicher des einen oder der mehreren Speicher 202 gespeichert sein können. Mit anderen Worten kann ein Speicher des einen oder der mehreren Speicher 202 Software speichern, die, wenn durch den Prozessor ausgeführt, den Betrieb des Systems, zum Beispiel des Sicherheitssystems 200, steuert. Ein Speicher des einen oder der mehreren Speicher 202 kann eine oder mehrere Datenbanken und Bildverarbeitungssoftware sowie ein trainiertes System, wie zum Beispiel ein neuronales Netzwerk oder ein tiefes neuronales Netzwerk, beinhalten. Der eine oder die mehreren Speicher 202 können jegliche Anzahl von Random-Access-Memories, Read-Only-Memories, Flash-Speichern, Plattenlaufwerken, optischer Speicherung, Bandspeicherung, Wechselspeicherung und anderen Typen von Speicherung beinhalten.
In einigen Ausführungsformen kann das Sicherheitssystem 200 ferner Komponenten, wie zum Beispiel einen Geschwindigkeitssensor (zum Beispiel einen Tachometer), zum Messen einer Geschwindigkeit des Fahrzeugs 100 beinhalten. Das Sicherheitssystem 200 kann auch einen oder mehrere Beschleunigungsmesser (entweder einachsig oder mehrachsig) (nicht gezeigt) zum Messen von Beschleunigungen des Fahrzeugs 100 entlang einer oder mehrerer Achsen beinhalten. Das Sicherheitssystem 200 kann ferner zusätzliche Sensoren oder unterschiedliche Sensortypen, wie zum Beispiel einen oder mehrere Radarsensoren 110, einen oder mehrere LIDAR-Sensoren 112 (die in die Scheinwerfer des Fahrzeugs 100 integriert sein können) und dergleichen, beinhalten. Der eine oder die mehreren Radarsensoren 110 und ein oder mehrere LIDAR-Sensoren 112 können mit jedem der einen oder mehreren Prozessoren 102 zum Beispiel über die dritte Datenschnittstelle gekoppelt sein.
Der eine oder die mehreren Speicher 202 können Daten speichern, zum Beispiel in einer Datenbank oder in jeglichem unterschiedlichen Format, die zum Beispiel einen Standort mit bekannten Orientierungspunkten anzeigen. Sensorische Informationen (wie zum Beispiel Bilder, Radarsignal, Tiefeninformationen von LIDAR oder Stereoverarbeitung von zwei oder mehr Bildern) der Umgebung des Fahrzeugs 100 können zusammen mit Positionsinformationen, wie zum Beispiel einer GPS-Koordinate, der Eigenbewegung des Fahrzeugs, usw., verarbeitet werden, um einen aktuellen Standort des Fahrzeugs 100 relativ zu den bekannten Orientierungspunkten zu bestimmen, und den Fahrzeugstandort zu präzisieren. Bestimmte Aspekte dieser Technologie können in einer Lokalisierungstechnologie, wie zum Beispiel einem Abbildungs- und Routing-Modell, enthalten sein.
Die Abbildungsdatenbank 204 kann jeglichen Datenbanktyp zum Speichern von (digitalen) Abbildungsdaten für das Fahrzeug 100, zum Beispiel für das Sicherheitssystem, beinhalten. Die Abbildungsdatenbank 204 kann Daten beinhalten, die sich auf die Position verschiedener Elemente in einem Referenzkoordinatensystem beziehen, einschließlich Straßen, Wassermerkmalen, geografischen Merkmalen, Unternehmen, Sehenswürdigkeiten, Restaurants, Tankstellen, usw. Die Abbildungsdatenbank 204 kann nicht nur die Standorte solcher Elemente speichern, sondern auch Deskriptoren, die sich auf diese Elemente beziehen, einschließlich zum Beispiel Namen, die mit jeglichem der gespeicherten Merkmale verbunden sind. In solchen Ausführungsformen kann ein Prozessor Informationen von der Abbildungsdatenbank 204 über eine drahtgebundene oder drahtlose Datenverbindung zu einem Kommunikationsnetzwerk (zum Beispiel über ein Mobilfunknetzwerk und/oder das Internet, usw.) herunterladen. In einigen Fällen kann die Abbildungsdatenbank 204 ein spärliches Datenmodell speichern, einschließlich Polynomdarstellungen bestimmter Straßenmerkmale (zum Beispiel Fahrspurmarkierungen) oder Zielbewegungsabläufen für das Fahrzeug 100. Die Abbildungsdatenbank 204 kann auch gespeicherte Darstellungen verschiedener erkannter Orientierungspunkte beinhalten, die dazu verwendet werden können, eine bekannte Position des Fahrzeugs 100 in Bezug auf einen Zielbewegungsablauf zu bestimmen oder zu aktualisieren. Die Orientierungspunktdarstellungen können unter anderen potenziellen Kennungen Datenfelder, wie zum Beispiel Orientierungspunkttyp, Orientierungspunktstandort, beinhalten.
Darüber hinaus kann das Sicherheitssystem ein Fahrmodell, zum Beispiel ein Advanced-Driving-Assistance-System (ADAS), beinhalten. Beispielsweise kann das Sicherheitssystem (zum Beispiel als Teil des Fahrmodells) eine Computerimplementierung eines Sicherheitsfahrmodells beinhalten, was ein strenges mathematisches Modell sein kann, das eine Interpretation des Gesetzes formalisiert, das auf selbstfahrende (Boden-) Fahrzeuge anwendbar ist. Ein Sicherheitsfahrmodell kann dazu entworfen sein, drei Ziele zu erreichen: erstens sollte die Interpretation des Gesetzes in dem Sinne solide sein, dass sie mit dem konform ist, wie Menschen das Gesetz interpretieren. Zweitens sollte die Interpretation zu einer nützlichen Fahrrichtlinie führen, was bedeutet, dass sie zu einer agilen Fahrrichtlinie anstelle einem übermäßig defensiven Fahren führt, was andere menschliche Fahrer unweigerlich verwirren würde und den Verkehr blockiert, und wiederum die Skalierbarkeit des Systemeinsatzes beschränkt. Drittens sollte die Interpretation in dem Sinn effizient verifizierbar sein, dass es strikt bewiesen werden kann, dass das selbstfahrende (autonome) Fahrzeug die Interpretation des Gesetzes korrekt implementiert. Ein Sicherheitsfahrmodell kann veranschaulichend ein mathematisches Modell zur Sicherheitssicherstellung sein oder beinhalten, das es ermöglicht, angemessene Reaktionen auf gefährliche Situationen zu identifizieren und auszuführen, sodass selbst verursachte Unfälle vermieden werden können.
Ein Sicherheitsfahrmodell kann durch Formalisieren der folgenden fünf Regeln aufgebaut werden:

- Niemandem von hinten auffahren.
- Nicht rücksichtslos einscheren.
- Vorfahrt wird gewährt, nicht genommen.
- Vorsicht in Bereichen mit beschränkter Sicht.
- Wenn ein Unfall vermieden werden kann, ohne einen anderen zu verursachen, muss dies getan werden.

Wie oben beschrieben, kann das Fahrzeug 100 das Sicherheitssystem 200, wie auch unter Bezugnahme auf 2 beschrieben, beinhalten.
Der eine oder die mehreren Prozessoren 102 können in dem Fahrzeug 100 enthalten sein, zum Beispiel integriert in oder getrennt von einer Engine-Control-Unit (ECU) des Fahrzeugs 100.
Das Sicherheitssystem kann allgemein Daten erzeugen, um die ECU und/oder andere Komponenten des Fahrzeugs 100 zu steuern oder beim Steuern zu assistieren, um das Fahren des Fahrzeugs 100 direkt oder indirekt zu steuern.
Adaptiver Sicherheitsfaktor in dem Sicherheitsmodell durch
Unsicherheitsschätzung
Autonome Fahrzeuge (AV) müssen möglicherweise unter unterschiedlichen Szenarien und Wetterbedingungen navigieren. Jedoch können Regen, Nebel, Schnee, Frost, Staub usw., oder sogar ein Altern der Sensoren ein Wahrnehmungs-/Klassifizierungssystem des AV herabsetzen. Ein AV, das während der Nacht oder unter solchen Wetterbedingungen navigiert, kann Objekte, wie zum Beispiel Fußgänger und Radfahrer in geringerem Abstand korrekt erkennen und klassifizieren, kann jedoch Fehler bei der Klassifizierung von Objekten in größerem Abstand machen. Für eine sichere Navigation sollte wiederum die Unsicherheit aufgrund von weniger idealen Wahrnehmungsbedingungen bei dem Bestimmen der sicheren Geschwindigkeit des Fahrzeugs berücksichtigt werden, da die Reaktionszeit verringert werden kann.
Bisher haben Sicherheitsfahrmodelle die Herabsetzung des Wahrnehmungs-/Klassifizierungssystems aufgrund von Altern oder Umweltbedingungen nicht berücksichtigt. Gemäß einem Aspekt dieser Offenbarung wird ein System vorgeschlagen, das die mit Vorhersagen verbundene Unsicherheit ständig überwacht und in ein Sicherheitsfahrmodell einbezieht.
Ein Sicherheitsfahrmodell kann ein mathematisches Modell zur Sicherheitssicherstellung in Verkehrsszenarien sein oder beinhalten, das ein Verfahren zum Berechnen angemessener Reaktionen eines autonomen Fahrzeugs (unter idealen Erkennungs-/Klassifizierungsbedingungen) bereitstellt. Es kann zuerst einen sicheren Längsabstand gemäß einer Geschwindigkeit eines Straßenbenutzers, zum Beispiel eines Fußgängers, berechnen. Dann kann es den kinematischen Zustand des Fahrzeugs bestimmen, sodass das Fahrzeug in einem sicheren Abstand bleibt, wenn eine angemessene Reaktion angewendet wird. Ein Sicherheitsfahrmodell kann jedoch erst dann eine angemessene Reaktion auslösen, wenn der Straßenbenutzer (zum Beispiel Fußgänger) korrekt erkannt und klassifiziert wird.
Konventionelle Sicherheitsfahrmodelle berücksichtigen keine Variationen in dem Erkennungs-/Klassifizierungssystem aufgrund unterschiedlicher Umgebungsbedingungen. Obwohl Umgebungsbedingungen die Erkennung anderer Fahrzeuge nicht wesentlich beeinflussen können, können sie die Erkennung und Klassifizierung von Fußgängern und Radfahrern erheblich beeinflussen, was hauptsächlich auf der Sicht basieren kann.
Als ein Beispiel wird angenommen, dass ein Wahrnehmungs-/Klassifizierungssystem eines autonomen Fahrzeugs (AV) Fußgänger in einem Abstand von 15 m unter idealen Bedingungen erkennt, und dass der kinematische Zustand des Fahrzeugs so ist, dass er es dem Fahrzeug ermöglicht, in einem solchen Abstand sicher anzuhalten. Ein Unfall kann unter Nebel auftreten, wenn das Wahrnehmungs-/Klassifizierungssystem des AV Fußgänger erst erkennt, wenn sich das Fahrzeug in einem Abstand von 7 m befindet. Somit sollte der kinematische Zustand des Fahrzeugs (unter Nebel) so sein, dass das Fahrzeug eine sichere Bremsung in einem Abstand von 7 m anwenden kann. Zum Beispiel sollte die maximal erlaubte Geschwindigkeit für das Fahrzeug unter Nebel niedriger sein als unter idealen Bedingungen.
Um zu veranschaulichen, wie Änderungen in dem Wahrnehmungs-/Klassifizierungssystem die erlaubten Geschwindigkeiten für ein autonomes Fahrzeug, zum Beispiel Fahrzeug 100 von 1, beeinflussen sollten, und unter Bezugnahme auf 3, wird das Fahrzeug 100 als in einem Wohngebiet fahrend betrachtet, und es wird angenommen, dass gemäß der aktuellen Situation ein Wahrnehmungs-/Klassifizierungssystem des Fahrzeugs 100 Straßenbenutzer 310 (zum Beispiel Fußgänger, Radfahrer) in einem Abstand D_p von dem Fahrzeug 100 erkennt. Außerdem wird eine Reaktionszeit von der Erkennung bis zu der Aktion von t_r angenommen. Somit kann die maximal erlaubte Geschwindigkeit v_max, sodass das Fahrzeug 100 in einem Abstand von mindestens d_safe von dem Straßenbenutzer 310 anhält, wenn das Wahrnehmungs-/Klassifizierungssystem des Fahrzeugs 100 den Straßenbenutzer 310 zu einem Zeitpunkt t_c in dem Abstand D_p von dem Fahrzeug 100 erkennt, das sich zu dem Zeitpunkt t_c mit einer Geschwindigkeit v fortbewegt, und ein Bremsen von mindestens a_min,break zu einem Zeitpunkt t_c + t_r anwendet, wie folgt abgeleitet werden.
Die Anwendung der Bewegungsgleichungen ergibt:
Der Abstand, den sich das Fahrzeug 100 in dem Zeitintervall [t_c, t_c + t_r] fortbewegt, beträgt $d_{[t_{c}, t_{c} + t_{r}]} = v t_{r}$
und der Abstand, den sich das Fahrzeug 100 von t_c + t_r bis zu einem vollständigen Halt, der bei t_s auftritt, fortbewegt, ist gegeben durch $d_{[t_{c} + t_{r}, t_{s}]} = \frac{v^{2}}{2 a_{m i n, b r e a k}}$
Somit ist der Abstand, den sich das Fahrzeug 100 von der Erkennung zu dem Zeitpunkt t_c bis zu dem vollständigen Halt zu dem Zeitpunkt t_s fortbewegt, gegeben durch $d_{[t_{c}, t_{s}]} = t_{r} v + \frac{v^{2}}{2 a_{m i n, b r e a k}}$
Somit ist die maximal erlaubte Geschwindigkeit v_max, um zu gewährleisten, dass das Fahrzeug 100 in einem Abstand von mindestens d_safe von dem Straßenbenutzer 310 anhalten wird, wenn das Wahrnehmungs-/Klassifizierungssystem des Fahrzeugs 100 den Straßenbenutzer 310 in dem Abstand D_p von dem Fahrzeug 100 erkennt, gegeben durch v_max = max(v), sodass $t_{r} v + \frac{v^{2}}{2 a_{m i n, b r e a k}} \leq D_{p} - d_{s a f e}$
Somit beeinflusst eine solche v_max die Definition eines sicheren Längsabstands in einem Sicherheitsfahrmodell, zum Beispiel die Definition eines minimalen sicheren Längsabstands zwischen zwei Fahrzeugen (vorderes Fahrzeug und hinteres Fahrzeug), die in derselben Richtung (hintereinander) entlang einer einspurigen Straße fahren, der gegeben sein kann durch $d_{m i n} = {[ν_{r} ρ + \frac{1}{3} a_{m a x, a c c} ρ^{2} + \frac{{(ν_{r} + a_{m a x, a c c} ρ)}^{2}}{2 a_{m i n, b r}} - \frac{ν_{f}^{2}}{2 a_{m a x, b r}}]}_{+}$
wobei [x]₊ := max{x, 0}
und wobei

- v_r die Geschwindigkeit des hinteren Fahrzeugs ist, wenn das vordere Fahrzeug zu bremsen beginnt
- p die Reaktionszeit des hinteren Fahrzeugs ist (das heißt die Zeit zwischen dem Zeitpunkt, zu dem das vordere Fahrzeug zu bremsen beginnt, und dem Zeitpunkt, zu dem das hintere Fahrzeug zu bremsen beginnt).
- a_max,acc die maximale Beschleunigung des hinteren Fahrzeugs während der Reaktionszeit ist
- a_min,br die minimale Verzögerung des hinteren Fahrzeugs nach der Reaktionszeit bis zu einem vollständigen Halt ist
- a_max,br die maximale Verzögerung des vorderen Fahrzeugs ist, nachdem das vordere Fahrzeug zu bremsen beginnt
- v_f die Geschwindigkeit des vorderen Fahrzeugs ist, wenn das vordere Fahrzeug zu bremsen beginnt.

Ein Aspekt dieser Offenbarung ist es somit, eine maximal erlaubte Geschwindigkeit (für ein Fahrzeug) zu bestimmen, wenn erwartet wird, dass eine sichere Erkennung/Klassifizierung (basierend auf der aktuellen Unsicherheitsschätzung) eines Objekts (zum Beispiel Fußgänger, Radfahrer oder anderer Straßenbenutzer) nur in einem Abstand auftritt, der geringer als ein Abstand Y ist. Das Erreichen einer solchen Höchstgeschwindigkeit ermöglicht es wiederum, den sicheren Längsabstand für das Fahrzeug unter unterschiedlichen Szenarien neu zu definieren. Somit ist es ein Aspekt dieser Offenbarung, es einem Sicherheitsfahrmodell zu ermöglichen, Unsicherheitsmessungen und Sensorherabsetzung für Sicherheitsgarantien zu nutzen. Durch Neudefinieren des sicheren Längsabstands können Systeme und Verfahren gemäß Aspekten dieser Offenbarung erreichen, dass basierend auf der Herabsetzung des Wahrnehmungs-/Klassifizierungssystems nach dem Erfassen des Objekts (zum Beispiel Straßenbenutzer, zum Beispiel Fußgänger oder Radfahrer) immer noch eine angemessene Reaktion (wie durch das Sicherheitsfahrmodell definiert) des Fahrzeugs existiert. Dies kann zu sichereren und zuverlässigeren autonomen Fahrzeugen, zum Beispiel für Fußgänger und Radfahrer, beitragen.
Konventionelle Verfahren verwenden die Erkennung von Fußgängern mit Systemen, von denen gezeigt wurde, dass sie ein optimistisches Sicherheitsniveau bereitstellen (mit anderen Worten, sie stellen einen hohen Sicherheitswert bereit, während sie darin versagen, präzise zu klassifizieren). Diese Verfahren berücksichtigen keine Unsicherheit in dem Wahrnehmungs-/Klassifizierungssystem, um die Geschwindigkeit anzupassen. Somit sind konventionelle Systeme möglicherweise nur unter idealen Bedingungen sicher für Fußgänger. Für einen erfolgreichen Einsatz autonomer Fahrzeuge (AV) sollten nicht nur die Erkennungssysteme verbessert werden, sondern es sollte die Unsicherheit bei dem Bestimmen der sicheren Geschwindigkeit zur Navigation berücksichtigt werden.
Ein Aspekt dieser Offenbarung ist es, Unsicherheit in ein Sicherheitsfahrmodell einzubeziehen, um die Navigation rund um Fußgänger und Radfahrer zu verbessern, was aktuell eine der Hauptherausforderungen für die Einführung autonomer Fahrzeuge sein kann.
Ein Aspekt dieser Offenbarung ist es, ein Verfahren bereitzustellen, das es ermöglicht, Parameter eines Sicherheitsfahrmodells dynamisch anzupassen, um Unsicherheiten in den Erfassungs-/Klassifizierungssystemen zu berücksichtigen und übermütige Handlungen, die das Risiko eines Unfalls erhöhen könnten, zu vermeiden. Der Ansatz kann unterschiedliche Verfahren kombinieren, um die Unsicherheit in dem Wahrnehmungs-/Klassifizierungssystem zu bestimmen. Er kann probabilistische Verfahren verwenden, um die Unsicherheit zu beurteilen, während er zwischen Unsicherheit aufgrund von Sensorrauschen (aleatorische/Eingabeunsicherheit) und Unsicherheit aufgrund von Beobachtungen, die weit von dem Trainingssatz entfernt sind (epistemische/Modellunsicherheit), unterscheidet. Er kann die ausgeführten Erkennungen verfolgen, um zu bestimmen, in welchem Abstand Straßenbenutzer (zum Beispiel Fußgänger und Radfahrer) mit Unsicherheit innerhalb erlaubter Grenzen korrekt erkannt und klassifiziert werden. Er kann frühere Beobachtungen desselben Gebiets ausnutzen, um die Herabsetzung der Wahrnehmung zu bestimmen, beispielsweise um die Unsicherheit bei der Klassifizierung statischer Objekte, die Anzahl der beobachteten Merkmale, usw., zu vergleichen. Er kann die Unsicherheitsquantifizierung dazu verwenden, die Geschwindigkeit eines autonomen Fahrzeugs (AV) anzupassen, um es dem Fahrzeug zu ermöglichen, sicher zu bremsen, um eine Kollision zu vermeiden. So kann es die Unsicherheitsquantifizierung beispielsweise ermöglichen, die Parameter des Sicherheitsfahrmodells in den Definitionen von Sicherheitsabstand und angemessener Reaktion dynamisch anzupassen.
Ein oder mehrere Prozessoren eines Sicherheitssystems, zum Beispiel der eine oder die mehreren Prozessoren 102 des in 1 gezeigten Fahrzeugs 100, einschließlich des Sicherheitssystems 200, können die oben genannten und die folgenden Aspekte und Verfahren implementieren. Ein oder mehrere Speicher des Sicherheitssystems, zum Beispiel der eine oder die mehreren Speicher 202 des Sicherheitssystems 200, können (zumindest vorübergehend) jegliche der Informationen (zum Beispiel Eingabe- oder Ausgabedaten, Modellparameter, Berechnungsergebnisse, usw.) speichern, die in den Verfahren gemäß Aspekten dieser Offenbarung verwendet oder erhalten werden (zum Beispiel verwendet oder erhalten in oder während eines jeglichen der Verfahrensschritte).
Im Folgenden werden verschiedene Aspekte eines Sicherheitssystems für ein Fahrzeug und ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug dieser Offenbarung unter Bezugnahme auf die 4A und 4B, 5A bis 5C und 6 detaillierter erläutert.
Verfolgungsbasierte Schätzung des Abstands, in dem Objekte erkannt werden
Gemäß einem Aspekt, wenn das Fahrzeug (zum Beispiel Fahrzeug 100) navigiert, kann es ständig Objekte, wie zum Beispiel Fußgänger und Radfahrer, erkennen und verfolgen, sowie einen von einem Bayesschen neuronalen Netzwerk (BNN) bei jedem Frame erhaltenen Datensatz der epistemischen und aleatorischen Unsicherheit aufzeichnen. Wenn das Fahrzeug einem Objekt näher kommt (zum Beispiel einem Straßenbenutzer, zum Beispiel einem Fußgänger oder Radfahrer) und es korrekt klassifiziert, kann der Abstand gemessen werden, in dem es (das Objekt) mit einer erforderlichen Sicherheit korrekt klassifiziert wurde. Dann kann ein solcher Datensatz dazu verwendet werden, ein vollständig verbundenes neuronales Netzwerk (zum Beispiel ein vollständig verbundenes wiederkehrendes neuronales Netzwerk) dazu zu trainieren, die aleatorische und epistemische Unsicherheit pro Pixel einzugeben, und den Abstand auszugeben, in dem ein Objekt (zum Beispiel ein Straßenbenutzer, zum Beispiel ein Fußgänger oder Radfahrer) korrekt klassifiziert werden würde.
Im Folgenden wird die Berechnung der aleatorischen und epistemischen Unsicherheiten pro Pixel detaillierter erläutert.
Unsicherheitsschätzung durch Verwenden eines Bayesschen neuronalen Netzwerks
Bezugnehmend auf die 4A bis 4C, wird mit wenigen semantischen Segmentierungsbeispielen veranschaulicht, wie die Unsicherheitsschätzung durch Verwenden eines tiefen Bayesschen neuronalen Netzwerks zum Anpassen des Sicherheitsfaktors in einem Sicherheitsfahrmodell verwendet werden kann.
Beispiel A
4A zeigt, dass es in Abschnitt 408 einer Szene (erfasst als Eingabe-Frame 402), die als Straße oder Bürgersteig hervorgehoben ist, eine inhärente Mehrdeutigkeit gibt. Das heißt, das neuronale Netzwerk klassifiziert einige der Pixel in Abschnitt 408 der Szene als Straße, klassifiziert jedoch andere der Pixel in Abschnitt 408 als Bürgersteig, wie von der semantischen Segmentierungsabbildung 404, die dem Eingabe-Frame 402 entspricht, gesehen werden kann. Dieser Typ von Daten kann während des Modelltrainings nicht beobachtet werden. Die Unsicherheitsschätzungen von dem tiefen Bayesschen neuronalen Netzwerk, dargestellt durch Unsicherheitsabbildung 406, können diese Mehrdeutigkeit mit hohen Unsicherheitsschätzungen (in 408) erfassen. Wenn eine hohe Unsicherheit beobachtet wird, können Steuerungssysteme in dem autonomen Fahrzeug, die Entscheidungen basierend auf dem visuellen Wahrnehmungssystem treffen, alarmiert werden (zum Beispiel, um die Geschwindigkeit zu verringern oder um ein Eingreifen eines Experten (zum Beispiel von einem menschlichen Fahrer) anzufordern).
Beispiel B
4B zeigt durch das tiefe Bayessche neuronale Netzwerk erhaltene Unsicherheitsabbildung 426, die eine höhere Unsicherheit für weiter entfernte Objekte in einer Szene (erfasst als Eingabe-Frame 422) unter normalen Wetterbedingungen darstellt. Semantische Segmentierungsabbildung 424 zeigt die Klassifizierung von Objekten in dem Eingabe-Frame 422 in verschiedene Klassen 430 („Straße“, „Mauer“, „Ampel“, ..., „Lastwagen“, „Motorrad“) durch das neuronale Netzwerk. Wie von der Unsicherheitsabbildung 426 gesehen werden kann, ist die Klassifizierung von weiter entfernten Objekten mit einer höheren Unsicherheit verbunden, während die Klassifizierung von nahen Objekten (zum Beispiel Fußgängern in dem Eingabe-Frame 422) mit einer geringen Unsicherheit verbunden ist.
Beispiel C
4C zeigt eine simulierte Schneebedingung, die eine Leistungsherabsetzung bei der Vorhersage mit Abstand unter gefährlichen Wetterbedingungen oder beschränkter Sichtbarkeit darstellt. Radfahrer und PKW, die etwas weiter als wenige Meter von einer Kamera des autonomen Fahrzeugs (AV) entfernt sind, werden in der semantischen Segmentierungsabbildung nicht identifiziert. Dies wird durch hohe Unsicherheitsschätzungen in der Unsicherheitsabbildung markiert. Detaillierter zeigt 4C eine Szene unter normalen Wetterbedingungen (erfasst als Eingabe-Frame 442) und unter simulierter Schneebedingung (Eingabe-Frame 462), entsprechende Bodenwahrheitsabbildungen 448 und 468 (die eine ideale Klassifizierung aller Objekte in den Eingabe-Frames 442 und 462 in die Klassen 430 anzeigen; die Bodenwahrheitsabbildungen 448 und 468 sind identisch), entsprechende semantische Segmentierungsabbildungen 444 und 464, die die Klassifizierung der Objekte in den Eingabe-Frames 442 bzw. 462 in die durch das neuronale Netzwerk erhaltenen Klassen 430 zeigen, und entsprechende Unsicherheitsabbildungen 446 und 466, die die Unsicherheitsschätzungen für beide Bedingungen zeigen, wie sie durch das neuronale Netzwerk erhalten werden. Wie von der Segmentierungsabbildung 464 gesehen werden kann, erkennt das neuronale Netzwerk den Radfahrer und die PKW in einem Abstand, der weiter als einige Meter von der Kamera entfernt ist, nicht. Dies wird durch hohe Unsicherheitswerte in der entsprechenden Unsicherheitsabbildung 466 begleitet.
In den oben genannten beispielhaften Szenarien (alternativ oder zusätzlich in anderen Szenarien) können Verfahren und Systeme gemäß verschiedenen Aspekten dieser Offenbarung Unsicherheitsschätzungen dazu verwenden, die Parameter des Sicherheitsfahrmodells in den Definitionen von Sicherheitsabstand und angemessener Reaktion dynamisch anzupassen (zum Beispiel die Geschwindigkeit des AV anzupassen, um es dem Fahrzeug zu ermöglichen, langsamer zu werden oder sicher zu bremsen, um eine Kollision zu vermeiden.)
5A zeigt ein Flussdiagramm, das Verfahren 500 zum Beeinflussen von Parametern eines Sicherheitsfahrmodells gemäß verschiedenen Aspekten dieser Offenbarung veranschaulicht, um einen sichereren Betrieb autonomer Fahrzeuge (AV) zu ermöglichen, während es robust zum Beispiel gegenüber einer unerwarteten Sensorherabsetzung und/oder gefährlichen Wetterbedingungen ist, und 5B zeigt ein Framework von in 5A gezeigtem Unsicherheitsschätzer 510. Ein oder mehrere Prozessoren eines Sicherheitssystems, zum Beispiel die einen oder mehreren Prozessoren 102 des in dem in 1 gezeigten Fahrzeug 100 enthaltenen Sicherheitssystems 200, können das Verfahren 500 implementieren. Ein oder mehrere Speicher des Sicherheitssystems, zum Beispiel der eine oder die mehreren Speicher 202 des in 2 gezeigten Sicherheitssystems 200, können (zumindest vorübergehend) jegliche der Informationen (zum Beispiel Eingabe- oder Ausgabedaten, Modellparameter, Berechnungsergebnisse, usw.) speichern, die in dem Verfahren 500 (zum Beispiel in oder während eines jeglichen der Verfahrensschritte) verwendet oder erhalten werden.
Das Verfahren 500 kann das Eingeben von Bilddaten (zum Beispiel erhalten durch das eine oder die mehreren Bilderfassungsgeräte 104 des Sicherheitssystems 200 des Fahrzeugs 100, zum Beispiel Kameraaufnahmen durch eine oder mehrere Kameras) beinhalten, zum Beispiel pixelweise, als Eingaben 502 in Klassifizierer 504, der ein Bayessches neuronales Netzwerk (BNN) sein oder beinhalten kann. 6 zeigt eine schematische Darstellung von beispielhaftem BNN 600 einschließlich Knoten 602, die in Ebenen (einschließlich einer Eingabeebene, einer Ausgabeebene und einer oder mehrerer versteckter Ebenen zwischen der Eingabeebene und der Ausgabeebene) angeordnet und über Kanten 604 verbunden sind, und Gewichte 606, die mit den Ausgaben jedes der Knoten 602 mit Ausnahme der Knoten 602 der Ausgabeebene verbunden sind. Jedes der Gewichte 606 kann Werte von einer (zum Beispiel vordefinierbaren) Verteilung über Gewichte annehmen. Eine weitere Erläuterung des BNN 600 wird hierin unten gegeben.
Der Klassifizierer 504 (zum Beispiel BNN 600) kann als Ausgabe Vorhersageverteilung 505 bereitstellen, von der drei Ausgabekomponenten erhalten werden können: (1) Vorhersageergebnis 507 (zum Beispiel Klassifizierung von Bilddaten (zum Beispiel von in einem Bild-Frame enthaltenen Objekten) gemäß vorbestimmbaren Klassen), (2) aleatorische Unsicherheitsschätzungen 552 und (3) epistemische Unsicherheitsschätzungen 554, das heißt rauschbasierte und modellbasierte Unsicherheiten, die mit dem Vorhersageergebnis 507 verbunden sind. Die Unsicherheitsschätzungen können Unsicherheitsschätzungen für jedes Pixel der Eingabebilddaten beinhalten.
Ein Unsicherheitsschätzer 510 kann die Vorhersageverteilung 505 von dem Klassifizierer 504 (zum Beispiel BNN 600) als Eingabe empfangen, die Vorhersageverteilung 505 verarbeiten, und als ein Ergebnis die Unsicherheitsschätzungen 552 und 554 bereitstellen (Unsicherheitsberechnung 550).
Der Unsicherheitsschätzer 510 kann vollständig verbundenes neuronales Netzwerk 556 beinhalten, das als Eingaben die in der Unsicherheitsberechnung 550 erhaltenen Unsicherheitsschätzungen 552, 554 und erforderliches Sicherheitsniveau 558 empfängt. Das Sicherheitsniveau 558 kann vordefiniert sein. Als ein Beispiel kann das Sicherheitsniveau 558 mindestens 80%, zum Beispiel mindestens 85%, zum Beispiel mindestens 90%, zum Beispiel mindestens 95%, zum Beispiel mindestens 99% sein. Das vollständig verbundene neuronale Netzwerk 556 kann durchschnittlichen Abstand 560 bestimmen, in dem der Klassifizierer 504 (BNN) Objekte, zum Beispiel Straßenbenutzer (zum Beispiel Fußgänger und Radfahrer) mit dem erforderlichen Sicherheitsniveau 558 erkennt und korrekt klassifiziert. Der durchschnittliche Abstand 560 kann für unterschiedliche Typen (Klassen) von Objekten, unterschiedliche Szenarien (Fahrsituationen), unterschiedliche Wetterbedingungen (Sonne, Regen, Nebel, Staub, Frost, usw.) unterschiedlich sein, wie oben erläutert.
Das Verfahren 500 kann das Bestimmen (in 512) einer maximal erlaubten Geschwindigkeit v_max für das Fahrzeug 100 von dem durchschnittlichen Abstand 560 beinhalten, und in 513 die bestimmte v_max als Parameter dem Sicherheitsfahrmodell bereitstellen. Die maximal erlaubte v_max kann zum Beispiel eine Geschwindigkeit sein, die es dem Fahrzeug 100 ermöglicht, in einem Abstand d_safe von einem Objekt (zum Beispiel Straßenbenutzer) zu einem sicheren Halt zu kommen, siehe zum Beispiel 3. Somit kann v_max auch als „sichere v_max“ bezeichnet werden. Das Verfahren 500 kann v_max in das Sicherheitsfahrmodell eingeben, zum Beispiel, um einen „sicheren Längsabstand“ -Parameter des Sicherheitsfahrmodells in 514 neu zu definieren, wie unten weiter erläutert wird. Das Verfahren 500 kann das Bestimmen beinhalten, ob einem menschlichen Fahrer die Steuerung gegeben werden soll, basierend auf den in der Unsicherheitsberechnung 550 erhaltenen Unsicherheitsschätzungen.
Das Verfahren 500 kann das Bestimmen (in 506) von dem Vorhersageergebnis 505 des Klassifizierers 504 (BNN) beinhalten, ob der Klassifizierer 504 mindestens ein Objekt (zum Beispiel einen Straßenbenutzer, zum Beispiel einen Fußgänger oder Radfahrer) erkannt hat.
Wenn der Klassifizierer 504 mindestens ein Objekt erkannt hat, kann das Verfahren in 508 einen Bewegungsablauf des mindestens einen Objekts vorhersagen. Dies kann beispielsweise durch Verwenden eines ABC (Approximate-Bayesian-Computation) -Verfahrens erfolgen, das ein generatives Modell dazu verwendet, mögliche Bewegungsabläufe hin zu unterschiedlichen Zielen zu erzeugen, mit dem Ziel, eine Wahrscheinlichkeitsverteilung zu bestimmen, basierend darauf, wie sie mit den Beobachtungen übereinstimmen. Das generative Modell kann beispielsweise ein Bewegungsablaufplanungsalgorithmus oder ein neuronales Netzwerk sein. Ein anderer Ansatz kann es sein, ein oder mehrere von beobachteten Daten trainierte neuronale Netzwerke zu verwenden.
Das Verfahren 500 kann in 514 das Neudefinieren (mit anderen Worten das Ändern oder Aktualisieren) des Parameters „sicherer Längsabstand“ des Sicherheitsfahrmodells beinhalten, basierend auf der in 512 bestimmten maximal erlaubten Geschwindigkeit v_max, oder basierend auf dem (den) in 508 bestimmten vorhergesagten Bewegungsablauf (Bewegungsabläufen), oder basierend auf bei dem. Wenn der in 512 bestimmte Wert von v_max sich von einem zuvor bestimmten Wert von v_max (zum Beispiel einem in einer vorherigen Iteration des Verfahrens bestimmten Wert von v_max) unterscheidet, kann das Verfahren 500 den sicheren Längsabstand des Sicherheitsfahrmodells anpassen (zum Beispiel den Abstand d_min von Gleichung (5) oben), um zum Beispiel abhängig von dem Wert von v_max länger oder kürzer zu werden.
Das Verfahren 500 kann bei 516 das Bestimmen beinhalten, ob aktuelle Aktionen (zum Beispiel aktuelle Aktionen des Fahrzeugs, zum Beispiel aktuelle Fahrvorgänge, zum Beispiel aktuelle Fahrgeschwindigkeit, Beschleunigung, Verzögerung, usw.) den (neu definierten) sicheren Längsabstand erfüllen. Wenn die Antwort „Ja“ ist, kann das Verfahren in 518 das Zurückkehren zu dem Klassifizierer 504 beinhalten, um eine neue Eingabe 502, zum Beispiel neue Bilddaten, zum Verarbeiten zu empfangen. Wenn die Antwort „Nein“ ist, kann das Verfahren in 520 das Initiieren einer angemessenen Reaktion gemäß dem Sicherheitsfahrmodell (zum Beispiel Verzögern (Bremsen), das Beschleunigen stoppen, usw.) und in 522 das Zurückkehren zu dem Klassifizierer 504 beinhalten, um eine neue Eingabe 502, zum Beispiel neue Bilddaten, zum Verarbeiten zu empfangen
Ein Aspekt des hierin oben erläuterten Verfahrens ist es somit, einen oder mehrere Parameter (zum Beispiel einen sicheren Längsabstand) eines Sicherheitsfahrmodells basierend auf Unsicherheitsschätzungsergebnissen, die von Vorhersageverteilungen eines Bayesschen neuronalen Netzwerks (BNN), zum Beispiel eines tiefen Bayesschen neuronalen Netzwerks (Bayesian-Deep-Neural-Network - BDNN), erhalten wurden, neu zu definieren.
Die Unsicherheitsschätzung gemäß Aspekten dieser Offenbarung kann dabei helfen, sicherere, zuverlässigere und robustere Systeme für künstliche Intelligenz (Artificial-Intelligence - AI) zu entwerfen. Das Erfassen zuverlässiger Unsicherheitsschätzungen gemäß Aspekten dieser Offenbarung kann dabei helfen, Vertrauen in die Entscheidungsfindungssicherheit des Modells aufzubauen. Konventionelle Deep-Learning-Verfahren stellen keine Unsicherheitsschätzungen zusammen mit Vorhersagen bereit. Konventionelle tiefe neuronale Netze (Deep-Neural-Networks - DNN) werden dazu trainiert, die maximalen Wahrscheinlichkeitsschätzungen der Netzwerkparameter zu erhalten, während sie Unsicherheit bei den Vorhersagen überhaupt nicht berücksichtigen. Das Erfassen von Unsicherheitsschätzungen von DNN-Ausgabe gemäß Aspekten dieser Offenbarung kann dabei helfen, übermütige Entscheidungen in Szenarien zu vermeiden, in denen völlig neuartige Eingabedaten eingegeben werden, die durch das Modell während des Trainings nicht beobachtet worden sind.
Die folgende Beschreibung erläutert Aspekte eines Bayesschen neuronalen Netzwerks (BNN), wie zum Beispiel des in 6 gezeigten Netzwerks 600, detaillierter.
Bayessche neuronale Netzwerke (BNN) bieten eine probabilistische Interpretation von Deep-Learning-Modellen, indem Verteilungen über die Modellparameter (Gewichte) abgeleitet werden.
Bei gegebenem Trainingsdatensatz D = {x, y} mit Eingaben x = {x₁, ... , x_N} und ihren entsprechenden Ausgaben y = {y₁, ... , y_N} ist es in parametrischen Bayesschen Einstellungen ein Ziel, eine Verteilung über Gewichte ω einer Funktion y = f^ω (x), die die Struktur des neuronalen Netzwerks darstellt, abzuleiten, um Ausgaben zu erzeugen. Eine vorherige Verteilung p(ω) kann über den Raum von Modellparametern (Gewichten) zugewiesen werden, der eine vorherige Annahme erfasst, welche Modellparameter (Gewichte) wahrscheinlich die Ausgaben erzeugt hätten, bevor jegliche Daten beobachtet wurden. Eine Wahrscheinlichkeitsverteilung über die Ausgaben bei gegebenen Eingaben p(y|x,ω) kann als Modellwahrscheinlichkeit definiert werden, die üblicherweise als eine kategorische Verteilung über die Ausgabe des neuronalen Netzwerks in Klassifizierungseinstellungen und als eine Gaußsche Verteilung über die Ausgabe des neuronalen Netzwerks in Regressionseinstellungen angenommen wird. Bei gegebenen Evidenzdaten, vorheriger Verteilung und Modellwahrscheinlichkeit ist es dann ein Ziel, nach der posterioren Verteilung über den Raum der Parameter p(ω|D) mit Bayesscher Inferenz zu suchen, wie in Gleichung (6) unten gezeigt. Diese Verteilung erfasst, wie wahrscheinlich die Modellparameter bei den gegebenen beobachteten Daten sind: $p (ω | D) = \frac{p (y | x, ω) p (ω)}{\int p (y | x, ω) p (ω) d ω}$
wobei

p(ω): Vorheriges Gewicht
p(y|x,ω): Modellwahrscheinlichkeit
p(ω|D): Posteriores Gewicht

Mit anderen Worten, das posteriore p(ω|D) erfasst den Satz plausibler Modellparameter bei gegebenen Daten D.
Mit dem ungefähren posterioren Wert für Modellparameter, der während des Trainings des Bayesschen neuronalen Netzwerks abgeleitet wurde, ist es möglich, eine Ausgabe für einen neuen Datenpunkt vorherzusagen, indem über die Modellwahrscheinlichkeit propagiert wird, während Stichproben von dem gelernten posterioren Parameter gezogen werden. Gleichung (7) unten zeigt die vorhergesagte Verteilung der Ausgabe y* bei gegebener neuer Eingabe x*. $p (y * | x *, D) = \int p (y * | x *, ω) p (ω | D) d ω \approx \frac{1}{T} \sum_{i = 1}^{T} p (y * | x *, ω_{i}); ω_{i} \sim p (ω | D)$
7 zeigt Verfahren 700 zum Betreiben eines Sicherheitssystems für ein Fahrzeug. Das Verfahren 700 kann in 702 das Steuern eines Fahrzeugs, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten, beinhalten, in 704 das Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen, in 706 das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und in 708 das Steuern des Fahrzeugs, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
8 zeigt Verfahren 800 zum Betreiben eines Sicherheitssystems für ein Fahrzeug. Das Verfahren 800 kann in 802 das Bestimmen von Unsicherheitsdaten beinhalten, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen, in 804 das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und in 806 das Bereitstellen des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter an ein Steuerungssystem des Fahrzeugs, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
Im Folgenden werden verschiedene Aspekte dieser Offenbarung veranschaulicht:
Beispiel 1 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann einen oder mehrere Prozessoren beinhalten, die dazu ausgelegt sind, ein Fahrzeug zu steuern, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen, einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren, und das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
Beispiel 2 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann einen oder mehrere Prozessoren beinhalten, die dazu ausgelegt sind, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen, einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren, und den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einem Steuerungssystem des Fahrzeugs bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
In Beispiel 3 kann der Gegenstand von Beispiel 1 oder 2 optional beinhalten, dass das Sicherheitssystem ferner einen Speicher, der mit dem einen oder den mehreren Prozessoren gekoppelt ist, und das Speichern der Fahrmodellparameter beinhaltet.
In Beispiel 4 kann der Gegenstand von einem der Beispiele 1 bis 3 optional beinhalten, dass der eine oder die mehreren Prozessoren dazu ausgelegt sind, ein Sicherheitsfahrmodell zu implementieren.
In Beispiel 5 kann der Gegenstand von einem der Beispiele 1 bis 4 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter ein vordefiniertes Sicherheitskriterium gemäß dem Fahrmodell erfüllen.
In Beispiel 6 kann der Gegenstand von einem der Beispiele 1 bis 5 optional beinhalten, dass der eine oder die mehreren Prozessoren dazu ausgelegt sind, die Unsicherheitsdaten durch Verwenden eines trainierten Systems zu bestimmen.
In Beispiel 7 kann der Gegenstand von Beispiel 6 optional beinhalten, dass das trainierte System ein neuronales Netzwerk beinhaltet.
In Beispiel 8 kann der Gegenstand von Beispiel 7 optional beinhalten, dass das neuronale Netzwerk ein Bayessches neuronales Netzwerk (BNN) beinhaltet.
In Beispiel 9 kann der Gegenstand von Beispiel 8 optional beinhalten, dass das Bayessche neuronale Netzwerk ein tiefes Bayessches neuronales Netzwerk (BDNN) beinhaltet.
In Beispiel 10 kann der Gegenstand von Beispiel 8 oder 9 optional beinhalten, dass das Fahrmodell ferner dazu ausgelegt ist, die eine oder die mehreren Vorhersagen von einer Vorhersageverteilung des Bayesschen neuronalen Netzwerks zu bestimmen.
In Beispiel 11 kann der Gegenstand von Beispiel 8 oder 9 optional beinhalten, dass das Fahrmodell ferner dazu ausgelegt ist, die Unsicherheitsdaten von einer Vorhersageverteilung des Bayesschen neuronalen Netzwerks zu bestimmen.
In Beispiel 12 kann der Gegenstand von Beispiel 10 optional beinhalten, dass das Fahrmodell ferner dazu ausgelegt ist, die Unsicherheitsdaten von der Vorhersageverteilung des Bayesschen neuronalen Netzwerks zu bestimmen.
In Beispiel 13 kann der Gegenstand von einem der Beispiele 6 bis 12 optional beinhalten, dass die Unsicherheitsdaten Unsicherheit aufgrund von Rauschen in Eingabedaten des trainierten Systems anzeigen.
In Beispiel 14 kann der Gegenstand von einem der Beispiele 6 bis 13 optional beinhalten, dass die Unsicherheitsdaten Unsicherheit aufgrund von Unsicherheit in Modellparametern des trainierten Systems anzeigen.
In Beispiel 15 kann der Gegenstand von einem der Beispiele 6 bis 12 optional beinhalten, dass die Unsicherheitsdaten eine Unsicherheit aufgrund von Rauschen in Eingabedaten des trainierten Systems und/oder Unsicherheit aufgrund von Unsicherheit in Modellparametern des trainierten Systems anzeigen .
In Beispiel 16 kann der Gegenstand von einem der Beispiele 6 bis 12 optional beinhalten, dass die Unsicherheitsdaten eine aleatorische Unsicherheit und/oder eine epistemische Unsicherheit anzeigen.
In Beispiel 17 kann der Gegenstand von einem der Beispiele 6 bis 12 optional beinhalten, dass die Unsicherheitsdaten aleatorische Unsicherheit und epistemische Unsicherheit anzeigen.
In Beispiel 18 kann der Gegenstand von einem der Beispiele 1 bis 17 optional beinhalten, dass die eine oder die mehreren Vorhersagen eine oder mehrere Klassifizierungen eines oder mehrerer in Bilddaten enthaltener Objekte beinhalten.
In Beispiel 19 kann der Gegenstand von Beispiel 18 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Agenten einer vordefinierten Klassifizierungsklasse beinhalten.
In Beispiel 20 kann der Gegenstand von Beispiel 18 oder 19 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Benutzer einer vordefinierten Klassifizierungsklasse beinhalten.
In Beispiel 21 kann der Gegenstand von einem der Beispiele 18 bis 20 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Straßenbenutzer beinhalten.
In Beispiel 22 kann der Gegenstand von einem der Beispiele 18 bis 21 optional beinhalten, dass das eine oder die mehreren Objekte einen Fußgänger und/oder einen Radfahrer beinhalten.
In Beispiel 23 kann der Gegenstand von einem der Beispiele 18 bis 22 optional beinhalten, dass das Sicherheitssystem ferner ein oder mehrere Bilderfassungsgeräte, zum Beispiel eine oder mehrere die Bilddaten erfassende Kameras, beinhaltet.
In Beispiel 24 kann der Gegenstand von einem der Beispiele 1 bis 23 optional beinhalten, dass die Fahrmodellparameter eine maximal erlaubte Geschwindigkeit des Fahrzeugs beinhalten.
In Beispiel 25 kann der Gegenstand von einem der Beispiele 1 bis 24 optional beinhalten, dass die Fahrmodellparameter einen sicheren Längsabstand für das Fahrzeug beinhalten.
In Beispiel 26 kann der Gegenstand von einem der Beispiele 1 bis 25 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter eine maximal erlaubte Geschwindigkeit des Fahrzeugs beinhalten.
In Beispiel 27 kann der Gegenstand von einem der Beispiele 1 bis 26 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einen sicheren Längsabstand für das Fahrzeug beinhalten.
In Beispiel 28 kann der Gegenstand von einem der Beispiele 1 bis 27 optional beinhalten, dass der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, einen durchschnittlichen Abstand zu bestimmen, in dem Objekte, zum Beispiel Agenten einer vordefinierten Klasse (zum Beispiel Fußgänger oder Radfahrer) mit einem vordefinierten Sicherheitsniveau basierend auf den Unsicherheitsdaten erkannt werden, und den einen oder die mehreren Fahrmodellparameter in den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter basierend auf dem bestimmten durchschnittlichen Abstand zu ändern oder zu aktualisieren.
In Beispiel 29 kann der Gegenstand von Beispiel 28 optional beinhalten, dass der eine oder die mehreren Prozessoren dazu ausgelegt sind, den durchschnittlichen Abstand durch Verwenden eines trainierten Systems zu bestimmen.
In Beispiel 30 kann der Gegenstand von Beispiel 29 optional beinhalten, dass das trainierte System ein neuronales Netzwerk beinhaltet.
In Beispiel 31 kann der Gegenstand von Beispiel 30 optional beinhalten, dass das neuronale Netzwerk ein vollständig verbundenes neuronales Netzwerk beinhaltet.
In Beispiel 32 kann der Gegenstand von Beispiel 31 optional beinhalten, dass das vollständig verbundene neuronale Netzwerk ein vollständig verbundenes wiederkehrendes neuronales Netzwerk beinhaltet.
In Beispiel 33 kann der Gegenstand von einem der Beispiele 1 bis 32 optional beinhalten, dass der eine oder die mehreren Prozessoren dazu ausgelegt sind, eine angemessene Reaktion gemäß einem Sicherheitsfahrmodell basierend auf dem einen oder den mehreren geänderten oder aktualisierten Fahrmodellparametern zu initiieren.
In Beispiel 34 kann der Gegenstand von einem der Beispiele 1 bis 33 optional beinhalten, dass der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, zu bestimmen, ob einem menschlichen Fahrer basierend auf den bestimmten Unsicherheitsdaten die Steuerung gegeben werden soll.
Beispiel 35 ist ein Fahrzeug. Das Fahrzeug kann ein Sicherheitssystem von einem der Beispiele 1 bis 34 beinhalten.
Beispiel 36 ist ein Fahrzeug. Das Fahrzeug kann ein Steuerungssystem beinhalten, das dazu ausgelegt ist, das Fahrzeug zu steuern, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten. Das Fahrzeug kann ferner ein Sicherheitssystem von einem der Beispiele 2 bis 34 beinhalten. Das Sicherheitssystem kann mit dem Steuerungssystem gekoppelt sein.
In Beispiel 37 kann der Gegenstand von Beispiel 36 optional beinhalten, dass das Steuerungssystem ferner dazu ausgelegt ist, den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter von dem einem oder den mehreren Prozessoren des Sicherheitssystems zu empfangen, und das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
Beispiel 38 ist ein Fahrzeug. Das Fahrzeug kann ein Steuerungssystem beinhalten, das dazu ausgelegt ist, das Fahrzeug zu steuern, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten. Das Fahrzeug kann ferner ein Sicherheitssystem einschließlich eines oder mehrerer Prozessoren beinhalten. Der eine oder die mehreren Prozessoren können dazu ausgelegt sein, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen, einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren, und den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter dem Steuerungssystem bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
In Beispiel 39 kann der Gegenstand von Beispiel 38 optional beinhalten, dass der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, die Unsicherheitsdaten durch Verwenden eines Bayesschen neuronalen Netzwerks zu bestimmen.
Beispiel 40 ist ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug. Das Verfahren kann das Steuern eines Fahrzeugs, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten, das Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen, das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und das Steuern des Fahrzeugs, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten, beinhalten.
Beispiel 41 ist ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug. Das Verfahren kann das Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell während des Betriebs eines Fahrzeugs anzeigen, das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und das Bereitstellen des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter an ein Steuerungssystem des Fahrzeugs, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten, beinhalten.
Beispiel 42 ist ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug. Das Verfahren kann das Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell während des Betriebs eines Fahrzeugs anzeigen, das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und das Bereitstellen des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter an ein Steuerungssystem des Fahrzeugs beinhalten.
In Beispiel 43 kann der Gegenstand von Beispiel 42 optional beinhalten, dass das Steuerungssystem das Fahrzeug steuert, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
In Beispiel 44 kann der Gegenstand von einem der Beispiele 40 bis 43 optional beinhalten, dass das Verfahren ferner das Speichern der Fahrmodellparameter in einem Speicher beinhaltet.
In Beispiel 45 kann der Gegenstand von einem der Beispiele 40 bis 44 optional beinhalten, dass das Verfahren ferner das Implementieren eines Sicherheitsfahrmodells beinhaltet.
In Beispiel 46 kann der Gegenstand von einem der Beispiele 40 bis 45 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einem vordefinierten Sicherheitskriterium gemäß dem Fahrmodell entsprechen.
In Beispiel 47 kann der Gegenstand von einem der Beispiele 40 bis 46 optional beinhalten, dass das Bestimmen der Unsicherheitsdaten das Verwenden eines trainierten Systems beinhaltet
In Beispiel 48 kann der Gegenstand von Beispiel 47 optional beinhalten, dass das trainierte System ein neuronales Netzwerk beinhaltet.
In Beispiel 49 kann der Gegenstand von Beispiel 48 optional beinhalten, dass das neuronale Netzwerk ein Bayessches neuronales Netzwerk (BNN) beinhaltet.
In Beispiel 50 kann der Gegenstand von Beispiel 49 optional beinhalten, dass das Bayessche neuronale Netzwerk ein tiefes Bayessches neuronales Netzwerk (BDNN) beinhaltet.
In Beispiel 51 kann der Gegenstand von einem der Beispiele 40 bis 46 optional beinhalten, dass das Bestimmen der Unsicherheitsdaten das Verwenden eines Bayesschen neuronalen Netzwerks beinhaltet.
In Beispiel 52 kann der Gegenstand von Beispiel 50 oder 51 optional das Bestimmen der einen oder mehreren Vorhersagen von dem Fahrmodell von einer Vorhersageverteilung des Bayesschen neuronalen Netzwerks beinhaltet.
In Beispiel 53 kann der Gegenstand von Beispiel 50 oder 51 optional das Bestimmen der Unsicherheitsdaten von einer Vorhersageverteilung des Bayesschen neuronalen Netzwerks beinhalten.
In Beispiel 54 kann der Gegenstand von Beispiel 52 optional das Bestimmen der Unsicherheitsdaten von der Vorhersageverteilung des Bayesschen neuronalen Netzwerks beinhalten.
In Beispiel 55 kann der Gegenstand von einem der Beispiele 47 bis 54 optional beinhalten, dass die Unsicherheitsdaten Unsicherheit aufgrund von Rauschen in Eingabedaten des trainierten Systems anzeigen.
In Beispiel 56 kann der Gegenstand von einem der Beispiele 47 bis 55 optional beinhalten, dass die Unsicherheitsdaten Unsicherheit aufgrund von Unsicherheit in Modellparametern des trainierten Systems anzeigen.
In Beispiel 57 kann der Gegenstand von einem der Beispiele 47 bis 54 optional beinhalten, dass die Unsicherheitsdaten eine aleatorische Unsicherheit und/oder eine epistemische Unsicherheit anzeigen.
In Beispiel 58 kann der Gegenstand von einem der Beispiele 47 bis 54 optional beinhalten, dass die Unsicherheitsdaten aleatorische Unsicherheit und epistemische Unsicherheit anzeigen.
In Beispiel 59 kann der Gegenstand von einem der Beispiele 40 bis 58 optional beinhalten, dass die eine oder die mehreren Vorhersagen eine oder mehrere Klassifizierungen eines oder mehrerer in Bilddaten enthaltener Objekte beinhalten.
In Beispiel 60 kann der Gegenstand von Beispiel 59 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Agenten einer vordefinierten Klassifizierungsklasse beinhalten.
In Beispiel 61 kann der Gegenstand von Beispiel 59 oder 60 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Benutzer einer vordefinierten Klassifizierungsklasse beinhalten.
In Beispiel 62 kann der Gegenstand von einem der Beispiele 59 bis 61 optional beinhalten, dass das eine oder die mehreren Objekte einen oder mehrere Straßenbenutzer beinhalten.
In Beispiel 63 kann der Gegenstand von einem der Beispiele 59 bis 62 optional beinhalten, dass das eine oder die mehreren Objekte einen Fußgänger und/oder einen Radfahrer beinhalten.
In Beispiel 64 kann der Gegenstand von einem der Beispiele 59 bis 63 optional das Erfassen der Bilddaten durch ein oder mehrere Bilderfassungsgeräte, zum Beispiel eine oder mehrere Kameras, des Sicherheitssystems beinhalten.
In Beispiel 65 kann der Gegenstand von einem der Beispiele 40 bis 64 optional beinhalten, dass die Fahrmodellparameter eine maximal erlaubte Geschwindigkeit des Fahrzeugs beinhalten.
In Beispiel 66 kann der Gegenstand von einem der Beispiele 40 bis 65 optional beinhalten, dass die Fahrmodellparameter einen sicheren Längsabstand für das Fahrzeug beinhalten.
In Beispiel 67 kann der Gegenstand von einem der Beispiele 40 bis 66 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter eine maximal erlaubte Geschwindigkeit des Fahrzeugs beinhalten.
In Beispiel 68 kann der Gegenstand von einem der Beispiele 40 bis 67 optional beinhalten, dass der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einen sicheren Längsabstand für das Fahrzeug beinhalten.
In Beispiel 69 kann der Gegenstand von einem der Beispiele 40 bis 68 optional beinhalten, einen durchschnittlichen Abstand zu bestimmen, in dem Objekte, zum Beispiel Straßenbenutzer, zum Beispiel Agenten einer vordefinierten Klasse (zum Beispiel Fußgänger oder Radfahrer) mit einem vordefinierten Sicherheitsniveau basierend auf den Unsicherheitsdaten erkannt werden, und den einen oder die mehreren Fahrmodellparameter in den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter basierend auf dem bestimmten durchschnittlichen Abstand zu ändern oder zu aktualisieren.
In Beispiel 70 kann der Gegenstand von Beispiel 69 optional das Bestimmen des durchschnittlichen Abstands durch Verwenden eines trainierten Systems beinhalten.
In Beispiel 71 kann der Gegenstand von Beispiel 70 optional beinhalten, dass das trainierte System ein neuronales Netzwerk beinhaltet.
In Beispiel 72 kann der Gegenstand von Beispiel 71 optional beinhalten, dass das neuronale Netzwerk ein vollständig verbundenes neuronales Netzwerk beinhaltet.
In Beispiel 73 kann der Gegenstand von Beispiel 72 optional beinhalten, dass das vollständig verbundene neuronale Netzwerk ein vollständig verbundenes wiederkehrendes neuronales Netzwerk beinhaltet.
In Beispiel 74 kann der Gegenstand von einem der Beispiele 40 bis 73 optional beinhalten, eine angemessene Reaktion gemäß einem Sicherheitsfahrmodell basierend auf dem einen oder den mehreren geänderten oder aktualisierten Fahrmodellparametern zu initiieren.
In Beispiel 75 kann der Gegenstand von einem der Beispiele 40 bis 74 optional beinhalten, zu bestimmen, ob einem menschlichen Fahrer basierend auf den bestimmten Unsicherheitsdaten die Steuerung gegeben werden soll.
Beispiel 76 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann einen Speicher zum Speichern von Fahrmodellparametern eines Fahrmodells und einen oder mehrere Prozessoren beinhalten, die mit dem Speicher gekoppelt und dazu ausgelegt sind, die Unsicherheit bei Vorhersagen von einem Erkennungs- und Klassifizierungssystem zum Erkennen und Klassifizieren von Objekten in Bilddaten zu bestimmen, und einen oder mehrere der Fahrmodellparameter basierend auf der bestimmten Unsicherheit anzupassen.
Beispiel 77 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann einen oder mehrere Prozessoren beinhalten, die dazu ausgelegt sind, ein Fahrzeug zu steuern, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten, Bilddaten zu klassifizieren, um Klassifizierungsdaten einschließlich eines oder mehrerer Bildabschnitte der Bilddaten zu erhalten, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in den Klassifizierungen des einen oder der mehreren Bildabschnitte der Bilddaten anzeigen, einen oder mehrere der Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren, und das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
In Beispiel 78 kann der Gegenstand von Beispiel 79 optional beinhalten, dass das Sicherheitssystem ferner einen Speicher, der mit dem einen oder den mehreren Prozessoren gekoppelt ist, und das Speichern der Fahrmodellparameter beinhaltet.
In Beispiel 79 kann der Gegenstand von Beispiel 77 oder 78 optional beinhalten, dass das Sicherheitssystem ferner ein oder mehrere Bilderfassungsgeräte, beinhaltet, die dazu ausgelegt sind, die Bilddaten zu erfassen.
In Beispiel 80 kann der Gegenstand von einem der Beispiele 77 bis 79 optional beinhalten, dass der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, die Bilddaten zu klassifizieren, und die Unsicherheitsdaten durch Anwenden eines tiefen Bayesschen neuronalen Netzwerks auf die Bilddaten zu bestimmen.
Beispiel 81 ist ein nicht flüchtiges computerlesbares Medium, das Anweisungen speichert, die, wenn durch einen oder mehrere Prozessoren ausgeführt, den einen oder die mehreren Prozessoren dazu bringen, ein Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug von einem der Beispiele 40 bis 75 auszuführen.
Beispiel 82 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann Mittel zum Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen, Mittel zum Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und Mittel zum Bereitstellen des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter an Mittel zum Steuern des Fahrzeugs beinhalten.
In Beispiel 83 kann der Gegenstand von Beispiel 82 optional beinhalten, dass das Sicherheitssystem ferner Mittel zum Steuern des Fahrzeug beinhaltet, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten.
Beispiel 84 ist ein Sicherheitssystem für ein Fahrzeug. Das Sicherheitssystem kann Mittel zum Steuern eines Fahrzeugs, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten, Mittel zum Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen, Mittel zum Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten, und Mittel zum Steuern des Fahrzeugs, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten, beinhalten.
In Beispiel 85 kann der Gegenstand von einem der Beispiele 82 bis 84 optional beinhalten, dass das Sicherheitssystem ferner Mittel zum Speichern der Fahrmodellparameter beinhaltet.
Während die Erfindung insbesondere unter Bezugnahme auf spezifische Ausführungsformen gezeigt und beschrieben worden ist, sollten Fachleute verstehen, dass verschiedene Änderungen in Form und Detail darin gemacht werden können, ohne von dem Geist und Umfang der wie durch die beigefügten Ansprüche definierten Erfindung abzuweichen. Der Umfang der Erfindung wird somit durch die beigefügten Ansprüche angezeigt, und alle Änderungen, die in die Bedeutung und den Bereich einer Äquivalenz der Ansprüche fallen, sind deshalb als inbegriffen beabsichtigt.

Claims

Sicherheitssystem für ein Fahrzeug, wobei das Sicherheitssystem Folgendes umfasst: einen oder mehrere Prozessoren, die dazu ausgelegt sind, Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen; einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren; und den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einem Steuerungssystem des Fahrzeugs bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten; optional einen Speicher, der mit dem einen oder den mehreren Prozessoren gekoppelt ist, und die Fahrmodellparameter des Fahrmodells speichert.
Sicherheitssystem nach Anspruch 1, wobei der eine oder die mehreren Prozessoren dazu ausgelegt sind, ein Sicherheitsfahrmodell zu implementieren; und/oder wobei der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter ein vordefiniertes Sicherheitskriterium gemäß dem Fahrmodell erfüllen.
Sicherheitssystem nach einem der Ansprüche 1 oder 2, wobei der eine oder die mehreren Prozessoren dazu ausgelegt sind, die Unsicherheitsdaten durch Verwenden eines trainierten Systems zu bestimmen.
Sicherheitssystem nach Anspruch 3, wobei das trainierte System ein neuronales Netzwerk umfasst; wobei optional das neuronale Netzwerk ein Bayessches neuronales Netzwerk umfasst; und/oder wobei optional die Unsicherheitsdaten eine Unsicherheit aufgrund von Rauschen in Eingabedaten des trainierten Systems und/oder eine Unsicherheit aufgrund von Unsicherheit in Modellparametern des trainierten Systems anzeigen.
Sicherheitssystem nach einem der Ansprüche 1 bis 4, wobei die eine oder die mehreren Vorhersagen eine oder mehrere Klassifizierungen eines oder mehrerer in Bilddaten enthaltener Objekte beinhalten.
Sicherheitssystem nach einem der Ansprüche 1 bis 5, wobei der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter eine maximal erlaubte Geschwindigkeit des Fahrzeugs umfassen.
Sicherheitssystem nach einem der Ansprüche 1 bis 6, wobei der eine oder die mehreren geänderten oder aktualisierten Fahrmodellparameter einen sicheren Längsabstand für das Fahrzeug umfassen.
Sicherheitssystem nach einem der Ansprüche 1 bis 7, wobei der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, einen durchschnittlichen Abstand zu bestimmen, in dem Objekte mit einem vordefinierten Sicherheitsniveau basierend auf den Unsicherheitsdaten erkannt werden, und den einen oder die mehreren der Fahrmodellparameter in den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter basierend auf dem bestimmten durchschnittlichen Abstand zu ändern oder zu aktualisieren; wobei optional der eine oder die mehreren Prozessoren dazu ausgelegt sind, den durchschnittlichen Abstand durch Verwenden eines trainierten Systems zu bestimmen; wobei ferner optional das trainierte System ein vollständig verbundenes neuronales Netzwerk umfasst; wobei weiterhin ferner optional der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, zu bestimmen, ob einem menschlichen Fahrer basierend auf den bestimmten Unsicherheitsdaten die Steuerung gegeben werden soll.
Verfahren zum Betreiben eines Sicherheitssystems für ein Fahrzeug, wobei das Verfahren Folgendes umfasst: das Bestimmen von Unsicherheitsdaten, die eine Unsicherheit in einer oder mehreren Vorhersagen von einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter während des Betriebs eines Fahrzeugs anzeigen; das Ändern oder Aktualisieren eines oder mehrerer der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten; und das Bereitstellen des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter an ein Steuerungssystem des Fahrzeugs, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten; wobei optional das Bestimmen der Unsicherheitsdaten das Verwenden eines Bayesschen neuronalen Netzwerks umfasst; und/oder optional das Verfahren ferner Folgendes umfasst: das Bestimmen eines durchschnittlichen Abstands, in dem Objekte mit einem vordefinierten Sicherheitsniveau basierend auf den Unsicherheitsdaten erkannt werden, und das Ändern oder Aktualisieren des einen oder der mehreren Fahrmodellparameter in den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter basierend auf dem bestimmten durchschnittlichen Abstand.
Fahrzeug, das Folgendes umfasst: ein Steuerungssystem, das dazu ausgelegt ist, das Fahrzeug zu steuern, gemäß einem Fahrmodell einschließlich vordefinierter Fahrmodellparameter zu arbeiten; ein Sicherheitssystem, das einen oder mehrere Prozessoren umfasst, die dazu ausgelegt sind: Unsicherheitsdaten zu bestimmen, die eine Unsicherheit in einer oder mehreren Vorhersagen von dem Fahrmodell während des Betriebs des Fahrzeugs anzeigen; einen oder mehrere der Fahrmodellparameter in einen oder mehrere geänderte oder aktualisierte Fahrmodellparameter basierend auf den bestimmten Unsicherheitsdaten zu ändern oder zu aktualisieren; und den einen oder die mehreren geänderten oder aktualisierten Fahrmodellparameter dem Steuerungssystem bereitzustellen, um das Fahrzeug zu steuern, gemäß dem Fahrmodell einschließlich des einen oder der mehreren geänderten oder aktualisierten Fahrmodellparameter zu arbeiten; wobei optional der eine oder die mehreren Prozessoren ferner dazu ausgelegt sind, die Unsicherheitsdaten durch Verwenden eines Bayesschen neuronalen Netzwerks zu bestimmen.