DE102023206787A1

DE102023206787A1 - Erweiterte fahrbezogene virtuelle Felder

Info

Publication number: DE102023206787A1
Application number: DE102023206787.0A
Authority: DE
Inventors: Armin BIESS; Isaac Misri; Julius Engelsoy; Igal RAICHELGAUZ
Original assignee: Autobrains Tech Ltd; Autobrains Technologies Ltd
Current assignee: Autobrains Tech Ltd; Autobrains Technologies Ltd
Priority date: 2022-08-24
Filing date: 2023-07-18
Publication date: 2024-02-29

Abstract

Verfahren für erweiterte fahrbezogene virtuelle Felder, wobei das Verfahren das Gewinnen von Objektinformationen über ein oder mehrere Objekte, die sich in einer Umgebung eines Fahrzeugs befinden, und das Bestimmen einer virtuellen Soll-Beschleunigung des Fahrzeugs durch einen Verarbeitungsschaltkreis und auf der Grundlage der Objektinformationen umfasst, wobei das Bestimmen der virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage eines virtuellen physikalischen Modells erfolgt, das eine Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellt, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und mindestens eines zusätzlichen fahrbezogenen Parameters aufgebaut ist.

Description

Querverweis
Diese Anmeldung ist eine Teilfortsetzung („continuation in part“) der US-Patentanmeldung 17/823,069 mit Anmeldedatum 29. August 2022, die die Priorität der vorläufigen US-Patentanmeldung 63/260,839 beansprucht, die durch Bezugnahme hierin aufgenommen wird. Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentnummer 63/368,874 mit Anmeldedatum 19. Juli 2022, die durch Bezugnahme in vollem Umfang hierin aufgenommen wird. Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentnummer 63/373,454 mit Anmeldedatum 24. August 2022, die durch Bezugnahme in vollem Umfang hierin aufgenommen wird.
Hintergrund
Autonome Fahrzeuge (AV) könnten dazu beitragen, die Zahl der Verkehrsunfälle und die CO2-Emissionen erheblich zu reduzieren und ein effizienteres Beförderungssystem zu schaffen. Die heutigen AV-Technologien sind jedoch aus den folgenden drei Gründen nicht erweiterbar:
Ein begrenztes Sichtfeld, Beleuchtungs- und Wetterprobleme sowie Sichtbehinderungen führen zu Erkennungsfehlern und verrauschter Lokalisierung/Kinematik. Um mit solch schlechten Wahrnehmungsdaten der realen Welt zu arbeiten, besteht ein Ansatz der AV-Technologie darin, in teure Sensoren zu investieren und/oder eine spezielle Infrastruktur in das Straßennetz zu integrieren. Ein solches Unterfangen ist jedoch sehr kostspielig und - im Falle der Infrastruktur - geografisch begrenzt und kann daher nicht zu einer allgemein zugänglichen AV-Technologie führen.
AV-Technologie, die nicht auf kostspieliger Hardware und Infrastruktur basiert, verlässt sich vollständig auf maschinelles Lernen und somit auf Daten, um reale Situationen zu verarbeiten. Um mit Erkennungsfehlern umzugehen und eine ausreichend gute Fahrstrategie für die komplexe Aufgabe des Fahrens zu erlernen, ist eine große Menge an Daten und Rechenressourcen erforderlich, und dennoch gibt es Grenzfälle, die nicht korrekt verarbeitet werden. Der gemeinsame Nenner dieser Grenzfälle ist, dass das maschinelle Lernmodell nicht gut auf ungesehene oder verwirrende Situationen übertragen werden kann, und aufgrund der Black-Box-Natur tiefer neuronaler Netzwerke ist es schwierig, fehlerhaftes Verfahren zu analysieren.
Gegenwärtig wird das automatisierte Fahren im Straßenverkehr in Form separater ADAS-Funktionen wie ACC, AEB und LCA realisiert. Um zu einem vollständig autonomen Fahren zu gelangen, müssten die bestehenden ADAS-Funktionen nahtlos miteinander verbunden und alle derzeit nicht automatisierten Lücken durch Hinzufügen weiterer solcher Funktionen (z. B. Fahrspurwechsel, Kreuzungsmanagement usw.) geschlossen werden. Kurz gesagt, das derzeitige automatisierte Fahren basiert nicht auf einem ganzheitlichen Ansatz, der ohne Weiteres zu einem vollständig autonomen Fahren erweitert werden kann.
Kurzbeschreibung der Zeichnungen
Die Ausführungsformen der Erfindung werden nachstehend anhand der Zeichnungen näher erläutert und gewürdigt. In diesen zeigen:

1 ein Ausführungsbeispiel eines Verfahrens;
2 ein Ausführungsbeispiel eines Verfahrens;
3 ein Ausführungsbeispiel eines Verfahrens;
4 ein Ausführungsbeispiel eines Verfahrens;
5 ein Ausführungsbeispiel eines Fahrzeugs;
6-9 Ausführungsbeispiele für Situationen und Wahrnehmungsfelder;
10 ein Ausführungsbeispiel eines Verfahrens;
11 ein Ausführungsbeispiel für ein Szenario;
12 ein Ausführungsbeispiel eines Verfahrens;
13-16 Ausführungsbeispiele von Bildern; und
17, 18, 19, 20 and 21 Ausführungsbeispiel für Verfahren.

Beschreibung der Ausführungsbeispiele
In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details aufgeführt, um ein umfassendes Verständnis der Erfindung zu ermöglichen. Der Fachmann wird jedoch verstehen, dass die vorliegende Erfindung auch ohne diese spezifischen Details ausgeführt werden kann. In anderen Fällen wurden bekannte Verfahren, Prozesse und Komponenten nicht im Detail beschrieben, um die vorliegende Erfindung nicht zu verschleiern.
Der Gegenstand der Erfindung ist im abschließenden Teil der Beschreibung besonders hervorgehoben und eindeutig beschrieben. Die Erfindung kann jedoch sowohl in Bezug auf die Organisation und die Funktionsweise, als auch auf ihre Aufgaben, Merkmale und Vorteile am besten durch Bezugnahme auf die folgende detaillierte Beschreibung unter Zuhilfenahme der beigefügten Zeichnungen verstanden werden.
Der Einfachheit und Klarheit halber sind die in den Figuren dargestellten Elemente nicht unbedingt maßstabsgetreu gezeichnet. Zum Beispiel können die Abmessungen einiger Elemente im Vergleich zu anderen Elementen zur Verdeutlichung übertrieben dargestellt sein. Darüber hinaus können, wo es angemessen erscheint, Bezugsziffern in den Figuren wiederholt werden, um entsprechende oder analoge Elemente zu kennzeichnen.
Da die dargestellten Ausführungsformen der vorliegenden Erfindung zum größten Teil mit elektronischen Bauteilen und Schaltungen, die dem Fachmann bekannt sind, umgesetzt werden können, werden Details nicht in einem größeren Umfang als dem, der als notwendig erachtet wird, wie oben dargestellt, für das Verständnis und die Würdigung der zugrundeliegenden Konzepte der vorliegenden Erfindung und um nicht zu verwirren oder von den Lehren der vorliegenden Erfindung abzulenken, erläutert.
Jede Bezugnahme in der Beschreibung auf ein Verfahren kann analog auf ein Gerät oder System angewandt werden, welches in der Lage ist, das Verfahren auszuführen, und/oder auf ein nicht flüchtiges, computerlesbares Medium, welches Instruktionen zur Ausführung des Verfahrens speichert.
Jede Bezugnahme in der Beschreibung auf ein System oder ein Gerät kann analog auf ein Verfahren angewandt werden, welches von dem System ausgeführt werden kann, und/oder kann entsprechend auf ein nicht flüchtiges, computerlesbares Medium angewandt werden, welches von dem System ausführbare Instruktionen speichert.
Jede Bezugnahme in der Beschreibung auf ein nicht flüchtiges, computerlesbares Medium kann analog auf ein Gerät oder System angewandt werden, welches in der Lage ist, die in dem nicht flüchtigen computerlesbaren Medium gespeicherten Instruktionen auszuführen, und/oder kann analog auf ein Verfahren zur Ausführung der Instruktionen angewandt werden.
Jede beliebige Kombination von Modulen oder Einheiten, die in einer der Figuren, einem beliebigen Teil der Beschreibung und/oder einem der Ansprüche aufgeführt sind, kann realisiert werden.
Jede der Einheiten und/oder Module, die in der Anmeldung dargestellt sind, können in Hardware und/oder Code, Instruktionen und/oder Kommandos, die in einem nicht flüchtigen computerlesbaren Medium gespeichert sind, ausgeführt sein, und können in einem Fahrzeug, außerhalb eines Fahrzeugs, in einem mobilen Gerät, in einem Server, und dergleichen enthalten sein.
Bei dem Fahrzeug kann es sich um jede Art von Fahrzeug handeln, beispielsweise um ein Landfahrzeug, ein Luftfahrzeug oder ein Wasserfahrzeug.
Die Beschreibung und/oder die Zeichnungen können sich auf ein Bild beziehen. Ein Bild ist ein Beispiel für eine Medieneinheit. Jede Bezugnahme auf ein Bild kann analog auch auf eine Medieneinheit angewendet werden. Eine Medieneinheit kann ein Beispiel für eine abgetastete Informationseinheit (SIU) sein. Jede Bezugnahme auf eine Medieneinheit kann analog auf jede Art von natürlichen Signalen angewandt werden, wie z. B. von der Natur erzeugte Signale, Signale, die menschliches Verhalten wiedergeben, Signale, die Vorgänge an der Börse darstellen, medizinische Signale, Finanzreihen, geodätische Signale, geophysikalische, chemische, molekulare, textuelle und numerische Signale, Zeitreihen und dergleichen. Jede Bezugnahme auf eine Medieneinheit kann analog auf eine abgetastete Informationseinheit (SIU) angewendet werden. Die SIU kann beliebiger Art sein und von jeder Art von Sensoren erfasst werden, z. B. einer Kamera für sichtbares Licht, einem Audiosensor, einem Sensor für Infrarot, Radarbilder, Ultraschall, Elektrooptik, Radiographie, LIDAR (Light Detection and Ranging = Detektion mittels Licht- und Abstandsmessung), einem Wärmesensor, einem passiven Sensor, einem aktiven Sensor usw. Das Abtasten kann das Erzeugen von Abtastwerten (z. B. Pixel, Audiosignale) umfassen, die das Signal darstellen, das übertragen wurde oder anderweitig den Sensor erreicht. Bei der SIU kann es sich um ein oder mehrere Bilder, einen oder mehrere Videoclips, Textinformationen zu einem oder mehreren Bildern, Text, der kinematische Informationen über ein Objekt beschreibt, und Ähnliches handeln.
Objektinformation kann jede Art von Information in Bezug auf ein Objekt umfassen, wie z. B., aber nicht ausschließlich, einen Standort des Objekts, ein Verhalten des Objekts, eine Geschwindigkeit des Objekts, eine Beschleunigung des Objekts, eine Ausbreitungsrichtung des Objekts, eine Art des Objekts, eine oder mehrere Dimensionen des Objekts und dergleichen. Bei den Objektinformationen kann es sich um eine unbearbeitete SIU, eine verarbeitete SIU, Textinformationen, von der SIU abgeleitete Informationen und Ähnliches handeln.
Das Gewinnen von Objektinformationen kann den Empfang der Objektinformationen, die Erzeugung der Objektinformationen, die Einbindung in eine Verarbeitung der Objektinformationen, die Verarbeitung nur eines Teils der Objektinformationen und/oder den Empfang nur eines anderen Teils der Objektinformationen umfassen.
Das Gewinnen der Objektinformationen kann eine Objekterkennung beinhalten oder ohne Objekterkennung durchgeführt werden.
Die Verarbeitung der Objektinformationen kann mindestens eine der folgenden Maßnahmen umfassen: Objekterkennung, Rauschunterdrückung, Verbesserung des Signal-Rausch-Verhältnisses, Definition von Begrenzungsrahmen und dergleichen.
Die Objektinformationen können von einer oder mehreren Quellen wie einem oder mehreren Sensoren, einer oder mehreren Kommunikationseinheiten, einer oder mehreren Speichereinheiten, einem oder mehreren Bildprozessoren und dergleichen empfangen werden.
Die Objektinformationen können auf eine oder mehrere Arten bereitgestellt werden - beispielsweise in absoluter Form (z. B. durch Angabe der Koordinaten des Standorts eines Objekts) oder in relativer Form - beispielsweise in Bezug auf ein Fahrzeug (z. B. befindet sich das Objekt in einer bestimmten Entfernung und in einem bestimmten Winkel in Bezug auf das Fahrzeug.)
Das Fahrzeug wird auch als Ego-Fahrzeug bezeichnet.
Die Beschreibung und/oder die Zeichnungen können sich auf einen Prozessor oder auf einen Verarbeitungsschaltkreis beziehen. Bei dem Prozessor kann es sich um einen Verarbeitungsschaltkreis handeln. Der Verarbeitungsschaltkreis kann als Zentraleinheit (CPU) und/oder als ein oder mehrere andere integrierte Schaltkreise wie anwendungsspezifische integrierte Schaltkreise (ASICs), feldprogrammierbare Gate-Arrays (FPGAs), vollständig kundenspezifische integrierte Schaltkreise usw. oder eine Kombination solcher integrierten Schaltkreise implementiert sein.
Es kann jede beliebige Kombination von Schritten eines in der Beschreibung und/oder den Zeichnungen dargestellten Verfahrens vorgesehen sein.
Es kann eine beliebige Kombination der Gegenstände aus jedem der Ansprüche bereitgestellt werden.
Es können beliebige Kombinationen der in der Beschreibung und/oder den Zeichnungen dargestellten Systeme, Einheiten, Komponenten, Prozessoren und Sensoren eingesetzt werden.
Jede Bezugnahme auf ein Objekt kann auch auf ein Muster angewendet werden. Dementsprechend ist jede Bezugnahme auf die Objekterkennung analog auch auf eine Mustererkennung anwendbar.
Obwohl erfolgreiches Fahren davon abhängt, dass umliegende Objekte auf der Straße aufgrund ihres Standorts und ihrer Bewegung umfahren werden, sind Menschen bekanntermaßen schlecht im Einschätzen der Kinematik. Es wird angenommen, dass Menschen eine interne Abbildung der sie umgebenden Objekte in Form von virtuellen Kraftfeldern verwenden, die unmittelbar eine Aktion implizieren und so die Notwendigkeit einer Kinematikeinschätzung umgehen. Stellen Sie sich ein Szenario vor, in dem das Ego-Fahrzeug auf einer Spur fährt und ein Fahrzeug diagonal vor ihm auf einer benachbarten Spur beginnt, auf die Ego-Spur auszuweichen. Die menschliche Reaktion, zu bremsen oder auszuweichen, würde unmittelbar und instinktiv erfolgen und kann als virtuelle Kraft empfunden werden, die das Ego-Fahrzeug von dem ausweichenden Fahrzeug abstößt. Diese virtuelle Kraftrepräsentation wird erlernt und mit dem spezifischen Straßenobjekt assoziiert.
Ausgehend von den obigen Überlegungen schlagen wir das neuartige Konzept der Wahrnehmungsfelder vor. Wahrnehmungsfelder sind eine erlernte Abbildung von Straßenobjekten in Form eines virtuellen Kraftfeldes, das durch das Steuerungssystem des Ego-Fahrzeugs in Form von ADAS- und/oder AV-Software „abgetastet“ wird. Ein Feld ist hier definiert als eine mathematische Funktion, die von der räumlichen Position (oder einer analogen Größe) abhängt.
Ein Ausführungsbeispiel für ein Inferenzverfahren 100 ist in 1 dargestellt und umfasst:
Das Verfahren 100 kann für einen oder mehrere Bildfelder einer Umgebung des Fahrzeugs ausgeführt werden.
Schritt 110 des Verfahrens 100 kann das Erkennen und/oder Verfolgen eines oder mehrerer Objekte (einschließlich z. B. eines oder mehrerer Verkehrsteilnehmer) umfassen. Die Erfassung und/oder Verfolgung kann auf beliebige Weise erfolgen. Bei dem einen oder den mehreren Objekten kann es sich um jedes Objekt handeln, das das Verhalten des Fahrzeugs beeinflussen kann. Zum Beispiel - ein Verkehrsteilnehmer (Fußgänger, ein anderes Fahrzeug), die Straße und/oder der Weg, auf dem das Fahrzeug fährt (zum Beispiel der Zustand der Straße oder des Weges, die Form der Straße - zum Beispiel eine Kurve, ein gerader Straßenabschnitt), Verkehrsschilder, Ampeln, Straßenkreuzungen, eine Schule, ein Kindergarten und ähnliches. Schritt 110 kann das Gewinnen zusätzlicher Informationen wie kinematische und kontextbezogene Variablen in Bezug auf das eine oder die mehreren Objekte beinhalten. Das Gewinnen kann den Empfang oder die Erzeugung umfassen. Das Gewinnen kann die Verarbeitung des einen oder der mehreren Bildfelder umfassen, um die kinematischen und kontextbezogenen Variablen zu erzeugen.
Es ist anzumerken, dass Schritt 110 die Ermittlung der kinematischen Variablen beinhalten kann (auch ohne Ermittlung des einen oder der mehreren Bildfelder).
Das Verfahren 100 kann auch den Schritt 120 umfassen, in dem das jeweilige Wahrnehmungsfeld in Bezug auf das eine oder die mehreren Objekte ermittelt wird. Schritt 120 kann die Festlegung beinhalten, welche Zuordnung zwischen Objekten abgerufen und/oder verwendet werden soll, und ähnliches.
Auf Schritt 110 (und sogar auf Schritt 120) kann ein Schritt 130 folgen, in dem die eine oder mehrere virtuelle Kräfte bestimmt werden, die mit dem einen oder den mehreren Objekten assoziiert sind, indem das Wahrnehmungsfeld (und eine oder mehrere virtuelle physikalische Modellfunktionen) die relevanten Eingangsvariablen, wie kinematische und kontextbezogene Variablen, erhält.
An Schritt 130 kann sich ein Schritt 140 anschließen, in dem eine virtuelle Gesamtkraft bestimmt wird, die auf das Fahrzeug einwirkt - basierend auf der einen oder den mehreren virtuellen Kräften, die mit dem einen oder den mehreren Objekten assoziiert sind. Zum Beispiel kann Schritt 140 die Durchführung einer vektorgewichteten Summe (oder einer anderen Funktion) über die eine oder mehrere virtuelle Kräfte beinhalten, die mit dem einen oder den mehreren Objekten assoziiert sind.
Auf Schritt 140 kann ein Schritt 150 folgen, in dem auf der Grundlage der virtuellen Gesamtkraft eine virtuelle Soll-Beschleunigung (oder ZielBeschleunigung) bestimmt wird - beispielsweise auf der Grundlage der Entsprechung des zweiten Newtonschen Gesetzes. Die virtuelle Soll-Beschleunigung kann ein Vektor sein - oder eine andere Richtung haben.
An Schritt 150 kann sich ein Schritt 160 anschließen, in dem die virtuelle Soll-Beschleunigung in einen oder mehrere Fahrvorgänge des Fahrzeugs umgewandelt wird, die das Fahrzeug veranlassen, sich entsprechend der virtuellen Soll-Beschleunigung zu bewegen.
Schritt 160 kann beispielsweise die Umsetzung der Soll-Beschleunigung in eine Beschleunigung oder Verlangsamung oder eine Änderung der Fortbewegungsrichtung des Fahrzeugs unter Verwendung der Gaspedalbewegung, der Bremspedalbewegung und/oder des Lenkradwinkels umfassen. Die Umsetzung kann auf einem Dynamikmodell des Fahrzeugs mit einem bestimmten Steuerschema beruhen.
Zu den Vorteilen von Wahmehmungsfeldem gehören zum Beispiel Erklärbarkeit, Generalisierbarkeit und eine Robustheit gegenüber verrauschten Eingaben.
Erklärbarkeit. Die Darstellung der Ego-Bewegung als Zusammensetzung einzelner Wahrnehmungsfelder impliziert die Zerlegung von Handlungen in grundlegendere Komponenten und ist an sich schon ein bedeutender Schritt in Richtung Erklärbarkeit. Die Möglichkeit, diese Felder zu visualisieren und die physikalische Intuition zur Vorhersage der Ego-Bewegung anzuwenden, stellt eine weitere Erklärbarkeit im Vergleich zu den üblichen durchgängigen Ansätzen des Black-Box Deep Learning dar. Diese erhöhte Transparenz führt auch dazu, dass Fahrgäste und Fahrer der AV- oder ADAS-Technologie mehr vertrauen können.
Generalisierbarkeit. Die Darstellung von Ego-Reaktionen auf unbekannte Straßenobjekte als abstoßende virtuelle Kraftfelder stellt eine induktive Verzerrung in ungesehenen Situationen dar. Ein potenzieller Vorteil dieser Darstellung besteht darin, dass sie Grenzfälle auf sichere Weise und mit weniger Training behandeln kann. Außerdem ist das Wahrnehmungsfeldmodell ganzheitlich in dem Sinne, dass derselbe Ansatz für alle Aspekte der Fahrstrategie verwendet werden kann. Es kann auch in enge Fahrfunktionen unterteilt werden, die in ADAS wie ACC, AEB, LCA usw. verwendet werden. Und schließlich kann das Modell aufgrund des zusammengesetzten Charakters der Wahrnehmungsfelder auf atomare Szenarien trainiert werden und ist dennoch in der Lage, kompliziertere Szenarien richtig zu behandeln.
Robustheit gegenüber verrauschten Eingaben: Physikalische Einschränkungen der zeitlichen Entwicklung von Wahrnehmungsfeldern in Kombination mit einer möglichen Filterung der Eingaben können zu einer besseren Handhabung von Rauschen in den Eingabedaten führen als die reine Filterung von Lokalisierungs- und kinematischen Daten.
Physikalische oder virtuelle Kräfte können mathematisch formuliert werden, z. B. in Form einer gewöhnlichen Differentialgleichung zweiter Ordnung, die ein so genanntes dynamisches System darstellt. Die Vorteile einer solchen Darstellung einer Steuerungspolitik liegen darin, dass sie sich intuitiv aus der Theorie dynamischer Systeme ableiten lässt und dass es einfach ist, externe Module wie Prognose, Navigation und Filterung der Ein- und Ausgänge einzubinden.
Ein zusätzlicher Vorteil des Wahrnehmungsfeld-Ansatzes ist, dass er nicht von spezieller Hardware abhängt und rechnerisch nicht teurer ist als bestehende Verfahren.
Trainingsvorgang
Das Erlernen von Wahrnehmungsfeldern kann auf zwei Arten oder in einer Kombination davon erfolgen, nämlich durch Klonen von Verhaltensweisen (BC) und durch Verstärkungs lernen (RL). BC nähert sich der Steuerungspolitik an, indem ein neuronales Netzwerk an beobachtete menschliche Zustands-Aktions-Paare angepasst wird, während RL ein Lernen durch Versuch und Irrtum in einer Simulationsumgebung ohne Bezugnahme auf Experten-Darlegungen beinhaltet.
Man kann diese beiden Klassen von Lernalgorithmen kombinieren, indem man zunächst eine Strategie durch BC lernt, um sie als anfängliche Strategie zu verwenden, die dann mit RL feinabgestimmt wird. Eine andere Möglichkeit, die beiden Ansätze zu kombinieren, besteht darin, zunächst die so genannte Belohnungsfunktion (die in RL verwendet werden soll) durch Verhaltensklonen zu erlernen, um daraus abzuleiten, was für den Menschen wünschenswertes Verhalten darstellt, und später durch Versuch und Irrtum mit regulärem RL zu trainieren. Dieser letztere Ansatz wird als inverses RL (IRL) bezeichnet.
2 zeigt ein Beispiel für ein Trainingsverfahren 200, das zum Lernen durch BC eingesetzt wird.
Das Verfahren 200 kann mit dem Schritt 210 beginnen, in dem menschliche Daten gesammelt werden, die als Experten-Darlegungen zum Umgang mit dem Szenario verstanden werden.
An Schritt 210 kann sich ein Schritt 220 anschließen, in dem eine Verlustfunktion konstruiert wird, die die Differenz zwischen einer kinematischen Variable, die sich aus dem Wahrnehmungsfeldmodell ergibt, und der entsprechenden kinematischen Variable der menschlichen Ausführungen ahndet.
Auf Schritt 220 kann ein Schritt 230 folgen, in dem die Parameter des Wahrnehmungsfeldes und der Hilfsfunktionen (bei denen es sich um virtuelle physikalische Modellfunktionen handeln kann, die sich von den Wahrnehmungsfeldern unterscheiden) aktualisiert werden, um die Verlustfunktion mit Hilfe eines Optimierungsalgorithmus, wie z. B. dem Gradientenabstieg, zu minimieren.
3 zeigt ein Ausführungsbeispiel eines Trainingsverfahrens 250 für das Verstärkungslernen.
Das Verfahren 250 kann mit dem Schritt 260 des Aufbaus einer realistischen Simulationsumgebung beginnen.
Auf Schritt 260 kann ein Schritt 270 folgen, in dem eine Belohnungsfunktion konstruiert wird, entweder durch Lernen aus Experten-Darlegungen oder durch manuelle Konstruktion.
Auf Schritt 270 kann ein Schritt 280 folgen, in dem Episoden in der Simulationsumgebung ablaufen und die Parameter des Wahrnehmungsfeldes und der Hilfsfunktionen kontinuierlich aktualisiert werden, um die erwarteten akkumulierten Belohnungen mit Hilfe eines Algorithmus, wie z. B. der proximalen Strategieoptimierung, zu maximieren.
4 zeigt ein Ausführungsbeispiel für ein Verfahren 400.
Das Verfahren 400 kann für mit Wahrnehmungsfeldern zusammenhängende Fahrvorgänge eingesetzt werden
Das Verfahren 400 kann mit dem Initialisierungsschritt 410 beginnen.
Der Initialisierungsschritt 410 kann den Empfang einer Gruppe von NN (= neuralen Netzwerken) beinhalten, die für die Ausführung von Schritt 440 des Verfahrens 400 trainiert wurden.
Alternativ kann Schritt 410 das Trainieren einer Gruppe von NN beinhalten, die den Schritt 440 des Verfahrens 400 ausführen sollen.
Im Folgenden werden verschiedene Beispiele für das Training der Gruppe von NN aufgeführt.

a. Die Gruppe von NN kann so trainiert werden, dass sie die Objektinformationen auf die eine oder mehrere virtuelle Kräfte abbildet, indem sie Verhaltensklonen verwendet.
b. Die Gruppe von NN kann so trainiert werden, dass sie die Objektinformationen auf die eine oder mehrere virtuelle Kräfte unter Verwendung von Verstärkungs lernen abbildet.
c. Die Gruppe von NN kann so trainiert werden, dass sie die Objektinformationen auf die eine oder mehrere virtuelle Kräfte abbildet, indem sie eine Kombination aus Verstärkungslernen und Verhaltensklonen verwendet.
d. Die Gruppe von NN kann trainiert werden, die Objektinformationen auf die eine oder mehrere virtuelle Kräfte abzubilden, indem ein Verstärkungslemen verwendet wird, welches eine Belohnungsfunktion hat, die unter Verwendung von Verhaltensklonen definiert wird.
e. Die Gruppe von NN kann so trainiert werden, dass sie die Objektinformationen auf die eine oder die mehreren virtuellen Kräfte abbildet, indem ein Verstärkungslemen verwendet wird, das eine anfängliche Strategie hat, die durch Verhaltensklonen definiert wird.
f. Die Gruppe von NN kann so trainiert werden, dass sie die Objektinformationen auf die eine oder die mehreren virtuellen Kräfte und eine oder mehrere virtuelle physikalische Modellfunktionen abbildet, die sich von den Wahrnehmungsfeldern unterscheiden.
g. Die Gruppe von NN kann ein erstes NN und ein zweites NN umfassen, wobei das erste NN darauf trainiert ist, die Objektinformationen auf das eine oder die mehreren Wahrnehmungsfelder abzubilden, und das zweite NN darauf trainiert wurde, die Objektinformationen auf die eine oder die mehreren virtuellen physikalischen Modellfunktionen abzubilden.

Auf den Initialisierungsschritt 410 kann ein Schritt 420 folgen, in dem Objektinformationen über ein oder mehrere Objekte, die sich in der Umgebung eines Fahrzeugs befinden, eingeholt werden. Schritt 410 kann mehrfach wiederholt werden - und die folgenden Schritte können ebenfalls mehrfach wiederholt werden. Die Objektinformationen können Video-, Bild-, Audio- oder andere abgetastete Informationen umfassen.
An Schritt 420 kann sich Schritt 440 anschließen, in dem unter Verwendung eines oder mehrerer neuronaler Netzwerke (NN) eine oder mehrere virtuelle Kräfte bestimmt werden, die auf das Fahrzeug einwirken.
Bei dem einen oder den mehreren NN kann es sich um die gesamte Gruppe von NN (aus dem Initialisierungsschritt 410) oder nur um einen Teil der Gruppe von NN handeln, wobei ein oder mehrere nicht ausgewählte NN der Gruppe übrig bleiben.
Die eine oder mehreren virtuellen Kräfte stellen einen oder mehrere Einwirkungen des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs dar. Die Einwirkung kann eine zukünftige Einwirkung oder eine aktuelle Einwirkung sein. Die Einwirkung kann dazu führen, dass das Fahrzeug seine Fahrtrichtung ändert.
Die eine oder mehreren virtuellen Kräfte gehören zu einem virtuellen physikalischen Modell. Das virtuelle physikalische Modell ist ein virtuelles Modell, das physikalische Regeln (z. B. mechanische Regeln, elektromagnetische Regeln, optische Regeln) virtuell auf das Fahrzeug und/oder die Objekte anwenden kann.
Schritt 440 kann mindestens einen der folgenden Schritte umfassen:

a. Berechnen einer virtuellen Gesamtkraft, die auf das Fahrzeug ausgeübt wird, auf der Grundlage der einen oder mehreren virtuellen Kräfte, die auf das Fahrzeug ausgeübt werden.
b. Bestimmen einer virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage einer virtuellen Gesamtbeschleunigung, die durch die virtuelle Gesamtkraft auf das Fahrzeug ausgeübt wird. Die virtuelle Soll-Beschleunigung kann gleich der virtuellen Gesamtbeschleunigung sein - oder von dieser abweichen.

Das Verfahren 400 kann auch mindestens einen der Schritte 431, 432, 433, 434, 435 und 436 umfassen.
Schritt 431 kann die Bestimmung einer Situation des Fahrzeugs auf der Grundlage der Objektinformationen beinhalten.
An Schritt 431 kann sich Schritt 432 anschließen, in dem die ein oder mehreren NN basierend auf der Situation ausgewählt werden.
Zusätzlich oder alternativ kann auf Schritt 431 Schritt 433 folgen, in dem die ein oder mehreren NN mit Situationsmetadaten gefüttert werden.
Schritt 434 kann die Ermittlung einer Klasse für jedes der ein oder mehreren Objekte auf der Grundlage der Objektinformationen umfassen.
An Schritt 434 kann sich Schritt 435 anschließen, in dem der eine oder die mehreren NN auf der Grundlage einer Klasse mindestens eines Objekts des einen oder der mehreren Objekte ausgewählt werden.
Zusätzlich oder alternativ kann auf Schritt 434 Schritt 436 folgen, in welchem das eine oder die mehreren NN mit Klassenmetadaten gefüttert werden, welche eine Klasse mindestens eines Objekts des einen oder der mehreren Objekte angeben.
An Schritt 440 kann sich Schritt 450 anschließen, in welchem eine oder mehrere fahrbezogene Vorgänge des Fahrzeugs auf der Grundlage der einen oder mehreren virtuellen Kräfte durchgeführt werden.
Schritt 450 kann ohne menschliches Eingreifen des Fahrers ausgeführt werden und kann eine Änderung der Geschwindigkeit und/oder Beschleunigung und/oder Fortbewegungsrichtung des Fahrzeugs umfassen. Dies kann die Durchführung des autonomen Fahrens oder die Durchführung von Fahrmanövern des erweiterten Fahrerassistenzsystems (Advanced Driver Assistance System, ADAS) beinhalten, die die vorübergehende Übernahme der Kontrolle über das Fahrzeug und/oder über eine oder mehrere fahrbezogene Einheiten des Fahrzeugs umfassen können. Dies kann beinhalten, dass mit oder ohne Beteiligung des menschlichen Fahrers eine Beschleunigung des Fahrzeugs auf die virtuelle Soll-Beschleunigung eingestellt wird.
Schritt 440 kann beinhalten, dass dem Fahrer vorgeschlagen wird, eine Beschleunigung des Fahrzeugs auf die virtuelle Soll-Beschleunigung einzustellen.
5 zeigt ein Ausführungsbeispiel eines Fahrzeugs. Das Fahrzeug kann eine oder mehrere Abtasteinheiten 501, eine oder mehrere fahrbezogene Einheiten 510 (wie autonome Fahreinheiten, ADAS-Einheiten und dergleichen), einen Prozessor 560, welcher so konfiguriert ist, dass er jedes der Verfahren ausführt, eine Speichereinheit 508 zum Speichern von Instruktionen und/oder Verfahrensergebnissen, Funktionen und dergleichen sowie eine Kommunikationseinheit 504 umfassen.
6 zeigt Ausführungsbeispiele für ein Verfahren 600 zur Fahrspurzentrierung RL mit Spurmesspunkten als Eingaben. Die Spurmesspunkte befinden sich in der Umgebung des Fahrzeugs.
Das RL geht von einer Simulationsumgebung aus, welche Eingangsdaten generiert, in denen ein Agent (Ego-Fahrzeug) seine gelernte Strategie (Wahrnehmungsfelder) umsetzen kann.
Das Verfahren 600 kann mit Schritt 610 beginnen, in welchem die nächstgelegenen Spurmesspunkte oder Straßenrandmesspunkte (X_L,i, Y_L,i) und (X_R,i, Y_R,i) ermittelt werden, wobei L für links, R für rechts und der Index i für die Messpunkte steht. Die Geschwindigkeit des Ego-Fahrzeugs (im Vorfeld als Fahrzeug bezeichnet) wird mit V_ego bezeichnet.
Auf Schritt 610 kann Schritt 620 folgen, in welchem die Eingangsvektoren der linken Fahrspur (X_L,i, Y_L,i) und V_ego zu X_L und die Eingangsvektoren der rechten Fahrspur (X_R,i, Y_R,i) und V_ego zu X_R zusammengefasst werden.
Auf Schritt 620 kann Schritt 630 zur Berechnung der Fahrspurwahrnehmungsfelder f_θ(X_L) und f_θ(X_R) folgen. Dies wird von einem oder mehreren NN durchgeführt.
An Schritt 630 kann sich Schritt 640 anschließen, in dem eine Differentialgleichung aufgestellt wird, welche die auf das Ego-Fahrzeug wirkende Ego-Beschleunigung beschreibt: a = f_θ(X_L)+f_θ(X_R).
Dies kann das Ergebnis des Inferenzprozesses sein. An Schritt 640 kann sich Schritt 450 anschließen (nicht dargestellt).
Das Verfahren kann die Aktualisierung des einen oder der mehreren NN umfassen. In diesem Fall kann das RL eine Belohnungsfunktion annehmen, die entweder auf der Grundlage von Experten-Darlegungen erlernt oder von Hand erstellt wurde. Im Beispiel von kann die Belohnungsfunktion für jeden Zeitstempel, in dem das Ego-Fahrzeug seine Spur beibehält, ansteigen.
Die Aktualisierung kann Schritt 670 beinhalten, in welchem in einer Simulationsumgebung umgesetzt wird und der RL-Lernalgorithmus aufzeichnet, was im nächsten Zeitschritt passiert, einschließlich des Erhalts der Belohnung.
Schritt 670 kann die Verwendung eines bestimmten RL-Algorithmus (z. B. PPO, SAC, TTD3) beinhalten, um die Netzwerkparameter θ sequentiell zu aktualisieren, um die durchschnittliche Belohnung zu maximieren.
7 zeigt das Verfahren 700 für Multiobjekt-RL mit visueller Eingabe.
Schritt 710 des Verfahrens 700 kann den Empfang einer Sequenz von panoptisch segmentierten Bildern über ein kurzes Zeitfenster aus der Ego-Perspektive (vom Ego-Fahrzeug aufgenommene Bilder), die relative Entfernung zu einzelnen Objekten X_rel,i.
An Schritt 710 kann sich Schritt 720 anschließen, in welchem ein räumlich-zeitliches CNN (= Convolutional Neural Network = faltendes neurales Netzwerk) auf einzelne Instanzen (Objekte) angewendet wird, um räumlichzeitliche Merkmale X_i auf hoher Ebene zu erfassen.
An Schritt 720 kann sich Schritt 730 anschließen, in welchem die einzelnen Wahrnehmungsfelder f_θ(X_i,i) und die Summe Σf_θ(X_rel,I, X_i,i) berechnet werden.
An Schritt 730 kann sich Schritt 740 anschließen, in welchem eine Differentialgleichung aufgestellt wird, welche die auf das Ego-Fahrzeug wirkende Ego-Beschleunigung beschreibt: a = Σfθ(X_rel,I, X_i,i).
Dies kann das Ergebnis des Inferenzprozesses sein. An Schritt 740 kann sich Schritt 450 anschließen (nicht dargestellt).
Das Verfahren kann die Aktualisierung des einen oder der mehreren Netzwerkparameter θ unter Verwendung eines RL-Prozesses beinhalten.
Das Verfahren kann den Schritt 760 beinhalten, in welchem in der Simulationsumgebung umgesetzt wird und der RL-Lernalgorithmus aufzeichnet, was im nächsten Zeitschritt passiert, einschließlich der erhaltenen Belohnung.
Das RL kann eine Belohnungsfunktion annehmen, die entweder auf der Grundlage von Experten-Darlegungen erlernt oder von Hand erstellt wurde.
Auf Schritt 760 kann Schritt 770 folgen, in welchem spezifische RL-Algorithmen wie PPO, SAC, TTD3 verwendet werden, um die Netzwerkparameter θ sequentiell zu aktualisieren, um die durchschnittliche Belohnung zu maximieren.
8 zeigt das Verfahren 800 für Multi-Objekt-BC mit kinematischer Eingabe.
Schritt 810 des Verfahrens 800 kann das Empfangen einer Liste von relativen Kinematiken (X_rel,i, V_rel,i) des erfassten Objekts umfassen, wobei X_rel,i ein relativer Standort des erfassten Objekts i- in Bezug auf das Ego-Fahrzeug ist und V_rel,i eine relative Geschwindigkeit des erfassten Objekts i- in Bezug auf das Ego-Fahrzeug ist. Außerdem wird die Geschwindigkeit des Ego-Fahrzeugs V_ego empfangen.
An Schritt 810 kann sich Schritt 820 anschließen, in welchem für jedes Objekt das Wahrnehmungsfeld f_θ(X_rel,i, V_rel,i, V_ego,i) berechnet wird.
An Schritt 820 kann sich Schritt 830 anschließen, in welchem die Beiträge der einzelnen Wahrnehmungsfelder summiert werden. Schritt 830 kann auch eine Normalisierung beinhalten, so dass die Größe des resultierenden 2d-Vektors gleich der höchsten Größe der einzelnen Terme ist: N*Σf_θ(X_rel,i, V_rel,i, V_ego,i).
An Schritt 830 kann sich Schritt 840 anschließen, in welchem eine Differentialgleichung aufgestellt wird, welche die auf das Ego-Fahrzeug wirkende Ego-Beschleunigung beschreibt: a = N*Σf_θ(X_rel,i, V_rel,i, V_ego,i).
Dies kann das Ergebnis des Inferenzprozesses sein. An Schritt 840 kann sich Schritt 450 anschließen (nicht dargestellt).
Das Verfahren kann das Aktualisieren des einen oder der mehreren Netzwerkparameter beinhalten.
Das Verfahren kann Schritt 860 der Berechnung der Ego-Trajektorie bei gegebenen Ausgangsbedingungen X̂(t; x₀, v₀) umfassen.
An Schritt 860 kann sich Schritt 870 anschließen, in welchem eine Verlustfunktion = Σ(X̂(t; x₀, v₀))- x(t; x₀, v₀))² berechnet wird. Und der Verlust wird entsprechend propagiert.
9 zeigt das Verfahren 900 Inferenz mit dem Zusatz einer Verlustfunktion für ein adaptives Geschwindigkeitsregelungsmodell, das mit kinematischen Variablen als Eingaben umgesetzt wird.
Schritt 910 des Verfahrens 900 kann den Empfang eines Standorts des Ego-Fahrzeugs X_ego, der Geschwindigkeit des Ego-Fahrzeugs V_ego, des Standorts des nächstgelegenen Fahrzeugs vor dem Ego-Fahrzeug X_CIPV und der Geschwindigkeit des nächstgelegenen Fahrzeugs vor dem Ego-Fahrzeug V_CIPV umfassen.
An Schritt 910 kann sich der Schritt 920 anschließen, in dem der relative Standort X_rel = X_ego - X_CIPV und die relative Geschwindigkeit V_rel - V_ego - V_CIPV berechnet werden.
Auf Schritt 920 kann Schritt 930 folgen:

• Berechnen einer Wahrnehmungsfeldfunktion g_θ(X_rel, V_CIPV) durch ein erstes NN.
• Berechnen einer Hilfsfunktion h_ψ(V_rel) durch ein zweites NN.
• Multiplikation von ge(X_rel, V_CIPV) mit h_ψ(V_rel), um eine Zielbeschleunigung zu erhalten (welche der Zielkraft entspricht).

Dies kann das Ergebnis des Inferenzprozesses sein. Auf den Schritt 930 kann der Schritt 450 folgen (nicht dargestellt).
Das Verfahren kann die Aktualisierung des einen oder der mehreren NN-Parameter umfassen.
Das Verfahren kann Schritt 960 der Berechnung der Ego-Trajektorie bei gegebenen Ausgangsbedingungen X̂(t; x₀, v₀) umfassen.
An Schritt 960 kann sich Schritt 970 anschließen, in welchem eine Verlustfunktion = Σ(X̂(t; x₀, v₀))- x(t; x₀, v₀))² berechnet wird. Und der Verlust wird entsprechend propagiert.
Visualisierung
Wahrnehmungsfelder sind ein neuartiger Berechnungsrahmen zur Erstellung von Fahrstrategien in einem autonomen Ego-Fahrzeug in verschiedenen Verkehrsumgebungen (z. B. Autobahn, Stadt, Land) und für verschiedene Fahraufgaben (z. B. Kollisionsvermeidung, Spurhaltung, ACC, Überholen usw.). Wahrnehmungsfelder sind Attribute von Straßenobjekten und kodieren Kraftfelder, die von jedem Straßenobjekt i der Kategorie c ausgehen (z. B. andere Fahrzeuge, Fußgänger, Verkehrszeichen, Straßenbegrenzungen usw.) und auf das Ego-Fahrzeug einwirken, um das Fahrverhalten zu beeinflussen. Der Schlüssel zum Erlangen eines gewünschten Fahrverhaltens aus einer Wahrnehmungsfeldrepräsentation der Ego-Umgebung liegt in der Modellierung der Kraftfelder, so dass sie allgemein genug sind, um ein vielseitiges Fahrverhalten zu ermöglichen, aber auch spezifisch genug, um ein effizientes Lernen mit menschlichen Fahrdaten zu ermöglichen. Die Anwendung von Wahrnehmungsfeldern hat mehrere Vorteile gegenüber bestehenden Verfahren (z.B. End-to-End-Ansätze), wie z.B. Aufgabenzerlegung und verbesserte Erklärbarkeit und Generalisierbarkeit, was zu einem vielseitigen Fahrverhalten führt.
10 zeigt ein Ausführungsbeispiel für ein Verfahren 3000 zur Visualisierung.
Gemäß einer Ausführungsform beginnt das Verfahren 3000 mit Schritt 3010 des Gewinnens von Objektinformationen über ein oder mehrere Objekte, die sich in der Umgebung des Fahrzeugs befinden.
Gemäß einer Ausführungsform umfasst Schritt 3010 auch das Analysieren der Objektinformationen. Die Analyse kann das Bestimmen von Standortinformationen und/oder Bewegungsinformationen des einen oder der mehreren Objekte umfassen. Die Standortinformationen und die Bewegungsinformationen können den relativen Standort des einen oder der mehreren Objekte (in Bezug auf das Fahrzeug) und/oder die relative Bewegung des einen oder der mehreren Objekte (in Bezug auf das Fahrzeug) umfassen.
Gemäß einer Ausführungsform folgt auf Schritt 3010 Schritt 3020 des Bestimmens, durch einen Verarbeitungsschaltkreis und auf der Grundlage der Objektinformationen, eines oder mehrerer virtueller Felder des einen oder der mehreren Objekte, wobei das eine oder die mehreren virtuellen Felder eine mögliche Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen.
Schritt 3020 kann von dem virtuellen physikalischen Modell ausgehen. Zum Beispiel - unter der Annahme, dass das virtuelle physikalische Modell Objekte als elektromagnetische Ladungen darstellt - sind das eine oder die mehreren virtuellen Felder virtuelle elektromagnetische Felder und die virtuelle Kraft stellt eine elektromagnetische Kraft dar, die durch die virtuellen Ladungen erzeugt wird. Angenommen, das virtuelle physikalische Modell ist ein mechanisches Modell, dann werden die virtuellen Kraftfelder durch die Beschleunigung der Objekte angeregt. Es sei darauf hingewiesen, dass die Verarbeitungsschaltkreise mindestens mit einer der in den Anmeldungen dargestellten Trainingsverfahren trainiert werden können - beispielsweise durch entsprechende Anwendung eines der Verfahren 200, 300 und 400. Das Training kann z. B. auf Verhaltensklonen (BC) und/oder auf Verstärkungslemen (RL) basieren.
Gemäß einer Ausführungsform folgt auf Schritt 3020 Schritt 3030 der Erzeugung von Visualisierungsinformationen auf der Grundlage des einen oder der mehreren Felder zur Verwendung bei der Visualisierung des einen oder der mehreren virtuellen Felder für den Fahrer.
Gemäß einer Ausführungsform stellen die Visualisierungsinformationen mehrere Feldlinien pro virtuellem Feld dar.
Gemäß einer Ausführungsform bilden die mehreren Feldlinien pro virtuellem Feld mehrere Ellipsen pro Objekt des einen oder der mehreren Objekte.
Die Visualisierungsinformationen können als Teil einer grafischen Schnittstelle angezeigt werden, die grafische Elemente enthält, die die virtuellen Felder darstellen. Das Verfahren kann die Bereitstellung einer visuellen Darstellung der Sichtfelder für einen Benutzer (z. B. den Fahrer des Fahrzeugs) umfassen.
Die Visualisierungsinformationen und/oder eine grafische Benutzeroberfläche können auf einem Display eines Fahrzeugs, auf einem Display eines Benutzergeräts (z. B. eines Mobiltelefons) und dergleichen angezeigt werden.
11 zeigt ein Beispiel eines Bildes 3091 der Umgebung eines Fahrzeugs, wie es von einem Fahrzeugsensor gesehen wird, mit mehreren Feldlinien 3092 pro virtuellem Feld eines Objekts, d.h. eines anderen Fahrzeugs.
12 zeigt ein Ausführungsbeispiel eines Verfahrens 3001 zur Visualisierung.
Gemäß einer Ausführungsform beginnt das Verfahren 3001 mit Schritt 3010.
Gemäß einer Ausführungsform folgt auf Schritt 3010 Schritt 3020.
Gemäß einer Ausführungsform folgt auf Schritt 3020 Schritt 3040, in dem auf der Grundlage des einen oder der mehreren virtuellen Felder eine oder mehrere virtuelle Kräfte bestimmt werden, die von dem einen oder den mehreren Objekten virtuell auf das Fahrzeug ausgeübt werden.
Die eine oder die mehreren virtuellen Kräfte sind mit einem physikalischen Modell verknüpft und stellen eine Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs dar.
Gemäß einer Ausführungsform ist eine virtuelle Kraft ein Kraftfeld.
Gemäß einer Ausführungsform ist eine virtuelle Kraft ein Potenzialfeld.
Gemäß einer Ausführungsform wird eine virtuelle Kraft der einen oder mehreren virtuellen Kräfte durch virtuelle Kurven dargestellt, die eine Stärke der virtuellen Kraft anzeigen.
Die Stärke der virtuellen Kraft kann durch eine oder mehrere der folgenden Eigenschaften dargestellt werden: Intensität der virtuellen Kurven, Form der virtuellen Kurven oder Größe (z. B. Breite, Länge und dergleichen) der virtuellen Kurven.
Schritt 3040 kann das Bestimmen einer virtuellen Gesamtkraft beinhalten, die virtuell auf das Fahrzeug ausgeübt wird. Die virtuelle Gesamtkraft kann eine Summe der einen oder mehreren virtuellen Kräfte sein.
Gemäß einer Ausführungsform folgt auf Schritt 3040 Schritt 3050 zur Berechnung einer virtuellen Soll-Beschleunigung des Fahrzeugs, auf der Grundlage der virtuellen Kraft.
Schritt 3050 kann auf der Grundlage von Annahmen bezüglich einer Beziehung zwischen der virtuellen Kraft und einer virtuellen Soll-Beschleunigung des Fahrzeugs ausgeführt werden. Zum Beispiel kann die virtuelle Kraft eine virtuelle Beschleunigung aufweisen (die virtuell auf das Fahrzeug einwirkt) und die virtuelle Soll-Beschleunigung des Fahrzeugs kann der virtuellen Beschleunigung entgegenwirken, die virtuell auf das Fahrzeug einwirkt.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung die gleiche Größe wie die virtuell aufgebrachte Beschleunigung, kann aber in eine entgegengesetzte Richtung gerichtet sein.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung eine Größe, die sich von der Größe der virtuell aufgebrachten Beschleunigung unterscheidet.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung eine Richtung, die nicht entgegengesetzt zu einer Richtung der virtuell aufgebrachten Beschleunigung ist.
Gemäß einer Ausführungsform folgt auf Schritt 3050 Schritt 3060 zur Erzeugung von Visualisierungsinformationen auf der Grundlage des einen oder der mehreren Felder zur Verwendung bei der Visualisierung des einen oder der mehreren virtuellen Felder und Kraftinformationen.
Die Kraftinformation kann die eine oder mehreren virtuellen Kräfte und/oder die virtuelle Soll-Beschleunigung darstellen.
Gemäß einer Ausführungsform stellen die Visualisierungsinformationen mehrere Feldlinien pro virtuellem Feld dar.
Gemäß einer Ausführungsform bilden die mehreren Feldlinien pro virtuellem Feld mehrere Ellipsen pro Objekt des einen oder der mehreren Objekte.
Gemäß einer Ausführungsform folgt auf Schritt 3060 Schritt 3070 der Reaktion auf die Visualisierungsinformationen.
Schritt 3060 kann das Übertragen der Visualisierungsinformationen und/oder das Speichern der Visualisierungsinformationen und/oder das Anzeigen des durch die Visualisierungsinformationen dargestellten Inhalts umfassen.
Schritt 3060 kann die Anzeige der Visualisierungsinformationen als Teil einer grafischen Schnittstelle umfassen, welche grafische Elemente enthält, die die virtuellen Felder und/oder die Soll-Beschleunigung und dergleichen darstellen. Die grafische Benutzeroberfläche bietet einem Benutzer (z.B. einem Fahrer des Fahrzeugs) eine visuelle Darstellung der Sichtfelder und/oder der Soll-Beschleunigung.
Gemäß einer Ausführungsform folgt auf den Schritt 3050 auch Schritt 3080, in welchem weiter auf die virtuelle Soll-Beschleunigung des Fahrzeugs reagiert wird.
Gemäß einer Ausführungsform umfasst Schritt 3080 mindestens einen der folgenden Schritte:

a. Auslösen eines Bestimmens eines fahrbezogenen Vorgangs auf der Grundlage des einen oder der mehreren virtuellen Felder.
b. Auslösen eines Durchführens eines fahrbezogenen Vorgangs auf der Grundlage des einen oder der mehreren virtuellen Felder.
c. Anfordern oder Anweisen einer Ausführung eines fahrbezogenen Vorgangs.
d. Auslösen einer Berechnung eines fahrbezogenen Vorgangs auf der Grundlage der virtuellen Soll-Beschleunigung.
e. Anfordern oder Anweisen einer Berechnung eines fahrbezogenen Vorgangs auf der Grundlage der virtuellen Soll-Beschleunigung
f. Senden von Informationen über die virtuelle Soll-Beschleunigung an eine Steuereinheit des Fahrzeugs.
g. Übernahme der Kontrolle über das Fahrzeug - Übertragung der Kontrolle vom Fahrer auf eine autonome Fahreinheit.

13 zeigt ein Ausführungsbeispiel einer Umgebung eines Fahrzeugs, wie sie von einem Luftbild aus gesehen wird, mit mehreren Feldlinien pro virtuellen Kräften, die auf das Fahrzeug eines Objekts, nämlich ein anderes Fahrzeug, ausgeübt werden. In 13 kann eine beliebige (oder eine Kombination aus zwei oder mehr) Farbe(n), Richtung(en) und Größe(n) der in 13 dargestellten Punkte die eine oder mehreren virtuellen Kräfte anzeigen, welche auf diese Punkte ausgeübt werden.
14 zeigt ein Beispiel eines Bildes 3093 der Umgebung eines Fahrzeugs, wie es von einem Fahrzeugsensor aus gesehen wird, mit mehreren Feldlinien 3092 pro virtuellem Feld eines Objekts, nämlich eines anderen Fahrzeugs, und mit Markierungen 3094 der virtuellen Kraft, die von dem Objekt ausgeübt wird. In 14 sind die Markierungen 3094 Teile von Ellipsen, die auch die mehreren Feldlinien 3092 enthalten.
15 zeigt ein Bild 1033 eines Ausführungsbeispiels eines Szenarios.
15 zeigt ein Ausführungsbeispiel eines Fahrzeugs 1031, das sich innerhalb eines Abschnitts einer ersten Straße befindet.
Ein Fußgänger 1022 beginnt, den Abschnitt zu überqueren - vor dem Fahrzeug 1301. Der Fußgänger wird durch ein virtuelles Fußgängerfeld dargestellt (veranschaulicht durch virtuelle Äquipotentialfeldlinien 1022' und Kraftindikatoren 1025). 15 veranschaulicht auch einen Richtungsvektor 1041 (der angezeigt oder nicht angezeigt werden kann), welcher das Fahrzeug 1031 abstößt.
Ein anderes Fahrzeug 1039 fährt auf einer entgegengesetzten Spur, hat ein anderes virtuelles Fahrzeugfeld 1049, andere Kraftindikatoren 1049 und übt eine andere virtuelle Kraft 1049 (die angezeigt oder nicht angezeigt werden kann) auf das Fahrzeug 1031 aus.
Die virtuelle Kraft, welche auf das Fahrzeug 1031 (als Ergebnis des Fußgängers und des anderen Fahrzeugs) ausgeübt wird, ist mit 1071 gekennzeichnet (und kann angezeigt oder nicht angezeigt werden). In 15 ist auch die Soll-Beschleunigung 1042 des Fahrzeugs dargestellt. Die Soll-Beschleunigung kann angezeigt oder nicht angezeigt werden.
16 ist ein Bild 3095, welches die Umgebung eines Fahrzeugs und ein weiteres Beispiel für eine Visualisierung zeigt, welche skalare Felder verwendet. Die Visualisierungsinformationen wurden durch Abtastung von Punkten und Bestimmung der Standorte in der Umgebung erzeugt, an denen die Kraft eines virtuellen Feldes gleich Null wäre. 16 enthält konzentrische Ellipsen 3096 mit abnehmender Intensität bis zu den Standorten, an denen die virtuelle Kraft gleich Null ist, um zu zeigen, wo das virtuelle Feld eines Objekts „endet“. Diese Art der Visualisierung veranschaulicht, wie viel Kraft auf das Fahrzeug ausgeübt würde, wenn es sich an einem beliebigen Standort innerhalb des virtuellen Feldes befände.
Erweiterte fahrbezogene Felder
Ein Problem der aktuellen ADAS- und AV-Technologie (insbesondere der bildgebenden Verfahren) besteht darin, dass die Steuerungsstrategien zu ruckartigem und nicht menschlichem Fahrverhalten führen (z. B. zu spätes Bremsen). Das Modell der Wahrnehmungsfelder entschärft dieses Problem und kann weiter verbessert werden, um ein komfortables Fahrerlebnis zu ermöglichen.
Da Wahmehmungsfelder durch Nachahmungslernen erlernt werden, führen sie natürlich zu einem Ego-Verhalten, welches dem menschlichen Fahren ähnelt. In dem Maße, wie das durchschnittliche menschliche Fahren von Fahrern und Fahrgästen als komfortabel empfunden wird, wird auch das durch Wahrnehmungsfelder induzierte Fahren als komfortabel empfunden. Es besteht jedoch die Möglichkeit, das Komfortgefühl durch eine Modifizierung des Trainingsalgorithmus für Wahrnehmungsfelder zu steigern.
Forschungen zur Psychologie und physiologischen Reaktion auf Fahrerlebnisse legen nahe, dass die Minimierung des Ruckens eine zentrale Rolle für den erlebten Komfort spielt. Die zusätzliche Anforderung, das Rucken zu minimieren, kann leicht in den Rahmen der Wahrnehmungsfelder integriert werden, indem das Rucken während des Trainings in die Verlust-/Belohnungsfunktion einbezogen wird, um komfortsteigernde Wahrnehmungsfelder zu erzeugen.
Komfortsteigernde Wahrnehmungsfelder können auch andere Faktoren wie Beschleunigung und Geschwindigkeit berücksichtigen. Kurz gesagt, jeder Faktor, der sich auf das Komfortgefühl auswirkt, kann in die Verlust- oder Belohnungsfunktion einbezogen werden, um so das grundlegende Wahrnehmungsfeldmodell zu erweitern.
Es hat sich gezeigt, dass die Erweiterung virtueller Felder auf der Grundlage von Komfort oder anderen Faktoren das Fahren weiter verbessern kann.
17 veranschaulicht ein Ausführungsbeispiel des Verfahrens 4000 für erweiterte fahrbezogene virtuelle Felder.
Gemäß einer Ausführungsform beginnt das Verfahren 4000 mit Schritt 4010 des Gewinnens von Objektinformationen über ein oder mehrere Objekte, welche sich in einer Umgebung des Fahrzeugs befinden.
Gemäß einer Ausführungsform umfasst Schritt 4010 auch das Analysieren der Objektinformationen. Die Analyse kann die Bestimmung von Standortinformationen und/oder Bewegungsinformationen des einen oder der mehreren Objekte umfassen. Die Standortinformationen und die Bewegungsinformationen können den relativen Standort des einen oder der mehreren Objekte (in Bezug auf das Fahrzeug) und/oder die relative Bewegung des einen oder der mehreren Objekte (in Bezug auf das Fahrzeug) umfassen.
Gemäß einer Ausführungsform folgt auf Schritt 4010 Schritt 4020 des Bestimmens eines oder mehrerer virtueller Felder des einen oder der mehreren Objekte durch einen Verarbeitungsschaltkreis und auf der Grundlage der Objektinformationen, wobei das Bestimmen des einen oder der mehreren virtuellen Felder auf der Grundlage eines virtuellen physikalischen Modells erfolgt, wobei das eine oder die mehreren virtuellen Felder eine potenzielle Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und mindestens eines zusätzlichen fahrbezogenen Parameters aufgebaut ist.
Gemäß einer Ausführungsform wurde der Verarbeitungsschaltkreis auf der Grundlage von Referenzfahrmustern trainiert. Der mindestens eine zusätzliche fahrbezogene Parameter umfasst einen Fahrerparameter, der sich auf einen oder mehrere Unterschiede zwischen einem oder mehreren Typen von Fahrmustern des Fahrers und einem oder mehreren Typen der Referenzfahrmuster bezieht.
Gemäß einer Ausführungsform umfasst der mindestens eine zusätzliche fahrbezogene Parameter einen fahrerfahrmusterbezogenen Parameter, welcher sich auf ein oder mehrere Fahrmuster des Fahrers bezieht.
Gemäß einer Ausführungsform umfasst der mindestens eine zusätzliche fahrbezogene Parameter einen Kraftstoffverbrauchsparameter.
Gemäß einer Ausführungsform umfasst der mindestens eine zusätzliche fahrbezogene Parameter einen Sicherheitsparameter.
Gemäß einer Ausführungsform umfasst der mindestens eine zusätzliche fahrbezogene Parameter einen Komfortparameter.
Der Komfortparameter kann sich auf den Komfort des Fahrers des Fahrzeugs während der Fahrt beziehen.
Der Komfortparameter kann sich auf den Komfort eines oder mehrerer Verkehrsteilnehmer beziehen, welche sich außerhalb des Fahrzeugs befinden - z.B. den Komfort anderer Fahrer und/oder Fußgänger, welche sich in der Nähe des Fahrzeugs befinden (z.B. innerhalb von 0,1-20 Metern vom Fahrzeug entfernt).
Der Komfortparameter kann sich auf den Komfort eines oder mehrerer anderer Fahrgäste außer dem Fahrer während der Fahrt beziehen.
Der Komfortparameter kann sich auf den Komfort des Fahrers und eines oder mehrerer anderer Fahrgäste im Fahrzeug während der Fahrt beziehen.
Der Komfort des Fahrers kann - aus Sicherheitsgründen - Vorrang vor dem Komfort eines oder mehrerer Fahrgäste haben.
Der Fahrer, ein Fahrgast oder eine andere berechtigten Instanz kann die Art und Weise festlegen, in der der Komfort einer beliebigen Person berücksichtigt werden soll.
Die Komfortstufe kann vom Fahrer, einem Fahrgast oder einer anderen berechtigten Instanz eingestellt werden.
Zum Beispiel - unter der Annahme, dass das virtuelle physikalische Modell Objekte als elektromagnetische Ladungen darstellt - sind die ein oder mehreren virtuellen Felder virtuelle elektromagnetische Felder und die virtuelle Kraft stellt eine elektromagnetische Kraft dar, welche durch die virtuellen Ladungen erzeugt wird.
Wenn es sich bei dem virtuellen physikalischen Modell beispielsweise um ein mechanisches Modell handelt, dann werden die virtuellen Kraftfelder durch die Beschleunigung der Objekte angeregt. Es sei darauf hingewiesen, dass die Verarbeitungsschaltkreise mit mindestens einer der in den Anmeldungen dargestellten Trainingsverfahren trainiert werden können, z. B. durch sinngemäße Anwendung einer der Verfahren 200, 300 und 400. Das Training kann z.B. auf Verhaltensklonen (BC) und/oder auf Verstärkungslemen (RL) basieren. Beim Training können auch ein oder mehrere zusätzliche fahrbezogene Parameter berücksichtigt werden. Zum Beispiel kann eine Verlustfunktion mit einem gewünschten Wert eines zusätzlichen fahrbezogenen Parameters und einem geschätzten aktuellen fahrbezogenen Parameter gefüttert werden und darauf abzielen, die Lücke zwischen dem gewünschten und dem geschätzten aktuellen zusätzlichen fahrbezogenen Parameter zu verringern.
Unter der Annahme, dass es sich bei dem zusätzlichen fahrbezogenen Parameter um Komfort handelt, kann der Komfort auf der Grundlage expliziter Rückmeldungen des Fahrers, der Überwachung eines physiologischen Parameters (z. B. Herzfrequenz, Schweißabsonderung, Blutdruck, Veränderung der Hautfarbe), der Erkennung von Schreien oder anderen akustischen und/oder visuellen Informationen, die auf Stress hinweisen, bewertet werden.
Gemäß einer Ausführungsform folgt auf Schritt 4020 Schritt 4030 des Bestimmens einer virtuellen Gesamtkraft, welche auf das Fahrzeug, gemäß dem virtuellen physikalischen Modell, durch das eine oder die mehreren Objekte ausgeübt wird.
Gemäß einer Ausführungsform folgt auf Schritt 4030 Schritt 4040 des Bestimmens einer virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage des einen oder der mehreren virtuellen Felder.
Schritt 4040 kann auf der Grundlage von Annahmen bezüglich einer Beziehung zwischen der virtuellen Kraft und einer virtuellen Soll-Beschleunigung des Fahrzeugs ausgeführt werden. Zum Beispiel kann die virtuelle Kraft eine virtuelle Beschleunigung aufweisen (die virtuell auf das Fahrzeug einwirkt) und die gewünschte virtuelle Soll-Beschleunigung des Fahrzeugs kann der virtuellen Beschleunigung, die virtuell auf das Fahrzeug einwirkt, entgegenwirken.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung die gleiche Größe wie die virtuell aufgebrachte Beschleunigung, kann aber in eine entgegengesetzte Richtung gerichtet sein.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung eine Größe, welche sich von der Größe der virtuell aufgebrachten Beschleunigung unterscheidet.
Gemäß einer Ausführungsform hat die virtuelle Soll-Beschleunigung eine Richtung, die nicht entgegengesetzt zu einer Richtung der virtuell aufgebrachten Beschleunigung ist.
Gemäß einer Ausführungsform wird Schritt 4040 unabhängig von einem aktuellen Komfortparameter eines Fahrers des Fahrzeugs oder einem aktuellen Komfortparameter eines anderen Fahrgastes des Fahrzeugs ausgeführt.
Gemäß einer Ausführungsform umfasst das Verfahren 4000 das Ermitteln eines aktuellen Komfortparameters eines Fahrers des Fahrzeugs, und Schritt 4040 wird auch auf der Grundlage eines aktuellen Komfortparameters des Fahrers und/oder auf der Grundlage eines aktuellen Komfortparameters eines beliebigen anderen Fahrgastes des Fahrzeugs ausgeführt.
Gemäß einer Ausführungsform umfasst das Verfahren 4000 Schritt 4060 zum Auslösen eines Bestimmens eines fahrbezogenen Vorgangs und/oder zum Auslösen einer Ausführung des Bestimmens eines fahrbezogenen Vorgangs.
Gemäß einer Ausführungsform geht Schritt 4060 Schritt 4020 voraus, und jede der Auslösungen erfolgt auf der Grundlage des einen oder der mehreren virtuellen Felder.
Gemäß einer Ausführungsform geht Schritt 4060 Schritt 4030 voraus, und jede der Auslösungen erfolgt auf der Grundlage der auf das Fahrzeug ausgeübten virtuellen Gesamtkraft.
Gemäß einer Ausführungsform geht Schritt 4060 Schritt 4040 voraus, und jede der Auslösungen erfolgt auf der Grundlage der virtuellen Soll-Beschleunigung des Fahrzeugs.
18 zeigt ein Ausführungsbeispiel des Verfahrens 4100 für das Training.
Gemäß einer Ausführungsform umfasst das Verfahren 4100 Schritt 4110 des Gewinnens von Informationen, welche für das Training eines neuronalen Netzwerks erforderlich sind. Die Informationen können gewünschte Fahrermuster und/oder gewünschte Werte zusätzlicher fahrbezogener Parameter und/oder ein virtuelles physikalisches Modell umfassen.
Gemäß einer Ausführungsform folgt auf Schritt 4110 Schritt 4120 des Trainings eines neuronalen Netzwerks, um auf der Grundlage der Objektinformationen ein oder mehrere virtuelle Felder des einen oder der mehreren Objekte zu bestimmen, wobei das Bestimmen des einen oder der mehreren virtuellen Felder auf der Grundlage eines virtuellen physikalischen Modells erfolgt, wobei das eine oder die mehreren virtuellen Felder eine potenzielle Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und des mindestens einen zusätzlichen fahrbezogenen Parameters aufgebaut ist.
Gemäß einer Ausführungsform kann auf Schritt 4120 ein Training des neuronalen Netzwerks (oder einer anderen Recheneinheit) folgen, um eine virtuelle Gesamtkraft zu bestimmen, die gemäß dem virtuellen physikalischen Modell von dem einen oder den mehreren Objekten auf ein Fahrzeug ausgeübt wird.
Gemäß einer Ausführungsform kann auf Schritt 4120 ein Training des neuronalen Netzwerks (oder einer anderen Recheneinheit) folgen, um eine virtuelle Soll-Beschleunigung des Fahrzeugs auf der Grundlage des einen oder der mehreren virtuellen Felder zu bestimmen.
Personalisierung virtueller Felder
Die Grundform der Wahrnehmungsfelder (PF) wird anhand von menschlichen und Simulationsdaten erlernt. Es besteht jedoch die Möglichkeit, dass Endnutzer von Fahrzeugen, welche mit PF-Technologie ausgestattet sind, das Training „feinabstimmen", damit das durch die Wahrnehmungsfelder induzierte Verhalten dem des jeweiligen Endnutzers besser entspricht.
Gemäß einer Ausführungsform kann dies geschehen durch:

a. Erlauben, dass die PF-Software im Fahrzeug die Gewichte und Verzerrungen der letzten Schicht(en) der neuronalen Netzwerke, die die PF umfassen, „auftauen“ kann,
b. Wiederholung, für jedes Fahrmanöver einer Gruppe von Fahrmanövern:
1. i) den Endnutzer eines aus einer Reihe vorgewählter Fahrmanöver ausführen zu lassen, die von der Software zusammen mit relevanten Daten über die Umgebung aufgezeichnet werden,
2. ii) die Differenz zwischen diesem Fahrmanöver und dem von den Standard-PFs vorgeschriebenen Fahrmanöver als Verlustfunktion zu verwenden, wobei die Rückkopplungsfunktion die Gewichte und Verzerrungen der letzten Schicht(en) der neuronalen Netzwerke, die die PFs umfassen, aktualisiert.

19 zeigt ein Ausführungsbeispiel des Verfahrens 4200 zur Aktualisierung eines neuronalen Netzwerks.
Gemäß einer Ausführungsform beginnt das Verfahren 4200 mit dem Schritt 4210 des Erlangen eines neuronalen Netzwerks, das trainiert wird, um Objektinformationen bezüglich eines oder mehrerer Objekte, die sich in einer Umgebung eines Fahrzeugs befinden, einem oder mehreren virtuellen Feldern des einen oder der mehreren Objekte zuzuordnen, wobei die Bestimmung des einen oder der mehreren virtuellen Felder auf der Grundlage eines virtuellen physikalischen Modells erfolgt, wobei das eine oder die mehreren virtuellen Felder eine potenzielle Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und mindestens eines zusätzlichen fahrbezogenen Parameters aufgebaut ist.
Beispiele eines solchen neuronalen Netzwerks und/oder Beispiele für das Training eines solchen neuronalen Netzwerks sind im vorangehenden Text und/oder in den vorangehenden Figuren dargestellt.
Gemäß einer Ausführungsform wird das neuronale Netzwerk durch einen Verarbeitungsschaltkreis implementiert - zum Beispiel den Verarbeitungsschaltkreis, welcher das Verfahren 4000 ausführt.
Das Erlangen kann das Empfangen des neuronalen Netzwerks (z.B. ohne Training des neuronalen Netzwerks) oder das Erzeugen des neuronalen Netzwerks (z.B. kann das Erzeugen ein Training umfassen) beinhalten.
Gemäß einer Ausführungsform folgt auf Schritt 4210 Schritt 4220 der Feinabstimmung mindestens eines Teils des neuronalen Objekts auf der Grundlage eines oder mehrerer Feinabstimmungsparameter.
Gemäß einer Ausführungsform wird die Feinabstimmung durch dieselbe Verlustfunktion durchgeführt, die während des Trainings verwendet wurde. Alternativ dazu wird die Feinabstimmung mit einer neuen Verlustfunktion durchgeführt, welche während des Trainings verwendet wurde. In jedem Fall kann die Verlustfunktion auf beliebige Weise bestimmt werden - sie kann vordefiniert und/oder der Feinabstimmungsphase vorgegeben werden.
Gemäß einer Ausführungsform umfasst Schritt 4220 nicht das Training oder die Umschulung des gesamten neuronalen Netzwerks.
Schritt 4220 umfasst die Begrenzung der für die Feinabstimmung zugewiesenen Ressourcen - insbesondere im Verhältnis zu den für das vollständige Training des neuronalen Netzwerks erforderlichen Ressourcen.
Die Begrenzung der Ressource kann mindestens einen der folgenden Punkte umfassen:

a. Eine Feinabstimmung eines Teils - und nicht des gesamten neuronalen Netzwerks. Der Teil kann eine einzelne Schicht, mehr als eine Schicht, bis zu 1, 5, 10, 1 5, 25, 30, 35, 40, 45, 50, 55 Prozent des gesamten neuronalen Netzwerks sein.
b. Begrenzung der Größe des Datensatzes. Zum Beispiel Begrenzung der Feinabstimmung auf Bilder, welche vom Fahrzeug während einer begrenzten Zeitspanne aufgenommen wurden - zum Beispiel weniger als 1, 5, 10, 15, 30 Minuten, weniger als 1, 2, 3, 5 Stunden, weniger als 1, 2, Tage und dergleichen. Ein weiteres Beispiel für eine Größenbeschränkung ist die Begrenzung des Datensatzes auf weniger als 100, 200, 500, 1000, 2000, 5000 Bilder und/oder weniger als 0,001 %, 0,01 %, 0,1 %, 1 %, 5 % der Größe des für das Training des neuronalen Netzwerks verwendeten Datensatzes.
c. Begrenzung der Lernrate.
d. Begrenzung der Parameter des neuronalen Netzwerks, welche von der Feinabstimmung betroffen sind.

Verschiedene Vorteile für die Informatik werden gewonnen, wenn die Feinabstimmung bei begrenzten Ressourcen durchgeführt wird. Im Vergleich zu einem vollständigen Training oder einer Umschulung des gesamten neuronalen Netzwerks können viel weniger Rechenressourcen und/oder viel weniger Speicherressourcen erforderlich sein.
Die oben erwähnte Feinabstimmung kann durch ein kompakteres neuronales Netzwerk und eine Verlustfunktion durchgeführt werden, wobei das neuronale Netzwerk entsprechend einem oder mehreren Feinabstimmungsparametern angepasst wird.
Gemäß einer Ausführungsform kann die Feinabstimmung durch das Fahrzeug durchgeführt werden und erfordert kein hochkomplexes neuronales Netzwerk und/oder keine Infrastruktur und/oder keine großen Datensätze.
Die Verringerung der Ressourcen kann um mindestens einen Faktor von 5, 10, 20, 50, 100, 200, 500, 1000 und sogar mehr erfolgen.
Gemäß einer Ausführungsform umfassen die ein oder mehreren Feinabstimmungsparameter den Kraftstoffverbrauch und/oder den Verschleiß des Fahrzeugs und/oder den Komfort eines Fahrzeuginsassen und/oder Sicherheitsparameter und/oder einen beliebigen anderen fahrbezogenen Parameter.
Gemäß einer Ausführungsform handelt es sich bei dem einen oder den mehreren Feinabstimmungsparametern um Fahrmuster, die vom Fahrzeug unter der Kontrolle eines Fahrers des Fahrzeugs ausgeführt werden. Die Fahrmuster können vordefiniert sein oder nicht.
Gemäß einer Ausführungsform kann der mindestens eine Teil eine Schicht oder zwei oder mehr Schichten umfassen (oder darauf beschränkt sein), oder alle Schichten des neuronalen Netzwerks können während der Umschulung geändert werden.
Beispielsweise umfasst Schritt 4220 die Aktualisierung eines oder mehrerer Parameter des neuronalen Netzwerks, wie mindestens eines der Gewichte und Verzerrungen einer letzten Schicht des neuronalen Netzwerks, während die Gewichte und Verzerrungen der anderen Schichten des neuronalen Netzwerks unverändert bleiben.
In einem weiteren Beispiel werden in Schritt 4220 nur die Gewichte und Verzerrungen einer letzten Schicht der letzten Schichten verändert, während die anderen Schichten unverändert bleiben.
Jede andere Schicht des neuronalen Netzwerks kann während der Umschulung verändert werden.
Das neuronale Netzwerk wurde so trainiert, dass es Referenzfahrmuster nachahmt. Dies könnte durch RL und/oder BC geschehen.
Gemäß einer Ausführungsform umfasst Schritt 4220 die Berechnung von Unterschieden zwischen den vom Fahrer vorgenommenen Fahrmustern und dem Referenzfahrmuster und die Verwendung der Unterschiede zur Anpassung des neuronalen Netzwerks. Beispielsweise können die Unterschiede in eine Verlustfunktion eingespeist werden.
20 zeigt ein Beispiel für das Verfahren 4300 zur Feinabstimmung eines neuronalen Netzwerks.
Gemäß einer Ausführungsform umfasst das Verfahren 4300 Schritt 4310 der Identifizierung gewünschter Fahrmuster in Bezug auf verschiedene Situationen. Die Identifizierung kann Teil eines Verhaltensklonens oder Teil eines Verstärkungsiemens sein.
Eine Situation kann mindestens eine der folgenden sein: (a) ein Standort des Fahrzeugs, (b) eine oder mehrere Wetterbedingungen, (c) ein oder mehrere kontextbezogene Parameter, (d) ein Straßenzustand, (e) ein Verkehrsparameter. Der Straßenzustand kann die Rauheit der Straße, den Wartungszustand der Straße, das Vorhandensein von Schlaglöchern oder anderen damit zusammenhängenden Straßenhindernissen sowie die Tatsache umfassen, ob die Straße rutschig, mit Schnee oder anderen Partikeln bedeckt ist. Der Verkehrsparameter und der eine oder die mehreren kontextbezogenen Parameter können die Zeit (Stunde, Tag, Zeitraum oder Jahr, bestimmte Stunden an bestimmten Tagen und dergleichen), eine Verkehrsbelastung, eine Verteilung der Fahrzeuge auf der Straße, das Verhalten eines oder mehrerer Fahrzeuge (aggressiv, ruhig, vorhersehbar, unvorhersehbar und dergleichen), das Vorhandensein von Fußgängern in der Nähe der Straße, das Vorhandensein von Fußgängern in der Nähe des Fahrzeugs, das Vorhandensein von Fußgängern entfernt vom Fahrzeug, das Verhalten der Fußgänger (aggressiv, ruhig, vorhersehbar, unvorhersehbar und dergleichen), das Risiko, das mit dem Fahren in der Nähe des Fahrzeugs verbunden ist, die Komplexität, die mit dem Fahren innerhalb des Fahrzeugs verbunden ist, das Vorhandensein (in der Nähe des Fahrzeugs) von mindestens einem Kindergarten, einer Schule, einer Menschenansammlung und dergleichen. Beispiele für Situationen finden sich in der US-Patentanmeldung 16/729,589 mit dem Titel SITUATION BASED PROCESSING, die hierin durch Bezugnahme aufgenommen wird.
Die vorgeschlagenen Fahrmuster werden unter Verwendung eines neuronalen Netzwerks (NN) erzeugt und stellen eine virtuelle Kraft dar, die von einem oder mehreren Objekten auf ein Fahrzeug ausgeübt wird, um einen fahrbezogenen Vorgang des Fahrzeugs anzuwenden, wobei sich die virtuelle Kraft auf ein virtuelles physikalisches Modell bezieht, welches die Einwirkungen des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellt. Die vorgeschlagenen Fahrmuster werden vom NN erzeugt, wenn das NN mit abgetasteten Informationseinheiten gespeist wird, die die verschiedenen Situationen erfassen.
Gemäß einer Ausführungsform folgt auf Schritt 4310 Schritt 4315 zum Erzielen vorgeschlagener Fahrmuster in Bezug auf die verschiedenen Situationen. Die vorgeschlagenen Fahrmuster werden unter Verwendung eines NN erzeugt und stellen eine virtuelle Kraft dar, welche durch ein oder mehrere Objekte auf ein Fahrzeug ausgeübt wird, um einen fahrbezogenen Vorgang des Fahrzeugs anzuwenden. Die virtuelle Kraft ist mit einem virtuellen physikalischen Modell verbunden, das die Einwirkungen des einen oder der mehreren Objekte auf das Verhalten des Fahrzeugs darstellt. Beispiele für das virtuelle physikalische Modell und/oder die virtuelle Kraft sind in den vorangegangenen Teilen der Beschreibung und/oder in den Figuren, die der 20 vorausgehen, dargestellt.
Gemäß einer Ausführungsform folgt auf Schritt 4315 der Schritt 4320 der Feinabstimmung mindestens eines Teils des neuronalen Netzwerks.
Gemäß einer Ausführungsform wird die Feinabstimmung auf der Grundlage eines oder mehrerer Feinabstimmungsparameter durchgeführt. Zumindest einige Beispiele für den einen oder die mehreren Feinabstimmungsparameter sind oben aufgeführt.
Gemäß einer Ausführungsform kann die Feinabstimmung von derselben Einheit wie das Training des neuronalen Netzwerks durchgeführt werden - zum Beispiel von einer Fertigungseinheit und/oder einer Programmiereinheit und/oder einer Einheit für Training und Feinabstimmung des neuronalen Netzwerks.
Gemäß einer Ausführungsform wird die Feinabstimmung nach einem Software-Update durchgeführt.
Gemäß einer Ausführungsform wird die Feinabstimmung durchgeführt, bevor das Fahrzeug an einen Benutzer ausgeliefert wird.
Gemäß einer Ausführungsform wird die Feinabstimmung von einem Benutzer des Fahrzeugs eingeleitet.
Gemäß einer Ausführungsform erfolgt die Feinabstimmung auf der Grundlage abgetasteter Dateneinheiten, die während einer oder mehrerer Fahrsitzungen des Fahrzeugs gewonnen wurden.
Gemäß einer Ausführungsform erfolgt die Feinabstimmung auf der Grundlage eines Fahrparameters und einer Beziehung zwischen den gewünschten Fahrmustern und den vorgeschlagenen Fahrmustern.
Gemäß einer Ausführungsform erfolgt die Feinabstimmung auf der Grundlage einer Beziehung zwischen den gewünschten Fahrmustern und den vorgeschlagenen Fahrmustern.
Gemäß einer Ausführungsform umfasst die Feinabstimmung die Verringerung der Unterschiede zwischen den gewünschten Fahrmustern und den vorgeschlagenen Fahrmustern (z. B. unter Verwendung einer Verlustfunktion). Die Reduzierung kann auch von einem anderen Feinabstimmungsparameter abhängen.
Gemäß einer Ausführungsform umfasst Schritt 4320 die Begrenzung der für die Feinabstimmung zugewiesenen Ressourcen - insbesondere im Verhältnis zu den für das vollständige Training des neuronalen Netzwerks erforderlichen Ressourcen.
Die Begrenzung der Ressource kann mindestens einen der folgenden Punkte umfassen:

a. eine Feinabstimmung eines Teils - und nicht des gesamten neuronalen Netzwerks. Der Teil kann eine einzelne Schicht, mehr als eine Schicht, bis zu 1, 5, 10, 1 5, 25, 30, 35, 40, 45, 50, 55 Prozent des gesamten neuronalen Netzwerks sein.
b. Begrenzung der Größe des Datensatzes. Zum Beispiel Begrenzung der Feinabstimmung auf Bilder, die vom Fahrzeug während eines begrenzten Zeitraums aufgenommen wurden - zum Beispiel weniger als 1, 5, 10, 15, 30 Minuten, weniger als 1, 2, 3, 5 Stunden, weniger als 1, 2, Tage und dergleichen. Ein weiteres Beispiel für eine Größenbeschränkung ist die Begrenzung des Datensatzes auf weniger als 100, 200, 500, 1000, 2000, 5000 Bilder und/oder weniger als 0,001 %, 0,01 %, 0,1 %, 1 %, 5 % der Größe des für das Training des neuronalen Netzwerks verwendeten Datensatzes.
c. Begrenzung der Lernrate
d. Begrenzung einer Anzahl von Parametern des neuronalen Netzwerks, welche von der Feineinstellung betroffen sind.

Verschiedene Vorteile für die Informatik werden dadurch erzielt, dass die Feinabstimmung unter Begrenzung der Ressourcen durchgeführt wird. Im Vergleich zu einem vollständigen Training oder einer Umschulung des gesamten neuronalen Netzwerks können sehr viel weniger Rechenressourcen und/oder Speicherressourcen erforderlich sein.
Die oben erwähnte Feinabstimmung kann durch ein kompakteres neuronales Netzwerk und eine Verlustfunktion ausgeführt werden, wobei das neuronale Netzwerk entsprechend einem oder mehreren Feinabstimmungsparametern angepasst wird.
Gemäß einer Ausführungsform kann die Feinabstimmung durch das Fahrzeug ausgeführt werden - und erfordert kein hochkomplexes neuronales Netzwerk und/oder keine Infrastruktur und/oder keine großen Datensätze.
Die Verringerung der Ressourcen kann einen Faktor von mindestens 5, 10, 20, 50, 100, 200, 500, 1000 und sogar mehr betragen.
21 zeigt ein Beispiel für das Verfahren 4350.
Gemäß einer Ausführungsform beginnt das Verfahren 4350 mit Schritt 4360 des Erzielens eines neuronalen Netzwerks (NN), welches vorgeschlagene Fahrmuster generiert und eine virtuelle Kraft darstellt, die durch ein oder mehrere Objekte auf ein Fahrzeug ausgeübt wird, zur Verwendung bei der Anwendung eines fahrbezogenen Vorgangs des Fahrzeugs, wobei sich die virtuelle Kraft auf ein virtuelles physikalisches Modell bezieht, welches Einwirkungen des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellt.
Gemäß einer Ausführungsform folgt auf Schritt 4350 Schritt 4370 der Feinabstimmung mindestens eines Teils des neuronalen Netzwerks auf der Grundlage eines oder mehrerer Feinabstimmungsparameter.
Gemäß einer Ausführungsform umfasst Schritt 4370 die Abstimmung nur eines ausgewählten Teils des NN.
Gemäß einer Ausführungsform umfasst Schritt 4370 die Feinabstimmung nur einer ausgewählten Schicht des NN.
Gemäß einer Ausführungsform umfasst Schritt 4370 die Feinabstimmung nur einer letzten Schicht des NN.
Gemäß einer Ausführungsform wird Schritt 4370 von einem Fahrer des Fahrzeugs ausgelöst - zum Beispiel durch Verwendung eines mobilen Geräts, welches mit dem Fahrzeug kommuniziert, durch Interaktion mit einer Mensch-Maschine-Schnittstelle (Sprachbefehl und/oder Touchscreen und/oder Knopf- oder Tastenschnittstelle).
Gemäß einer Ausführungsform wird Schritt 4370 durch eine Fahrhandlung ausgelöst, die mit einem Fahrer des Fahrzeugs verknüpft ist. Zum Beispiel die Durchführung eines bestimmten Fahrmanövers.
Gemäß einer Ausführungsform wird in Schritt 4370 die Feinabstimmung durch ein Software-Update ausgelöst. Die Softwareaktualisierung kann es dem Fahrer ermöglichen, auszuwählen, ob er die Feinabstimmung durchführen will. Alternativ kann die Feinabstimmung automatisch mit der Softwareaktualisierung ausgelöst werden.
Gemäß einer Ausführungsform umfasst Schritt 4370 die Begrenzung der Größe eines Datensatzes, der während der Feinabstimmung verwendet wird, auf weniger als ein Prozent des zum Trainieren des NN verwendeten Datensatzes.
Das Verfahren kann umfassen (siehe z. B. 20), dass gewünschte Fahrmuster erzielt werden, und wobei Schritt 4370 die Verringerung von Unterschieden zwischen den gewünschten Fahrmustern und den vorgeschlagenen Fahrmustern umfasst. So kann die Feinabstimmung zu Fahrmustern führen, welche die gewünschten Fahrmuster besser imitieren.
In der vorstehenden Beschreibung wurde die Erfindung unter Bezugnahme auf spezifische Ausführungsbeispiele der Erfindung beschrieben. Es wird jedoch klar sein, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne von dem breiten Geist und Umfang der Erfindung wie in den beigefügten Ansprüchen dargelegt abzuweichen. Darüber hinaus werden die Begriffe „vorne“, „hinten“, „oben“, „unten“, „über“, „unter“ und dergleichen in der Beschreibung und in den Ansprüchen, falls vorhanden, zu beschreibenden Zwecken und nicht notwendigerweise zur Beschreibung permanenter relativer Positionen verwendet.
Es versteht sich, dass die so verwendeten Begriffe unter geeigneten Umständen austauschbar sind, so dass die hierin beschriebenen Ausführungsformen der Erfindung beispielsweise auch in anderen Ausrichtungen als den abgebildeten oder anderweitig hier beschriebenen angewendet werden können. Darüber hinaus werden die Begriffe „bestätigen" oder „einstellen“ und „verwerfen“ (oder „aufheben“ oder „löschen“) hier verwendet, wenn sie sich auf die Umwandlung eines Signals, eines Statusbits oder eines ähnlichen Geräts in seinen logisch wahren bzw. falschen Zustand beziehen. Wenn der logisch wahre Zustand ein Logikpegel Eins ist, ist der logisch falsche Zustand ein Logikpegel Null. Und wenn der logisch wahre Zustand ein Logikpegel Null ist, ist der logisch falsche Zustand ein Logikpegel Eins.
Fachleute werden erkennen, dass die Grenzen zwischen Logikblöcken lediglich illustrativ sind und dass alternative Ausführungsformen Logikblöcke oder Schaltungselemente zusammenführen oder verschiedenen Logikblöcken oder Schaltungselementen eine andere Zerlegung der Funktionalität auferlegen können. Es ist daher zu verstehen, dass die hier dargestellten Architekturen nur beispielhaft sind und dass in der Tat viele andere Architekturen realisiert werden können, welche die gleiche Funktionalität erreichen. Jede Anordnung von Bauteilen, mit der dieselbe Funktionalität erreicht wird, ist effektiv „verknüpft“, so dass die gewünschte Funktionalität erreicht wird.
Daher können zwei beliebige Komponenten, die hier kombiniert werden, um eine bestimmte Funktionalität zu erreichen, als „verknüpft“ angesehen werden, so dass die gewünschte Funktionalität erreicht wird, unabhängig von Architekturen oder intermedialen Komponenten. Ebenso können zwei auf diese Weise verbundene Komponenten als „funktionsfähig verknüpft“ oder „funktionsfähig gekoppelt“ angesehen werden, um die gewünschte Funktionalität zu erreichen. Darüber hinaus wird der Fachmann erkennen, dass die Grenzen zwischen den oben beschriebenen Vorgängen lediglich illustrativ sind. Die verschiedenen Vorgänge können zu einem einzigen Vorgang kombiniert werden, ein einzelner Vorgang kann auf weitere Vorgänge verteilt werden, und die Vorgänge können zumindest teilweise zeitlich überlappend ausgeführt werden.
Darüber hinaus können alternative Ausführungsformen mehrere Instanzen einer bestimmten Operation umfassen, und die Reihenfolge der Operationen kann in verschiedenen anderen Ausführungsformen geändert werden. In einer Ausführungsform können die dargestellten Beispiele auch als Schaltungen auf einem einzigen integrierten Schaltkreis oder in einem einzigen Gerät implementiert werden. Alternativ können die Beispiele als eine beliebige Anzahl separater integrierter Schaltkreise oder separater Geräte realisiert werden, die in geeigneter Weise miteinander verbunden sind.
Es sind jedoch auch andere Modifikationen, Variationen und Alternativen möglich. Die Beschreibungen und Zeichnungen sind daher eher illustrativ als einschränkend zu verstehen. In den Ansprüchen sind die in Klammern gesetzten Bezugszeichen nicht als Einschränkung des Anspruchs zu verstehen. Das Wort „umfassend“ schließt das Vorhandensein anderer Elemente oder Schritte als die in einem Anspruch aufgeführten nicht aus.
Darüber hinaus sind die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, als eins oder mehr als eins definiert. Auch die Verwendung einleitender Wendungen wie „mindestens eines“ und „eines oder mehrere“ in den Ansprüchen sollte nicht dahingehend ausgelegt werden, dass die Einführung eines weiteren Anspruchselements durch die unbestimmten Artikel „ein“ oder „eine“ einen bestimmten Anspruch, der ein solches eingefügtes Anspruchselement enthält, auf Erfindungen beschränkt, die nur ein solches Element enthalten, selbst wenn derselbe Anspruch die einleitenden Wendungen „eines oder mehrere“ oder „mindestens eines“ und unbestimmte Artikel wie „ein“ oder „eine“ enthält. Dasselbe gilt für die Verwendung von bestimmten Artikeln. Sofern nicht anders angegeben, werden Begriffe wie „erster/s" und „zweiter/s“ verwendet, um willkürlich zwischen den Elementen zu unterscheiden, die diese Begriffe beschreiben. Diese Begriffe sind also nicht unbedingt als Hinweis auf eine zeitliche oder sonstige Priorisierung dieser Elemente zu verstehen.
Die bloße Tatsache, dass bestimmte Maßnahmen in verschiedenen Ansprüchen aufgeführt sind, bedeutet nicht, dass eine Kombination dieser Maßnahmen nicht vorteilhaft sein kann. Obwohl bestimmte Merkmale der Erfindung hierin illustriert und beschrieben wurden, werden dem Fachmann viele Modifikationen, Substitutionen, Änderungen und Äquivalente einfallen. Es ist daher zu verstehen, dass die beigefügten Ansprüche alle Modifikationen und Änderungen abdecken sollen, die dem wahren Geist der Erfindung entsprechen.
Es wird davon ausgegangen, dass verschiedene Merkmale der Ausführungsformen der Offenbarung, die aus Gründen der Klarheit im Zusammenhang mit einzelnen Ausführungsformen beschrieben werden, auch in Kombination in einer einzigen Ausführungsform vorgesehen werden können. Umgekehrt können verschiedene Merkmale der Ausführungsformen der Offenbarung, die der Kürze halber im Zusammenhang mit einer einzigen Ausführungsform beschrieben werden, auch separat oder in jeder geeigneten Unterkombination bereitgestellt werden. Der Fachmann wird verstehen, dass die Ausführungsformen der Offenbarung nicht durch das beschränkt sind, was hierin gezeigt und beschrieben wurde. Vielmehr wird der Umfang der Ausführungsformen der Offenbarung durch die beigefügten Ansprüche und deren Äquivalente definiert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17/823069 [0001]
US 63/260839 [0001]
US 63/368874 [0001]
US 63/373454 [0001]
US 16729589 [0229]

Claims

Verfahren für erweiterte fahrbezogene virtuelle Felder, wobei das Verfahren folgende Schritte umfasst: - Gewinnen von Objektinformationen über ein oder mehrere Objekte, die sich in einer Umgebung eines Fahrzeugs befinden; und - Bestimmen eines oder mehrerer virtueller Felder des einen oder der mehreren Objekte durch einen Verarbeitungsschaltkreis und basierend auf den Objektinformationen, wobei das Bestimmen des einen oder der mehreren virtuellen Felder auf der Grundlage eines virtuellen physikalischen Modells erfolgt, wobei das eine oder die mehreren virtuellen Felder eine potenzielle Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und mindestens eines zusätzlichen fahrbezogenen Parameters aufgebaut ist.
Verfahren nach Anspruch 1, wobei der mindestens eine zusätzliche fahrbezogene Parameter ein Komfortparameter ist.
Verfahren nach Anspruch 1, welches das Bestimmen einer virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage des einen oder der mehreren virtuellen Felder umfasst.
Verfahren nach Anspruch 3, wobei das Ermitteln der virtuellen Soll-Beschleunigung unabhängig von einem aktuellen Komfortparameter eines Fahrers des Fahrzeugs durchgeführt wird.
Verfahren nach Anspruch 3, welches das Gewinnen eines aktuellen Komfortparameters eines Fahrers des Fahrzeugs umfasst, und wobei das Bestimmen der virtuellen Soll-Beschleunigung auch auf der Grundlage eines aktuellen Komfortparameters des Fahrers ausgeführt wird.
Verfahren nach Anspruch 3, wobei der Verarbeitungsschaltkreis auf der Grundlage von Referenzfahrmustern trainiert wird und wobei der mindestens eine zusätzliche fahrbezogene Parameter einen Fahrerparameter, welcher sich auf einen oder mehrere Unterschiede zwischen einem oder mehreren Typen von Fahrmustern des Fahrers und einem oder mehreren Typen der Referenzfahrmuster bezieht, umfasst.
Verfahren nach Anspruch 3, wobei das Bestimmen der virtuellen Soll-Beschleunigung des Fahrzeugs auf Grundlage einer virtuellen Gesamtkraft erfolgt, welche gemäß dem virtuellen physikalischen Modell von dem einen oder mehreren Objekten auf das Fahrzeug ausgeübt wird.
Verfahren nach Anspruch 1, wobei der mindestens eine zusätzliche fahrbezogene Parameter einen Kraftstoffverbrauchsparameter umfasst.
Verfahren nach Anspruch 1, wobei der mindestens eine zusätzliche fahrbezogene Parameter einen Sicherheitsparameter umfasst.
Verfahren nach Anspruch 1, wobei der mindestens eine zusätzliche fahrbezogene Parameter einen fahrerfahrmusterbezogenen Parameter, welcher sich auf ein oder mehrere Fahrmuster eines Fahrers des Fahrzeugs bezieht, umfasst.
Verfahren nach Anspruch 1, welches das Auslösen eines Bestimmens eines fahrbezogenen Vorgangs auf der Grundlage des einen oder der mehreren virtuellen Felder umfasst.
Verfahren nach Anspruch 1, welches das Auslösen der Durchführung eines fahrbezogenen Vorgangs auf der Grundlage des einen oder der mehreren virtuellen Felder umfasst.
Nicht flüchtiges, computerlesbares Medium für erweiterte fahrbezogene virtuelle Felder, wobei das nicht flüchtige, computerlesbare Medium Instruktionen speichert für: - das Gewinnen von Objektinformationen über eines oder mehrere Objekte, die sich in einer Umgebung eines Fahrzeugs befinden, und - das Bestimmen, durch einen Verarbeitungsschaltkreis und auf der Grundlage der Objektinformationen, eines oder mehrerer virtueller Felder des einen oder der mehreren Objekte, wobei das Bestimmen des einen oder der mehreren virtuellen Felder auf der Grundlage eines virtuellen physikalischen Modells erfolgt, wobei das eine oder die mehreren virtuellen Felder eine potenzielle Einwirkung des einen oder der mehreren Objekte auf ein Verhalten des Fahrzeugs darstellen, wobei das virtuelle physikalische Modell auf der Grundlage eines oder mehrerer physikalischer Gesetze und mindestens eines zusätzlichen fahrbezogenen Parameters aufgebaut ist.
Nicht flüchtiges computerlesbares Medium nach Anspruch 13, welches Instruktionen zur Bestimmung einer virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage des einen oder mehrerer virtueller Felder speichert.
Nicht flüchtiges computerlesbares Medium nach Anspruch 14, wobei der Verarbeitungsschaltkreis darauf trainiert ist, die virtuelle Soll-Beschleunigung auf der Grundlage von Referenzfahrmustern zu bestimmen.
Nicht flüchtiges computerlesbares Medium nach Anspruch 14, wobei das Bestimmen der virtuellen Soll-Beschleunigung des Fahrzeugs auf der Grundlage einer virtuellen Gesamtkraft erfolgt, die gemäß dem virtuellen physikalischen Modell von dem einen oder den mehreren Objekten auf das Fahrzeug ausgeübt wird
Nicht flüchtiges computerlesbares Medium nach Anspruch 13, wobei der mindestens eine zusätzliche fahrbezogene Parameter einen Fahrerparameter umfasst, welcher sich auf einen oder mehrere Unterschiede zwischen einem oder mehreren Typen von Fahrmustern des Fahrers und einem oder mehreren Typen der Referenzfahrmuster bezieht.