DE102019114577A1 - Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung - Google Patents

Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung Download PDF

Info

Publication number
DE102019114577A1
DE102019114577A1 DE102019114577.5A DE102019114577A DE102019114577A1 DE 102019114577 A1 DE102019114577 A1 DE 102019114577A1 DE 102019114577 A DE102019114577 A DE 102019114577A DE 102019114577 A1 DE102019114577 A1 DE 102019114577A1
Authority
DE
Germany
Prior art keywords
words
neural network
word
data
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019114577.5A
Other languages
English (en)
Inventor
Marcus J. Huber
Praveen Palanisamy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102019114577A1 publication Critical patent/DE102019114577A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Es werden Systeme, Vorrichtungen und Verfahren zur Implementierung eines neuronalen Netzwerksystems zum Steuern eines autonomen Fahrzeugs (aF) offengelegt, die Folgendes beinhalten: ein neuronales Netzwerk mit einer Vielzahl von Knoten mit Kontext-zu-Vektor- (context2vec-) kontextvermittelten Einbettungen, um den Betrieb des aF zu ermöglichen; eine Vielzahl von codierten context2vec-aF-Wörtern in einer Abfolge von Zeitpunkten, um Daten von Kontext und Verhalten einzubetten; einen Satz von Eingaben, die Folgendes umfassen: mindestens eines von einem aktuellen, einem vorherigen und einem nachfolgenden codierten context2vec-aF-Wort; eine neuronale Netzwerklösung, die von dem mindestens einen Computer angewendet wird, um ein Zielkontext-aF-Wort eines jeden Satzes von Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; einen Ausgangsvektor, der durch das neuronale Netzwerk berechnet wird und das eingebettete verteilte One-Hot-Schema des eingangs codierten context2vec-aF-Wortes darstellt; und einen Satz von Verhaltenssteuerungsvorgängen zum Steuern eines Verhaltens des aF.

Description

  • HINTERGRUND
  • Das technische Gebiet bezieht sich im Allgemeinen auf eine kontextbezogene Modellierung von autonomer Entscheidungsfindung und insbesondere auf Systeme, Vorrichtungen und Verfahren zur Einbettung kontextbezogener Informationen in ein Vektorraummodell, um nachfolgende Nachschlageverfahren, Vergleiche, Hypothetisierungsvorgänge und die zugehörige Steuerung des Betriebs eines autonomen Fahrzeugs zu erleichtern.
  • Da das Niveau der Fahrzeugautomatisierung oder der autonomen Funktionalität weiter zunimmt, wird das Kraftfahrzeug zunehmend ein Multisensorsystem, das mit Funktionalitäten höherer Ordnung beauftragt wird, wie zum Beispiel ein Verständnis des Zustands des Fahrers und des Zustands der Fahrumgebung. Das System wird dann mit komplexeren Entscheidungen beauftragt, die zum Beispiel Verarbeitungslösungen erfordern, welche in der Lage sind, während des autonomen Fahrzeugbetriebs die Umgebung zu erkennen, sie zu verstehen und sich an anzupassen (z. B. langsam fahren, wenn sich Fußgänger in der Nähe befinden, oder beim Fahren auf schlechten Straßen). Um dem autonomen Fahrzeug zu ermöglichen, komplexe Entscheidungen zu verstehen und zu treffen, muss es nicht nur die Fähigkeit haben, genügend Informationen über die Umgebung zu empfangen, sondern auch einen Verarbeitungsrahmen, der innerhalb des Fahrzeugs angeordnet ist und es den autonomen Fahrzeugsystemen ermöglicht, eingegebene Informationen zu modellieren, und der die Informationen schnell einbezieht und zu verarbeitet, um die entsprechenden Entscheidungen zur Fahrzeugsteuerung zu treffen.
  • Die Verwendung maschineneller Verarbeitung unter Verwendung eingebetteter Codierungen wurde in der Vergangenheit in erster Linie in Bezug auf Anwendungen in der Linguistik und anderen Bereichen untersucht, die Anwendung dieser Technologie wird aber im Bereich der autonomen Robotik (d. h. autonomer Fahrzeugsysteme) nur wenig, falls überhaupt, angetroffen oder angewendet. Die Verwendung einer derartigen Technologie wurde in der Anwendung auf den autonomen Fahrzeugbetrieb in Fahrszenarien gesehen, und zwar durch den Einsatz von Kontext unter Einbettung von Vektorräumen.
  • Dementsprechend ist es wünschenswert, kontextbezogene Informationen in ein Vektorraummodell einzubetten, um Folgendes mittels der Ziel-Kontextobjekten von Systemen, Vorrichtungen und Verfahren eines autonomen Fahrzeugs zu erreichen: um den späteren Kontextvergleich und die Aktionsauswahl zu erleichtern, um die Zuordnung von semantisch ähnlichen Kontexten zu ermöglichen, die als nahe zuieinandergehörig angesehen werden, um algorithmische Lösungen für Vektoren zu ermöglichen, um semantische und syntaktische Beziehungen zu erhalten, und um wahrscheinliche kontextabhängige Szenarien mit optimalen aktuellen Steuermaßnahmen vorherzusagen. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.
  • KURZDARSTELLUNG
  • System, Vorrichtung und Verfahren zum Einbetten von kontextbezogenen Informationen in ein Vektorraummodell, um nachfolgende Nachschlagevorgänge, Vergleiche und Hypothtisiervorgänge zu erleichtern, die mit dem autonomen Fahrzeugbetrieb verbunden sind.
  • In einer weiteren Ausführungsform ist ein computerimplementiertes System zum Steuern eines autonomen Fahrzeugs (aF) vorgesehen. Das System beinhaltet: einen nichtflüchtigen, computerlesbaren Satz von Anweisungen zur Programmierung mindestens eines Computers, wobei der mindestens eine Computer Folgendes beinhaltet: ein neuronales Netzwerk mit einer Vielzahl von Knoten mit Kontext zur Vektorabbildung (context2vec) von kontextvermittelten Einbettungen, um den Betrieb des aF zu ermöglichen; eine Vielzahl von codierten context2vec-aF-Wörtern in einer Abfolge von Zeitintervallen, um Daten von Kontext und Verhalten einzubetten, die aus Sensordaten des aF in Zeitsequenzen abgeleitet werden, worin die Kontext- und Verhaltensdaten Folgendes beinhalten: mindestens Abbildungs-, Situations- und Verhaltensdaten aus dem Betrieb des aF; einen Satz von Eingaben in das neuronale Netzwerk, wobei: mindestens ein Element aus einem aktuellen, einem vorherigen und einem nachfolgenden kodierten context2vec-aF-Wort jeweils in einem One-Hot-Schema eines Satzes von Möglichkeiten aus context2vec-aF-Wörter dargestellt ist, in dem mindestens ein context2vec-aF-Wort des Satzes mit einem EIN-Zustand bezeichnet wird, während andere context2vec-aF-Wörter des Satzes mit einem AUS-Zustand bezeichnet werden; eine neuronale Netzwerklösung, die von dem mindestens einen Computer angewendet wird, um ein Zielkontext-aF-Wort eines jeden Satzes von Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; einen Ausgangsvektor, der durch das neuronale Netzwerk berechnet wird und das eingebettete verteilte One-Hot-Schema durch die Eingavben codierten context2vec-aF-Wortes darstellt; und einen Satz von Verhaltenssteuerungsvorgängen zum Steuerung eines Verhaltens des aF basierend auf dem context2vec-aF-Wort durch den mindestens einen Computer.
  • In verschiedenen Ausführungsformen stellt das System: die Karten-, Positions- und Verhaltensdaten bereit, die in das context2vec-aF-Wort eingebettet sind, und umfasst ferner: einen ersten, einen zweiten, einen dritten, einen vierten und einen fünften Teil, worin der erste Teil Folgendes beinhaltet: Kreuzungs- und Stoppkartendaten; worin der zweite Teil Folgendes beinhaltet: Entfernung vor und Zeit zu Kollisionssituationsdaten; der dritte Teil umfasst: Geschwindigkeitsziel und Fahrspurabsicht-Situationsdaten; der vierte Teil beinhaltet: Abstandsdaten für den Abstand nach vorne und erwartete Manöver; und der fünfte Teil beinhaltet: relative und erwartete Manöververhaltensdaten, um eine Steueraktion durch den mindestens einen Computer des aF zu ermöglichen. Das System bietet: die Vielzahl der context2vec-aF-Wörter, die in einer Abfolge von Zeitpunkten codiert sind, die ferner Folgendes beinhaltet: einen vorherigen, aktuellen und nachfolgenden Zeitstempel für jeden Satz von context2vec-aF-Wörtern. Das System sieht ferner Folgendes vor: ein Training eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema eines neuronalen Netzwerke der Größe m aus context2vec-aF-Wörtern übersetzt werden; eine Zusammensetzung mit Plus/Minus n One-Hot-Schema eines neuronalen Netzwerks von context2vec-aF-Wörtern; und ein Training des neuronalen Netzwerks mit m+2n*m Eingabeknoten und m Ausgabeknoten von context2vec-aF-Wörtern, worin m die Anzahl von ausgewählten Eingangsknoten für das neuronale Netzwerk der Größe m ist. Das System sieht ferner Folgendes vor: eine Ausführung eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern der Größe m übersetzt werden; eine Zusammensetzung mit Plus/Minus n One-Hot-Schemata eines neuronalen Netzwerks aus context2vec-aF-Wörtern; eine Darstellung für ein trainiertes neuronales Netzwerk der Zusammensetzung mit plus/minus n One-Hot-Schemata aus context2vec-aF-Wörtern; und einen Satz von Ausgaben von context2vec-aF-Wort-Möglichkeiten für Steueraktionen des aF. Das System sieht ferner Folgendes vor: die Konstruktion einer Hypothese einer Folge von context2vec-aF-Wörtern von mindestens einer Größe m, worin m die eine Größe oder Anzahl von Eingangsknoten des neuronalen Netzwerks von context2vec-aF-Wörtern ist; eine Darstellung für ein trainiertes neuronales Netzwerk von einer Ausgabe der context2vec-aF-Wörter basierend auf der Hypothese; einer Überprüfung der Ausgabe der context2vec-aF-Wörter; und die Entscheidung einer Aktion für das aF durch den mindestens einen Computer basierend auf einem Ergebnis der Überprüfung der context2vec-aF-Wörter. Das System sieht ferner Folgendes vor: ein kontinuierliches Bag-of-Words-Modell (CBOW) und/oder ein Skip-Gram-Modell unter Verwendung neuronaler Netzwerke zur Analyse der context2vec-aF-Wörter.
  • In einer anderen Ausführungsform wird eine Vorrichtung zur Umsetzung eines neuronalen Netzwerksystems für die in einem autonomen Fahrzeug (aF) eingebettete Software und zum Erzeugen eines eingebauten neuronalen Netzwerks zum Steuern des aF bereitgestellt. Die Vorrichtung beinhaltet: mindestens einen Prozessor, der auf einer Datenverarbeitungsvorrichtung innerhalb des aF eingesetzt wird, wobei der mindestens eine Prozessor zur Umsetzung von Anwendungen programmiert ist, um Steuerdaten für ein aF basierend auf Sensordaten von Sensoren zu erzeugen, die im aF eingesetzt werden, worin der mindestens eine Prozessor einen mit den Sensoren gekoppelten Eingang aufweist, um die Sensordaten zu empfangen; mindestens einen Prozessor mit einem zugehörigen Speicher zum Speichern von Daten von Kontext-zu-Vektor (context2vec)-Wörtern von aF-Wörtern zur Verwendung in der Steuerung des aF; wobei der mindestens eine Prozessor ein neuronales Netzwerk mit einer Vielzahl von Knoten mit Kontext-zu-Vektor (context2vec)-Kontexteinbettungen aufweist, um den Betrieb des aF zu ermöglichen; wobei der mindestens eine Prozessor eine Vielzahl von context2vec-aF-Wörtern in einer Abfolge von Zeitintervallen codiert, um Daten des Kontextes und Verhaltens, die aus den Sensordaten des aF abgeleitet werden, in Zeitsequenzen einzubetten, worin die Kontext- und Verhaltensdaten Folgendes beinhalten: mindestens Mapping-, Situations- und Verhaltensdaten des aF-Betriebs; wobei mindestens ein Prozessor mit einem Satz von Eingaben in das neuronale Netzwerk Folgendes beinhaltet: mindestens ein aktuelles, ein vorheriges und ein nachfolgendes kodiertes context2vec-aF-Wort, das jeweils in einem One-Hot-Schema eines Satzes von Möglichkeiten der context2vec-aF-Wörter dargestellt ist, worin mindestens ein context2vec-aF-Wort des Satzes mit einem EIN-Zustand bezeichnet wird, während andere context2vec-aF-Wörter des Satzes mit einem AUS-Zustand bezeichnet sind; wobei der mindestens eine Prozessor ein neuronales Netzwerk ausführt, um ein Zielkontext-aF-Wort jedes Satzes der Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; wober der mindestens eine Prozessor einen durch das neuronale Netzwerk berechneten Ausgangsvektor ermöglicht, der das eingebettete verteilte One-Hot-Schema des codierten context2vec-aF-Wortes darstellt; und der mindestens eine Prozessor ein Verhalten des aF basierend auf dem context2vec-aF-Wort durch einen Satz von Steuermaßnahmen steuert.
  • In verschiedenen Ausführungsformen stellt die Vorrichtung Folgendes bereit: die Mapping-, Positions- und Verhaltensdaten, die im context2vec-aF-Wort eingebettet sind, ferner umfassend: einen ersten, einen zweiten, einen dritten, einen vierten und einen fünften Teil, worin der erste Teil Folgendes beinhaltet: Kreuzungs- und Stoppkartendaten; der zweite Teil Folgendes beinhaltet: Entfernung vor und Zeit zu den Kollisionssituationsdaten; der dritte Teil: Geschwindigkeitsziel- und Fahrspurabsicht-Situationsdaten; der vierte Teil beinhaltet Folgendes: Abstandsdaten für Abstand und erwartete Manöver; und der fünfte Teil: relative Ortsdaten und erwartete Manöververhaltensdaten, um eine Steueraktion durch den mindestens einen Computer des aF zu ermöglichen. Die Vorrichtung sieht Folgendes vor: dass die Vielzahl der context2vec-aF-Wörter in einer Abfolge von Zeitpunkten codiert ist, die ferner Folgendes beinhaltet: einen vorherigen, aktuellen und nachfolgenden Zeitstempel für jeden Satz von context2vec-aF-Wörtern. Die Vorrichtung beinhaltet ferner: den mindestens einen Prozessor, der dazu konfiguriert ist: einen Satz von context2vec-aF-Wörtern zu trainieren, die durch das One-Hot-Schema eines neuronalen Netzwerks der Größe m aus context2vec-aF-Wörtern übersetzt werden; plus/minus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern zhusammenzusetzen; und das neuronale Netzwerks mit m+2n*m Eingabeknoten und m Ausgabeknoten von context2vec-aF-Wörtern zu trainieren, worin m die Anzahl von Eingangsknoten ist, die für das neuronale Netzwerk m ausgewählt sind. Die Vorrichtung beinhaltet ferner: den mindestens einen Prozessor, der dazu konABBuiriert ist: einen Satz aus context2vec-aF-Wörtern auszuführen, die durch das One-Hot-Schema eines m-neuronalen Netzwerks aus context2vec-aF-Wörtern übersetzt werden; plus/minus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern zusammensetzen; plus/minus n One-Hot-Schema aus context2vec-aF-Wörtern einem trainierten neuronalen Netzwerk vorzulegen; und einen Satz von context2vec-aF-Wort-Möglichkeiten für Steueraktionen des aF auszugeben. Die Vorrichtung beinhaltet ferner: den mindestens einen Prozessor, der dazu konABBuiriert ist,: eine Hypothese einer Sequenz von context2vec-aF-Wörtern von mindestens einer Größe m zu konstruieren, worin m eine Größe oder Anzahl von Eingangsknoten des neuronalen Netzwerks von context2vec-aF-Wörtern ist; in einem trainierten neuronalen Netzwerk eine Ausgabe der context2vec-aF-Wörter basierend auf der Hypothese vorzulegen; die Ausgabe der Kontext-2Vektor-aF-Wörter zu überprüfen; und eine Aktion für das aF basierend auf einem Ergebnis der Überprüfung der context2vec-aF-Wörter zu entscheidehn. Die Vorrichtung beinhaltet ferner: den mindestens einen Prozessor, der dazu konABBuiriert ist: ein kontinuierliches Bag-of-Words-Modell (CBOW) und/oder ein Skip-Gramm-Modell unter Verwendung eines neuronalen Netzwerks zur Analyse der context2vec-aF-Wörter zu verwenden.
  • In noch einer anderen Ausführungsform wird ein Verfahren zum Implementieren eines neuronalen Netzwerksystems zum Training der in einem autonomen Fahrzeug (aF) eingebetteten So0ftware und zum Erzeugen eines eingebauten neuronalen Netzwerks zur Steuerung des aF bereitgestellt, wobei das Verfahren Folgendes beinhaltet: Codieren einer Vielzahl von context2vec-aF-Wörtern, die in einer Abfolge von Zeitsequenzen kodiert sind, um Daten des Kontextes und des Verhaltens zu steuern, die in einer Abfolge von Zeitsequenzen kodiert sind, wobei die Kontext- und Verhaltensdaten Folgendes beinhalten: Mindestens Mapping-, Situations- und Verhaltensdaten des aF-Betriebs; Auswählen eines Satzes von Eingaben in das neuronale Netzwerk durch den mindestens einen Computer, die Folgendes beinhalten: mindestens eine aktuelles, eine vorheriges und ein nachfolgendes kodiertes context2vec-aF-Wort, das jeweils in einem One-Hot-Schema eines Satzes von Möglichkeiten der context2vec-aF-Wörter dargestellt ist, worin mindestens ein context2vec-aF-Wort des Satzes mit einem EIN-Zustand bezeichnet wird, während andere context2vec-aF-Wörter des Satzes mit einem AUS-Zustand bezeichnet werden; das Anwenden einer neuronalen Netzwerklösung durch den mindestens einen Computer, um ein Zielkontext-aF-Wort eines jeden Satzes von Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; Berechnen eines Ausgangsvektors durch den mindestens einen Computer durch das neuronale Netzwerk, der das eingebettete verteilte One-Hot-Schema des eingangs codierten context2vec-aF-Wortes darstellt; und Steuerung eines Satzes von Verhaltenssteuerungsvorgängen zum Steuern eines Verhalten des aF basierend auf dem context2vec-aF-Wort durch den mindestens einen Computer.
  • In verschiedenen Ausführungsformen beinhaltet das Verfahren ferner: das KonABBurieren eines ersten, eines zweiten, eines dritten, eines vierten und eines fünften Teils der in das context2vec-aF-Wort eingebetteten Karten-, Positions- und Verhaltensdaten, worin der erste Teil Folgendes beinhaltet: Kreuzungs- und Stoppkartendaten; der zweite Teil: dier Entfernung vor und Zeit zu Kollisionssituationsdaten; im dritten Teil: Geschwindigkeitsziel- und Fahrspurabsicht-Situationsdaten; im vierten Teil: Abstandsdaten für Abstand und erwartete Manöver; und im fünften Teil: relative und erwartete Manöververhaltensdaten beinhaltet, um eine Steueraktion durch den mindestens einen Computer des aF zu ermöglichen.
  • Verfahren durch den mindestens einen Computer, das ferner Folgendes umfasst: einen Satz aus von context2vec-Wörtern trainieren, die durch das One-Hot-Schema neuronaler Netzwerke der Größe m aus context2vec-aF-Wörtern übersetzt werden; mit plus/pinus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern zusammenzusetzen; und das Trainieren des neuronalen Netzwerks mit m+2n*m Eingabeknoten und m Ausgabeknoten von context2vec-aF-Wörtern, worin m die Anzahl von gewählten Eingangsknoten für das neuronale Netzwerk der Größe m ist. Das Verfahren beinhaltet ferner: das Codieren von Daten durch den mindestens einen Computer, der ferner Folgendes beinhaltet: Ausführen eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema eines neuronalen Netzwerks der Größe m von context2vec-aF-Wörtern übersetzt werden; mit lus/minus n One-Hot-Schema eines neuronalen Netzwerks von context2vec-aF-Wörtern zusammenzusetzen; ein trainiertes neuronales Netzwerk der Zusammensetzung mit plus/minus n One-Hot-Schema von context2vec-aF-Wörtern darzustellen; und einen Satz von context2vec-aF-Wort-Möglichkeiten für Steueraktionen des aF auszugeben. Verfahren, das ferner Folgendes umfasst: Konstruieren einer Hypothese aus einer Sequenz von context2vec-aF-Wörtern von mindestens einer Größe m, worin m die Größe oder Anzahl der Eingangsknoten des neuronalen Netzwerks von context2vec-Wörtern ist; Darstellung eines trainierten neuronalen Netzwerks einer Ausgabe der context2vec-aF-Wörter; Prüfen der Ausgabe der Kontext-2Vektor-aF-Wörter; und das Entscheiden einer Aktion für das aF durch den mindestens einen Computer basierend auf einem Ergebnis der Überprüfung der context2vec-aF-Wörter. Das Verfahren beinhaltet ferner: das Analysieren durch ein fortlaufendes Bag-of-Words-Modell (CBOW) und/oder ein Skip-Gramm-Modell der context2vec-aF-Wörter unter Verwendung der neuronalen Netzwerke.
  • Diese Zusammenfassung wird bereitgestellt, um ausgewählte Konzepte in einer vereinfachten Form zu beschreiben, die im Folgenden in der ausführlichen Beschreibung näher beschrieben werden.
  • Diese Kurzdarstellung ist nicht dazu gedacht, Schlüssel- oder wesentliche Merkmale des beanspruchten Gegenstands zu identifizieren, und beabsichtigt auch nicht, als Hilfsmittel verwendet zu werden, um den Umfang des beanspruchten Gegenstands zu bestimmen.
  • Weiterhin werden weitere wünschenswerte Merkmale und Eigenschaften des Systems und Verfahrens aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und dem vorangegangenen und Hintergrund offensichtlich.
  • Figurenliste
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei Folgendes gilt:
    • zeigt ein Diagramm, das ein exemplarisches Fahrzeug darstellt, das einen Prozessor zum Einbetten von kontextbezogenen Informationen in ein Kontext-zu-Vektorwort (context2vec) zum Steuern eines autonomen Fahrzeugs beinhaltet, und zwar gemäß einer Ausführungsform;
    • veranschaulicht ein Diagramm zur Bildung von aF-context2vec-Wörtern, wobei jede Position in einem Wort einen Aspekt der aF-Informationen zum Verarbeiten und Einbetten von kontextbezogenen Informationen in eine context2vec-Datenstruktur zum Steuern eines autonomen Fahrzeugs gemäß einer Ausführungsform kodiert;
    • veranschaulicht ein Diagramm von Eingaben und Ausgängen zum gezielten Kontext und Verhalten von aF context2vec-Wörtern zur Verarbeitung der eingebetteten kontextbezogenen Information in einer context2vec-Datenstruktur zur Steuerung eines autonomen Fahrzeugs gemäß einer Ausführungsform;
    • veranschaulicht ein Flussdiagramm der eingebetteten Codierungen der kontextbezogenen Informationen mit der context2vec-Datenstruktur gemäß einer exemplarischen Ausführungsform;
    • veranschaulicht ein Diagramm eines Steuersystems des Fahrzeugs mit einer funktionalen aF-context2vec-Dekomposition für das Fahrzeugverhalten und die Fahrwegsplanung gemäß einer exemplarischen Ausführungsform; und
    • veranschaulicht ein neuronales Netzwerkmodell eines kontinuierlichen Bag-of-Words-Modells (CBOW) und/oder der Skip-Gramm-Modelle zum Erlernen von context2vec-aF-Wörtern gemäß einer exemplarischen Ausführungsform.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Einsatzbereiche in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Zusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein.
  • Der hierin beschriebene Gegenstand offenbart Vorrichtungen, Systeme, Techniken und Artikel zum Einbetten von kontextbezogenen Informationen in ein Vektorkontextmodell oder eine Datenstruktur, um nachfolgende Nachschlagevorgänge, Vergleiche und Hypotierungsvorgänge, die mit Wahrnehmungen eines neuronalen Netzwerks verbunden sind, zum Bestimmen der eingebetteten Codierung von Kontext und Verhalten zu erleichtern, um Prozessoren in der Steuerung eines autonomen Fahrzeugs (aF) basierend auf erfassten Daten Anweisungen zu erteilen.
  • Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogiken und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, die unter anderem Folgendes beinhalten: eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder als Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
  • Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten nutzen, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
  • Die beschriebenen Techniken stellen ein Verfahren zur Erzeugung von context2vec-Modellen und Datenstrukturen der eingebetteten kontextbezogenen Informationen bereit, um das Betätigen von context2vec-Knoten eines neuronalen Netzwerks und für Vergleiche und Vorhersagen semantischer Bedeutungen von context2vec-aF-Wörtern aus einem kontextabbildenden neuronalen Netzwerk aus Knoten von context2vec-aF-Wörtern zu erleichtern, die komplexe Wortsätze zum Erzeugen von Steuervorgängen des autonomen Fahrzeugs ermöglichen.
  • Kurz gesagt ist ein neuronales Netzwerk ein rechnerisches Diagramm, bei dem jeder Knoten eine Art der Berechnung durchführt, die eine geeignete Plattform für das Fahrzeugsteuerungsverhalten bei nichtlinearen Umgebungsbedingungen bereitstellt. Dies liegt daran, dass die neuronalen Netze sowohl für unbeaufsichtigtes als auch für überwachtes Lernen verwendet werden können, die für Szenarien geeignet sind, die während des autonomen Fahrzeugbetriebs auftreten können. In der vorliegenden Offenbarung kann das neuronale Netzwerk als eine Zuordnung von context2vec-aF-Wörtern zu verschiedenen Szenarien in Bezug auf autonome Fahrzeugoperationen und zur Verwendung bei der Steuerung eines autonomen Fahrzeugs durch mindestens bestimmte Sätze von Zielkontext-Kontext-Wörtern2vec-aF-Wörtern und zugehörige context2vec-aF-Wörter in einer Nähe um ein bestimmtes Ziel-context2vec-aF-Wort betrachtet werden.
  • Die context2vec-Darstellungen der Wahrnehmungen können in Verteilungsmodellen der Wahrnehmungen verwendet werden und ermöglichen den context2vec-Darstellungen, semantische Ähnlichkeiten zu erfassen und an großen Mengen an erfassten Daten trainiert zu werden. Die context2vec-Modellierung bietet eine Plattform zum Erfassen von Verhaltensweisen autonomer Fahrzeuge während des Betriebs mit Umgebungen. Die gemeinsame Intuition der context2vec-Modelle der Semantik bietet eine Möglichkeit, ein context2vec-aF-Wort (d. h. aF-context2vec) durch Einbetten des context2vec in einen Vektorraum oder eine Datenstruktur zu modellieren. Das Verfahren der Wortdarstellung eines exemplarischen aF-context2vec, eingebettet mit codierten Daten als Vektor, wird oft als Einbettung bezeichnet.
  • Zusätzlich können context2vecs unter Verwendung der Verteilungssemantik, die Verteilungen von Wörtern context2vecs beinhaltet, um Vektorraumeinbettungen von context2vec-Worten zu indizieren, mit semantischer Ähnlichkeit kodiert werden. Dies ermöglicht Anordnungssteuerungen auch ohne eine genaue Terminologie und kann bei übereinstimmenden Fahrsituationen verwendet werden, bei denen unterschiedliche Terminologie sehr ähnliche Szenarien aufweisen kann oder könnte, die zu ähnlichen Szenarien führen können, was zu äquivalenten Steuermanövern führen kann, die durch das autonome Fahrzeug beim Fahren ausgeführt werden. Bei den Ähnlichkeitstests an der Terminologie von, zum Beispiel, zwei verschiedenen context2vec-aF-Wörtern kann vorhergesagt werden, dass sie eine Ähnlichkeit zwischen den context2vec-aF-Wörtern aufweisen, wenn ein berechnetes resultierendes Ergebnis (d. h. die Differenz zwischen Wörtern, die in der Bedeutung semanisch ähnlich sind), ein Multiplikatorprodukt zwischen Vektoren jeder Wortworrerepräsentation einen höheren Wert aufweist, wenn er berechnet wird. Die neuronale Netzwerkmodellierung für das sematische Verständnis des kontextabhängigen Kontextes derartiger context2vec-aF-Wörter in autonomen Fahrszenarien kann neuronale Netzwerkmodelle für die Berechnungen verwenden, wie beispielsweise ein bedingtes Bag-of-Words-Modell (CBOW) und/oder ein Skip-Gramm-Modell der verteilten context2vec-aF-Wörter, um context2vec-aF-Wort-Ähnlichkeiten zu erkennen, die gebildet werden, um verschiedene Fahrszenarien zu erkennen und für die Steuerungsvorgänge der autonomen Fahrzeugaufgaben in derartigen Fahrszenarien zu nutzen.
  • In verschiedenen exemplarischen Ausführungsformen kann die Vektorraum-Datenstruktur bzw. das Vektorraum-Datenmodell als ein rechnerisch effizientes Vorhersagemodell zum Lernen von Einbettungen aus Rohdaten angesehen werden, die von den Sensoren des autonomen Fahrzeugs abgeleitet werden. Die im prädiktiven Modell der context2vec-aF-Wörter verwendeten Operationen können verschiedene kontextuelle Hypothesen unterstützen, wie beispielsweise „Was wäre, wenn es sich um ein Auto handelt, das nicht leicht hinter einem großen Lkw gesehen wird?“) und nachfolgende Verhaltensverhaltensänderungen, die erforderlich sind, um durch das autonome Fahrzeug implementiert zu werden. Zusätzlich kann ein vorgegebener Entscheidungs-Befehlssatz, der aus jedem Fahrszenario abgeleitet wird, verwendet werden, was wiederum die Ausführungszyklen beim Verarbeiten der erfassten Rohdaten reduziert, wenn die Entscheidungsfindungsanweisung bereits kompiliert wurde.
  • In verschiedenen exemplarischen Ausführungsformen können die verteilten Darstellungen von context2vec-aF-Wörtern in einem context2vec-Raum helfen, Algorithmen zu erlernen, wenn die Lernalgorithmen von Prozessoren eines autonomen Fahrzeugs ausgeführt werden, um eine bessere Leistung in autonomen Fahrzeugverhaltensplanungsaufgaben durch eine Gruppierung ähnlicher context2vec-aF-Wörter zu erreichen, die effektiv verarbeitet werden können, um Fahrzeugoperationen zu steuern. Das context2vec-Raummodell ist ein rechnerisch effizientes Vorhersagemodell zum Lernen von Einbettungen aus den Rohdaten der erfassten Daten. Zusätzlich unterstützen die zugehörigen algebraischen Operationen das „was wäre, wenn“ und die nachfolgenden Verhaltensänderungen, die zuvor beschrieben wurden, die während eines Fahrzeugbetriebs für eine schnellere Verarbeitung auftreten können.
  • zeigt ein Blockdiagramm, das ein exemplarisches Fahrzeug darstellt, das einen Prozessor zum Einbetten von kontextbezogenen Informationen in ein context2vec-System 100 beinhalten kann. Im Allgemeinen bestimmt die eingebettete kontextbezogene Information in ein context2vec-Modell oder ein Datenstruktursystem (oder einfach „System“) die Ähnlichkeit der Befehltsterme zur Steuerung eines autonomen Fahrzeugs unter Verwendung verschiedener context2vec-aF-Wörter, die durch das context2vec-neuronale netzwerkbasierte Modell verarbeitet werden, oder die mit dem System verbunden sind.
  • Wie in dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Fahrzeugräder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können.
  • Wie dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in diesem Beispiel eine elektrische Maschine, wie beispielsweise einen Permanentmagnet-(PM)-Motor, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen.
  • Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Bake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten.
  • Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16 und/oder 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad 25 dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
  • Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs 10 erfassen und entsprechende Sensordaten erzeugen.
  • Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen kann das Fahrzeug 10 auch Fahrzeug-Innen- und/oder Außenausstattungen beinhalten, die nicht in dargestellt sind, wie beispielsweise verschiedene Türen, Kofferraum- und Kabinenausstattungen wie Luft, Musik, Beleuchtung, Touchscreen-Display-Komponenten und dergleichen.
  • Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim Steuern des Fahrzeugs 10. Die Datenspeichervorrichtung 32 kann ein Teil der Steuerung 34 sein, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
  • Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 (integriert in das System 100 oder verbunden mit dem System 100) und eine computerlesbare Speichervorrichtung oder ein Medium 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC) (z.B. eine benutzerdefinierte ASIC, die ein neuronales Netzwerk implementiert), ein feldprogrammierbares Gate-Array (FPGA), ein Hilfsprozessor unter mehreren Prozessoren, verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes) eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen, implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des Fahrzeugs 10 verwendet werden.
  • Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen beinhaltet. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale (z. B. Sensordaten) vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des Fahrzeugs 10 durch und erzeugen Steuersignale, die an das Stellgliedsystem 30 übertragen werden, um die Komponenten des Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und um Steuersignale zu erzeugen, welche die Funktionen des autonomen Fahrzeugs 10 automatisch steuern.
  • Als ein Beispiel kann ein exemplarisches System 100 eine beliebige Anzahl zusätzlicher, in die Steuerung 34 eingebetteter Teilmodule beinhalten, die mit den hierin beschriebenen Systemen und Verfahren kombiniert und/oder weiter untergliedert werden können. Zudem können Eingänge zum System 100 vom Sensorsystem 28 empfangen werden, die von anderen Steuermodulen (nicht dargestellt) empfangen werden, die dem Fahrzeug 10 zugeordnet sind und/oder von anderen Untermodulen (nicht dargestellt), die innerhalb der Steuerung 34 von ermittelt/modelliert werden. Weiterhin können die Eingaben auch einer Vorverarbeitung unterzogen werden, wie beispielsweise Teilabtastung, Rauschunterdrückung, Normalisierung, Merkmalsextraktion, fehlende Datenreduktion und dergleichen.
  • veranschaulicht ein Diagramm zur Bildung einer exemplarischen Ausführungsform von context2vec-aF-Wörtern, über die Auswahl von context2vec-aF-Wörtern aus einem natürlichen Sprachwörterbuch (wie in Wort2vec), wobei jede Zeichenposition in einem Wort einen Aspekt der aF-Information zur Verarbeitung der Einbettung von kontextbezogenen Informationen in ein context2vec-Vektorraummodell zur Steuerung eines autonomen Fahrzeugs gemäß einer Ausführungsform kodiert.. Das bedeutet, dass der context2vec-Vektor zusätzliche sematische Merkmale bringt, die eine bessere aF-Kontextklassifizierung ermöglichen. In ABB. [?????] bei 205, einer exemplarischen Ausführungsform, codieren zwei Buchstaben eines aF-„Wortes“ abbildungsbezogene Informationen. Das erste Zeichen kodiert, ob eine Kreuzung relevant ist und der Buchstabe kann T sein, wenn dies wahr oder F, wenn dies falsch ist. Das zweite Zeichen kodiert, ob ein Stopp relevant ist und wird auch als T oder F codiert. Bei 210 werden die nächsten zwei Buchstaben des logischen Wortes, das sich auf die „Situation“ um das aF bezieht, verschlüsselt. „Clear Distance Ahead“ gibt an, wie nahe sich das Host-Fahrzeug in seiner Fahrspur hinter nem vorausfahrenden Fahrzeug in seiner Fahrspur befindet und codiert eine der drei Pegelbezeichnungen „C“ für „nahe“ zu einer Situation, „M“ für mittel und „F“ für fern. Der zweite „Situations“-Bucvhstabe des Wortes codiert die „Time to Collision“, die Zeit bis zum Aufprall, die wiederum drei Grade der Bezeichnung „S“ (Soon) für eine Kollision, die bald eintritt, „M“ in einer moderaten Zeit, und „F“ für eine Kollision, die in einer „fernen“ Zeit auftritt. Bei 215 werden mehr Zeichen des aF-Wortes erstellt, die das „Verhalten“ kodieren und sie beinhalten die Zielgeschwindigkeiten im ersten Buchstaben und die Absicht, einen Spurwechsel in eine angrenzende Fahrspur vorzunehmen. Für die Geschwindigkeits-Zielcharakteristik wird ein dreistufiger Schwellenwert oder eine Kennzeichnung der Attribute oder Aktionen des Verhaltens ausgeführt und beinhaltet: ein „S“ für langsame, „M“ für mäßige und „F“ (Fast) für eine hohe Sollgeschwindigkeit. Für den Spurwechsel-Absichtsbuchstaben, gibt es einen Fahrspurwechsel nach links („L“), „C“ (current, Beibehaltung der derzeitigen Fahrspur und „R“, nach rechts, oder eine Beibehaltung der aF-Verschlüsselungs-Spurwechselabsicht. Bei 220 kodieren Buchstaben in dem zusammenzusetzenden aF-Wort Informationen mit Bezug zu 2 (kann eine andere Zahl) anderen Objekten in der Umgebung. So kodiert beispielsweise ein Zeichen bei 220 den „relativen Ort“ von „Situationsobjekt 1“, wobei dqas Zeichen „A“ bedeutet, dass sich das andere Objekt vor dem Trägerfahrzeug befindert, „B“ dahinter oder „C“, dass es das Fahrzeug kreuzt. In 220 codiert ein zweites Zeichen das vorhergesagte erwartete Manöver für Objekt 1, mit der Nomenklatur „S“ (Straight) für die Vorhersage, dass das andere Objekt geradeaus fährt, „L“ für eine Vorhersage, dass es nach links und „R“ für eine Vorhersage, dass es nach rechts abbiegen wird. Darüber hinaus erden in 225 die beiden Zeichen mit Informationen bezüglich eines „Situation-Objekts 2“ ähnlich kodiert. Es wird als Objekte an einem „relativen Ort“ definiert, das aktuelle Kontextwort oder context2vec-aF-Wort kann durch das Aggregieren jedes der bestimmten aF-Buchstaben definiert werden, beispielsweise in diesem Fall bei 230 ist „TFCFMCASL“ definiert als die bestimmten Attribute des Kartenstandorts, der Situation, des Verhaltens und der Situation der Objekte 1 und 2. Das heißt, „TFCFMCASCL“ ist eine Verkettung jedes Charakters der aF-Buchstaben 200. Bei 235 ist ein „Satz“ (in der natürlichen Sprachbereichsdomäne von Wort2vec) gleich der Zeitreihe von bestimmten Zeiten von t-5 bis t-1 im Vergleich zur Jetztzeit. In dem Beispiel in zeigt jeder Zeitschritt eine dynamische Änderung des Kontexts an. So wird beispielsweise bei t-3 die Kreuzung bei t-2 relevant, bei t-1 „Wir nähern uns dem Fahrzeug vor uns“, bei t-1 wendet sich das Fahrzeug nach rechts, anstatt geradeaus zu fahrten, und schließlich im „Jetzt“ wird „die „Zeit bis zur Kollision mit dem vorausfahrenden Fahrzeug geringer“. Die Gesamtzahl der aF-Wörter, „M“ (analog zu der Anzahl der Wörter, die aus einem natürlichen Sprachwörterbuch in der natürlichen Sprachdomäne von Wort2vec ausgewählt wurden) wird durch die Kombinatoren der möglichen Werte aller einzelnen Buchstaben des aF-Wortes bestimmt.
  • veranschaulicht ein Diagramm von Eingaben und Ausgängen zum gezielten Kontext und Verhalten von autonomen Fahrzeug-(aF)-Wörtern zur Verarbeitung der eingebetteten kontextbezogenen Information in einem Vektorraummodell zur Steuerung eines autonomen Fahrzeugs gemäß einer Ausführungsform. In ist „context2behavior“ ein Satz von aF-Kontext-Wörtern, wobei ein Kontext einem Satz von +-/n „One-Hot“-Sätzen aus aF-Wörtern entspricht, die ein bestimmtes (üblicherweise das aktuelle) aF-Wort umgeben. Das Eingabe-/Ausgabediagramm 300 versucht, eine Sequenz eines aF-Fahrkontexts von aF-Wörtern aus dem aF-Wort „0“ zu aF-Wort(M) zu optimieren. Das Kontextfenster ist eine Größe „N“ der Anzahl aF-Wörter, die zeitlich vor dem Ziel-aF-Wort (und in der Zukunft) liegt. In einer exemplarischen Ausführungsform kann ein neuronales Netzwerkmodell eines Skip-Gramm-Modells für eine bestimmte Sequenz verwendet werden, die durch einen Satz von aF-Wörtern eines aF-Fahrkontexts beschrieben ist: aF-Wort0 (w0), aF-Wort1(w1)... aF-wordn (wn), für das eine Ähnlichkeitsanpassung an einen Satz von Anweisungen zum Steuern des autonomen Fahrzeugs auf einen bestimmten Umgebungskontext, der durch die aF-Wörter beschrieben ist, erfolgt. Das neuronale netzwerkbasierte Skip-Gramm-Modell wird durch Optimieren des folgenden Ausdrucks trainiert: m a x 1 T t = 0 T n i n , i 0 log p ( w t + i | w t ) .
    Figure DE102019114577A1_0001
    wobei n die Größe des Trainingskontextfensters ist (d. h. N=5).
  • Das exemplarische Skip-Gramm-Modell verwendet die folgende Definition für der p(wt+1|wt) Term im obigen Ausdruck: p ( w i | w j ) = exp ( v ' w i T v w j ) w = 1 W exp ( v w ' T v w j )
    Figure DE102019114577A1_0002
  • Wobei vw und v'w jeweils die Eingangs- und Ausgangsvektordarstellungen von aFwortn (wn) und „W“ die Gesamtanzahl der Wörter im Vokabular sind. Bei einer effizienten Implementierung dieses Modells kann eine hierarchische Soft-Max als Näherungswert einer Wahrscheinlichkeit anstelle der vorstehenden Soft-Max-Wahrscheinlichkeit verwendet werden.
  • In einer exemplarischen Ausführungsform wird ein aF-Wort namens „FFCFMCASCL“ bei 305 als Kontext-aF-Wort bei t-2 verarbeitet, das gleiche aF-Wort bei t-1 und ein Zielkontext und ein Verhaltenskontext-aF-Wort bei t = 0 wird als „TCFMCASCL“ bei 310 bestimmt, und projizierte aF-Wörter bei t+1 und t+2 werden bei 315 als „TFMFMCASCL“ und bei 317 als „TFMFMCARCL“ präsentiert. Diese Eingaben werden über die versteckte Schicht (d. h. die aktive Knotenschicht) zu einem Ausgang „TFMSMCASCL“ bei 320 verarbeitet. Das Einbetten zeigt Verlangsamung (von moderater M zur Verlangsamung S in der Geschwindigkeit im aktuellen Eingabekontext des Ausgangs-aF-Wortes), wenn die Zeit bis zur Kollision (TTC) und andere Kontextanforderungen verarbeitet werden.
  • veranschaulicht ein Flussdiagramm der eingebetteten Codierungen der kontextbezogenen Informationen mit der context2vec-Raummodellierung gemäß einer exemplarischen Ausführungsform. Die aF-Wörter (basierend auf Kartendaten, Wahrnehmungen und Verhalten) beziehen sich auf Nicht-Trägerfahrzeug-Objekte oder - Umgebungen, von denen ein Abdruck des Objekts oder der Umgebung entweder erhalten oder erzeugt wird, indem die Vorgänge durch die Sensoren des autonomen Fahrzeugs erfassst und durch ein exemplarisches Verhaltenssteuermodul zum Ermitteln der Verhaltenskomponenten berechnet werden. In verschiedenen exemplarischen Ausführungsformen können One-Hot-Encoder in Modellierungsdarstellungen der aF-Wörter verwendet werden, um die Daten auf dem ersten Niveau (d. h. dem „Eingang“) des Eingabekontext-neuronalen Netzwerks darzustellen.
  • Das Ablaufdiagramm 400 des Vektormoduls beinhaltet drei verschiedene Verwendungen der context2vec-Modellierung: eine Verwendung Training 470, eine Verwwendung Ausführung 473 und eine Verwendung Hypothese 476. Das Training 470 beinhaltet zunächst bei 401 einen Trainingssatz von Daten, von denen ein Trainingssatz 405 ausgewählt wird. Danach fährt der Strom fort, das nächste aktuelle aF-Wort aus dem Trainingssatz 409 auszuwählen. Mit anderen Worten, der ausgewählte 405-Trainingssatz und die Auswahl des nächsten aktuellen aF-Wortes aus dem Trainingssatz (bis zur vollständigen Trainierung), um einen Kontext in die aF-Wörter zu übersetzen und dem neuronalen Netzwerk in einer „one-hot“-Darstellung der Größe „M“ zu präsentieren, erfolgen, wobei nur 1 der „M“-Eingänge eins und der Rest Null ist. Der Trainingssatz wird bei 412 mit einem Satz „n“ vor und „n“ nächste aF-Wörter im Trainingssatz zusammengesetzt (d. h. Zusammensetzungen mit „+/- n“ aF-Wörtern). Anschließend wird bei 415 ein erstes Training (dies kann für weitere Trainingsmuster wiederholt werden) der context2vec-aF-Wörter des neuronalen Netzwerks (NN) durchgeführt. Dann erfolgt bei 418 eine Bestimmung gegen alle Instanzen (d. h. Kontexte von context2vec-aF-Wörtern) oder ob alle Instanzen des Trainingssatzes trainiert wurden (d. h. alle aktuellen aF-Wörter wurden trainiert), wenn nicht, wird der Strom des Trainingszyklus wiederholt und zum Auswählen des nächsten aktuellen aF-Wortes aus dem Trainingssatz bei 409 zurückgekehrt. Nach einer Bestimmung, dass der ausgewählte Trainingssatz bei 418 trainiert wurde, fährt der Strom mit dem Testen des trainierten neuronalen Netzwerks gegen einen Testsatz bei 421 aus den Testdaten 422 fort. Die Testdaten können eine geteilt Probe eines gesamten Satzes von aF-Wörtern oder eines anderen Datensatzes von aF-Wörtern sein, wie es mit ausreichenden Daten erforderlich ist, um das neuronale Netzwerk zu testen, um genaue Ergebnisse zu gewährleisten. Die Trainingsergebnisse nach dem Durchführen der Prüfung des trainierten neuronalen Netzwerks „NN“ weist „m+2n*m“-Eingangsknoten auf (jedes aF-Wort ist m lang und es gibt „n“ vorherige aF-Wörter und „n“ zukünftige aF-Wörter), eine versteckte Schicht und m Ausgangsknoten. Die Prüfung gegen den trainierten Satz wird wiederholt, bis „x“ komplette Trainingsabtastungen oder ein Testfehler kleiner als ein Zielfehler sind.
  • Als nächstes beinhaltet die Ausführung 473 bei 425 das Empfangen von Karten- und Wahrnehmungsdaten (d. h. aF-Wortdaten), um ein geeignetes Verhalten für die Situation 428 zu berechnen. Dann, um ein aktuelles aF-Wort bei 431 zu konstruieren, werden bei 434 „n“ vorherige aF-Wörter und „n“ projizierte aF-Wörter zusammengesetzt; um aF-Wörter in einen „One-Hot“-Raum der Größe „m“ zu übersetzen, zusammengesetzt mit „n“ vorherigen kontextabhängigen Proben und „n“ zukünftigen erwarteten kontextabhängigen Proben. Anschließend, um dem einen One-Hot-Raum aus aF-Wörtern bei 437 dem trainierten neuronalen Netzwerk (NN) zu präsentieren und um Ausgabevektorwahrscheinlichkeiten bei 440 zu erzeugen. Danach wird bei 443 ein Entscheidungsmodul aktiviert, das durch die resultierende Wahrscheinlichkeitsverteilung am Ausgang informiert wird (d. h. durch Vektorgewichte informiert wird).
  • Die letzte Verwendung, die Verwendung der Hypothese 476, beinhaltet bei 446 die Aufnahme von Karten- und Wahrnehmungsdaten (d. h. aF-Wortdaten), um ein geeignetes Verhalten für die aktuelle Situation 449 zu berechnen. Anschließend bei 452, um ein aktuelles aF-Wort 452 für die Hypothese bei 455 zukünftigen aF-Wörtern zu konstruieren. Das heißt, um bei 458 ein aktuelles aF-Wort mit „n“ vorherigen aF-Wörtern und „n“ hypothetisierten aF-Wörtern zusammenzusetzen, wie beispielsweise die Konstruktion von logischen aF-Wortsequenzen der Größe m+2*m*n. Anschließend, bei 461, um die konstruierte hypothetische aF-Wortfolge dem trainierten neuronalen Netzwerk (NN) zu präsentieren (d. h. dem durch Training 470 trainierte NN). Danach, um bei 464 den vorhergesagten Ausgangsvektor zu überprüfen und schließlich bei 467, wo die Entscheidungsmodule der Hypothese (d. h. durch die Hypothese angegebenen Vektorgewichte informiert) formuliert werden.
  • veranschaulicht ein Diagramm eines Steuersystems des Fahrzeugs mit einer aFfunktionalen Zersetzung für das Fahrzeugverhalten und die Fahrwegsplanung gemäß einer Ausführungsform. In wird in einem ersten Teil eines Wegplanungsmoduls 510 der Kartenplanung das Empfangen von Eingaben von hochauflösenden Karten mit hoher Auflösung und das anschließende Formulieren von verschiedenen algorithmischen Lösungen zu einem detaillierten Fahrspurplan auf Fahrspurebene vorgenommen. In einem zweiten Teil eines Situationsbewusstseinsmoduls 515, in dem Informationen über das Situationsbewusstsein erzeugt werden, und welches den Empfang von Eingaben von Wahrnehmungsdaten eines Kartendetails beinhaltet, sowie das Formulieren von verschiedenen algorithmischen Lösungen und Risikobewertungen durch verschiedene algorithmische Lösungen. Beide Ausgaben der Module 501, 515 werden an ein Verhaltensplanungsmodul 525 gesendet, um Manövrierrichtlinien und Bewegungseinschränkungen für die Steuerung eines Fahrzeugs (d. h. eines autonomen Fahrzeugs) zu erzeugen. Aus den Daten der Manövrierrichtungen und Bewegungsbeschränkungen kann die Fahrwegsplanung durch das Fahrwegplanungsmodul 535 formuliert werden.
  • veranschaulicht ein neuronales Netzwerk, das unter Verwendung eines kontinuierlichen Bag-of-Words-Modells (CBOW) und/oder des Skip-Gramm-Modells das Erlernen von Wortbedingen gemäß einer exemplarischen Ausführungsform verarbeitet. Wie bereits beschrieben, ist ein context2vec ein rechnerisch besonders effizientes Vorhersagemodell zum Lernen von Wortbedingen und ein neuronales Netzwerk 635 kann unter Verwendung eines fortlaufenden Bag-Of-Word-Modells (CBOW) und/oder Skip-Gramm-Modell die context2vec-aF-Wörter verarbeiten. Das CBOW sagt Ziel-context2vec-Wörter 630 (z. B. Hindernis nahe voraus) aus den Quellen (Eingabe-) context2vec-aF-Wörtern 610 voraus („Fahrzeug zieht vor Einfahrt“), während das Skip-Gramm das Gegenteil tut und Quellen-Kontext-2vec-aF-Wörter bei 660 aus den Ziel (Ausgabe-) Wörtern 640 über eine Funktion 650 voraussagt. In dem Skip-Gramm-Modell wird ein neuronales Netzwerk 635 über einen großen Korpus (d. h. 40 k context2vec aF Wörter) trainiert, wobei das Trainingziel darin besteht, context2vec-Darstellungen zu erlernen, die eine gute Annäherung zu Vorhersagen nahegelegener aF-context2vec-aF-Wörter sind. Das Skip-Gramm-Modell wird durch Optimierung des folgenden Ausdrucks trainiert, wobei vw und v'w jeweils die Eingangs- und Ausgangsvektordarstellungen des cobntext2vec w sind: p ( w i | w j ) = exp ( v ' w i T v w j ) w = 1 W exp ( v w ' T v w j )
    Figure DE102019114577A1_0003
  • CBOW funktioniert in gleicher Weise wie das Skip-Gramm-Modell, aber die Richtung wird umgekehrt. Mit anderen Worten werden context2vec-aF-Wörter in CBOW durch einen binären logistischen Klassifikator w(t) bei 630 trainiert, wobei ein Fenster von context2vec-aF-Wörtern (wt-2) bei 610 bei 620 summiert wird (oder eine andere Funktion berechnet wird). Dies ermöglicht eine höhere Wahrscheinlichkeit, das context2vec-aF-Wort zu ermitteln, wenn das nächste context2vec-aF-Wort korrekt ist und eine höhere Wahrscheinlichkeit, um zu bestimmen, ob das context2vec-aF-Wort „falsch“ ist. Die CBOW-Funktion ergibt eine Glättung über eine Vielzahl von Verteilungsdaten (durch Behandlung eines gesamten Kontexts als ein Datensatz). Meistens ist dies bei kleineren Datensätzen nützlich. Das Skip-Gramm behandelt jedoch jedes Kontext-Zielpaar als neue Datensätze, und dies ergibt tendentiell bessere Ergebnisse bei größeren Datensätzen.
  • Bei folgender Sequenz uas aF-Fahrkontext: context2vec aF Wort0 (w0), aF-Wort1(w1)... aF-Worten (wn); versucht das Modell, zu optimieren: m a x 1 T t = 0 T n i n , i 0 log p ( w t + i | w t ) .
    Figure DE102019114577A1_0004
    Wobei n die Größe des Trainingskontextfensters ist (d. h. n=5).
  • Im vorstehenden Skip-Gramm-Modell wird das Folgende verwendet: p ( w i | w j ) = exp ( v ' w i T v w j ) w = 1 W exp ( v w ' T v w j ) .
    Figure DE102019114577A1_0005
  • Wobei vw und v'w jeweils die Eingangs- und Ausgangsvektordarstellungen w sind. W ist die Gesamtanzahl der Wörter im Vokabular. Zu beachten ist, dass für eine effiziente Implementierung
    die hierarchische SoftMax verwendet werden kann, um die vorstehende SoftMax-Wahrscheinlichkeit anzunähern. In Verbindung mit einem übergeordneten Trainingsprozess: gibt es eine Eingabeschicht: wobei ‚n‘ vorherige context2vec-aF-Wörter unter Verwendung einer 1-Hot-Codierung (1-aus-V) kodiert werden und wobei V die Gesamtgröße des Vokabulars im Trainingssatz ist. Die versteckte Schicht ist die Zwischenschicht des neuronalen Netzwerks und die Eingabeschicht wird in der Konfiguration des neuronalen Netzwerks auf eine innere versteckte Schicht projiziert. Der Ausgang ist ein SoftMax, wie oben erörtert und auf die von der verborgenen Schicht erhaltenen logischen Entscheidungen angewendet wird.
  • Hierin werden Techniken für Eingaben und Ausgaben für den gezielten Kontext und das Verhalten von autonomen Fahrzeug-(aF)-Wörtern zum Verarbeiten der eingebetteten kontextbezogenen Informationen in einem context2vec-Modell zum Steuern eines autonomen Fahrzeugs beschrieben. Die Vorrichtungen, Systeme, Techniken und Artikel stellen ein neuronales Netzwerksystem bereit, um den Kontext und das Verhalten eines Fahrzeugs in einer bestimmten Umgebung zu verstehen.
  • In diesem Dokument können relationale Begriffe, wie erste und zweite und dergleichen, nur verwendet werden, um eine Entität oder Handlung von einer anderen Entität oder Handlung zu unterscheiden, ohne zwangsläufig eine solche Beziehung oder Ordnung zwischen solchen Entitäten oder Handlungen zu erfordern oder implizieren zu müssen. Numerische Ordinalzahlen, wie „erste“, „zweite“, „dritte“ usw., bezeichnen einfach verschiedene Einzeldaten einer Vielzahl und bedeuten keine Reihenfolge oder Sequenz, wenn dies nicht ausdrücklich durch die Anspruchssprache definiert ist. Die Abfolge des Textes in einem der Ansprüche bedeutet nicht, dass Prozessschritte in einer zeitlichen oder logischen Reihenfolge nach einer solchen Sequenz durchgeführt werden müssen, es sei denn, sie ist spezifisch durch die Anspruchssprache definiert. Die Verfahrensschritte können in beliebiger Reihenfolge ausgetauscht werden, ohne vom Umfang der Erfindung abzuweichen, solange ein solcher Austausch nicht der Anspruchssprache widerspricht und nicht logisch unsinnig ist.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims (10)

  1. Computerimplementiertes System zum Steuern eines autonomen Fahrzeugs, wobei das Verfahren Folgendes umfasst: ein nicht-flüchtiges computerlesbares Speichermedium, das einen Satz von Anweisungen zum Programmieren mindestens eines Computers beinhaltet, wobei der mindestens eine Computer Folgendes umfasst: ein neuronales Netzwerk mit einer Vielzahl von Knoten mit Kontext-zu-Vektor (context2vec) kontextvermittelten Einbettungen, um den Betrieb des aF zu ermöglichen; eine Vielzahl von codierten context2vec-aF-Wörtern in einer Abfolge von Zeitintervallen, um Daten von Kontext und Verhalten zu erfassen, die aus Sensordaten des aF in Zeitsequenzen abgeleitet werden, worin die Kontext- und Verhaltensdaten Folgendes umfassen: mindestens Karten-, Situations- und Verhaltensdaten des aF-Betriebs; einen Satz von Eingaben in das neuronale Netzwerk, das Folgendes umfasst: mindestens ein aktuelles, ein vorheriges und ein nachfolgendes kodiertes context2vec-aF-Wort, das jeweils in einem One-Hot-Schema eines Satzes von Möglichkeiten der context2vec-aF-Wörter dargestellt ist, worin mindestens ein context2vec-aF-Wort des Satzes mit einem EIN-Zustand bezeichnet wird, während andere context2vec-aF-Wörter des Satzes mit einem AUS-Zustand bezeichnet werden; eine neuronale Netzwerklösung, die von dem mindestens einen Computer angewendet wird, um ein Zielkontext-aF-Wort eines jeden Satzes von Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; einen Ausgangsvektor, der durch das neuronale Netzwerk berechnet wird und das eingebettete verteilte One-Hot-Schema des eingangs codierten context2vec-aF-Wortes darstellt; und einen Satz von Verhaltenssteuerungsvorgängen zum Steuern eines Verhaltens des aF basierend auf dem context2vec-aF-Wort durch den mindestens einen Computer.
  2. System nach Anspruch 1, wobei die Karten-, Situations- und Verhaltensdaten, die in das context2vec-aF-Wort eingebettet sind, ferner Folgendes umfassen: einen ersten, einen zweiten, einen dritten, einen vierten und einen fünften Teil, worin der erste Teil Folgendes umfasst: Kreuzungs- und Stoppkartendaten; der zweite Teil: Entfernungs- und Zeitdaten bis zur Kollision; der dritte Teil: Geschwindigkeitsziel- und Fahrspurabsicht-Situationsdaten; der vierte Teil: Daten für Freiabstand vorne und erwartetes Manövrierverhalten; und der fünften Teil enthält Folgendes: relative und erwartete Manöververhaltensdaten, um eine Steueraktion durch den mindestens einen Computer des aF zu ermöglichen.
  3. System nach Anspruch 1, wobei die Vielzahl von context2vec-aF-Wörtern, die in einer zeitlichern Abfolge kodiert sind, ferner Folgendes umfasst: einen vorherigen, aktuellen und nachfolgenden Sequenzzeitstempel für jeden Satz von context2vec-aF-Wörtern.
  4. System nach Anspruch 1, das ferner Folgendes umfasst: ein Training eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema des neuronalen Netzes der Größe m aus context2vec-aF-Wörtern übersetzt wurden; eine Zusammensetzung mit plus/minus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern; und ein Training des neuronalen Netzwerks mit m+2n*m Eingabeknoten und m Ausgabeknoten von context2vec-aF-Wörtern, worin m die Anzahl von gewählten Eingangsknoten für das neuronale Netzwerk der Größe m ist.
  5. System nach Anspruch 1, das ferner Folgendes umfasst: die Ausführung eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema eines neuronalen Netzwerks der Größe m aus context2vec-aF-Wörtern übersetzt werden; eine Zusammensetzung mit plus/minus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern; eine Darstellung der Zusammensetzung für ein trainiertes neuronales Netzwerk mit plus/minus n One-Hot-Schema aus context2vec-aF-Wörtern; und einen Satz von Ausgängen von context2vec-aF-Wort-Möglichkeiten für Steueraktionen des aF.
  6. System nach Anspruch 1, das ferner Folgendes umfasst: die Konstruktion der Hypothese über eine Sequenz von context2vec-aF-Wörtern von mindestens einer Größe m, worin m die Größe oder Anzahl von Eingangsknoten des neuronalen Netzwerks aus context2vec-aF-Wörtern ist; eine Darstellung einer Ausgabe der context2vec-aF-Wörter an ein trainiertes neuronales Netzwerk basierend auf der Hypothese; eine Überprüfung der Ausgabe der context2vec-aF-Wörter; und eine Entscheidung einer Aktion für das aF durch den mindestens einen Computer basierend auf einem Ergebnis der Überprüfung der context2vec-aF-Wörter.
  7. System nach Anspruch 1, das ferner Folgendes umfasst: ein kontinuierliches Bag-of-Words-Modell (CBOW) und/oder ein Skip-Gramm-Modell unter Verwendung eines neuronale Netzwerke zur Analyse der context2vec-aF-Wörter.
  8. Vorrichtung zur Implementierung eines neuronalen Netzwerksystems für die Trainingssoftware, die in einem autonomen Fahrzeug (aF) eingebettet ist, und zur Erzeugung eines eingebauten neuronalen Netzwerks zum Steuern des aF, wobei die Vorrichtung Folgendes umfasst: mindestens einen Prozessor, der auf einer Datenverarbeitungsvorrichtung innerhalb des aF eingesetzt wird, wobei der mindestens eine Prozessor dazu programmiert ist, Anwendungen zur Erzeugung von Steuerdaten für ein aF basierend auf Sensordaten von Sensoren zu implementieren, die am aF eingesetzt werden, worin der mindestens eine Prozessor eine mit den Sensoren gekoppelte Eingabe aufweist, um die Sensordaten zu empfangen; der mindestens eine Prozessor hat einem zugehörigen Speicher zum Speichern von Daten von Kontext-zu-Vektor-Wörtern (context2vec) von aF-Wörtern zur Verwendung beim Steuern des aF; wobei der mindestens eine Prozessor ein neuronales Netzwerk mit einer Vielzahl von Knoten mit Kontext-zu-Vektor- (context2vec-) Kontext-Einbettungen aufweist, um Operationen des aF zu ermöglichen; wobei der mindestens eine Prozessor eine Vielzahl von context2vec-aF-Wörtern in einer Abfolge von Zeitintervallen codiert, um Daten des Kontextes und Verhaltens, die aus den Sensordaten der aF abgeleitet werden, in Zeitsequenzen einzubetten, worin die Kontext- und Verhaltensdaten Folgendes umfassen: mindestens Karten-, Situations- und Verhaltensdaten des aF-Betriebs; wobei der mindestens eine Prozessor einen Satz von Eingaben in das neuronale Netzwerk mit Folgenden Elementen umfasst: mindestens ein aktuelles, ein vorhergehendes und ein nachfolgendes kodiertes context2vec-aF-Wort, das jeweils in einem One-Hot-Schema eines Satzes von Möglichkeiten der context2vec-aF-Wörter dargestellt ist, worin mindestens ein context2vec-aF-Wort des Satzes mit einem EIN-Zustand bezeichnet wird, während andere context2vec-aF-Wörter des Satzes in einem AUS-Zustand bezeichnet werden; wobei der mindestens eine Prozessor ein neuronales Netzwerk ausführt, um ein Zielkontext-aF-Wort jedes Satzes der Eingaben basierend auf dem aktuellen context2vec-aF-Wort zu bestimmen; wobei der mindestens eine Prozessor einen durch das neuronale Netzwerk berechneten Ausgangsvektor ermöglicht, der das eingebettete verteilte One-Hot-Schema des codierten context2vec-aF-Wortes darstellt; und wober der mindestens eine Prozessor durch einen Satz von Steuermaßnahmen ein Verhalten des aF basierend auf dem context2vec-aF-Wort steuert.
  9. Vorrichtung nach Anspruch 8, wobei die Karten-, Situations- und Verhaltensdaten, die in das context2vec-aF-Wort eingebettet sind, ferner Folgendes umfassen: einen ersten, einen zweiten, einen dritten, einen vierten und einen fünften Teil, worin der erste Teil Folgendes beinhaltet: Kreuzungs- und Stoppkartendaten; der zweite Teil Folgendes beinhaltet: Entfernung vor und Zeit zu den Kollisionssituationsdaten; der dritte Teil: Geschwindigkeitsziel- und Fahrspurabsicht-Situationsdaten; der vierte Teil beinhaltet Folgendes: Abstandsdaten für Abstand und erwartete Manöver; und der fünfte Teil: relative Ortsdaten und erwartete Manöververhaltensdaten, um eine Steueraktion durch den mindestens einen Computer des aF zu ermöglichen.
  10. Vorrichtung nach Anspruch 8, die ferner Folgendes umfasst: mindestens einen Prozessor, der konfiguriert ist zum: Trainieren eines Satzes von context2vec-aF-Wörtern, die durch das One-Hot-Schema eines neuronalen Netzwerks der Größe m aus context2vec-aF-Wörtern übersetzt werden; Zusammensetzung mit plus/minus n One-Hot-Schema eines neuronalen Netzwerks aus context2vec-aF-Wörtern; und Trainieren des neuronalen Netzwerks mit m+2n*m Eingabeknoten und m Ausgabeknoten aus context2vec-aF-Wörtern, wobei m die Anzahl von Eingangsknoten ist, die für das neuronale Netzwerk der Größe m ausgewählt sind.
DE102019114577.5A 2018-08-09 2019-05-29 Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung Pending DE102019114577A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/059,403 US10678252B2 (en) 2018-08-09 2018-08-09 Systems, apparatus, and methods for embedded encodings of contextual information using a neural network with vector space modeling
US16/059,403 2018-08-09

Publications (1)

Publication Number Publication Date
DE102019114577A1 true DE102019114577A1 (de) 2020-02-13

Family

ID=69185956

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019114577.5A Pending DE102019114577A1 (de) 2018-08-09 2019-05-29 Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung

Country Status (3)

Country Link
US (1) US10678252B2 (de)
CN (1) CN110857100B (de)
DE (1) DE102019114577A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021005084A1 (de) 2021-10-12 2022-01-20 Daimler Ag Identifizierung von Objektattributen und Objektbeziehungen

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021503134A (ja) * 2017-11-15 2021-02-04 グーグル エルエルシーGoogle LLC 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習
US11383722B2 (en) * 2019-01-02 2022-07-12 Qualcomm Incorporated Methods and systems for managing interactions between vehicles with varying levels of autonomy
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
CN111428484B (zh) * 2020-04-14 2022-02-18 广州云从鼎望科技有限公司 一种信息管理方法、系统、设备和介质
US11429352B2 (en) 2020-07-01 2022-08-30 International Business Machines Corporation Building pre-trained contextual embeddings for programming languages using specialized vocabulary
JP7469167B2 (ja) * 2020-07-07 2024-04-16 本田技研工業株式会社 制御装置及び制御方法並びに車両
CN111966770A (zh) * 2020-07-21 2020-11-20 中国地质大学(武汉) 一种基于地理语义词嵌入的城市街道功能识别方法和系统
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2495265A (en) * 2011-07-07 2013-04-10 Toyota Motor Europe Nv Sa Artificial memory system for predicting behaviours in order to assist in the control of a system, e.g. stability control in a vehicle
KR102463567B1 (ko) * 2016-05-06 2022-11-07 이베이 인크. 인공신경망 기계 번역시 메타 정보를 이용하는 기법
US20180170392A1 (en) * 2016-12-20 2018-06-21 Baidu Usa Llc Method and System to Recognize Individual Driving Preference for Autonomous Vehicles
CN107844469B (zh) * 2017-10-26 2020-06-26 北京大学 基于词向量查询模型的文本简化方法
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108248608B (zh) * 2017-12-28 2019-09-17 北京百度网讯科技有限公司 用于评估驾驶系统的舒适度的方法和装置
US10878276B2 (en) * 2018-06-05 2020-12-29 Hrl Laboratories, Llc Method and system for detecting change of context in video streams
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021005084A1 (de) 2021-10-12 2022-01-20 Daimler Ag Identifizierung von Objektattributen und Objektbeziehungen

Also Published As

Publication number Publication date
CN110857100A (zh) 2020-03-03
US20200050207A1 (en) 2020-02-13
US10678252B2 (en) 2020-06-09
CN110857100B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
DE102019114577A1 (de) Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung
EP3785177B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE102021109395A1 (de) Verfahren, systeme und vorrichtungen für benutzerverständliche erklärbare lernmodelle
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102018008685A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm maschinenlesbares Speichermedium und entsprechende Vorrichtung
EP3828758A1 (de) Objektklassifizierungsverfahren, objektklassifizierungsschaltung, kraftfahrzeug
DE102020128978A1 (de) Trainieren von tiefen neuronalen netzwerken mit synthetischen bildern
DE102019208733A1 (de) Verfahren und Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
DE112020007538T5 (de) Fahrunterstützungsvorrichtung, Lernvorrichtung, Fahrunterstützungsverfahren, Fahrunterstützungsprogramm, Gelerntes-Modellerzeugungsverfahren und Datenträger mit Gelerntes-Modellerzeugungsprogramm
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern
DE102022100545A1 (de) Verbesserte objekterkennung
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102021213344A1 (de) Verfahren zum Ermitteln von Agenten-Trajektorien in einem Multi-Agenten-Szenario
DE102021129864A1 (de) Verfahren und System zur Annotation von Sensordaten
DE102021107247A1 (de) Domänenübersetzungsnetzwerk zur durchführung einer bildübersetzung
DE102020127051A1 (de) Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
DE102019128223A1 (de) Verfahren, Vorrichtungen und Computerprogramme
DE102022107820A1 (de) Verfahren und Prozessorschaltung zum Überprüfen einer Plausibilität eines Detektionsergebnisses einer Objekterkennung in einem künstlichen neuronalen Netzwerk sowie Kraftfahrzeug
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
WO2022069182A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE112022003737T5 (de) Verfahren und System zum Entwickeln von Trainingssimulationen eines autonomen Fahrzeugs
DE102006004361A1 (de) Verfahren und System zur Ermittlung der Aufenthaltswahrscheinlichkeit eines Fahrzeuges
DE102022116564A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: LK GLOBAL PATENTANWAELTE PARTGMBB, DE