EP4377802A1 - Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks - Google Patents

Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks

Info

Publication number
EP4377802A1
EP4377802A1 EP22757923.2A EP22757923A EP4377802A1 EP 4377802 A1 EP4377802 A1 EP 4377802A1 EP 22757923 A EP22757923 A EP 22757923A EP 4377802 A1 EP4377802 A1 EP 4377802A1
Authority
EP
European Patent Office
Prior art keywords
generator
generative adversarial
adversarial network
driving system
autonomous driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22757923.2A
Other languages
English (en)
French (fr)
Inventor
Yue Yao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4377802A1 publication Critical patent/EP4377802A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Definitions

  • the invention relates to a method and a computer program for monitoring outputs of a generative adversarial network generator
  • autonomous vehicles In order to drive complex scenes safely, efficiently and smoothly, autonomous vehicles must estimate future trajectories of other traffic objects, also referred to as agents in this context, and protect themselves against the uncertainty in the trajectory estimation in order to choose effective and robust measures.
  • Another approach are deep learning based methods.
  • K. Messaoud, N. Deo, M.M. Trived and F. Nashashibi discloses. “Trajectory Prediction for Autonomous Driving based on Multi-Head Attention with Joint Agent-Map Representation”.
  • ArXiv:2005.02545v3 [cs.CV] 2 Sep 2020 a deep learning encoder-decoder architecture model for multimodal trajectory prediction of vehicles using the methods described in A. Vaswani, N. Shazeer, N. Parmar, J Uszkoreit, L. Jones, AN Gomez, L. Kaiser, and I. Polosukhin. “Attention is all you need”.
  • Multiple observation proposed in Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017 is used.
  • This model takes a joint representation of static information and surrounding agents as input and uses a deep neural network to learn the environmental context and the complex interactions between the different agents.
  • the quality of this proposal when used in autonomous vehicles is difficult to assess.
  • the object of the invention was how an intelligent algorithm for predicting the trajectory of an autonomous vehicle can be validated.
  • the invention provides a method for monitoring outputs of a generative adversarial network generator in the validation of a safety-critical software and/or hardware module executing the generative adversarial network of an autonomous driving system, wherein after a training phase of the generative adversarial network
  • a discriminator of the generative adversarial network the outputs of the generator and context information of the autonomous driving system, comprising o static context information, comprising map and/or navigation information to which the autonomous driving system has access, and o information on interactions of the autonomous driving system with traffic objects , comprising reading in data from at least one environment detection sensor of the autonomous driving system;
  • the discriminator depending on the context information of the autonomous driving system, detects safety-critical outputs among the outputs of the generator
  • the discriminator • in the case of a detected safety-critical output, the discriminator provides the autonomous driving system with a warning signal. This uses the discriminator as a kind of output monitor. The method is therefore self-confident or self-aware and can be used in real time in safety-critical systems such as autonomous vehicles.
  • the discriminators are used during a training phase in generative adversarial networks. After training, i.e. in an operational phase, only the trained generator is accessed. The discriminator is discarded after the generator is trained. According to the invention, the discriminator is also used after the training phase of the gene nerative adversarial network, namely for monitoring the outputs of the generator during validation. This means that deep learning algorithms can also be used in safety-critical systems, since the system knows whether the deep learning algorithm cannot handle the input in some scenarios.
  • the invention provides a computer program for monitoring outputs of a generative adversarial network generator.
  • the computer program includes instructions which cause a computer to carry out the steps of the method according to the invention when the computer executes the computer program.
  • the commands of the computer program according to the invention include machine commands, source text or object code written in assembly language, an object-oriented programming language, for example C++, or in a procedural programming language, for example C.
  • the computer program is a hardware-independent application program, for example is provided via a data carrier or a data carrier signal, according to one aspect using software over the air technology, for any hardware, for example via middleware.
  • the computer program is a hardware-dependent program, for example firmware for a control module of the autonomous driving system.
  • the data carrier includes volatile memory, for example RAM, DRAM, SRAM, and non-volatile memory, for example ROM, flash EEPROM.
  • the data carriers are, for example, flash Memory cards, USB sticks.
  • the data carrier is connected to an in/out system of a microcontroller of the autonomous driving system and transmits the computer program to the microcontroller.
  • the method is based on the functionalities of a generator and a discriminator in a generative adversarial network.
  • the generator predicts future trajectories of the agents comprising the ego driving system.
  • the discriminator checks the output of the generator during the training and deployment phase and provides feedback, e.g. valid or invalid, on the predicted trajectories based on the agent's context information.
  • Generator and/or discriminator can be designed as deep neural networks.
  • GANs Generative adversarial networks, abbreviated to GANs, are described, for example, by Ian J. Goodfellow et al. discussed in arXiv:1406.2661.
  • Generator and discriminator are trained at the same time.
  • the generative adversarial network performs a minimax two-person zero-sum game.
  • the task of the generator during training is to generate a predicted (false/invalid) trajectory of the agent as close as a ground truth (real/valid) trajectory.
  • the generator tries to cheat the discriminator.
  • the discriminator has to classify whether the trajectory is real/valid or not. If a fake/invalid generator trajectory is not classified by a discriminator, the generator loss will decrease and the discriminator loss will increase. Training converges with well-trained generators and discriminators.
  • the generator and/or the discriminator are designed as deep neural networks, comprising layers of convolutional networks and/or recurrent networks.
  • Autonomous driving system designates the components and functionalities of an autonomous vehicle at the system level as well as the autonomous vehicle as such.
  • the discriminator classifies the part of the safety-critical output that is invalid based on the context information. This will only classify the corresponding part as invalid instead of the entire output.
  • the predicted trajectory is valid from 0 to 2 seconds. After 2 seconds the predicted trajectory is invalid.
  • the generative adversarial network is a conditional generative adversarial network.
  • driving maneuvers and/or road traffic regulations are mandatory conditions for the generator. This allows the predicted trajectories to be checked using the constraints.
  • Another advantage is that the results of the deep learning method are limited by the constraints imposed by the modeling results.
  • the safety-critical software and/or flardware module is a module for predicting the trajectory of the autonomous driving system. Based on the context information of the autonomous driving system, driving maneuver restrictions for the autonomous driving system are calculated and applied as conditions to the generator. This can be implemented particularly advantageously by means of a conditional generative adversarial network.
  • the method is particularly advantageous when used in urban areas, for example during roundabout maneuvers. It generates trajectories for surrounding agents by considering the static context information and interactions between agents in complex scenes. Due to the self-monitoring of the discriminator, the method can also be used in safety-critical systems such as autonomous vehicles.
  • the calculation of the driving maneuver restrictions is based, for example, on map information, for example high-resolution maps, and/or sensor data from the environment perception of the autonomous driving system.
  • the output of the generator is evaluated by checking the predicted trajectories of the generator based on the given boundary conditions.
  • a human could generate thousands of trajectories.
  • noise is used as another input to the generator to improve the variety of the generator's outputs.
  • a backup solution of the trajectory prediction is triggered in the trajectory prediction in the event of a detection generated safety-critical trajectory.
  • FIG. 1 shows an exemplary embodiment of a conditional generative adversarial network for trajectory prediction.
  • FIG. 3 shows an embodiment of an output of a generator that does not meet a condition
  • Fig. 4 shows an embodiment of an output of a generator that satisfies a condition
  • Fig. 6 shows an embodiment of an output of the generator, which was recognized as invalid by the discriminator
  • Fig. 7 is a schematic representation of an embodiment of the erfindungsge Permitted method.
  • Figure 1 shows a conditional generative adversarial network cGAN.
  • a generator G and a discriminator D are trained simultaneously and are coupled to one another via a feedback loop, for example.
  • the generator G predicts future trajectories T for an autonomous driving system E and outputs these as outputs Out.
  • the generator G reads static context information, for example information from a high-resolution map Map, and interactions Int with other traffic objects/agents A, for example other vehicles.
  • the generator G reads in noise signals, for example random noise. So that the diversity of spending out increases.
  • Driving maneuver restrictions are determined based on the information from the map and data from at least one environment detection sensor of the autonomous driving system E as a further input.
  • the maneuver restrictions are conditions Con imposed on the generator.
  • Expenses Out should fulfill the conditions Con.
  • the goal of the generator G is to predict trajectories T under the given conditions Con, for example in complex urban environments.
  • the discriminator D reads information from the map Map, the interactions Int and reference data GT, for example a ground truth trajectory T, and based on this determines whether the trajectory prediction Out of the generator G is valid.
  • the conditions Con that the trajectory predictions Out of the generator G have to fulfill are turning left and driving straight ahead.
  • an invalid and possibly safety-critical output Out of the generator G is, for example, the trajectory prediction of turning right.
  • the discriminator D determines this output Out as valid, see Fig. 3. In this case, if the output Out of the generator G is the trajectory prediction right turn, the discriminator D determines this output as safety-critical, ie not valid, see FIG.
  • FIG 5 shows the discriminator D in the deployment phase, in which the discriminator D indicates whether a trajectory prediction Out is valid or not.
  • Fig. 6 shows the case of a trajectory prediction of the generator G, which is detected by the discriminator D as safety-critical.
  • the object E to be predicted for example a car, drives behind another vehicle A.
  • the condition Con is go straight.
  • Another vehicle A is driving in the opposite direction to the object E in the opposite lane.
  • the generator G predicts the trajectory T for an overtaking maneuver. This is safety-critical under the given conditions Con.
  • the discriminator D reads the outputs Out of the generator G and context information In of the autonomous driving system on.
  • the discriminator D detects, depending on the context information In, safety-critical outputs Out) from the outputs Out of the generator G.
  • the discriminator D provides the autonomous driving system with a warning signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Überwachen von Ausgaben (Out) eines Generators (G) eines generativen kontradiktorischen Netzwerks (cGAN) in der Validierung eines sicherheitskritischen Software- und/oder Hardwaremoduls, welches das generative kontradiktorische Netzwerk (cGAN) ausführt, eines autonomen Fahrsystems (E), wobei nach einer Trainingsphase des generativen kontradiktorischen Netzwerks (cGAN) der Diskriminator (D) in Abhängigkeit der Kontextinformationen (In) des autonomen Fahrsystems (E) sicherheitskritische Ausgaben (Out) unter den Ausgaben (Out) des Generators (G) detektiert (V2).

Description

Verfahren und Computerproqramm zum Überwachen von Ausgaben eines
Generators eines generativen kontradiktorischen Netzwerks
Die Erfindung betrifft ein Verfahren und ein Computerprogramm zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks
Um komplexe Szenen sicher, effizient und reibungslos zu fahren, müssen autonome Fahrzeuge zukünftige Trajektorien weiterer Verkehrsobjekte, in diesem Kontext auch als Agenten bezeichnet, abschätzen und sich gegen die Unsicherheit in der Trajekto- rienabschätzung absichern, um effektive und robuste Maßnahmen zu wählen.
Ein Ansatz hierzu sind Modellierungsmethoden.
Beispielsweise offenbart D. Petrich, T. Dang, D. Kasper, G. Breuel and C. Stiller. “Map-based Long Term Motion Prediction for Vehicles in Traffic”. In 2013 IEEE Intelli gent Transportation Systems Conference (ITSC), the Hague, the Netherlands, Oct. 7- 9, 2013, pp. 2166-2172 eine Methode zur Verwendung eines erweiterten Kalman-Fil ters für die Bewegungsvorhersage mit Einbeziehung zusätzlicher Informationen aus einer digitalen Karte. Dabei wird die Bewegungsvorhersage unter der Annahme be rechnet, dass das beobachtete Objekt auf einer Fahrspur fährt. Dieser Vorschlag führt in einfachen Szenen wie der Autobahnfahrt zu einem guten Ergebnis. Aber die zugrunde liegende Annahme kann nicht komplexe Szenen wie Überholen lösen, die Wechselwirkungen mit weiteren Verkehrsobjekten, oder Interaktion von Agenten, be inhalten.
A. Flouenou, P. Bonnifait, V. Cherfaoui, Y. Wen. Vehicle Trajectory Prediction based on Motion Model and Maneuver Recognition. In 2013 IEEE/RSJ International Con ference on Intelligent Robots and Systems (IROS 2013), Nov2013, Tokyo, Japan pp.4363-4369 offenbart eine Leitbahn, die durch die Annahme des Bewegungsmo dells „Konstante Gierrate und Beschleunigung“ (Constant Yaw Rate and Accelera- tion, CYRA) und einer durch die Manövererkennung vorhergesagten Leitbahn vor hergesagt wird. Die Kombinationsregel profitiert von der Kurzzeitgenauigkeit der ers ten Leitbahn und der besseren Genauigkeit der zweiten Leitbahn auf längere Sicht. Dieser Ansatz berücksichtigt jedoch langfristig nicht die Interaktion zwischen Agenten und ist in komplexen Szenen nicht in der Lage, mit Agenten mit unterschiedlichen Manövern umzugehen.
Ein weiterer Ansatz sind deep learning basierte Methoden.
Beispielsweise offenbart K. Messaoud, N. Deo, M. M. Trived and F. Nashashibi. “Tra- jectory Prediction for Autonomous Driving based on Multi-Head Attention with Joint Agent-Map Representation”. ArXiv:2005.02545v3 [cs.CV] 2 Sep 2020 ein Deep-Lear- ning-Modell mit Codierer und Decoderarchitektur für die multimodale Trajektorienvor- hersage von Fahrzeugen, bei dem die in A. Vaswani, N. Shazeer, N. Parmar, J. Usz- koreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. “Attention is all you need”. In Advances in Neural Information Processing Systems 30: Annual Con ference on Neural Information Processing Systems 2017 vorgeschlagene Mehrfach beobachtung verwendet wird. Dieses Modell verwendet eine gemeinsame Darstel lung statischer Informationen und umgebender Agenten als Eingabe und die Nutzung eines tiefen neuronalen Netzwerks zum Erlernen des Umfeldkontextes sowie der komplexen Wechselwirkungen zwischen den verschiedenen Agenten. Allerdings ist die Qualität dieses Vorschlages beim Einsatz in autonom fahrenden Fahrzeugen schwer abschätzbar.
J. Li, H. Ma and M. Tomizuka. “Conditional Generative Neural System for Probabilis- tic Trajectory Prediction”. ArXiv: 1905.01631 v2, 28 Jul 2019 offenbart bedingte gene rative neuronale Systeme für die Trajektorienvorhersage. Dieses Modell hat densel ben Nachteil wie andere Deep Learning-Ansätze, nämlich das Fehlen einer Gewähr leistung bei Verwendung in autonomen Fahrzeugen.
Jüngste Literaturrecherchen in der Wegvorhersage konzentrieren sich mehr darauf, in städtischen Szenarien wie Kreuzung, Kreisverkehr usw. Lösungen für Teil projekte zu finden. Für intelligente Systeme wie autonome Fahrzeuge, die in komplexen Sze narien navigieren, sind ein effektives Verständnis der Umgebung und eine präzise Wegvorhersage von umliegenden dynamischen Hindernissen entscheidend, um eine sichere und qualitativ hochwertige Entscheidungsfindung, Bewegungsplanung und Steuerung zu erreichen. Aufgrund der Komplexität und Unsicherheit der Umgebung ist es eine Herausforderung, die Umgebung zu modellieren. Dies erfordert daher ei nen intelligenteren Algorithmus wie Deep Learning. Andererseits ist die Anwendung des Deep-Learning-Algorithmus in der Trajektorienvorhersage für das intelligente System aufgrund mangelnder Auslegbarkeit und Begründung der Ergebnisse kritisch und wird noch diskutiert.
Aufgabe der Erfindung war es, wie ein intelligenter Algorithmus zur Trajektorienvor hersage eines autonomen Fahrzeuges validiert werden kann.
Die Gegenstände der Ansprüche 1 und 5 lösen jeweils diese Aufgabe.
Nach einem Aspekt stellt die Erfindung ein Verfahren bereit zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks in der Validierung eines sicherheitskritischen Software- und/oder Hardwaremoduls, welches das generative kontradiktorische Netzwerk ausführt, eines autonomen Fahrsystems, wobei nach einer Trainingsphase des generativen kontradiktorischen Netzwerks
• ein Diskriminator des generativen kontradiktorischen Netzwerks die Ausgaben des Generators und Kontextinformationen des autonomen Fahrsystems, um fassend o statische Kontextinformationen, umfassend Karten- und/oder Navigati onsinformationen, auf die das autonome Fahrsystem Zugriff hat, und o Informationen zu Wechselwirkungen des autonomen Fahrsystems mit Verkehrsobjekten, umfassend Daten von wenigstens einem Umfelder fassungssensor des autonomen Fahrsystems, einliest;
• der Diskriminator in Abhängigkeit der Kontextinformationen des autonomen Fahrsystems sicherheitskritische Ausgaben unter den Ausgaben des Genera tors detektiert;
• im Fall einer detektierten sicherheitskritischen Ausgabe der Diskriminator dem autonomen Fahrsystem ein Warnsignal bereitstellt. Damit wird der Diskriminator als eine Art Ausgabemonitor angewendet. Das Verfah ren ist damit selbstbewusst oder self-aware und kann in sicherheitskritischen Syste men wie autonomen Fahrzeugen in Echtzeit angewendet werden.
Im bekannten Stand der Technik werden bei generativen kontradiktorischen Netzwer ken die Diskriminatoren während einer Trainingsphase eingesetzt. Nach dem Trai ning, das heißt in einer Einsatzphase, wird ausschließlich auf den trainierten Genera tor zugegriffen. Der Diskriminator wird verworfen, nach dem der Generator trainiert ist. Erfindungsgemäß wird der Diskriminator auch nach der Trainingsphase des ge nerativen kontradiktorischen Netzwerks eingesetzt, nämlich für die Überwachung der Ausgaben des Generators bei der Validierung. Damit können Deep Learning Algo rithmen auch in sicherheitskritischen Systemen angewendet werden, da das System weiß, ob der Deep Learning Algorithmus in einigen Szenarien nicht mit dem Input umgehen kann.
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks. Das Computerprogramm umfasst Befehle, die einen Computer veranlas sen, die Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn der Compu ter das Computerprogramm ausführt.
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbe fehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektori entierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Pro grammiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispiels weise über einen Datenträger oder ein Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Nach einem weiteren Aspekt ist das Computer programm ein Hardware abhängiges Programm, beispielsweise eine Firmware eines Steuermoduls des autonomen Fahrsystems. Der Datenträger umfasst flüchtige Spei cher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Speicher, beispiels weise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash- Speicherkarten, USB-Sticks. Nach einem Aspekt der Erfindung wird der Datenträger an ein In/Out System eines Mikrocontrollers des autonomen Fahrsystems ange schlossen und überträgt das Computerprogramm in den Mikrocontroller.
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausfüh rungsbeispiele.
Das Verfahren basiert auf den Funktionalitäten eines Generators und eines Diskrimi nator in einem generativen kontradiktorischen Netzwerk. Der Generator sagt künfti gen Trajektorien der Agenten, umfassend das Ego-Fahrsystem, vorher. Der Diskrimi nator überprüft die Ausgabe des Generators während des Trainings und der Einsatz phase und stellt ein Feedback, beispielsweise gültig oder ungültig, zu den prädizier- ten Trajektorien bereit basierend auf den Kontextinformationen des Agenten. Gene rator und/oder Diskriminator können als tiefe neuronale Netze ausgeführt sein.
Generative kontradiktorische Netzwerke, im Englischen als Generative Adversarial Networks, abgekürzt GANs, bezeichnet, werden zum Beispiel von lan J. Goodfellow et al. in arXiv: 1406.2661 diskutiert.
Generator und Diskriminator werden gleichzeitig trainiert. Das generative kontradikto rische Netzwerk führt ein Minimax Zwei-Personen-Nullsummenspiel aus. Die Auf gabe des Generators während des Trainings ist es, eine vorhergesagte (falsche/un gültige) Trajektorie des Agenten so nah wie eine groundtruth (reale/gültige) Trajekto- rie zu generieren. Der Generator versucht, den Diskriminator zu betrügen. Im Gegen satz zum Generator muss der Diskriminator einordnen, ob die Trajektorie real/gültig ist oder nicht. Wird eine gefälschte/ungültige Trajektorie des Generators durch einen Diskriminator nicht klassifiziert, wird der Verlust des Generators zurückgehen und der Verlust des Diskriminators zunehmen. Das Training konvergiert mit gut ausgebildeten Generatoren und Diskriminatoren. Nach einem Aspekt der Erfindung sind der Generator und/oder der Diskriminator als tiefe neuronale Netze ausgebildet, umfassend Schichten von Faltungsnetzwerken und/oder rekurrenten Netzwerken.
Autonomes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines au tonomen Fahrzeuges auf Systemebene als auch das autonome Fahrzeug als sol ches.
Nach einem weiteren Aspekt klassifiziert der Diskriminator den Teil der sicherheitskri tischen Ausgabe, der basierend auf den Kontextinformationen ungültig ist. Damit wird nur der entsprechende Teil als ungültig klassifiziert, anstatt die gesamte Ausgabe.
Für eine 3 Sekunden-Trajektorienvorhersage ist beispielsweise die vorhergesagte Trajektorie von 0 bis 2 Sekunden gültig. Nach 2 Sekunden ist die vorhergesagte Trajektorie ungültig.
Nach einem weiteren Aspekt ist das generative kontradiktorische Netzwerk ein be dingtes generatives kontradiktorisches Netzwerk. Beispielsweise sind Fahrmanöver und/oder Straßenverkehrsregeln Zwangsbedingungen an den Generator. Damit kön nen die vorhergesagten Trajektorien anhand der Zwangsbedingungen überprüft wer den. Ein weiterer Vorteil ist, dass die Ergebnisse derdeep learning-Methode durch die Zwangsbedingungen begrenzt werden, die sich aus den Modellierungsergebnis sen ergeben.
Nach einem weiteren Aspekt ist das sicherheitskritische Software- und/oder Flardwa- remodul ein Modul zur Trajektionsvorhersage des autonomen Fahrsystems ist. Ba sierend auf den Kontextinformationen des autonomen Fahrsystems werden Fahrma növer-Beschränkungen für das autonome Fahrsystem berechnet und als Bedingun gen auf den Generator angewendet. Dies kann besonders vorteilhaft mittels eines bedingten generativen kontradiktorischen Netzwerks realisiert werden. Das Verfah ren ist besonders vorteilhaft bei Verwendung in städtischen Gebieten, beispielsweise bei Kreisverkehrmanövern. Damit werden Trajektorien für umgebende Agenten generiert, indem die statischen Kontextinformationen und Interaktionen zwischen Agenten in komplexen Szenen be rücksichtigt werden. Durch die Selbstüberwachung des Diskriminators kann das Ver fahren auch in sicherheitskritischen Systemen wie dem autonomen Fahrzeug einge setzt werden.
Die Berechnung der Fahrmanöver-Beschränkungen basiert beispielsweise auf Kar teninformationen, beispielsweise hochauflösenden Karten, und/oder Sensordaten aus der Umfeldwahrnehmung des autonomen Fahrsystems. Durch die Überprüfung der vorhergesagten Trajektorien des Generators anhand der gegebenen Randbedin gungen wird die Ausgabe des Generators ausgewertet.
Nach einem Aspekt Mit einem einzigen Manöver, wie links abbiegen, könnte ein Mensch Tausende von Trajektorien erzeugen. Um die Zufälligkeit von Trajektorien abzudecken, wird nach einem weiteren Aspekt Rauschen als weitere Eingabe für den Generator verwendet, um die Vielfalt der Ausgaben des Generators zu verbessern.
Nach einem weiteren Aspekt wird bei der Trajektorienvorhersage im Falle einer de- tektieren generierten sicherheitskritischen Trajektorie eine Backup-Lösung der T rajektorienvorhersage ausgelöst.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
Fig. 1 ein Ausführungsbeispiel eines bedingten generativen kontradiktorischen Netz werks für Trajektorienvorhersage,
Fig. 2 ein Ausführungsbeispiel eines Trajektorienvorhersage basierend auf Bedin gungen,
Fig. 3 ein Ausführungsbeispiel einer Ausgabe eines Generators, die eine Bedingung nicht erfüllt, Fig. 4 ein Ausführungsbeispiel einer Ausgabe eines Generators, die eine Bedingung erfüllt,
Fig.5 ein Ausführungsbeispiel eines Diskriminators,
Fig. 6 ein Ausführungsbeispiel einer Ausgabe des Generators, die durch den Diskri minator als ungültig erkannt wurde, und
Fig. 7 eine schematische Darstellung eines Ausführungsbeispiels des erfindungsge mäßen Verfahrens.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils rele vanten Bezugsteile hervorgehoben.
Fig. 1 zeigt ein bedingtes generatives kontradiktorisches Netzwerk cGAN. Ein Gene rator G und ein Diskriminator D werden gleichzeitig trainiert und sind beispielsweise über eine Schleife Feedback miteinander gekoppelt.
Der Generator G prädiziert zukünftige Trajektorien T für ein autonomes Fahrsystem E und gibt diese als Ausgaben Out aus. Flierzu liest der Generator G statische Kon textinformationen, beispielsweise Informationen aus einer hochauflösenden Karte Map, und Wechselwirkungen Int mit weiteren Verkehrsobjekten/Agenten A, beispiels weise weiteren Fahrzeugen, ein. Zusätzlich liest der Generator G Rauschsignale Noise ein, beispielsweise zufälliges Rauschen. Damit die Diversität der Ausgaben Out erhöht. Basierend auf den Informationen aus der Karte Map und Daten wenigs tens eines Umfelderfassungssensors des autonomen Fahrsystems E als weiterer In put In werden Fahrmanöver-Beschränkungen bestimmt. Die Fahrmanöver-Beschrän kungen sind Bedingungen Con, die dem Generator auferlegt werden. Die Ausgaben Out sollen die Bedingungen Con erfüllen. Ziel des Generators G ist es, Trajektorien T unter den gegebenen Bedingungen Con zu prädizieren, beispielsweise in komplexen städtischen Umgebungen. Der Diskriminator D liest Informationen aus der Karte Map, die Wechselwirkungen Int und Referenzdaten GT, beispielsweise eine groundtruth Trajektorie T, ein und be stimmt basierend darauf, ob die Trajektorienvorhersage Out des Generators G valide ist.
Fig. 2 zeigt als Fahrmanöver eine T-Kreuzung. Die Bedingungen Con, die die Trajek- torienvorhersagen Out des Generators G zu erfüllen haben, sind Linksabbiegen und Geradeausfahren. Eine nichtvalide und möglicherweise sicherheitskritische Ausgabe Out des Generators G ist in diesem Fall beispielsweise die Trajektorienvorhersage Rechtsabbiegen.
Fig. 3, 4 zeigen den Einsatz des Diskriminators D gemäß des erfindungsgemäßen Verfahrens. Wenn die Bedingung Con Linksabbiegen lautet und die Ausgabe Out des Generators G die Trajektorienvorhersage Linksabbiegen ist, bestimmt der Diskri minator D diese Ausgabe Out als valide, siehe Fig. 3. Wenn in diesem Fall die Aus gabe Out des Generators G die Trajektorienvorhersage Rechtsabbiegen ist, be stimmt der Diskriminator D dieses Ausgabe als sicherheitskritisch, das heißt nicht va lide, siehe Fig. 4. Das Ziel des Diskriminators D ist es, sicherheitskritische Ausgaben des Generators G zu detektieren.
Fig. 5 zeigt den Diskriminator D in der Einsatzphase, in der der Diskriminator D aus gibt, ob eine Trajektorienvorhersage Out valide oder nicht valide ist.
Fig. 6 zeigt den Fall einer Trajektorienvorhersage des Generators G, die von dem Diskriminator D als sicherheitskritisch detektiert wird. Das zu prädizierende Objekt E, beispielsweise ein PKW, fährt hintereinem weiteren Fahrzeug A her. Die Bedingung Con lautet Geraudeausfahren. Auf der Gegenfahrspur fährt ein weiteres Fahrzeug A in entgegengesetzter Richtung zu dem Objekt E. Der Generator G prädiziert die Trajektorie T für einen Überholvorgang. Dies ist unter den gegebenen Bedingungen Con sicherheitskritisch.
In einem in Fig. 7 dargestelltem Verfahrensschritt V1 liest der Diskriminator D die Ausgaben Out des Generators G und Kontextinformationen In des autonomen Fahrsystems ein. In einem Verfahrensschritt V2 detektiert der Diskriminator D in Ab hängigkeit der Kontextinformationen In sicherheitskritische Ausgaben Out) unter den Ausgaben Out des Generators G. In einem Verfahrensschritt V3 stellt im Fall einer detektierten sicherheitskritischen Ausgabe Out der Diskriminator D dem autonomen Fahrsystem ein Warnsignal bereit.
Bezuqszeichen cGAN generatives kontradiktorisches Netzwerk G Generator Out Ausgabe
In Kontextinformationen/weiterer Input
Map Karteninformationen
Int Wechselwirkung
Noise Rauschen
GT Referenzdaten
Feedback Schleife
A Verkehrsobjekt/Agent
Con Bedingung
D Diskriminator
E zu prädizierendes Objekt
T Trajektorie
V1 -V3 Verfahrensschritte

Claims

Patentansprüche
1. Verfahren zum Überwachen von Ausgaben (Out) eines Generators (G) eines ge nerativen kontradiktorischen Netzwerks (cGAN) in der Validierung eines sicher heitskritischen Software- und/oder Hardwaremoduls, welches das generative kontra diktorische Netzwerk (cGAN) ausführt, eines autonomen Fahrsystems (E), wobei nach einer Trainingsphase des generativen kontradiktorischen Netzwerks (cGAN)
• ein Diskriminator (D) des generativen kontradiktorischen Netzwerks (cGAN) die Ausgaben (Out) des Generators (G) und Kontextinformationen (In) des au tonomen Fahrsystems (E), umfassend o statische Kontextinformationen, umfassend Karten- und/oder Navigati onsinformationen (Map), auf die das autonome Fahrsystem (E) Zugriff hat, und o Informationen zu Wechselwirkungen (Int) des autonomen Fahrsystems (E) mit Verkehrsobjekten (A), umfassend Daten von wenigstens einem Umfelderfassungssensor des autonomen Fahrsystems (E), einliest (V1);
• der Diskriminator (D) in Abhängigkeit der Kontextinformationen (In) des auto nomen Fahrsystems (E) sicherheitskritische Ausgaben (Out) unter den Ausga ben (Out) des Generators (G) detektiert (V2);
• im Fall einer detektierten sicherheitskritischen Ausgabe (Out) der Diskrimina tor (D) dem autonomen Fahrsystem (E) ein Warnsignal bereitstellt (V3).
2. Verfahren nach Anspruch 1, wobei der Diskriminator (D) den Teil der sicher heitskritischen Ausgabe (Out) klassifiziert, der basierend auf den Kontextinformatio nen (In) ungültig ist.
3. Verfahren nach Anspruch 1 oder 2, wobei das generative kontradiktorische Netz werk (cGAN) ein bedingtes generatives kontradiktorisches Netzwerk ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei
• das sicherheitskritische Software- und/oder Hardwaremodul ein Modul zur Trajektionsvorhersage des autonomen Fahrsystems (E) ist; • basierend auf den Kontextinformationen (In) des autonomen Fahrsystems (E) Fahrmanöver-Beschränkungen für das autonome Fahrsystem (E) berechnet und als Bedingungen (Con) auf den Generator (G) angewendet werden.
5. Computerprogramm zum Überwachen von Ausgaben eines Generators (G) eines generativen kontradiktorischen Netzwerks (cGAN) umfassend Befehle, die einen Computer veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 4 auszuführen, wenn der Computer das Computerprogramm ausführt.
EP22757923.2A 2021-07-27 2022-07-27 Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks Withdrawn EP4377802A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208047.2A DE102021208047A1 (de) 2021-07-27 2021-07-27 Verfahren und Computerprogramm zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks
PCT/EP2022/071040 WO2023006803A1 (de) 2021-07-27 2022-07-27 Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks

Publications (1)

Publication Number Publication Date
EP4377802A1 true EP4377802A1 (de) 2024-06-05

Family

ID=83006157

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22757923.2A Withdrawn EP4377802A1 (de) 2021-07-27 2022-07-27 Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks

Country Status (3)

Country Link
EP (1) EP4377802A1 (de)
DE (1) DE102021208047A1 (de)
WO (1) WO2023006803A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019206720B4 (de) 2019-05-09 2021-08-26 Volkswagen Aktiengesellschaft Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs

Also Published As

Publication number Publication date
DE102021208047A1 (de) 2023-02-02
WO2023006803A1 (de) 2023-02-02

Similar Documents

Publication Publication Date Title
DE112017006530B4 (de) Rückmeldung für ein autonomes fahrzeug
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102018203583B4 (de) Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
EP3789926B1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102021109395A1 (de) Verfahren, systeme und vorrichtungen für benutzerverständliche erklärbare lernmodelle
DE102016007563A1 (de) Verfahren zur Trajektorienplanung
WO2022106414A2 (de) Verfahren und system zur annotation von sensordaten
EP3877231A1 (de) Prädiktion eines voraussichtlichen fahrverhaltens
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
CN111753371B (zh) 一种车身控制网络模型的训练方法、系统、终端和存储介质
EP3968213A1 (de) Verfahren und vorrichtung zum ermitteln eines gleisgebundenen schienenpfades in einer gleisanlage
DE102021004426A1 (de) Verfahren zum Trainieren einer autonomen Fahrfunktion
DE102019217637A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102018124161A1 (de) Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs auf einer Fahrbahn
DE102021203588A1 (de) Verfahren und Steuergerät zum Schätzen eines Verhaltens eines Systems
Agamennoni et al. Automated extraction of driver behaviour primitives using Bayesian agglomerative sequence segmentation
EP4377802A1 (de) Verfahren und computerprogramm zum überwachen von ausgaben eines generators eines generativen kontradiktorischen netzwerks
DE102019104966A1 (de) Selbstlernende Steuervorrichtung und Verfahren für selbstlernende Steuervorrichtung
EP4000011B1 (de) Komponentenbasierte verarbeitung von eingangsgrössen
DE102022131178B3 (de) Verfahren zum automatisierten Führen eines Fahrzeugs sowie Verfahren zum Erzeugen eines hierzu fähigen Modells des Maschinellen Lernens sowie Prozessorschaltung und Fahrzeug
DE102020120934A1 (de) Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
DE102024202568A1 (de) Verfahren zur Objektdetektion in Bilddaten
DE102021208472B3 (de) Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE102019204849A1 (de) Erkennung eines durch Personen ausgehenden Gefahrenpotentials
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240125

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240906