EP4111438A1 - Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug - Google Patents

Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug

Info

Publication number
EP4111438A1
EP4111438A1 EP21707961.5A EP21707961A EP4111438A1 EP 4111438 A1 EP4111438 A1 EP 4111438A1 EP 21707961 A EP21707961 A EP 21707961A EP 4111438 A1 EP4111438 A1 EP 4111438A1
Authority
EP
European Patent Office
Prior art keywords
mission
simulation
algorithm
motor vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21707961.5A
Other languages
English (en)
French (fr)
Inventor
Christoph THIEM
Ulrich Eberle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP4111438A1 publication Critical patent/EP4111438A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • a method for training at least one algorithm for a control unit of a motor vehicle, a computer program product and a motor vehicle are described here.
  • Methods for training at least one algorithm for a control device of a motor vehicle, computer program products and motor vehicles of the type mentioned at the beginning are known in the prior art.
  • the first partially automated vehicles (corresponds to SAE Level 2 in accordance with SAE J3016) have reached series production readiness in recent years.
  • Automated (corresponds to SAE level> 3 in accordance with SAE J3016) or autonomously (corresponds to SAE level 4/5 in accordance with SAE J3016) motor vehicles must be able to operate independently with maximum safety in unfamiliar traffic situations based on a variety of specifications, for example destination and compliance with current traffic rules can react. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, especially human road users, it is almost impossible to program corresponding control units of motor vehicles with conventional methods and on the basis of man-made rules.
  • a system and a method for training a machine-learning model on a simulation platform for operating an autonomous vehicle are known from US 2019/0318267 A1. While driving, driving statistics and environmental data for a plurality of driving scenarios are collected with a human driver so that the model continuously learns the driving style and the preferences of the driver.
  • the object is thus to develop methods for training at least one algorithm for a control unit of a motor vehicle, computer program products and motor vehicles of the type mentioned at the outset so that autonomously driving motor vehicles can better adapt to a traffic flow.
  • the object is achieved by a method for training at least one algorithm for a control unit of a motor vehicle according to claim 1, a computer program product according to the independent claim 14 and a motor vehicle according to the independent claim 15. Further refinements and developments are the subject of the dependent claims .
  • a method for training at least one algorithm for a control unit of a motor vehicle is described below, the control unit being provided for implementing an automated or autonomous driving function with intervention in units of the motor vehicle on the basis of input data using the at least one algorithm, with the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, the behavior of the motor vehicle being determined by a rule set, c) providing a mission for the motor vehicle, d) providing real-time traffic data the real existing application area as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f) performing a simulation of the mission in the simulation environment and determining a simulation driving time for completing the
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • driving data and routes from certain road users are selected as real-time traffic data, with missions being selected on the basis of locations on the routes of the road users.
  • Real-time traffic data can contain statistical data on the flow of traffic, but also travel data from specific road users.
  • Statistical data can be, for example, data that can be contained by a route calculation algorithm based on environmental parameters such as maximum permitted speeds, traffic lights and traffic volume.
  • Driving data from specific road users allow a comparison with individual driving performance. Different drivers have different driving styles, some drive more defensively, some less defensively.
  • these specific road users may drive individual routes from the starting point to the destination. These routes can be the basis for the selection of corresponding missions and starting and destination points as well as intermediate destinations can be determined on the basis of the individual routes.
  • the starting and destination points as well as intermediate destinations can be certain characteristic points along the corresponding routes, for example intersections.
  • the real-time traffic data contain infrastructure information.
  • Infrastructure information can be, for example, information on traffic light switching, road blocks, lane guidance and the like.
  • the inclusion of this information increases the degree of reality of the simulation and allows the driving time for the mission to be assessed. For example, a driving time for which a driver only had green traffic lights can be disqualified.
  • an optimization algorithm is used in order to minimize deviations between the simulation environment and the real-time traffic data.
  • a particularly realistic traffic scenario can be generated in the simulation environment, which simulates the real-time traffic data particularly well, which improves the comparability of the driving time and the simulation driving time.
  • the parameters are changed in a randomized manner.
  • An over-specialization of the algorithm can also be prevented by randomization.
  • a driving time of a road user for carrying out the mission from the real-time traffic data is used as the driving time, or a driving time of the road user is determined with the help of an agent in the simulation environment.
  • the performance of one algorithm can be compared with that of another algorithm.
  • the algorithm and / or the at least one rule set is trained by means of a reinforcing learning algorithm.
  • a reinforcement learning algorithm allows the algorithm to be improved through a reward function.
  • the reward function can be triggered by approximating the simulation driving time to the driving time.
  • the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.
  • the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.
  • the reference driving time from the real traffic environment is closer to an average driving time, which means that statistical deviations of individual driving times and influences of differently defensive or aggressive driving human drivers can be reduced.
  • the self-learning neural network modifies the rule set beyond predetermined rule set limits.
  • Corresponding rule set limits are, for example, permissible maximum speeds on a certain route or permissible periods of time when driving over traffic lights that change to red, permissibility of crossing solid lines and the like.
  • a standard deviation is taken into account when comparing the simulation driving time and driving time.
  • Mission can generally be defined as reaching a target point starting from a starting point.
  • several different routes may be driven between the starting point and the destination point or a specific route.
  • the comparability of travel times suffers with different routes. If the route is fixed, the comparability of the simulation driving time with the driving time can be increased.
  • a mission represents driving a route from at least one starting point to at least one destination point.
  • a first independent subject relates to a device for training at least one algorithm for a control unit of a motor vehicle, wherein the control unit is provided for implementing an automated or autonomous driving function with intervention in aggregates of the motor vehicle on the basis of input data using the at least one algorithm, wherein a self-learning neural network is provided for training the algorithm, the device being designed to carry out the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, wherein a behavior of the motor vehicle is indicated by a Reg the sentence is determined c) provision of a mission for the motor vehicle, d) provision of real-time traffic data of the real existing area of use as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • driving data and routes from certain road users are selected as real-time traffic data, missions being selected on the basis of locations on the routes of the road users.
  • the real-time traffic data contain infrastructure information.
  • the device is designed to use an optimization algorithm when simulating the traffic situation in the simulation environment in order to minimize deviations between the simulation environment and the real-time traffic data.
  • the device is set up to vary the mission by changing parameters of the traffic situation in the simulation environment and the method with the modified one Carry out mission.
  • the device is set up to carry out the change in the parameters in a randomized manner.
  • a driving time of a road user for carrying out the mission from the real-time traffic data is provided as the expected value, or the device is set up to determine a driving time of the road user with the help of an agent in the simulation environment .
  • the device is set up to train the algorithm and / or the at least one rule set by means of a reinforcing learning algorithm.
  • the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.
  • the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.
  • the device is set up to modify the rule set beyond predetermined rule set limits by means of the self-learning neural network.
  • the device is designed to take into account a standard deviation when comparing the simulation driving time and driving time.
  • a mission represents driving a route from at least one starting point to at least one destination point.
  • Another independent subject matter relates to a computer program product with a computer-readable storage medium on which instructions are embedded which, when executed by at least one computing unit, have the effect that the at least computing unit is set up to carry out the method of the aforementioned type.
  • the method can be carried out on one or more processing units distributed so that certain method steps are carried out on one processing unit and other process steps are carried out on at least one other processing unit, with calculated data being able to be transmitted between the processing units if necessary.
  • Another independent subject relates to a motor vehicle with a computer program product of the type described above. Further features and details emerge from the following description in which - if necessary with reference to the drawing - at least one,sbei game is described in detail. Described and / or graphically represented features form the subject per se or in any meaningful combination, possibly also independently of the claims, and can in particular also be subject of one or more separate applications. Identical, similar and / or functionally identical parts are provided with the same reference numerals. They show schematically:
  • Fig. 1 is a plan view of a motor vehicle;
  • Figure 2 shows a computer program product module;
  • 3 shows a road map of a real existing application area with traffic flow information;
  • FIG. 4 shows the road map from FIG. 3 with a mission, as well as
  • FIG. 5 shows a flow diagram of a training method.
  • Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
  • the motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8.
  • a computer program product is stored in the memory 8 and is described in more detail below in connection with FIGS.
  • the control unit 4 is connected, on the one hand, to a number of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be recorded. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16.
  • the environmental sensors 10 to 13 can, for example, radar, lidar and / or Include ultrasonic sensors.
  • sensors for detecting the state of the motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to the control unit 4. With the aid of this motor vehicle sensor system, the current state of motor vehicle 2 can be reliably detected.
  • the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, which are each connected to the control unit 4.
  • Data from sensors 10 to 20 are continuously temporarily stored in memory 8 and discarded after a predetermined period of time so that these environmental data can be available for further evaluation.
  • the algorithm was trained according to the method described below.
  • the computer program product module 30 has a self-learning neural network 32 that trains an algorithm 34.
  • the self-learning neural network 32 learns according to methods of reinforcement learning, ie the neural network 32 tries by varying the algorithm 34 to receive rewards for improved behavior according to one or more metrics or standards, i.e. for improvements to the algorithm 34.
  • known learning methods of supervised and unsupervised learning as well as combinations of these learning methods can be used.
  • the algorithm 34 can essentially consist of a complex filter with a matrix of values, usually called weights by those skilled in the art, that define a filter function that determines the behavior of the algorithm 34 as a function of input variables that are presently recorded by the environmental sensors 10 to 20 are determined and control signals for controlling the motor vehicle 2 are generated.
  • the computer program product module 30 can be used both in the motor vehicle 2 and outside the motor vehicle 2. It is thus possible to train the computer program product module 30 both in a real environment and in a simulation environment. In particular, according to the teaching described here, the training takes place in a simulation environment, since this is safer than training in a real environment.
  • the computer program product module 30 is set up to set up a metric that is to be improved.
  • the metric is a time until a given mission is reached (hereinafter referred to as simulation driving time), for example the driving time from a starting point to a destination, compared to expected values of actually existing driving times.
  • the algorithm 34 can either be optimized with regard to another mission and trained further, or the algorithm can be tested in a real environment.
  • Fig. 3 shows a simulation environment 36, which is a road map of a real existing Area of application 37.
  • the road map of the operational area 37 serves as a simulation environment 36 for training the algorithm 34.
  • the road map of the operational area 37 has traffic flow information relating to the traffic flow on different roads.
  • This traffic flow information is real-time information that can be made available via various services. Such real-time information can be determined, for example, from cell phone location data, vehicle navigation data, camera recordings from traffic monitoring cameras and the like.
  • slow traffic can be defined as traffic that flows at an average speed of less than 20 km / h
  • very slow traffic can be defined as traffic that flows at an average speed of less than 5 km / h.
  • FIG. 4 shows the simulation environment 36 of the road map of the operational area 37 as well as a mission for the algorithm 34.
  • the present mission is to drive the simulated motor vehicle 2 along a specific route from a starting point S to a destination point Z.
  • the computer program product module 30 uses the real-time traffic data to calculate an expected value of a vehicle for completing the mission, taking into account the prevailing congested traffic 38 and the prevailing heavily congested traffic 40.
  • This expected value is the reference value for a travel time TS that is required for completing the mission by simulated motor vehicle 2.
  • the computer program product module contains the algorithm to be trained and a self-learning neural network.
  • a simulation environment is then made available on the basis of real map data.
  • the simulation environment can also contain other road users and their missions.
  • a mission is determined in the simulation environment. As shown in connection with FIG. 4, the mission can be the driving of a specific route from a starting point to a destination point.
  • an expected value for a driving time can be simulated on the basis of the real traffic data for the. Area of application can be calculated.
  • the simulation is carried out and a simulation driving time is determined.
  • a simulation driving time is determined.
  • agents in the simulation environment who create a traffic situation comparable to that which exists in the real environment. This can also include infrastructure information such as traffic lights.
  • the simulation driving time is then compared with the expected value. If the simulation driving time is not sufficiently close to the expected value, the algorithm and / or the rule set is varied and the simulation is repeated. This step corresponds to the principle of reinforcement learning with a reward metric that the algorithm wants to achieve.
  • the algorithm can be trained by different missions, for example a mission with the same start and destination but different traffic situation or with a new mission that has a different start and / or a different destination.
  • the algorithm can only be frozen when all metrics have been reached.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Beschrieben wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs durch ein selbstlernendes neuronales Netz trainiert wird, umfassend: Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Simulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regelsatz bestimmt ist, Bereitstellen einer Mission für das Kraftfahrzeug, Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets sowie Nachstellen der Verkehrssituation in der Simulationsumgebung; Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; Durchführen einer Simulation der Mission in der Simulationsumgebung und Bestimmen einer Simulationsfahrdauer für das Absolvieren der Mission; Vergleichen der Simulationsfahrdauer mit der Fahrdauer, wobei, wenn die Simulationsfahrdauer länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algorithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission.

Description

VERFAHREN ZUM TRAINIEREN WENIGSTENS EINES ALGORITHMUS FÜR EIN STEUERGERÄT EINES KRAFTFAHRZEUGS, COMPUTERPROGRAMMPRODUKT SOWIE KRAFTFAHRZEUG
Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben. Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraft fahrzeugs, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teilautomatisiert fahrenden Kraftfahr zeuge (entspricht SAE Level 2 gemäß SAE J3016) sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw., autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrziel und Einhaltung gängiger Verkehrsre geln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren können. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens an derer Verkehrsteilnehmer, insbesondere menschlicher Verkehrsteilnehmer, hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.
Zur Bewältigung komplexer Probleme mittels Computern ist es darüber hinaus bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln bzw. sich durch selbstlernende neuronale Netze entwickeln zu lassen. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell mög lich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln und kontinuierlich zu verbessern. Alternativ kann ein Stand des Algorithmus nach der Beendigung einer Trainingsphase im Entwicklungsprozess und einer Validierung durch den Hersteller eingefroren werden.
Des Weiteren gibt es Situationen, in denen der Verkehrsfluss verbessert und ggf. sogar das Unfallrisiko reduziert werden können, wenn das Ego-Fahrzeug sich selbst nicht zu vollständig regelkonform verhält, z.B. wenn es eine durchgezogene Linie überfährt, um ei nem Hindernis auszuweichen, solange dies gefahrlos möglich ist, z.B. wenn kein Gegen verkehr herrscht. Ein Abbremsen des autonom fahrenden Kraftfahrzeugs in einer solchen Situation könnte zur Folge haben, dass nachfolgend fahrende, unvorbereitete menschli che Fahrer durch die plötzliche Unterbrechung des Verkehrsflusses einen Auffahrunfall verursachen.
Aus der US 2019/0318267 A1 sind ein System und ein Verfahren zum Trainieren eines maschinenlernenden Modells auf einer Simulationsplattform zum Betreiben eines autono men Fahrzeugs bekannt. Während der Fahrt werden mit einem menschlichen Fahrer Fahrtstatistiken und Umgebungsdaten für eine Mehrzahl von Fahrtszenarien gesammelt, damit das Modell fortlaufend den Fahrstil und die Präferenzen des Fahrers erlernt.
Somit stellt sich die Aufgabe, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass autonom fahrende Kraft fahrzeuge sich besser an einen Verkehrsfluss anpassen können.
Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorith mus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1, ein Computerpro grammprodukt gemäß dem nebengeordneten Anspruch 14 sowie ein Kraftfahrzeug ge mäß dem nebengeordneten Anspruch 15. Weiterführende Ausgestaltungen und Weiterbil dungen sind Gegenstand der abhängigen Ansprüche.
Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs beschrieben, wobei das Steuergerät zur Umsetzung ei ner automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraft fahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Si mulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer mit der Fahrdauer, wobei,
(i) wenn die Simulationsfahrdauer länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algo rithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder
(ii) wenn die Simulationsfahrdauer nicht länger als einen vorgegebenen Zeit abstand länger dauert als die Fahrdauer, Klassifizieren der Mission als er folgreich. Dadurch, dass anhand der Echtzeit-Verkehrsdaten eine Fahrdauer für eine vorgegebene Mission bestimmt wird und die mit der Zeitdauer für das Absolvieren der Mission durch das von dem Algorithmus gesteuerte Kraftfahrzeug in der Simulationsumgebung vergli chen wird, ist es möglich, die Fahrdauer des simulierten Kraftfahrzeugs mit echten Fahr dauern zu vergleichen. Stellt sich dabei heraus, dass das simulierte Kraftfahrzeug wesent- lieh länger braucht als ein reales Kraftfahrzeug, lässt dies auf ein zu defensives Fahrver halten des autonom fahrenden Kraftfahrzeugs schließen. Der Algorithmus kann so somit anhand der Metrik darauf trainiert werden, weniger defensiv zu fahren, um sich einem Fahrverhalten von menschlichen Fahrern anzupassen. Erst, wenn das simulierte Kraft fahrzeug in einem vorgegebenen Bereich rund um eine Fahrdauer anhand der Echtzeit- Verkehrsdaten herankommt, kann der Algorithmus als nicht zu defensives fahrend ange sehen werden.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn Schritt g) (i) erreicht ist, eine andere Mission ausgewählt und das Verfahren mit der anderen Mis- sion wiederholt wird. Durch das Trainieren des Algorithmus mit einerweiteren Mission kann erreicht werden, dass der Algorithmus sich nicht zu sehr auf ein eine Mission spezialisiert.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Echtzeit- Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern gewählt wer den, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer gewählt werden.
Echtzeit-Verkehrsdaten können statistische Daten zum Verkehrsfluss, aber auch Fahrda ten spezifischer Verkehrsteilnehmer enthalten. Statistische Daten können beispielsweise Daten sein, die von einem Routenberechnungsalgorithmus anhand von Umgebungspara metern wie zulässigen Höchstgeschwindigkeiten, Ampelanlagen und Verkehrsaufkommen enthalten können. Fahrdaten spezifischer Verkehrsteilnehmer erlauben den Vergleich mit individuellen Fahrleistungen. Verschiedene Fahrer haben unterschiedliche Fahrstile, man che fahren defensiver, manche weniger defensiv. Des Weiteren fahren diese spezifischen Verkehrsteilnehmer ggf. individuelle Routen vom Start- zum Zielpunkt. Diese Routen kön nen Grundlage für die Auswahl entsprechender Missionen sein und Start- und Zielpunkte sowie Zwischenziele können anhand der individuellen Routen festgelegt werden. Die Start- und Zielpunkte sowie Zwischenziele können bestimmte charakteristische Punkte entlang der entsprechenden Routen sein, zum Beispiel Kreuzungen.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten.
Infrastrukturinformationen können beispielsweise Informationen zu Ampelschaltungen, Straßensperren, Spurführungen und dergleichen sein. Das Einbeziehen dieser Informatio nen steigert den Realitätsgrades der Simulation und erlaubt die Bewertung der Fahrdauer für die Mission. So kann beispielsweise eine Fahrdauer disqualifiziert werden, bei der ein Fahrer ausschließlich grüne Ampeln hatte.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass beim Nach stellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit- Verkehrsdaten zu minimieren. Durch Verwendung des Optimierungsalgorithmus kann ein besonders realistisches Ver kehrsszenario in der Simulationsumgebung erzeugt werden, die die Echtzeit-Verkehrsda ten besonders gut nachstellt, was die Vergleichbarkeit der Fahrdauer und der Simulati onsfahrdauer verbessert.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird.
Durch Variation der Parameter der Verkehrssituation ist es möglich, eine Überspezialisie rung des Algorithmus auf die spezifische Verkehrssituation und Mission zu vermeiden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Ände rung der Parameter randomisiert durchgeführt wird.
Auch durch Randomisieren kann eine Überspezialisierung des Algorithmus verhindert werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Fahrzeit eine Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echt zeit-Verkehrsdaten verwendet wird oder wobei eine Fahrzeit des Verkehrsteilnehmers mit hilfe eines Agenten in der Simulationsumgebung ermittelt wird.
Durch Vergleich mit individuellen Fahrern können menschliche Fahrweisen unmittelbar untersucht werden.
Wenn die Fahrzeit mithilfe eines Agenten in der Simulationsumgebung ermittelt wird, kann die Leistungsfähigkeit eines Algorithmus mit der eines anderen Algorithmus verglichen werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Algorith mus und/oder der wenigstens eine Regelsatz mittels eines verstärkenden Lernen-Algorith mus trainiert wird. Das Verwenden eines verstärkenden Lernen-Algorithmus erlaubt das Verbessern des Al gorithmus durch eine Belohnungsfunktion. Die Belohnungsfunktion kann ausgelöst wer den durch eine Annäherung der Simulationsfahrdauer an die Fahrdauer.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simu lation der Mission bestimmt ist.
Durch Definition des Erwartungswertes anhand mehrmaliger Iterationen der Simulation der Mission ist es möglich, Unterschiede zwischen der Simulation der Echtzeit-Verkehrs- daten und der Situation im real existierenden Einsatzgebiet auszugleichen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilneh mern darstellt, die die Mission in dem Einsatzgebiet durchführen.
Wenn ein Erwartungswert für die Durchführung der Mission verwendet wird, liegt die Re ferenzfahrzeit aus der realen Verkehrsumgebung näher an einer durchschnittlichen Fahr zeit, wodurch statistische Abweichungen einzelner Fahrzeiten und Einflüsse unterschied lich defensiv bzw. aggressiv fahrender menschlicher Fahrer reduziert werden können.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das selbst lernende neuronale Netz den Regelsatz über vorgegebene Regelsatzgrenzen hinweg mo difiziert.
Entsprechende Regelsatzgrenzen sind beispielsweise zulässige Höchstgeschwindigkeiten auf einer bestimmten Strecke oder zulässige Zeitdauern beim Überfahren von auf Rot um springende Ampeln, Zulässigkeit von Überfahren durchgezogener Linien und dergleichen mehr.
Durch Modifikation des Regelsatzes über vorgegebene Regelsatzgrenzen hinaus kann ein realistisches Fahrverhalten erreicht werden. So ist es beispielsweise möglich, statt ei ner Höchstgeschwindigkeit von 50 km/h eine zulässige Höchstgeschwindigkeit von 55 km/h oder 60 km/h einzustellen, sodass ein besseres Mitfließen im Verkehr möglich ist. Auch, wenn im Fall einer Blockade einer Spur durch ein regelwidrig parkendes Kraftfahr zeug durchgezogene Linien überfahren werden, solange dadurch keine Gefahr für den Gegenverkehr entsteht, kann der Verkehrsfluss verbessert werden und ein realistisches Fahrverhalten der autonomen Fahrfunktion erreicht werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass beim Ver gleich von Simulationsfahrdauer und Fahrzeit eine Standardabweichung berücksichtigt wird.
Mission können allgemein als Erreichen eines Zielpunktes ausgehend von einem Start punkt definiert sein. Hierbei ist es möglich, dass mehrere verschiedene Routen zwischen Startpunkt und Zielpunkt gefahren werden dürfen oder eine spezifische Route. Bei ver schiedenen Routen leidet die Vergleichbarkeit der Fahrzeiten. Wenn die Route fest vorge geben ist, kann die Vergleichbarkeit der Simulationsfahrdauer mit der Fahrdauer erhöht werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt darstellt.
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggre gate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei selbstlernendes neuronales Netz zum Trainieren des Algorithmus vorgesehen ist, wobei die Vorrichtung zum Ausführen fol gender Schritte ausgebildet ist: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Si mulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer mit der Fahrdauer, wobei,
(i) wenn die Simulationsfahrdauer länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algo rithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder
(ii) wenn die Simulationsfahrdauer nicht länger als einen vorgegebenen Zeit abstand länger dauert als die Fahrdauer, Klassifizieren der Mission als er folgreich.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn Schritt g) (i) erreicht ist, eine andere Mission ausgewählt und das Verfahren mit der anderen Mis sion wiederholt wird.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Echtzeit- Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern ausgewählt sind, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer ausge wählt sind.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung zur Verwendung eines Optimierungsalgorithmus beim Nachstellen der Verkehrssitu ation in der Simulationsumgebung ausgebildet ist, um Abweichungen zwischen der Simu lationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Mission durch Änderung von Parametern der Verkehrssitua tion in der Simulationsumgebung zu variieren und das Verfahren mit der modifizierten Mission durchzuführen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Änderung der Parameter randomisiert durchzuführen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Erwar tungswert eine Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echtzeit-Verkehrsdaten vorgesehen ist oder wobei die Vorrichtung dazu eingerichtet ist, eine Fahrzeit des Verkehrsteilnehmers mithilfe eines Agenten in der Simulationsumge bung zu ermitteln.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, den Algorithmus und/oder den wenigstens einen Regelsatz mit tels eines verstärkenden Lernen-Algorithmus zu trainieren.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simu lation der Mission bestimmt ist.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilneh mern darstellt, die die Mission in dem Einsatzgebiet durchführen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, mittels des selbstlernenden neuronalen Netzes den Regelsatz über vorgegebene Regelsatzgrenzen hinweg zu modifizieren.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu ausgebildet ist, beim Vergleich von Simulationsfahrdauer und Fahrzeit eine Standardabweichung zu berücksichtigen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt darstellt. Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Re cheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einerweiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Computerpro grammprodukt der zuvor beschriebenen Art. Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen- stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:
Fig. 1 eine Draufsicht auf ein Kraftfahrzeug; Fig. 2 ein Computerprogrammproduktmodul; Fig. 3 eine Straßenkarte eines real existierenden Einsatzgebiets mit Verkehrsfluss Informationen; Fig. 4 die Straßenkarte aus Fig. 3 mit einer Mission, sowie
Fig. 5 ein Ablaufdiagramm eines Trainingsverfahrens. Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird.
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pe dalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahr zeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden.
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können.
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.
Fig. 2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmo dul 30. Das Computerprogrammproduktmodul 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Methoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Varia tion des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 34 zu erhalten. Alternativ können auch bekannte Lernverfahren des überwachten und unüber- wachten Lernens, sowie Kombinationen dieser Lernverfahren verwendet werden.
Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Wer ten, in der Regel von Fachmännern Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.
Das Computerprogrammproduktmodul 30 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 30 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren. Insbesondere findet das Training gemäß der hier be schriebenen Lehre in einer Simulationsumgebung statt, da dies sicherer ist als ein Trai ning in einer realen Umgebung.
Das Computerprogrammproduktmodul 30 ist dazu eingerichtet, eine Metrik aufzustellen, die verbessert werden soll. Die Metrik ist im vorliegenden Fall eine Zeit bis zum Erreichen einer vorgegebenen Mission (nachfolgend Simulationsfahrzeit bezeichnet), beispielsweise die Fahrzeit von einem Startort zu einem Zielort, im Vergleich zu Erwartungswerten von real existierenden Fahrzeiten.
Wenn die Metrik eine gewisse Schwelle überschritten hat, z.B. eine Zeit kleiner als eine Grenzzeit, die sich anhand des Erwartungswertes bestimmt, kann die Metrik als erfüllt gel ten. Dann kann der Algorithmus 34 entweder hinsichtlich einer anderen Mission optimiert und weiter trainiert werden oder der Algorithmus kann in einer realen Umgebung getestet werden.
Fig. 3 zeigt eine Simulationsumgebung 36, die eine Straßenkarte eines real existierenden Einsatzgebiets 37 abbildet.
Die Straßenkarte des Einsatzgebiets 37 dient als Simulationsumgebung 36 zum Trainie ren des Algorithmus 34. Die Straßenkarte des Einsatzgebiets 37 weist Verkehrsflussinfor mationen betreffend den Verkehrsfluss auf verschiedenen Straßen auf. Diese Verkehrs flussinformationen sind Echtzeitinformationen, die über verschiedene Dienste bereitge stellt werden können. Solche Echtzeitinformationen können beispielsweise aus Handyor- tungdaten, Fahrzeugnavigationsdaten, Kameraaufnahmen von Verkehrsüberwachungska meras und dergleichen ermittelt werden.
In den Echtzeit-Verkehrsdaten werden einzelne Straßen auf der Straßenkarte des Ein satzgebiets 37 mit stockendem Verkehr 38 (gestrichelt dargestellt) oder stark stockendem Verkehr 40 (durchgezogen dargestellt) gekennzeichnet. Stockender Verkehr kann defi niert sein als Verkehr, der mit einer Durchschnittsgeschwindigkeit von unter 20 km/h fließt, stark stockender Verkehr solcher, der mit einer Durchschnittsgeschwindigkeit von unter 5 km/h fließt.
Es ist bekannt, entsprechende Echtzeit-Verkehrsdaten zur Routenplanung zu verwenden, um einerseits den Verkehr zu entlasten und andererseits in bestmöglicher Zeit zum Ziel zu gelangen.
Fig. 4 zeigt die Simulationsumgebung 36 der Straßenkarte des Einsatzgebiets 37 sowie eine Mission für den Algorithmus 34.
Die vorliegenden Mission ist, das simulierte Kraftfahrzeug 2 entlang einer bestimmten Route von einem Startpunkt S zu einem Zielpunkt Z zu fahren.
Das Computerprogrammproduktmodul 30 berechnet anhand der Echtzeit-Verkehrsdaten unter Berücksichtigung des vorherrschenden stockenden Verkehrs 38 und des vorherr schenden stark stockenden Verkehrs 40 einen Erwartungswert einer Fahrzeug zum Ab solvieren der Mission. Dieser Erwartungswert ist der Referenzwert für eine Fahrzeit TS, die zum Absolvieren der Mission durch simulierte Kraftfahrzeug 2 erforderlich ist.
Fig. 5 zeigt ein Ablaufdiagramm des Verfahrens. Zunächst wird nach dem Start das Computerprogrammproduktmodul bereitgestellt. Das Computerprogrammproduktmodul beinhaltet den zu trainierenden Algorithmus und ein selbstlernendes neuronales Netz.
Anschließend wird auf der Basis von realen Kartendaten eine Simulationsumgebung be reitgestellt. Die Simulationsumgebung kann neben Straßen und bestimmten Regeln auch andere Verkehrsteilnehmer nebst deren Missionen enthalten.
In einem weiteren Schritt wird eine Mission in der Simulationsumgebung bestimmt. Die Mission kann, wie im Zusammenhang mit Fig. 4 gezeigt, das Abfahren einer bestimmten Route von einem Startpunkt zu einem Zielpunkt sein.
In einem nächsten Schritt kann ein Erwartungswert für eine Fahrdauer anhand der realen Verkehrsdaten für das zu simulieren. Einsatzgebiet berechnet werden.
In einem weiteren Schritt wird die Simulation durchgeführt, und einer Simulationsfahr dauer bestimmt. Zum Durchführen der Simulation kann es erforderlich sein, Agenten in der Simulationsumgebung zu platzieren, die eine vergleichbare Verkehrssituation schaf fen, wie sie in der realen Umgebung vorliegen. Hierzu können auch Infrastrukturinformati onen, beispielsweise Ampelschaltungen zählen.
Sodann wird ein Vergleich der Simulationsfahrdauer mit dem Erwartungswert vorgenom men. Liegt die Simulationsfahrdauer hin nicht hinreichend nahe an dem Erwartungswert, wird der Algorithmus und/oder der Regelsatz variiert und die Simulation wird wiederholt. Dieser Schritt entspricht dem Prinzip des bestärkenden Lernens mit einer Belohnungs metrik, die der Algorithmus erreichen möchte.
Hat der Algorithmus eine Simulationsahrdauer erzielt, die hinreichend nahe an dem Er wartungswert liegt, gilt die Mission als erfolgreich absolviert.
Der Algorithmus kann durch verschiedene Missionen trainiert werden, beispielsweise ei ner Mission mit gleichem Start- und Zielpunkt, aber anderer Verkehrslage oder mit einer neuen Mission, die einen anderen Start- und/oder einen anderen Zielpunkt aufweist. Erst wenn alle Metriken erreicht sind, kann der Algorithmus eingefroren werden. Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei- spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar- ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.
Bezugszeichenliste 2 Kraftfahrzeug
4 Steuergerät
6 Recheneinheit
8 Speicher
10 Umgebungssensor 11 Umgebungssensor
12 Umgebungssensor
13 Umgebungssensor
14 Kamera
15 GPS-Modul 16 Raddrehzahlsensor
18 Beschleunigungssensor
20 Pedalsensor
22 Lenkung
24 Motorsteuerung 26 Bremsen
28 Computerprogrammprodukt
30 Computerprogrammproduktmodul
32 neuronales Netz
34 Algorithmus 36 Simulationsumgebung
37 Einsatzgebiet
38 stockender Verkehr
40 stark stockender Verkehr ts Simulationsfahrzeit
M Mission
5 Startpunkt
Z Zielpunkt

Claims

Patentansprüche
1. Verfahren zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer automati sierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls (30) für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) ent hält, b) Bereitstellen einer Simulationsumgebung (36) mit Simulationsparametern, wobei die Simulationsumgebung (36) Kartendaten eines real existierenden Einsatzgebiets (37), das Kraftfahrzeug (2) enthält, wobei ein Verhalten des Kraftfahrzeugs (2) durch einen Regelsatz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug (2), d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets (37) sowie Nachstellen der Verkehrssituation in der Simulationsumgebung (36,); e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer (ts) mit der Fahrdauer, wobei,
(i) wenn die Simulationsfahrdauer (ts) länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algorithmus (34) und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, o- der
(ii) wenn die Simulationsfahrdauer (ts) nicht länger als einen vorgegebenen Zeitab stand länger dauert als die Fahrdauer, Klassifizieren der Mission als erfolgreich.
2. Verfahren nach Anspruch 1 , wobei, wenn Schritt g) (i) erreicht ist, eine andere Mis sion ausgewählt und das Verfahren mit der anderen Mission wiederholt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei als Echtzeit-Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern gewählt werden, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer gewählt werden.
4. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Echtzeit-Ver kehrsdaten Infrastrukturinformationen beinhalten.
5. Verfahren nach einem der vorangegangenen Ansprüche, wobei beim Nachstellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren.
6. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird.
7. Verfahren nach Anspruch 6, wobei die Änderung der Parameter randomisiert durch geführt wird.
8. Verfahren nach einem der vorangegangenen Ansprüche, wobei als Fahrzeit die Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echt zeit-Verkehrsdaten oder eine Fahrzeit des Verkehrsteilnehmers mithilfe eines Agen ten in der Simulationsumgebung ermittelt wird.
9. Verfahren nach einem der vorangegangenen Ansprüche, wobei der Algorithmus (34) und/oder der wenigstens eine Regelsatz mittels eines verstärkenden Lernen- Algorithmus trainiert wird.
10. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Fahrdauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simulation der Mission bestimmt ist.
11. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Fahrdauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilnehmern darstellt, die die Mission in dem Einsatzgebiet (37) durchführen.
12. Verfahren nach einem der vorangegangenen Ansprüche, wobei das selbstlernende neuronale Netz den Regelsatz über vorgegebene Regelsatzgrenzen hinweg modifi ziert.
13. Verfahren nach einem der vorangegangenen Ansprüche, wobei eine Mission das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Ziel punkt darstellt.
14. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu ein gerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszufüh ren.
15. Kraftfahrzeug mit einem Computerprogrammprodukt nach Anspruch 14.
EP21707961.5A 2020-02-27 2021-02-23 Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug Withdrawn EP4111438A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020202540.1A DE102020202540A1 (de) 2020-02-27 2020-02-27 Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
PCT/EP2021/054442 WO2021170580A1 (de) 2020-02-27 2021-02-23 Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP4111438A1 true EP4111438A1 (de) 2023-01-04

Family

ID=74732920

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21707961.5A Withdrawn EP4111438A1 (de) 2020-02-27 2021-02-23 Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug

Country Status (4)

Country Link
EP (1) EP4111438A1 (de)
CN (1) CN115176297A (de)
DE (1) DE102020202540A1 (de)
WO (1) WO2021170580A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022203422A1 (de) 2022-04-06 2023-10-12 Psa Automobiles Sa Test einer automatischen Fahrsteuerfunktion mittels semi-realer Verkehrsdaten
CN114944057B (zh) * 2022-04-21 2023-07-25 中山大学 一种路网交通流量数据的修复方法与系统
DE102023201784A1 (de) * 2023-02-27 2024-08-29 Stellantis Auto Sas Adaptive realdatenbasierte Simulation eines zentralisiert koordinierten Verkehrsraums

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214979A1 (de) 2012-08-23 2014-02-27 Robert Bosch Gmbh Spurwahlassistent zur Optimierung des Verkehrsflusses (Verkehrsflussassistent)
US10421460B2 (en) * 2016-11-09 2019-09-24 Baidu Usa Llc Evaluation framework for decision making of autonomous driving vehicle
DE102017003742A1 (de) 2017-04-19 2018-10-25 Daimler Ag Verfahren zum Bestimmen einer optimalen Fahrtroute
US10551842B2 (en) * 2017-06-19 2020-02-04 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
US10496099B2 (en) * 2017-07-18 2019-12-03 Uatc, Llc Systems and methods for speed limit context awareness
DE102017007136A1 (de) * 2017-07-27 2019-01-31 Opel Automobile Gmbh Verfahren und Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug
DE102017216202A1 (de) 2017-09-13 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Prädiktion einer optimalen Fahrspur auf einer mehrspurigen Straße
DE102018217004A1 (de) * 2017-10-12 2019-04-18 Honda Motor Co., Ltd. Autonome Fahrzeugstrategiegenerierung
US10503172B2 (en) * 2017-10-18 2019-12-10 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
WO2019147939A1 (en) * 2018-01-26 2019-08-01 Nvidia Corporation Detection of hazardous driving using machine learning
US11328219B2 (en) 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
DE102018209804A1 (de) * 2018-06-18 2019-12-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vorhersage einer wahrscheinlichen Fahrroute für ein Fahrzeug
CN109733415B (zh) * 2019-01-08 2020-08-14 同济大学 一种基于深度强化学习的拟人化自动驾驶跟驰模型

Also Published As

Publication number Publication date
WO2021170580A1 (de) 2021-09-02
CN115176297A (zh) 2022-10-11
DE102020202540A1 (de) 2021-09-02

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
EP4052178A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102017200180A1 (de) Verfahren und Testeinheit zur Bewegungsprognose von Verkehrsteilnehmern bei einer passiv betriebenen Fahrzeugfunktion
EP3543985A1 (de) Simulieren verschiedener verkehrssituationen für ein testfahrzeug
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
EP3942379B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
EP3891664A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102014216257A1 (de) Verfahren zum Bestimmen einer Fahrstrategie
EP4226248A1 (de) Verfahren und ein system zum testen eines fahrerassistenzsystems für ein fahrzeug
EP4111438A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102017205508A1 (de) Verfahren zur automatischen Bewegungssteuerung eines Fahrzeugs
EP4073778B1 (de) Trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
EP2964503B1 (de) Schätzung der zukünftigen geschwindigkeit und/oder entfernung eines fahrzeugs von einem referenzpunkt und schätzung der zukünftigen beschleunigung
DE102018213971A1 (de) Verfahren und Vorrichtung zur Auswahl eines Fahrmanövers
DE102018220510A1 (de) Situationsabhängige Berechnung einer Soll-Fahrzeuggeschwindigkeit
DE102022208519A1 (de) Computerimplementiertes Verfahren und Computerprogramm zur Bewegungsplanung eines Ego-Fahrsystems in einer Verkehrssituation, computerimplementiertes Verfahren zur Bewegungsplanung eines Ego-Fahrsystems in einer realen Verkehrssituation Steuergerät für ein Ego-Fahrzeug
WO2022184363A1 (de) Computerimplementiertes verfahren zum trainieren wenigstens eines algorithmus für eine steuereinheit eines kraftfahrzeugs, computerprogrammprodukt, steuereinheit sowie kraftfahrzeug
EP4412882B1 (de) Verfahren zur planung einer trajektorie eines fahrmanövers eines kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie fahrzeug
EP4107590A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, verfahren zur optimierung eines verkehrsflusses in einer region, computerprogrammprodukt sowie kraftfahrzeug
WO2023245217A1 (de) Verfahren zum trainieren eines künstlichen neuronalen netzes eines fahrermodells
EP3256358B1 (de) Verfahren und system zum durchführen von automatisierten fahrmanövern
DE102023208690B3 (de) Verfahren zum Erzeugen eines Längsführungs-Modells für ein Fahrzeug zur Ermittlung wenigstens einer Längsführungsgröße zur Längsführung des Fahrzeugs und Längsführungsprofil-Ermittlungseinrichtung
DE102023211810A1 (de) Trainingsverfahren zum Trainieren eines neuronalen Netzes für eine Bewegungsplanung eines Fahrzeugs
EP4451159A1 (de) Hybrid-verkehrssimulation mit agentenmodellen zum test teleoperierter fahrzeuge
DE102019128115A1 (de) Fahrzeugmodell für Längsdynamik

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220816

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELLANTIS AUTO SAS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240808

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250902