DE102022207041A1

DE102022207041A1 - Method for planning motion trajectories by a machine learning model

Info

Publication number: DE102022207041A1
Application number: DE102022207041.0A
Authority: DE
Inventors: David Terjek; Peter Korosi-Szabo; Szilard Gyorgy Kocsis
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-07-11
Filing date: 2022-07-11
Publication date: 2024-01-11

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines Modells für maschinelles Lernen, wobei das Modell ein generatives Latente-Variablen-Modell ist, welches zur Vorhersage oder Planung von ein oder mehreren Bewegungstrajektorien für ein oder mehrere bewegliche Einheiten unter Vermeidung von Kollisionen eingerichtet ist, wobei das Verfahren umfasst: Erfassen von einer oder mehreren zurückgelegten Bewegungstrajektorien, wobei jede Bewegungstrajektorie einer der beweglichen Einheiten zugeordnet ist, und wobei jede Bewegungstrajektorie eine bisherige Bewegung der zugeordneten beweglichen Einheit über eine vorgegebene Zeitspanne hinweg angibt; Eingeben der Bewegungstrajektorien als beobachtbare Variablen in das Modell als Trainingsdaten; Festlegen des zuletzt eingenommenen Punkts einer Bewegungstrajektorie in einem Koordinatensystem als das Ziel der jeweiligen Bewegungstrajektorie; Definieren einer latenten Variablen des Modells so, dass sie Punkte des Koordinatensystems abbildet; und Einbringen der festgelegten Ziele der ein oder mehreren Bewegungstrajektorien in das Training des Modells mittels der definierten latenten Variablen.The invention relates to a method for training a model for machine learning, wherein the model is a generative latent variable model which is set up to predict or plan one or more movement trajectories for one or more moving units while avoiding collisions, wherein the Method includes: detecting one or more movement trajectories traveled, each movement trajectory being associated with one of the movable units, and each movement trajectory indicating a previous movement of the associated movable unit over a predetermined period of time; Entering the motion trajectories as observable variables into the model as training data; Determining the last point of a movement trajectory in a coordinate system as the destination of the respective movement trajectory; defining a latent variable of the model to represent points of the coordinate system; and introducing the specified goals of the one or more movement trajectories into training the model using the defined latent variables.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Planen von Bewegungstrajektorien durch ein Modell für maschinelles Lernen Modell für maschinelles Lernen und ein Verfahren zum Trainieren eines solchen Modells für maschinelles Lernen, sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.The present invention relates to a method for planning movement trajectories using a machine learning model, a machine learning model and a method for training such a machine learning model, as well as a computing unit and a computer program for carrying it out.

Hintergrund der ErfindungBackground of the invention

Zur Steuerung automatisierter oder zumindest teilautomatisierter Fahrzeuge, die eigenständig eine Fahrtroute planen oder eine geplante Fahrtroute abfahren, ist es erforderlich, das Verhalten anderer mobiler Verkehrsteilnehmer bzw. Fahrzeuge zu modellieren und vorherzusagen, um Kollisionen zu vermeiden. Üblicherweise wird für eine solche Vorhersage das bisherige oder übliche Verhalten von Verkehrsteilnehmern zusammen mit weiteren Bedingungen modelliert, um das zukünftige Verhalten vorherzusagen. Durch die Vorhersage des Verhaltens aller anderen Verkehrsteilnehmer und ihrer Umgebungsbedingungen kann dann die eigene Fahrtrajektorie für das automatisierte bzw. autonome Fahrzeug geplant werden und das Fahrzeug entsprechend auf sichere Weise angesteuert werden.In order to control automated or at least partially automated vehicles that independently plan a route or follow a planned route, it is necessary to model and predict the behavior of other mobile road users or vehicles in order to avoid collisions. For such a prediction, the previous or usual behavior of road users is usually modeled together with other conditions in order to predict future behavior. By predicting the behavior of all other road users and their environmental conditions, one's own driving trajectory can then be planned for the automated or autonomous vehicle and the vehicle can be controlled accordingly in a safe manner.

Dazu kann beispielsweise eine agentenbasierte Modellierung verwendet werden, bei der z.B. Ziele und Verhalten der Agenten getrennt betrachtet werden und dann die Interaktion zwischen den Agenten modelliert wird, um eine Vorhersage über das Gesamtsystem zu treffen. Im vorliegenden Fall können die einzelnen Verkehrsteilnehmer einschließlich des zu steuernden Fahrzeugs als Agenten betrachtet werden.For this purpose, for example, agent-based modeling can be used, in which, for example, the goals and behavior of the agents are considered separately and the interaction between the agents is then modeled in order to make a prediction about the entire system. In the present case, the individual road users, including the vehicle to be controlled, can be viewed as agents.

Allerdings wird das Verhalten von Verkehrsteilnehmern von einer Reihe von nicht beobachtbaren, d.h. latenten Faktoren beeinflusst. Dazu gehört insbesondere das Ziel bzw. der Zweck des jeweiligen Verhaltens, zum Beispiel das Fahrtziel einer Bewegung eines Fahrzeugs. Nur das eigene Ziel bzw. die eigenen Absichten des anzusteuernden Fahrzeugs ist bekannt; die Ziele anderer Teilnehmer können dagegen nur aus Beobachtungen indirekt abgeleitet werden. Solche latenten Faktoren erschweren eine Verhaltensmodellierung mit deterministischen Modellen für maschinelles Lernen (sog. Machine-Learning-Modelle, ML-Modelle).However, the behavior of road users is influenced by a number of unobservable, i.e. latent, factors. This includes in particular the goal or purpose of the respective behavior, for example the destination of a vehicle movement. Only the vehicle being driven towards its own destination or intentions is known; The goals of other participants, on the other hand, can only be derived indirectly from observations. Such latent factors make behavior modeling with deterministic machine learning models (so-called machine learning models, ML models) difficult.

Zwar gibt es Ansätze, dieses Problem mit generativen Modellen auf Basis latenter Variablen (deep latent variable models, DLVM) zu lösen. Die latenten Variablen, die durch solche Modelle gelernt werden, sind abstrakt und nicht explizit definierbar, können aber bei einer Verhaltensvorhersage genutzt werden, um die Absichten („intent“) der Agenten indirekt zu modellieren.There are approaches to solving this problem with generative models based on latent variables (deep latent variable models, DLVM). The latent variables learned by such models are abstract and cannot be explicitly defined, but can be used in behavior prediction to indirectly model the agents' intent.

Jedoch ist es schwierig, die Vorhersagen solcher Modelle so zu steuern, dass die Vorhersagen der Bedingung entsprechen, dass das anzusteuernde Fahrzeug sein angestrebtes Ziel erreicht. Ein DLV-Modell, das darauf trainiert ist, das Verhalten von Agenten im Verkehr zu modellieren, könnte zwar grundsätzlich lernen, die Ziele aller Agenten über latente Variablen zu modellieren; es gibt aber keine Möglichkeit, sicherzustellen, dass die Ziele tatsächlich modelliert werden.However, it is difficult to control the predictions of such models so that the predictions correspond to the condition that the vehicle to be controlled reaches its intended destination. A DLV model trained to model the behavior of agents in traffic could in principle learn to model the goals of all agents via latent variables; but there is no way to ensure that the goals are actually modeled.

Es ist dabei vielmehr zu erwarten, dass das Modell in einem solchen Fall andere latente Faktoren in den vorliegenden Daten entdeckt und mit einbezieht, die dann auf untrennbare Weise zusammen mit den interessierenden Agenten-Zielen in den latenten Variablen repräsentiert sind. Selbst wenn diese Vermischung mit anderen latenten Faktoren nicht auftreten würden und das Modell tatsächlich nur die Agenten-Ziele lernt, kann das Modell auf Basis latenter Variablen die Zielwerte nicht explizit modellieren. Um Vorhersagen zu finden, welche das gewünschte Ziel erreichen, müssen dann Gradientenverfahren zur Optimierung der Werte der latenten Variablen eingesetzt werden, was in der praktischen Umsetzung sehr ineffizient ist.Rather, it is to be expected that in such a case the model will discover and include other latent factors in the available data, which will then be represented in the latent variables in an inseparable way together with the agent goals of interest. Even if this mixing with other latent factors would not occur and the model actually only learns the agent goals, the model based on latent variables cannot explicitly model the goal values. In order to find predictions that achieve the desired goal, gradient methods must then be used to optimize the values of the latent variables, which is very inefficient in practical implementation.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß werden ein Verfahren zum Trainieren eines Modells für maschinelles Lernen, ein Verfahren zum Planen von Bewegungstrajektorien für eine bewegliche Einheit mittels eines derart trainierten Modells für maschinelles Lernen sowie eine Recheneinheit und ein Computerprogramm zu deren Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, a method for training a machine learning model, a method for planning movement trajectories for a movable unit using a machine learning model trained in this way, as well as a computing unit and a computer program for carrying it out are proposed with the features of the independent patent claims. Advantageous refinements are the subject of the subclaims and the following description.

Die Erfindung schafft ein verbessertes Verfahren zur Trajektorienplanung und zur effizienten und sicheren Ansteuerung automatisierter oder zumindest teilautomatisierter Fahrzeuge.The invention creates an improved method for trajectory planning and for efficient and safe control of automated or at least partially automated vehicles.

Insbesondere wird ein Verfahren zum Trainieren eines Modells für maschinelles Lernen vorgeschlagen, wobei das Modell ein generatives Latente-Variablen-Modell ist, welches zur Vorhersage oder Planung von einer oder mehreren Bewegungstrajektorien für eine oder mehrere bewegliche Einheiten unter Vermeidung von Kollisionen eingerichtet ist, wobei das Verfahren zunächst das Erfassen von einer oder mehreren zurückgelegten Bewegungstrajektorien umfasst, wobei jede Bewegungstrajektorie einer der beweglichen Einheiten zugeordnet ist, und wobei jede Bewegungstrajektorie eine bisherige Bewegung der zugeordneten beweglichen Einheit über eine vorgegebene Zeitspanne hinweg angibt. Die Bewegungstrajektorien werden dann als beobachtbare Variablen in das Modell als Trainingsdaten eingegeben. Außerdem wird ein zuletzt eingenommener Punkt einer Bewegungstrajektorie in einem Koordinatensystem als das Ziel der jeweiligen Bewegungstrajektorie definiert. Schließlich wird eine latente Variable des Modells so definiert, dass sie Punkte des Koordinatensystems abbildet, und die festgelegten Ziele der einen oder mehreren Bewegungstrajektorien werden in das Training des Modells mittels der definierten latenten Variablen eingebracht.In particular, a method for training a machine learning model is proposed, wherein the model is a generative latent variable model which is set up to predict or plan one or more movement trajectories for one or more moving units while avoiding collisions, wherein the The method first comprises detecting one or more movement trajectories that have been traveled, each movement trajectory being assigned to one of the movable units, and each movement trajectory being a previous one Movement of the assigned movable unit indicates over a predetermined period of time. The movement trajectories are then entered as observable variables into the model as training data. In addition, a last point of a movement trajectory is defined in a coordinate system as the target of the respective movement trajectory. Finally, a latent variable of the model is defined to represent points of the coordinate system, and the specified goals of the one or more movement trajectories are incorporated into the training of the model using the defined latent variable.

Es wird also eine Zielposition der beweglichen Einheit jeweils als das Ende ihrer Bewegungstrajektorie definiert. Auf diese Weise kann erreicht werden, dass das Modell die Zielpositionen der beweglichen Einheiten, die an sich unbekannt sind und sonst nur als untrennbarer Teil der Gesamtheit der latenten Variablen modelliert werden können, in dem Modell explizit modelliert werden.A target position of the movable unit is therefore defined as the end of its movement trajectory. In this way it can be achieved that the target positions of the moving units, which are unknown in themselves and can otherwise only be modeled as an inseparable part of the totality of latent variables, are explicitly modeled in the model.

Das Einbringen der Ziele der Bewegungstrajektorien kann gemäß möglichen Ausführungsformen umfassen, dass als Ausgabewert des Latente-Variablen-Modells eine Instanz einer vorhergesagten Wahrscheinlichkeitsverteilung für die definierte latente Variable erhalten wird. Auf Grundlage der vorhergesagten Wahrscheinlichkeitsverteilung für die definierte latente Variable kann dann die Likelihood oder die log-Likelihood (oder eine genäherte Likelihood-Funktion) zum Erhalten von Zielkoordinaten einer Bewegungstrajektorie berechnet und maximiert werden.According to possible embodiments, introducing the goals of the movement trajectories may include obtaining an instance of a predicted probability distribution for the defined latent variable as the output value of the latent variable model. Based on the predicted probability distribution for the defined latent variable, the likelihood or log-likelihood (or an approximate likelihood function) for obtaining target coordinates of a movement trajectory can then be calculated and maximized.

Dabei kann die latente Variable durch eine Normalverteilung in mindestens zwei Dimensionen definiert werden, wobei die mindestens zwei Dimensionen das Koordinatensystem abbilden. Damit wird es möglich, konkrete Werte für die Zielkoordinaten einer Bewegungstrajektorie in das Modell einzubringen, sowohl im Training als auch später im trainierten Modell. Insbesondere können auf diese Weise gewünschte Zielkoordinaten eines Ego-Fahrzeugs oder definierte Zielkoordinaten beobachteter Bewegungstrajektorien anderer Fahrzeuge explizit definiert werden.The latent variable can be defined by a normal distribution in at least two dimensions, with the at least two dimensions representing the coordinate system. This makes it possible to introduce concrete values for the target coordinates of a movement trajectory into the model, both during training and later in the trained model. In particular, desired target coordinates of an ego vehicle or defined target coordinates of observed movement trajectories of other vehicles can be explicitly defined in this way.

Das Einbringen der Zielkoordinaten kann alternativ das Festlegen von Zielkoordinaten für ein oder mehrere der zurückgelegten Bewegungstrajektorien umfassen, die als Trainingsdaten in das Modell eingegeben werden. Diese Zielkoordinaten können dann (zusammen mit der zugehörigen Bewegungstrajektorie) als „Ground Truth“, d.h. als wahr definierte Zielwerte für eine bestimmte Trajektorie, beim Training in das Modell eingebracht werden. Auch damit kann das Modell dazu gebracht werden, Werte in den latenten Variablen explizit zu modellieren, die den zweidimensionalen Zielkoordinaten entsprechen. Mit dieser Variante werden also explizit modellierte Ziele erreicht, ohne dabei einen zusätzlichen Verlustterm hinzuzufügen.The introduction of the target coordinates can alternatively include setting target coordinates for one or more of the movement trajectories traveled, which are entered into the model as training data. These target coordinates can then (together with the associated movement trajectory) be introduced into the model during training as “ground truth”, i.e. target values defined as true for a specific trajectory. This can also be used to force the model to explicitly model values in the latent variables that correspond to the two-dimensional target coordinates. With this variant, explicitly modeled goals are achieved without adding an additional loss term.

Das Modell kann in solchen Verfahren insbesondere ein Deep-Latent-Variable-Modell, z.B. einen ‚Variational Autoencoder‘ oder ein ‚Deep Latent Gaussian‘-Modell umfassen.In such methods, the model can in particular include a deep latent variable model, e.g. a 'Variational Autoencoder' or a 'Deep Latent Gaussian' model.

Darüber hinaus wird ein Verfahren zum Planen von Bewegungstrajektorien für eine erste bewegliche Einheit mittels eines Modells für maschinelles Lernen vorgeschlagen, wobei das Modell ein trainiertes generatives Latente-Variablen-Modell ist, welches nach einem Verfahren wie vorstehend beschrieben trainiert wurde. Dieses Verfahren zur Planung umfasst das Erfassen von zurückgelegten Bewegungstrajektorien, wobei jede Bewegungstrajektorie der ersten oder einer weiteren beweglichen Einheit zugeordnet ist, und wobei jede Bewegungstrajektorie eine bisherige Bewegung der zugeordneten beweglichen Einheit über eine vorgegebene Zeitspanne hinweg angibt, und das Eingeben der zurückgelegten Bewegungstrajektorien als beobachtbare Variablen in das Modell. Außerdem werden mindestens Zielkoordinaten eines eigenen Ziels erfasst, welches von der beweglichen Einheit angesteuert werden soll. Die Zielkoordinaten können beispielsweise aus einer Routenplanung, aus weiteren Randbedingungen, aus Nutzereingaben oder ähnlichem gewonnen werden. Die Zielkoordinaten werden dann als ein Wert der definierten latenten Variablen des Modells eingegeben, und als Ausgabewert wird mindestens eine geplante Bewegungstrajektorie erhalten, die so festgelegt ist, dass sie die Zielkoordinaten des eigenen Ziels erreicht. Durch die explizite Modellierung von Zielen für eine Bewegungstrajektorie wird es also möglich, die Vorhersagen bzw. Planungen eines solchen Modells mit einem festgelegten Ziel zu konditionieren, z.B. mit dem angestrebten Ziel eines Ego-Fahrzeugs.In addition, a method for planning movement trajectories for a first moving unit using a machine learning model is proposed, the model being a trained generative latent variable model which was trained according to a method as described above. This method of planning includes detecting movement trajectories that have been traveled, each movement trajectory being assigned to the first or a further movable unit, and each movement trajectory indicating a previous movement of the associated movable unit over a predetermined period of time, and entering the movement trajectories traveled as observable ones variables into the model. In addition, at least target coordinates of one's own target are recorded, which is to be controlled by the mobile unit. The target coordinates can be obtained, for example, from route planning, from other boundary conditions, from user input or similar. The target coordinates are then input as a value of the defined latent variable of the model, and at least one planned movement trajectory set to reach the target coordinates of one's own target is obtained as an output value. By explicitly modeling goals for a movement trajectory, it becomes possible to condition the predictions or planning of such a model with a defined goal, e.g. with the desired goal of an ego vehicle.

Die zurückgelegten Bewegungstrajektorien, insbesondere die Trajektorien anderer Fahrzeuge bzw. Teilnehmer, können dabei erfasst werden durch mindestens eines der folgenden: Auswertung von Sensordaten in der Umgebung der ersten beweglichen Einheit; Auswertung von Kamerabildern in der ersten beweglichen Einheit; Übermittelung von Bewegungstrajektorien von einer anderen Einheit; Interpolation oder Extrapolation von bekannten Wegpunkten einer beweglichen Einheit.The movement trajectories traveled, in particular the trajectories of other vehicles or participants, can be recorded by at least one of the following: evaluation of sensor data in the vicinity of the first movable unit; Evaluation of camera images in the first mobile unit; Transmission of movement trajectories from another unit; Interpolation or extrapolation of known waypoints of a moving unit.

Das Verfahren kann dann optional weiter das Weiterleiten der geplanten Bewegungstrajektorie an eine Steuereinheit, welche die erste bewegliche Einheit ansteuert umfassen.The method can then optionally further include forwarding the planned movement trajectory to a control unit which controls the first movable unit.

Es ist auch möglich, dass das Planungsverfahren direkt in einer Steuereinheit stattfindet, die auch die Ansteuerung übernimmt, bzw. im selben System stattfindet, und dass das Verfahren darüber hinaus das Ansteuern der ersten beweglichen Einheit so umfasst, dass ihre Bewegung der geplanten Bewegungstrajektorie folgt.It is also possible that the planning process takes place directly in a control unit that also takes over the control, or takes place in the same system, and that the process also includes controlling the first movable unit so that its movement follows the planned movement trajectory.

Alternativ oder zusätzlich ist es möglich, ein weiteres trainiertes Modell dieser Art nur zur Vorhersage von Bewegungstrajektorien mehrerer beweglicher Einheiten zu verwenden, und dann diese Bewegungstrajektorien zu nutzen, um eine optimale Bewegungstrajektorie für die erste bewegliche Einheit zu planen. Dabei ist es beispielsweise denkbar, so vorhergesagte Bewegungstrajektorien als „beobachtete“ Trajektorien in ein erstes Modell dieser Art einzugeben, wobei das Modell zur Planung einer optimalen Trajektorie auf dieser Basis trainiert ist. Alternativ können auf diese Weise vorhergesagte Bewegungstrajektorien, die aus einem Deep-Latent-Variable-Modell wie oben beschrieben gewonnen wurden, auch in andere Modelle zur Trajektorienplanung eingesetzt werden.Alternatively or additionally, it is possible to use another trained model of this type only to predict movement trajectories of several moving units, and then use these movement trajectories to plan an optimal movement trajectory for the first moving unit. It is conceivable, for example, to enter movement trajectories predicted in this way as “observed” trajectories into a first model of this type, with the model being trained on this basis to plan an optimal trajectory. Alternatively, movement trajectories predicted in this way, which were obtained from a deep latent variable model as described above, can also be used in other models for trajectory planning.

Mit den hier vorgestellten Verfahren kann der Effekt erreicht werden, die Vorhersage und/oder Planung von Bewegungstrajektorien zu verbessern und effizienter zu gestalten. Damit kann ein automatisiertes bzw. autonomes Fahrzeug sicherer angesteuert werden, da Kollisionen mit anderen Fahrzeugen oder generell anderen Elementen besser vermieden werden, wenn das Fahrzeug einer Trajektorie folgt, die mit den hier vorgestellten Verfahren geplant wurde. Gleichzeitig wird durch die explizite Modellierung des Ziels der Teilnehmer, insbesondere des Ego-Fahrzeugs, eine effizientere Berechnung erreicht. Somit kann in zeitkritischen Situationen, z.B. im Straßenverkehr, schneller reagiert werden und bessere Planungen erreicht werden.The methods presented here can achieve the effect of improving the prediction and/or planning of movement trajectories and making them more efficient. This means that an automated or autonomous vehicle can be controlled more safely, since collisions with other vehicles or other elements in general can be better avoided if the vehicle follows a trajectory that was planned using the methods presented here. At the same time, more efficient computation is achieved by explicitly modeling the participants' goal, especially the ego vehicle. This means that in time-critical situations, e.g. in road traffic, you can react more quickly and achieve better planning.

Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.A computing unit according to the invention, for example a control unit of a motor vehicle, is set up, in particular in terms of programming, to carry out a method according to the invention.

Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.The implementation of a method according to the invention in the form of a computer program or computer program product with program code for carrying out all method steps is also advantageous because this causes particularly low costs, especially if an executing control device is used for additional tasks and is therefore present anyway. Finally, a machine-readable storage medium is provided with a computer program stored thereon as described above. Suitable storage media or data carriers for providing the computer program are, in particular, magnetic, optical and electrical memories, such as hard drives, flash memories, EEPROMs, DVDs, etc. It is also possible to download a program via computer networks (Internet, intranet, etc.). Such a download can be wired or wired or wireless (e.g. via a WLAN network, a 3G, 4G, 5G or 6G connection, etc.).

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and refinements of the invention result from the description and the accompanying drawing.

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.The invention is shown schematically in the drawing using exemplary embodiments and is described below with reference to the drawing.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

1 schematically shows the structure of a deep latent variable model according to an exemplary embodiment.

Detaillierte Beschreibung von AusführungsformenDetailed Description of Embodiments

Die nachstehend beschriebenen Ausführungsformen können verwendet werden, um die Ansteuerung und Routenplanung von Fahrzeugen zu verbessern, die mit vollautomatisierten oder zumindest teilautomatisierten Fahrfunktionen ausgestattet sind. Dabei können diese Verfahren grundsätzlich für alle Fahrzeugtypen angewendet werden. Insbesondere eigen sich Verfahren dieser Art für vollständig selbstfahrende Kraftfahrzeuge im Straßenverkehr, wo eine Vielzahl von Bedingungen wie die verfügbaren Straßenflächen, Verkehrsregeln, Routenbedingungen zusammen mit dem nicht vollständig vorhersagbaren Verhalten anderer Verkehrsteilnehmer, z.B. anderer manueller oder selbstfahrender Fahrzeuge, berücksichtigt werden müssen. Ein weiteres Anwendungsgebiet für automatisierte Fahrfunktionen sind Fahrzeuge im Industriekontext, z.B. sogenannte fahrerlose Transportfahrzeuge (AGV, automated guided vehicle), die in erster Linie zum Materialtransport verwendet werden und dabei teilweise oder vollständig automatisiert gesteuert sein können. Alle diese und weitere Anwendungsgebiete werden im Folgenden als Fahrzeuge benannt.The embodiments described below can be used to improve the control and route planning of vehicles that are equipped with fully automated or at least partially automated driving functions. In principle, these procedures can be used for all vehicle types. In particular, methods of this type are suitable for fully self-driving motor vehicles in road traffic, where a variety of conditions such as available road space, traffic rules, route conditions, together with the not completely predictable behavior of other road users, e.g. other manual or self-driving vehicles, must be taken into account. Another area of application for automated driving functions are vehicles in an industrial context, e.g. so-called driverless transport vehicles (AGV, automated guided vehicle), which are primarily used to transport materials and can be partially or completely automated. All of these and other areas of application are referred to below as vehicles.

Um ein zumindest teilweise automatisiertes Fahrzeug anzusteuern, sind verschiedene Informationen erforderlich. Einerseits muss dabei das Ziel des anzusteuernden Fahrzeugs selbst (auch als „Ego-Fahrzeug“ bzw. ego vehicle bezeichnet) bekannt sein. Als Ziel kann dabei das Fahrtziel als Koordinate im engeren Sinne betrachtet werden; ebenso können dabei aber zusätzliche Parameter vorgegeben sein, z.B. eine erwünschte Durchschnittsgeschwindigkeit, eine Mindest- und/oder Maximalgeschwindigkeit, eine Begrenzung der Beschleunigung, energiesparendes Fahrverhalten oder andere.In order to control an at least partially automated vehicle, various information is required. On the one hand, the destination of the vehicle to be controlled (also referred to as the “ego vehicle” or ego vehicle) must be known. The destination can be viewed as a coordinate in the narrower sense; However, additional parameters can also be specified, for example a desired average speed, a minimum and/or Maximum speed, a limitation on acceleration, energy-saving driving behavior or others.

Darüber hinaus sind zur Ansteuerung Vorhersagen über alle Umgebungsparameter erforderlich, die sich verändern können, aber sich dabei nicht deterministisch verhalten. Dazu gehören insbesondere andere Verkehrsteilnehmer. Zwar kann über verschiedene Sensoren, Kameras und ähnliche Methoden kontinuierlich erfasst werden, wo sich andere Verkehrsteilnehmer im Moment befinden; daraus kann aber nicht automatisch mit Sicherheit bestimmt werden, wo sich diese Verkehrsteilnehmer in der folgenden Zeit befinden werden. Die Ziele der anderen Verkehrsteilnehmer bzw. Fahrzeuge sind nicht bekannt und können nur indirekt aus den bisherigen Beobachtungen abgeleitet oder vorhergesagt werden. In addition, the control requires predictions about all environmental parameters that can change but do not behave deterministically. This particularly includes other road users. Various sensors, cameras and similar methods can be used to continuously record where other road users are at the moment; However, it cannot automatically be determined with certainty where these road users will be in the following period. The destinations of the other road users or vehicles are not known and can only be derived or predicted indirectly from previous observations.

Beispielsweise kann erfasst werden, dass sich weitere Fahrzeuge vor, hinter oder neben dem Ego-Fahrzeug befinden und sich ebenfalls kontinuierlich bewegen. Ebenso können stehende Fahrzeuge erfasst werden. Aus diesen Daten ist jedoch nicht einfach ableitbar, ob diese Fahrzeuge sich weiter mit der bisherigen Geschwindigkeit bewegen werden, ob möglicherweise eines der Fahrzeuge gerade ein Überholmanöver durchführt und damit seine Position relativ zu den anderen Fahrzeugen wechseln wird, ob ein Fahrzeug abbremst oder ein stehendes Fahrzeug sich wieder in Bewegung setzt, und viele andere. Insbesondere sind die reinen Kenntnisse der Straßenkarte nicht ausreichend, um die Bewegungstrajektorien anderer Verkehrsteilnehmer vorherzusagen, da an vielen Punkten unzählige Varianten möglich sind. So können Fahrzeuge (oder auch Fußgänger) an einer Kreuzung geradeaus fahren oder abbiegen, sie können ihre Geschwindigkeit verändern, können die Fahrspur vorübergehend oder dauerhaft ändern und weitere. Ohne Berücksichtigung dieser Möglichkeiten ist das Risiko einer Kollision des Ego-Fahrzeugs mit anderen Teilnehmern groß.For example, it can be recorded that other vehicles are in front of, behind or next to the ego vehicle and are also moving continuously. Stationary vehicles can also be detected. However, it is not easy to deduce from this data whether these vehicles will continue to move at their previous speed, whether one of the vehicles is currently carrying out an overtaking maneuver and will therefore change its position relative to the other vehicles, whether a vehicle is braking or a stationary vehicle is moving again, and many others. In particular, mere knowledge of the road map is not sufficient to predict the movement trajectories of other road users, as countless variants are possible at many points. Vehicles (or pedestrians) can drive straight ahead or turn at an intersection, they can change their speed, they can change their lane temporarily or permanently, and more. Without taking these possibilities into account, the risk of the ego vehicle colliding with other participants is high.

Teile solcher zukünftiger Bewegungen können jedoch grundsätzlich mit einer gewissen Wahrscheinlichkeit zumindest für die nähere Zukunft (z.B. für einen Zeitraum von einigen Sekunden) vorhergesagt werden, wenn die bisherige Fahrtrajektorie bekannt ist. Ein Fahrzeug, das sich in einem Bogenverlauf entlang einer Abbiegung bewegt, wird mit großer Wahrscheinlichkeit auch weiter auf diesem Bogen fahren, bis der Abbiegevorgang beendet ist, und von dort die Fahrt entlang dem Straßenverlauf fortsetzen. Ein Fahrzeug, das in den letzten zehn Sekunden aus einer Fahrspur ausgeschert ist und anschließend stärker beschleunigt hat, befindet sich wahrscheinlich in einem Überholvorgang, so dass zu erwarten ist, dass sich das Fahrzeug entweder auf der neuen Spur weiterbewegt oder nach einer gewissen Zeit weiter vorne wieder in die vorherige Spur einschert. Auch Wechselwirkungen zwischen mehreren Fahrzeugen sind dabei zu berücksichtigen; wenn ein Fahrzeug in einer Spur abbremst, werden voraussichtlich auch die darauffolgenden Fahrzeuge ihre Geschwindigkeit verringern oder die Spur wechseln, um eine Kollision zu vermeiden.However, parts of such future movements can in principle be predicted with a certain degree of probability, at least for the near future (e.g. for a period of a few seconds) if the previous travel trajectory is known. A vehicle that moves in an arc along a turn will most likely continue on this arc until the turn is completed and from there continue its journey along the road. A vehicle that has moved out of a lane in the last ten seconds and then accelerated more strongly is probably in the process of overtaking, so it can be expected that the vehicle will either continue moving in the new lane or, after a certain time, move further ahead merges back into the previous track. Interactions between several vehicles must also be taken into account; When a vehicle slows down in a lane, the vehicles following it are also likely to reduce their speed or change lanes to avoid a collision.

Um solche Vorhersagen in komplexen Umgebungen zur Ansteuerung von beweglichen Fahrzeugen zu treffen, können agentenbasierte Modelle bzw. Multiagentensysteme genutzt werden. Dabei sollen die Bewegungstrajektorien aller beweglichen Teilnehmer, der Agenten, auf Basis ihres bisherigen Verhaltens für eine bestimmte Zeitspanne in der Zukunft vorhergesagt werden. Zur Vereinfachung kann die Bewegung für jeden Agenten auch unabhängig von den anderen Agenten modelliert werden.In order to make such predictions in complex environments to control moving vehicles, agent-based models or multi-agent systems can be used. The movement trajectories of all moving participants, the agents, should be predicted for a certain period of time in the future based on their previous behavior. For simplicity, the movement for each agent can also be modeled independently of the other agents.

Zur Vorhersage zukünftiger Bewegungstrajektorien auf Basis der bisherigen Bewegungstrajektorien (und optional weiterer Randbedingungen und Umgebungsdaten) eines Agenten können insbesondere statistische Methoden sowie Methoden des maschinellen Lernens genutzt werden. Die hier vorgestellten Ausführungsformen basieren auf Methoden, welche latente Variablen bei der Modellierung indirekt berücksichtigen, d.h. Variablen, die nicht direkt beobachtbar sind. Beobachtbare Variablen sind in diesem Fall alle Parameter, die messbar bzw. erfassbar sind oder aus gemessenen oder erfassten Daten berechnet werden können, also z.B. beobachtete Aufenthaltsorte, Geschwindigkeiten, Beschleunigungswerte, und andere. Natürlich können als beobachtbare Variablen grundsätzlich auch simulierte Daten verwendet werden.In particular, statistical methods and machine learning methods can be used to predict future movement trajectories based on an agent's previous movement trajectories (and optionally other boundary conditions and environmental data). The embodiments presented here are based on methods that indirectly take latent variables into account during modeling, i.e. variables that are not directly observable. Observable variables in this case are all parameters that can be measured or recorded or can be calculated from measured or recorded data, for example observed locations, speeds, acceleration values, and others. Of course, simulated data can also be used as observable variables.

Insbesondere können die hier vorgestellten Verfahren in Zusammenhang mit Latent Variable-Modellen genutzt werden. Dabei handelt es sich um Methoden des maschinellen Lernens auf Grundlage von generativen Modellen.In particular, the methods presented here can be used in conjunction with latent variable models. These are machine learning methods based on generative models.

Da es schwer möglich ist, aus einigen hochdimensionalen Datenpunkten einer beobachtbaren Ausgangsvariable eine komplexe Wahrscheinlichkeitsverteilung direkt zu erkennen oder zu berechnen, nutzen solche Modelle eine zusätzliche indirekte Wahrscheinlichkeitsverteilung, die alle komplexen Korrelationen zwischen den ursprünglichen Datenpunkten enthält. Zu diesem Zweck werden nicht beobachtbare latente Variablen eingeführt und eine damit bedingte Wahrscheinlichkeit für die beobachtbare Variable genutzt. Durch Einführung einer Prior-Verteilung über die latenten Variablen kann dann die Wahrscheinlichkeitsverteilung der beobachtbaren Variablen besser ausgedrückt werden. In einem Deep-Latent-Variable-Modell werden die verschiedenen Verteilungen durch neuronale Netze optimiert.Since it is difficult to directly detect or calculate a complex probability distribution from a few high-dimensional data points of an observable output variable, such models use an additional indirect probability distribution that contains all complex correlations between the original data points. For this purpose, unobservable latent variables are introduced and a resulting probability is used for the observable variable. By introducing a prior distribution over the latent variables, the probability distribution of the observable variables can then be better expressed. In a deep latent variable model the different distributions are optimized by neural networks.

Solche Modelle können insbesondere für unüberwachtes Lernen genutzt werden, bei welchem Daten mit unbekannter Struktur als Trainingsdaten genutzt werden und wobei das Modell mit fortschreitendem Training in der Lage ist, Muster, Strukturen, Verteilungen und andere Eigenschaften der Daten zu erkennen und diese später zur Vorhersage weiterer Ergebnisse zu nutzen. Die Modelle auf Basis latenter Variablen sind aber auch für teilüberwachtes und überwachtes Lernen anwendbar (d.h. unter Verwendung von Trainingsdaten, für die das Ergebnis der Vorhersage oder Klassifikation als bekannt angenommen wird).Such models can be used in particular for unsupervised learning, in which data with an unknown structure is used as training data and, as training progresses, the model is able to recognize patterns, structures, distributions and other properties of the data and use them later to predict further ones to use results. However, the models based on latent variables are also applicable for semi-supervised and supervised learning (i.e. using training data for which the result of the prediction or classification is assumed to be known).

Beispielweise kann als ‚Deep Latent Variable‘-Modell für ein Verfahren wie hier beschrieben ein ‚Variational Autoencoder‘ genutzt werden. Die grundsätzlichen Eigenschaften von Modellen auf Basis latenter Variablen, insbesondere von ‚Deep Latent Variable‘-Modellen, sind im Fach bekannt und können beispielsweise den Veröffentlichungen „Stochastic Backpropagation and Approximate Inference in Deep Generative Models“, Rezende et al., arXiv:1401.4082 [stat.ML] oder „Auto-Encoding Variational Bayes“, Kingma et al., arXiv:1312.6114 [stat.ML] entnommen werden.For example, a 'Variational Autoencoder' can be used as a 'Deep Latent Variable' model for a method as described here. The basic properties of models based on latent variables, in particular 'Deep Latent Variable' models, are known in the art and can be found, for example, in the publications "Stochastic Backpropagation and Approximate Inference in Deep Generative Models", Rezende et al., arXiv:1401.4082 [ stat.ML] or “Auto-Encoding Variational Bayes”, Kingma et al., arXiv:1312.6114 [stat.ML].

Wie bereits beschrieben, sind bei einer Ansteuerung eines zumindest teilweise automatisiertenFahrzeugs nur die eigenen Ziele definitiv bekannt, d.h. nur die Ziele des Ego-Fahrzeugs. Diese können beispielsweise als reine Koordinaten in einem Koordinatensystem festgelegt sein, aber auch durch zusätzliche Parameter definiert sein; wie etwa eine Fahrtrichtung, eine Geschwindigkeit, eine Beschleunigung oder andere. Bei der Verwendung von Vorhersagemodellen ist es daher möglich, die Vorhersagen auf Grundlage des bekannten Ziels des Ego-Fahrzeugs zu konditionieren, d.h. dieses Ziel als Bedingung für das Ergebnis der Gesamtmodellierung als Randbedingung festzusetzen. Als Ergebnis erhält man dann für das aktuelle Verkehrsszenario genau die Vorhersagen, welche mit dem bekannten Ziel des Ego-Fahrzeugs übereinstimmen. Entsprechend kann auch bei einem Modell für maschinelles Lernen, welches dazu dient, Trajektorien für das Ego-Fahrzeug zu planen, eine solche Randbedingung festgelegt werden; ein entsprechendes trainiertes Modell wird damit realistische Trajektorien ausgeben, denen das Ego-Fahrzeug folgen kann, so dass es sein vorgegebenes Ziel erreicht. Falls das Ziel nicht erreichbar ist oder abhängig von bestimmten Randbedingungen nicht erreichbar ist, z.B. nicht auf sichere Weise oder nicht mit vorgegebenen Vorschriften für weitere Parameter (Straßenkarten, Geschwindigkeiten) erreichbar ist, werden die Vorhersagen des Modells entweder das Ziel nicht erreichen, oder sie werden Kollisionen zwischen dem Ego-Fahrzeug und anderen Fahrzeugen vorhersagen. In einem solchen Fall muss das zu erreichende Ziel des Ego-Fahrzeugs üblicherweise durch das System abgeändert werden.As already described, when controlling an at least partially automated vehicle, only one's own goals are definitely known, i.e. only the goals of the ego vehicle. These can, for example, be defined as pure coordinates in a coordinate system, but can also be defined by additional parameters; such as a direction of travel, a speed, an acceleration or others. When using prediction models, it is therefore possible to condition the predictions based on the known goal of the ego vehicle, i.e. to set this goal as a boundary condition for the result of the overall modeling. The result is that you get exactly the predictions for the current traffic scenario that match the known destination of the ego vehicle. Accordingly, such a boundary condition can also be specified in a machine learning model that is used to plan trajectories for the ego vehicle; A corresponding trained model will then output realistic trajectories that the ego vehicle can follow so that it reaches its specified goal. If the goal is not achievable or is not achievable depending on certain boundary conditions, e.g. not achievable in a safe manner or not achievable with given regulations for other parameters (road maps, speeds), the model's predictions will either not achieve the goal, or they will Predict collisions between the ego vehicle and other vehicles. In such a case, the goal of the ego vehicle usually has to be changed by the system.

Es wird nun vorgeschlagen, die an sich unbekannten Ziele der Teilnehmer bzw. Agenten, die ansonsten bei einem Modell auf Basis latenter Variablen untrennbar mit allen anderen Faktoren in der latenten Verteilung einfließen würden, explizit zu modellieren.It is now proposed to explicitly model the inherently unknown goals of the participants or agents, which would otherwise be inseparable from all other factors in the latent distribution in a model based on latent variables.

Um aus dem Deep-Latent-Variable-Modell eine explizite Modellierung der Ziele der einzelnen Agenten zu erhalten, kann erfindungsgemäß angenommen werden, dass das Ziel jedes Agenten für eine gegebene bisherige Trajektorie jeweils das Erreichen des Endpunkts dieser Trajektorie war. Die tatsächlichen Absichten und Annahmen der Agenten müssen nicht bekannt oder explizit modelliert sein. Die Trajektorien können bereits einzeln vorliegen oder aus einem Datensatz, der zumindest einen zeitlichen Ablauf von Wegpunkten für einen oder mehrere Agenten umfasst, extrahiert sein. Es kann also für jede Trajektorie, die einem Agenten zugeordnet ist, der Endpunkt (d.h. der zuletzt eingenommene Punkt auf der Trajektorie) als Ziel des Agenten definiert werden. Indem auf diese Weise ein Ziel für jede Trajektorie definiert werden kann, kann das Trainingsziel (training objective) für das Training des Deep-Latent-Variable-Modells mit einem Hilfsterm ergänzt werden, welcher die Likelihood-Funktion dieser Zielposition mit der vorhergesagten latenten Verteilung quantifiziert.In order to obtain an explicit modeling of the goals of the individual agents from the deep latent variable model, it can be assumed according to the invention that the goal of each agent for a given previous trajectory was to reach the end point of this trajectory. The agents' actual intentions and assumptions do not need to be known or explicitly modeled. The trajectories can already exist individually or can be extracted from a data set that includes at least a time sequence of waypoints for one or more agents. So for each trajectory that is assigned to an agent, the end point (i.e. the last point reached on the trajectory) can be defined as the agent's goal. By defining a target for each trajectory in this way, the training objective for training the deep latent variable model can be supplemented with an auxiliary term that quantifies the likelihood function of this target position with the predicted latent distribution .

1 zeigt eine schematische Übersicht über die verschiedenen Daten und Modellfunktionen für das Training eines Modells nach einer möglichen Ausführungsform. 1 shows a schematic overview of the various data and model functions for training a model according to a possible embodiment.

Die Daten 100, die zum Training des Modells und auch später zur tatsächlichen Trajektorienplanung genutzt werden, können zunächst beliebig ausführliche Informationen über die Bewegungen von einem oder mehreren Agenten umfassen. Dabei können die Trajektorien bereits als solche, z.B. als Abfolge von Wegpunkten in einem definierten Koordinatensystem, vorliegen; es ist aber auch möglich, dass eine Vielzahl weiterer Daten in diesem Datensatz 100 vorliegt, wie etwa Geschwindigkeiten, Zeitstempel der jeweiligen Positionen, Beschleunigungen, und andere. Solche Bewegungsdaten können unter anderem durch Aufzeichnungen von Fahrtdaten (z.B. Positionsdaten) in einem Fahrzeug, durch Aufzeichnungen von fahrzeugexternen Sensoren, durch Auswertung von statischen Kamerabildern oder Videoaufnahmen, durch manuelle Vorgabe, oder auf anderem Weg vorgegeben werden.The data 100, which is used to train the model and later for actual trajectory planning, can initially include any amount of detailed information about the movements of one or more agents. The trajectories can already exist as such, e.g. as a sequence of waypoints in a defined coordinate system; However, it is also possible that a variety of other data is present in this data record 100, such as speeds, time stamps of the respective positions, accelerations, and others. Such movement data can be specified, among other things, by recording travel data (e.g. position data) in a vehicle, by recordings from sensors external to the vehicle, by evaluating static camera images or video recordings, by manual specification, or in another way.

Zur Bildung von Eingabewerten für das Deep Latent Variable-Modells können dann also die Trajektorien 110 einzelner Agenten aus den Daten 100 extrahiert werden, falls diese nicht bereits als Einzeltrajektorien vorliegen. Die Trajektorien 110 können dann z.B. als kontinuierliche Kurven oder als Einzelpunkte als Eingabewerte in das Deep Latent Variable Modell 130 eingegeben werden. Es ist dabei beispielsweise auch möglich, nicht vorhandene Punkte auf einer Trajektorie hinzuzufügen, z.B. durch Interpolation bzw. Extrapolation der bekannten Orte für einen Agenten. Optional werden dabei auch die Zeiten, zu denen die jeweiligen Positionen entlang der Trajektorie eingenommen wurden, berücksichtigt.To form input values for the deep latent variable model, the trajectories 110 of individual agents can then be extracted from the data 100 if these are not already available as individual trajectories. The trajectories 110 can then be entered into the deep latent variable model 130 as input values, for example as continuous curves or as individual points. For example, it is also possible to add non-existent points to a trajectory, for example by interpolating or extrapolating the known locations for an agent. Optionally, the times at which the respective positions along the trajectory were taken are also taken into account.

In einem nächsten Schritt können die Endpunkte 120 der Trajektorien definiert werden, d.h. die zeitlich letzte bekannte Position des jeweiligen Agenten. Diese Endpunkte 120 können als Ziel des Agenten explizit definiert werden. Auf diese Weise können die Endpunkte bzw. Ziele nun zur Konditionierung der latenten Verteilungen des Modells genutzt werden.In a next step, the end points 120 of the trajectories can be defined, i.e. the last known position of the respective agent. These endpoints 120 can be explicitly defined as the agent's destination. In this way, the endpoints or goals can now be used to condition the latent distributions of the model.

Eine erste Möglichkeit, auf diese Weise Ziele der Agenten explizit zu modellieren, ist die Definition einer latenten Variablen so, dass sie Zielkoordinaten abbilden kann. Dies kann beispielsweise erreicht werden, indem die latenten Variablen so definiert werden, dass sie eine zweidimensionale Komponente umfassen, welche dann den Koordinaten des Ziels auf einer zugehörigen Karte entsprechen kann. A first way to explicitly model agents' goals in this way is to define a latent variable so that it can map goal coordinates. This can be achieved, for example, by defining the latent variables to include a two-dimensional component, which can then correspond to the coordinates of the target on an associated map.

Diese zweidimensionale latente Komponente kann beispielsweise durch eine Gaussche Normalverteilung modelliert werden.This two-dimensional latent component can be modeled, for example, by a Gaussian normal distribution.

Das Modell erzeugt dann auf die übliche Art Wahrscheinlichkeitsverteilungen 140 für die beobachtbaren Variablen, sowie Wahrscheinlichkeitsverteilungen 150 für die latenten Variablen. Für jede Instanz der latenten Verteilung 150, die auf diese Weise von dem Modell 130 vorhergesagt wird, kann dann die Likelihood bzw. Log-Likelihood der Zielkoordinaten berechnet und maximiert werden, z.B. in Form von zwei Zahlenwerten (z.B. als Gleitpunktzahlen) für ein zweidimensionales Koordinatenmodell. Auf diese Weise kann erzwungen werden, dass die latenten Variablen die Ziele der Agenten explizit modelliert. Die Zielkoordinaten werden damit beim Trainingsziel 180 als zusätzlicher Verlustterm 170 in der Verlustfunktion 160 berücksichtigt.The model then produces probability distributions 140 for the observable variables, as well as probability distributions 150 for the latent variables, in the usual manner. For each instance of the latent distribution 150 that is predicted in this way by the model 130, the likelihood or log-likelihood of the target coordinates can then be calculated and maximized, for example in the form of two numerical values (for example as floating point numbers) for a two-dimensional coordinate model . In this way, the latent variables can be forced to explicitly model the agents' goals. The target coordinates are thus taken into account in the training target 180 as an additional loss term 170 in the loss function 160.

Eine weitere Möglichkeit, die als Ziel definierten Endpunkte zur Konditionierung des Modells zu verwenden, ist die Verwendung von tatsächlichen Zielen eines Agenten als sogenannte ‚Ground Truth‘ beim Training des Modells. Als ‚Ground Truth‘ werden dabei Daten verstanden, die als definitiv wahr gelten, d.h. beispielsweise die tatsächlichen Zielkoordinaten einer aufgezeichneten Fahrzeugbewegung bzw. einer Teiltrajektorie, die vor den tatsächlichen Zielkoordinaten enden. Die Ground-Truth-Werte für die Zielkoordinaten können also für mindestens einen Teil der Trajektorien der Trainingsdaten in das Modell eingegeben werden. Damit kann das Modell dazu gebracht werden, eine latente Variable zu lernen, die Werte in einem ähnlichen Bereich wie die Ground-Truth-Ziele annimmt. Auf diese Weise kann erreicht werden, dass das Modell die Zielwerte explizit modelliert, ohne einen zusätzlichen Verlustterm zu verwenden.Another way to use the endpoints defined as goals to condition the model is to use an agent's actual goals as so-called 'ground truth' when training the model. The term 'ground truth' refers to data that is considered definitely true, i.e., for example, the actual target coordinates of a recorded vehicle movement or a partial trajectory that ends before the actual target coordinates. The ground truth values for the target coordinates can therefore be entered into the model for at least part of the trajectories of the training data. This allows the model to learn a latent variable that takes values in a similar range to the ground truth targets. In this way, the model can be achieved to explicitly model the target values without using an additional loss term.

Bei der späteren Anwendung (Inference) des trainierten Modells zur Vorhersage oder Planung von Trajektorien für einen oder mehrere Agenten, z.B. im tatsächlichen Betrieb zur Routenplanung eines automatisierten Fahrzeugs, ist es dann möglich, den Wert der auf diese Weise gelernten zweidimensionalen latenten Komponente auf einen beliebigen Wert festzulegen, so dass die vorhergesagten Trajektorien für den jeweiligen zugehörigen Agenten dazu gebracht werden, die auf diese Weise eingebrachten Zielkoordinaten zu erreichen. Insbesondere kann auf diese Weise dann für eine Trajektorienplanung das Ziel des Ego-Fahrzeugs in Form von Koordinaten als Wert der zweidimensionalen latenten Zielvariable eingegeben werden. Dabei kann ein Modell in allen Ausführungsformen so gestaltet sein, dass es Trajektorien für alle Teilnehmer vorhersagt, also ein zukünftiges Szenario vorhersagt; ebenso kann das Modell aber auch so ausgebildet sein, dass es die Trajektorien anderer Teilnehmern bzw. Agenten nicht explizit ausgibt, sondern nur eine oder mehrere Optimaltrajektorien für das Ego-Fahrzeug ausgibt, in denen die Trajektorien anderer Teilnehmer implizit verarbeitet sind und damit eine Vermeidung von Kollisionen erreicht wird.When the trained model is later used (inference) to predict or plan trajectories for one or more agents, e.g. in actual operation for route planning of an automated vehicle, it is then possible to set the value of the two-dimensional latent component learned in this way to any desired value Set a value so that the predicted trajectories for the respective associated agent are made to reach the target coordinates introduced in this way. In particular, the destination of the ego vehicle can then be entered in the form of coordinates as the value of the two-dimensional latent target variable for trajectory planning. In all embodiments, a model can be designed in such a way that it predicts trajectories for all participants, i.e. predicts a future scenario; The model can also be designed in such a way that it does not explicitly output the trajectories of other participants or agents, but only outputs one or more optimal trajectories for the ego vehicle, in which the trajectories of other participants are implicitly processed and thus avoidance Collisions are achieved.

Es ist grundsätzlich auch möglich, Endpunkte und damit Ziele von Trajektorien anders als durch zweidimensionale Koordinaten zu definieren, beispielsweise als dreidimensionale Koordinaten, mit weiteren Parametern, und/oder über eine Zuordnung von Zielpunkten zu bestimmten Parameterwerten.In principle, it is also possible to define end points and thus goals of trajectories other than by two-dimensional coordinates, for example as three-dimensional coordinates, with further parameters, and/or by assigning target points to specific parameter values.

Mit den hier beschriebenen Verfahren ist es also möglich, ein Deep Latent Variable-Modell darauf zu trainieren, die Werte der Zielkoordinaten explizit zu modellieren und damit eine konditionierte Trajektorienplanung mit latenten Variablen auf effiziente Weise zu erreichen.With the methods described here, it is possible to train a deep latent variable model to explicitly model the values of the target coordinates and thus achieve conditioned trajectory planning with latent variables in an efficient manner.

Die hier beschriebenen Verfahren zum Training von Modellen und zur Vorhersage und Planung von Trajektorien können optional auch in Kombination mit anderen lernenden oder nicht-lernenden Modellen verwendet werden. Beispielsweise können mit den hier vorgestellten Methoden Trajektorien vorhergesagt werden, die dann in ein anderes Modell eingegeben werden, welches eine passende Optimaltrajektorie für das anzusteuernde Fahrzeug bildet. Ein weiteres Modell kann dann genutzt werden, um die einzelnen Funktionen eines automatisierten Fahrzeugs konkret auf Basis dieser Optimaltrajektorie anzusteuern und zu regeln, z.B. um dieser Trajektorie als Referenz zu folgen und dabei auf Umgebungsbedingungen zu reagieren. Zu diesem Zweck können dann durch das weitere Modell anhand der Optimaltrajektorie, die als Solltrajektorie genutzt wird, Parameter wie die Lenkung, Geschwindigkeit, Beschleunigung und andere angesteuert oder geregelt werden.The methods described here for training models and for predicting and planning trajectories can optionally also be used in combination with other learning or non-learning models. For example, trajectories can be created using the methods presented here are predicted, which are then entered into another model, which forms a suitable optimal trajectory for the vehicle to be controlled. Another model can then be used to specifically control and regulate the individual functions of an automated vehicle based on this optimal trajectory, for example to follow this trajectory as a reference and thereby react to environmental conditions. For this purpose, parameters such as steering, speed, acceleration and others can then be controlled or regulated by the additional model based on the optimal trajectory, which is used as the target trajectory.

Es ist auch möglich, mehrere Optimaltrajektorien für ein Fahrzeug aus dem Modell zu gewinnen und festzulegen (multiple futures), um bei Veränderungen schnell auf eine Alternative auszuweichen bzw. um mehrere unvorhersehbare Varianten mit einzuschließen.It is also possible to obtain and define several optimal trajectories for a vehicle from the model (multiple futures) in order to quickly switch to an alternative in the event of changes or to include several unforeseeable variants.

Die Zeitbereiche, für welche die Trajektorien vorhergesagt und die Trajektorie des Ego-Fahrzeugs geplant werden soll, können üblicherweise relativ kurz sein, um Unsicherheiten gering zu halten. Grundsätzlich ist es auch möglich, Trajektorien für mehrere unterschiedliche vorgegebene Zeiträume vorherzusagen, so dass beispielsweise sowohl Trajektorien für einen sehr kurzen Zeitraum (z.B. wenige Sekunden) als auch einen längeren Zeitraum (z.B. dreißig Sekunden) modelliert werden können, die dann auf unterschiedliche Weise weiterverarbeitet werden können. Ebenso kann die zeitliche Dauer der bereits zurückgelegten Trajektorien aller Teilnehmer, d.h. die beobachteten Bewegungstrajektorien, die für die Eingabewerte des Modells genutzt werden, fest vorgegeben oder variabel sein.The time ranges for which the trajectories are to be predicted and the trajectory of the ego vehicle are to be planned can usually be relatively short in order to keep uncertainties low. In principle, it is also possible to predict trajectories for several different predetermined time periods, so that, for example, both trajectories for a very short period of time (e.g. a few seconds) and a longer period of time (e.g. thirty seconds) can be modeled, which are then further processed in different ways can. Likewise, the duration of the trajectories already traveled by all participants, i.e. the observed movement trajectories that are used for the input values of the model, can be fixed or variable.

Die hier beschriebenen Schritte, insbesondere das Erfassen der Bewegungstrajektorien anderer Teilnehmer, das Eingeben der Trajektorien in ein DLV-Modell und das Erhalten und Weiterverarbeiten der vorhergesagten Trajektorien für alle Teilnehmer, können lokal in einem anzusteuernden Fahrzeug vorgenommen werden. Zu diesem Zweck kann ein Fahrzeug beispielsweise mit verschiedenen Arten von Sensoren, Kameras, Abstandssensoren, und anderen ausgestattet sein, die eine Erfassung der Bewegungstrajektorien ermöglichen. Ebenso ist es aber auch möglich, dass ein Teil dieser Aufgaben oder sämtliche hier beschriebenen Verfahrensschritte außerhalb des anzusteuernden Fahrzeugs übernommen werden. Beispielsweise können insbesondere in einem Industriekontext Kameras oder ähnliche Sensoren fest installiert sein, die Bewegungen in einem bestimmten Bereich aufzeichnen überwachen und diese Informationen an weitere Verarbeitungseinheiten in einem Fahrzeug oder außerhalb eines Fahrzeugs weitergeben können. Es ist auch möglich, dass ein Fahrzeug, das mit eigenen Sensoren ausgestattet ist, ergänzende Informationen von außen erhält, z.B. von feststehenden Sensoren, von anderen Fahrzeugen oder ähnliches, und diese Daten kombiniert, um daraus die bisher zurückgelegten Bewegungstrajektorien zu bilden.The steps described here, in particular recording the movement trajectories of other participants, entering the trajectories into a DLV model and obtaining and further processing the predicted trajectories for all participants, can be carried out locally in a vehicle to be controlled. For this purpose, a vehicle can, for example, be equipped with various types of sensors, cameras, distance sensors, and others that enable the movement trajectories to be recorded. However, it is also possible for some of these tasks or all of the method steps described here to be carried out outside of the vehicle to be controlled. For example, particularly in an industrial context, cameras or similar sensors can be permanently installed that record movements in a specific area and can pass this information on to further processing units in a vehicle or outside a vehicle. It is also possible for a vehicle that is equipped with its own sensors to receive additional information from outside, e.g. from fixed sensors, from other vehicles or similar, and combine this data to form the movement trajectories that have been traveled so far.

Alle beschriebenen Optionen, die zur Ansteuerung und Trajektorienplanung im Fahrzeugbetrieb dienen können, können auf dieselbe Weise auch umgekehrt zur Gewinnung von Trainingsdaten für ein DLV-Modell genutzt werden. Ebenso ist es möglich, dass alle Optionen, die zur Gewinnung von Trainingsdaten beschrieben wurden, ebenso zur Ansteuerung und Planung im eigentlichen Betrieb dienen.All of the options described, which can be used for control and trajectory planning in vehicle operation, can also be used in the same way to obtain training data for a DLV model. It is also possible that all options that have been described for obtaining training data can also be used for control and planning in actual operation.

Es versteht sich, dass alle hier beschriebenen Schritte in Bezug auf Modelle, Datenverarbeitungen, Simulationen, Berechnungen und andere insbesondere als computerimplementierte Verfahrensschritte umgesetzt werden können. Zu diesem Zweck können beliebige einzelne oder miteinander kombinierte Verarbeitungseinheiten genutzt werden, z.B. geeignete Prozessoren oder Mikrocontroller. Diese können auf die übliche Weise mit flüchtigen und/oder nichtflüchtigen Speicherelementen versehen sein. Die Speicherelemente können genutzt werden, um erfasste Bewegungsdaten anderer Fahrzeuge, erfasste Bewegungsdaten des Ego-Fahrzeugs, Ansteuerungsdaten wie Fahrerwünsche und Fahrtziele, Randbedingungen wie Karten, Straßenbedingungen, und vieles mehr zu speichern. Insbesondere kann auf einem Speicherelement auch ein oder mehrere trainierte Modelle zum Vorhersagen und/oder Planen von Bewegungstrajektorien abgespeichert sein. Außerdem können die Verarbeitungseinheiten mit anderen Komponenten über Datenverbindungen verbunden sein, z.B. mit Sensoren zur Erfassung der Bewegungstrajektorien anderer Teilnehmer oder mit Aktoren zur Ansteuerung des Fahrzeugantriebs eines Ego-Fahrzeugs, oder mit anderen Verarbeitungs- und Steuereinheiten, die diese Funktionen übernehmen können.It is understood that all steps described here in relation to models, data processing, simulations, calculations and other steps can be implemented in particular as computer-implemented process steps. For this purpose, any individual or combined processing units can be used, e.g. suitable processors or microcontrollers. These can be provided with volatile and/or non-volatile memory elements in the usual way. The storage elements can be used to store recorded movement data of other vehicles, recorded movement data of the ego vehicle, control data such as driver requests and destinations, boundary conditions such as maps, road conditions, and much more. In particular, one or more trained models for predicting and/or planning movement trajectories can also be stored on a storage element. In addition, the processing units can be connected to other components via data connections, e.g. with sensors for recording the movement trajectories of other participants or with actuators for controlling the vehicle drive of an ego vehicle, or with other processing and control units that can take over these functions.

Insbesondere kann ein Modell auch auf einer anderen Verarbeitungseinheit erstellt und/oder trainiert werden als die Verarbeitungseinheit, auf der das trainierte Modell später eingesetzt wird.In particular, a model can also be created and/or trained on a different processing unit than the processing unit on which the trained model is later used.

Claims

A method for training a machine learning model that is a generative latent variable model (130) configured to predict or plan one or more movement trajectories for one or more moving units while avoiding collisions, the method comprising: Recording one or more journeys Movement trajectories (100), each movement trajectory being associated with one of the movable units, and each movement trajectory indicating a previous movement of the associated movable unit over a predetermined period of time; entering the movement trajectories as observable variables (110) into the model as training data; Determining the last point of a movement trajectory in a coordinate system as the target (120) of the respective movement trajectory; defining a latent variable of the model to represent points of the coordinate system; and introducing the defined goals (120) of the one or more movement trajectories into the training of the model (130) using the defined latent variables.

Procedure according to Claim 1 , wherein introducing the defined goals (120) of the one or more movement trajectories into the training of the model (130) using the defined latent variables comprises: obtaining, as the output value of the latent variable model (130), a predicted probability distribution (150) for the defined latent variable; and maximizing the likelihood or log-likelihood based on the predicted probability distribution (150) for the defined latent variable to obtain target coordinates of a movement trajectory.

Procedure according to Claim 2 , where the latent variable is defined by a normal distribution in at least two dimensions, the at least two dimensions representing the coordinate system.

Method according to one of the preceding claims, wherein introducing the defined goals (120) of the one or more movement trajectories into the training of the model (130) using the defined latent variables comprises: determining target coordinates (120) for one or more of the traveled movement trajectories that are entered into the model as training data; Entering the target coordinates for the one or more travel trajectories as 'ground truth' into the model.

Method according to one of the preceding claims, wherein the model (130) comprises a 'Variational Autoencoder' or a 'Deep Latent Gaussian' model.

Method for planning movement trajectories for a first movable unit using a machine learning model, the model being a trained generative latent variable model, which according to a method according to one of Claims 1 until 5 has been trained, the method comprising: detecting movement trajectories that have been traveled, each movement trajectory being assigned to the first or a further movable unit, and each movement trajectory indicating a previous movement of the associated movable unit over a predetermined period of time; Entering the movement trajectories traveled as observable variables into the model, recording the target coordinates of an own target which is to be controlled by the moving unit; Introducing the target coordinates as the value of the defined latent variable of the model; and obtaining, as an output value, at least one planned movement trajectory set to reach the target coordinates of one's own destination.

Procedure according to Claim 6 , wherein the movement trajectories traveled are recorded by at least one of the following: evaluation of sensor data in the vicinity of the first movable unit; Evaluation of camera images in the first mobile unit; Transmission of movement trajectories from another unit; Interpolation or extrapolation of known waypoints of a moving unit.

Procedure according to Claim 6 or 7 , further comprising: forwarding the planned movement trajectory to a control unit, which controls the first movable unit.

Procedure according to one of the Claims 6 until 8th , further comprising: controlling the first movable unit so that its movement follows the planned movement trajectory.

Procedure according to one of the Claims 6 until 9 , further comprising: inputting predicted movement trajectories of further moving units into the model, the predicted movement trajectories being obtained using a further model, which is based on one of Claims 1 until 5 was trained.

Computing unit which is set up to carry out all method steps of a method according to one of the preceding claims.

Computer program that causes a computing unit to carry out all process steps of a process according to one of the Claims 1 until 10 to be carried out when it is executed on the computing unit.

Machine-readable storage medium with a computer program stored on it Claim 12 .